Скрита инструкция към AI в съдебен документ и санкция

18.08

време за четене: 3 мин.

Съдия в Кънектикът разпечатва поредните молби по едно гражданско дело и забелязва необичайно бяло разстояние между абзаците. При по-внимателен оглед там има текст, форматиран така, че да е почти невидим за човек и напълно четим за софтуер. Указанието не е адресирано до съда, а до машината, за която подателят предполага, че ще го чете вместо него.

Робот държи лист хартия и сочи празно на вид място върху него, а стоящият до него човек оглежда същото място с лупа и не намира нищо

Какво е направил ищецът

Делото е гражданско, ищецът се представлява сам, а спорът е с медицинска група в Ню Йорк. В няколко последователни вписвания по делото са вмъкнати блокове текст с триточков бял шрифт. Съдържанието е указание към евентуален AI модел изходът му да отразява и подкрепя подаденото искане.

Решението от 6 август определя действието като сериозна злоупотреба с процеса. Санкцията е точна и ограничена: отнема се правото на електронно подаване, а бъдещите документи се подават на хартия, лично в деловодството. Делото не е прекратено и достъпът до съд се запазва - наказан е каналът, не правото. Съдията отбелязва, че не му е известно предишно решение на съд в САЩ по такъв въпрос.

Скрита инструкция, която не е повлияла на нищо

Тук е обратът, който повечето преразкази изпускат. Съдебната власт в Кънектикът заявява изрично, че не използва AI система за преглед или решаване на подадени документи. Тоест скрита инструкция е имало, ефект от нея не е имало.

Това прави случая по-интересен, не по-малко интересен. Санкцията не е за причинена вреда, а за самия опит и за начина, по който е направен: документ, който казва едно на човека и друго на машината, е документ с две лица, и точно това го прави злоупотреба, независимо дали машината изобщо го е прочела. Мащабът също заслужава точност - скритият текст не е в един или два документа, а в поне пет вписвания по делото.

Къде похватът наистина работи

Съдът в Кънектикът не чете с AI, но много други процеси четат. Подборът на кадри отдавна минава през автоматично извличане на данни от автобиографии. Обществените поръчки и офертите се обобщават машинно преди човекът да ги отвори. Застрахователните претенции, банковите досиета и молбите за кредит минават през същия вид предварителен прочит.

Уязвимостта е обща за всички тях и няма нищо общо с интелигентността на модела. Езиковият модел не различава по произход данните, които трябва да анализира, от указанията, които трябва да изпълни: и двете стигат до него като текст. Щом входният документ идва от лице със заинтересованост от резултата, всеки ред в него е потенциално указание, а не само сведение.

Обратната страна засяга и добросъвестния подател. Кандидат за работа, чиято автобиография е минала през шаблон или през чужд инструмент, може да носи скрит текст, без да знае, и да бъде отхвърлен или заподозрян за нещо, което не е направил.

Какво може да се направи

Мерките са евтини и не изискват нова технология. Първата е нормализиране на входа: текстът се извлича в чист вид и се премахва форматирането, преди да стигне до модела. Скритият шрифт оцелява във визуалния документ, но не и в изчистения текст, а разликата между двете версии сама по себе си е сигнал.

Втората е разделяне на ролите. Съдържанието на подадения документ се подава като данни за анализ, а не като част от указанието към модела, и в самото указание се записва изрично, че текст вътре в документа не се изпълнява. Третата е човешката проверка да остане там, където се взема решението: автоматичният прочит може да подрежда и обобщава, но отказ или одобрение, взети без човек, превръщат всеки успешен опит за подвеждане в окончателен резултат.

Четвъртата е записът. Ако системата отбелязва кои документи са съдържали невидим или необичайно форматиран текст, случаите се виждат, вместо да се откриват случайно при разпечатване.

Заключение

Случаят е дребен по размер и голям по посока: подвеждането на машината влезе в съда през обикновен документ, при това от човек без адвокат и с домашни средства. Организациите, които четат чужди документи автоматично, вече не могат да смятат съдържанието им за просто сведение.

Помагаме на български организации да въведат машинен прочит на входящи документи, без да отварят врата за подвеждане - с преглед на потока от подаване до решение. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при автоматизиран подбор на кандидати, оферти или клиентски досиета. [Свържете се с нас за консултация: academy@razvivai.se]