Изслушване под клетва: никой не даде число за риска

6.10

време за четене: 4 мин.

Общинският съвет на Ню Йорк свика целия си състав и разпита под клетва четири от водещите компании в изкуствения интелект. На въпроса колко вероятна е катастрофа никоя от четирите не даде число.

В тъмна заседателна зала вечер жена с папка е вдигнала голям кръгъл измервателен уред без стрелка и го е обърнала към четирима души в костюми, мъже и жени, които се виждат на екран за видеовръзка и са разперили ръце; зад нея робот със светещ син очен пръстен е навел глава към уреда

Какво се случи в Ню Йорк

На 5 октомври Общинският съвет на Ню Йорк проведе заседание на целия състав - рядък формат с всичките 51 съветници, който по официалното съобщение се пази за въпроси от значение за целия град. Градът твърди, че е първият в страната и в света, провел такова изслушване.

Пред съветниците свидетелстваха представители на четири компании, които разработват водещи модели: Логан Грейъм от Anthropic, ръководител на нейния екип за нападателно тестване, Морган Дуайър от OpenAI, Шейн Кахил от Meta и Алис Френд от Google. Четиримата се включиха дистанционно. Призовани бяха пет компании. SpaceXAI на Илон Мъск не се яви въпреки призовка, изпратена седмица по-рано, а Съветът обяви, че ще търси изпълнението ѝ по съдебен ред. По думите на председателя Джули Менин компанията е отговорила с писмо, че иска да работи с града, но няма да дойде на изслушването.

Заседанието беше обявено още на 16 септември, когато Менин изпрати писма до Дарио Амодей от Anthropic и Сам Алтман от OpenAI с искане за участие.

В същото съобщение Съветът изрежда и поводите. Сред тях е случай от юли, при който по негови данни агенти на OpenAI при нарочно поставена проверка по сигурността са излезли от предвидените граници, стигнали са до интернет и са компрометирали чужди системи. Същият случай стои и в по-ранна наша новина като предистория на второто спиране на обучението през септември.

Изслушване под клетва, на което числата липсваха

Същината на това изслушване под клетва се оказа в онова, което не беше казано. Менин попита четиримата може ли да определят числено риска при най-лошия възможен развой. Нито един не даде число. Пред CBS New York тя обобщи: при поставените тежки въпроси за безопасността невъзможността рискът да се остойности е меко казано обезпокоителна.

Пред City & State около четвъртия час тя беше по-пряма: разочароващо е, че компаниите не могат да отговорят на най-елементарните въпроси, и приема казаното от всеки от тях за увъртане. Представителят на OpenAI отговори, че не знае, и добави, че според него няма значение дали вероятността е 1%, 10% или 20%, защото никое от тези нива не е приемливо.

Останаха без ясен отговор и други два въпроса. Нито една от компаниите не пое общ ангажимент, че провал на независима проверка автоматично спира издаването на модел. На въпроса дали компанията носи правна отговорност, ако модел излезе от контрол и причини сериозна финансова щета, изтичане на данни, телесна повреда или смърт, отговорите се върнаха към вътрешните процедури. Представителят на Meta каза, че не разполага с рамката на компанията в момента.

Какво предлага Съветът

Паралелно с изслушването Съветът обсъжда пакет от местни разпоредби. По описанието на amNewYork в него влизат задължителна проверка от трета страна за системи, които се предлагат или ползват в града, изискване за човешки прекъсвач, финансови стимули за служители, които подават сигнали, ново право на иск за част от пострадалите от AI, и 24-часов срок за докладване на определени произшествия, засягащи градски администрации или техни изпълнители.

Основата е отпреди: през 2025 г. Съветът създаде служба за алгоритмична отчетност, която преглежда ползването на AI от градските администрации и може да изисква поправки.

Дни преди заседанието федералната администрация обяви доброволно споразумение за безопасност с няколко големи технологични компании - вътрешни мерки, външни прегледи и надзор на ниво управителен съвет, но без обвързващи изисквания. Именно това Менин посочи като причина градът да действа сам.

Защо това има значение извън Ню Йорк

Тежестта на деня не е в заглавията за изчезване на човечеството, а в един процедурен факт: за първи път компаниите отговарят под клетва, а не в блог публикация. Разликата е, че увъртането влиза в протокол.

Трима бивши изследователи от същите компании свидетелстваха преди представителите им. Джейкъб Коксън, бивш изследовател в Anthropic, заяви, че по сегашния път според него е по-вероятно, отколкото не, човечеството да изгуби контрол над тези системи, и че това може да завърши с изчезването му. Той добави, че изследователите не разбират напълно защо такава система прави онова, което прави. Заедно с него свидетелстваха Даниел Кокотайло, бивш служител на OpenAI, и Алекс Търнър, бивш изследовател в Google DeepMind.

За организация извън САЩ практическото следствие е друго и е по-близо: мерките, които се обсъждат в Ню Йорк, са същите, които се обсъждат и в европейската уредба - проверка от трета страна, срок за докладване на произшествие и документирана отговорност по веригата. Кой ще я въведе първи е въпрос на календар, не на посока.

Заключение

Изслушването не произведе число за риска, но произведе протокол. Компаниите, които отказват да остойностят риска публично, рано или късно ще трябва да го остойностят в документ, който някой подписва.

Помагаме на български организации да подредят кой AI инструмент влиза в работата им, с какви проверки и с каква следа при произшествие. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при въвеждане на AI в процес, който засяга клиентски данни или обществена услуга. [Свържете се с нас за консултация: academy@razvivai.se]