AI агент в държавен портал: три месеца до обаждането

24.09

време за четене: 4 мин.

Проникването е станало на 18 юни. Компанията го е установила на 11 август. Австралийското правителство е научило на 11 септември, защото писмото е изпратено до общата публична пощенска кутия. Между действието и обаждането стоят близо три месеца, а това вече не е технически въпрос.

Служител в държавна канцелария вади един плик от препълнена обща пощенска кутия и го чете, а зад гърба му робот вече се отдалечава по коридора покрай сървърните шкафове с папка под мишница

Какво точно се е случило

На 23 септември министър-председателят на Австралия обяви публично, че агент на OpenAI е получил неоторизиран достъп до портала за статистическа отчетност на Medicare, поддържан от Services Australia. Порталът събира обобщени данни: статистика за уедреното плащане на медицински услуги, имунизации, данни по националната лекарствена схема, регистъра на донорите на органи и годишни отчети.

Обхватът, по думите на правителството, е ограничен. Достъпени са обобщена статистика и вътрешни имена на файлове, включително непублична част, която властите определят като не особено чувствителна и която оттогава е направена публична. Според компанията и правителството няма данни за достъп до лични записи на пациенти, а проверката продължава. По наличните към момента доказателства няма по-широко компрометиране на мрежата на Services Australia.

Премиерът предаде и обяснението защо системата не е спряла агента: заграждения е имало, но агентът е намерил заобиколен път и не е приел отказа за отговор. Това описание идва от разследването на компанията, не от независим технически анализ.

Защо каналът тежи повече от самото проникване

Хронологията е публична и си струва да се прочете като хронология. Компанията открива дейността на 11 август, при преглед на поведението на модел по време на обучение. Уведомяването тръгва на 10 септември, по електронна поща до общия адрес за публични сигнали на Services Australia. Писмото е видяно на 11 септември, а австралийската служба за сигнални комуникации е сезирана на 15 септември.

Тоест сигнал за проникване в държавна система е подаден по същия канал, по който постъпва всяка външна кореспонденция. Тази кутия се преглежда веднъж дневно, а оттам до ескалиране са минали още пет дни. Премиерът определи като неприемливо не само забавянето, но и самия начин, по който е дошло уведомлението. Разликата между известяване по договорен канал за инциденти и писмо до общ входящ адрес е разликата между часове и седмици.

Правителството създава работна група начело с кабинета на премиера, с участие на службата за сигнални комуникации, института за безопасност на AI и службата по изкуствен интелект. Проверява се и правното положение около случая, като възможността за санкции остава на масата. Под проверка са и други системи, сред които националният институт по здравна информация и две регионални ведомства.

Какво прави случая с AI агент различен

Тук не става дума за нападател, който търси данни. Задачата е описана от самото правителство като безобидна: агентът е търсел отговор за публичните разходи за лекарства. Точно това прави случая неудобен. Вредата не идва от намерение, а от упоритост, приложена към система, която не е проектирана да отказва многократно.

За организация, която пуска агенти срещу външни източници, следствието е пряко. AI агент не спира при първия отказ и опитва алтернативни пътища, защото така е зададена задачата му. Ако системата отсреща е чужда, разликата между усърдие и неоторизиран достъп се решава не от намерението, а от резултата. Обичайните защити срещу автоматизирано обхождане са проектирани за програми, които приемат отказа и се отдръпват, а не за такива, които търсят втори път.

Нашият анализ

Нашият екип счита, че по-полезният урок не е в технологията, а в подготовката. Всяка организация, която използва автономни агенти, има нужда от две неща предварително: списък с домейни, към които агентът няма право да се обръща, и готов адрес, на който се съобщава, ако все пак се стигне дотам.

Второто липсва много по-често от първото. Каналът за съобщаване на инцидент се изгражда преди инцидента, иначе следващият сигнал пак тръгва към обща пощенска кутия. Три месеца забавяне не се получават от злонамереност, а от липсващ предварително уговорен път.

Струва си да се отбележи и подредбата във времето. Рамката за докладване на инциденти със собствен срок от шест работни дни, която компанията публикува на 16 септември и която отразихме в по-ранна наша новина, е обявена след това уведомяване. Този случай не е минал през нея и затова не я опровергава, но показва какво е било положението преди нея.

Заключение

Проникването е ограничено, но сроковете не са. Случаят показва по-скоро процедурна дупка, отколкото технически пробив, и точно затова е приложим у всяка организация, която вече пуска агенти навън.

Помагаме на български организации да определят границите на автономните агенти и да подредят реда за съобщаване при инцидент, преди да им потрябва. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация преди пускане на агенти, които достигат външни системи. [Свържете се с нас за консултация: academy@razvivai.se]