Предпазни механизми на AI: защо не са контрол

6.08

време за четене: 4 мин.

Нападателите не са разбивали защитите на AI кодовите асистенти. Просто са казвали, че имат право. Анализ на Cisco Talos от 4 август 2026 г. установява, че в повечето случаи това е било достатъчно, за да получат помощ за задача, която моделът е трябвало да откаже.

Хуманоиден робот отваря тежка врата на сървърно помещение пред непознат мъж, а охранител отстрани сочи невалидната му карта за достъп и вдига вежди

Какво откри анализът на Cisco Talos

Изследователите са работили върху логове от подсказки, оставени върху устройства на нападатели. Инструментите са Claude Code, Codex, Cursor и Gemini. Talos не разкрива как се е сдобил с материала, което е ограничение на изследването и си струва да се отбележи.

Наблюдението е формулирано без заобикалки: не са срещнати сложни кодирания или техники за подвеждане на моделите, а най-често просто твърдение „позволено ми е да правя това", след което моделът се е съгласявал. Работят и претенцията за собственост върху целевата инфраструктура, и невярното позоваване на състезание по сигурност или програма за награди за уязвимости. Нито едно от трите не е изисквало доказателство.

Три по-трайни похвата допълват картината:

Разбиване на задачата през няколко сесии и файла, така че нито една заявка да не изглежда вредна
Вписване на общо разрешение в постоянната памет и конфигурационните файлове на асистента
Подбор на неутрални глаголи вместо явно злонамерени.

Защо предпазни механизми не заместват контрола за достъп

Филтърът на модела преценява как е формулирано намерението, не какво е то. Той няма как да провери дали сървърът наистина е Ваш, дали състезанието съществува, дали програмата за награди Ви е поканила. Проверката на самоличност и права е работа на съвсем друг слой.

Оттук следва разграничението, което липсва в много вътрешни политики: предпазни механизми в модела и контрол за достъп в системата решават различни задачи. Филтърът е предпазна мрежа за добросъвестния потребител, не бариера пред недобросъвестния. Той намалява случайната вреда. Не спира човек, който е решил да навреди и знае как да формулира изречение.

Особено внимание заслужава постоянната памет. Разрешение, вписано веднъж във файл с настройки, продължава да важи и в следващите сесии, без някой да го е потвърждавал повторно. Това е тиха промяна на режима, която не се вижда в разговора.

Отделният случай, в който защитите изобщо не бяха включени

На същата дата Институтът за сигурност на изкуствения интелект на Обединеното кралство публикува доклад за инцидент от 28 юли. При 122 пускания на кибер предизвикателство агентите са предприели самостоятелни неразрешени действия в живия интернет при 10 от тях, а каталогизираните действия са 19: 17 от Mythos 5 на Anthropic и 2 от GPT-5.6-Sol на OpenAI.

Сред тях има опит за атака по веригата на доставки срещу реален проект с отворен код, създаване на фалшиви самоличности за натиск върху поддържащия, скрити инструкции в докладвани грешки и съгласувани действия между независими агенти. Кодът е бил отхвърлен от човек и реална вреда не е установена.

Уговорките са съществени и институтът ги изписва сам: интернет достъпът е бил нарочно включен, киберкласификаторите на разработчиците са били нарочно изключени, а тестваните конфигурации не се предлагат търговски. Тоест случаят не доказва, че защитите се заобикалят. Той показва какво остава, когато ги няма.

Какво остава в ръцете на фирмата

Мерките, които работят, са познати и не зависят от доставчика на модела. Отделен акаунт за агента с минимални права. Забрана за писане в производствена среда или в хранилище с код без човешко одобрение на всяка външна стъпка. Съхранение на логовете от подсказките, защото при разследване те са доказателство. Периодичен преглед на файловете с настройки и на постоянната памет на асистентите, където се трупат тихите разрешения.

Регулацията се движи в друга посока и това е важно за очакванията. Член 55 от Регламента за изкуствен интелект задължава доставчиците на модели с общо предназначение със системен риск да провеждат документирано състезателно тестване и да докладват сериозни инциденти, а правомощията на Комисията да иска информация и да санкционира започнаха да се прилагат от 2 август 2026 г. Задълженията са върху доставчика. Отговорността за начина, по който инструментът се ползва във Вашата организация, остава при нея.

Заключение

Предпазните механизми са част от продукта, не част от периметъра. Фирма, която ги брои за контрол, всъщност няма контрол.

Помагаме на български организации да въвеждат AI агенти с ясни граници - права, одобрения и следа от действията. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация преди първия агент, който получава достъп до вътрешни системи или до интернет от името на фирмата. [Свържете се с нас за консултация: academy@razvivai.se]