Отменено правило, което агентът пак изпълнява

преди 5 дни

време за четене: 4 мин.

Организациите, които пускат AI агенти с постоянна памет, обикновено смятат, че отмяната на едно указание приключва въпроса. Ново измерване на пет системи за агентна памет показва обратното. При системите, които изобщо го връщат, отмененият запис се подрежда пред правилото, което го е заменило, и води агента до небезопасно действие в около 43% от опитите.

Робот вади от архивен шкаф стар лист с червен печат за анулиране и го подрежда най-отгоре, а новият лист, който трябва да го замени, остава притиснат най-долу в чекмеджето

Какво точно е измерено

Изследователи от Vulcan Research в Сингапур публикуваха на 8 септември чернова на статия, която проверява как пет системи за агентна памет се държат при отмяна: Graphiti, Zep, mem0, langmem и cognee. Постановката е широка - девет сценария, девет модела от шест доставчика и шест защитни условия, общо над 44 хиляди повиквания.

Резултатът е еднозначен: нито една от петте системи не налага отмяната сама по себе си. Две от тях връщат отменения запис при търсене по подразбиране. Останалите се провалят по друг начин - едните изтриват записа окончателно и не могат да върнат нищо, а една го връща, но никога не връща и статуса му, тоест приложението отгоре няма как да го разпознае като отменен.

При двете системи, които излагат записа, той е върнат за всеки от 81 сценария и във всеки от тях е класиран пред правилото, което го заменя. Разсейването между моделите е голямо, от 15% до 60%, и не следва нивото на способност - по-силният модел не е по-предпазлив.

Защо отменено правило печели пред заместника си

Причината не е дефект в кода, а езикова. Отменените политики са формулирани по-категорично от заместниците си, защото обикновено са били строгата версия. Изречение от рода на „това трябва да бъде блокирано" звучи по-близко до въпрос за забрана, отколкото по-мекото „това се наблюдава". Търсенето по сходство подрежда по езикова близост, а не по валидност, и вдига старото нагоре.

Оттам нататък се вижда и границата на най-разпространеното решение. Когато системната подсказка изрично забранява действието, агентът все пак го избира в 12,9% от случаите. Когато няма изрична забрана, делът е 81%, а при задача, свързана с износ на лични данни, стига 94,4%. Тоест едно отменено правило не се неутрализира чрез по-строга подсказка - то се неутрализира само там, където се чете паметта.

Времето е втората половина от проблема

Второ изследване, публикувано в рецензираното списание IEEE Access от екип с автори в Университета на Регина и Университета на Калгари, гледа същия проблем от друг ъгъл. Върху набор от 2614 многостъпкови траектории са проследени четири вида отравяне на паметта, сред които бавно отклонение и задействане на задна врата.

Изводът допълва първия: рискът е траекторен, а не моментен. Бавното отклонение и задната врата системно преминават през проверките, които гледат само текущата стъпка, и се проявяват чак в последните взаимодействия. Проверка, която оценява всяка стъпка поотделно, е сляпа точно за атаките, разчитащи на натрупване.

Двете работи идват от различни екипи, на различни континенти и с различна методика, а стигат до допълващи се изводи. Това ги прави по-тежки, отколкото ако бяха едно наблюдение, съобщено на две места.

Какво може да се направи

Мястото на проверката е решаващо и черновата го измерва пряко. Филтър, поставен на ниво хранилище, тоест пазач между агента и паметта, сваля дела на небезопасните действия от 44,2% до нула в целия набор. Само подсилване на системната подсказка сваля същия дял едва до 37,2%, а филтър върху изхода - до 18,1%. Единствената мярка, която затваря проблема напълно, е онази, която не допуска отменения запис да стигне до модела изобщо.

Има и втора причина еднократното почистване да не стига. След като отровеното заключение веднъж влезе в собствения дневник на агента, на следващите стъпки то се връща в над 95% от случаите. С включен филтър върху хранилището делът пада, но остава над 70%. Филтърът маха първоначалния запис, но не и бележката, която агентът вече си е направил по него.

Едно уточнение е нужно и за самите числа. Една от двете изложени системи по подразбиране отсява изтеклите записи, а изследователите изрично са изключили този филтър, за да получат измерима конфигурация. Тоест 42,1% не е поведението на продукта по подразбиране, а поведението му без тази защита.

За организация, която ползва готова платформа, а не собствена разработка, практическите въпроси са три: остава ли всяко отменено правило в хранилището само с етикет, връща ли системата статуса му заедно със самия текст, и проверява ли се паметта при четене, а не само подсказката при подаване. Отравянето на паметта е и отделна позиция в списъка на OWASP за агентни приложения, тоест въпросът вече има място в стандартна проверка за сигурност.

Заключение

Отмяната в повечето системи за агентна памет е етикет, не преграда, а езикът на строгите правила ги изкачва обратно нагоре при търсене. Докато проверката стои в подсказката, а не при четенето от паметта, старото указание остава на едно търсене разстояние от изпълнение.

Помагаме на български организации да въвеждат AI агенти с проверими правила за памет и достъп, вместо с надежда, че указанията ще бъдат спазени. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при агенти с постоянна памет, които имат право да извикват инструменти или да работят с лични данни. [Свържете се с нас за консултация: academy@razvivai.se]