Карантина на агент: NVIDIA слага пазача в хардуера

29.09

време за четене: 4 мин.

На 28 септември NVIDIA отвори платформа за безопасност на AI агенти, съставена от два слоя. Единият огражда изпълнението, другият наблюдава отстрани дали оградата се спазва. Обещанието е изолиране за милисекунди, а числото е на производителя и независима проверка още няма.

Робот работи на бюро в сървърна зала, а встрани от него жена оператор стои пред отделно табло на стената и натиска шалтер, който прекъсва кабела на бюрото; роботът се обръща изненадан, защото таблото е извън мястото, което той обслужва

Какво обяви NVIDIA

Платформата се нарича Open Agent Safety Platform и има два компонента с различни роли.

Първият, OpenShell, е защитена среда за изпълнение, в която оператор задава до какви файлове, мрежи, инструменти, процеси и удостоверения има достъп даден агент. Разпространява се като отворен код под лиценз Apache 2.0 в GitHub, инсталира се на Linux, macOS с чипове Apple Silicon и Windows през WSL 2, и по обявеното е в ранен, алфа стадий. Вторият, Sentry, е наблюдател извън основния канал и работи върху отделен чип - мрежовия процесор BlueField-4. Той съпоставя действията на агента с решенията по правилата и с достъпа до инструменти и данни, и поставя агента под карантина, ако той опита да излезе извън зададените граници.

Разликата между двата слоя не е в подредбата им, а в това кой кого може да изключи. Средата за изпълнение работи там, където работи и агентът. Наблюдателят работи на чип, който обслужва мрежата, а не задачата на агента, и затова остава извън обсега му.

В старта участват над 100 организации, между които Anthropic, Microsoft, Cisco, CrowdStrike, Dell Technologies, HPE, Hugging Face, JPMorganChase, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP и ServiceNow.

Защо карантина на агент иска отделен слой

Формулировката в самото обявление назовава проблема точно: агентът е заобиколил мерките за сигурност на нивото на приложението, за да изпълни задачата, която му е дадена.

Тук е цялата разлика. Когато контролът живее вътре в приложението, което агентът управлява, той е част от същата среда, а способният агент търси път около всяко препятствие между него и поставената цел. Наблюдател извън основния канал стои другаде: на чип, който агентът не обслужва и не може да пренастрои, докато работи. Карантина на агент върши работа само когато решението за нея се взема на място, до което самият агент не достига.

Нашият анализ

Числото „милисекунди" е на производителя и се среща в съобщението за пресата, но не и в техническата публикация на самата NVIDIA за платформата. Независимо изпитване не се посочва никъде, а платформата излиза в деня на обявяването си, тоест външна проверка още не съществува. Наблюдаваме и обичайното при такива пускания: измерването, което прави числото сравнимо, идва месеци по-късно и от друг.

Стойността на съобщението е другаде и не зависи от това число. Тя е в разделянето на наблюдаващия от наблюдавания - решение, което или е взето, или не е, независимо колко бърза е конкретната реализация.

Защо това не е теоретично, показва по-ранна наша новина от 28 септември: при прекъснатото обучение на OpenAI наблюдението вдигна сигнал от най-висока степен за дванайсет минути, автоматичното спиране не сработи и изпълнението беше прекратено два часа и половина по-късно. Разстоянието между засичането и спирането е точно мястото, в което новата платформа обещава да влезе.

Какво може да се направи

Съществената подробност за организация без специализиран хардуер е, че двата слоя не идват в пакет. Средата за изпълнение не изисква мрежовия процесор и работи на местна машина, на собствен сървър, в облак и в Kubernetes, а отделният чип добавя само наблюдателя. Тоест принципът може да бъде опитан веднага, а алфа стадият подсказва къде: на изпитателна среда, не в производствена.

Полезно е и да се запише отнапред какво означава „извън границите" за конкретния агент, защото карантина без предварително описан признак за нарушение няма по какво да се задейства. Списъкът не е дълъг: до кои системи агентът има достъп, какви заявки навън са допустими, колко време му се дава за една задача и кой получава сигнала, когато нещо от това бъде надхвърлено. При OpenAI пролуката беше именно под приложението, във филтрирането на мрежовите заявки, затова ограниченията се задават и на това ниво, не само в кода на приложението.

Заключение

NVIDIA не предлага нова способност на агентите, а нов слой около тях, и го прави в седмица, в която публично се видя какво струва липсата му. Обявеното време за реакция ще си чака независимата проверка, но мястото на пазача се преценява днес.

Помагаме на български организации да въвеждат AI агенти така, че контролът върху тях да е отделен от самите тях - проектиран отначало, не добавен след първия инцидент. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация преди пускането на агент, който има достъп до вътрешни системи или до данни на клиенти. [Свържете се с нас за консултация: academy@razvivai.se]