Локален AI агент, който не харчи такса на токен

26.08

време за четене: 4 мин.

Абонаментът за AI инструмент има свойството да расте незабелязано, докато работата се увеличава. Затова обявеното на 25 август 2026 г. от Perplexity заслужава внимание независимо от това дали конкретният продукт е подходящ за дадена организация. Промяната не е в модела, а в мястото, където се плаща.

Робот държи голяма ножица над дебел кабел, който излиза през прозореца, а до него мъж с дълга касова бележка в ръка гледа ту кабела, ту малката сребриста кутия на бюрото и се колебае

Какво се мести на своята машина

Продуктът се казва Portable Computer и е локалният вариант на облачния агент на компанията. Локално върви не само моделът, а целият цикъл: обвивката на агента, оркестраторът, планиращият модел и маршрутизаторът на инструменти.

Работи на NVIDIA DGX Spark, а също и на Linux машина с видеокарта от поне 24 GB видеопамет. Същият праг от 24 GB се появи и при друг локален агент, описан в по-ранна наша новина, тоест той се утвърждава като практическата входна граница. Версията за Windows се очаква през септември. Моделите на старта са PPLX 27B, доработен вариант на Perplexity, плюс Qwen 3.8 27B и Qwen 3.6 35B. Функцията е за абонатите на плановете Pro и Max.

Най-съществената подробност е в поведението при излизане навън. Когато стъпка се нуждае от живия уеб или от по-силно разсъждение, оркестраторът спира и пита, преди да изпрати точно тази стъпка. Изпращането навън става изключение, за което се иска разрешение, вместо да е подразбиращо се състояние.

Как локален AI агент променя сметката

Основният аргумент за локален AI агент е сметката, но не по начина, по който изглежда на пръв поглед. Локалните стъпки не харчат кредити и не се таксуват на токен. Това звучи като премахване на разход, а по-точното описание е смяна на вида му: месечната променлива сметка се заменя с еднократна покупка на хардуер.

Числото не е дребно. Началната цена на DGX Spark е 4 699 долара, вдигната от 3 999 в края на февруари 2026 г. заради недостиг на памет в целия отрасъл. Машината носи двадесетядрен процесор и 128 GB обединена памет. Хардуерът се купува отделно и не влиза в абонамента, тоест сметката се прави за две години напред, не за месец.

Има и втора полза, която не се измерва в пари. Данните не напускат машината, освен когато потребителят изрично разреши точно тази стъпка. За работа с договори, здравни или счетоводни данни това е отделен аргумент, независим от цената.

Къде сметката още не излиза

Няколко ограничения заслужават да бъдат назовани, преди изчислението да изглежда по-добро, отколкото е.

Контекстният прозорец е около 256 000 токена, но качеството осезаемо спада след около 100 000. Заявената граница и работната граница са различни неща и втората определя какво реално може да се свърши.

Изпълнението на код и на инструменти минава през пясъчник, наложен от операционната система, който ограничава процеси, файлови пътища и мрежов достъп. Как точно е реализиран, обявлението не описва, а описание липсва и в отразяването.

Остава и въпросът за поддръжката. Собствената машина иска собствен човек, който да я обновява и наблюдава. При облачния абонамент този разход е скрит в цената; при локалната постановка той се появява на видно място и обикновено се подценява.

За кого има смисъл днес

За организации с повтаряща се, обемна и предвидима работа с агент сметката вероятно излиза, особено когато поверителността на данните така или иначе налага ограничения. Стойността тук идва от обема, не от новостта.

За малка фирма с непостоянно натоварване облачният абонамент остава по-евтин и по-прост. Покупка на хардуер за няколко хиляди долара, за да се спестят десетки на месец, е лоша сделка независимо колко привлекателно звучи идеята за независимост.

За учащите новината е полезна с друго. Моделите от порядъка на 27 до 35 милиарда параметъра вече вършат сериозна работа на една машина, а това означава, че уменията за работа с локални модели престават да бъдат екзотика. Търсенето на хора, които умеят да настройват и поддържат модел на собствен хардуер, върви след този преход, а не преди него.

Има и трета група, за която сметката се обръща по друга причина. При работа, ограничена от изисквания за мястото на съхранение на данните, облачният вариант просто отпада като възможност. Тогава въпросът не е кое е по-евтино, а кое изобщо е допустимо, и локалната постановка става единствената сметка, която има смисъл да се прави.

Заключение

Съобщението не е, че облакът приключва. То е, че мястото на изчислението вече е избор с пресметаема цена от двете страни, а изборът има смисъл да се прави съзнателно, а не по инерция.

Помагаме на български организации да сравнят облачния и локалния подход с реални числа, вместо по усещане. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при планиране на бюджет за AI инструменти за следващата година. [Свържете се с нас за консултация: academy@razvivai.se]