Clef-omni: мултимодален модел, който не пише текст

13.10

време за четене: 3 мин.

Cloudflare пусна модел, който изслушва запис, гледа видео и отговаря на зададени въпроси, без да напише нито едно изречение. Вместо текст той връща вероятност за всяка допустима стойност. Точно защото не пише, за изходящите токени не се плаща нищо.

Робот завърта голям циферблат със стрелка към една стойност, а човек до него подава дебел бележник и чака написан отговор, озадачен.

Какво представи Cloudflare

На 9 октомври Cloudflare обяви Clef-omni, ново допълнение към семейството Clef. Моделът носи 30 милиарда параметъра, от които 3 милиарда работят при всяка заявка, и приема вход като текст, структурирани данни, изображение, звук или видео. Контекстният прозорец е 64 000 токена.

Обявлението обхваща цялото семейство. Освен новия модел Cloudflare ускори Clef и свали цената на по-малкия Clef-flash до 0,038 долара за милион входни токени. Приемат се изображения във формат PNG, JPEG и WebP, звук във формат wav и mp3, видео във формат mp4 и webm.

Съществената разлика е, че моделите Clef не са езикови модели. Вместо да генерира отговор дума по дума, Clef-omni получава описание на състоянието и набор от въпроси с допустими отговори, след което връща вероятност за всяка допустима стойност на всеки въпрос. Изходът е оценка, не изречение.

Защо мултимодален модел без транскрипция има значение

Обичайният начин да се обработи запис изисква верига от модели. Един превръща речта в текст, втори анализира текста, трети взема решението. Всяка стъпка добавя време, цена и място за грешка, а грешката в началото се пренася нататък. Когато транскрипцията сбърка име или число, следващите стъпки работят върху сбъркания текст и връщат уверен отговор върху грешен вход.

Clef-omni приема звуковия и видеозаписа направо. Пълен видеозапис от 21 секунди със звук се оценява за около секунда и половина, решение само по текст се връща за около 130 милисекунди при средната стойност, а по изображение за около 150 милисекунди. Практическият смисъл е ясен: мултимодален модел, който не минава през транскрипция, маха цяла стъпка от веригата, а с нея и нейната цена.

Нашият анализ: цената пада, защото моделът не пише

Цените в семейството подреждат неочаквана картина. Clef-omni струва 0,15 долара за милион входни токени, докато Clef, който работи само с текст, струва 0,24 долара. По-богатият на възможности модел излиза по-евтин от по-простия. За изходящи токени Cloudflare не начислява нищо при моделите Clef, защото изход в обичайния смисъл липсва.

Наблюдаваме, че това разменя сметката при задачи с голям обем кратки решения: насочване на запитване, проверка на заявка, оценка на риск. При тях досега се плащаше за генериран текст, който никой не чете. Категорията не е нова и за модел, който оценява вместо да пише, писахме в по-ранна наша новина за Microsoft Decision-1.

Какво може да се провери

Струва си да се погледне къде във веригата стои транскрипция само за да захрани следващата стъпка. Ако междинният текст не се чете от човек, той е разход без получател. Отговор с вероятност се поддава на праг, тоест организацията може сама да определи кое минава автоматично и кое отива при служител.

Полезно е и да се провери кои въпроси изобщо могат да се зададат като затворен набор. Clef-omni не измисля нова категория, а подрежда вероятност между предварително допустимите. Там, където отговорът трябва да е свободен текст, този клас модели не върши работа.

Обявените стойности за бързина и точност идват от производителя. Преди замяна на работеща верига поведението на модела се измерва върху собствени данни и собствени въпроси, защото тежестта на грешката е различна при всяка организация. Разликата в цената на един милион токена изглежда дребна, но при милиони кратки проверки месечно тя се натрупва до реална сума.

Заключение

Clef-omni мести въпроса от това колко добре моделът пише към това колко уверено решава. Когато изходът е число, а не изречение, и цената, и проверката изглеждат различно.

Помагаме на български организации да четат AI новините отвъд заглавията и да виждат сметката под тях. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при избор на модел за автоматична обработка на заявки, записи и документи. [Свържете се с нас за консултация: academy@razvivai.se]