Claude Sonnet 5.5: по-ниска цена на задача

29.09

време за четене: 4 мин.

На 28 септември Anthropic пусна Claude Sonnet 5.5. Цената за милион токени не се променя с нито един цент спрямо предишния модел, а обявената икономия до 30% идва от това, че за същата работа се изразходват по-малко токени. Първото независимо измерване отчита обратното - по-висок разход за решена задача.

Двама служители в офис сочат две еднакви ценови табели на стената и не виждат разлика, а до тях робот е сложил на кантара по-малка кутия от същата стока, но стрелката е отишла нагоре и роботът гледа озадачено

Какво е обявено

Моделът се обозначава claude-sonnet-5-5 и е наличен през интерфейса за програмиране, в приложенията на компанията, както и при Amazon Web Services, Google Cloud и Microsoft Azure.

Ценоразписът остава непроменен: 2 долара за милион токени на входа и 10 долара за милион на изхода, четене от кеша 0,20 долара, а в партидния режим 1 и 5 долара. Това са същите стойности, които важат за Sonnet 5.

Тук се затваря и една по-стара сметка. По-ранна наша новина от август съобщи, че цената на Sonnet 5 се вдига с 50% от септември, защото обявените 2 и 10 долара бяха въведени като начални до 31 август. Увеличението не се случи: в документацията за цените тези стойности вече са отбелязани като стандартни, а предвиденото поскъпване до 3 и 15 долара е отменено.

Двете обявени числа за подобрение са скорост и разход. Производителят съобщава, че моделът генерира над 30% по-бързо от предшественика си и че цена на задача при него пада с до 30%, защото обикновено му трябват значително по-малко токени и по-малко извиквания на инструменти за същата работа. Резултатите, с които се обосновава, са четири. На Terminal-Bench 4.0 - 70,6% срещу 10,3%. На CursorBench 4.0 - 55,5% срещу 34,1%. На OSWorld 2.1 - 80,1% срещу 57,0%. На Humanity's Last Exam - 64,5% срещу 54,9%.

Защо цена на задача не се чете от ценоразписа

Ценоразписът мери едно: колко струва един токен. Сметката на организацията мери друго: колко токена отиват за една свършена задача. Двете се разминават и точно в това разминаване е новината - същото разграничение, което разглеждахме в по-ранна наша новина от септември.

При обявленията от предишната седмица поевтиня самият токен - обявената цена падна и сметката се смени в деня на превключването. Тук движението е друго: цената на входа е същата, а надолу се мести броят на токените, тоест икономията не се чете от ценоразписа и се появява едва в собственото потребление. Точно затова тя подлежи на проверка, а не на приемане.

Нашият анализ

Проверката вече е направена от трета страна и не потвърждава обявеното. Artificial Analysis е пуснала новия модел на максимална настройка на усилието и с включеното по подразбиране връщане към предишния модел. По нейното измерване Sonnet 5.5 излиза 56 точки в общия индекс срещу 38 за Sonnet 5, но при претеглен разход 7,60 долара за задача срещу 5,09. Тоест по-умен за задачата и по-скъп за задачата едновременно.

Двете сметки не се изключват, защото не мерят едно и също. Максималната настройка на усилието оставя модела да мисли по-дълго, а по-дългото мислене е изход, който се плаща по 10 долара за милион. Обявените до 30% се отнасят за обичайната работа, където по-краткият път действително пести, а измерването на трета страна показва какво става в другия край на скалата. Практическият извод от разминаването е, че при този модел настройката, с която го пускате, влияе на сметката повече от самата му цена.

Заслужава и втора бележка: в таблицата на производителя за Terminal-Bench не е посочено с каква настройка е мерен Sonnet 5, а разликата там е от порядък. Число без обявени условия на измерването не е сравнение.

Какво може да се направи

Проверката е кратка и си струва да бъде направена, преди сметката да я направи сама. Вземете десетина реални, представителни задачи от собствения работен процес, пуснете ги и на двата модела при еднаква настройка и записвайте изразходваните токени за завършена задача, не времето. Разликата в разхода излиза от това число.

Има и подробност, която екипите на разработка трябва да отбележат. Sonnet 5.5 е първият модел от линията с предпазни мерки по киберсигурност и при по-рискови заявки в тази област се връща към предишния модел. В приложенията на компанията това става автоматично, а през интерфейса за програмиране разработчикът трябва сам да включи връщането - в противен случай заявката просто няма да бъде обслужена по очаквания начин.

Заключение

Обявеното поевтиняване тук не е в цената, а в разхода, и затова е единственото, което купувачът трябва сам да си потвърди. Ценоразписът остава същият. Какво ще плати конкретната организация, показва само нейното измерване, направено при настройката, с която тя наистина работи.

Помагаме на български фирми и екипи да избират AI модел по сметка за свършена работа, а не по обявена цена на токен. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при смяна на модел в процес, който вече работи в производствена среда. [Свържете се с нас за консултация: academy@razvivai.se]