Заявена увереност: числото, което не мери верността

преди 5 дни

време за четене: 4 мин.

Езиковите модели все по-често сами казват колко са сигурни в отговора си, а потребителите четат това число като оценка за верността му. Изследване, публикувано на 7 септември в Nature Machine Intelligence, проверява какво прави то в действителност. Числото наистина влияе на поведението на модела, включително на решението му да замълчи, но различава по-зле верния отговор от грешния, отколкото вътрешният сигнал, който моделът не изрича.

Робот протяга ръка с уверено вдигнат палец, докато зад гърба му стрелката на измервателен уред е паднала почти до нулата, а човекът срещу него гледа палеца, не уреда

Какво точно е измерено

Екип с автори в Google DeepMind, единият от които е и в Принстънския университет, е разглобил решението на модела да отговори или да се въздържи на четири стъпки. Тестваните системи са GPT-4o, Gemma 3 27B, DeepSeek 671B и Qwen3-Next. Един модел е изключен от анализа, защото се въздържа твърде рядко, за да даде измерим сигнал.

Първата стъпка мери базовата увереност, когато въздържането изобщо не е разрешено. Втората показва, че моделите прилагат неявен праг: под определено ниво на вътрешна увереност те спират да отговарят. Размерът на този ефект е приблизително с порядък по-голям от размера на алтернативните механизми, които биха могли да обяснят въздържането - трудността на въпроса, наличието на извлечен документ или състава на входа.

Числата в самата рецензирана статия ги няма. Те идват от черновата на статията, която е достъпна свободно. Там границата, при която моделът се колебае поравно между двете, стои около 77% увереност, а покачване от една десета в увереността сваля въздържането с около дванайсет процентни пункта.

Защо заявена увереност не мери верността

Тук е практически важната част. Освен вътрешния сигнал моделът произвежда и словесна самооценка, тоест число, което изрича. Изследването установява, че тази самооценка предсказва въздържането самостоятелно и при всичките тествани модели, а не просто повтаря вътрешния сигнал. Връзката между двете величини е слаба, тоест изреченото число не е прочит на вътрешното състояние, а по-скоро втори, отделен и по-беден изход от същата мрежа.

Тоест заявена увереност не е прозорец към вътрешното състояние на модела, а отделен изход със собствено поведение. По-съществено за всекидневната работа: същата самооценка се справя по-зле от вътрешния сигнал със задачата да отдели верния отговор от грешния. Отговор, който звучи по-уверено, не е по-често верен - той е просто отговор, при който моделът е изрекъл по-голямо число.

Причината е вътре в мрежата

Обикновено такива твърдения се градят върху съвпадения. Тук екипът е направил нещо повече и е намесил директно вътрешното представяне на увереността в един от моделите с отворени тегла. Когато сигналът се усилва изкуствено, въздържането спада; когато се потиска, въздържането се покачва. В черновата разликата между двата края е от около 66,5% въздържане до около 7%.

Това е причинно доказателство, а не корелация, и е рядкост в тази област. Ограничението обаче трябва да се каже заедно с резултата: постановката е върху фактологически въпроси с четири предложени отговора. Дали същият механизъм работи при отворен въпрос или при агентна задача, изследването не доказва.

Четвъртата стъпка е практически най-близка до всекидневието: когато на моделите се укаже да ползват различен праг за въздържане, те се съобразяват и променят поведението си съответно. Прагът е управляем отвън, но онова, което се движи с него, е готовността да се отговори, не способността да се отговори вярно.

Уместно е и уточнението кой е измерил това. Всичките петима автори са към Google DeepMind и изследването е финансирано от нея, тоест резултатът засяга и продукти на финансиращата страна. Публикацията е рецензирана, а изходната работа е свободно достъпна, което позволява проверка отвън.

Какво следва при работа с модел

Първото следствие е за начина, по който се четат отговорите. Когато инструмент съобщи колко е сигурен, това число говори за поведението, което ще последва, а не за истинността на казаното. Двете се бъркат лесно, защото са изразени с една и съща скала.

Второто следствие е за начина, по който се строят работни потоци. Праг от рода на „приемаме отговора, ако моделът е над 80% сигурен" изглежда като контрол, но всъщност настройва бъбривостта на системата, не точността ѝ. Проверката, която реално отсява грешките, остава външна - втори независим източник, повторно запитване с различна формулировка или човек, който познава материята.

За обучение на екипи изводът е още по-прост. Навикът, който си струва да се изгражда, не е „търси процента", а „търси проверимата следа": има ли посочен източник, отваря ли се той и казва ли същото.

Заключение

Заявената увереност е реален лост върху поведението на модела и същевременно слаб измерител на верността му. Който я ползва за първото, е прав; който я ползва за второто, замества проверката с усещане за проверка.

Помагаме на български екипи да изградят навици за проверка на AI изход, вместо да разчитат на самооценката на инструмента. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при работни потоци, в които отговор на модел се приема автоматично над определен праг на увереност. [Свържете се с нас за консултация: academy@razvivai.se]