По-добрият модел може да направи системата по-крехка

7.09

време за четене: 4 мин.

Обичайното допускане при избора на AI инструмент е просто: по-новият и по-силният модел е по-добрият избор. Нова научна работа от екип на MIT и Harvard Kennedy School стига при определени условия до обратното. Колкото по-способни са моделите, толкова по-еднакво се държат, а еднаквите решения не се уравновесяват едно друго.

Седем еднакви робота стоят в редица и всички сочат с еднакъв жест в една и съща посока, а единственият човек до тях гледа в обратната и е стъпил на самия ръб на пътеката

Какво твърди новата работа

Работата е публикувана на 3 септември в отворения архив arXiv и е дело на четирима изследователи от MIT и един от Harvard Kennedy School, сред които Андрю Ло, професор в MIT Sloan и ръководител на тамошната лаборатория по финансово инженерство. Тя е чернова и още не е минала през рецензия.

Централното твърдение е формулирано направо: подобряването на способността на отделния модел може да влоши, вместо да подобри, резултата на ниво система. Предположението за причината е споделеното обучение. Сходните данни и сходните архитектури правят по-способните модели по-еднакви в поведението, а еднаквите действия не се разсейват при обединяване и оставят праг на риска, който не пада с добавянето на още участници.

Авторите наричат това парадокс на способността: подобряването на отделния модел не води непременно до по-добър резултат за системата, в която той работи.

Защо по-добрият модел не значи по-добър резултат

Проверката е направена в симулация на финансов пазар. Седем езикови модела отговарят на 64 сценария, по пет отговора на сценарий. Връзката между способността на модела и еднаквостта на поведението излиза статистически значима по две различни мерки за способност.

Числата са конкретни. При обединяване на изходите разсейването на грешката не пада под 0,010 при 0,021 за единичен модел, тоест приблизително наполовина по формулировката на самите автори. Това е подът, който не се сваля чрез добавяне на още агенти.

Условието обаче се губи най-често при преразказ: когато общото разсъждение на моделите е вярно, повече агенти намаляват риска, а вредата се появява само когато всички се хранят от една и съща сгрешена картина. При такъв сценарий средната грешка при проследяване стига пет до седем пъти стойността, измерена при пазар без модели.

Какво казват надзорните органи

Наблюдението не е само на един екип. Съветът за финансова стабилност пише още през ноември 2024 г., че еднообразието в данните за обучение и в архитектурата води до сходни изходи, които могат да усилят пазарния стрес и да задълбочат недостига на ликвидност. В същия доклад стои и по-острата формулировка: сътресение върху част от сектора, която ползва едни и същи модели и данни, може да засегне тази част така, както ако тя беше една-единствена институция. Докладът от октомври 2025 г. повтаря наблюдението.

Сара Брийдън, заместник-управител на Bank of England, говори в същата посока на форума на Европейската централна банка през юни 2026 г. Ако агентите реагират сходно на едни и същи подсказки, това може да усили колебанията при напрежение. Тя нарича явлението стадно поведение и поставя открито въпроса дали са нужни предпазители, аналогични на прекъсвачите, които спират търговията при срив.

Тежестта на двата източника е различна и точно това е полезното: надзорните органи описват притеснението от 2024 г. насам, а новата работа предлага механизъм и числа защо то се засилва с качеството на моделите.

Какво следва при избора на AI инструмент

Уговорките са съществени. Всички доказателства идват от симулация на един-единствен актив, авторите го признават изрично и добавят, че дали същото важи в други области, остава отворен въпрос. Седем модела не са голяма извадка, а самата причина е формулирана като предположение, не като установен факт.

Дори с тези уговорки изводът е приложим извън финансовите пазари.

Първо, когато решение с последствия се проверява от няколко агента, но всички те работят върху един модел и с една и съща подсказка, това не е втора проверка, а същата проверка, повторена. Разнообразието от модели и от формулировки е евтината част от защитата.

Второ, общият източник на данни е по-опасен от общия модел. Ако всички агенти четат едно и също, грешката в източника не се улавя от никого по веригата.

Трето, човешката проверка остава единственото място във веригата, което не споделя обучението на моделите.

Заключение

Новата работа не твърди, че по-силните модели са лош избор. Твърди нещо по-точно и по-неудобно: по-добрият модел се преценява сам за себе си, а рискът се появява едно ниво по-горе, при цялата система, в която работят много такива модели. За организация, която вече ползва няколко агента, полезният въпрос не е кой е най-добрият модел, а колко различни са тези, на които се разчита едновременно.

Помагаме на български организации да съставят работещ подбор от AI инструменти, вместо да стъпват изцяло на един модел за всяка задача. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация, когато няколко агента участват в едно и също решение с финансови или правни последствия. [Свържете се с нас за консултация: academy@razvivai.se]