Изследователска задача, която агентите не решиха

23.08

време за четене: 4 мин.

Опитът е устроен така, че да няма спор за резултата. Челни агенти получават истинския отворен въпрос на неиздадена научна статия, шест дни време и три хиляди долара изчислителен ресурс. После оригиналните автори оценяват какво е излязло. Агентите свършиха цялото програмиране без чужда помощ и въпреки това получиха най-ниските оценки по скалата - разликата минава точно между изпълнението и преценката.

Робот е подредил безупречно дълга редица инструменти на маса, но стои неподвижно пред черна дъска с недовършена схема, докато изследователка го подминава с бележник в ръка

Как е устроен опитът

Методът авторите наричат сенчести оценки. Вземат се две подадени, но още непубликувани статии за голяма научна конференция, извлича се централният им изследователски въпрос и той се дава на агент. Оригиналните автори участват на три места: формулират въпроса, определят бюджетите и накрая оценяват готовия текст, все едно рецензират за конференцията.

Условията са щедри. Шест дни реално време и три хиляди долара за обръщения към модела, плюс отделен бюджет за изчислителна карта. Агентите получават виртуална машина, отворен интернет, подагенти и собствен изследователски дневник. От трите хиляди долара са изразходвани хиляда сто и трийсет при единия опит и хиляда двеста трийсет и пет при другия - тоест недостигът не е от ресурс.

Тестван е основно един челен модел върху отворена работна среда, а за проверка на устойчивостта опитът е повторен с друг челен модел върху неговата собствена среда. Вторият възпроизвежда почти всички наблюдавани проблеми, което намалява вероятността резултатът да е особеност на един доставчик.

Изследователска задача срещу инженерна задача

Оценките са две от шест и една от шест по скала, в която едно означава категорично отхвърляне, а шест - категорично приемане. Тук е нужно уточнение, което лесно се изгубва: статиите не са отхвърлени от конференцията, защото никога не са подавани там - оценили ги са хората, които сами са работили по същите въпроси.

Формулировката на авторите е тясна и си струва да се задържи дословно: агентите се справят с инженерството на научната работа, но се затрудняват в решаващите части от изследователския цикъл. Всяка изследователска задача от отворен тип изисква преценка кое си заслужава да бъде публикувано, а тя се оказа липсващото звено.

Петте повтарящи се начина на провал

Първият е слаба преценка за прага на публикуемото. Вторият е нетворчески отговор, когато самият замисъл се окаже слаб. Третият е неспособност да се излезе от задънена улица. Четвъртият е лошо усещане за разполагаемия ресурс. Петият е постепенно отклонение от първоначалната задача.

Две подробности правят картината по-конкретна. И двата агента изоставят най-амбициозните си цели в първите десет часа и след това нито веднъж не сменят подхода си из основи. При отрицателна обратна връзка те не преработват замисъла, а добавят уговорки към вече направените изводи. Самооценката им нито веднъж не връща приемане в десетки цикли на редактиране, тоест проблемът не е в разпознаването на слабостта, а в реакцията към нея.

Какво изследването не доказва

Авторите са необичайно откровени за границите на работата си и това заслужава да бъде предадено. Резултатите идват от пет пробега, но само по две изследователски теми. Рецензентите не са били слепи - знаели са, че текстовете са машинно написани, и сами са автори на конкурентните статии. На агента е било изрично казано, че ще бъде оценяван по рецензентска скала, което може да е повлияло на поведението му. Най-силният модел на един от доставчиците изобщо не е бил достъпен за такъв опит.

Има и открито разногласие вътре в самия екип дали наблюдаваното е липса на творчество, слаба преценка или затваряне в собствената логика. Работата е чернова и не е минала през рецензия - извод от нея се прави с уговорка, не с категоричност. Същият екип отбелязва и обратния случай: сходна постановка по-рано е построила и пуснала работещо мобилно приложение самостоятелно.

Какво следва от това при избора на умения

Разделителната линия е практична. Изпълнението - писането на код, подредбата на опити, обработката на данни - вече се върши бързо и евтино. Онова, което остава дефицитно, е преценката: кой въпрос заслужава усилие, кога замисълът е сгрешен и трябва да се смени, кога резултатът е достатъчно добър.

Това не е успокоение за никого. Означава, че стойността на един специалист се мести от изпълнението към формулирането на въпроса - а точно тази част се учи най-бавно и най-трудно се преподава.

Заключение

Резултатът не казва, че машините не могат да правят наука. Казва нещо по-полезно: инженерството около изследването вече е автоматизирано, а преценката какво изобщо си струва да се изследва - още не.

Помагаме на български екипи да разграничат кое от работата им вече е автоматизирано и кое остава човешко - с преглед на реалните задачи, а не на общите обещания. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при планиране на обучение за екипи, които работят с данни и анализ. [Свържете се с нас за консултация: academy@razvivai.se]