Проектиране на белтъци: 14 от 15 мишени, 0 от 90

20.08

време за четене: 4 мин.

Anthropic публикува на 18 август експеримент, в който Claude сам инсталира и управлява цяла верига от научни инструменти с отворен код и проектира малки белтъци срещу петнайсет мишени. От 1320 предложения 354 се закачиха за целта си в лабораторни условия. Най-поучителното число обаче не е нито едно от тези две, а нулата при мишената, при която не сработи нищо.

Робот е поставил дъски над четиринайсет от петнайсетте пролуки на пешеходен мост и се обръща доволен, а жена инженер до него сочи мълчаливо последната празна пролука.

Как изглежда проектиране на белтъци без човек на пулта

Задачата е проектиране на белтъци от типа минибиндер: много малко изкуствено белтъче, съставено по поръчка така, че да се залепи за точно определено място върху друга молекула. Естествените антитела вършат подобна работа, но са десетки пъти по-големи.

Новото не е в самите инструменти. Използваните програми са с отворен код и се ползват от години. Новото е, че моделът сам ги е инсталирал, свързал и подредил в работна последователност, без човек да го води през стъпките. Две кампании са водени от Claude Opus 4.8 и Claude Mythos Preview.

Числата по кампании се различават осезаемо: 22,6% сработили при едната, 26,7% при втората и 35,1% при третата, която е работела по една мишена наведнъж. Общо 354 от 1320. От 30-те предложения за всяка мишена моделът сам е подредил кое смята за най-добро, и точно първото в списъка сработва в 49% от случаите, при 28% за целия списък.

Силата на закачването се мери с концентрация: колкото по-разредено може да е веществото и пак да стои закачено, толкова по-здрава е хватката. 194 предложения слизат под 100 наномола, 90 под 10, а 42 под 1 наномол.

Кой е мерил и защо това има значение

Измерването не е правено от Anthropic. Двете лаборатории са Adaptyv Bio в Лозана и Twist Bioscience в Калифорния, като първата е тествала всички 1320 предложения, а втората 1260. Нито една от двете не е виждала резултатите на другата, нито кой модел стои зад дадена последователност. Съвпадението между тях е 89%.

Това е реална външна проверка и е най-здравата част от изследването. Заедно с това двете лаборатории са платени от Anthropic за работата, а изборът на мишени, протоколът и тълкуването остават на компанията. Външно е измерването, не постановката, и разликата между двете не бива да се заличава.

Има и по-слабо звено. Твърдението, че обичайното за бранша е 10-15% сработили предложения, се появява само в съобщението, но не и в самия технически доклад, а Anthropic го е извела от публична база данни, поддържана от една от платените лаборатории. По-издържано е директното сравнение при мишената RBX1: 28 сработили от 90 предложения на модела срещу 9 от 245 при участниците в открито състезание по същата задача.

Нулата, която казва повече от успеха

При една мишена, малтоза-свързващия белтък, не сработи нито едно от 90 предложения. Контролната проба на същата плака е дала очаквания сигнал, тоест тестът е бил изправен, а предложенията слаби. При друга мишена сработиха 3 от 90.

Най-важното признание е свързано точно с това. Собствената оценка на модела за качеството на предложенията не е предупредила за провалите: стойностите при провалилите се мишени са почти същите като при успешните. Инструмент, който греши и е сигурен в себе си, изисква външна проверка при всяко пускане, а не при съмнение.

Авторите изброяват и останалите ограничения без заобикалки: измерено е закачване, не действие; нито една структура не е разчетена, тоест всички показани изображения са предсказания; и няма контролна група от специалисти със същите инструменти и същия бюджет. Всяка комбинация е пусната по веднъж, което значи, че разликите между моделите могат да са и случайност.

Какво е новото всъщност

Изводът, който се пренася извън биологията, е в оркестрацията. Стойността тук не идва от по-добър модел за белтъци, а от това, че езиковият модел е поел цялата верига: избор на инструменти, инсталиране, пускане, подреждане на резултатите. Anthropic сами не твърдят, че предложенията им са по-добри от тези на специалист със същия набор от инструменти.

Данните са публикувани и подлежат на проверка: подсказките, всички предложения с ранга им и суровите измервания на двете лаборатории са свободно достъпни. Теглата на моделите не са. Няма и рецензирана публикация, а самият доклад е написан от модела.

Заключение

Резултатът е истински и е добре документиран, включително провалите, което е рядкост. Полезното за всеки друг бранш не е успеваемостта, а рамката: агент може да поеме цяла работна верига, но собствената му увереност не е показател за качеството на резултата.

Помагаме на български изследователски и технологични екипи да преценят кога AI агент може да поеме цяла работна верига и къде задължително остава външна проверка. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при автоматизиране на процес, в който грешката се вижда чак на изхода. [Свържете се с нас за консултация: academy@razvivai.se]