Flint: кодов модел за лаптоп, построен основно от AI

23.10

време за четене: 4 мин.

Новите модели обикновено идват от големи екипи и месеци работа. Стартъпът Recursive пусна модел за писане на код, който работи на лаптоп и е създаден от нулата за под четири месеца. Компанията твърди, че почти всяка стъпка по пътя е минала през собствена AI система за изследвания, а хората са я надзиравали.

В светла работилница робот сглобява малко роботче върху работна маса и сам държи инструментите, а жена инженер стои до него с хронометър в ръка и го гледа учудено, без да е сигурна какво да запише.

Какво пусна Recursive

На 21 октомври Recursive публикува Flint, първия си модел. Той има 40 милиарда параметъра общо, но на всяка стъпка ползва само 2,5 милиарда, затова се побира в обикновен лаптоп. Тежестите са свободни за сваляне под лиценза Apache 2.0, който позволява и търговска употреба, а моделът работи с познати инструменти като Ollama, LM Studio и llama.cpp.

Според компанията Flint изписва над 125 токена в секунда на MacBook Pro с чип M4 Pro и над 150 на NVIDIA RTX Spark, до два пъти по-бързо от сходни модели. Тя твърди също, че Flint води сред моделите от този тип под 50 милиарда параметъра на тестове за програмиране като SWE-Bench Pro v2, Terminal-Bench 2.1 и SWE-Bench Verified. Всички тези резултати са от измерванията на самата компания.

Recursive е основана миналата година от Ричард Сохер, бивш главен учен на Salesforce. През май компанията излезе с 650 милиона долара финансиране при оценка от 4,65 милиарда долара.

Как Flint е построен от машина

Сърцевината на новината е системата, която компанията нарича Eureka Machine. Тя предлага идеи, изпълнява ги, проверява дали работят и по резултатите решава какво да опита след това, като върви по няколко посоки наведнъж. Според Recursive тя е участвала в почти всичко - от данните и рецептите за обучение до инфраструктурата и скоростта на работа.

Компанията дава три конкретни примера. Първият е формата на модела: системата е тръгнала от вариант с 35 милиарда параметъра и 3 милиарда активни и е стигнала до 40 и 2,5 милиарда като най-добрия баланс между скорост и качество. Вторият е компресирането. Противно на обичайната практика, тя е свила до 4 бита и последния слой на модела, а след допълнително дообучаване резултатът остава в рамките на 0,7 точки от пълния вариант. Третият е специализиран код за чиповете на Apple и NVIDIA, който ускорява работата на модела върху конкретния хардуер.

Машината не е измислила модела сама, а е търсила по-добри решения в много отделни задачи, които хората после са приели или отхвърлили. Ричард Сохер казва пред Wired, че системата е под човешки контрол и процесът може да бъде спрян.

Нашият анализ: какво е проверено и какво не

Независимата проверка засега е една. Журналистът на Wired Уил Найт е ползвал Flint няколко дни на Mac с 48 GB памет и пише, че моделът е изпълнил всяка негова задача - списък със задачи в командния ред, програма за търсене на изследвания и малък сайт. Това е ценно свидетелство, но не е измерване. Recursive сама признава, че Flint иска повече указания от големите платени асистенти и съветва задачите да се разделят на по-малки стъпки.

Не е казано и колко време е спестила системата. TechCrunch отбелязва, че компанията не дава такова число, а точно то би показало дали подходът реално ускорява работата или само я пренарежда. Без това число твърдението, че моделът е построен от AI, остава описание на метода, не доказан резултат.

Темата е и спорна. Wired пише, че идеята AI да подобрява сам себе си е толкова противоречива, че в Конгреса на САЩ има законопроекти за забраната ѝ. Flint е далеч от такава система, но е публичен пример за посоката.

Какво може да се направи

Сметката за локален модел, който не праща код в облака и не струва такса на токен, разгледахме в по-ранна наша новина и тук не я повтаряме. За екип, който пише код, си струва Flint да се пробва на реална задача от собствената работа, на собствената машина, защото цитираните скорости са за конкретен хардуер.

По-широкият урок е за метода. Автоматичното търсене на по-добри настройки, компресия и код е приложимо и в много по-малък мащаб, където AI помага да се изпробват повече варианти, а човек решава кой да остане.

Заключение

Flint е добър модел за лаптоп, но новината е в начина, по който е създаден. Ако подходът на Recursive се потвърди, малки екипи ще могат да правят модели, които досега искаха големи лаборатории.

Искате да започнете с AI от нулата? Безплатният курс „Основи на AI“ е 17 видео урока, около 35 минути, със сертификат: Започнете безплатния курс по AI

Помагаме на български екипи за разработка да преценят кога локален модел с отворени тегла е по-добрият избор от облачен асистент. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация, когато кодът не бива да напуска фирмата, а екипът иска да пише с помощта на AI. [Свържете се с нас за консултация: academy@razvivai.se]