Учене с AI: уменията падат, щом помощникът изчезне

25.08

време за четене: 4 мин.

Езиковият модел вдига резултата на упражнението почти без изключение. Въпросът, който рядко се задава, е какво остава от този резултат на изпита, когато моделът го няма. Две независими изследователски групи мериха точно това и стигнаха до едно и също: представянето пада под нивото на онези, които изобщо не са имали достъп.

Робот стои изправен пред стъклена стена, а мъж до него държи таблет и се е спрял в очакване, без да пише; в дъното на светлото помещение жена ги наблюдава отстрани

Какво измерва изследването в PNAS

Работата на екип от Wharton School към Университета на Пенсилвания е публикувана в PNAS през юни 2025 г. и е минала рецензия. Обхватът е необичайно голям за подобен опит: около хиляда ученици в приблизително петдесет паралелки от девети до единадесети клас, четири учебни сесии по деветдесет минути.

Устройството на опита е това, което прави резултата четим. Учениците са разделени на три групи: контролна с учебник, група с интерфейс върху езиков модел без ограничения и група с версия, в която са вградени предпазни мерки. Достъпът до модела съществува само по време на упражненията. Изпитът е на закрита книга, без никакъв достъп до инструмента.

По време на упражненията и двете групи с достъп се представят чувствително по-добре от контролната: с 0,137 и с 0,361 при контролна средна 0,28. На изпита картината се обръща. Групата с неограничен достъп пада с 0,054 спрямо контролната, при контролна средна 0,321 и статистическа значимост под 0,05.

Учене с AI при повторение от независим екип

Възражението към единично изследване е очевидно и затова второто е важно. Екип от Carnegie Mellon, Оксфорд, MIT и Калифорнийския университет в Лос Анджелис публикува три отделни опита с произволно разпределени участници, общо 1222 души, като единият е нарочно повторение на другия.

Схемата е същата: помощникът се маха преди тестовата част, при това без предупреждение. Делът решени задачи без помощ излиза 0,57 срещу 0,73 в първия опит, 0,71 срещу 0,77 в репликацията и 0,76 срещу 0,89 в третия, който проверява четене с разбиране, а не смятане. И трите разлики са статистически значими.

Второто наблюдение на този екип е по-неочаквано от първото. Участниците, ползвали помощ, се отказват от задачата по-често, вместо да се борят с нея. Ефектът се появява след около десет минути работа, тоест навикът се залепва много по-бързо, отколкото звучи разумно. Тук е редно да се уточни, че в един от трите опита разликата в отказването не достига значимост.

Границата минава при оградите, не при инструмента

Най-полезното число в цялата работа е онова, което не показва вреда. Групата, работила с версията с вградени ограничения, излиза на изпита с коефициент минус 0,004 спрямо контролната, което е практически нула. Вреди не езиковият модел, а безусловният достъп до готовия отговор.

Разликата между двете версии е в поведението, не в мощността. Ограничената дава насока, задава въпрос обратно, отказва да реши задачата вместо ученика. Свободната предоставя решението веднага, защото точно това е поискано от нея.

Оттук следва и практическото разделение. Лека употреба, при която инструментът проверява и подсказва, не се наказва в нито едно от измерванията. Наказва се заместването на самостоятелното усилие, и то се вижда чак когато подпората се махне.

Какво следва за учащите и за работодателите

За ученик или студент изводът е неудобен, но приложим: учене с AI дава резултат, който не е измерител на подготовката. Двете изследвания се схождат и в това, че представянето с помощ надценява реалната способност, тоест обичайният начин да се провери докъде е стигнало ученето дава грешен отговор.

Въпросът не е теоретичен за България. По данни на изследването на Министерството на образованието и науката и БАСКОМ 94,7% от българските ученици ползват изкуствен интелект за учебни цели поне понякога, а близо половината - няколко пъти седмично или всеки ден. Инструментът е вътре в ученето; спорът може да бъде само за правилата около него.

За работодател следствието е още по-пряко. Кандидат, оценен по задача, решена с достъп до езиков модел, е оценен за нещо, което на работното място ще изглежда различно. Практичната мярка не е забрана, а разделяне: с инструмент се проверява как човекът работи, без инструмент се проверява какво разбира.

Уговорките са две и са съществени. Задачите и в двете изследвания са учебни и относително кратки, а не сложна професионална работа. Отделно, по-широко цитираното изследване на MIT Media Lab по същата тема не е рецензирано и решаващата му фаза обхваща осемнадесет души, което не стига за извод.

Заключение

Числата не подкрепят нито паниката, нито спокойствието. Подкрепят конкретното: свободният достъп по време на учене вдига упражнението и сваля изпита, а същият инструмент с ограничения не прави нито едното, нито другото. Изборът не е дали да се ползва, а с какви правила.

Помагаме на български образователни екипи и организации да отделят реалното умение от резултата, постигнат с чужда помощ. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при изготвяне на правила за работа с изкуствен интелект в обучението и при проектиране на входящи оценки за нови служители. [Свържете се с нас за консултация: academy@razvivai.se]