Разпознаване на реч: моделите познават теста, не звука

22.08

време за четене: 3 мин.

Класация с точни числа изглежда като най-обективното нещо в тази област: подаваш един и същ запис на всички, броиш грешките, подреждаш. Ново изследване върху единайсет широко ползвани системи показва, че част от тях са се научили да разпознават не толкова речта, колкото самия тест. Моделите чуват вярно и въпреки това избират да напишат грешката, която тестът очаква от тях.

Робот стои пред голямо табло с класация и сочи с пръст първото място, докато жена до него вдига слушалки към ухото си и клати глава несъгласно

Какво точно е измерено

На 21 август Hume AI и Hugging Face публикуваха съвместен анализ, стъпил върху статия, подадена в arXiv ден по-рано. Тествани са единайсет отворени системи, сред които Whisper Large v3, Parakeet, Canary-Qwen, Granite Speech, Voxtral и Phi-4, върху двата най-използвани публични набора за оценка: VoxPopuli със записи от Европейския парламент и LibriSpeech с аудиокниги.

Първата находка е за самите тестове, не за моделите. Методиката сигнализира вероятни грешки в еталонните текстове при 40% от анализираните откъси, засягащи около 3% от всички еталонни думи. Тоест „правилният отговор", спрямо който се мери точността, сам съдържа дефекти. Втората находка е за поведението: системите, показващи нагаждане, възпроизвеждат сгрешения еталон в 18-30% от случаите, вместо да напишат това, което се чува.

Разпознаване на реч: къде свършва еталонът

Две допълнителни проби правят механизма недвусмислен. Когато числата в аудиото бъдат заглушени и физически ги няма в записа, някои от най-силните по класация системи все пак изписват точното число в 30-40% от примерите. Възстановяват го от паметта си за еталона, не от звука. Отделно, при думи, които звучат еднакво, но се пишат различно, някои модели улучват очаквания вариант в около 90% от случаите. При два равностойни правописа случайният избор би дал 50%.

Тук е обратът, който лесно се пропуска при превод: в тези две проби високото число е дефект, а не постижение. Сто процента съвпадение означава, че системата разпознава по кой набор я изпитват, а не че чува по-добре. Затова и оценяването на разпознаване на реч чрез публична класация престава да мери това, за което е създадено.

Какво следва от това

Нашият екип чете резултата по-скоро като предупреждение за метода, отколкото като обвинение срещу конкретни производители. Авторите сами показват, че ефектът отслабва или изчезва върху свежо събрани записи от същата среда: изправени пред непознато аудио, повечето модели се връщат към верността към звука. Тоест способността е налична, а поведението зависи от контекста.

Уместно е и уточнението за конфликт на интереси. Hume AI поддържа собствен, конкурентен еталон и публикацията препоръчва точно подхода, върху който компанията работи. Това не оборва измерванията, но обяснява защо изводът е формулиран така категорично. Засега няма независим екип, който да е повторил резултатите.

Как се избира инструмент при това положение

Практическото следствие е кратко: класацията е начална точка, а не решение. Проверката, която върши работа, отнема половин ден и се прави със собствен материал - запис от реална среща, лекция или разговор с клиент, със съответния шум, акцент и терминология. Същият запис минава през два или три кандидата, а резултатите се четат от човек, който познава темата.

Особено внимание заслужават числата и имената, защото именно там нагаждането се проявява най-силно, а грешката струва най-скъпо. За организация, която обмисля автоматично протоколиране на срещи или обработка на обаждания, разликата между еталонна и реална среда обикновено е няколко пъти, а не няколко пункта.

За български потребител към това се добавя и втори слой. Публичните набори, върху които се състезават системите, са предимно на английски, а българската реч не участва в тази надпревара почти никак. Числото от класацията описва среда, различна от тази, в която инструментът ще работи, и затова разликата при местен запис е по-голяма, отколкото при чуждестранен. Проверката със собствен материал спестява разочарование, което иначе идва след внедряването.

Заключение

Когато една мярка се превърне в цел, тя спира да бъде добра мярка. Изследването показва това в измерим вид при разпознаването на реч, но механизмът не е специфичен за звука: всяка публична класация, върху която се състезават достатъчно участници, постепенно започва да мери участието в състезанието.

Помагаме на български организации да избират AI инструменти по собствени данни, а не по чужди класации - с проверка, която отговаря на реалната работна среда. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при въвеждане на автоматична транскрипция на срещи, обаждания или учебни материали. [Свържете се с нас за консултация: academy@razvivai.se]