Специалистите по-често следват грешния AI съвет

преди 2 дни

време за четене: 3 мин.

Помощните системи за вземане на решения обикновено се оценяват по това дали правят хората по-точни. Публикувано на 13 септември изследване в Nature Medicine мери и нещо друго: какво става, когато системата сгреши. Оказва се, че опитните специалисти приемат погрешния съвет по-често от неопитните си колеги.

Робот подава лист хартия на двама души в лекарски престилки, по-възрастният го поема веднага и кима одобрително, а по-младият е спрял пред осветен екран със снимки и сверява написаното, преди да го приеме

Какво измерва изследването

Работата идва от европейския проект I3LUNG и обхваща 2396 пациенти с напреднал недребноклетъчен рак на белия дроб от шест центъра в шест държави. Целта е да се предскаже кой ще отговори на имунотерапия, като се съчетаят клинични данни, кръвни показатели, образна диагностика, дигитална патология и генетика.

Отделно от моделите изследователите правят и нещо, което рядко се среща. Двайсет лекари, от които десет специалисти по белодробна онкология и десет без тази специалност, оценяват по десет реални случая, общо двеста оценки, веднъж без помощната система и веднъж с нея.

Резултатът е положителен и за двете групи. Чувствителността при разпознаване на пациентите, които ще отговорят на лечението, се покачва от 0,72 на 0,87. Авторите изрично отбелязват, че между двете групи няма статистически значима разлика в подобрението, тоест системата помага на всички, а не само на по-малко опитните.

Защо грешният AI съвет е по-опасен при опитните

Интересното число е в другата колонка. Лекарите приемат верните предложения на системата в 74,5% от случаите. Когато предложението е невярно обаче, специалистите го следват в 72,2% от случаите, а неспециалистите в 63,6%.

Тоест опитът не предпазва от грешния AI съвет, а по-скоро го пропуска по-лесно. Човекът, който най-добре би могъл да оспори машината, е и този, който най-рядко го прави. Изследването не обяснява причината и нашият екип не смята за уместно да се гадае, но наблюдението е достатъчно ясно, за да влезе в проектирането на всяка такава система.

Има и втора находка в същата посока. Съгласието между двете групи лекари се покачва от 0,11 на 0,48 по скалата, която мери доколко различни оценяващи стигат до един и същ отговор. Системата изравнява преценките. Това е полезно, когато отговорът е верен, и е точно обратното, когато не е.

Числото, което не се възпроизвежда

Тук е мястото за уговорка, която самите автори правят, а отразяването често пропуска. Най-цитираният показател за точност на модела е 0,88, но той идва от вътрешна кръстосана проверка върху данните на самото изследване.

При независима външна проверка същият показател пада до 0,60 при едната задача и 0,64 при другата. Авторите го формулират направо, като пишат, че добавянето на образните данни подобрява резултата при вътрешната проверка, но подобрението не се повтаря последователно при тестовата и външната извадка. Публикация, която цитира 0,88 без това уточнение, предава точно обратното на онова, което изследването внимателно казва.

За пълнота: проектът е финансиран по програма на Европейския съюз, а финансиращият орган няма роля в разработването. В консорциума обаче участват софтуерни фирми, които имат пряк търговски интерес към инструмента, а водещите автори декларират връзки с производители на лекарства.

Какво следва от това за организациите

Изводът надхвърля медицината. Всяка организация, която въвежда помощна система за решения, обикновено мери дали тя вдига средния резултат. Това изследване показва, че въпросът е недостатъчен.

Втората мярка е какво се случва при грешка на системата. Ако най-опитните служители приемат погрешния изход най-често, тогава проверката не бива да се оставя на старшинството. Струва си да се измери отделно колко от грешните предложения са били хванати и от кого, преди системата да се разшири върху повече случаи.

Заключение

Помощната система вдигна точността и на опитните, и на неопитните, но изравни и грешките им. Полезният показател при въвеждане не е само колко често системата е права, а колко често хората я оспорват, когато не е.

Помагаме на български организации да оценяват помощните системи за решения по това как се държат при грешка, не само по средния им резултат. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при въвеждане на система, чиито предложения ще се ползват от специалисти с дългогодишен опит. [Свържете се с нас за консултация: academy@razvivai.se]