ИИ-модели испытали на медицинских рекомендациях: в спорных случаях частота ошибок достигала 80%
Шесть коммерческих ИИ-моделей обычно не назначали лишних обследований и лечения, но в неоднозначных случаях ошибались чаще: в среднем в 5,4% ответов, а у отдельных систем — до 80%.
Исследователи из Университета имени Бен-Гуриона в Негеве и израильской организации Clalit Health Services составили 225 сценариев по 15 рекомендациям Choosing Wisely. К каждому описанию ненужного вмешательства добавляли сходный случай, в котором оно требовалось. Все задания каждая модель выполняла три раза — всего было получено 4050 ответов.
Наиболее часто лишние обследования появлялись в кейсах об УЗИ щитовидной железы и стандартной ЭКГ. Различия в оценке небольших узлов менее 1 см могли быть связаны с неодинаковыми рекомендациями Американской тиреоидной ассоциации и Американской коллегии радиологии.
По словам исследователя Гая Лабана и врача Дина Ариэля, труднее всего моделям давались случаи без единого медицинского мнения. Необходимую помощь они, напротив, ошибочно отклоняли в 0,6% ситуаций. Авторы подчеркнули, что использовали стандартизированные запросы, а не длительное общение или реальные консультации, поэтому результаты нельзя напрямую переносить на повседневную работу медицинских чат-ботов.
