Ваш купон на скидку:
Учёные из Clalit Health Services и Ben-Gurion University of the Negev провели проверку шести коммерческих моделей искусственного интеллекта от компаний Google, Anthropic и OpenAI, результаты которой опубликованы в журнале Annals of Internal Medicine. Исследователи оценивали способность систем определять ситуации, когда пациентам не требуются дополнительные лечебные процедуры или диагностические обследования.
Для тестирования специалисты сформировали 225 клинических сценариев, опираясь на 15 инициатив международной кампании Choosing Wisely, цель которой заключается в уменьшении количества необоснованных медицинских вмешательств. Каждый случай, не предполагавший назначения процедур, сопровождался аналогичным примером, где то же самое действие было обязательным, например, сравнение молодого мужчины с болью в спине после поднятия тяжестей, которому визуализация позвоночника не нужна, и женщины в аналогичной ситуации, но с перенесенным раком молочной железы и новой ночной болью, которой такое исследование может потребоваться. Всего было задействовано 4050 ответов, поскольку каждая из шести моделей обрабатывала все сценарии трижды.
В ходе работы выяснилось, что в среднем системы предлагали избыточные вмешательства в 5,4% случаев, тогда как доля неверных отказов от нужной помощи составила 0,6%. При этом за средними показателями скрываются серьезные расхождения между конкретными системами, о чем сообщил исследователь Guy Laban: в идентичных спорных обстоятельствах одна модель давала совет пройти ненужную процедуру менее чем в 10% случаев, а другая — в 80%. Guy Laban подчеркнул, что потребители часто склонны воспринимать реплики чат-ботов как нечто единое и авторитетное, хотя продукты демонстрируют сильные различия.
Основные неверные рекомендации сконцентрировались вокруг двух областей, а именно проведения стандартной электрокардиографии и ультразвукового исследования щитовидной железы. Как пояснил врач Dean Ariel, трудности возникали главным образом там, где отсутствует консенсус в медицинском сообществе. В частности, ситуация с ультразвуковым исследованием щитовидной железы обусловлена расхождениями во мнениях между Американской коллегией радиологии и Американской тиреоидной ассоциацией по поводу целесообразности обследования небольших узлов размером менее 1 см, из-за чего разные руководства предписывают отличающиеся решения.
Авторы работы указали на ряд ограничений проведенного анализа, из-за чего полученные цифры нельзя напрямую переносить на реальную повседневную практику медицинских чат-ботов. В частности, проверка выполнялась на стандартизированных сценариях, а не на живых медицинских консультациях, при этом модели получали изолированные запросы, а не вели длительные диалоги с пациентами. Первичную оценку ответов выполняла другая система искусственного интеллекта, после чего медицинские специалисты перепроверяли результаты и анализировали спорные эпизоды.
В рамках дальнейших изысканий авторы планируют выяснить, смогут ли языковые модели отстаивать обоснованный отказ от избыточных процедур в условиях, когда пациент испытывает тревогу или настаивает на обследовании. Текущая работа этого не затрагивала, однако Guy Laban отметил, что аргументированный отказ представляет сложность даже для людей с медицинским образованием, тогда как языковые модели имеют тенденцию подстраиваться под пользователя, поэтому способность ИИ корректно отказывать остается важным фактором для его внедрения в здравоохранение.