Согласно публикации Financial Times, ссылающейся на ряд научных работ, медицинские системы на основе искусственного интеллекта могут неверно оценивать серьезность симптомов у женщин и представителей некоторых расовых и этнических групп. Такая предвзятость ИИ способна привести к тому, что эти категории пациентов получат неадекватную или недостаточно эффективную медицинскую помощь.
FT подчеркивает, что медики активно применяют как общедоступные чат-боты, например Gemini и ChatGPT, так и специализированные ИИ-программы. Эти инструменты помогают в оформлении медицинских карт, выявлении ключевых симптомов и подготовке кратких резюме историй болезни.
В июне исследователи из Массачусетского технологического института (MIT) изучили работу нескольких чат-ботов и ИИ-систем, включая GPT-4 и Palmyra-Med. Они выяснили, что многие из этих систем склонны предлагать менее интенсивное лечение для женщин, часто ограничиваясь советами по самолечению. Другое исследование MIT выявило аналогичные предубеждения в рекомендациях для темнокожих и азиатских пациентов.
Дополнительное исследование MIT показало, что чат-боты на 7–9% реже советовали обратиться к врачу пациентам, чьи запросы содержали много орфографических ошибок из-за неродного английского языка, по сравнению с теми, кто писал без ошибок. Аналогично, эксперты Лондонской школы экономики установили, что ИИ-модель Google Gemma, используемая в британских социальных службах, игнорировала или недооценивала физические и ментальные проблемы у женщин при анализе медицинских данных.
