Классическая пословица компьютерных наук «мусор на входе, мусор на выходе» лишена нюансов, когда речь идет о понимании предвзятых медицинских данных, утверждают профессора информатики и биоэтики из Массачусетского технологического института, Университета Джона Хопкинса и Института Алана Тьюринга в новой статье, опубликованной в недавнем журнале. издание Медицинский журнал Новой Англии (NEJM). Растущая популярность искусственного интеллекта привела к усилению внимания к вопросу предвзятых моделей ИИ, приводящих к алгоритмической дискриминации, которую Управление науки и технологий Белого дома определило как ключевую проблему в своем недавнем проекте Билля о правах ИИ.
При столкновении с предвзятыми данными, особенно для моделей ИИ, используемых в медицинских учреждениях, типичным ответом является либо сбор большего количества данных из недостаточно представленных групп, либо создание синтетических данных, восполняющих недостающие части, чтобы гарантировать, что модель работает одинаково хорошо в различных популяциях пациентов. Но авторы утверждают, что этот технический подход должен быть дополнен социотехнической перспективой, которая принимает во внимание как исторические, так и текущие социальные факторы. Поступая таким образом, исследователи могут более эффективно бороться с предвзятостью в сфере общественного здравоохранения.
«Мы втроем обсуждали, как мы часто относимся к проблемам с данными с точки зрения машинного обучения как к раздражению, которое необходимо устранять с помощью технического решения», — вспоминает соавтор Марзие Гассеми, доцент кафедры электротехники и электротехники. информатика и филиал Клиники машинного обучения в здравоохранении Абдула Латифа Джамиля (Клиника Джамиля), Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и Института медицинской инженерии и науки (IMES). «Мы использовали аналогии с данными как с артефактом, дающим частичное представление о прошлых практиках, или как с треснувшим зеркалом, в котором отражается отражение. В обоих случаях информация, возможно, не совсем точна или благоприятна: возможно, мы думаем, что ведем себя определенным образом как общество, но когда вы на самом деле посмотрите на данные, они расскажут другую историю. Нам может не нравиться эта история, но как только вы раскопаете понимание прошлого, вы сможете двигаться вперед и предпринять шаги по устранению плохой практики».
Данные как артефакт
В статье под названием «Рассмотрение предвзятых данных как информативных артефактов в здравоохранении с использованием искусственного интеллекта» Гассеми, Кадия Ферриман и Максин Макинтош приводят аргументы в пользу рассмотрения предвзятых клинических данных как «артефактов» точно так же, как антропологи или археологи рассматривают физические данные. объекты: фрагменты цивилизационных практик, систем верований и культурных ценностей — в случае статьи, особенно тех, которые привели к существующему неравенству в системе здравоохранения.
Например, исследование 2019 года показало, что алгоритм, который широко считается отраслевым стандартом, использует расходы на здравоохранение в качестве индикатора потребности, что приводит к ошибочному выводу о том, что более больным чернокожим пациентам требуется тот же уровень ухода, что и более здоровым белым пациентам. Исследователи обнаружили, что алгоритмическая дискриминация не учитывает неравный доступ к медицинской помощи.
В этом случае, вместо того, чтобы рассматривать предвзятые наборы данных или отсутствие данных как проблемы, которые требуют только удаления или устранения, Гассеми и ее коллеги рекомендуют подход «артефактов» как способ повышения осведомленности о социальных и исторических элементах, влияющих на то, как собираются данные, и альтернативных решениях. подходы к разработке клинического ИИ.
«Если целью вашей модели является внедрение в клинических условиях, вам следует на достаточно раннем этапе привлечь специалиста по биоэтике или клинициста с соответствующей подготовкой к формулированию проблемы», — говорит Гассеми. «Как ученые-компьютерщики, мы часто не имеем полной картины различных социальных и исторических факторов, которые повлияли на создание данных, которые мы будем использовать. Нам нужен опыт, чтобы определить, когда модели, обобщенные на основе существующих данных, могут не работать хорошо для конкретных подгрупп».
Когда больший объем данных может навредить производительности
Авторы признают, что одним из наиболее сложных аспектов реализации подхода, основанного на артефактах, является возможность оценить, были ли данные скорректированы с расовой точки зрения: т.е. использование белых мужских тел в качестве общепринятого стандарта, по которому оцениваются другие тела. В статье приводится пример из сотрудничества по хроническим заболеваниям почек в 2021 году, которое разработало новое уравнение для измерения функции почек, поскольку старое уравнение ранее было «скорректировано» под общим предположением, что чернокожие люди имеют более высокую мышечную массу. Гассеми говорит, что исследователи должны быть готовы к изучению коррекции по расовому признаку в рамках исследовательского процесса.
В другой недавней статье, принятой на Международную конференцию по машинному обучению в этом году, написанной в соавторстве аспирантом Гассеми Винит Суриякумар и доцентом Калифорнийского университета в Сан-Диего Берком Устуном, исследователи обнаружили, что включение персонализированных атрибутов, таких как расовая принадлежность, по самооценке, улучшает эффективность моделей ОД на самом деле может привести к ухудшению оценок риска, моделей и показателей для меньшинств и меньшинственных групп населения.
«Не существует единственно верного решения относительно того, включать или нет расовую принадлежность, о которой сообщают сами люди, в оценку клинического риска. Расовая принадлежность, о которой сообщают сами люди, — это социальная конструкция, которая одновременно является показателем другой информации и глубоко отражается в других медицинских данных. Решение должно соответствовать доказательствам», — объясняет Гассеми.
Как двигаться вперед
Это не означает, что предвзятые наборы данных должны быть закреплены или что предвзятые алгоритмы не требуют исправления — качественные обучающие данные по-прежнему являются ключом к разработке безопасных и высокопроизводительных клинических моделей ИИ. НЭМ В статье подчеркивается роль Национальных институтов здравоохранения (NIH) в продвижении этических норм.
«Создание высококачественных наборов данных, полученных с соблюдением этических норм, имеет решающее значение для обеспечения возможности использования технологий искусственного интеллекта следующего поколения, которые меняют то, как мы проводим исследования», — заявил исполняющий обязанности директора НИЗ Лоуренс Табак в пресс-релизе, когда в прошлом году НИЗ объявил о своей программе Bridge2AI стоимостью 130 миллионов долларов. . Гассеми соглашается, указывая, что НИЗ «отдает приоритет сбору данных этическим способом, охватывающим информацию, ценность которой для здоровья человека мы ранее не подчеркивали, например, о факторах окружающей среды и социальных детерминантах. Я очень рад тому, что они уделили приоритетное внимание достижению значимых результатов в области здравоохранения и вложили в них значительные средства».
Элейн Нсоузи, доцент Бостонского университета общественного здравоохранения, считает, что отношение к предвзятым наборам данных как к артефактам, а не мусору дает множество потенциальных преимуществ, начиная с акцента на контексте. «Смещения, присутствующие в наборе данных, собранных для пациентов с раком легких в больнице в Уганде, могут отличаться от набора данных, собранных в США для той же группы пациентов», — объясняет она. «Учитывая местный контекст, мы можем обучать алгоритмы, чтобы лучше обслуживать конкретные группы населения». Нсоузи говорит, что понимание исторических и современных факторов, формирующих набор данных, может облегчить выявление дискриминационных практик, которые могут быть закодированы в алгоритмах или системах способами, которые не сразу очевидны. Она также отмечает, что подход, основанный на артефактах, может привести к разработке новой политики и структур, гарантирующих устранение коренных причин систематической ошибки в конкретном наборе данных.
«Люди часто говорят мне, что очень боятся ИИ, особенно в сфере здравоохранения. Они скажут: «Я очень боюсь, что ИИ поставит мне неправильный диагноз» или «Я обеспокоен тем, что он плохо ко мне отнесется», — говорит Гассеми. «Я говорю им: вам не следует бояться какого-то гипотетического ИИ в области здравоохранения завтра, вам следует бояться того, что такое здоровье прямо сейчас. Если мы примем узкий технический взгляд на данные, которые мы извлекаем из систем, мы можем наивно копировать плохие практики. Это не единственный вариант: осознание наличия проблемы — наш первый шаг к большим возможностям».