Какова вероятность погибнуть в авиакатастрофе? Согласно отчету Международной ассоциации воздушного транспорта за 2022 год, риск смертельного исхода в отрасли составляет 0,11. Другими словами, в среднем человеку нужно будет летать каждый день в течение 25 214 лет, чтобы иметь 100-процентную вероятность попасть в аварию со смертельным исходом. Строго регулируемая авиационная отрасль, долгое время рекламировавшаяся как один из самых безопасных видов транспорта, заставила ученых Массачусетского технологического института думать, что она может стать ключом к регулированию искусственного интеллекта в здравоохранении.
Марзие Гассеми, доцент кафедры электротехники и информатики Массачусетского технологического института (EECS) и Института медицинских инженерных наук, и Джули Шах, профессор аэронавтики и астронавтики Массачусетского технологического института, профессор Х.Н. Слейтера, разделяют интерес к проблемам прозрачности в Модели ИИ. Пообщавшись в начале 2023 года, они поняли, что авиация может служить моделью, гарантирующей, что маргинализированные пациенты не пострадают от предвзятых моделей ИИ.
Гассеми, который также является главным исследователем в Клинике машинного обучения в здравоохранении им. Абдула Латифа Джамиля при Массачусетском технологическом институте (Клиника Джамиля) и Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), и Шах затем набрали междисциплинарную команду исследователей, адвокатов, и политические аналитики Массачусетского технологического института, Стэнфордского университета, Федерации американских ученых, Университета Эмори, Университета Аделаиды, Microsoft и Калифорнийского университета в Сан-Франциско, чтобы начать исследовательский проект, результаты которого были недавно приняты в Фонд справедливости и доступа. на конференции «Алгоритмы, механизмы и оптимизация».
«Я думаю, что могу говорить и за Марзье, и за себя, когда говорю, что мы очень рады видеть, как в обществе начинает проявляться ажиотаж вокруг ИИ», — говорит первый автор Элизабет Бонди-Келли, сейчас доцент EECS в из Мичиганского университета, который был постдоком в лаборатории Гассеми, когда проект начался. «Но мы также немного осторожны и хотим попытаться убедиться, что у нас есть возможности для управления потенциальными рисками по мере того, как эти развертывания начинают происходить, поэтому мы искали способы облегчить это. ».
ИИ в здравоохранении сегодня похож на то, где была авиационная промышленность сто лет назад, говорит соавтор Линдси Саннеман, аспирант кафедры аэронавтики и астронавтики Массачусетского технологического института. Хотя 1920-е годы были известны как «золотой век авиации», по данным Центра государственной политики Макинака, несчастных случаев со смертельным исходом было «тревожно много».
Джефф Маркус, нынешний руководитель отдела рекомендаций по безопасности Национального совета по безопасности на транспорте (NTSB), недавно опубликовал сообщение в блоге National Aviation Month, в котором отметил, что, хотя в 1920-х годах произошло несколько несчастных случаев со смертельным исходом, 1929 год остается «худшим годом за всю историю наблюдений» для самые фатальные авиационные происшествия в истории: зарегистрировано 51 происшествие. По сегодняшним меркам это будет 7000 несчастных случаев в год или 20 в день. В ответ на большое количество несчастных случаев со смертельным исходом в 1920-х годах президент Кэлвин Кулидж в 1926 году принял знаковый закон, известный как Закон о воздушной торговле, который будет регулировать воздушные перевозки через Министерство торговли.
Но на этом параллели не заканчиваются — последующий путь авиации к автоматизации аналогичен пути ИИ. Объясняемость ИИ была спорной темой, учитывая пресловутую проблему «черного ящика» ИИ, из-за которой исследователи ИИ спорят о том, насколько модель ИИ должна «объяснять» свой результат пользователю, прежде чем потенциально склонить его к слепому следованию указаниям модели.
«В 1970-е годы возрастало количество автоматизации… систем автопилота, которые предупреждают пилотов о рисках», — добавляет Саннеман. «Когда автоматизация вошла в авиационное пространство с точки зрения взаимодействия человека с автономной системой, возникли некоторые проблемы роста — потенциальная путаница, которая возникает, когда пилот не имеет четкого представления о том, что делает автоматизация».
Сегодня, чтобы стать капитаном коммерческой авиакомпании, требуется 1500 часов зарегистрированного налета, а также обучение работе с приборами. Согласно статье исследователей, этот строгий и комплексный процесс занимает около 15 лет, включая получение степени бакалавра и совместное пилотирование. Исследователи полагают, что успех обширного обучения пилотов может стать потенциальной моделью для обучения врачей использованию инструментов искусственного интеллекта в клинических условиях.
В документе также предлагается поощрять сообщения о небезопасных для здоровья инструментах искусственного интеллекта, как это делает Федеральное авиационное агентство (ФАУ) для пилотов — через «ограниченный иммунитет», который позволяет пилотам сохранять свои лицензии после совершения чего-то небезопасного, если это было непреднамеренно.
Согласно отчету Всемирной организации здравоохранения за 2023 год, в среднем один из каждых 10 пациентов страдает от нежелательных явлений (например, «врачебных ошибок») во время получения стационарной помощи в странах с высоким уровнем дохода.
Тем не менее, в современной практике здравоохранения врачи и медицинские работники часто боятся сообщать о медицинских ошибках не только из-за опасений, связанных с чувством вины и самокритикой, но также из-за негативных последствий, которые подчеркивают наказание отдельных лиц, таких как отзыв медицинской лицензии. , а не реформировать систему, которая увеличила вероятность медицинских ошибок.
«В здравоохранении, когда молоток промахивается, страдают пациенты», — написал Гассеми в недавнем комментарии, опубликованном в журнале Природа Человеческое поведение. «Эта реальность представляет собой неприемлемый этический риск для медицинских сообществ ИИ, которые уже сталкиваются со сложными проблемами ухода, нехваткой персонала и перегруженными системами».
Грейс Викерсон, соавтор и менеджер по политике справедливости в отношении здоровья в Федерации американских ученых, рассматривает этот новый документ как важнейшее дополнение к более широкой системе управления, которая еще не создана. «Я думаю, что мы можем многое сделать с существующей государственной властью», — говорят они. «Существуют разные способы, с помощью которых Medicare и Medicaid могут платить за здравоохранение. [National Institute of Health] может профинансировать дополнительные исследования, направленные на то, чтобы сделать алгоритмы более справедливыми, и разработать стандарты для этих алгоритмов, которые затем могут быть использованы FDA. [Food and Drug Administration] поскольку они пытаются выяснить, что означает справедливость в отношении здоровья и как она регулируется в рамках нынешних властей».
Среди прочего, в документе перечислены шесть основных существующих правительственных агентств, которые могли бы помочь регулировать ИИ в сфере здравоохранения, в том числе: FDA, Федеральная торговая комиссия (FTC), недавно созданное Агентство перспективных исследовательских проектов в области здравоохранения, Агентство медицинских исследований и качества, Центры Medicare и Medicaid, Министерство здравоохранения и социальных служб и Управление по гражданским правам (OCR).
Но Викерсон говорит, что необходимо сделать больше. По мнению Викерсона, самой сложной частью написания статьи было «представить то, чего у нас еще нет».
Вместо того, чтобы полагаться исключительно на существующие регулирующие органы, в документе также предлагается создать независимый аудиторский орган, аналогичный NTSB, который позволит проводить аудит безопасности неисправных систем искусственного интеллекта в сфере здравоохранения.
«Я думаю, что это актуальный вопрос для управления технологиями — у нас не было организации, которая бы оценивала влияние технологий с 90-х годов», — добавляет Викерсон. «Раньше существовало Управление по оценке технологий… еще до того, как началась цифровая эра, этот офис существовал, но затем федеральное правительство разрешило его закрыть».
Зак Харнед, соавтор и недавний выпускник Стэнфордской школы права, считает, что основная проблема новых технологий заключается в том, что технологическое развитие опережает регулирование. «Однако важность технологии искусственного интеллекта, а также потенциальные выгоды и риски, которые она представляет, особенно в сфере здравоохранения, привели к шквалу нормативных усилий», — говорит Харнед. «FDA, очевидно, является основным игроком здесь, и они постоянно выпускают руководства и официальные документы, пытаясь проиллюстрировать свою развивающуюся позицию в отношении ИИ; однако конфиденциальность будет еще одной важной областью, за которой следует следить, поскольку OCR обеспечивает соблюдение HIPAA. [Health Insurance Portability and Accountability Act] стороны и Федеральной торговой комиссией, обеспечивающей нарушение конфиденциальности для организаций, не подпадающих под действие HIPAA».
Харнед отмечает, что эта область быстро развивается, включая такие события, как недавний Указ Белого дома 14110 о безопасном и заслуживающем доверия развитии ИИ, а также регулирующую деятельность в Европейском Союзе (ЕС), включая краеугольный закон ЕС об ИИ, который приближается к завершению. «Это, безусловно, захватывающее время для того, чтобы увидеть, как эта важная технология разрабатывается и регулируется для обеспечения безопасности, но при этом не подавляет инновации», — говорит он.
Помимо нормативной деятельности, в документе предлагаются другие возможности для создания стимулов для более безопасных инструментов искусственного интеллекта для здоровья, такие как программа оплаты по результатам работы, в рамках которой страховые компании вознаграждают больницы за хорошую работу (хотя исследователи признают, что этот подход потребует дополнительного надзора за эффективностью работы). быть справедливым).
Так сколько же, по мнению исследователей, потребуется времени, чтобы создать работающую систему регулирования ИИ в сфере здравоохранения? Согласно документу, «система NTSB и FAA, в которой расследования и правоприменение осуществляются двумя разными органами, создавалась Конгрессом на протяжении десятилетий».
Бонди-Келли надеется, что эта статья станет частью головоломки регулирования ИИ. По ее мнению, «сценарий мечты заключался бы в том, что все мы прочитаем эту статью, будем очень вдохновлены и способны применить некоторые полезные уроки авиации, чтобы помочь ИИ предотвратить часть потенциального вреда, который может возникнуть».
Помимо Гассеми, Шаха, Бонди-Келли и Саннемана, соавторами работы в Массачусетском технологическом институте являются старший научный сотрудник Лео Энтони Сели и бывшие постдоки Томас Хартвигсен и Свами Санкаранараянан. Финансирование работы частично осуществлялось за счет стипендии MIT CSAIL METEOR, Quanta Computing, Фонда Volkswagen, Национальных институтов здравоохранения, профессорской стипендии Германа Л. Ф. фон Гельмгольца по развитию карьеры и премии CIFAR Azrieli Global Scholar.