Когда Эрик Дюхейм, доктор философии 19-го года, работал над своей диссертацией в Центре коллективного разума Массачусетского технологического института, он заметил, что его жена, в то время студентка-медик, часами изучала приложения, которые предлагали флэш-карты и викторины. Его исследование показало, что студенты-медики как группа могут классифицировать поражения кожи более точно, чем профессиональные дерматологи; Хитрость заключалась в том, чтобы постоянно измерять успеваемость каждого студента в случаях с известными ответами, отбрасывать мнения людей, которые плохо справились с заданием, и разумно объединять мнения людей, которые были хороши.
Объединив привычку жены к учебе со своими исследованиями, Дюэм основал Centaur Labs, компанию, которая создала мобильное приложение под названием DiagnosUs для сбора мнений медицинских экспертов о реальных научных и биомедицинских данных. Через приложение пользователи просматривают все, что угодно, от изображений потенциально раковых поражений кожи до аудиозаписей звуков сердца и легких, которые могут указывать на проблему. Если пользователи точны, Centaur использует их мнения и награждает их небольшими денежными призами. Эти мнения, в свою очередь, помогают медицинским компаниям, занимающимся искусственным интеллектом, обучать и улучшать свои алгоритмы.
Этот подход сочетает в себе желание медицинских экспертов оттачивать свои навыки с острой потребностью компаний, использующих искусственный интеллект в биотехнологии, разработке фармацевтических препаратов или коммерциализации медицинских устройств, в четко обозначенных медицинских данных.
«Я понял, что учеба моей жены может быть продуктивной работой для разработчиков ИИ, — вспоминает Дюэм. «Сегодня у нас есть десятки тысяч людей, использующих наше приложение, и примерно половина из них — студенты-медики, которые в восторге от того, что выигрывают деньги в процессе обучения. Итак, у нас есть игровая платформа, на которой люди соревнуются друг с другом в обучении данных и выигрывают деньги, если они хороши, и в то же время улучшают свои навыки — и тем самым они маркируют данные для команд, создающих спасающий жизни ИИ».
Геймификация медицинской маркировки
Дюэм защитил докторскую диссертацию под руководством Томаса Мэлоуна, профессора менеджмента Патрика Дж. Макговерна и директора-основателя Центра коллективного разума.
«Что меня интересовало, так это феномен мудрости толпы», — говорит Дюэм. «Спросите группу людей, сколько мармеладных бобов в банке, и средний ответ каждого будет довольно близким. Меня интересовало, как вы решаете эту проблему в задаче, требующей навыков или опыта. Очевидно, что вы не просто хотите спросить кучу случайных людей, есть ли у вас рак, но в то же время мы знаем, что второе мнение в области здравоохранения может быть чрезвычайно ценным. Вы можете думать о нашей платформе как о мощном способе получить второе мнение».
Дюэм начал изучать способы использования коллективного разума для улучшения медицинских диагнозов. В одном эксперименте он обучил группы неспециалистов и студентов медицинских вузов, которых он называет «полуэкспертами», классифицировать кожные заболевания, обнаружив, что, объединив мнения лучших специалистов, он сможет превзойти профессиональных дерматологов. Он также обнаружил, что, комбинируя алгоритмы, обученные обнаруживать рак кожи, с мнениями экспертов, он может превзойти любой метод по отдельности.
«Основное понимание заключалось в том, что вы делаете две вещи, — объясняет Дюэм. «Во-первых, нужно измерять эффективность работы людей — это звучит очевидно, но даже в медицинской сфере это делается нечасто. Если вы спросите дерматолога, хороши ли они, они ответят: «Да, конечно, я дерматолог». Они не обязательно знают, насколько хорошо они справляются с конкретными задачами. Во-вторых, когда вы получаете несколько мнений, вам нужно определить взаимодополняемость между разными людьми. Вы должны признать, что опыт многогранен, поэтому это больше похоже на создание оптимальной команды по пустякам, чем на получение пяти человек, которые являются лучшими в одном и том же деле. Например, один дерматолог может лучше идентифицировать меланому, тогда как другой может лучше классифицировать тяжесть псориаза».
Еще работая над докторской диссертацией, Дюэм основал Centaur и начал использовать предпринимательскую экосистему Массачусетского технологического института для дальнейшего развития своей идеи. Он получил финансирование от фонда Sandbox Innovation Fund Массачусетского технологического института в 2017 году и летом 2018 года принял участие в акселераторе стартапов delta v, проводимом Центром доверия Мартина для предпринимательства Массачусетского технологического института. Позже в том же году этот опыт помог ему попасть в престижный акселератор Y Combinator.
Приложение DiagnosUs, разработанное Duhaime совместно с соучредителями Centaur Заком Раусницем и Томом Геллатли, предназначено для того, чтобы помочь пользователям проверить и улучшить свои навыки. Дюэм говорит, что около половины пользователей — студенты медицинских вузов, а другая половина — в основном врачи, медсестры и другие медицинские работники.
«Это лучше, чем готовиться к экзаменам, где у вас могут быть вопросы с несколькими вариантами ответов», — говорит Дюэм. «Они могут увидеть реальные случаи и попрактиковаться».
Centaur еженедельно собирает миллионы мнений от десятков тысяч людей со всего мира. Дюэм говорит, что большинство людей зарабатывают деньги на кофе, хотя больше всего на платформе заработал врач из Восточной Европы, заработавший около 10 000 долларов.
«Люди могут делать это на диване, они могут делать это на Т», — говорит Дюэм. «Это не похоже на работу — это весело».
Этот подход резко контрастирует с традиционной маркировкой данных и модерацией контента с помощью ИИ, которые обычно передаются на аутсорсинг в страны с низким уровнем ресурсов.
Подход Centaur также дает точные результаты. В статье с исследователями из Brigham and Women’s Hospital, Массачусетской больницы общего профиля (MGH) и Эйндховенского технологического университета Centaur представил свои краудсорсинговые мнения, помеченные как УЗИ легких, так же надежно, как и эксперты. Другое исследование с участием исследователей из Memorial Sloan Kettering показало, что краудсорсинговая маркировка дерматоскопических изображений была более точной, чем у высококвалифицированных дерматологов. Помимо изображений, платформа Centaur также работает с видео, аудио, текстом из таких источников, как исследовательские работы или анонимные разговоры между врачами и пациентами, а также с волнами электроэнцефалограмм (ЭЭГ) и электрокардиографии (ЭКГ).
Поиск экспертов
Кентавр обнаружил, что лучшие исполнители приходят из неожиданных мест. В 2021 году для сбора мнений экспертов по паттернам ЭЭГ исследователи провели конкурс через приложение DiagnosUs на конференции, в которой приняли участие около 50 эпилептологов со стажем работы более 10 лет. Организаторы изготовили на заказ рубашку для победителя конкурса, который, как они предполагали, будет присутствовать на конференции.
Но когда пришли результаты, пара студентов-медиков из Ганы, Джеффри Дэнкуа и Эндрюс Гьябаа, опередили всех присутствующих. Участник конференции с самым высоким рейтингом занял девятое место.
«Я начал с того, что делал это ради денег, но понял, что это действительно стало мне очень помогать», — позже сказал Гьябаа команде Centaur. «Были времена в клинике, когда я понимал, что справляюсь лучше, чем другие, благодаря тому, что я узнал в приложении DiagnosUs».
Поскольку ИИ продолжает менять характер работы, Дюэм считает, что Centaur Labs будет использоваться для постоянной проверки моделей ИИ.
«Прямо сейчас мы помогаем людям в первую очередь обучать алгоритмы, но я все чаще думаю, что нас будут использовать для мониторинга алгоритмов и в сочетании с алгоритмами, в основном выступая в качестве людей в цикле для решения ряда задач», — говорит Дюэм. «Вы можете думать о нас не как о способе обучения ИИ, а как о части полного жизненного цикла, где мы предоставляем обратную связь о выходных данных моделей или отслеживаем модель».
Дюэм видит, что работа людей и алгоритмы искусственного интеллекта становятся все более интегрированными, и считает, что Centaur Labs сыграет важную роль в этом будущем.
«Это не просто алгоритм обучения, алгоритм развертывания», — говорит Дюэм. «Вместо этого по всей экономике будут стоять цифровые сборочные линии, и вам потребуется экспертное человеческое суждение по запросу, внедренное в разные места цепочки создания стоимости».