Когда модели машинного обучения применяются в реальных ситуациях, возможно, для выявления потенциальных заболеваний на рентгеновских снимках, которые должен просмотреть врач-рентгенолог, люди должны знать, когда можно доверять прогнозам модели.
Но модели машинного обучения настолько велики и сложны, что даже ученые, которые их разрабатывают, не понимают, как именно модели делают прогнозы. Поэтому они создают техники, известные как методы салиентации, которые пытаются объяснить поведение модели.
Поскольку новые методы появляются постоянно, исследователи из Массачусетского технологического института и IBM Research создали инструмент, который поможет пользователям выбрать лучший метод saliency для их конкретной задачи. Они разработали saliency cards, которые предоставляют стандартизированную документацию о том, как работает метод, включая его сильные и слабые стороны и пояснения, помогающие пользователям правильно его интерпретировать.
Они надеются, что, вооружившись этой информацией, пользователи смогут осознанно выбирать подходящий метод выделения солей для того типа модели машинного обучения, которую они используют, и для той задачи, которую эта модель выполняет, объясняет соавтор исследования Энджи Боггуст, аспирантка факультета электротехники и информатики Массачусетского технологического института и член группы визуализации Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL).
Опросы исследователей ИИ и экспертов из других областей показали, что карточки помогают людям быстро провести боковое сравнение различных методов и выбрать подходящую для конкретной задачи технику. Выбор правильного метода дает пользователям более точное представление о том, как ведет себя их модель, что позволяет им лучше интерпретировать ее прогнозы.
“Карточки Saliency разработаны для того, чтобы дать быстрое, удобное для восприятия резюме метода saliency, а также разбить его на наиболее важные, ориентированные на человека атрибуты. Они действительно предназначены для всех, от исследователей машинного обучения до простых пользователей, которые пытаются понять, какой метод использовать, и выбирают его впервые”, – говорит Боггуст.
Вместе с Боггустом в работе над статьей участвуют соавтор Харини Суреш, постдок GPTMain, Хендрик Стробельт, старший научный сотрудник IBM Research, Джон Гуттаг, профессор информатики и электротехники GPTMain Дугалд К. Джексон, и старший автор Арвинд Сатьянараян, доцент информатики GPTMain, возглавляющий группу визуализации в CSAIL. Исследование будет представлено на конференции ACM Conference on Fairness, Accountability, and Transparency.
Выбор правильного метода
Исследователи ранее оценивали методы определения салиентности, используя понятие верности. В данном контексте верность отражает, насколько точно метод отражает процесс принятия решений в модели.
Но верность не является черно-белой, объясняет Боггуст. Метод может показывать хорошие результаты при одном тесте на верность, но провалить другой. При таком большом количестве методов выделения и множестве возможных оценок пользователи часто останавливаются на каком-то методе, потому что он популярен или его использовал коллега.
Однако выбор “неправильного” метода может иметь серьезные последствия. Например, один из методов определения солености, известный как интегральные градиенты, сравнивает важность объектов на изображении с бессмысленным базовым уровнем. Признаки с наибольшей значимостью по сравнению с базовым уровнем являются наиболее значимыми для прогноза модели. Этот метод обычно использует все 0 в качестве базового уровня, но если применить его к изображениям, то все 0 приравнивается к черному цвету.
“Он скажет вам, что любые черные пиксели на вашем изображении не важны, даже если они важны, потому что они идентичны этой бессмысленной базовой линии. Это может стать большой проблемой, если вы рассматриваете рентгеновские снимки, поскольку черный цвет может иметь значение для клиницистов”, – говорит Боггуст.
Карточки солености могут помочь пользователям избежать подобных проблем, кратко описывая принцип работы метода солености с точки зрения 10 атрибутов, ориентированных на пользователя. Эти атрибуты отражают способ расчета солености, связь между методом солености и моделью, а также то, как пользователь воспринимает его результаты.
Например, одним из атрибутов является зависимость от гиперпараметров, которая измеряет, насколько чувствителен метод saliency к заданным пользователем параметрам. Карточка saliency для интегрированных градиентов описывает параметры метода и то, как они влияют на его производительность. С помощью этой карты пользователь может быстро понять, что параметры по умолчанию – базовая линия со всеми 0 – могут дать неверные результаты при оценке рентгеновских снимков.
Карты также могут быть полезны для ученых, поскольку выявляют пробелы в исследовательском пространстве. Например, исследователи Массачусетского технологического института не смогли найти метод вычисления солености, который был бы эффективным с вычислительной точки зрения, но при этом мог бы быть применен к любой модели машинного обучения.
“Можем ли мы заполнить этот пробел? Существует ли метод выделения, который может делать и то, и другое? А может быть, эти две идеи теоретически противоречат друг другу”, – говорит Боггуст.
Показывая свои карты
Создав несколько карточек, команда провела исследование пользователей с восемью экспертами в данной области, от компьютерных ученых до радиолога, который не был знаком с машинным обучением. В ходе интервью все участники отметили, что краткие описания помогли им определить приоритетность атрибутов и сравнить методы. И хотя он не был знаком с машинным обучением, рентгенолог смог понять карточки и использовать их для участия в процессе выбора метода выделения, говорит Боггуст.
Интервью также выявили несколько сюрпризов. Исследователи часто ожидают, что клиницистам нужен метод, который является резким, то есть фокусируется на конкретном объекте на медицинском изображении. Но клиницисты в этом исследовании на самом деле предпочитают некоторый шум на медицинских изображениях, чтобы помочь им ослабить неопределенность.
“Когда мы разложили это на различные атрибуты и спросили людей, ни у одного человека не было таких же приоритетов, как у других участников исследования, даже если они выполняли одну и ту же роль”, – говорит она.
В дальнейшем исследователи хотят изучить некоторые из наиболее недооцененных атрибутов и, возможно, разработать методы выделения внимания для конкретной задачи. Они также хотят лучше понять, как люди воспринимают результаты методов распознавания солености, что может привести к улучшению визуализации. Кроме того, по словам Боггуста, они размещают свою работу в общедоступном репозитории, чтобы другие могли оставлять отзывы, которые будут способствовать дальнейшей работе.
“Мы очень надеемся, что это будут живые документы, которые будут развиваться по мере разработки новых методов и оценок солености. В конце концов, это только начало большого разговора о том, каковы атрибуты метода выделения и как они используются в различных задачах”, – говорит она.
Исследование было частично поддержано Лабораторией искусственного интеллекта GPTMain-IBM Watson, Исследовательской лабораторией ВВС США и Ускорителем искусственного интеллекта ВВС США.