Несмотря на свои огромные размеры и мощь, современные системы искусственного интеллекта обычно не могут отличить галлюцинацию от реальности. Автономные системы вождения могут не распознать пешеходов и автомобили экстренных служб прямо перед собой, что может привести к фатальным последствиям. Системы разговорного ИИ уверенно составляют факты и после обучения с помощью обучения с подкреплением часто не могут дать точную оценку собственной неопределенности.
Работая вместе, исследователи из Массачусетского технологического института и Калифорнийского университета в Беркли разработали новый метод построения сложных алгоритмов вывода ИИ, которые одновременно генерируют наборы вероятных объяснений данных и точно оценивают качество этих объяснений.
Новый метод основан на математическом подходе, называемом последовательным методом Монте-Карло (SMC). Алгоритмы SMC представляют собой установленный набор алгоритмов, которые широко используются для ИИ с калибровкой по неопределенности, предлагая вероятные объяснения данных и отслеживая, насколько вероятными или маловероятными кажутся предложенные объяснения всякий раз, когда предоставляется дополнительная информация. Но SMC слишком упрощен для сложных задач. Основная проблема заключается в том, что один из центральных шагов алгоритма — шаг выдвижения предположений для возможных объяснений (перед другим шагом отслеживания того, насколько вероятными кажутся разные гипотезы по отношению друг к другу) — должен был быть очень простым. В сложных прикладных областях просмотр данных и выдвижение правдоподобных предположений о том, что происходит, может быть сложной проблемой сам по себе. Например, при самостоятельном вождении это требует просмотра видеоданных с камер беспилотного автомобиля, идентификации автомобилей и пешеходов на дороге и угадывания вероятных путей движения пешеходов, скрытых в данный момент из поля зрения. Для создания правдоподобных предположений на основе необработанных данных могут потребоваться сложные алгоритмы, которые не может поддерживать обычная SMC.
Вот тут-то и появляется новый метод SMC с вероятностными программными предложениями (SMCP3). SMCP3 позволяет использовать более разумные способы угадывания вероятных объяснений данных, обновлять эти предлагаемые объяснения в свете новой информации и оценивать качество эти объяснения, которые были предложены изощренными способами. SMCP3 делает это, позволяя использовать любую вероятностную программу — любую компьютерную программу, которой также разрешено делать случайный выбор — в качестве стратегии для предложения (то есть разумного угадывания) объяснения данных. Предыдущие версии SMC позволяли использовать только очень простые стратегии, настолько простые, что можно было рассчитать точную вероятность любого предположения. Это ограничение затрудняло использование процедур угадывания с несколькими этапами.
Документ исследователей SMCP3 показывает, что, используя более сложные процедуры предложений, SMCP3 может повысить точность систем ИИ для отслеживания 3D-объектов и анализа данных, а также повысить точность собственных оценок алгоритмов относительно вероятности данных. Предыдущее исследование Массачусетского технологического института и других организаций показало, что эти оценки можно использовать для вывода о том, насколько точно алгоритм вывода объясняет данные по сравнению с идеализированным байесовским алгоритмом рассуждений.
Джордж Матеос, соавтор статьи (и будущий выпускник Массачусетского технологического института по электротехнике и компьютерным наукам). [EECS] аспирант) говорит, что его больше всего воодушевляет потенциал SMCP3, позволяющий сделать практичным использование понятных, откалиброванных по неопределенности алгоритмов в сложных задачах, где старые версии SMC не работали.
«Сегодня у нас есть множество новых алгоритмов, многие из которых основаны на глубоких нейронных сетях, которые могут предположить, что может происходить в мире, в свете данных, во всевозможных проблемных областях. Но часто эти алгоритмы на самом деле не откалиброваны по неопределенности. Они просто выводят одно представление о том, что может происходить в мире, и неясно, является ли это единственным правдоподобным объяснением или есть другие — или даже является ли это хорошим объяснением с самого начала! Но с SMCP3, я думаю, можно будет использовать гораздо больше этих умных, но ненадежных алгоритмов для создания алгоритмов, калиброванных по неопределенности. Поскольку мы используем системы «искусственного интеллекта» для принятия решений во все большем количестве областей жизни, наличие систем, которым мы можем доверять и которые осознают свою неопределенность, будет иметь решающее значение для надежности и безопасности».
Викаш Мансингка, старший автор статьи, добавляет: «Первые электронные компьютеры были построены для работы с методами Монте-Карло, и они являются одними из наиболее широко используемых методов в вычислениях и искусственном интеллекте. Но с самого начала методы Монте-Карло Было сложно спроектировать и реализовать: математические расчеты приходилось производить вручную, и было много тонких математических ограничений, о которых пользователи должны были знать. SMCP3 одновременно автоматизирует сложные математические расчеты и расширяет пространство для проектирования. использовали его, чтобы придумать новые алгоритмы ИИ, которые мы не могли разработать раньше».
Среди других авторов статьи — соавтор Алекс Лью (аспирант MIT EECS); аспиранты MIT EECS Нишад Готоскар, Матин Гавамизаде и Тан Чжи-Суан; и Стюарт Рассел, профессор Калифорнийского университета в Беркли. Работа была представлена на конференции AISTATS в Валенсии, Испания, в апреле.