Perceiver и Perceiver IO работают как многоцелевые инструменты для ИИ.
Большинство архитектур, используемых сегодня системами ИИ, являются специализированными. Двумерная остаточная сеть может быть хорошим выбором для обработки изображений, но в лучшем случае она плохо подходит для других типов данных, таких как сигналы лидара, используемые в беспилотных автомобилях, или крутящие моменты, используемые в робототехнике. Более того, стандартные архитектуры часто разрабатываются с учетом только одной задачи, что часто заставляет инженеров из кожи вон лезть, чтобы изменить, исказить или иным образом изменить свои входные и выходные данные в надежде, что стандартная архитектура сможет научиться правильно решать их проблемы. Работа с несколькими типами данных, такими как звуки и изображения, составляющие видео, еще более сложна и обычно включает в себя сложные, настроенные вручную системы, состоящие из множества различных частей, даже для простых задач. В рамках миссии DeepMind по использованию интеллекта для развития науки и человечества мы хотим создавать системы, способные решать проблемы, использующие множество типов входных и выходных данных, поэтому мы начали изучать более общую и универсальную архитектуру, способную обрабатывать все типы данных. .
В документе, представленном на ICML 2021 (Международная конференция по машинному обучению) и опубликованном в виде препринта на arXiv, мы представили Perceiver, архитектуру общего назначения, которая может обрабатывать данные, включая изображения, облака точек, аудио, видео и их комбинации. . Хотя Perceiver мог обрабатывать множество различных входных данных, он был ограничен задачами с простыми выходными данными, такими как классификация. Новый препринт на arXiv описывает Perceiver IO, более общую версию архитектуры Perceiver. Perceiver IO может создавать широкий спектр выходных данных из множества различных входных данных, что делает его применимым к реальным областям, таким как язык, зрение и мультимодальное понимание, а также к сложным играм, таким как StarCraft II. Чтобы помочь исследователям и сообществу машинного обучения в целом, мы открыли исходный код.
Воспринимающие устройства основаны на преобразователе, архитектуре, использующей операцию под названием «внимание» для преобразования входных данных в выходные. Сравнивая все элементы входных данных, Transformers обрабатывают входные данные на основе их взаимосвязей друг с другом и задачей. Внимание просто и широко применимо, но Трансформеры используют внимание таким образом, что это может быстро стать дорогостоящим по мере роста количества входных данных. Это означает, что Transformers хорошо работают для входных данных, содержащих не более нескольких тысяч элементов, но обычные формы данных, такие как изображения, видео и книги, могут легко содержать миллионы элементов. С исходным Perceiver мы решили главную проблему универсальной архитектуры: масштабирование операции внимания Transformer до очень больших входных данных без введения предположений, специфичных для предметной области. Воспринимающий делает это, используя внимание, чтобы сначала закодировать входные данные в небольшой скрытый массив. Затем этот скрытый массив может быть обработан дополнительно за счет затрат, не зависящих от размера входных данных, что позволяет восприятию памяти и вычислительных потребностей плавно увеличиваться по мере увеличения входных данных, даже для особенно глубоких моделей.
Рисунок 3. Perceiver IO дает самые современные результаты в сложной задаче оценки оптического потока или отслеживания движения всех пикселей в изображении. Цвет каждого пикселя показывает направление и скорость движения, оцененные Perceiver IO, как указано в легенде выше.
Этот «изящный рост» позволяет Perceiver достичь беспрецедентного уровня универсальности — он может конкурировать с предметно-ориентированными моделями в тестах, основанных на изображениях, трехмерных облаках точек, аудио и изображениях вместе. Но поскольку первоначальный Perceiver производил только один выход на вход, он не был таким универсальным, как требовалось исследователям. Perceiver IO устраняет эту проблему, используя внимание не только для кодирования скрытого массива, но и для декодирования из него, что обеспечивает большую гибкость сети. Perceiver IO теперь масштабируется до больших и разнообразных входных данных. и выводов и даже может работать со многими задачами или типами данных одновременно. Это открывает двери для всевозможных приложений, таких как понимание смысла текста по каждому из его символов, отслеживание движения всех точек на изображении, обработка звука, изображений и меток, составляющих видео, и даже воспроизведение. игры, при этом используя единую архитектуру, которая проще, чем альтернативы.
В наших экспериментах мы видели, как Perceiver IO работает в широком диапазоне контрольных областей, таких как язык, зрение, мультимодальные данные и игры, чтобы обеспечить готовый способ обработки многих видов данных. Мы надеемся, что наш последний препринт и код, доступный на Github, помогут исследователям и практикам решать проблемы, не тратя время и усилия на создание пользовательских решений с использованием специализированных систем. По мере того, как мы продолжаем учиться, исследуя новые виды данных, мы надеемся на дальнейшее совершенствование этой универсальной архитектуры и ускорение и упрощение решения задач в науке и машинном обучении.