Продвижение лучших в своем классе крупных моделей, оптимальных для вычислений агентов RL и более прозрачных, этичных и справедливых систем искусственного интеллекта.
Тридцать шестая Международная конференция по системам обработки нейронной информации (NeurIPS 2022) проходит с 28 ноября по 9 декабря 2022 года в качестве гибридного мероприятия в Новом Орлеане, США.
NeurIPS — крупнейшая в мире конференция по искусственному интеллекту (ИИ) и машинному обучению (МО), и мы гордимся тем, что поддерживаем это мероприятие в качестве бриллиантовых спонсоров, способствуя обмену исследовательскими достижениями в сообществе ИИ и МО.
Команды из DeepMind представляют 47 докладов, в том числе 35 внешних совместных работ на виртуальных панелях и постерных сессиях. Вот краткое введение в некоторые исследования, которые мы представляем:
Лучшие в своем классе большие модели
Большие модели (LM) — генеративные системы искусственного интеллекта, обученные на огромных объемах данных — привели к невероятным результатам в таких областях, как создание языка, текста, аудио и изображений. Часть их успеха сводится к их простому масштабу.
Однако в Chinchilla мы создали языковую модель с 70 миллиардами параметров, которая превосходит многие более крупные модели, включая Gopher. Мы обновили законы масштабирования больших моделей, показав, что ранее обученные модели были слишком велики для объема проведенного обучения. Эта работа уже сформировала другие модели, которые следуют этим обновленным правилам, создавая более компактные и лучшие модели, и получила награду за выдающийся основной трек на конференции.
Опираясь на Chinchilla и наши мультимодальные модели NFNets и Perceiver, мы также представляем Flamingo, семейство моделей визуального языка для быстрого обучения. Обрабатывая изображения, видео и текстовые данные, Flamingo представляет собой мост между моделями только для зрения и только для языка. Единая модель Flamingo устанавливает новый уровень в обучении за несколько шагов по широкому кругу открытых мультимодальных задач.
И все же масштаб и архитектура — не единственные факторы, влияющие на мощность моделей на основе трансформаторов. Свойства данных также играют важную роль, которую мы обсуждаем в презентации о свойствах данных, способствующих контекстному обучению в моделях преобразователей.
Оптимизация обучения с подкреплением
Обучение с подкреплением (RL) показало большие перспективы как подход к созданию обобщенных систем ИИ, которые могут решать широкий спектр сложных задач. Это привело к прорыву во многих областях, от Go до математики, и мы всегда ищем способы сделать агентов RL умнее и компактнее.
Мы представляем новый подход, который расширяет возможности агентов RL по принятию решений эффективным с точки зрения вычислений способом за счет значительного расширения масштаба информации, доступной для их поиска.
Мы также продемонстрируем концептуально простой, но общий подход к исследованию на основе любопытства в визуально сложных средах — агент RL под названием BYOL-Explore. Он обеспечивает сверхчеловеческую производительность, будучи устойчивым к шуму и намного проще, чем предыдущая работа.
Алгоритмические достижения
От сжатия данных до запуска симуляций для прогнозирования погоды алгоритмы являются фундаментальной частью современных вычислений. Таким образом, дополнительные улучшения могут оказать огромное влияние при масштабной работе, помогая экономить энергию, время и деньги.
Мы делимся радикально новым и хорошо масштабируемым методом автоматической настройки компьютерных сетей, основанным на нейронных алгоритмах, демонстрируя, что наш очень гибкий подход работает до 490 раз быстрее, чем текущий уровень техники, при этом удовлетворяя большинству входных данных. ограничения.
В ходе той же сессии мы также представляем тщательное исследование ранее теоретического понятия «алгоритмического выравнивания», подчеркивая нюансы взаимосвязи между графовыми нейронными сетями и динамическим программированием, а также то, как их лучше всего сочетать для оптимизации производительности вне распределения.
Ответственное новаторство
В основе миссии DeepMind лежит наше стремление действовать как ответственные пионеры в области искусственного интеллекта. Мы стремимся разрабатывать прозрачные, этичные и справедливые системы искусственного интеллекта.
Объяснение и понимание поведения сложных систем ИИ — важная часть создания честных, прозрачных и точных систем. Мы предлагаем набор требований, которые охватывают эти амбиции, и описываем практический способ их удовлетворения, который включает в себя обучение системы ИИ построению собственной каузальной модели, позволяющей ей осмысленно объяснять свое поведение.
Чтобы действовать безопасно и этично в мире, агенты ИИ должны уметь рассуждать о вреде и избегать вредных действий. Мы представим совместную работу над новой статистической мерой, называемой контрфактическим ущербом, и продемонстрируем, как она преодолевает проблемы с помощью стандартных подходов, чтобы избежать проведения вредных политик.
Наконец, мы представляем наш новый документ, в котором предлагаются способы диагностики и устранения сбоев в обеспечении справедливости модели, вызванных сдвигами в распределении, и показано, насколько важны эти проблемы для развертывания безопасных технологий машинного обучения в медицинских учреждениях.
Посмотреть полный спектр нашей работы на NeurIPS 2022 можно здесь.