Исследование, движимое любопытством, — это активный процесс поиска новой информации для улучшения понимания агентом своего окружения. Предположим, что агент изучил модель мира, которая может предсказывать будущие события, учитывая историю прошлых событий. Затем агент, движимый любопытством, может использовать несоответствие предсказания модели мира в качестве внутренней награды за то, что он направляет свою политику исследования на поиск новой информации. Таким образом, агент может затем использовать эту новую информацию для улучшения самой модели мира, чтобы он мог делать более точные прогнозы. Этот итеративный процесс может позволить агенту в конечном итоге исследовать каждую новинку в мире и использовать эту информацию для построения точной модели мира.
Вдохновленные успехами программы начальной загрузки (BYOL), которая применялась в компьютерном зрении, обучении графическому представлению и обучении репрезентации в RL, мы предлагаем BYOL-Explore: концептуально простой, но общий агент ИИ, основанный на любопытстве, для решения трудоемкие исследовательские задачи. BYOL-Explore изучает представление мира, предсказывая свое собственное будущее представление. Затем он использует ошибку предсказания на уровне представления в качестве внутренней награды для обучения политике, основанной на любопытстве. Таким образом, BYOL-Explore изучает представление мира, динамику мира и политику исследования, основанную на любопытстве, вместе, просто оптимизируя ошибку прогнозирования на уровне представления.
Несмотря на простоту своего дизайна, при применении к набору сложных трехмерных, визуально сложных и сложных задач исследования DM-HARD-8, BYOL-Explore превосходит стандартные методы исследования, основанные на любопытстве, такие как Random Network Distillation (RND) и Модуль внутреннего любопытства (ICM) с точки зрения средней предельной нормализованной оценки человека (CHNS), измеренной по всем задачам. Примечательно, что BYOL-Explore достигла такой производительности, используя только одну сеть, одновременно обученную всем задачам, в то время как предыдущая работа была ограничена настройкой одной задачи и могла добиться значительного прогресса в этих задачах только при наличии демонстраций, проводимых экспертами.
В качестве еще одного доказательства своей универсальности BYOL-Explore достигает сверхчеловеческой производительности в десяти самых сложных исследовательских играх Atari, имея при этом более простой дизайн, чем у других конкурирующих агентов, таких как Agent57 и Go-Explore.
Двигаясь вперед, мы можем обобщить BYOL-Explore на сильно стохастические среды, изучив вероятностную модель мира, которую можно использовать для создания траекторий будущих событий. Это может позволить агенту моделировать возможную стохастичность среды, избегать стохастических ловушек и планировать исследования.