Гостевой пост Хосе Эрнандес-Оралло, профессора Технического университета Валенсии
Два десятилетия назад я начал работать над метриками машинного интеллекта. К тому времени, в ледниковые дни второй зимы ИИ, мало кто действительно интересовался измерением чего-то, чего ИИ полностью не хватало. И очень немногие, такие как Дэвид Л. Доу и я, интересовались показателями интеллекта, связанными с алгоритмической теорией информации, где модели взаимодействия между агентом и миром представляли собой последовательности битов, а интеллект формулировался с использованием теорий Соломонова и Уоллеса. индуктивного вывода.
Тем временем каждый год предлагались, казалось бы, десятки вариантов теста Тьюринга, были введены CAPTCHA, и Дэвид показал, как легко решить некоторые тесты IQ, используя очень простую программу, основанную на подходе с большим переключением. И сегодня наступила новая весна ИИ, вызванная расцветающей областью машинного обучения, привносящая более экспериментальный подход к ИИ с растущим числом тестов и соревнований ИИ (см. предыдущую запись в этом блоге для обзора).
Учитывая эту 20-летнюю перспективу, прошлый год был особенным во многих отношениях. Начался первый из серии семинаров по оценке ИИ общего назначения, отражая растущий интерес к оценке систем искусственного интеллекта общего назначения (ИИА), способных находить разнообразные решения для целого ряда задач. Оценка этих систем отличается и является более сложной, чем традиционная ориентированная на задачи оценка конкретных систем, таких как робот-уборщик, модель кредитного скоринга, машинный переводчик или беспилотный автомобиль. Идея оценки систем искусственного интеллекта общего назначения с использованием видеоигр прижилась. Аркадная учебная среда (игры Atari 2600) или более гибкий язык определения видеоигр и связанные с ними соревнования становились все более популярными для оценки AGI и его недавних достижений.
В прошлом году также были представлены различные платформы для оценки ИИ, такие как Malmö от Microsoft, GoodAI School, OpenAI Gym and Universe, DeepMind Lab, Facebook TorchCraft и CommAI-env. На основе настройки обучения с подкреплением (RL) эти платформы позволяют создавать множество различных задач и подключать агентов RL через стандартный интерфейс. Многие из этих платформ хорошо подходят для новых парадигм ИИ, таких как глубокое обучение с подкреплением и некоторые библиотеки машинного обучения с открытым исходным кодом. После тысяч эпизодов или миллионов шагов в отношении новой задачи эти системы способны преуспеть, как правило, с большей производительностью, чем у человека.
Несмотря на множество применений и прорывов, которые были получены из этой парадигмы, похоже, в этой области существует консенсус в отношении того, что основная открытая проблема заключается в том, как агент ИИ может повторно использовать представления и навыки от одной задачи к новым, делая его можно научиться новой задаче намного быстрее, используя несколько примеров, как это делают люди. Это можно рассматривать как проблему сопоставления (обычно под термином трансферное обучение) или можно рассматривать как последовательную проблему (обычно под терминами постепенное, кумулятивное, поэтапное, непрерывное или обучение по учебной программе).
Одно из ключевых понятий, которое связано с этой способностью системы создавать новые понятия и навыки по сравнению с предыдущими, обычно называют «композиционностью», которая хорошо задокументирована у людей с раннего детства. Системы способны комбинировать представления, понятия или навыки, которые были изучены ранее, для решения новой проблемы. Например, агент может сочетать способность взбираться по лестнице с использованием ее в качестве возможного выхода из комнаты, или агент может научиться умножению после изучения сложения.
На мой взгляд, две из предыдущих платформ лучше подходят для композиционности: Malmö и CommAI-env. В Мальмё есть все составляющие 3D-игры, и исследователи ИИ могут экспериментировать и оценивать агентов со зрением и 3D-навигацией, что до сих пор и было сделано во многих исследовательских работах с использованием Мальмё, поскольку на данный момент это горячая тема в ИИ. Однако для меня самой интересной особенностью Мальмё является строительство и крафтинг, где агенты обязательно должны комбинировать предыдущие концепции и навыки, чтобы создавать более сложные вещи.
CommAI-env явно выделяется в этом наборе платформ. Это не видеоигра в 2D или 3D. Видео или аудио не играют там никакой роли. Взаимодействие просто производится через поток входных/выходных битов и вознаграждений, которые равны +1, 0 или -1. По сути, действия и наблюдения бинарны. Обоснование CommAI-env заключается в том, чтобы уделить внимание коммуникативным навыкам, но при этом он позволяет использовать богатое взаимодействие, шаблоны и задачи, «сводя все дальнейшие сложности к минимуму».
Когда я узнал, что General AI Challenge использует CommAI-env для разминки, я был в восторге. Участники могли сосредоточиться на агентах RL без сложностей со зрением и навигацией. Конечно, зрение и навигация очень важны для приложений ИИ, но они создают много дополнительных сложностей, если мы хотим понять (и оценить) постепенное обучение. Например, две одинаковые задачи, для которых меняется текстура стен, могут рассматриваться как требующие больших усилий по переносу, чем две немного разные задачи с одинаковой текстурой. Другими словами, это были бы дополнительные смешанные факторы, которые значительно усложнили бы анализ передачи задач и зависимостей задач. Тогда будет разумным решением исключить это из раунда разминки. Во время других раундов испытания будут случаи включения зрения, навигации и других видов сложного воплощения. Начать с минимального интерфейса, чтобы оценить, способны ли агенты постепенно обучаться, — не только сложная, но и важная открытая проблема для общего ИИ.
Кроме того, предварительный раунд изменил CommAI-env таким образом, что биты упаковываются в 8-битные (1 байт) символы. Это делает определение задач более интуитивным и делает кодирование ASCII прозрачным для агентов. По сути, набор действий и наблюдений расширен до 256. Но что интересно, набор наблюдений и действий тот же, что допускает множество возможностей, необычных для обучения с подкреплением, где эти подмножества разные. Например, агент с такими примитивами, как «копировать ввод в вывод» и другими операторами преобразования последовательности, может составить их для решения задачи. Ключевую роль играют переменные и другие виды абстракций.
Это может создать впечатление, что мы вернулись к машинам Тьюринга и символическому ИИ. В некотором смысле это так и во многом соответствует видению Тьюринга в его статье 1950 года: «Можно с помощью наказаний и наград научить машину подчиняться приказам, отдаваемым на каком-то языке, например, символическом языке». Но в 2017 году у нас есть ряд методов, которых не было всего несколько лет назад. Например, для этой задачи очень хорошо подходят нейронные машины Тьюринга и другие нейронные сети с символической памятью.
Это ни в коем случае не означает, что легион энтузиастов глубокого обучения с подкреплением не может принести свои устройства на этот раунд разминки. На самом деле, они не будут разочарованы этой проблемой, если действительно будут усердно работать над адаптацией глубокого обучения к этой проблеме. Им, вероятно, не понадобится сверточная сеть, настроенная на распознавание визуальных образов, но есть много возможностей и проблем, связанных с тем, как заставить глубокое обучение работать в таких условиях, особенно потому, что чем меньше примеров, тем лучше, а для глубокого обучения обычно требуется много Примеры.
Плюс простота, символический последовательный интерфейс открывает вызов многим другим областям ИИ, не только рекуррентным нейронным сетям, но и методам обработки естественного языка, эволюционным вычислениям, алгоритмам, основанным на сжатии, или даже таким областям, как индуктивное программирование, с мощными примитивами обработки строк и его пригодностью для решения задач. с очень небольшим количеством примеров.
Думаю, все вышеперечисленное делает этот разминочный раунд уникальным соревнованием. Конечно, поскольку у нас не было ничего подобного в прошлом, у нас могут быть некоторые сюрпризы. Может случиться так, что неожиданная (или даже наивная) техника будет вести себя намного лучше, чем другие (и люди), или, возможно, мы обнаружим, что ни одна техника не способна сделать что-то значимое в настоящее время.
Мне не терпится посмотреть, как будет развиваться этот раунд и что участники смогут интегрировать и придумать, чтобы решить последовательность микро- и мини-задач. Я уверен, что мы многому научимся из этого. Я надеюсь, что машины тоже будут. И все мы пройдем вперед в следующий раунд!
Хосе Эрнандес-Оралло является профессором Технического университета Валенсии и автором «Мера всех умов, оценка естественного и искусственного интеллекта», издательство Кембриджского университета, 2017 г..
«Назад к основе интеллекта… чтобы действительно двигаться в будущее» была первоначально опубликована в блоге AI Roadmap Institute на Medium, где люди продолжают обсуждение, выделяя и отвечая на эту историю.