В фильме “Top Gun: Мэверик”,“ Мэверику, которого играет Том Круз, поручено обучить молодых пилотов выполнению, казалось бы, невыполнимой миссии – направить свои самолеты вглубь скалистого каньона, держась так низко к земле, чтобы их не смог обнаружить радар, а затем быстро выбраться из каньона под экстремальным углом, избегая скальных стен. Спойлер: с помощью Мэверика эти пилоты-люди выполняют свою миссию.
Машина, с другой стороны, с трудом справилась бы с той же самой задачей. Например, для автономного самолета наиболее прямой путь к цели вступает в противоречие с тем, что нужно сделать машине, чтобы избежать столкновения со стенами каньона или остаться незамеченной. Многие существующие методы ИИ не способны преодолеть этот конфликт, известный как проблема стабилизации-избегания, и не смогут безопасно достичь своей цели.
Исследователи Массачусетского технологического института разработали новую методику, которая может решать сложные проблемы стабилизации и избегания лучше, чем другие методы. Их подход, основанный на машинном обучении, соответствует или превосходит по безопасности существующие методы, обеспечивая при этом десятикратное увеличение стабильности, что означает, что агент достигает и остается стабильным в области своей цели.
В эксперименте, которым мог бы гордиться Мэверик, их методика эффективно провела симулированный реактивный самолет через узкий коридор, не врезавшись в землю.
“Это была давняя и сложная проблема. Многие люди рассматривали ее, но не знали, как справиться с такой высокоразмерной и сложной динамикой”, – говорит Чучу Фань, доцент кафедры аэронавтики и астронавтики имени Вильсона, сотрудник Лаборатории систем информации и принятия решений (LIDS) и старший автор новой работы, посвященной этой методике.
К Фану присоединился ведущий автор Освин Со, аспирант. Доклад будет представлен на конференции “Робототехника: Science and Systems conference.
Проблема стабилизации и избегания
Многие подходы к решению сложных проблем стабилизации и избегания упрощают систему, чтобы решить ее с помощью простой математики, но упрощенные результаты часто не выдерживают динамики реального мира.
Более эффективные методы используют обучение с подкреплением – метод машинного обучения, при котором агент обучается методом проб и ошибок, получая вознаграждение за поведение, которое приближает его к цели. Но на самом деле здесь есть две цели – сохранять стабильность и избегать препятствий – и поиск правильного баланса является утомительным.
Исследователи Массачусетского технологического института разбили проблему на два этапа. Во-первых, они переформулировали задачу стабилизации-избегания как задачу оптимизации с ограничениями. В этом случае решение задачи оптимизации позволяет агенту достичь цели и стабилизироваться на ней, то есть оставаться в пределах определенной области. Применяя ограничения, они гарантируют, что агент избегает препятствий, объясняет Со.
Затем, на втором этапе, они переформулируют эту задачу оптимизации с ограничениями в математическое представление, известное как форма эпиграфа, и решают ее с помощью алгоритма глубокого обучения с подкреплением. Форма эпиграфа позволяет им обойти трудности, с которыми сталкиваются другие методы при использовании обучения с подкреплением.
“Но глубокое обучение с подкреплением не предназначено для решения эпиграфной формы оптимизационной задачи, поэтому мы не могли просто подключить его к нашей проблеме. Мы должны были вывести математические выражения, которые работают для нашей системы. Как только мы получили эти новые производные, мы объединили их с некоторыми существующими инженерными трюками, используемыми другими методами”, – говорит Со.
Нет очков за второе место
Чтобы проверить свой подход, они разработали ряд экспериментов по управлению с различными начальными условиями. Например, в некоторых симуляциях автономный агент должен достичь и остаться внутри целевой области, совершая при этом резкие маневры, чтобы избежать препятствий, которые находятся на пути столкновения с ним.
Предоставлено исследователями
При сравнении с несколькими базовыми вариантами, их подход оказался единственным, который смог стабилизировать все траектории, сохраняя при этом безопасность. Чтобы продвинуть свой метод еще дальше, они использовали его для управления имитацией реактивного самолета по сценарию, который можно увидеть в фильме “Top Gun”. фильме. Реактивный самолет должен был стабилизироваться на цели у земли, сохраняя при этом очень низкую высоту и оставаясь в узком коридоре полета.
Эта имитационная модель реактивного самолета была выложена в открытый доступ в 2018 году и была разработана экспертами по управлению полетами в качестве испытательной задачи. Могут ли исследователи создать сценарий, при котором их контроллер не сможет управлять самолетом? Но модель была настолько сложной, что с ней было трудно работать, и она по-прежнему не могла обрабатывать сложные сценарии, говорит Фан.
Контроллер исследователей из Массачусетского технологического института смог предотвратить падение или срыв самолета, стабилизировав его на пути к цели гораздо лучше, чем любой из базовых вариантов.
В будущем эта методика может стать отправной точкой для разработки контроллеров для высокодинамичных роботов, которые должны отвечать требованиям безопасности и стабильности, например, автономных беспилотников. Или же она может быть реализована как часть более крупной системы. Возможно, алгоритм активируется только при заносе автомобиля на заснеженной дороге, чтобы помочь водителю безопасно вернуться на стабильную траекторию.
Навигация в экстремальных сценариях, с которыми человек не смог бы справиться, – вот где их подход действительно сияет, добавляет Со.
“Мы считаем, что цель, к которой мы должны стремиться как область, – это дать подкрепляющему обучению гарантии безопасности и стабильности, которые потребуются нам для обеспечения уверенности при развертывании этих контроллеров на критически важных системах. Мы считаем, что это многообещающий первый шаг к достижению этой цели”, – говорит он.
В дальнейшем исследователи хотят усовершенствовать свою методику, чтобы она лучше учитывала неопределенность при решении задач оптимизации. Они также хотят изучить, насколько хорошо алгоритм работает при развертывании на аппаратном обеспечении, поскольку в реальном мире существуют несоответствия между динамикой модели и динамикой.
“Команда профессора Фана улучшила эффективность обучения с подкреплением для динамических систем, где важна безопасность. Вместо того, чтобы просто достичь цели, они создают контроллеры, которые гарантируют, что система сможет безопасно достичь цели и оставаться там неограниченное время”, – говорит Стэнли Бак, доцент кафедры компьютерных наук Университета Стони Брук, который не принимал участия в этом исследовании. “Их улучшенная формулировка позволяет успешно создавать безопасные контроллеры для сложных сценариев, включая 17-составную нелинейную модель реактивного самолета, разработанную частично исследователями из Исследовательской лаборатории ВВС (AFRL), которая включает в себя нелинейные дифференциальные уравнения с таблицами подъемной силы и сопротивления”.
Работа частично финансируется Лабораторией Линкольна Массачусетского технологического института в рамках программы “Безопасность в режимах аэробатического полета”.