Прогулка до дома друга или просмотр продуктового магазина могут показаться простыми задачами, но на самом деле они требуют сложных возможностей. Это потому, что люди могут без особых усилий понимать свое окружение и обнаруживать сложную информацию о закономерностях, объектах и своем собственном местоположении в окружающей среде.
Что, если бы роботы могли воспринимать окружающую среду подобным образом? Этот вопрос волнует исследователей Лаборатории информации и систем принятия решений Массачусетского технологического института (LIDS) Луки Карлоне и Джонатана Хоу. В 2020 году команда под руководством Карлоне выпустила первую версию Kimera, библиотеки с открытым исходным кодом, которая позволяет одному роботу создавать трехмерную карту своей среды в режиме реального времени, помечая различные объекты в поле зрения. В прошлом году исследовательские группы Карлоне и Хау (SPARK Lab и Aerospace Controls Lab) представили Kimera-Multi, обновленную систему, в которой несколько роботов общаются между собой для создания единой карты. Документ 2022 года, связанный с проектом, недавно получил одобрение в этом году. Транзакции IEEE в робототехнике Премия King-Sun Fu Memorial за лучшую статью присуждается лучшей статье, опубликованной в журнале в 2022 году.
Карлоне, адъюнкт-профессор Леонардо по развитию карьеры в области аэронавтики и астронавтики, и Хау, профессор аэронавтики и астронавтики Ричарда Кокберна Маклорена, рассказали LIDS о Kimera-Multi и о будущем того, как роботы могут воспринимать окружающую среду и взаимодействовать с ней.
В: В настоящее время ваши лаборатории сосредоточены на увеличении количества роботов, которые могут работать вместе для создания трехмерных карт окружающей среды. Каковы потенциальные преимущества масштабирования этой системы?
Как: Ключевое преимущество зависит от согласованности в том смысле, что робот может создать независимую карту, и эта карта является самосогласованной, но не согласованной в глобальном масштабе. Мы стремимся к тому, чтобы у команды была согласованная карта мира; в этом ключевое отличие попыток достичь консенсуса между роботами, а не независимого картографирования.
Карлоне: Во многих сценариях также хорошо иметь некоторую избыточность. Например, если мы задействуем одного робота в поисково-спасательной миссии, и с этим роботом что-то случится, он не сможет найти выживших. Если исследования проводят несколько роботов, шансов на успех гораздо больше. Увеличение команды роботов также означает, что любая задача может быть выполнена за более короткий промежуток времени.
В: Какие уроки вы извлекли из недавних экспериментов и какие проблемы вам пришлось преодолеть при разработке этих систем?
Карлоне: Недавно мы провели большой картографический эксперимент в кампусе Массачусетского технологического института, в ходе которого восемь роботов преодолели в общей сложности до 8 километров. Роботы не имеют предварительных знаний о кампусе и не имеют GPS. Их основные задачи — оценить собственную траекторию и построить вокруг нее карту. Вы хотите, чтобы роботы понимали окружающую среду так же, как и люди; люди не только понимают форму препятствий, чтобы обойти их, не задев их, но также понимают, что объект — это стул, стол и так далее. Есть семантическая часть.
Интересно то, что когда роботы встречаются друг с другом, они обмениваются информацией, чтобы улучшить свою карту окружающей среды. Например, если роботы подключаются, они могут использовать информацию для корректировки собственной траектории. Проблема в том, что если вы хотите достичь консенсуса между роботами, у вас недостаточно пропускной способности для обмена слишком большим объемом данных. Одним из ключевых вкладов нашей статьи 2022 года является развертывание распределенного протокола, в котором роботы обмениваются ограниченной информацией, но при этом могут договориться о том, как выглядит карта. Они не отправляют изображения с камеры туда и обратно, а только обмениваются определенными 3D-координатами и подсказками, извлеченными из данных датчика. Поскольку они продолжают обмениваться такими данными, они могут прийти к консенсусу.
Прямо сейчас мы создаем 3D-сетки или карты с цветовой кодировкой, в которых цвет содержит некоторую семантическую информацию, например, «зеленый» соответствует траве, а «пурпурный» — зданию. Но у людей гораздо более сложное понимание реальности, и у нас есть много предварительных знаний об отношениях между объектами. Например, если я искал кровать, я шел в спальню, а не осматривал весь дом. Если вы начнете понимать сложные отношения между вещами, вы сможете гораздо лучше понимать, что робот может делать в окружающей среде. Мы пытаемся перейти от захвата только одного слоя семантики к более иерархическому представлению, в котором роботы понимают комнаты, здания и другие понятия.
В: К каким приложениям Kimera и подобные технологии могут привести в будущем?
Как: Компании-производители автономных транспортных средств много картографируют мир и извлекают уроки из окружающей среды, в которой они находятся. Святым Граалем было бы, если бы эти автомобили могли общаться друг с другом и обмениваться информацией, тогда они могли бы улучшать модели и карты намного быстрее. Существующие решения индивидуальны. Если рядом с вами останавливается грузовик, вы не можете видеть в определенном направлении. Может ли другой автомобиль обеспечить поле обзора, которого нет у вашего автомобиля? Это футуристическая идея, потому что она требует, чтобы транспортные средства общались по-новому, и есть проблемы с конфиденциальностью, которые необходимо преодолеть. Но если бы мы могли решить эти проблемы, вы могли бы представить себе значительно улучшенную ситуацию с безопасностью, когда у вас есть доступ к данным с разных точек зрения, а не только из вашего поля зрения.
Карлоне: Эти технологии будут иметь множество применений. Ранее я упоминал поиск и спасение. Представьте, что вы хотите исследовать лес и искать выживших или нанести на карту здания после землетрясения таким образом, чтобы помочь службам быстрого реагирования получить доступ к людям, которые оказались в ловушке. Еще одно место, где эти технологии могут быть применены, — это фабрики. В настоящее время роботы, развернутые на заводах, очень жесткие. Они следуют узорам на полу и на самом деле не могут понять свое окружение. Но если вы думаете о гораздо более гибких фабриках в будущем, роботам придется сотрудничать с людьми и существовать в гораздо менее структурированной среде.