Когда автомобиль едет по узкой городской улице, отражение от глянцевой краски или боковых зеркал припаркованных автомобилей может помочь водителю увидеть то, что иначе было бы скрыто от глаз, например, ребенка, играющего на тротуаре за припаркованными машинами.
Опираясь на эту идею, исследователи из Массачусетского технологического института и Университета Райса создали метод компьютерного зрения, который использует отражения для получения изображения мира. Их метод использует отражения для превращения блестящих объектов в “камеры”, позволяя пользователю видеть мир так, как будто он смотрит через “линзы” повседневных предметов, таких как керамическая кофейная кружка или металлический пресс-папье.
Используя изображения предмета, сделанные под разными углами, техника превращает поверхность предмета в виртуальный датчик, который улавливает отражения. Система искусственного интеллекта отображает эти отражения таким образом, что позволяет оценить глубину сцены и захватить новые виды, которые были бы видны только с точки зрения объекта. Эту технику можно использовать для того, чтобы видеть за углами или за объектами, которые блокируют обзор наблюдателя.
Этот метод может быть особенно полезен в автономных транспортных средствах. Например, он может позволить самодвижущемуся автомобилю использовать отражения от проезжающих мимо объектов, таких как фонарные столбы или здания, чтобы увидеть припаркованный грузовик.
“Мы показали, что любая поверхность может быть превращена в датчик с помощью этой формулы, которая преобразует объекты в виртуальные пиксели и виртуальные датчики. Это можно применять в самых разных областях”, – говорит Кушагра Тивари, аспирант группы культуры камеры в Media Lab и один из ведущих авторов статьи об этом исследовании.
Вместе с Тивари в работе над статьей участвуют соавтор Акшат Дейв, аспирант Университета Райса; Нихил Бехари, сотрудник отдела поддержки исследований Массачусетского технологического института; Цофи Клингхоффер, аспирант Массачусетского технологического института; Ашок Вирарагхаван, профессор электротехники и вычислительной техники Университета Райса; и старший автор Рамеш Раскар, доцент кафедры медиаискусства и наук и руководитель Группы культуры камеры в Массачусетском технологическом институте. Исследование будет представлено на Конференции по компьютерному зрению и распознаванию образов.
Размышляя о размышлениях
Герои криминальных телешоу часто “увеличивают и улучшают” записи с камер наблюдения, чтобы запечатлеть отражения – возможно, попавшие в солнцезащитные очки подозреваемого, – которые помогают им раскрыть преступление.
“В реальной жизни использовать эти отражения не так просто, как просто нажать на кнопку увеличения. Получить полезную информацию из этих отражений довольно сложно, потому что отражения дают нам искаженное представление о мире”, – говорит Дэйв.
Это искажение зависит от формы объекта и мира, который этот объект отражает, о которых исследователи могут иметь неполную информацию. Кроме того, блестящий объект может иметь свой собственный цвет и текстуру, которые смешиваются с отражениями. Кроме того, отражения – это двухмерные проекции трехмерного мира, что затрудняет оценку глубины в отраженных сценах.
Исследователи нашли способ преодолеть эти трудности. Их техника, известная как ORCa (что расшифровывается как “Объекты как камеры с полем излучения”), работает в три этапа. Во-первых, они фотографируют объект с разных точек обзора, фиксируя многочисленные отражения на блестящем объекте.
Затем для каждого изображения с реальной камеры ORCa использует машинное обучение для преобразования поверхности объекта в виртуальный датчик, который фиксирует свет и отражения, попадающие на каждый виртуальный пиксель на поверхности объекта. Наконец, система использует виртуальные пиксели на поверхности объекта для моделирования трехмерной среды с точки зрения объекта.
Ловля лучей
Съемка объекта под разными углами позволяет ORCa захватывать многоракурсные отражения, которые система использует для оценки глубины между блестящим объектом и другими объектами в сцене, в дополнение к оценке формы блестящего объекта. ORCa моделирует сцену как 5D поле сияния, которое захватывает дополнительную информацию об интенсивности и направлении световых лучей, исходящих от каждой точки сцены и ударяющих в нее.
Дополнительная информация, содержащаяся в этом 5D-поле сияния, также помогает ORCa точно оценить глубину. А поскольку сцена представлена в виде 5D поля сияния, а не в виде 2D изображения, пользователь может увидеть скрытые особенности, которые в противном случае были бы заблокированы углами или препятствиями.
Фактически, как только ORCa захватит это 5D поле сияния, пользователь может поместить виртуальную камеру в любое место сцены и синтезировать то, что увидит эта камера, объясняет Дэйв. Пользователь также может вставить виртуальные объекты в окружающую среду или изменить внешний вид объекта, например, превратить его из керамического в металлический.
Credit: Courtesy of the researchers
“Особенно сложно было перейти от двухмерного изображения к пятимерной среде. Необходимо убедиться, что отображение работает и является физически точным, поэтому оно основано на том, как свет перемещается в пространстве и как свет взаимодействует с окружающей средой. Мы потратили много времени, думая о том, как можно смоделировать поверхность”, – говорит Тивари.
Точные оценки
Исследователи оценили свою методику, сравнив ее с другими методами, моделирующими отражения, что является несколько иной задачей, чем та, которую выполняет ORCa. Их метод хорошо справился с выделением истинного цвета объекта из отражений и превзошел базовые методы, извлекая более точную геометрию и текстуру объекта.
Они сравнили оценки глубины системы с имитированными данными о реальном расстоянии между объектами в сцене и пришли к выводу, что прогнозы ORCa надежны.
“Последовательно, ORCa не только точно оценивает окружающую среду как 5D-изображение, но и на промежуточных этапах хорошо оценивает форму объекта и отделяет отражения от текстуры объекта”, – говорит Дейв.
Основываясь на этом доказательстве концепции, исследователи хотят применить эту технику для получения изображений с беспилотников. ORCa может использовать слабые отражения от объектов, над которыми пролетает беспилотник, для реконструкции сцены с земли. Они также хотят усовершенствовать ORCa, чтобы она могла использовать другие подсказки, например, тени, для восстановления скрытой информации или комбинировать отражения от двух объектов для получения изображения новых частей сцены.
“Оценка зеркальных отражений очень важна для обзора углов, и это следующий естественный шаг к тому, чтобы видеть углы, используя слабые отражения в сцене”, – говорит Раскар.
“Обычно блестящие объекты сложны для систем технического зрения. Эта работа очень креативна, потому что она превращает давнюю слабость блестящих объектов в преимущество. Используя отражение среды от блестящего объекта, статья позволяет не только увидеть скрытые части сцены, но и понять, как сцена освещена. Это дает возможность применять 3D-восприятие, включая, в частности, возможность компоновать виртуальные объекты в реальные сцены таким образом, чтобы они выглядели бесшовными даже в сложных условиях освещения”, – говорит Ачута Кадамби, доцент кафедры электротехники и информатики Калифорнийского университета в Лос-Анджелесе, который не принимал участия в этой работе. “Одна из причин, по которой другие не смогли использовать блестящие объекты подобным образом, заключается в том, что большинство предыдущих работ требуют поверхностей с известной геометрией или текстурой. Авторы вывели интригующую, новую формулировку, которая не требует таких знаний”.
Исследование было частично поддержано Intelligence Advanced Research Projects Activity и Национальным научным фондом.