Художники, оживляющие героев и злодеев в анимационных фильмах и видеоиграх, смогут иметь больший контроль над своей анимацией благодаря новой методике, предложенной исследователями Массачусетского технологического института.
Их метод генерирует математические функции, известные как барицентрические координаты, которые определяют, как 2D- и 3D-фигуры могут изгибаться, растягиваться и перемещаться в пространстве. Например, художник, использующий свой инструмент, может выбрать функции, благодаря которым движения хвоста трехмерной кошки будут соответствовать его видению «внешнего вида» анимированного животного из семейства кошачьих.
Изображение: предоставлено исследователями
Многие другие методы решения этой проблемы являются негибкими и предоставляют только один вариант функций барицентрических координат для определенного анимированного персонажа. Каждая функция может быть или не быть лучшей для конкретной анимации. Художнику придется начинать с нуля, используя новый подход каждый раз, когда он захочет попробовать немного другой образ.
«Как исследователи, мы иногда можем застрять в решении художественных проблем, не посоветовавшись с художниками. Художников волнует гибкость и внешний вид их конечного продукта. Их не волнуют уравнения в частных производных, которые ваш алгоритм решает «за кулисами», — говорит Ана Додик, ведущий автор статьи по этому методу.
Помимо художественных применений, эта техника может быть использована в таких областях, как медицинская визуализация, архитектура, виртуальная реальность и даже в компьютерном зрении в качестве инструмента, помогающего роботам понять, как объекты движутся в реальном мире.
Додик, аспирант электротехники и информатики (EECS), написал статью вместе с Одедом Штейном, доцентом Инженерной школы Витерби Университета Южной Калифорнии; Винсент Зицманн, доцент EECS, возглавляющий группу по представлению сцен в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL); и старший автор Джастин Соломон, доцент EECS и руководитель группы обработки геометрических данных CSAIL. Исследование было недавно представлено на SIGGRAPH Asia.
Обобщенный подход
Когда художник анимирует 2D- или 3D-персонажа, одним из распространенных методов является окружение сложной формы персонажа более простым набором точек, соединенных отрезками линий или треугольниками, называемыми клеткой. Аниматор перетаскивает эти точки, чтобы перемещать и деформировать персонажа внутри клетки. Ключевая техническая проблема — определить, как движется персонаж при модификации клетки; это движение определяется конструкцией конкретной барицентрической координатной функции.
Традиционные подходы используют сложные уравнения для определения чрезвычайно плавных движений клетки, избегая перегибов, которые могут возникнуть в форме, когда она растягивается или сгибается до крайности. Но существует множество представлений о том, как художественная идея «гладкости» воплощается в математике, каждое из которых приводит к различному набору барицентрических координатных функций.
Исследователи Массачусетского технологического института искали общий подход, который позволил бы художникам иметь право голоса при проектировании или выборе энергии плавности для любой формы. Затем художник мог предварительно просмотреть деформацию и выбрать энергию плавности, которая ему больше всего подходит.
Хотя гибкое проектирование барицентрических координат является современной идеей, основная математическая конструкция барицентрических координат возникла столетия назад. Барицентрические координаты, введенные немецким математиком Августом Мёбиусом в 1827 году, определяют, как каждый угол фигуры влияет на ее внутреннюю часть.
В треугольнике, форму которого Мёбиус использовал в своих расчетах, барицентрические координаты спроектировать легко, но когда клетка не является треугольником, расчеты становятся беспорядочными. Создание барицентрических координат для сложной клетки особенно сложно, поскольку для сложных форм каждая барицентрическая координата должна соответствовать набору ограничений, будучи при этом максимально гладкой.
В отличие от прошлой работы, команда использовала особый тип нейронной сети для моделирования неизвестных функций барицентрических координат. Нейронная сеть, основанная на человеческом мозге, обрабатывает входные данные, используя множество уровней взаимосвязанных узлов.
Хотя нейронные сети часто применяются в приложениях искусственного интеллекта, имитирующих человеческое мышление, в этом проекте нейронные сети используются по математическим причинам. Сетевая архитектура исследователей знает, как выводить функции барицентрических координат, которые точно удовлетворяют всем ограничениям. Они встраивают ограничения непосредственно в сеть, поэтому, когда она генерирует решения, они всегда действительны. Эта конструкция помогает художникам проектировать интересные барицентрические координаты, не беспокоясь о математических аспектах проблемы.
«Самая сложная часть заключалась в создании ограничений. Стандартные инструменты не помогли нам добиться всего, поэтому нам пришлось мыслить нестандартно», — говорит Додик.
Виртуальные треугольники
Исследователи использовали треугольные барицентрические координаты, введенные Мёбиусом почти 200 лет назад. Эти треугольные координаты легко вычислить и удовлетворяют всем необходимым ограничениям, но современные клетки намного сложнее треугольников.
Чтобы преодолеть этот разрыв, метод исследователей охватывает форму перекрывающимися виртуальными треугольниками, которые соединяют тройки точек снаружи клетки.
«Каждый виртуальный треугольник определяет действительную барицентрическую координатную функцию. Нам просто нужен способ их объединить», — говорит она.
Именно здесь на помощь приходит нейронная сеть. Она предсказывает, как объединить барицентрические координаты виртуальных треугольников, чтобы получить более сложную, но гладкую функцию.
Используя их метод, художник мог попробовать одну функцию, просмотреть окончательную анимацию, а затем настроить координаты для создания различных движений, пока не придет к анимации, которая выглядит так, как он хочет.
«С практической точки зрения, я думаю, самое большое влияние оказывает то, что нейронные сети дают вам большую гибкость, которой у вас раньше не было», — говорит Додик.
Исследователи продемонстрировали, как их метод может создавать более естественную анимацию, чем другие подходы, например, кошачий хвост, который плавно изгибается при движении, а не жестко сгибается возле вершин клетки.
В будущем они хотят попробовать разные стратегии ускорения нейронной сети. Они также хотят встроить этот метод в интерактивный интерфейс, который позволит художнику легко работать с анимацией в реальном времени.
Это исследование частично финансировалось Исследовательским управлением армии США, Управлением научных исследований ВВС США, Национальным научным фондом США, программой CSAIL Systems that Learning, лабораторией искусственного интеллекта MIT-IBM Watson, совместным проектом Toyota-CSAIL. Исследовательский центр, Adobe Systems, Google Research Award, Сингапурское агентство оборонной науки и технологий и научный центр Amazon.