Бехруз Тахмасеби — аспирант факультета электротехники и информатики Массачусетского технологического института (EECS) и сотрудник Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) — проходил курс математики по дифференциальным уравнениям в конце 2021 года, когда проблеск вдохновения ударил. В этом классе он впервые узнал о законе Вейля, сформулированном 110 годами ранее немецким математиком Германом Вейлем. Тахмасеби понял, что это может иметь некоторое отношение к проблеме информатики, над которой он тогда боролся, хотя связь — на первый взгляд — в лучшем случае была тонкой. По его словам, закон Вейля дает формулу, которая измеряет сложность спектральной информации или данных, содержащихся в основных частотах пластика барабана или гитарной струны.
В то же время Тахмасеби думал об измерении сложности входных данных в нейронную сеть, задаваясь вопросом, можно ли уменьшить эту сложность, приняв во внимание некоторые симметрии, присущие набору данных. Такое сокращение, в свою очередь, могло бы облегчить, а также ускорить процессы машинного обучения.
Закон Вейля, придуманный примерно за столетие до бума машинного обучения, традиционно применялся к самым разным физическим ситуациям, например, к тем, которые касаются колебаний струны или спектра электромагнитного излучения (черного тела), испускаемого нагретым объектом. . Тем не менее Тахмасеби считал, что адаптированная версия этого закона может помочь в решении проблемы машинного обучения, которую он преследовал. И если этот подход окажется успешным, выгода может быть значительной.
Он поговорил со своим консультантом Стефани Джегелкой — доцентом EECS и филиалом CSAIL и Института данных, систем и общества Массачусетского технологического института — которая считала, что эту идею определенно стоит изучить. По мнению Тахмасеби, закон Вейля был связан с оценкой сложности данных, как и этот проект. Но закон Вейля в своей первоначальной форме ничего не говорил о симметрии.
Ему и Джегельке теперь удалось изменить закон Вейля так, чтобы симметрию можно было учитывать при оценке сложности набора данных. «Насколько мне известно, — говорит Тахмасеби, — это первый раз, когда закон Вейля используется для определения того, как машинное обучение можно улучшить за счет симметрии».
Статья, которую он и Джегелька написали, получила награду «В центре внимания», когда была представлена на конференции по нейронным системам обработки информации в декабре 2023 года, которая широко считается ведущей в мире конференцией по машинному обучению.
Эта работа, как комментирует Соледад Вильяр, прикладной математик из Университета Джонса Хопкинса, «показывает, что модели, удовлетворяющие симметрии задачи, не только верны, но также могут давать прогнозы с меньшими ошибками, используя небольшое количество обучающих точек. [This] особенно важен в таких научных областях, как вычислительная химия, где данных для обучения может быть недостаточно».
В своей статье Тахмасеби и Джегелка исследовали, каким образом симметрии или так называемые «инварианты» могут принести пользу машинному обучению. Предположим, например, что цель определенного запуска компьютера — выбрать каждое изображение, содержащее цифру 3. Эта задача может быть намного проще и выполняться намного быстрее, если алгоритм сможет идентифицировать цифру 3 независимо от того, где она находится. помещен в коробку — точно в центре или сбоку — и направлен ли он правой стороной вверх, вверх тормашками или ориентирован под произвольным углом. Алгоритм, оснащенный последней возможностью, может использовать преимущества симметрии перемещения и вращения, а это означает, что цифра 3 или любой другой объект не изменяется сам по себе, изменяя свое положение или вращая его вокруг произвольной оси. Говорят, что он инвариантен к этим сдвигам. Та же логика может быть применена к алгоритмам, предназначенным для идентификации собак и кошек. Собака есть собака есть собака, можно сказать, независимо от того, как она вписана в образ.
Авторы объясняют, что цель всего упражнения — использовать внутреннюю симметрию набора данных, чтобы снизить сложность задач машинного обучения. Это, в свою очередь, может привести к сокращению объема данных, необходимых для обучения. Конкретно, новая работа отвечает на вопрос: насколько меньше данных необходимо для обучения модели машинного обучения, если данные содержат симметрии?
Есть два способа добиться выгоды или выгоды, извлекая выгоду из существующей симметрии. Первое связано с размером исследуемой выборки. Давайте представим, что вам поручено, например, проанализировать изображение, обладающее зеркальной симметрией — правая сторона является точной копией или зеркальным отражением левой. В этом случае вам не нужно смотреть на каждый пиксель; вы можете получить всю необходимую информацию из половины изображения — улучшение в два раза. С другой стороны, если изображение можно разделить на 10 одинаковых частей, вы можете получить улучшение в 10 раз. Этот вид повышения эффекта является линейным.
В качестве другого примера представьте, что вы просматриваете набор данных, пытаясь найти последовательности блоков семи разных цветов — черного, синего, зеленого, фиолетового, красного, белого и желтого. Ваша работа станет намного проще, если вас не будет волновать порядок расположения блоков. Если бы порядок имел значение, нужно было бы искать 5040 различных комбинаций. Но если вас интересуют только последовательности блоков, в которых присутствуют все семь цветов, то вы сократили количество объектов (или последовательностей), которые ищете, с 5040 до одного.
Тахмасеби и Джегелка обнаружили, что можно добиться другого вида выигрыша — экспоненциального — который можно получить от симметрий, действующих во многих измерениях. Это преимущество связано с представлением о том, что сложность задачи обучения растет экспоненциально с увеличением размерности пространства данных. Таким образом, использование многомерной симметрии может принести непропорционально большую прибыль. «Это новый вклад, который, по сути, говорит нам о том, что симметрии более высоких измерений более важны, потому что они могут дать нам экспоненциальный выигрыш», — говорит Тахмасеби.
Статья NeurIPS 2023, которую он написал вместе с Джегелкой, содержит две теоремы, доказанные математически. «Первая теорема показывает, что улучшение сложности выборки достижимо с помощью общего алгоритма, который мы предлагаем», — говорит Тахмасеби. Вторая теорема дополняет первую, добавил он, «показывая, что это наилучший возможный выигрыш, который вы можете получить; ничего другого достичь невозможно».
Он и Джегелька предоставили формулу, которая предсказывает выигрыш, который можно получить от определенной симметрии в данном приложении. Достоинством этой формулы является ее общность, отмечает Тахмасеби. «Это работает для любой симметрии и любого входного пространства». Он работает не только для симметрий, которые известны сегодня, но также может быть применен в будущем к симметриям, которые еще предстоит открыть. Последняя перспектива не является слишком уж надуманной, чтобы ее рассматривать, учитывая, что поиск новых симметрий уже давно является основным направлением физики. Это говорит о том, что по мере обнаружения большего количества симметрий методология, предложенная Тахмасеби и Джегелкой, со временем должна стать только лучше.
По словам Хаггая Марона, ученого-компьютерщика из Техниона (Израильского технологического института) и NVIDIA, который не принимал участия в работе, подход, представленный в статье, «существенно отличается от аналогичных предыдущих работ, принимая геометрическую перспективу и используя инструменты дифференциального подхода». геометрия. Этот теоретический вклад обеспечивает математическую поддержку развивающейся области «глубокого геометрического обучения», которая находит применение в обучении графов, 3D-данных и т. д. Статья помогает создать теоретическую основу для дальнейшего развития в этой быстро расширяющейся области исследований».