TLDR: Мы предлагаем асимметричная сертифицированная надежность проблема, которая требует сертифицированной устойчивости только для одного класса и отражает реальные состязательные сценарии. Эта целенаправленная настройка позволяет нам представить выпуклые классификаторы, которые создают замкнутые и детерминированные сертифицированные радиусы порядка миллисекунд.
Рисунок 1. Иллюстрация выпуклых по признакам классификаторов и их сертификация для входных данных чувствительного класса. Эта архитектура представляет собой липшицево-непрерывную карту признаков $\varphi$ с обученной выпуклой функцией $g$. Поскольку $g$ выпукла, она глобально недоаппроксимируется своей касательной плоскостью в $\varphi(x)$, что дает сертифицированные нормальные шары в пространстве признаков. Липшицевость $\varphi$ тогда дает сертификаты соответствующего масштаба в исходном входном пространстве.
Несмотря на широкое распространение, классификаторы глубокого обучения крайне уязвимы для состязательные примеры: небольшие, незаметные для человека искажения изображения, которые обманывают модели машинного обучения и заставляют неправильно классифицировать измененные входные данные. Эта слабость серьезно подрывает надежность критически важных для безопасности процессов, включающих машинное обучение. Было предложено множество эмпирических защитных мер против враждебных возмущений, которые часто впоследствии терпели поражение более сильными стратегиями атаки. Поэтому мы фокусируемся на сертифицированные надежные классификаторыкоторые обеспечивают математическую гарантию того, что их прогноз останется постоянным для шара с нормой $\ell_p$ вокруг входных данных.
Обычные сертифицированные методы обеспечения надежности имеют ряд недостатков, включая недетерминированность, медленное выполнение, плохое масштабирование и сертификацию только по одному стандарту атаки. Мы утверждаем, что эти проблемы можно решить путем доработки проблемы сертифицированной надежности, чтобы она в большей степени соответствовала практическим состязательным условиям.
Проблема асимметричной сертифицированной устойчивости
Современные сертифицированные классификаторы выдают сертификаты для входных данных, принадлежащих к любому классу. Для многих реальных состязательных приложений это излишне широко. Рассмотрим показательный случай, когда кто-то составляет фишинговое мошенническое электронное письмо, пытаясь избежать спам-фильтров. Этот злоумышленник всегда будет пытаться обмануть спам-фильтр, заставив его думать, что его спам-сообщение безвредно, и никогда наоборот. Другими словами, злоумышленник пытается исключительно получить ложноотрицательные результаты от классификатора. Подобные настройки включают в себя обнаружение вредоносных программ, пометку фейковых новостей, обнаружение ботов в социальных сетях, фильтрацию претензий по медицинскому страхованию, обнаружение финансового мошенничества, обнаружение фишинговых веб-сайтов и многое другое.
Рисунок 2. Асимметричная надежность фильтрации электронной почты. Практические состязательные условия часто требуют сертифицированной устойчивости только для одного класса.
Все эти приложения используют настройку двоичной классификации с одним чувствительный класс того, что злоумышленник пытается избежать (например, класс «спама»). Это мотивирует проблему асимметричная сертифицированная надежность, целью которого является предоставление сертифицированно надежных прогнозов для входных данных в чувствительном классе, сохраняя при этом высокую точность для всех других входных данных. Более формальную постановку задачи мы приводим в основном тексте.
Выпуклые по характеристикам классификаторы
Мы предлагаем функционально-выпуклые нейронные сети для решения проблемы асимметричной устойчивости. Эта архитектура составляет простую липшиц-непрерывную карту признаков ${\varphi: \mathbb{R}^d \to \mathbb{R}^q}$ с обученной входно-выпуклой нейронной сетью (ICNN) ${g: \mathbb {R}^q \to \mathbb{R}}$ (рис. 1). ICNN обеспечивают выпуклость от входного до выходного логита путем составления нелинейностей ReLU с неотрицательными весовыми матрицами. Поскольку двоичная область решения ICNN состоит из выпуклого множества и его дополнения, мы добавляем заранее составленную карту признаков $\varphi$, чтобы разрешить невыпуклые области решения.
Выпуклые по признакам классификаторы позволяют быстро вычислять сертифицированные радиусы чувствительного класса для всех $\ell_p$-норм. Используя тот факт, что выпуклые функции глобально недооцениваются любой касательной плоскостью, мы можем получить сертифицированный радиус в пространстве промежуточных признаков. Этот радиус затем распространяется во входное пространство посредством липшицевости. Асимметричная настройка здесь имеет решающее значение, поскольку эта архитектура создает сертификаты только для класса с положительным логитом $g(\varphi(x)) > 0$.
Полученная в результате формула радиуса, сертифицированного по норме $\ell_p$, особенно элегантна:
\[r*p(x) = \frac{ \color{blue}{g(\varphi(x))} } { \mathrm{Lip}\_p(\varphi) \color{red}{\| \nabla g(\varphi(x)) \| *{p,\*}}}.\]
Непостоянные члены легко интерпретируются: радиус масштабируется пропорционально уверенность классификатора и обратно к чувствительность классификатора. Мы оцениваем эти сертификаты по ряду наборов данных, получая конкурентоспособные сертификаты $\ell_1$ и сопоставимые сертификаты $\ell_2$ и $\ell_{\infty}$ — несмотря на то, что другие методы обычно адаптируются к конкретным нормам и требуют на несколько порядков больше времени выполнения. .
Рисунок 3. Сертифицированные радиусы чувствительного класса в наборе данных CIFAR-10 «кошки против собак» для нормы $\ell_1$. Время выполнения справа усреднено по $\ell_1$, $\ell_2$ и $\ell_{\infty}$-радиусам (обратите внимание на логарифмическое масштабирование).
Наши сертификаты действительны для любой $\ell_p$-нормы, имеют закрытую форму и детерминированы, требуя всего одного прохода вперед и назад для каждого входа. Они вычисляются порядка миллисекунд и хорошо масштабируются в зависимости от размера сети. Для сравнения, современные методы, такие как рандомизированное сглаживание и распространение с ограничением интервала, обычно требуют нескольких секунд для сертификации даже небольших сетей. Методы рандомизированного сглаживания также по своей сути недетерминированы, их сертификаты справедливы с высокой вероятностью.
Теоретическое обещание
Хотя первоначальные результаты являются многообещающими, наша теоретическая работа предполагает, что у ICNN существует значительный неиспользованный потенциал, даже без карты объектов. Несмотря на то, что двоичные ICNN ограничены изучением областей выпуклых решений, мы доказываем, что существует ICNN, которая обеспечивает идеальную точность обучения в наборе данных CIFAR-10 «кошки против собак».
Факт. Существует выпуклый классификатор входных данных, который обеспечивает идеальную точность обучения для набора данных CIFAR-10 «кошки против собак».
Однако наша архитектура обеспечивает точность обучения всего лишь 73,4%%$ без карты объектов. Хотя эффективность обучения не предполагает обобщения тестового набора, этот результат предполагает, что ICNN, по крайней мере теоретически, способны реализовать современную парадигму машинного обучения, обеспечивающую переоснащение набора обучающих данных. Таким образом, мы ставим следующую открытую задачу для поля.
Открытая проблема. Изучите входной выпуклый классификатор, который обеспечивает идеальную точность обучения для набора данных CIFAR-10 «кошки против собак».
Заключение
Мы надеемся, что структура асимметричной надежности вдохновит на создание новых архитектур, которые можно будет сертифицировать в этой более целенаправленной среде. Наш выпуклый по признаку классификатор является одной из таких архитектур и обеспечивает быстрые, детерминированные сертифицированные радиусы для любой $\ell_p$-нормы. Мы также ставим открытую проблему переоснащения набора данных по обучению кошек и собак CIFAR-10 ICNN, что, как мы показываем, теоретически возможно. Дополнительную информацию см. в нашем документе NeurIPS и кодовой базе.