Возвращение весны в Северном полушарии открывает сезон торнадо. Извилистая воронка пыли и мусора торнадо кажется неповторимым зрелищем. Но это зрение может быть скрыто от радара, инструмента метеорологов. Трудно точно определить, когда образовался торнадо и даже почему.
Новый набор данных может содержать ответы. Он содержит радиолокационные данные тысяч торнадо, обрушившихся на Соединенные Штаты за последние 10 лет. Штормы, породившие торнадо, сопровождаются другими сильными штормами, некоторые из которых имели почти идентичные условия, которых никогда не было. Исследователи Лаборатории Линкольна Массачусетского технологического института, курировавшие набор данных под названием TorNet, теперь опубликовали его с открытым исходным кодом. Они надеются сделать прорыв в обнаружении одного из самых загадочных и жестоких явлений природы.
«Большой прогресс обусловлен легкодоступными наборами эталонных данных. Мы надеемся, что TorNet заложит основу для алгоритмов машинного обучения, позволяющих обнаруживать и прогнозировать торнадо», — говорит Марк Вейлетт, соруководитель проекта вместе с Джеймсом Курдзо. Оба исследователя работают в группе систем управления воздушным движением.
Вместе с набором данных команда выпускает модели, обученные на нем. Модели демонстрируют многообещающую способность машинного обучения обнаруживать смерч. Развитие этой работы может открыть новые горизонты для синоптиков, помогая им предоставлять более точные предупреждения, которые могут спасти жизни.
Бурлящая неопределенность
Ежегодно в Соединенных Штатах происходит около 1200 торнадо, которые наносят экономический ущерб от миллионов до миллиардов долларов и уносят в среднем 71 жизнь. В прошлом году один необычно продолжительный торнадо убил 17 человек и ранил по меньшей мере 165 человек на 59-мильной трассе в Миссисипи.
Тем не менее, торнадо, как известно, трудно прогнозировать, поскольку у ученых нет четкого представления о том, почему они образуются. «Мы видим два шторма, которые выглядят одинаково: один вызовет торнадо, а другой — нет. Мы этого не до конца понимаем», — говорит Курдзо.
Основными компонентами торнадо являются грозы с нестабильностью, вызванной быстро поднимающимся теплым воздухом и сдвигом ветра, вызывающим вращение. Метеорологический радар является основным инструментом, используемым для мониторинга этих условий. Но торнадо лежат слишком низко, чтобы их можно было обнаружить, даже если они находятся в умеренной близости от радара. По мере того как луч радара с заданным углом наклона проходит дальше от антенны, он поднимается выше над землей, в основном видя отражения от дождя и града, переносимые в «мезоциклоне», широком вращающемся восходящем потоке шторма. Мезоциклон не всегда вызывает торнадо.
Учитывая эту ограниченную точку зрения, синоптики должны решить, следует ли выдавать предупреждение о торнадо. Они часто проявляют осторожность. В результате уровень ложных срабатываний при предупреждениях о торнадо составляет более 70 процентов. «Это может привести к синдрому мальчика, который плакал волком», — говорит Курдзо.
В последние годы исследователи обратились к машинному обучению, чтобы лучше обнаруживать и прогнозировать торнадо. Однако необработанные наборы данных и модели не всегда были доступны более широкому сообществу, что сдерживало прогресс. TorNet восполняет этот пробел.
Набор данных содержит более 200 000 радиолокационных изображений, 13 587 из которых изображают торнадо. Остальные изображения не являются торнадическими и взяты из штормов одной из двух категорий: случайно выбранных сильных штормов или штормов ложной тревоги (тех, которые заставили синоптика выдать предупреждение, но не вызвали торнадо).
Каждый образец шторма или торнадо состоит из двух наборов по шесть радиолокационных изображений. Эти два набора соответствуют разным углам обзора радара. На шести изображениях изображены различные продукты радиолокационных данных, такие как отражательная способность (показывающая интенсивность осадков) или радиальная скорость (указывающая, движется ли ветер к радару или от него).
Сложностью при работе с набором данных было обнаружение торнадо. В совокупности данных метеорологических радиолокаторов торнадо — чрезвычайно редкое явление. Затем команде пришлось сбалансировать эти образцы торнадо со сложными образцами, не связанными с торнадо. Если бы набор данных был слишком простым, например, путем сравнения торнадо с снежными бурями, алгоритм, обученный на этих данных, скорее всего, переклассифицировал бы штормы как торнадо.
«Что прекрасно в настоящем эталонном наборе данных, так это то, что мы все работаем с одними и теми же данными, с одинаковым уровнем сложности и можем сравнивать результаты», — говорит Вейлетт. «Это также делает метеорологию более доступной для специалистов по обработке данных, и наоборот. Этим двум сторонам становится легче работать над общей проблемой».
Оба исследователя представляют собой прогресс, который может быть достигнут благодаря перекрестному сотрудничеству. Вейлетт — математик и разработчик алгоритмов, давно увлекающийся торнадо. Курдзо — метеоролог по образованию и эксперт по обработке сигналов. В аспирантуре он преследовал торнадо с помощью специально изготовленных мобильных радаров, собирая данные для анализа новыми способами.
«Этот набор данных также означает, что аспиранту не придется тратить год или два на создание набора данных. Они могут сразу приступить к своим исследованиям», — говорит Курдзо.
Этот проект финансировался в рамках Инициативы по изменению климата лаборатории Линкольна, целью которой является использование разнообразных технических возможностей лаборатории для решения климатических проблем, угрожающих здоровью человека и глобальной безопасности.
В поисках ответов с помощью глубокого обучения
Используя набор данных, исследователи разработали базовые модели искусственного интеллекта (ИИ). Они особенно стремились применить глубокое обучение — форму машинного обучения, которая превосходно справляется с обработкой визуальных данных. Само по себе глубокое обучение может извлекать признаки (ключевые наблюдения, которые алгоритм использует для принятия решения) из изображений в наборе данных. Другие подходы машинного обучения требуют, чтобы люди сначала вручную маркировали функции.
«Мы хотели посмотреть, сможет ли глубокое обучение заново открыть то, что люди обычно ищут в торнадо, и даже выявить новые вещи, которые синоптики обычно не ищут», — говорит Вейлетт.
Результаты многообещающие. Их модель глубокого обучения работала аналогично или лучше, чем все известные в литературе алгоритмы обнаружения торнадо. Обученный алгоритм правильно классифицировал 50 процентов более слабых торнадо EF-1 и более 85 процентов торнадо с рейтингом EF-2 или выше, которые составляют наиболее разрушительные и дорогостоящие проявления этих штормов.
Они также оценили два других типа моделей машинного обучения и одну традиционную модель для сравнения. Исходный код и параметры всех этих моделей находятся в свободном доступе. Модели и набор данных также описаны в статье, представленной в журнал Американского метеорологического общества (AMS). Veillette представила эту работу на ежегодном собрании AMS в январе.
«Главная причина, по которой мы публикуем наши модели, — это желание сообщества улучшить их и сделать другие замечательные вещи», — говорит Курдзо. «Лучшим решением может быть модель глубокого обучения, или кто-то может обнаружить, что модель без глубокого обучения на самом деле лучше».
TorNet может быть полезен метеорологическому сообществу и для других целей, например, для проведения крупномасштабных тематических исследований по штормам. Его также можно дополнить другими источниками данных, такими как спутниковые снимки или карты молний. Объединение нескольких типов данных может повысить точность моделей машинного обучения.
Принятие мер к осуществлению операций
Помимо обнаружения торнадо, Курдзо надеется, что модели помогут раскрыть науку о том, почему они образуются.
«Как ученые, мы видим все эти предшественники торнадо — увеличение вращения на малых высотах, эхо-сигнал в данных об отражательной способности, дуги специфической дифференциальной фазы (KDP) и дифференциальной отражательной способности (ZDR). Но как они все сочетаются? А есть ли физические проявления, о которых мы не знаем?» он спрашивает.
Получить эти ответы можно с помощью объяснимого ИИ. Объяснимый ИИ относится к методам, которые позволяют модели в понятном для людей формате представить обоснование того, почему она пришла к определенному решению. В этом случае эти объяснения могут раскрыть физические процессы, происходящие перед торнадо. Эти знания могут помочь обучить прогнозистов и модели распознавать признаки раньше.
«Ни одна из этих технологий никогда не предназначена для замены синоптика. Но, возможно, когда-нибудь он сможет направлять взгляд синоптиков в сложных ситуациях и давать визуальное предупреждение в районе, где прогнозируется торнадо», — говорит Курдзо.
Такая помощь может быть особенно полезной по мере совершенствования радиолокационной технологии и потенциального увеличения плотности будущих сетей. Ожидается, что частота обновления данных в радиолокационной сети следующего поколения увеличится с каждых пяти минут до примерно одной минуты, что, возможно, быстрее, чем синоптики смогут интерпретировать новую информацию. Поскольку глубокое обучение может быстро обрабатывать огромные объемы данных, оно может хорошо подойти для мониторинга сигналов радара в режиме реального времени вместе с людьми. Торнадо могут образовываться и исчезать за считанные минуты.
Но путь к операционному алгоритму — долгий путь, особенно в критических с точки зрения безопасности ситуациях, говорит Вейлетт. «Я думаю, что сообщество прогнозистов по понятным причинам все еще скептически относится к машинному обучению. Один из способов установить доверие и прозрачность — это иметь общедоступные наборы эталонных данных, подобные этому. Это первый шаг».
Команда надеется, что следующие шаги будут предприняты исследователями по всему миру, которые вдохновлены набором данных и полны энергии для создания собственных алгоритмов. Эти алгоритмы, в свою очередь, попадут на испытательные стенды, где в конечном итоге будут показаны синоптикам, чтобы начать процесс перехода к эксплуатации.
В конце концов, путь может вернуться к доверию.
«Используя эти инструменты, мы никогда не сможем получить предупреждение о торнадо за 10–15 минут. Но если бы мы могли снизить уровень ложных тревог, мы могли бы начать добиваться прогресса в общественном восприятии», — говорит Курдзо. «Люди будут использовать эти предупреждения, чтобы предпринять действия, необходимые для спасения своей жизни».