Добраться до кабинета врача может быть затруднительно. И эта задача может быть особенно сложной для родителей детей с двигательными нарушениями, такими как церебральный паралич, поскольку врач должен регулярно осматривать ребенка лично, часто в течение часа. Посещение таких частых оценок может быть дорогостоящим, трудоемким и эмоционально утомительным.
Инженеры Массачусетского технологического института надеются частично облегчить этот стресс с помощью нового метода, который удаленно оценивает двигательные функции пациентов. Сочетая методы компьютерного зрения и машинного обучения, метод анализирует видео пациентов в режиме реального времени и вычисляет клиническую оценку двигательной функции на основе определенных моделей поз, которые он обнаруживает в видеокадрах.
Исследователи проверили метод на видео более чем 1000 детей с церебральным параличом. Они обнаружили, что метод может обрабатывать каждое видео и присваивать клиническую оценку, которая с точностью более 70 процентов соответствует тому, что ранее определил врач во время личного визита.
Видеоанализ можно запускать на различных мобильных устройствах. Команда предполагает, что пациенты могут оценивать свой прогресс, просто настроив свой телефон или планшет на съемку видео, пока они передвигаются по дому. Затем они могли загрузить видео в программу, которая быстро анализировала видеокадры и присваивала клиническую оценку или уровень прогресса. Затем видео и партитуру можно будет отправить на рассмотрение врачу.
В настоящее время команда адаптирует подход к обследованию детей с метахроматической лейкодистрофией — редким генетическим заболеванием, поражающим центральную и периферическую нервную систему. Они также надеются адаптировать этот метод для оценки пациентов, перенесших инсульт.
«Мы хотим немного снизить стресс пациентов, избавив их от необходимости ездить в больницу для каждого обследования», — говорит Германо Кребс, главный научный сотрудник факультета машиностроения Массачусетского технологического института. «Мы думаем, что эта технология потенциально может быть использована для удаленной оценки любого состояния, влияющего на двигательное поведение».
Кребс и его коллеги представят свой новый подход на конференции IEEE по сетям датчиков тела в октябре. Авторами исследования в Массачусетском технологическом институте являются первый автор Пейджун Чжао, соруководитель исследователь Мойзес Аленкастр-Миранда, Чжан Шен и Кьяран О’Нил, а также Дэвид Уайтмен и Хавьер Гервас-Арруга из Takeda Development Center Americas, Inc.
Обучение сети
В Массачусетском технологическом институте Кребс разрабатывает роботизированные системы, которые физически работают с пациентами, помогая им восстановить или укрепить двигательные функции. Он также адаптировал системы для оценки прогресса пациентов и прогнозирования того, какие методы лечения могут им помочь лучше всего. Хотя эти технологии зарекомендовали себя хорошо, их доступность существенно ограничена: пациентам приходится ехать в больницу или учреждение, где установлены роботы.
«Мы спросили себя, как мы можем распространить хорошие результаты, полученные с помощью реабилитационных роботов, на повсеместное использование устройства?» Кребс вспоминает. «Поскольку смартфоны повсюду, наша цель состояла в том, чтобы воспользоваться их возможностями для удаленной оценки людей с ограниченными возможностями моторики, чтобы их можно было оценить где угодно».
Изображение: Набор данных, созданный Стэнфордской лабораторией нервно-мышечной биомеханики в сотрудничестве с Gillette Children’s Specialty Healthcare.
Исследователи сначала обратились к компьютерному зрению и алгоритмам, оценивающим движения человека. В последние годы ученые разработали алгоритмы оценки позы, которые позволяют снимать видео (например, девушки, пинающей футбольный мяч) и переводить ее движения в соответствующую серию поз скелета в режиме реального времени. Полученная последовательность линий и точек может быть сопоставлена с координатами, которые ученые смогут дополнительно проанализировать.
Кребс и его коллеги стремились разработать метод анализа данных позы скелета у пациентов с церебральным параличом — расстройством, которое традиционно оценивалось по системе классификации общих двигательных функций (GMFCS), пятиуровневой шкале, которая отражает общую двигательную функцию ребенка. . (Чем меньше число, тем выше подвижность ребенка.)
Команда работала с общедоступным набором данных о позах скелетов, полученных Лабораторией нервно-мышечной биомеханики Стэнфордского университета. Этот набор данных включал видео более 1000 детей с церебральным параличом. В каждом видео было показано, как ребенок выполняет серию упражнений в клинических условиях, и каждое видео было помечено оценкой GMFCS, которую врач присвоил ребенку после личной оценки. Группа из Стэнфорда пропустила видео через алгоритм оценки позы, чтобы получить данные о позе скелета, которые группа MIT затем использовала в качестве отправной точки для своего исследования.
Затем исследователи искали способы автоматической расшифровки закономерностей в данных церебрального паралича, которые характерны для каждого клинического уровня двигательной функции. Они начали с сверточной нейронной сети пространственно-временного графа — процесса машинного обучения, который обучает компьютер обрабатывать пространственные данные, которые меняются со временем, например последовательность поз скелета, и присваивать классификацию.
Прежде чем команда применила нейронную сеть к церебральному параличу, они использовали модель, предварительно обученную на более общем наборе данных, который содержал видео здоровых взрослых, выполняющих различные повседневные действия, такие как ходьба, бег, сидение и рукопожатие. Они взяли основу этой предварительно обученной модели и добавили к ней новый уровень классификации, специфичный для клинических оценок, связанных с церебральным параличом. Они настроили сеть так, чтобы она распознавала характерные закономерности в движениях детей с церебральным параличом и точно классифицировала их по основным уровням клинической оценки.
Они обнаружили, что предварительно обученная сеть научилась правильно классифицировать уровни мобильности детей, причем делала это более точно, чем если бы она обучалась только на данных о церебральном параличе.
«Поскольку сеть обучена на очень большом наборе данных более общих движений, у нее есть некоторые идеи о том, как извлечь особенности из последовательности человеческих поз», — объясняет Чжао. «Хотя более крупный набор данных и набор данных по церебральному параличу могут различаться, они имеют некоторые общие закономерности человеческих действий и то, как эти действия могут быть закодированы».
Команда протестировала свой метод на ряде мобильных устройств, включая различные смартфоны, планшеты и ноутбуки, и обнаружила, что большинство устройств могут успешно запускать программу и генерировать клинические оценки на основе видео практически в реальном времени.
В настоящее время исследователи разрабатывают приложение, которое, по их мнению, родители и пациенты однажды смогут использовать для автоматического анализа видео пациентов, снятых в комфортной обстановке. Результаты затем могут быть отправлены врачу для дальнейшей оценки. Команда также планирует адаптировать метод для оценки других неврологических расстройств.
«Этот подход можно легко распространить на другие нарушения, такие как инсульт или болезнь Паркинсона, как только он будет протестирован в этой группе населения с использованием соответствующих показателей для взрослых», — говорит Альберто Эскенази, главный врач реабилитационной больницы Мосса в Филадельфии, который не участвовал в исследовании. изучать. «Это могло бы улучшить качество медицинского обслуживания и снизить общую стоимость медицинского обслуживания, а также необходимость для семей терять продуктивное рабочее время, и я надеюсь, что [that it could] повысить соответствие».
«В будущем это также может помочь нам предсказать, как пациенты быстрее отреагируют на вмешательства», — говорит Кребс. «Потому что мы могли бы оценивать их чаще, чтобы увидеть, оказывает ли вмешательство влияние».
Это исследование было поддержано Центром развития Takeda Americas, Inc.