Российские ученые научили искусственный интеллект разбираться в фигурном катании

Фигурное катание — технически сложный вид спорта, где важны не только скорость и сила, но и точность движений. Тренеры привыкли полагаться на собственное зрение и опыт, но объективные данные могут дать больше информации: какие элементы удаются лучше, какие требуют доработки, как меняется техника со временем.

Особенно в детском спорте, где группы достигают 15 человек и тренеру сложно одновременно следить за каждым спортсменом. Команда проекта NeuroSkate (Анна Проворова, Дарья Семёнова, Людмила Гергерт, Софья Куликова, Ирина Полякова) решила проверить, как искусственный интеллект справится с анализом движений фигуристов. Исследователи выбрали шесть движений, которые проще всего определить по позе спортсмена: бильман, вращения, кораблик и несколько базовых одинарных прыжков — флип, риттбергер и лутц. Главная идея состояла в том, чтобы нейросеть могла автоматически находить фигуриста на видео, отслеживать его движения и подписывать, какой элемент выполняется. «Звучит просто, но на практике это задача не из легких. Для обучения алгоритмов нужны большие базы данных, а их в открытом доступе почти нет. В исследованиях анализируют взрослых спортсменов, а вот видео юных фигуристов с размеченными движениями до сих пор никто не собирал», — рассказывает младший научный сотрудник Центра когнитивных нейронаук НИУ ВШЭ в Перми Анна Проворова. Проект реализовывался вместе со Спортивной школой олимпийского резерва «Орленок» в Перми, которая предоставила данные для обучения нейросети. «Пока фигуристы были на летнем перерыве, мы использовали записи соревнований и открытые видео. Позже удалось снять собственные кадры с тренировок, но только на телефон, без профессионального оборудования, что сказалось на качестве изображения и точности разметки», — рассказывает заведующая Центром когнитивных нейронаук НИУ ВШЭ в Перми Софья Куликова. Распознавание движений состоит из нескольких этапов. Сначала видео разбивается на кадры, на каждом из них выделяются ключевые точки на теле фигуриста. Затем последовательность из 60 кадров с отмеченными точками передается в нейросеть, которая анализирует движения спортсмена. На первых этапах модель тестировали в бинарной классификации: ей предлагали различать движения попарно, например риттбергер и кораблик, без добавления других элементов. В таком формате система работала стабильно, показывая точность 72%. Но как только задача усложнялась, а элементов становилось больше, система начинала ошибаться. Исследователи продолжили разметку новых видео и дообучили модель, благодаря чему спортсменов стало легче распознавать на видео. Параллельно разработчики создали веб-приложение, в котором можно загружать тренировочные видео и анализировать статистику конкретного спортсмена. В перспективе это может стать инструментом, который поможет тренерам следить за прогрессом учеников, не пересматривая часы записей.

«Мы надеемся продолжить работу над проектом, так как есть идеи, как улучшить алгоритм: самое первоочередное — собрать большую и качественную базу данных видеозаписей спортсменов. Также есть понимание, как  улучшить блок распознавания движений. Например, использовать графовые нейросети. Это очень перспективное направление. Одна из таких моделей (HD-GCN) показала впечатляющие результаты, которые были представлены на крупнейшей конференции по компьютерному зрению ICCV в 2023 году. Однако запустить ее на реальных данных проекта пока не удалось», — рассказывает Анна Проворова. Исследование выполнено в рамках программы «Приоритет-2030».