.
 

Нейросеть научилась предугадывать жесты

Ученые научили нейросеть предугадывать жесты на основе голоса человека.

нейросеть и жесты

В то же время нейросеть speech2gesture пока умеет предвидеть менее половины жестов.

Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предсказывать жесты, основываясь только на голосе человека. Она выдает реалистичный результат, который оказывается точным почти в половине случаев.

Нейросеть научили на 144 часах видеозаписей с десятью разными людьми, которым приходится много жестикулировать. Среди этих людей — телеведущие, преподаватели и проповедники.

жесты и нейронаука жесты жесты

В результате алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.

Пока система работает с довольно низкой точностью и только в 44% случаев полученные результаты совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.

Чтобы поддержать будущие исследования, команда опубликовала в открытом доступе набор данных с характерными жестами и исходный код, загрузить которые можно по ссылке:

Learning Individual Styles of Conversational Gesture

06.07.2019

Предложить интересную новость, объявление, пресс-релиз для публикации »»»

 
.
   

Контакты | Реклама на сайте | Статистика | Вход для авторов
Политика публикации | Пользовательское соглашение

© 2001–2021 Psyfactor.org. 16+
© Полное или частичное использование материалов сайта допускается при наличии активной ссылки на Psyfactor.org.
 Посещая сайт, вы даете согласие на использование файлов cookie на вашем устройстве.
 Размещенная на сайте информация не заменяет консультации специалистов.