Компьютер научили читать по губам
Ученые из университета Ист-Англии создали систему машинного обучения, которая умеет читать по губам. Работа была представлена на конференции ICASSP в Шанхае, детали исследования редакция N+1 выяснила у одного из авторов исследования Хелен Бир (Helen Bear).
Система, созданная программистами, следит за речью человека при помощи видеокамеры.
Чтобы научить систему читать по губам, исследователи разделили речь на две составляющие: фонемы и виземы, которые являются визуальным эквивалентом фонем. Основная сложность заключалась в том, что фонем в речи больше, чем визем, поэтому ученые создали двухуровневую иерархическую структуру.
Работоспособность системы специалисты проверяли на двух моделях. Первая подразумевала «языковую» модель, то есть распознавание непрерывной речи, а вторая — «фонемную» модель. В обоих случаях процент успеха пока достаточно невелик — слова система распознает с точностью до 10-15 процентов, фонемы — до 25 процентов. Тем не менее, ученые замечают, что это значительное продвижение по сравнению с прошлыми результатами.
В будущем исследователи планируют усовершенствовать свою технологию, которая сможет найти применение для таких ситуаций, когда голоса на записи плохо различимы или отсутствует или испорчена аудиодорожка, сообщает
Nplus1.