Если коротко:
Lip tracking отслеживает форму рта, губ и челюсти с помощью направленного на нижнюю часть лица датчика. Он помогает синхронизировать аватар с речью, но не заменяет распознавание слов и требует отдельной поддержки оборудования и приложения.
Отслеживание губ осложняется тем, что нижняя часть лица скрыта корпусом гарнитуры от внешних камер. Lip tracker размещают так, чтобы он видел рот снизу, и преобразуют изображение в параметры формы губ, раскрытия челюсти и других движений.
Это не распознавание речи
Система оценивает движение, а не смысл сказанного. Она может показать, что рот открыт или губы округлены, но не обязана определять слова. Распознавание речи работает со звуком и решает другую задачу. В аватаре оба сигнала можно объединить.
Как данные попадают на лицо аватара
У 3D-модели есть blend shapes или кости для выражений. Коэффициенты трекера сопоставляют этим элементам, сглаживают и ограничивают. Универсальной настройки нет: форма рта у персонажа и набор параметров SDK различаются.
Для мультяшного аватара точное копирование иногда выглядит хуже выразительной стилизации. В реалистичной модели особенно заметны задержка, дрожание и несогласованность губ с голосом.
Ограничения оборудования
Датчик может быть встроенным или внешним. Нужно проверить поддержку конкретной гарнитуры, разъём, версию runtime и SDK. Посадка шлема влияет на угол обзора камеры; аксессуар не должен мешать вентиляции или движению головы.
Сеть и приватность
В многопользовательской сцене выгоднее передавать компактные коэффициенты, а не видео. Частоту обновления и сжатие подбирают так, чтобы речь не выглядела запаздывающей. При потере пакетов анимация должна плавно возвращаться к нейтральному состоянию.
Изображение лица и производные параметры требуют понятного согласия и ограниченного хранения. Если приложению достаточно локальной анимации, исходные кадры не следует сохранять.
Lip tracking особенно полезен для социальных приложений и виртуального производства. Его качество оценивают не по числу отслеживаемых параметров, а по тому, насколько естественно аватар говорит в реальном сеансе.