Если коротко:
Face tracking использует направленные на лицо датчики и модель выражений, чтобы оценить движения отдельных областей и передать их аватару. Результат зависит от оборудования, калибровки и поддержки приложения; это не медицинское измерение эмоций.
Шлем закрывает значительную часть лица, поэтому обычная внешняя камера плохо видит мимику пользователя. Face tracking решает задачу дополнительными датчиками, направленными на глаза, щёки и нижнюю часть лица, а затем преобразует наблюдения в параметры аватара.
Что получает приложение
SDK обычно возвращает не видеопоток, а набор коэффициентов: насколько поднята бровь, открыт рот или смещён угол губ. Анимационная система смешивает соответствующие формы 3D-модели. Чтобы выражение выглядело естественно, набор форм аватара должен соответствовать данным устройства.
Если разработчик просто подключит коэффициенты без ограничения и сглаживания, лицо может дрожать или принимать неестественные позы. Требуются калибровка, фильтрация и художественная настройка.
Где это полезно
В социальном VR мимика делает собеседника понятнее. В записи виртуального персонажа она сокращает объём ручной анимации. В исследованиях можно анализировать движение лица, но интерпретировать коэффициент как однозначную эмоцию нельзя.
Ограничения
Не все гарнитуры имеют необходимые камеры, а поддержка глаз и нижней части лица может поставляться отдельными модулями. Очки, особенности лица и посадка влияют на видимость. При потере сигнала приложение должно переходить к нейтральной или процедурной анимации.
Данные лица относятся к чувствительным. Нужно объяснять пользователю, что обрабатывается, где хранится и передаётся ли результат по сети. Для общения часто достаточно синхронизировать параметры аватара, не отправляя исходное изображение.
Проверка реализации
Тестируйте разные формы лица, освещение и положение гарнитуры. Смотрите не только на крайние выражения, но и на спокойную речь. Отдельно проверяйте сетевую задержку: запоздалая мимика нарушает ощущение живого разговора.
Face tracking улучшает присутствие тогда, когда аппаратные данные, риг аватара и правила приватности спроектированы как одна система.