Если коротко:
В multiplayer VR локальное устройство считывает позы головы и рук, отправляет компактные обновления авторитетной стороне, а удалённые клиенты интерполируют движение. Камеру локального игрока не реплицируют напрямую: сеть передаёт представление аватара.
Сетевая репликация VR начинается с поз головы и контроллеров, которые локально обновляются с частотой кадра. Передавать каждое измерение всем участникам дорого и бессмысленно: сеть доставляет пакеты с задержкой и не сохраняет ровный интервал.
Разделите локальное и удалённое представление
Камера владельца следует за HMD без сетевого ожидания. Отдельный avatar actor хранит позы головы и рук, доступные репликации. У удалённого клиента эти данные управляют мешем аватара, а не его камерой.
В Unreal Engine важно корректно определить ownership. Клиент отправляет свои измерения серверу, сервер проверяет и распространяет состояние. Клиент не должен произвольно управлять объектами другого пользователя.
Что отправлять
Передавайте позицию и ориентацию в локальной системе координат аватара, временную метку и необходимые состояния жестов. Квантизация и порог изменения уменьшают трафик. Пальцы и мимика могут обновляться реже либо отдельным каналом.
Сглаживание
Удалённая рука не должна прыгать между полученными пакетами. Клиент хранит небольшой буфер и интерполирует позу между состояниями. Экстраполяция уменьшает визуальное отставание, но при резком движении ошибается, поэтому её ограничивают.
Локальную руку обычно не сглаживают сетевыми данными: пользователь сразу заметит задержку. Серверное подтверждение требуется для результата взаимодействия, а визуальная реакция может предсказываться локально.
Захват предметов
Позы рук и состояние предмета — разные потоки. При захвате нужно определить сетевого владельца, проверить допустимость действия и передать переход авторитета. Иначе два клиента одновременно считают один объект своим.
Тестируйте задержку, потерю и перестановку пакетов. Хорошая репликация VR — не максимальная частота отправки, а устойчивое сочетание локальной отзывчивости, серверных правил и плавного удалённого аватара.