Если коротко:
Цветной passthrough VR снимает комнату внешними камерами, корректирует их оптические искажения и преобразует кадры под положение глаз. Система может использовать оценку глубины, чтобы согласовать ракурс и перекрытие реальных и виртуальных объектов, а композитор объединяет результат с графикой приложения. Это обработанное видео: задержка, диапазон камер и ошибки геометрии не позволяют приравнять его к естественному зрению.
Color passthrough VR показывает физический мир на дисплеях гарнитуры в цвете. Это не прямая трансляция одной камеры. Система собирает стереопару, исправляет оптические и геометрические искажения, учитывает положение головы и передаёт подготовленный слой XR-композитору. Поэтому итоговая картинка похожа на вид из глаз, но не совпадает с естественным зрением.
Путь кадра: от камер до дисплеев
Наружные камеры одновременно снимают пространство с разных точек корпуса. Экспозиция и считывание матрицы добавляют время до обработки. В сумерках растёт шум, а яркое окно рядом с тёмной комнатой проверяет предел динамического диапазона.
Далее видеотракт выравнивает цвет и яркость камер, подавляет шум и исправляет искажения их объективов. Простого вывода исходных кадров недостаточно: камеры находятся не там, где глаза, а их оптика отличается от дисплейной. Meta прямо указывает, что комфортный passthrough требует правдоподобной глубины и корректной геометрии.
После обработки система преобразует изображения для левого и правого глаза, используя калибровку и текущую позу гарнитуры. Этот этап уменьшает расхождение ракурса, но не восстанавливает потерянные камерой детали.
Зачем passthrough нужна глубина
Глубина описывает расстояние до поверхностей. Её может давать отдельный датчик или вычисление по стереокамерам и движению гарнитуры. На Meta Quest 3 и Quest 3S, согласно документации производителя, цветной режим работает с оценкой глубины.
Карта глубины помогает перестроить изображение под точку зрения пользователя и создать окклюзию: реальный стол может закрыть часть виртуального объекта. Ошибки оценки заметны на тонких краях, отражениях, стекле и движущихся объектах.
Подробнее о способах измерения расстояния рассказывает материал «Датчик глубины в VR-гарнитуре».
Где появляется задержка
Задержка складывается из экспозиции и считывания сенсора, обработки, оценки глубины, преобразования, композиции и вывода на дисплей. Runtime может учесть более свежую позу головы перед показом, но не отменяет время съёмки и не знает, как переместился предмет.
Поэтому при резком повороте головы возможны дрожание контуров, растяжение объектов или краткий разрыв изображения возле рук. Это не всегда означает неисправность камеры: артефакт может возникнуть на любом звене от экспозиции до реконструкции.
Как passthrough соединяется с виртуальной сценой
В OpenXR passthrough может передаваться как отдельный слой. Приложение указывает его место относительно виртуального содержимого, а системный композитор формирует кадр. Обычный слой не передаёт приложению запись комнаты: доступ к кадрам требует отдельного API и разрешений.
Слой можно положить под виртуальную сцену, показать через окно или стилизовать. Цвет, контраст и контуры при этом уже относятся к цифровой обработке. Практическая настройка в движке разобрана отдельно в статье «Passthrough в Unreal Engine».
Почему это не естественное зрение
В гарнитуре вид ограничен полем обзора, разрешением дисплея и диапазоном камер. Перспектива построена из камер на корпусе, а цвет и масштаб проходят программную коррекцию. Поэтому форма, расстояние и скорость предмета могут восприниматься неточно.
Глубина улучшает совмещение, но не делает видеопоток точной копией комнаты. Meta предупреждает, что passthrough не заменяет защитную границу и естественное зрение. Перед лестницей, выходом на улицу или работой с инструментом гарнитуру нужно снять. Общие ограничения собраны в материале «Что такое passthrough в VR».
Короткие ответы
Всегда ли для него нужен отдельный датчик глубины?
Нет. Глубину можно оценивать по нескольким камерам и движению. Аппаратный датчик даёт дополнительный источник данных, но качество итоговой реконструкции зависит от всей системы.