Ambisonics VR audio: как записывается и вращается звуковое поле

Ambisonics VR audio описывает звук вокруг одной точки наблюдения. Вместо готовой пары «левый и правый канал» файл содержит компоненты звукового поля. Движок может повернуть их вслед за движением головы, а затем собрать сигнал для наушников или акустической системы. Поэтому шум улицы, зал, дождь или публика остаются на своих направлениях, когда слушатель смотрит в сторону.

Амбисонику часто сравнивают с аудиосферой или звуковым skybox. Сравнение полезно, если помнить ограничение: запись окружает слушателя, но обычно привязана к точке захвата. Поворот поддерживается естественно, а шаг к конкретному голосу не создаёт новую перспективу так, как это сделал бы отдельный виртуальный источник.

Что именно записывают микрофоны

Обычная стереопара кодирует различия между двумя каналами для заранее выбранного направления прослушивания. Ambisonic microphone получает несколько согласованных сигналов и после преобразования представляет поле через сферические гармоники. Эти компоненты не следует читать как «передняя», «задняя» или «верхняя колонка»: их смысл раскрывается только при совместном декодировании.

Практический тракт состоит из капсюлей, калибровки, матрицы преобразования и записи многоканального файла. Ошибки усиления и фазы между капсюлями влияют на локализацию. Производитель микрофона обычно поставляет собственный encoder, который переводит сырой формат A в распространённый формат B. В виртуальной сцене можно также не записывать поле, а синтезировать его из заранее расставленных источников.

Для обмена важны не только частота дискретизации и разрядность. Нужно согласовать порядок каналов и нормализацию. Распространённый AmbiX использует ACN ordering и SN3D normalization. Если движок ожидает другую схему, поле может повернуться неверно, изменить уровень или потерять пространственную структуру, хотя файл формально воспроизводится.

Порядок амбисоники и число каналов

Порядок показывает пространственное разрешение представления. Для полного трёхмерного поля число компонентов равно (N + 1)², где N является порядком. First Order Ambisonics, или FOA, содержит четыре канала. Второй порядок использует девять, третий шестнадцать. Google VR прямо перечисляет такие раскладки для FOA, SOA и TOA в AmbiX.

Более высокий order способен точнее разделять близкие направления и уменьшать размытость локализации. Но он не делает плохую запись хорошей и не возвращает детали, которых не было у микрофонного массива. Растут поток данных, размер файла, стоимость вращения и декодирования. После сжатия выигрыш также зависит от битрейта и поведения codec.

FOA остаётся практичным для фоновых environments, 360-video и мобильных приложений. HOA полезнее, когда важны плотная сцена и более чёткое направление, а платформа принимает нужное число channels. Решение следует проверять на целевой гарнитуре: поддержка импорта в редакторе ещё не гарантирует такой же порядок в runtime и медиаплеере.

Почему поле вращается при повороте головы

Звуковая сцена должна быть закреплена в мире. Если пользователь повернул голову вправо, объект впереди комнаты должен оказаться слева относительно его лица. Audio engine получает ориентацию головы от tracking-системы и применяет обратное вращение к коэффициентам поля. Unity описывает именно такое вращение ambisonic soundfield по ориентации listener.

Здесь важна задержка всего пути: pose головы, обновление audio graph, размер буфера и вывод устройства. Слишком позднее вращение создаёт ощущение, что поле слегка следует за головой. Слишком сильное сглаживание уменьшает дрожание, но добавляет отставание. Универсального размера буфера нет: настройка зависит от CPU, драйвера и допустимого риска щелчков.

Ориентацию поля и ориентацию слушателя нельзя смешивать. Первая задаёт, куда «смотрит» сама запись в сцене, вторая меняется каждый кадр по headset. API Google VR поэтому разделяет setSoundfieldRotation и setHeadRotation. Это позволяет разместить запись правильно и независимо компенсировать движение головы.

Бинауральное декодирование в наушники

После вращения многоканальное поле нужно превратить в два ушных сигнала. Binaural decoder проектирует компоненты на виртуальные направления и фильтрует их с помощью HRTF или связанных импульсных характеристик. В результате левое и правое ухо получают различия по времени, уровню и спектру, которые мозг связывает с направлением.

Амбисонический файл сам по себе не является бинауральным. Если просто свести его каналы в stereo, корректной реакции на head rotation и устойчивой локализации не получится. Нужны decoder, верная channel layout и актуальная pose слушателя. Для колонок применяется другой декодер, соответствующий их расположению.

Качество зависит от HRTF, порядка поля и алгоритма. Универсальная HRTF подходит людям неодинаково, особенно по высоте и различению переднего и заднего направления. Персонализация способна помочь, но её наличие нельзя предполагать. Проверять результат стоит на нескольких слушателях и на реальном headset, а не только по индикаторам в editor.

Подробнее роль ушных фильтров разобрана в материале про HRTF и пространственный звук. Там же объясняется, почему обычное stereo не превращается в точный 3D-звук одним переключателем.

Ambisonics и object audio решают разные задачи

Амбисоника является scene-based audio: набор channels описывает всё поле целиком. Object audio хранит отдельный mono-сигнал источника и metadata о его положении. Renderer может перемещать такой объект, менять distance attenuation, occlusion и room effects во время работы приложения.

Записанный soundfield удобен для атмосферы, которую не нужно разбирать на десятки объектов. Он сохраняет естественные связи между звуками реального места и экономит авторскую работу. Объектный подход лучше для голоса персонажа, летящего предмета, сигнала интерфейса или механизма, к которому пользователь подходит вплотную.

Гибрид часто практичнее выбора одного формата. Ambisonic bed создаёт фон: ветер, зал или город. Поверх него отдельные objects дают интерактивные события. Важно не дублировать один звук в обоих слоях и согласовать громкость, реверберацию и направление, иначе появятся гребенчатая фильтрация или расплывчатый образ.

Google VR разделяет sound objects и ambisonic soundfields на уровне API. Первые получают координаты и модель затухания, вторые работают как записанное окружение и реагируют главным образом на rotation. Это нагляднее маркетингового термина «spatial audio», который может обозначать любой из подходов.

Что происходит при перемещении слушателя

Классическое поле записано относительно одной точки. При наклоне или шаге decoder может сохранить вращение, но не знает, как изменились расстояния до каждого реального источника. Пользователь слышит окружение из прежней позиции. Для далёкого дождя это почти незаметно, а близкая речь или источник у стены быстро выдаёт несоответствие.

Шесть степеней свободы можно поддержать гибридом, несколькими полями, реконструкцией или объектами, но это уже отдельная система. Нельзя обещать 6DoF только потому, что носитель называется «360 audio». Google описывает ambisonic soundfield как формат, реагирующий на вращение, но не позволяющий естественно приблизиться к детали записи.

При небольших движениях разработчики иногда применяют ограниченную трансляцию или near-field compensation. Такие техники зависят от decoder и исходных данных. Без проверки они могут сильнее исказить сцену, чем честная фиксация listener в центре.

Производственный процесс для VR

Сначала определите роль материала: документальная 360-съёмка, фоновая среда игры или интерактивный тренажёр. Затем выберите microphone или offline encoder, порядок, AmbiX layout и запас по уровню. Многоканальная сумма может перегружаться при декодировании, даже если каждый component отдельно не достигает 0 dBFS.

На монтаже сохраняйте синхронность channels. Обычные stereo-плагины способны нарушить фазу или переставить каналы. Эквализацию и динамическую обработку следует применять инструментами, которые понимают ambisonic format, либо одинаково и фазосогласованно ко всем нужным компонентам.

В движке отметьте clip как ambisonic, выберите совместимый decoder и отключите повторную пространственную обработку, если документация требует этого. Проверьте orientation записи: голос, отмеченный как front, должен оставаться в мировом направлении при повороте головы. Затем тестируйте pitch, roll и yaw, а не только горизонтальный разворот.

Для video отдельно проверьте синхронизацию кадра и audio, стартовую ориентацию сферы и поведение после перемотки. Плеер должен передавать head pose декодеру непрерывно. Наличие четырёх дорожек в контейнере ещё не доказывает, что пользователь получает корректный ambisonics output.

Сведение, громкость и компрессия

Scene-based запись требует контроля не только отдельных channels, но и результата после rotation и decode. Пиковый уровень может изменяться в зависимости от направления и матрицы декодера. Поэтому запас по headroom проверяют до кодирования, после него и на конечном binaural output. Нормализация каждого канала по отдельности разрушает отношения, которыми описано поле.

Обычный limiter на итоговой стереопаре защищает выход, но не исправляет перегрузку внутри ambisonic bus. Если нужно управлять динамикой, используйте многоканальные инструменты с одинаковым связанным gain reduction либо обрабатывайте исходные objects до их кодирования. Несвязанные компрессоры создают разные коэффициенты усиления и заставляют направление плавать вместе с громкостью.

Music и голос, которые не принадлежат миру сцены, часто оставляют head-locked stereo. Это допустимо для интерфейса или закадрового сопровождения, если пользователь понимает источник. Пространственный голос персонажа, наоборот, должен быть object audio или частью осознанно записанного field. Смешение ролей без маркировки создаёт конфликт между картинкой и слухом.

Доставка и сжатие

Формат мастер-файла и формат доставки могут отличаться. Многоканальный WAV удобен в производстве, но для streaming обычно нужен контейнер и codec, сохраняющий нужную channel mapping. Порядок дорожек, metadata и нормализация должны пережить транскодирование. Проверка только исходного master не выявит перестановку каналов на CDN или в video player.

Битрейт распределяется между большим числом channels. Поэтому повышение order без увеличения общего потока способно ухудшить каждый компонент и стереть ожидаемое преимущество. Сравнивайте FOA и HOA после финального encode, а не только в несжатой студийной сессии. В сценах с шумом кодек может маскировать ошибки, которые хорошо слышны на речи и коротких импульсах.

Если платформа не документирует поддержку, подготовьте fallback: корректный stereo или binaural premix. Он не будет вращаться по голове, зато лучше повреждённого многоканального файла. Приложение должно выбрать вариант по возможностям player, а не отправлять один и тот же asset любому устройству.

Чем измерение дополняет прослушивание

Субъективный тест обязателен, но инженерная проверка помогает найти причину. Импульс по очереди в опорных направлениях показывает channel order и знаки компонентов. Автоматический поворот известного field позволяет увидеть, совпадает ли матрица с системой координат движка. Запись head pose рядом с audio timestamps помогает оценить задержку реакции.

Локализацию нельзя свести к одной цифре. Отдельно оценивают угловую ошибку, различение front/back, стабильность при движении, окраску тембра и внешний характер звучания. Для VR важна согласованность: небольшой, но устойчивый сдвиг иногда переносится легче, чем направление, которое скачет при каждом повороте.

Типичные ошибки

Первая ошибка состоит в неверной раскладке ACN/FuMa или нормализации SN3D/N3D. Признаки: направление не совпадает с картинкой, уровень меняется странно, а отдельные оси звучат перевёрнуто. Исправлять это усилением stereo-каналов нельзя; нужно согласовать формат encoder и decoder.

Вторая ошибка: поле закреплено на голове. Тогда источник впереди поворачивается вместе со слушателем и ощущается как обычная дорожка. Проверьте передачу head rotation и пространство координат. Третья: ambisonic bed одновременно проходит через object spatializer, получая двойную пространственную обработку.

Четвёртая ошибка: ожидание точной позиции от FOA в сложной сцене. Первый порядок даёт устойчивое окружение, но не обязан разделять много соседних источников. Пятая: попытка заменить объектный звук полем там, где пользователь ходит к источнику и ожидает изменение distance, occlusion и отражений.

Как выбрать порядок и проверить результат

Начните с возможностей целевого runtime, codec и decoder. Если поддерживается только FOA, higher order придётся понизить или декодировать заранее, потеряв интерактивное вращение. Если доступны 9 или 16 channels, сравните качество на той же сцене при одинаковом bitrate и реальном бюджете CPU.

Слушайте фронт, тыл, верх и диагонали, медленно и резко вращайте голову. Проверяйте stationary field, задержку, щелчки, уровень и совпадение с изображением. Затем повторите тест на нескольких headset и наушниках. Встроенный монитор ноутбука не показывает, как binaural decode поведёт себя у пользователя.

Для фонового окружения выбирайте минимальный order, который сохраняет нужную направленность. Для важных близких событий оставляйте object audio. Такой выбор обычно надёжнее, чем максимальный порядок для всех sounds: вычислительный бюджет расходуется там, где изменение действительно слышно.

Амбисоника не является «объёмным stereo». Это способ хранить и преобразовывать sound field. Качественный результат требует согласованного формата, своевременной head pose, подходящего binaural decoder и честного разделения между записанной сценой и интерактивными audio objects.