Meta выпустила экспериментальный компонент XR Operator для проверки VR-приложений с помощью ИИ-агента. Инструмент работает с Meta XR Simulator и передаёт агенту снимки экрана, данные сцены и управление виртуальными контроллерами через Model Context Protocol.
Как устроена проверка
XR Operator располагается между приложением и OpenXR runtime. Локальный MCP-сервер получает состояние запущенной сцены, а прокси сохраняет соединение, когда разработчик останавливает Play Mode или запускает перекомпиляцию. Агент может осмотреть иерархию Unity, повернуть виртуальную голову, нажать кнопку контроллера и сделать снимок результата.
Meta описывает три рабочих сценария: быструю проверку нового элемента, воспроизведение ошибки и выполнение теста по текстовому заданию. Например, агент может пройти меню до начала уровня и приложить скриншоты к результату. Команда остаётся ответственной за критерии теста и финальную оценку.
Требования и ограничения
Для готовой интеграции Meta указывает Unity 6000.0.66f2 LTS или новее, Meta XR SDK v205 и совместимый MCP-клиент. Windows рекомендована из-за известных ограничений ввода контроллеров на macOS.
Текущая версия анализирует отдельные кадры и не слышит звук. Она плохо подходит для оценки анимации, быстрых движущихся целей и мелких визуальных расхождений. Полноценное finger tracking агенту пока недоступно. Эти ограничения оставляют ручное тестирование обязательной частью выпуска.
Meta интегрировала XR Operator в Core SDK для Unity. Для других движков компания предлагает отдельный пакет OpenXR, но его подключение потребует собственной инженерной работы.