Nvidia тренирует роботов-гуманоидов с помощью гарнитуры Apple Vision Pro

Компания Nvidia использует гарнитуру дополненной реальности Apple Vision Pro для разработки человекоподобного робота, пишет ресурс 9to5Mac. Разработчики обучают ИИ-модель Project GR00T для робота-гуманоида с помощью реальных и синтетических данных, что позволяет им экономить время и снизить расходы.

И именно для захвата человеческих движений используется гарнитура дополненной реальности Apple Vision Pro. Сделав с помощью Apple Vision Pro запись небольшого количества демонстраций движений с помощью телеуправления, разработчики затем моделируют полученные данные в NVIDIA Isaac Sim, эталонном приложении, позволяющем проектировать, моделировать, тестировать и обучать роботов на базе ИИ, и используют микросервис MimicGen NIM для генерации синтетических наборов данных из записей. То есть расширяют базу данных с реальной демонстрацией движений синтетическими наборами данных.

С помощью полученной базы данных проходит обучение модели робота-гуманоида Project GR00T. Затем разработчики используют микросервис Robocasa NIM в Isaac Lab, фреймворке для обучения роботов, для генерации опыта для повторного обучения робота.