Стартап бывших исследователей Meta запускает платформу для обучения роботов
Memories.ai запускает глобальную платформу Memories Upload: участники будут снимать на носимые камеры оплачиваемые задания для обучения роботов.
Платформа будет собирать видео от людей, которые готовят еду, пополняют полки или ремонтируют оборудование. Для съёмки компания разработала камеру LUCI Pin весом менее 45 граммов: её можно закрепить на голове, груди или запястье. Две камеры разрешают вести стереосъёмку и оценивать глубину сцены.
По данным Memories.ai, за первый месяц бета-тестирования сеть записала более 1 млн часов видео от первого лица. Компания рассчитывает увеличить объём до более чем 10 млн часов к марту 2027 года. Стартап основали бывшие исследователи Meta Шон Шэнь и Бен Чжоу; всего он привлёк $16 млн венчурного финансирования.
Такие записи могут показать роботу детали действий — например, как человек берёт чашку, ставит её под кофемолку и перемещает, не проливая напиток. Видеоматериалы из разных кухонь, с разными инструментами и ракурсами помогают разработчикам расширять набор примеров, хотя перевод человеческих движений в действия конкретного робота остаётся отдельной задачей.
Memories.ai использует инструменты Nvidia для обработки и поиска видео, а также модели Cosmos для описания и маркировки действий. Это позволяет находить нужные моменты записи по конкретному действию, не просматривая весь материал. По словам компании, среди её клиентов есть три из пяти ведущих лабораторий фронтирного ИИ, но их названия не раскрываются из-за соглашений о неразглашении.
Съёмка может затронуть частную информацию коллег, прохожих и клиентов. Перед передачей материалов за пределы страны или заказчикам компания требует согласие у операторов и регулярно попадающих в кадр коллег, скрывает лица и такие данные, как бейджи, экраны и номерные знаки, а затем вручную проверяет часть кадров.
