Альянс роботів. Другий день конференції GTC 2024
- Nvidia представила мультимодальний ШІ, розроблений спеціально для андроїдів.
- Анонсовано нову модель обчислювальної платформи Jetson.
- Виробники роботів оголосили про партнерство.
Конференція GTC 2024, що проходить у Сан-Хосе, майже повністю присвячена штучному інтелекту. Але 19 березня компанія Nvidia також анонсувала кілька важливих продуктів у сфері робототехніки.
Я є GR00T
Компанія представила проєкт GR00T (Generalist Robot 00 Technology) — мультимодальний штучний інтелект, розроблений спеціально для андроїдів.
Менеджер з досліджень і керівник напрямку втіленого ШІ в Nvidia Джим Фан написав, що завдяки GR00T роботи зможуть розуміти інструкції через мову, відео та спостереження за людиною для виконання різних завдань.
За словами CEO Nvidia Дженсена Хуанга, GR00T дасть змогу роботам навчатися координації та складних рухів, адаптуватися до того, що відбувається навколо, і взаємодіяти з реальним світом. Під час виступу глава компанії продемонстрував кілька андроїдів, оснащених GR00T, які виконують різні завдання.
На час тестів ШІ-продукт доступний тільки для деяких компаній-партнерів, зокрема для 1X Technologies, Agility Robotics, Apptronik, Boston Dynamics, Figure AI, Fourier Intelligence, Sanctuary AI, Unitree Robotics і XPENG Robotics.
«Створення базових моделей для людиноподібних роботів — одна з найбільш захопливих проблем у сфері ШІ на сьогодні. Провідні дослідники всього світу об’єднуються, щоб зробити гігантський стрибок на шляху до робототехніки загального призначення», — заявив Хуанг.
Наразі подробиці про внутрішню архітектуру GR00T невідомі. Апаратна частина функціонує завдяки новій обчислювальній платформі Jetson Thor.
Поповнення в сімействі Jetson
Jetson Thor здатна виконувати складні завдання щодо взаємодії між людьми і машинами. Платформа заснована на чипі Thor SoC і містить новітній графічний процесор Nvidia Blackwell.
Продуктивність GPU системи у вісім разів вища, ніж у попередньої версії Jetson Orin.
Продукт GR00T, що функціонує завдяки Thor, розроблено за допомогою інструментів Isaac Robotic Platform від Nvidia, включно з новою лабораторією Isaac Lab для навчання з підкріпленням.
Isaac Manipulator пропонує бібліотеки, що допомагають виробникам роботів-маніпуляторів додати в продукти нові рухи і збільшити їхню спритність. Вони включають моделі для виявлення і відстеження об’єктів, оцінки їхнього 6D-позиціонування і створення точних прогнозів для взаємодії з навколишнім середовищем.
Isaac Perceptor допомагає справлятися із завданнями управління андроїдами в неструктурованій обстановці. Для тривимірного сприйняття і об’ємного зору використовуються багатокамерний огляд на 360 градусів і прискорені алгоритми штучного інтелекту.
«Захоплюючі новини з GTC24! Nvidia Isaac здійснює революцію в робототехніці! Завдяки GenAI і передовому моделюванню Nvidia Isaac прискорює роботів з ШІ-підтримкою. Подивіться на нові базові моделі, систему навчання роботів і багато іншого», — повідомив підрозділ робототехніки компанії.
19 березня також стало відомо про появу альянсу у сфері робототехніки.
Роботи вступають в Альянс
Open Source Robotics Foundation запустила Open Source Robotics Alliance (OSRA)
«Ми раді оголосити про нашу співпрацю з OpenRoboticsOrg у створенні Альянсу робототехніки з відкритим вихідним кодом. Об’єднавши зусилля з Open Robotics, ми продовжимо впроваджувати прискорені обчислення і ШІ в робототехніку з відкритим вихідним кодом», — йдеться в повідомленні.
Компанія стала першим платиновим членом OSRA. У такому ж статусі до альянсу приєдналися Intrinsic і Qualcomm.
Нагадаємо, під час першого дня конференції GTC 2024 Nvidia анонсувала нове покоління ШІ-чіпів і програмне забезпечення для роботи з великими мовними моделями.