Стартап xAI представив першу мультимодальну версію Grok-1.5V

Компанія Ілона Маска xAI представила нову модель чат-бота Grok, здатну обробляти запити в різних форматах.

Презентація відбулася через кілька тижнів після релізу попередньої версії.

«Grok-1.5V конкурує з наявними мультимодальними моделями в низці сфер: від міждисциплінарних міркувань до розуміння наукових діаграм, графіків і скриншотів», — ідеться в блозі.

Розробники навели в пресрелізі кілька прикладів, що демонструють нові можливості чат-бота:

• перетворення начерку блок-схеми в код Python;
• генерація казки на ніч із дитячого малюнка;
• пояснення мемів;
• перетворення таблиці у формат CSV-файлу.

Протестувавши аналоги GPT-4V, Claude 3Sonnet, Claude 3 Opus і Gemini Pro 1.5, xAI стверджує, що її мультимодальна модель посідає провідні позиції за багатьма параметрами.

Представники компанії зробили акцент на тому, що Grok-1.5V перевершує своїх конкурентів у бенчмарку RealWorldQA — новій метриці, створеній для оцінки просторового розуміння реального світу.

Для проходження тесту ШІ-модель навчилася на більш ніж 700 зображеннях, супроводжуваних питанням і відповіддю для кожного елемента. xAI виклала RealWorldQA у відкритий доступ за ліцензією Creative Commons.

Grok-1.5V з’явилася менш ніж через місяць після того, як xAI опублікував відкритий вихідний код моделі.

За словами розробників, найближчими місяцями буде внесено «значні» оновлення в можливості чат-бота з розуміння і генерації мультимодальних сигналів.

Ранні тестери та поточні користувачі отримають доступ до Grok-1.5V найближчим часом.

Нагадаємо, у грудні 2023 року представники xAI надіслали повідомлення в SEC про плани щодо залучення $1 млрд через приватний продаж пайових цінних паперів.