Google представила «аналог Pied Piper» для прискорення обчислень у нейромережах

Дослідницький підрозділ Google представив TurboQuant — алгоритм стиснення пам’яті для ШІ. Користувачі порівняли розробку з технологією стартапу Pied Piper із серіалу «Кремнієва долина».

TurboQuant значно знижує вимоги до ресурсів для роботи великих мовних моделей і систем векторного пошуку.

ШІ оперує складними багатовимірними масивами, що зберігають інформацію про слова або зображення. Ці дані займають багато місця в кеші та сповільнюють генерацію відповідей. Традиційні методи стиснення вимагають зберігання додаткових змінних, що часто нівелює користь від оптимізації.

TurboQuant вирішує проблему надлишкового споживання пам’яті за допомогою двох механізмів. Перший алгоритм переводить вектори у полярну систему координат і стискає основний обсяг даних. Другий працює як математичний контролер, використовуючи лише один біт пам’яті для усунення залишкових прихованих похибок.

Генеральний директор Cloudflare Меттью Прінс порівняв алгоритм із досягненнями китайської моделі DeepSeek, яка раніше продемонструвала високу ефективність за мінімальних витрат на обладнання.

Розробники перевірили технологію на відкритих моделях Llama, Gemma і Mistral. Алгоритм стиснув кеш до трьох біт без втрати якості відповідей. Споживання пам’яті скоротилося щонайменше у шість разів, а швидкість обчислень на графічних прискорювачах H100 зросла у вісім разів.

Інновація не потребує додаткового навчання нейромереж. За запевненням корпорації, технологію інтегрують у пошукові алгоритми та власні ШІ-продукти, зокрема Gemini. Публічна презентація проєкту відбудеться на профільних конференціях ICLR і AISTATS у 2026 році.

Нагадаємо, 25 березня Google розкрила свої плани щодо переходу на постквантову криптографію.

Читайте ForkLog UA в соціальних мережах

Знайшли помилку в тексті? Виділіть її та натисніть CTRL+ENTER

Матеріали за темою

Ми використовуємо файли cookie для покращення якості роботи.

Користуючись сайтом, ви погоджуєтесь з Політикою приватності.

OK