IBM прискорила ШІ‑модель за допомогою квантового процесора

Дослідники Multiverse Computing заявили про квантове покращення великої мовної моделі на обладнанні IBM. Йдеться про гібридну схему з використанням 156-кубітного процесора Heron.

Автори назвали експеримент першим «наскрізним квантовим покращенням» LLM на надпровідниковому процесорі для авторегресійної генерації тексту.

У тестах використовували Llama 3.1 8B від Meta. Базову модель не донавчали: параметри «заморозили» і додали квантові адаптери — Cayley-parameterized unitary adapters (CUA). Спочатку їх навчали класичним методом, далі під’єднали до гібридної квантово-класичної схеми.

Експеримент провели на IBM Quantum System Two — архітектурі для гібридних квантових систем. В установці задіяли 156-кубітний чип Heron.

Гібридна версія знизила перплексію Llama 3.1 8B на 1,4%. Для цього додали близько 6000 параметрів — приблизно 0,000075% від розміру моделі.

Під час демонстрації квантово-покращена Llama правильно відповіла на запитання з астрономії та біології, з якими не впоралася базова версія (наприклад, про наявність кілець у всіх планет-гігантів).

За словами провідного автора дослідження Борхи Айспуруа, робота є доказом концепції. Квантові блоки дозволили точніше передбачати наступний токен у тексті за мінімальних витрат обчислювальних потужностей.

Команда розраховує домогтися подальшого зниження перплексії та зростання точності за меншої кількості параметрів порівняно з повністю класичними підходами.

Нагадаємо, у травні котирування квантових компаній зросли після оголошення Мінторгу США про виділення $2 млрд американським фірмам у межах програми CHIPS R&D.