Meta презентувала ШІ для відновлення набраного тексту зі записів мозкової активності

29 червня Meta презентувала систему, яка відтворює набраний текст за записом мозкової активності без хірургічного втручання. За заявою компанії, середня точність на рівні слів досягла 61% проти приблизно 8% у попередніх неінвазивних методів.

Brain2Qwerty v2 навчали приблизно на 22 000 речень. В експерименті взяли участь дев’ять здорових добровольців: кожен провів по 10 годин у сканері магнітоенцефалографії і набирав почуті фрази на клавіатурі.

«Замість створених вручну схем для виявлення нейронних подій ми використовуємо наскрізне глибоке навчання, щоб декодувати дані безпосередньо із сирих сигналів мозку», — заявили в Meta.

Brain2Qwerty v2 працює з неперервним записом мозкової активності й відтворює речення цілком. Для уточнення результату система використовує донарощену мовну модель, яка враховує смисловий контекст. Найкращий учасник досяг 78% точності на рівні слів. Понад половину його речень система декодувала з однією помилкою або без неї.

Розробка поки не готова до клінічного чи побутового застосування. Brain2Qwerty v2 тестували на здорових добровольцях, які реально друкували текст. Для людей, що втратили мовлення або здатність рухатися, цей підхід потрібно перевіряти окремо.

Також система поки не працює як повноцінне введення тексту в реальному часі. Модель обробляє речення цілком, тому користувач не бачить кожне слово одразу після його набору.

Проєкт пов’язаний із Digital Brain Project — ініціативою зі створення відкритих нейронаукових наборів даних. Бюджет програми становить $5 млн.

Нагадаємо, у червні дослідники Каліфорнійського університету в Девісі показали тривале домашнє використання мовного нейроінтерфейсу у пацієнта з бічним аміотрофічним склерозом.