Microsoft навчила ШІ бачити екран комп’ютера

Microsoft навчила ШІ-асистента Copilot розуміти контекстну інформацію з екрана комп’ютера під час серфінгу в інтернеті.

Коли користувач вмикає Copilot Vision, нейромережа бачить вебсторінку, розуміє текст і зображення. Далі штучному інтелекту можна ставити запитання про відвідувані сайти за допомогою Microsoft Edge. Наприклад, відкривши страву на екрані, можна дізнатися у ШІ її рецепт.

Серед інших функцій Copilot Vision:

• переклад і надання короткої вижимки тексту;
• виконання різних завдань на кшталт демонстрації товарів зі знижкою в каталозі магазину;
• допомога в іграх, таких як шахи.

«Це новий спосіб запросити штучний інтелект разом із вами переміщатися інтернетом, акуратно розмістивши його в нижній частині браузера Edge, коли знадобиться допомога», — зазначили в Microsoft.

Корпорація обіцяє видалення користувацьких даних після кожного сеансу. Отриману ШІ інформацію не використовують для навчання.

Нагадаємо, у жовтні Microsoft презентувала оновлену версію ШІ-помічника Copilot із голосовим режимом і розумінням зображення на екрані.