Cloudflare блокуватиме «змішані» ШІ-краулери

З 15 вересня провайдер мережевої інфраструктури Cloudflare за замовчуванням почне блокувати на сторінках усі «змішані» веб-краулери на основі ШІ.

Cloudflare’s new Attribution Business Insights dashboard helps website owners understand crawler behavior, appetite, and potential value. https://t.co/1F9HO3Fiv7

— Cloudflare (@Cloudflare) July 1, 2026

Йдеться про краулери, які використовують один і той самий тип ботів для пошуку, навчання моделей і агентів ШІ. У Cloudflare вимагають розділяти рішення на пошукові, навчальні та агентні.

Представники компанії пояснили посилення тим, що видавці та власники сайтів хочуть зберігати видимість у пошуку й сервісах ШІ, але не готові безплатно надавати контент.

«Інтернет ризикує перейти до екосистеми “нульового кліку”, де чат-боти збирають оригінальний контент для миттєвих відповідей, повністю оминаючи першоджерела. Ми вже спостерігали помітний зсув від простору, орієнтованого виключно на SEO, до світу AEO, а тепер уже й до GEO», — йдеться в заяві.

Вжитий крок також має зменшити навантаження на інфраструктуру веб-сторінок. За даними Cloudflare, понад 50% трафіку від ШІ-краулерів припадає на повторне сканування сторінок, яке рідко дає користь.

Зміна торкнеться нових клієнтів провайдера, сайти чинних користувачів і всіх клієнтів безкоштовного тарифу. Власники хостингів зможуть вимкнути опцію блокування вручну.

Паралельно Cloudflare розширює комерційну схему для видавців. Нова система Pay Per Use передбачає оплату не лише за доступ до матеріалу, а й у випадках, коли контент має цінність для сервісу ШІ.

На першому етапі компанія працює з Ceramic.ai та You.com. Видавці отримують виплати, якщо їхні матеріали з’являються у пошуковій видачі чат-ботів.

Нагадаємо, 18 листопада 2025 року Cloudflare зіткнувся з масштабними технічними збоями, що спричинили порушення в роботі багатьох сайтів і застосунків, включно з Web3-сервісами.