Cloudflare запустила ринок контенту для ШІ і власників сайтів
Інфраструктурна компанія Cloudflare презентувала сервіс Pay per Crawl, який дозволяє авторам контенту виставляти рахунки ШІ-сканерам за доступ до їхніх сторінок.
Pay per crawl is a new feature to allow content creators to charge AI crawlers for access to their content. https://t.co/PUrlSs636k
— Cloudflare (@Cloudflare) July 1, 2025
У рамках експерименту власники сайтів можуть дозволяти або блокувати доступ пошукових ШІ-ботів до свого ресурсу, а також задавати фіксовану оплату за кожен обхід сторінки. Доступ до аналітики також можна зробити безкоштовним або повністю закрити.
Сервіс дає змогу визначити, з якою метою краулер переглядає сайт: для тренування ШІ-моделей, для відповіді на запити в ШІ-пошуковиках чи для інших завдань.
Cloudflare обслуговує понад 20% світового інтернет-трафіку, забезпечуючи захист і стабільність для сайтів і вебзастосунків. Компанія позиціонує новий продукт як фундамент для нової бізнес-моделі у світі домінування ШІ.
Запуск Pay per Crawl відбувся на тлі падіння трафіку з Google Search і стрімкого переходу користувачів до чат-ботів. Видавці намагаються знайти нові способи монетизації. Частина з них, зокрема The New York Times, вже подала позови проти ШІ-компаній. Інші — уклали угоди про ліцензування даних.
Cloudflare прагне створити довгострокову систему, у якій видавці самостійно встановлюють правила та ціни.
Нові сайти, розгорнуті на інфраструктурі Cloudflare, автоматично блокуватимуть ШІ-ботів. Щоб дозволити доступ, власники мають вручну надати дозвіл. Це, за словами компанії, забезпечить «контроль за замовчуванням» для кожного нового домену.
Щоб протестувати Pay per Crawl, як ШІ-компаніям, так і видавцям потрібно мати акаунт Cloudflare. У профілях обидві сторони можуть визначити прийнятні тарифи для купівлі та продажу контенту.
Попри спекуляції в індустрії, криптовалюти поки не залучені до нової системи. Хоча деякі експерти вважають, що саме цей клас активів найкраще підходить для таких розрахунків.
Нагадаємо, у червні суд у США підтримав право Anthropic навчати ШІ-моделі на опублікованих книжках без дозволу авторів.