Cloudflare почне блокувати ШІ-сканувальники за новими правилами

Cloudflare оголосила про нові правила взаємодії із вебсканувальниками, які використовують компанії зі сфери штучного інтелекту. 

Із 15 вересня 2026 року платформа за замовчуванням блокуватиме ботів, які не повідомляють, чи використовують контент для пошуку, навчання моделей або роботи ШІ-агентів.

Cloudflare змінює правила для ШІ-сканувальників

У компанії зазначають, що сьогодні понад половину всіх запитів до вебсайтів генерують автоматизовані боти й агенти. Через це власникам сайтів дедалі складніше контролювати, як саме їхній контент використовують системи штучного інтелекту.

З 15 вересня нові сайти та клієнти Cloudflare за замовчуванням дозволятимуть індексацію сторінок пошуковими системами, але блокуватимуть використання контенту для навчання моделей і роботи ШІ-агентів на сторінках із рекламою.

Компанія також обмежить доступ змішаних сканувальників, які одночасно використовують контент для пошуку, навчання моделей і роботи ШІ-агентів. Власники сайтів не зможуть окремо керувати цими сценаріями. 

Протягом наступних двох місяців Cloudflare тестуватиме нові правила, після чого вони почнуть діяти за замовчуванням.

Власники сайтів отримають більше контролю над контентом

Cloudflare вважає, що більшість сайтів хоче залишатися доступною для пошукових систем і сервісів штучного інтелекту, але не бажає безкоштовно надавати власний контент для навчання моделей.

Разом із новими правилами компанія представила панель Attribution Business Insights, яка показуватиме, які ШІ-компанії сканують сайт, як часто вони використовують його матеріали та який трафік повертають власнику ресурсу. 

Також Cloudflare розширює систему Pay Per Use, щоб видавці могли отримувати винагороду не лише за сканування сторінок, а й за фактичне використання їхнього контенту у відповідях ШІ-моделей

Прозоріша взаємодія з ШІ

У Cloudflare наголошують, що нові правила мають створити однакові умови для власників сайтів і компаній, які розробляють системи штучного інтелекту. 

На думку компанії, прозоре визначення мети сканування допоможе краще захистити авторський контент, зменшити зайве навантаження на вебресурси та спростити співпрацю між видавцями й розробниками ШІ.