Купон на скидку: 2026
Компания Cloudflare объявила об изменении политики по умолчанию для блокировки веб-сканеров. Теперь все боты, которые совмещают в себе функции поискового индексирования, обслуживания агентов и сбора данных для обучения моделей, будут по умолчанию заблокированы от сканирования сайтов, обслуживаемых инфраструктурой Cloudflare. Владельцы ресурсов смогут вручную изменить эти настройки, но изначально доступ для «смешанных» краулеров будет закрыт.
Новые правила затронут всех новых клиентов Cloudflare, вновь создаваемые сайты действующих пользователей, а также все существующие бесплатные аккаунты. По мнению компании, это может существенно повлиять на то, как провайдеры AI-моделей получают веб-контент для обучения и обеспечения работы агентских сервисов. Cloudflare подчёркивает, что большинство владельцев сайтов заинтересованы в видимости через обычный поиск и зачастую — через AI-сервисы, но хотят защититься от неконтролируемой передачи своей интеллектуальной собственности.
В заявлении особо выделена «крупнейшая в мире поисковая система» — очевидная отсылка к Google, — которая, по оценке Cloudflare, имеет доступ примерно к «удвоенному объёму информации» по сравнению с другими AI-компаниями, поскольку затрудняет сохранение поисковой видимости без одновременного использования данных для своих AI-систем. Google ранее отвергал подобные обобщения и указывал на наличие отдельного бота Google Extended, позволяющего владельцам сайтов отказаться от применения их контента для обучения и сервисов вроде Gemini Apps и Vertex API, не влияя на присутствие в поисковой выдаче.
Однако флагманский Googlebot продолжает сканировать ресурсы и для AI-функций в поиске, таких как AI Overviews и AI Mode. Генеральный директор и сооснователь Cloudflare Мэттью Принс, комментируя нововведения, отметил, что впервые в истории доля нечеловеческого трафика в интернете превысила трафик, генерируемый людьми, причём этот рубеж ожидался лишь в следующем году.