Как краулеры влияют на ваш сайт: новая панель аналитики от Cloudflare

Оригинальный контент — это источник разговоров и любопытства. Представьте мир без него: мы могли бы найти тысячу способов пережёвывать уже созданный материал, но стали бы свидетелями упадка свежих идей и аргументов.

Владельцы веб-сайтов подпитывают экосистему идей, новостей и интересных фактов, но сталкиваются с всё более сложной задачей управления трафиком на свои сайты и получения оплаты за свой контент. Хотя часть бот-трафика явно вредоносна, не всегда очевидно, приносит ли конкретный AI-краулер пользу или вред вашему бизнесу. Чтобы ответить на этот вопрос, владельцам сайтов нужны детальные, надёжные данные, позволяющие различать трафик, который приносит пользу, и трафик, который истощает ресурсы и подрывает основу их бизнес-модели: реальных людей, потребляющих их контент.

В Cloudflare мы придерживаемся ключевого убеждения: владельцы веб-сайтов имеют право контролировать доступ к своему контенту. Мы хотим помочь владельцам сайтов сохранять высокое качество контента и регулировать AI-трафик.

Чтобы предоставить столь необходимую ясность и помочь владельцам сайтов взять ситуацию под контроль, мы с радостью объявляем о новом дашборде Attribution Business Insights — разработанном с учётом потребностей лиц, принимающих бизнес-решения, и издателей.

На протяжении десятилетий бизнес-модель Интернета основывалась на простом негласном соглашении: владельцы сайтов позволяли поисковым системам сканировать свой контент, а поисковые системы в ответ отправляли читателей обратно на их страницы. Эти симбиотические отношения, когда традиционные поисковые системы работали со сбалансированным соотношением «сканирование к рефералу», генерировали просмотры страниц, необходимые для поддержки рекламы, партнёрских доходов и подписок. Краулеры поисковых индексов сканировали ваш контент пару раз за каждый отправленный реферал, поэтому предоставление доступа краулерам к вашему сайту обеспечивало чёткий путь к дополнительному доходу. Мы можем назвать это эпохой SEO (поисковой оптимизации).

Сегодня взрывной рост AI-краулеров и агентов разрушил этот контракт, ввергнув индустрию цифровых изданий в беспрецедентный кризис. Интернет рискует перейти в экосистему «нулевого клика», где AI-чатботы собирают оригинальный контент для синтеза мгновенных ответов, полностью минуя первоисточники. Мы уже стали свидетелями заметного сдвига от мира, ориентированного только на SEO, к миру AEO (оптимизация для поисковых систем с ответами), и теперь дискуссии о GEO (генеративная оптимизация) выходят на первый план.

Дисбаланс этой новой реальности становится очевиден из соотношений «сканирование к рефералу», которые мы наблюдаем сегодня в Интернете. В то время как традиционные поисковые системы имели более сбалансированное соотношение сканирований к реальным посетителям, крупные AI-краулеры работают в совершенно ином, экстрактивном масштабе. Было замечено, что боты ведущих AI-компаний имеют диапазон соотношений от 118:1 до почти 50 000:1 примерно во время нашего Дня независимости контента в 2025 году. Другими словами, AI-краулер мог просканировать ваш премиум-контент десятки тысяч раз, чтобы отправить обратно всего одного посетителя. Это соотношение принципиально несправедливо.

Для издателей это создаёт двойной удар: во-первых, они теряют критически важный реферальный трафик, показы рекламы и прямые отношения с аудиторией, которые финансируют создание контента и журналистику. Во-вторых, они вынуждены нести растущие расходы на инфраструктуру для хостинга и обслуживания контента для автоматизированных ботов, которые не приносят коммерческой выгоды. Эпоха, когда имело смысл разрешать все краулеры в надежде быть обнаруженным, закончилась.

Мы хотим, чтобы у владельцев веб-сайтов были факты — точные цифры, позволяющие понять, какие боты помогают их бизнесу, а какие вредят. Мы также хотим сделать этот анализ как можно проще, поэтому разработали Attribution Business Insights так, чтобы отсечь шум и сосредоточиться на деталях, которые наши клиенты назвали наиболее важными.

Сегодня дашборд Attribution Business Insights доступен всем клиентам Cloudflare Bot Management. Новый дашборд предназначен для предоставления целевого представления бот-трафика на вашем сайте; в отличие от традиционных инструментов аналитики, которые могут требовать обширной ручной фильтрации, этот дашборд сразу предоставляет ключевые insights.

Мы стремились ответить на самые насущные вопросы владельцев сайтов сегодня: Как следует относиться к AI-трафику на ваших сайтах? Какова ценность различных аудиторий — людей, не-AI ботов и AI-ботов? И самое главное, для чего используются ваши данные?

^{Новый вид дашборда Attribution Business Insights, который включает информацию о бот-трафике в целом, общесайтовое соотношение «сканирование к рефералу» и распределение AI-бот-трафика по сравнению с органическим трафиком.}

Чтобы ответить на эти вопросы, дашборд отображает мощный массив данных и сведений:

• Бот-трафик на страницы контента: Просмотр общего трафика ботов и людей, а также объёма всех ботов, успешно получающих доступ к контенту.

• Соотношение «сканирование к рефералу»: Просмотр общесайтового соотношения за 24 часа, 7 дней или 30 дней. Вы также можете увидеть соотношение для каждого оператора бота (для каждой компании, владеющей одним или несколькими ботами).

• Разбивка top-ботов: Список top-ботов по объёму, включая их страну происхождения, пропускную способность, которую они потребляют на вашем сайте, и то, блокируете ли вы их в данный момент или разрешаете.

• Обновлённая классификация на основе поведения краулера: Мы выходим за рамки общей метки «AI-краулер», классифицируя краулеры с помощью нашей обновлённой таксономии: Обучение (например, обучение следующей версии LLM-чатбота), Поиск (например, обновление баз данных для Retrieval-Augmented Generation) или Агент (например, использование в агентном взаимодействии для возврата ответов конечному пользователю).

Вам не обязательно быть экспертом по безопасности, чтобы понять, как AI-краулеры влияют на ваш бизнес. Если владельцы сайтов хотят потратить всего несколько минут на ознакомление с high-level выводами, они могут получить чёткую оценку эффективности своей политики безопасности контента.

Для тех, кто хочет провести более глубокое исследование, чтобы понять, как AI-компании используют их контент, или собрать информацию для управления развитием отношений с AI-компаниями, мы предоставляем более детальное представление, сгруппированное по операторам ботов.

^{Разбивка активности ботов на веб-сайте с важными деталями для каждого бота, такими как тип, соотношение «сканирование к рефералу» и текущее действие.}

Имея консолидированное представление о компаниях, стремящихся получить доступ к контенту на вашем сайте, вы можете лучше понять базовый уровень активности краулеров. Мы хотим, чтобы эти данные позволили нашим клиентам вступать в любые деловые переговоры, имея на руках факты. Сообщите Компании1, что их объём сканирования в двадцать раз превышает объём Компании4 и что Компания4 уже компенсирует вам использование контента. Пересмотрите условия лицензирования вашего контента для Компании2 на основе их недавней активности. Этот новый дашборд продвигает деловые переговоры вперёд.

Как этот новый уровень видимости сочетается с существующими инструментами для защиты вашего сайта от злоупотреблений? В соответствии с другими функциями Bot Management, этап действия по-прежнему происходит в правилах безопасности. Чтобы избежать шума в плоскости управления, Attribution Business Insights задуман как центр для продуманной, отфильтрованной аналитики, а не как ещё одно место для совершения действий. Этот дашборд служит центральным источником информации, позволяя вам сначала провести исследование, а затем принять меры в том же движке правил, который управляет другими мерами защиты от злоупотреблений. Мы также хотим чётко и громко пригласить лиц, принимающих бизнес-решения, в этот дашборд, признавая, что обсуждение AI-трафика включает более широкий круг заинтересованных сторон, чем только специалисты по безопасности.

Дашборд Attribution Business Insights — это следующий важный шаг в предоставлении владельцам веб-сайтов прозрачности и контроля, необходимых для управления evolving угрозами со стороны AI-ботов и, в более широком смысле, для формирования новой динамики Интернета. Мы уже исследуем следующую итерацию в тесном сотрудничестве с издательскими партнёрами, чтобы создать плоскость видимости, которая охватывает безопасность с точки зрения владельца сайта, имеющего ценный оригинальный контент для публикации.

Ниже представлен предварительный обзор нового представления для анализа активности краулеров по каждой статье, чтобы выявить интерес AI-компаний к различным частям контента, кампаниям и т.д.

^{Разбивка наиболее популярных статей по объему трафика. Показывает ключевые метрики, такие как трафик ИИ-ботов по сравнению с трафиком других ботов и человеческим трафиком, как прямым, так и с рефералов.}