Как ИИ меняет поиск: новые правила для авторов и бизнеса

Поиск лежит в основе большинства взаимодействий в интернете. С его помощью мы добиваемся целей, и именно так находится почти всё в сети — создатели, продавцы, ответ на любой запрос, который вы ввели в строку. На протяжении почти 30 лет это путешествие открытий строилось на простой сделке: позвольте поисковой системе сканировать ваш контент, и она приведёт к вам посетителей. Вы превращали этих посетителей в бизнес — через рекламу, подписки или просто саму аудиторию. Быть найденным и получать оплату было одним и тем же. Год назад, в первый День независимости контента, мы провели черту, чтобы защитить эту сделку в эпоху ИИ. Но черта на песке была лишь первым шагом. С тех пор распространённость ИИ-поиска в жизни потребителей только ускорилась, так как более 50% трафика в интернете нечеловеческое. Угроза больше не в горстке учебных краулеров, которые можно заблокировать; это сам поиск, перестраиваемый вокруг ответов ИИ.

Сегодняшние ответные системы читают вашу страницу и выдают пользователю краткое изложение, поэтому визит — и доход, который от него зависел, — больше не нужен. Мы видим это собственными глазами, и независимые исследования это подтверждают: исследование Pew Research Center 2025 года показало, что когда Google показывает сводку ИИ, пользователи нажимают на ссылку традиционного результата поиска лишь в 8% случаев (примерно вдвое реже, чем когда сводки нет), а на ссылку внутри сводки — только в 1% случаев. Это ставит наших клиентов перед выбором: откажитесь от ИИ и будьте труднонаходимыми, или соглашайтесь и приносите значительную пользу пользователям, получая взамен всё меньше. Наши клиенты хотят быть найденными и получать компенсацию за предоставляемую ценность, а сейчас их вынуждают выбирать.

Сегодня мы объявили о новых настройках ботов, чтобы помочь нашим клиентам лучше контролировать, кто может получать доступ к их сайту и что с ним делать. Но блокировка была лишь первым шагом: отказ защищает контент, не восстанавливая бизнес-модели, которые его поддерживают. Поэтому пришло время начать строить новую экономическую модель интернета, начиная с поиска.

Прозрачность и контроль — это основа, но этого недостаточно. В 2025 году мы заложили фундамент с помощью набора принципов ответственных ИИ-ботов: боты должны быть прозрачны в отношении того, кто они и для чего предназначены, уважать выбор владельцев сайтов и действовать добросовестно. Наши инструменты предъявляют к ботам эти требования. Но обеспечение хорошего поведения ботов не делает ИИ-поиск лучше для людей, которые на него полагаются, и не возвращает ни цента создателю, чья работа сделала возможным ответ. Мы можем сделать больше, чем просто помочь интернету говорить «нет»; мы можем помочь восстановить то, чему он говорит «да».

Итак, сегодня мы объявляем о двух инициативах, которые переходят от обороны к нападению и начинают собирать заново обе половины той старой сделки.

Сделать ИИ-поиск умнее: Используя сигналы, которые мы видим в нашей глобальной сети, такие как актуальность, качество и реальные изменения, мы можем помочь ответным системам показывать наиболее релевантный контент и уменьшить нежелательное сканирование. Люди, выполняющие поиск, получают лучшие ответы, а затраты снижаются как для ИИ-компаний, так и для владельцев сайтов, если веб-страницы повторно сканируются только тогда, когда они изменились.

Платить создателям за ценность, которую они предоставляют: Когда ваша работа используется для ответа на чей-то вопрос, вы должны получать вознаграждение, а не просто быть бесплатно просканированными. И вы должны иметь возможность видеть, что используется и о чём спрашивают люди. Это должен быть реальный источник дохода и стимул продолжать создавать оригинальный контент, который стоит находить.

Сегодня мы запускаем исследовательскую программу, чтобы сделать ИИ-поиск умнее и прекратить ситуацию, когда наши клиенты оплачивают сканирование, которое не даёт ничего нового.

Более 20% веба находится за сетью Cloudflare, что даёт нам уникальную перспективу. Мы можем видеть, какие страницы действительно изменились, а какие привлекают внимание людей и агентов. В рамках этой программы мы будем изучать использование сигналов, которыми наши клиенты решили поделиться о свежести своего контента, и сочетать их с нашими собственными данными о потоках трафика — как человеческого, так и ботов. Для ответных систем это дорожная карта к высококачественному контенту. Для наших клиентов это даёт представление о том, о чём на самом деле спрашивают пользователи и как их контент появляется в результатах ИИ. Цель — измерить две вещи: насколько эти сигналы помогают ответным системам показывать более свежий и качественный контент, и насколько они сокращают ненужное сканирование.

Эта вторая выгода — сокращение ненужного сканирования — важнее, чем кажется. Данные Cloudflare показывают, что более 50% трафика сканирования от хороших ботов приходится на повторную загрузку страниц, которые не изменились, и это число, вероятно, будет расти по мере увеличения объёмов сканирования. Сигнал, который просто говорит «здесь ничего не изменилось», позволяет краулеру пропустить этот заход. Это экономит вычислительные ресурсы ответной системы. Что ещё важнее, это избавляет владельцев сайтов от необходимости обслуживать и оплачивать запросы, которые никогда не были нужны.

Программа по замыслу нейтральна: наша цель — заставить её работать для любой ответной системы, готовой играть честно. Она ограничена поиском. Мы не передаём никакой контент, и ничего не используется для обучения фундаментальных моделей. Мы намерены опубликовать то, что узнаем, включая преимущества для владельцев сайтов, такие как лучшая обнаруживаемость контента и снижение нагрузки на сервер. Мы планируем сделать эту возможность широко доступной позже в этом году и сократить ненужное сканирование по всей нашей сети.

В прошлом году мы запустили Pay Per Crawl, чтобы издатели могли взимать плату с ИИ-компаний за сканирование своего контента. Это было реальным началом, но сканирование — грубая мера ценности. Одна страница может быть просканирована один раз и затем процитирована в тысячах ответов, или сканироваться снова и снова, но никогда не использоваться. Создатели хотят получать справедливую оплату за ценность, которую они предоставляют.

Поэтому мы начинаем превращать Pay Per Crawl в Pay Per Use. Мы проводим эксперименты с ведущими ИИ-компаниями, такими как Ceramic.ai и You.com, и схема проста: организации могут привнести свои модели оплаты и легко масштабировать их на владельцев контента по всей сети Cloudflare.

Ceramic построила то, что она называет моделью «оплата за запрос» (pay-per-query), так что издатели, которые соглашаются, могут получать оплату, когда их контент появляется в результатах поиска Ceramic. Это означает, что оплата привязана к ценности, которую приносит работа, а не к тому, сколько раз краулер случайно её загрузил.

«Чтобы масштабировать будущее ИИ-поиска, нам нужен партнёр с огромным охватом и общей приверженностью прозрачности и справедливой компенсации», — говорит Анна Паттерсон, основатель и генеральный директор Ceramic.ai. «Cloudflare позволяет нам легко и программно масштабировать наши операции. Предоставляя нашу модель оплаты за запрос их сети, мы гарантируем, что миллионы владельцев контента смогут легко согласиться на получение компенсации каждый раз, когда их контент появляется в наших результатах поиска».

В дополнение к компенсации, владельцы контента, участвующие в программе Cloudflare/Ceramic, получат доступ к новой отчётности для оптимизации ответных систем (AEO). Клиенты наконец-то смогут видеть основные запросы, приводящие к появлению их контента в результатах поиска, конкретную веб-страницу и фрагмент, среднюю позицию в рейтинге результатов поиска и многое другое. Это первый из многих продуктов, которые мы запустим, чтобы помочь нашим клиентам с обнаруживаемостью.

Это лишь один из emerging подходов. Другой подход предлагает You.com: агенты могут оплачивать по требованию конкретную часть премиального контента, которая им нужна, без каких-либо предварительных обязательств. Новые модели оплаты от ИИ-провайдеров тестируются (например, оплата за запрос, оплата за результат и т.д.), и у нас есть инфраструктура для поддержки всех них.

Мы хотим честно признать, что это эксперимент. Многое предстоит изучить, в том числе как именно это будет работать в масштабах интернета. Мы будем разбираться в этом вместе с нашими партнёрами и клиентами по ходу дела и делиться тем, что узнаём. Но цель ясна: ИИ-поисковые компании получают более свежие и обоснованные ответы, а клиенты, чья работа делает эти ответы возможными, получают оплату, когда они помогают. Задача Cloudflare во всём этом — предоставить инфраструктурный уровень, который позволит этому рынку процветать.

Мы считаем, что это более естественное соответствие тому, куда движется экономика поиска. Старый, человеческий веб оптимизировал поиск для экономии времени — предоставляя выдержки, десять синих ссылок и клик. Агентный интернет отличается: агент может читать быстро и искать непрерывно. Поиск становится тем, что агент делает десятки раз, чтобы ответить на один вопрос, скорее утилитой, чем пунктом назначения. В этом мире значимая единица — не сканирование и не клик. Это результат. Ценообразование за результат и оплата тем, кто сделал его возможным — вот как веб продолжит процветать.

Год назад, в День независимости контента, заголовком было «нет» по умолчанию: ИИ не может сканировать без компенсации. В этом году наш фокус — дать нашим пользователям больше продуктов и инструментов, чтобы сказать «да» и получить с этим больше преимуществ.

Сегодняшние объявления — это только начало. Исследовательский проект Cloudflare направлен на то, чтобы проверить, могут ли наши сигналы давать лучшие результаты при меньшем сканировании. «Оплата по мере использования» — это перспективное направление, которое мы будем тестировать вместе с партнёрами, считающими, что создатели контента заслуживают справедливого вознаграждения за свою работу. Именно так строился интернет последние 30 лет: кто-то запускает пилотный проект, превращающий «модель сломана» в «вот новая модель», эксперимент за экспериментом. Мы верим, что для наших клиентов ценно быть узнаваемыми в эту новую агентскую эпоху и оптимизировать свой контент для максимальной обнаруживаемости. Но они должны иметь возможность делать это, не отдавая свои самые ценные творческие активы бесплатно.

Веб меняется, и вместе с ним меняются бизнес-модели, на которых он держался. Старый интернет был открытым, нейтральным и стоил того, чтобы в него вкладываться. У нас есть редкий шанс сохранить его таким и построить бизнес-модели, которые будут финансировать его в будущем. Более умные ответы для людей и агентов, задающих вопросы. Справедливая сделка для тех, чьё мастерство, творчество и преданность делу делают эти ответы ценными. Именно так мы реализуем миссию Cloudflare: помогать строить лучший интернет.

С Днём независимости контента!

Строите открытый, готовый к агентам веб? Если вы заинтересованы в том, чтобы узнать больше о программах Ceramic и You, пожалуйста, заполните эту форму. Если вы создаёте поисковую систему и хотите сканировать умнее, мы также будем рады получить от вас сообщение: aeo@cloudflare.com.