День независимости контента: как AI-агенты перестраивают экономику интернета

Год назад мы провозгласили День независимости контента. В то время мы уже видели то, что многие в индустрии начинали осознавать: фундаментальная экономика интернета менялась. Внедрение ИИ ускорялось, у издателей резко падал реферальный трафик, а компании, занимающиеся ИИ, сканировали веб в беспрецедентных масштабах, часто без четкого объявления намерений и почти всегда без компенсации.

Мы изменили настройки по умолчанию. Для всех новых доменов на Cloudflare краулеры для обучения ИИ блокируются по умолчанию, если владельцы доменов не выбирают иное. Мы сделали это не для того, чтобы отгородить веб-стеной. Мы сделали это, потому что верили: для более здоровой экосистемы необходимы прозрачность, контроль, дефицит и, в конечном счете, рынок, где высококачественный контент можно ценить и справедливо обменивать.

Год спустя этот рынок возник. Но трансформация интернета произошла даже быстрее, чем мы ожидали. В этом отчете мы делимся ключевыми данными, которые иллюстрируют, как быстро изменилась бизнес-модель интернета – и что этот новый рынок контента означает для издателей и владельцев сайтов.

ИИ – это не просто очередной технологический цикл. Это смена платформы, происходящая более чем в 2 раза быстрее, чем внедрение смартфонов. Всего за 3,5 года более 30% человечества – 2,5 миллиарда активных пользователей – начали регулярно использовать генеративный ИИ. Кривая внедрения не просто крутая: она вертикальная.

Никогда прежде мы не видели столь быстрых изменений в том, как люди взаимодействуют с информацией, выполняют работу и проводят время в сети.

То, как люди используют интернет, кардинально меняется. Сегодня из каждого часа, проведенного в поиске информации в сети, только 15 минут приходится на открытый веб. Традиционное поисковое поведение рушится по мере того, как пользователи переходят на поиск и потребление с помощью ИИ. Вместо того чтобы посещать несколько сайтов для поиска и сравнения информации, пользователи просто вводят запрос и получают практически мгновенный, обобщенный ответ.

В этом году агентный трафик впервые пересек исторический порог: более 50% трафика в интернете теперь нечеловеческий. Этот сдвиг имеет ошеломляющие последствия для издателей, владельцев контента и будущего открытого веба.

Если посмотреть на краулеры, которые Cloudflare идентифицирует по назначению, состав краулерного трафика говорит сам за себя:

• 52% запросов краулеров по состоянию на июнь 2026 года приходится на обучение ИИ, по сравнению с 22% весной 2025 года.

• Краулеры смешанного использования (сочетающие поиск, агентное использование и обучение) представляют более 36% активности.

• Чисто поисковый краулинг теперь составляет небольшую и сокращающуюся долю общей активности краулеров, хотя он остается критически важным для видимости издателей.

Поскольку обучение ИИ становится основным драйвером активности краулеров, способность различать обнаружение и обучение становится все более важной. Краулеры смешанного использования стирают это различие, ставя владельцев контента в сложное положение: выбирать между сохранением обнаруживаемости в агентную эпоху и отдачей своего самого ценного контента без компенсации.

На протяжении десятилетий экономическая модель открытого веба была простой. Создатели контента обменивали доступ к своему контенту на видимость в поисковых системах, которые возвращали реферальный трафик. Этот трафик был основным механизмом, с помощью которого издатели, создатели и бизнес генерировали экономическую ценность.

Но сегодня этот обмен рушится. Контент по-прежнему сканируется, индексируется и используется, но все чаще без возврата соответствующего трафика к источнику. Поскольку ИИ-системы напрямую отвечают на вопросы, сравнивают товары, проводят исследования и выполняют задачи, информация из открытого веба все чаще становится частью систем обучения и поиска ИИ. Экзистенциальный вопрос, который это поднимает, прост: если контент потребляется без того, чтобы аудитория посещала источник, как создатели контента могут поддерживать свое существование?

Первыми отраслями, ощутившими влияние, стали новостные организации и медиакомпании. Сегодня аналогичная динамика затрагивает бизнесы в розничной торговле, программном обеспечении, ИТ и финансах. В некоторых наиболее активно сканируемых категориях человеческий трафик снизился до 40% менее чем за год.

Многие издатели сейчас готовятся к тому, что они называют "Google Zero" — миру, где трафик от поисковых рефералов практически отсутствует.

Последствия распространяются практически на все отрасли. Любая организация, публикующая проприетарную информацию в интернете, должна будет понять, как работать в агентную эпоху. Эта динамика важна не только для владельцев контента, но и для всех нас. Интернет — это критически важная часть глобальной экономики и один из самых важных общественных ресурсов для поиска информации. Обеспечение его здоровья и устойчивости необходимо для всех.

Когда мы запускали День независимости контента, мы взяли на себя три обязательства:

1. Прозрачность и контроль для владельцев сайтов, позволяющие им определять, как их контент используется и монетизируется.

2. Инструменты, создающие дефицит, смещая баланс сил обратно к владельцам контента.

3. Торговая площадка, где создатели контента и ИИ-компании любого размера могут более эффективно находить, лицензировать и определять ценность контента.

Год спустя рынок монетизированного контента существует, и формируются условия для динамичной торговой площадки.

Исторически у издателей была ограниченная видимость того, как ИИ-компании получают доступ к их контенту и используют его. По мере снижения реферального трафика эта нехватка видимости стала экономической проблемой, побуждая издателей искать новые способы получения ценности.

Инструменты атрибуции, бизнес-аналитики и принудительного исполнения Cloudflare дали издателям видимость потребления контента ИИ на сетевом уровне — механизм принуждения, гораздо более эффективный, чем добровольные стандарты вроде robots.txt. Впервые издатели могли определить, как их контент используется и монетизируется. Этот контроль создал дефицит и привел к экономике контента, основанной на спросе и предложении.

Издатели, которые осуществляли контроль над доступом, успешно создали дефицит, что дало им рычаги влияния для заключения более выгодных сделок. Впервые издатели получили атрибуционные данные на уровне оператора — доказательства того, как часто LLM пытались получить доступ к их контенту, какие конкурирующие LLM сканировали, какие URL были наиболее востребованы и каково было соотношение сканирований к рефералам. Это уменьшило информационную асимметрию в переговорах по лицензированию и позволило издателям вести переговоры с позиции знания.

Этот рычаг дал нашим клиентам силу. По мере того как они получали большую видимость того, как ИИ-системы получают доступ к их контенту и используют его, они стали лучше понимать последствия для своего бизнеса и более уверенно формулировать ценность информации, бренда и аудитории, которые они создали.

По мере того как баланс сил между владельцами контента и ИИ-компаниями начинает меняться, возникает экономика лицензирования: 

• С 2023 года подписано более 50 соглашений между издателями и ИИ-компаниями.

• Крупные ИИ-компании теперь активно лицензируют контент, все чаще признавая ценность дифференцированного и премиального контента.

• Продолжают появляться и масштабироваться модели коллективного лицензирования.

• Крупные издатели заключают значимые лицензионные соглашения, демонстрируя, что контент имеет реальную экономическую ценность в экосистеме ИИ.

Разговор уже не о том, должен ли контент оплачиваться. Теперь разговор о том, как.

Ранние лицензионные соглашения доказали существование спроса, но лицензирование сегодня по-прежнему в значительной степени остается индивидуальным и вряд ли полностью заменит потерянные доходы от рефералов, рекламы и партнерских программ. В результате издатели все чаще оптимизируют контент для потребления ИИ наряду с традиционным человеческим поиском, одновременно изучая новые пути монетизации.

Предложение и спрос по-прежнему сложно эффективно сопоставить, и хотя существует понимание, что не весь контент имеет одинаковую ценность, оценка контента остается нерешенной.

Обсуждение этого рынка не будет полным без рассмотрения уникальной роли Google. Google остается доминирующим шлюзом для онлайн-поиска, обеспечивая около 88% реферального трафика. Но все чаще Google помогает пользователям потреблять контент непосредственно в рамках собственных ИИ-опытов Google.

Поиск и потребление служат принципиально разным целям. Поиск направляет пользователей к контенту, в то время как ИИ-опыты все чаще обобщают и повторно используют его, не требуя от пользователей посещения источника. Владельцы сайтов по-разному относятся к этим действиям, потому что одно генерирует трафик, а другое все чаще его заменяет.

Эти различия становятся особенно важными, когда владельцы сайтов решают, кому разрешить доступ к своему контенту и для каких целей. Большинство ведущих ИИ-компаний разделяют краулеры для поиска и краулеры для обучения, что позволяет издателям относительно легко предоставлять доступ к контенту для той или иной цели. Google этого не делает. Сегодня Google имеет доступ примерно к 2x большему объему информации, чем ведущие ИИ-компании, поскольку использует смешанный бот, из-за чего клиентам сложно участвовать в поисковой экосистеме Google, не участвуя также в ИИ-экосистеме Google.

В отличие от других поставщиков ИИ, смешанный краулер Google также ограничивает прозрачность для владельцев сайтов. Поскольку поиск и доступ ИИ объединены в один краулер, издатели не могут определить, зачем Google получает доступ к их контенту, или отличить трафик, используемый для поиска, от трафика, используемого для ИИ-опытов. Они также теряют видимость и доказательства, которые дает возможность разрешать или блокировать эти действия независимо на уровне сети.

Эта динамика ускорила спрос на большую прозрачность и контроль, а также на новые модели монетизации, чтобы лучше обслуживать как владельцев контента, так и ИИ-компании всех размеров.

Cloudflare находится на пересечении формирующейся агентной экономики.

Более 20% веба работает за сетью Cloudflare. 36% самых посещаемых сайтов мира полагаются на нашу сеть, и более 40% компаний из списка Fortune 500 являются клиентами Cloudflare. Почти 80% ведущих ИИ-компаний используют Cloudflare, наряду с тысячами разработчиков и emerging ИИ-компаний.

Это уникальное положение дает нам возможность видеть обе стороны рынка. Мы видим создателей контента, создающих контент, ИИ-компании, потребляющие его, и сигналы, которые все чаще связывают их. Эта перспектива дала нам уникальный взгляд на то, как рынок развивался в течение последнего года и что ему теперь нужно.

По мере того как издатели и ИИ-компании адаптируются к новой агентной экономике, Cloudflare получил более четкое понимание того, что сейчас нужно экосистеме.

Владельцам контента все больше нужны видимость и контроль над тем, кто получает доступ к их контенту, как он используется и для каких целей. ИИ-компании все больше признают, что прозрачность укрепляет доверие и снижает трения с издателями. Видимость и контроль больше не являются только проблемами безопасности — они стали бизнес-требованиями, которые напрямую влияют на лицензионные переговоры и коммерческие решения.

Чтобы помочь сделать прозрачность стандартом, Cloudflare продолжает инвестировать в улучшенную атрибуцию, измерение и контроль для издателей, которые дают владельцам контента большую видимость и контроль над тем, как их контент используется и кем.

По мере того как индустрия движется к большей прозрачности, мы считаем, что верифицируемая самоидентификация ботов и заявления о намерениях сканирования являются основополагающими для устойчивой экосистемы. Сегодня более трети активности краулеров в нашей сети по-прежнему исходит от смешанных ботов, которые не позволяют владельцам контента различать намерения сканирования. Мы активно взаимодействуем с экосистемой и инвестируем в инструменты, чтобы к этому времени в следующем году снизить это число до нуля.

За последний год стало все более очевидно, что ИИ-компаниям нужен не просто доступ к контенту. Им нужны лучшие способы определять, к чему получать доступ, когда это делать и как часто контент меняется. Бездумное сканирование тратит вычислительные ресурсы ИИ-компаний и создает ненужную нагрузку на пропускную способность для издателей, снижая эффективность всей экосистемы.

Мы считаем, что лучшие ответы требуют лучшей информации. Мы инвестируем в сигналы актуальности в реальном времени с более богатыми показателями доверия, качества и релевантности, чтобы помочь ИИ-компаниям обнаруживать дифференцированную информацию, одновременно сокращая ненужное сканирование по всему вебу.

Мы считаем, что лучшему ценообразованию должно предшествовать лучшее обнаружение. Чтобы рынок созрел, издателям и ИИ-компаниям нужна лучшая информация друг о друге. Мы инвестируем в более богатую рыночную аналитику, сигнализацию контента и возможности, которые улучшают обнаружение между обеими сторонами экосистемы, закладывая основу для более масштабируемых рыночных механизмов с течением времени.

Год назад «День независимости контента» представил простую идею: владельцы контента должны иметь больший контроль над тем, как ИИ-компании получают доступ и используют их информацию.

За последние двенадцать месяцев этот контроль помог породить рынок. Прозрачность создала дефицит. Дефицит создал рычаги влияния. Рычаги ускорили лицензирование. То, что когда-то было теоретическим обсуждением будущего ИИ и контента, стало активным рынком, где издатели, ИИ-компании и поставщики технологий адаптируются к новому набору экономических реалий.

Рынок сейчас входит в новую фазу, требующую новой инфраструктуры. Поскольку интернет становится все более агентным, базовые системы, которые его поддерживают, должны развиваться, чтобы обрабатывать разрешения, лицензирование и коммерческие транзакции в масштабе. Владельцам контента и ИИ-компаниям нужны более эффективные способы связи и обмена ценностью. Мы считаем, что эти возможности объединятся в программируемые, масштабируемые механизмы для обнаружения контента и монетизации – снижая трения и открывая более богатые формы обмена ценностью.

Роль Cloudflare – строить инфраструктуру и бизнес-аналитику, а также вносить вклад в стандарты, которые позволят рынку более эффективно определять ценность и помогать издателям и ИИ-компаниям участвовать в более здоровой и динамичной экономике контента.

Интернет всегда развивался. Эта эволюция быстрее и значительнее, чем большинство других. Но с правильной инфраструктурой, правильными стимулами и приверженностью прозрачности мы считаем, что агентный интернет может стать более устойчивым, более эффективным и лучшим для всех.

Методология: Данные в этом отчете составлены из Cloudflare Radar и Презентации Cloudflare Investor Day 2026.

Cloudflare Radar — это центр, демонстрирующий глобальные тенденции и аналитику интернет-трафика, атак и технологий. Созданный на основе данных глобальной сети Cloudflare, Radar был разработан, чтобы помочь любому понять, что происходит в интернете с точки зрения безопасности, производительности и использования.