То, как контент и бизнесы обнаруживаются в интернете, стремительно меняется. Раньше трафик поступал из традиционных поисковых систем, и SEO определяло, кто будет найден первым. Теперь трафик всё чаще идёт от AI-краулеров и агентов, которым нужны структурированные данные в рамках часто неструктурированной Сети, построенной для людей.
Бизнесу, чтобы и дальше оставаться на шаг впереди, сейчас самое время подумать не только о посетителях-людях или традиционных принципах SEO-оптимизации, но и начать рассматривать агентов как равноправных пользователей.
Почему важен Markdown
«Кормить» AI сырым HTML — всё равно что платить за слово, чтобы прочитать упаковку вместо письма внутри. Простой ## About Us на странице в markdown стоит примерно 3 токена; его HTML-эквивалент — <h2 class="section-title" id="about">About Us</h2> — «сжигает» 12-15, и это не считая <div>-обёрток, навигационных панелей и тегов скриптов, которые заполняют каждую реальную веб-страницу и не несут никакой семантической ценности.
Этот пост в блоге, который вы читаете, занимает 16 180 токенов в HTML и 3 150 токенов при конвертации в markdown. Это сокращение использования токенов на 80%.
Markdown быстро стал лингва франка для агентов и AI-систем в целом. Явная структура этого формата делает его идеальным для обработки AI, что в конечном итоге даёт лучшие результаты при минимизации траты токенов.
Проблема в том, что Веб сделан из HTML, а не markdown, и вес страниц постоянно растёт с годами, что затрудняет их парсинг. Для агентов цель — отфильтровать все несущественные элементы и просканировать релевантный контент.
Конвертация HTML в markdown теперь стала обычным шагом для любого AI-пайплайна. Тем не менее, этот процесс далёк от идеала: он тратит вычислительные ресурсы, добавляет расходы и сложность обработки, и, что самое главное, возможно, это не тот способ, которым создатель контента изначально предполагал его использовать.
Что, если бы AI-агенты могли обойти сложности анализа намерений и конвертации документов и вместо этого получать структурированный markdown прямо из источника?
Конвертируйте HTML в markdown автоматически
Сеть Cloudflare теперь поддерживает конвертацию контента в реальном времени у источника для включённых зон с использованием заголовков согласования контента. Теперь, когда AI-системы запрашивают страницы с любого веб-сайта, который использует Cloudflare и у которого включена функция «Markdown для агентов», они могут выразить предпочтение к text/markdown в запросе. Наша сеть будет автоматически и эффективно конвертировать HTML в markdown, когда это возможно, на лету.
Вот как это работает. Чтобы получить версию страницы в markdown из зоны с включённой функцией «Markdown для агентов», клиенту необходимо добавить заголовок согласования Accept с text/markdown в качестве одного из вариантов. Cloudflare обнаружит это, получит оригинальную HTML-версию с источника и сконвертирует её в markdown, прежде чем передать клиенту.
Вот пример curl с заголовком согласования Accept, запрашивающий страницу из нашей документации для разработчиков:
curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/
-H "Accept: text/markdown"Или если вы создаёте AI-агента с помощью Workers, вы можете использовать TypeScript:
const r = await fetch(
`https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
{
headers: {
Accept: "text/markdown, text/html",
},
},
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();Мы уже видим, что некоторые из самых популярных сегодня coding-агентов — такие как Claude Code и OpenCode — отправляют эти accept-заголовки со своими запросами на контент. Теперь ответ на этот запрос форматируется в markdown. Это так просто.
HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes
---
title: Markdown for Agents · Cloudflare Agents docs
---
## What is Markdown for Agents
The ability to parse and convert HTML to Markdown has become foundational for AI.
...
Обратите внимание, что мы включаем заголовок x-markdown-tokens с конвертированным ответом, который указывает ориентировочное количество токенов в документе markdown. Вы можете использовать это значение в своём потоке, например, для расчёта размера контекстного окна или для принятия решения о стратегии чанкинга.
Вот диаграмма, иллюстрирующая принцип работы:
Политика Content Signals
Во время нашей последней Birthday Week, Cloudflare анонсировала Content Signals — фреймворк, который позволяет любому выразить свои предпочтения относительно того, как его контент может быть использован после получения доступа к нему.
Когда вы возвращаете markdown, вы хотите быть уверены, что ваш контент используется Агентом или AI-краулером. Именно поэтому конвертированные ответы «Markdown для агентов» включают заголовок Content-Signal: ai-train=yes, search=yes, ai-input=yes, сигнализирующий, что контент может быть использован для AI-тренинга, поисковых результатов и AI-ввода, что включает агентское использование. В будущем «Markdown для агентов» предоставит возможности для определения пользовательских политик Content Signal.
Для получения дополнительной информации об этом фреймворке посетите нашу специальную страницу Content Signals.
Попробуйте на Блоге Cloudflare и в Документации для разработчиков
Мы включили эту функцию в нашей Документации для разработчиков и на нашем Блоге, приглашая всех AI-краулеров и агентов потреблять наш контент, используя markdown вместо HTML.
Попробуйте прямо сейчас, запросив этот блог с Accept: text/markdown.
curl https://blog.cloudflare.com/markdown-for-agents/
-H "Accept: text/markdown"Результат:
---
description: The way content is discovered online is shifting, from traditional search engines to AI agents that need structured data from a Web built for humans. It’s time to consider not just human visitors, but start to treat agents as first-class citizens. Markdown for Agents automatically converts any HTML page requested from our network to markdown.
title: Introducing Markdown for Agents
image: https://blog.cloudflare.com/images/markdown-for-agents.png
---
# Introducing Markdown for Agents
The way content and businesses are discovered online is changing rapidly. In the past, traffic originated from traditional search engines and SEO determined who got found first. Now the traffic is increasingly coming from AI crawlers and agents that demand structured data within the often-unstructured Web that was built for humans.
...Другие способы конвертации в Markdown
Если вы создаёте AI-системы, которым требуется произвольная конвертация документов извне Cloudflare, или функция «Markdown для агентов» недоступна от источника контента, мы предоставляем другие способы конвертации документов в Markdown для ваших приложений:
-
Workers AI AI.toMarkdown() поддерживает множество типов документов, не только HTML, а также суммаризацию.
-
Browser Rendering /markdown REST API поддерживает конвертацию в markdown, если вам необходимо отрендерить динамическую страницу или приложение в реальном браузере перед конвертацией.
Отслеживание использования markdown
Предвидя сдвиг в том, как AI-системы просматривают Веб, Cloudflare Radar теперь включает аналитику по типам контента для трафика AI-ботов и краулеров, как глобально на странице AI Insights, так и на страницах информации об отдельных ботах.
Новое измерение и фильтр content_type показывает распределение типов контента, возвращаемых AI-агентам и краулерам, сгруппированное по категориям MIME-типов.
Вы также можете увидеть запросы на markdown, отфильтрованные по конкретному агенту или краулеру. Вот запросы, которые возвращают markdown для OAI-Searchbot, краулера, используемого OpenAI для работы поиска в ChatGPT:
Эти новые данные позволят нам отслеживать эволюцию того, как ИИ-боты, краулеры и агенты потребляют веб-контент с течением времени. Как и всегда, всё в Radar бесплатно доступно через публичные API и Data Explorer.
Начните использовать уже сегодня
Чтобы включить функцию Markdown for Agents для вашей зоны, войдите в панель управления Cloudflare, выберите свой аккаунт, затем зону, найдите раздел "Быстрые действия" и переключите кнопку Markdown for Agents для активации. Эта функция уже доступна в бета-версии бесплатно для тарифов Pro, Business и Enterprise, а также для клиентов SSL for SaaS.
