Cloudflare Radar: Теперь вы видите Интернет изнутри

Интернет постоянно меняется способами, которые трудно увидеть. Как нам измерить его здоровье, выявить новые угрозы и отследить внедрение новых технологий? Когда мы запустили Cloudflare Radar в 2020 году, нашей целью было проиллюстрировать закономерности Интернета, помогая каждому понять, что происходит с точки зрения безопасности, производительности и использования, на основе агрегированных данных из сервисов Cloudflare. С самого начала измерение, прозрачность и устойчивость Интернета были в основе нашей миссии.

В стартовом посте блога отмечалось: «Сегодня мы запускаем три ключевых компонента: Radar Internet Insights, Radar Domain Insights и Radar IP Insights.» Эти компоненты оставались ядром Radar и постоянно расширялись и дополнялись другими наборами данных и возможностями для поддержки этой миссии. Проливая более яркий свет на безопасность Интернета, маршрутизацию, нарушения трафика, внедрение протоколов, DNS, а теперь и на ИИ, Cloudflare Radar стал все более комплексным источником информации и аналитики. И несмотря на расширяющуюся сферу охвата, мы сосредоточились на сохранении «легкого доступа» к Radar, развивая нашу информационную архитектуру, делая наши поисковые возможности более мощными и создавая всё на основе мощного, общедоступного API.

Теперь, как никогда ранее, важна наблюдаемость в Интернете. Новые протоколы и варианты использования конкурируют с новыми угрозами безопасности. На связь угрожают не только ошибочные строительные машины, но и правительства, практикующие целевое блокирование контента. Cloudflare Radar находится в уникальном положении, чтобы обеспечить действенную видимость этих тенденций, угроз и событий с аналитикой на локальном, сетевом и глобальном уровнях, охватывающей множество наборов данных. Ниже мы рассмотрим некоторые ключевые моменты эволюции Radar за пять лет с момента его запуска, взглянув на то, как Cloudflare Radar создает одно из самых комплексных представлений в отрасли о том, что происходит в Интернете.

Команда Cloudflare Research применяет практический подход к исследованиям, берясь за проекты, которые имеют потенциал оказать большое влияние. Ряд этих проектов был в сфере безопасности, и для трех из них мы сотрудничали, чтобы перенести связанные наборы данных в Radar, подчеркивая влияние этих проектов.

Запуск в 2025 году раздела Certificate Transparency (CT) на Radar стал кульминацией нескольких месяцев совместной работы по расширению видимости ключевых метрик для экосистемы Certificate Transparency, что позволило нам отказаться от первоначальной панели управления Merkle Town CT, запущенной в 2018 году. Цифровые сертификаты являются основой доверия в современном Интернете, а Центры сертификации (CAs) выступают в качестве доверенных хранителей, выпуская эти сертификаты, причем журналы CT предоставляют общедоступную, проверяемую запись каждого выданного сертификата, что позволяет обнаруживать мошеннические или ошибочно выданные сертификаты. Информация, доступная в новом разделе CT, позволяет пользователям изучить сведения об этих сертификатах и ЦС, а также о журналах CT, которые фиксируют информацию о каждом выданном сертификате.

В 2024 году члены исследовательской команды Cloudflare сотрудничали с внешними исследователями, чтобы опубликовать статью под названием «Global, Passive Detection of Connection Tampering». Среди выводов, представленных в статье, отмечалось, что глобально около 20% всех подключений к Cloudflare неожиданно закрываются до того, как происходит какой-либо полезный обмен данными. Это неожиданное закрытие соответствует вмешательству в соединение со стороны третьей стороны, что может происходить, например, когда репрессивные правительства стремятся заблокировать доступ к веб-сайтам или приложениям. Сотрудничая с исследовательской командой, мы добавили видимость сбросов и таймаутов TCP на страницу безопасности сетевого уровня в Radar. Этот график, такой как пример ниже для Туркменистана, дает представление о потенциальной активности по вмешательству в соединения глобально и на уровне страны. Изменения и тенденции, видимые на этом графике, можно использовать для подтверждения сообщений о блокировке контента и других локальных ограничениях на подключение к Интернету.

Исследовательская команда работает над посквантовым шифрованием с 2017 года, стремясь опередить улучшения в квантовых вычислениях, чтобы помочь обеспечить устойчивость сегодняшних зашифрованных данных и коммуникаций к расшифровке в будущем. Они возглавили стремление внедрить посквантовое шифрование во всю инфраструктуру и сервисы Cloudflare, и в 2023 году мы объявили, что оно будет включено в наши сервисы доставки, доступные для всех и бесплатно, навсегда. Однако для полного использования преимуществ необходима поддержка и на стороне клиента, поэтому, чтобы отслеживать это, мы совместно добавили график на страницу Adoption & Usage в Radar, который отслеживает долю HTTPS-трафика запросов, зашифрованного посквантовыми методами. Начав 2024 год с менее 3%, она выросла до чуть более 47%, благодаря тому, что основные браузеры и библиотеки кода активировали поддержку посквантового шифрования по умолчанию.

Быстрое распространение и рост ИИ-платформ после запуска OpenAI ChatGPT в ноябре 2022 года перевернуло множество отраслей. Это особенно верно для создателей контента. За последние несколько десятилетий они обычно разрешали сканировать свои сайты в обмен на трафик, который поисковые системы отправляли обратно к ним — трафик, который можно было монетизировать различными способами. Однако два события изменили эту динамику. Во-первых, ИИ-платформы начали агрессивно сканировать эти сайты, чтобы собирать контент для обучения своих моделей (без какой-либо компенсации создателям контента). Во-вторых, поисковые системы превратились в системы ответов, drastically сократив объем трафика, который они отправляют обратно на сайты. Это привело к тому, что владельцы контента стали требовать решения.

Среди этих решений — предоставление клиентам большей видимости о том, как часто ИИ-краулеры сканируют их контент, и Radar построил на этом возможность предоставлять агрегированные перспективы этой активности. Страница AI Insights в Radar предоставляет графики, основанные на трафике сканирования, включая тенденции трафика по ботам и тенденции трафика по цели сканирования, оба из которых также могут быть разбиты по набору отраслей. Клиенты могут сравнивать тенденции трафика, которые мы показываем на панели управления, с тенденциями в их отрасли.

Одним из ключевых показателей является соотношение сканирования к реферальному трафику: мера того, сколько HTML-страниц потребляет краулер по сравнению с количеством посещений страниц, которые они возвращают на сканируемый сайт. Взгляд на эти соотношения по платформам и на то, как они меняются со временем, дает создателям контента представление о том, насколько значительны дисбалансы взаимного трафика и каково влияние продолжающегося перехода поисковых систем в системы ответов.

За три десятилетия скромный файл robots.txt служил своего рода привратником для веб-сайтов, сообщая краулерам, разрешено ли им получать доступ к контенту на сайте, и если да, то к какому. Благовоспитанные краулеры читают и анализируют файл и соответствующим образом корректируют свою активность по сканированию. На основе файлов robots.txt, найденных среди 10 000 лучших доменов Radar, страница AI Insights в Radar показывает сколько из этих сайтов явно разрешают или запрещают этим ИИ-краулерам доступ к контенту и насколько полон этот доступ/ограничение. С возможностью фильтровать данные по категориям доменов, этот график может предоставить владельцам сайтов видимость о том, как их коллеги могут справляться с этими ИИ-краулерами.

Маршрутизация — это процесс выбора пути через одну или несколько сетей, а в контексте Интернета маршрутизация выбирает пути для пакетов Интернет-протокола (IP), чтобы они могли пройти от источника к месту назначения. Это абсолютно критически важно для функционирования Интернета, но многое может пойти не так, и когда это происходит, это может вывести из строя всю сеть. (И в зависимости от сети, более широкий радиус воздействия на сайты, приложения и других поставщиков услуг может быть затронут.)

Видимость маршрутизации предоставляет информацию о состоянии сети и ее отношениях с другими сетями. Эти сведения могут помочь выявить или устранить проблемы, когда они возникают. Среди наиболее значительных проблем, которые могут произойти, — утечки маршрутов и перехваты происхождения. Утечки маршрутов происходят, когда объявление о маршрутизации распространяется за пределы своей предполагаемой области — то есть когда объявление достигает сетей, которые не должны его получать. Перехват происхождения происходит, когда злоумышленник создает поддельные объявления для целевого префикса, ложно идентифицируя автономную систему (AS) под своим контролем как источник префикса — другими словами, злоумышленник заявляет, что его сеть отвечает за данный набор IP-адресов, что приведет к маршрутизации трафика к этим адресам к нему.

В 2022 и 2023 годах соответственно мы добавили обнаружение утечек маршрутов и перехватов происхождения в Radar, предоставив сетевым операторам и другим заинтересованным группам (например, исследователям) информацию, которая помогает определить, какие сети могут быть участниками таких событий, будь то в роли источника утечки/перехватчика или жертвы. И, возможно, что более важно, в 2023 году мы также запустили уведомления об утечках маршрутов и перехватах происхождения, автоматически оповещая подписчиков по электронной почте или через вебхук, когда такое событие обнаруживается, позволяя им немедленно принять меры.

В 2025 году мы дополнительно улучшили эту видимость, добавив две дополнительные возможности. Первой была видимость маршрутов BGP в реальном времени, которая показывает, как данный сетевой префикс связан с другими сетями — каков маршрут, который пакеты проходят от этого набора IP-адресов до крупных провайдеров сетей «уровня 1»? Сетевые администраторы могут использовать эту информацию при столкновении с сетевыми сбоями, внедрении новых развертываний или расследовании утечек маршрутов.

AS-SET — это группировка связанных сетей, исторически используемая для различных целей, таких как объединение списка нижестоящих клиентов определенного сетевого провайдера. Наш недавно анонсированный мониторинг AS-SET позволяет сетевым операторам отслеживать действительные и недействительные членства в AS-SET для своих сетей, что может помочь предотвратить misuse и проблемы, такие как утечки маршрутов.

Хотя Radar исторически был сосредоточен на предоставлении четких, информативных визуализаций, мы также запустили возможности, которые позволяют пользователям получать доступ к исходным данным более напрямую, позволяя им использовать их более программным образом. Наиболее важной из них является Radar API, запущенная в 2022 году. Требуя всего лишь токен доступа, пользователи могут получить доступ ко всем данным, отображаемым на Radar, а также к некоторым более продвинутым фильтрам, которые предоставляют более конкретные данные, позволяя им интегрировать данные Radar в свои собственные инструменты, веб-сайты и приложения. В примере ниже показан простой вызов API, который возвращает глобальное распределение трафика людей и ботов, наблюдаемого за последние семь дней.

curl -X 'GET' 
'https://api.cloudflare.com/client/v4/radar/http/summary/bot_class?name=main&dateRange=1d' 
-H 'accept: application/json' 
-H 'Authorization: Bearer $TOKEN'

{
  "success": true,
  "errors": [],
  "result": {
    "main": {
      "human": "72.520636",
      "bot": "27.479364"
    },
    "meta": {
      "dateRange": [
        {
          "startTime": "2025-10-19T19:00:00Z",
          "endTime": "2025-10-20T19:00:00Z"
        }
      ],
      "confidenceInfo": {
        "level": null,
        "annotations": []
      },
      "normalization": "PERCENTAGE",
      "lastUpdated": "2025-10-20T19:45:00Z",
      "units": [
        {
          "name": "*",
          "value": "requests"
        }
      ]
    }
  }
}

Протокол контекста модели (MCP) — это стандартный способ предоставления информации для больших языковых моделей (LLM). В некоторой степени похожий на то, как работает интерфейс прикладного программирования (API), MCP предлагает документированный, стандартизированный способ интеграции услуг из внешнего источника для компьютерной программы. По сути, он позволяет ИИ программам выходить за пределы их обучения, позволяя им включать новые источники информации в процесс принятия решений и генерации контента, и помогает им подключаться к внешним инструментам. Сервер Radar MCP позволяет клиентам MCP получать доступ к данным и инструментам Radar, обеспечивая исследование с использованием запросов на естественном языке.

Сканер URL Radar оказался одним из его самых популярных инструментов, просканировав миллионы сайтов с момента запуска в 2023 году. Он позволяет пользователям безопасно определить, может ли сайт содержать вредоносный контент, а также предоставляет информацию об используемых технологиях и сведения о заголовках, файлах cookie и ссылках сайта. Помимо доступности на Radar, он также доступен через API и сервер MCP.

Наконец, пользовательский интерфейс Radar претерпел ряд улучшений за последние несколько лет в целях повышения удобства использования и улучшения пользовательского опыта. По мере запуска новых наборов данных и возможностей они добавляются в строку поиска, позволяя пользователям искать не только страны и ASN, но и префиксы IP-адресов, центры сертификации, имена ботов, IP-адреса и многое другое. Изначально запущенный всего с несколькими диапазонами дат по умолчанию (такими как последние 24 часа, последние 7 дней и т.д.), мы расширили количество вариантов по умолчанию, а также позволили пользователю выбирать пользовательские диапазоны дат длиной до одного года. И поскольку Интернет глобален, Radar тоже должен быть таким. В 2024 году мы запустили интернационализированные версии Radar, отметив доступность сайта на 14 языках/диалектах, включая загружаемый и встроенный контент.

Это пример обновлений и улучшений, которые мы внесли в Radar за последние пять лет в поддержку измерения, прозрачности и устойчивости Интернета. Эти отдельные наборы данных и инструменты объединяются, чтобы предоставить один из самых полных обзоров Интернета, доступных сегодня. И мы еще далеки от завершения. Мы продолжим предоставлять дополнительную видимость скрытым способам изменения Интернета, добавляя больше инструментов, наборов данных и визуализаций, чтобы помочь пользователям находить ответы на большее количество вопросов в областях, включая ИИ, производительность, внедрение и использование, а также безопасность.