Cloudflare Threat Intelligence: Анализ угроз без сложных ETL-процессов

На протяжении многих лет индустрия кибербезопасности страдает от проблемы «гравитации данных». Специалисты по безопасности завалены миллиардами строк телеметрии, но при этом им не хватает практической информации для принятия решений.

Платформа угроз (Threat Intelligence Platform, TIP) — это централизованная система безопасности, которая собирает, агрегирует и систематизирует данные об известных и новых киберугрозах. Она служит жизненно важным связующим звеном между сырой телеметрией и активной защитой.

Базовая архитектура платформы угроз Cloudflare отличает её от других решений. Мы развили нашу Платформу угроз, чтобы исключить необходимость в сложных ETL-конвейерах (Extract, Transform, Load), используя сегментированную архитектуру на базе SQLite. Запуская GraphQL непосредственно на граничной сети, команды безопасности теперь могут визуализировать угрозы и автоматизировать реакцию на них в реальном времени. Вместо одной массивной базы данных мы распределяем события угроз (Threat Events) по тысячам логических сегментов — это означает задержку запросов менее секунды, даже при агрегации миллионов событий из глобальных наборов данных.

Объединяя нашу глобальную телеметрию с ручными расследованиями, которые проводят наши аналитики, наша платформа разведданных создаёт единый источник истины, позволяющий командам безопасности перейти от наблюдения за угрозой к её упреждающей блокировке в сети Cloudflare. Мы считаем, что ваша платформа разведданных не должна просто сообщать вам, что что-то «плохо»; она должна объяснять, почему это происходит, кто за этим стоит, и автоматически предотвращать повторение ситуации.

В этой статье мы рассмотрим некоторые функции, которые делают опыт работы с Cloudforce One мощным и эффективным.

Когда мы анонсировали команду Cloudforce One в 2022 году, мы быстро поняли, что для отслеживания инфраструктуры злоумышленников требуются инструменты, которых ещё не существует. Поэтому мы создали свои.

То, что начиналось как внутренний проект, превратилось в облачную, способную к автономным действиям Платформу угроз (TIP), разработанную для наших пользователей. Мы перешли от концептуализации «наблюдаемых» событий в различных наборах данных к созданию платформы, которая отображает весь жизненный цикл угрозы. Сегодня платформа угроз Cloudflare позволяет связывать злоумышленников с вредоносным ПО, связывать расследования с индикаторами компрометации и хранить всё в единой экосистеме.

Мы выходим за рамки простого доступа к данным, чтобы предоставить вашему SOC полностью интегрированный, визуальный и автоматизированный командный центр. Наша мотивация при создании этой TIP проистекает из основных принципов эффективной разведки угроз: релевантность, точность и практическая применимость. Нам нужна была высокомасштабируемая система, которая может интегрировать несколько наборов данных, поддерживать мультитенантность, обеспечивать групповой обмен и обмен между клиентами, а также эффективно масштабироваться на граничной сети.

Используя Cloudflare Workers, мы создали стэк разработчика нового поколения, который обеспечивает быстрые инновации. Теперь мы можем синтезировать миллионы событий угроз в графики и диаграммы в реальном времени и мгновенно отвечать на критические вопросы: что произошло? И что это значит?

Поскольку наш GraphQL endpoint встроен в тот же Worker, который управляет платформой событий угроз, ваши данные всегда актуальны, и нет задержек между получением данных и их доступностью. Независимо от того, применяете ли вы сложный анализ или углубляетесь в конкретное событие, платформа реагирует мгновенно. По мере развития среды выполнения Workers наша TIP автоматически наследует эти оптимизации. Например, Smart Placement гарантирует, что наши Workers, обрабатывающие запросы, физически расположены рядом с Durable Objects, к которым они обращаются, что минимизирует задержки. А возможность использовать более высокие лимиты CPU и Hyperdrive позволяет нам поддерживать пулы соединений с высокой производительностью прямо на границе, а не переносить логику в единый дата-центр.

Хотя SIEM (Security Information and Event Management) предназначен для агрегации логов в реальном времени и немедленного оповещения, ему часто не хватает специализированной схемы и долгосрочного хранения, необходимых для глубокого отслеживания злоумышленников. Наша TIP заполняет этот пробел, выступая в качестве выделенного слоя разведки, который обогащает сырые логи историческими моделями поведения злоумышленников. Цель нашей платформы — не заменить SIEM, а дополнить его. Наша TIP обеспечивает долгосрочное, структурированное хранение событий угроз — сохраняемых и индексируемых на границе — необходимое для преодоления разрыва между технической телеметрией и стратегическим пониманием.

Cloudflare Managed Defense и Платформа угроз созданы для работы в симбиотическом цикле, создавая мощный мультипликатор усилий для обнаружения и реагирования на угрозы. Интегрируя TIP напрямую с SOC, аналитики получают немедленный, богатый контекст для любого оповещения или события. Вместо того чтобы просто видеть аномальный IP-адрес или подозрительный хеш файла, команда SOC может мгновенно увидеть его историю, связь с известными субъектами угроз, его роль в более широких кампаниях и оценку риска, определённую аналитикой TIP. Этот немедленный контекст устраняет трудоёмкие ручные исследования и позволяет принимать более быстрые и точные решения.

И наоборот, по мере того как команда аналитиков разведки расследует инциденты и ищет новые угрозы, их находки становятся crucial source of new intelligence.

Вновь обнаруженные индикаторы компрометации (IOC) возвращаются в TIP, обогащая платформу для всех пользователей и усиливая её автоматизированную защиту. Этот непрерывный цикл обратной связи гарантирует, что разведданные всегда актуальны и основаны на наблюдениях из реального мира, обеспечивая беспрецедентную видимость ландшафта угроз и позволяя командам безопасности перейти от реактивной к проактивной защитной позиции.

Чтобы каждая часть телеметрии Cloudforce One была полезной для действий, нам пришлось решить фундаментальную проблему хранения: как обеспечить низкую задержку и сложные запросы к миллиардам событий без накладных расходов традиционной централизованной базы данных?

Мы выбрали сегментированную архитектуру, построенную на Durable Objects с поддержкой SQLite. Распределяя события угроз по этому флоту единиц хранения с высокой кардинальностью, мы гарантируем, что ни одна база данных не станет точкой конфликта при высокоинтенсивном сборе данных. Каждый сегмент — это Durable Object, предоставляющий согласованный транзакционный интерфейс к своей собственной частной базе данных SQLite.

Эта архитектура позволяет нам использовать весь стэк разработчика Cloudflare. Мы используем Cloudflare Queues для асинхронного приёма и распределения входящей телеметрии, гарантируя, что всплески атак с высоким объёмом не насыщают нашу пропускную способность записи. После приёма данные сохраняются в R2 для долгосрочного хранения, в то время как «горячий» индекс остаётся в хранилище SQLite Durable Object для мгновенного извлечения.

Реальная сила этого подхода видна во время поиска. Когда пользователь отправляет запрос к нашему GraphQL endpoint — который также работает в Worker — платформа не запрашивает одну таблицу. Вместо этого она параллельно распространяет запрос на несколько Durable Objects. Поскольку Durable Objects распределены по нашей глобальной сети, мы можем агрегировать результаты с минимальной задержкой. После проверки прав пользователя и исключения сегментов, которые не содержат наших событий (по дате), вот упрощённый взгляд на то, как Worker обрабатывает многосегментное распределение запроса (fan-out):

// A conceptual look at fanning out a query to multiple shards
async function fetchFromShards(shards, query) {
  const promises = shards.map(shardId => {
    const stub = TELEMETRY_DO.get(shardId);
    return stub.querySQLite(query); // Calling the DO's storage method
  });

  // Parallel execution across the Cloudflare network
  const results = await Promise.all(promises);
  return results.flat();
}

Этот параллелизм обеспечивает плавный опыт независимо от того, проверяете ли вы один набор данных за год истории или синтезируете активность за месяц по каждому набору данных в вашей учётной записи. Перемещая вычисления — выполнение SQL — туда, где находятся данные, мы устраняем узкое место в виде единой монолитной базы данных.

Цифры в таблице не рассказывают историй; это делают паттерны. Мы представили динамическую визуализацию, чтобы помочь вам «увидеть» ландшафт угроз.

• Диаграммы Санкея (Sankey Diagrams) для отслеживания потока атак от источника к цели, выявления регионов, подвергающихся наибольшим атакам, и определения места нахождения инфраструктуры.

• Распределение атак по отраслям и наборам данных, позволяющее пользователям мгновенно изменить представление, чтобы увидеть, нацелена ли конкретная кампания на ваш сектор (например, финансы или розничная торговля) или это широкомасштабная атака общего характера.

Отдельный индикатор, такой как IP-адрес, имеет ограниченную полезность без исторического и реляционного контекста. Мы структурировали наши Threat Insights так, чтобы они служили точкой сопряжения, позволяя вам коррелировать разрозненные события угроз из множества наборов данных в единую, связную кампанию или эксплойт.

Вместо ручного перекрестного сопоставления платформа автоматически связывает нашу внутреннюю номенклатуру субъектов с признанными отраслевыми псевдонимами — например, связывая наше внутреннее отслеживание с «Fancy Bear» или «APT28». Это гарантирует, что телеметрия вашей локальной среды мгновенно становится совместимой с более широкими глобальными исследованиями и каналами разведки об угрозах.

Сохраненные конфигурации и уведомления в реальном времени помогают вам получать оповещения в тот момент, когда наша телеметрия совпадает с вашими пользовательскими фильтрами, позволяя реагировать со скоростью периферийной сети. Эффективный поиск угроз требует возможности фильтровать глобальную телеметрию по конкретным техническим атрибутам. Платформа поддерживает поиск с высокой мощностью кардинальности по всему нашему набору данных — включая IP-адреса, хэши файлов, домены и отпечатки JA3 — при этом результаты обычно возвращаются за несколько секунд.

Чтобы выйти за рамки ручного поиска, вы можете сохранить эти параметры запроса как готовые конфигурации. Эти конфигурации служат триггерами для нашего механизма уведомлений в реальном времени; когда входящая телеметрия совпадает с вашими определенными фильтрами, платформа отправляет оповещение на настроенные вами конечные точки. Этот переход от поиска по запросу (pull-based) к оповещению по событию (push-based) гарантирует, что ваш стек безопасности может реагировать на совпадения сразу после их получения нашей глобальной сетью.

Разведданные являются «пригодными для действий» только в том случае, если они приводят к сокращению поверхности атаки. Мы создали TIP (Threat Intelligence Platform) для автоматического преобразования сырой телеметрии в правила безопасности.

Для организаций, использующих сторонние или собственные платформы SIEM или SOAR, совместимость является обязательным требованием. Однако сопоставление разрозненных внутренних схем данных со стандартом STIX2 (Structured Threat Information eXpression) традиционно является задачей ETL с высокой задержкой. Мы перенесли это преобразование на периферию.

Когда пользователь запрашивает экспорт в STIX2, Worker динамически преобразует наши внутренние записи SQLite в схему JSON STIX2. Это означает, что мы сначала конвертируем сырые IP-адреса, хэши файлов и доменные имена в стандартизированные STIX-кибернаблюдаемые объекты. Затем мы определяем объекты отношений, используя внутреннее сопоставление платформы, чтобы связать объекты indicator с объектами threat-actor или malware, сохраняя контекст расследования. Наконец, мы автоматически управляем метками времени modified и created в UTC, чтобы ваши последующие инструменты могли отслеживать развитие угрозы.

Помимо экспорта, платформа позволяет вам замкнуть цикл между обнаружением и защитой. Когда вы идентифицируете вредоносный шаблон на диаграмме Санкей или конкретную кампанию актора, вы можете одним щелчком создать правило безопасности.

Внутри TIP напрямую взаимодействует с Cloudflare Firewall Rules API. Он берет отфильтрованные атрибуты вашего расследования (например, определенный отпечаток JA3 в сочетании со списком известных вредоносных ASN) и компилирует их в правило сетевого протокола, которое развертывается в нашей глобальной сети за секунды.

В то время как автоматизация обрабатывает основной объем телеметрии, самые сложные угрозы требуют человеческой интуиции. Мы интегрировали Портал запросов информации (RFI) непосредственно в платформу, позволяя пользователям поручать аналитикам Cloudforce One углубленные расследования.

С технической точки зрения, система RFI — это не просто портал заявок; это конвейер обогащения данных. Когда подписчик использует определенное количество «жетонов» для инициации запроса, рабочий процесс запускает серию событий:

• Worker RFI извлекает конкретные идентификаторы событий угроз (Threat Event IDs), связанные с запросом, из шардированного хранилища SQLite, упаковывая соответствующую телеметрию для аналитика

• Аналитики Cloudforce One используют внутреннюю версию TIP для проведения обратного инжиниринга или сопряжения по глобальным наборам данных

• После завершения расследования результаты (новые IOC, атрибуция акторов или заметки о кампаниях) записываются обратно в наш глобальный канал разведданных

Это гарантирует, что «человеческое» понимание не остается просто в PDF-отчете. Вместо этого результирующие метаданные передаются обратно на периферию как событие угрозы, где это уместно, где они могут быть использованы уже настроенными правилами WAF или Firewall. Мы перешли от статичной модели «отчета» к динамической модели «разведданные-как-код», где человеческий анализ напрямую и в реальном времени улучшает автоматическую логику обнаружения платформы.

Переход от управления ETL-конвейерами к активному поиску угроз — это не просто новый интерфейс, но и вопрос того, где происходят вычисления. Переместив уровни хранения, агрегации и визуализации в глобальную сеть Cloudflare, мы устранили «гравитацию данных», которая обычно замедляет работу SOC. Защитникам больше не нужно ждать синхронизации логов с центральным репозиторием, чтобы спросить: «Связан ли этот IP с известной кампанией?» Ответ теперь доступен на периферии, в той же среде, где фильтруется трафик.

Чтобы эта информация была доступна независимо от размера вашей команды или конкретных требований, мы структурировали доступ к Cloudforce One на три функциональных уровня:

• Cloudforce One Essentials позволяет клиентам получать доступ к стандартным наборам данных о событиях угроз, искать индикаторы и проводить расследования по поиску угроз.

• Cloudforce One Advantage позволяет клиентам получать доступ к пользовательским аналитическим данным наших аналитиков Threat Intelligence через запросы информации.

• Cloudforce One Elite, полный пакет, включает защиту бренда, большое количество запросов информации и доступ ко всем наборам данных о событиях угроз.

Интернет движется быстро, а инфраструктура, используемая противниками, — еще быстрее. Централизуя вашу телеметрию и логику реагирования в одной интегрированной платформе, вы можете перестать строить конвейеры и начать защищать свою сеть.