Защита AI-приложений от Cloudflare: теперь для всех

Решение Cloudflare «Защита приложений на базе ИИ» обнаруживает и нейтрализует угрозы для приложений, работающих на базе искусственного интеллекта. Сегодня мы объявляем о его общедоступном выпуске.

Мы выпускаем его с новыми возможностями, такими как обнаружение пользовательских тем, и делаем обнаружение ИИ-эндпоинтов бесплатным для каждого клиента Cloudflare — включая тарифы Free, Pro и Business — чтобы каждый мог видеть, где ИИ развёрнут в его интернет-приложениях.

Мы также объявляем о расширении сотрудничества с IBM, которая выбрала Cloudflare для обеспечения ИИ-безопасности своих облачных клиентов. И мы становимся партнёрами Wiz, чтобы предоставить общим клиентам единое представление об их безопасности в сфере ИИ.

У традиционных веб-приложений есть определённые операции: проверить баланс счёта, сделать перевод. Для защиты таких взаимодействий можно писать детерминированные правила.

Приложения и агенты на базе ИИ — другие. Они принимают естественный язык и генерируют непредсказуемые ответы. Нет фиксированного набора операций для разрешения или запрета, потому что входные и выходные данные вероятностны. Злоумышленники могут манипулировать большими языковыми моделями для выполнения несанкционированных действий или утечки конфиденциальных данных. Инъекция промптов, раскрытие конфиденциальной информации и неограниченное потребление ресурсов — лишь некоторые из рисков, перечисленных в OWASP Top 10 для LLM-приложений.

Эти риски возрастают, когда ИИ-приложения становятся агентами. Когда ИИ получает доступ к вызовам инструментов — обработке возвратов, изменению аккаунтов, предоставлению скидок или доступу к данным клиентов — один злонамеренный промпт превращается в инцидент безопасности.

Клиенты рассказывают нам, с чем они сталкиваются. "Большинство команд Newfold Digital внедряют свои собственные средства защиты для генеративного ИИ, но все так быстро внедряют инновации, что рано или поздно неизбежно появятся пробелы", — говорит Рик Радингер, главный системный архитектор Newfold Digital, которая управляет Bluehost, HostGator и Domain.com.

Мы создали «Защиту приложений на базе ИИ» для решения этой проблемы. Оно встаёт перед вашими приложениями на базе ИИ, независимо от того, используете ли вы стороннюю модель или размещаете свою собственную, как часть обратного прокси Cloudflare. Оно помогает вам (1) обнаруживать приложения на базе ИИ в вашей веб-среде, (2) выявлять вредоносное или не соответствующее политике поведение на этих эндпоинтах и (3) нейтрализовать угрозы с помощью знакомого конструктора правил WAF.

Прежде чем вы сможете защитить свои приложения на базе LLM, вам нужно знать, где они используются. Мы часто слышим от команд безопасности, что у них нет полной картины развёртывания ИИ в их приложениях, особенно по мере развития рынка LLM и замены разработчиками моделей и провайдеров.

«Защита приложений на базе ИИ» автоматически идентифицирует эндпоинты на базе LLM в вашей веб-среде, независимо от того, где они размещены и какую модель используют. С сегодняшнего дня эта возможность бесплатна для каждого клиента Cloudflare, включая тарифы Free, Pro и Business.

^{Страница веб-активов в панели управления Cloudflare с 2 примерами эндпоинтов, помеченных как cf-llm}

Автоматическое обнаружение этих эндпоинтов требует большего, чем просто сопоставление с распространёнными шаблонами путей, такими как /chat/completions. У многих приложений на базе ИИ нет чат-интерфейса: например, поиск товаров, инструменты оценки недвижимости или системы рекомендаций. Мы создали систему обнаружения, которая смотрит на поведение эндпоинтов, а не на их название. Для уверенной идентификации эндпоинтов на базе ИИ требуется достаточный объём валидного трафика.

Обнаруженные эндпоинты на базе ИИ будут видны в разделе Security → Web Assets с меткой cf-llm. Для клиентов на тарифе Free обнаружение эндпоинтов запускается при первом переходе на страницу Discovery. Для клиентов на платных тарифах обнаружение происходит автоматически в фоновом режиме на регулярной основе. Если ваши ИИ-эндпоинты были обнаружены, вы можете просмотреть их немедленно.

Механизм обнаружения в «Защите приложений на базе ИИ» следует принципу постоянной работы для трафика на ваши ИИ-эндпоинты. Каждый промпт проходит через несколько модулей обнаружения для выявления инъекций промптов, раскрытия PII, а также чувствительных или токсичных тем. Результаты — был ли промпт вредоносным или нет — прикрепляются в виде метаданных, которые вы можете использовать в пользовательских правилах WAF для применения своих политик. Мы постоянно исследуем способы использования нашей глобальной сети, которая обрабатывает трафик примерно с 20% веб-сайтов, чтобы выявлять новые шаблоны атак на миллионах сайтов до того, как они достигнут ваших.

Продукт поставляется со встроенным обнаружением распространённых угроз: инъекций промптов, извлечения PII и токсичных тем. Но у каждого бизнеса своё определение запретного. Финансовой компании может потребоваться обнаруживать обсуждение конкретных ценных бумаг. Медицинской компании — помечать разговоры, касающиеся данных пациентов. Ретейлеру — знать, когда клиенты спрашивают о товарах конкурентов.

Новая функция пользовательских тем позволяет вам определять такие категории. Вы указываете тему, мы анализируем промпт и выводим оценку релевантности, которую вы можете использовать для логирования, блокировки или обработки на своё усмотрение. Наша цель — создать расширяемый инструмент, который подстраивается под ваши сценарии использования.

^{Оценка релевантности промпта в «Защите приложений на базе ИИ»}

«Защита приложений на базе ИИ» применяет защитные механизмы до того, как небезопасные промпты достигнут вашей инфраструктуры. Чтобы точно выполнять обнаружение и обеспечивать защиту в реальном времени, нам сначала нужно идентифицировать промпт в теле запроса. Промпты могут находиться где угодно в теле запроса, и разные провайдеры LLM структурируют свои API по-разному. OpenAI и большинство провайдеров используют $.messages[*].content для завершений чата. Пакетный API Anthropic помещает промпты внутрь $.requests[*].params.messages[*].content. Ваш пользовательский инструмент оценки недвижимости может использовать $.property_description.

Из коробки мы поддерживаем стандартные форматы, используемые OpenAI, Anthropic, Google Gemini, Mistral, Cohere, xAI, DeepSeek и другими. Когда мы не можем сопоставить известный шаблон, мы применяем безопасную по умолчанию позицию и запускаем обнаружение по всему телу запроса. Это может привести к ложным срабатываниям, если полезная нагрузка содержит чувствительные поля, которые не подаются напрямую в модель ИИ, например, поле $.customer_name рядом с самим промптом может ненужным образом вызвать срабатывание обнаружения PII.

Вскоре вы сможете определять собственные выражения JSONPath, чтобы точно указать нам, где искать промпт. Это уменьшит ложные срабатывания и повысит точность обнаружения. Мы также создаём функцию обучения промптам, которая со временем автоматически адаптируется к структуре вашего приложения.

Как только угроза идентифицирована и оценена, вы можете заблокировать её, залогировать или отправить пользовательский ответ, используя тот же движок правил WAF, который вы уже применяете для остальной безопасности вашего приложения. Сила общей платформы Cloudflare в том, что вы можете комбинировать сигналы, специфичные для ИИ, со всей другой информацией о запросе, представленной сотнями полей, доступными в WAF. Попытка инъекции промпта подозрительна. Попытка инъекции промпта с IP-адреса, который сканировал вашу страницу входа, с использованием отпечатка браузера, связанного с предыдущими атаками, и с ротацией через ботнет — это уже другая история. Точечные решения, которые видят только ИИ-слой, не могут установить такие связи.

Именно этот единый уровень безопасности нужен Newfold Digital для обнаружения, маркировки и защиты ИИ-эндпоинтов, говорит Радингер: "Мы с нетерпением ждём возможности использовать его во всех этих проектах в качестве предохранительного механизма".

AI Security for Applications также будет доступна через растущую экосистему Cloudflare, включая интеграцию с IBM Cloud. Через IBM Cloud Internet Services (CIS) конечные пользователи уже могут приобретать передовые решения для защиты приложений и управлять ими напрямую через свою учётную запись IBM Cloud. 

Мы также сотрудничаем с Wiz, чтобы подключить AI Security for Applications к Wiz AI Security, предоставив общим клиентам единое представление об их безопасности в сфере ИИ — от обнаружения моделей и агентов в облаке до защитных механизмов на уровне приложений на границе сети.

AI Security for Apps уже доступна для клиентов уровня Enterprise от Cloudflare. Свяжитесь с вашей командой по работе с аккаунтами, чтобы начать, или ознакомьтесь с работой продукта в самостоятельном туре.

Если вы используете тарифный план Free, Pro или Business, вы уже можете применять обнаружение конечных точек ИИ. Войдите в свою панель управления и перейдите в раздел Security → Web Assets, чтобы увидеть, какие конечные точки мы определили. Оставайтесь на связи — мы планируем вскоре сделать все возможности AI Security for Apps доступными для клиентов на всех тарифных планах.