Рекомендации ИБ: Обзор и Архитектура ML SecOps
Рекомендации ИБ: Обзор и Архитектура ML SecOps
Версия: 2.0 · Обновлено: 2026-04-22 · Теги: архитектура, lifecycle, security-by-design, tiering, maturity, governance, agentic, gateway · Tier: 1-4
TL;DR. Сквозная карта MLSec-программы для российской организации 2025-2026 гг.: пятиблочная архитектура жизненного цикла ML расширена сквозными слоями (LLM Gateway, Agentic-контур, Governance, FinOps), закрыта Three Lines of Defense, снабжена KPI/KRI, увязана с OWASP LLM Top 10 2025, OWASP Agentic Top 10 (ASI01-ASI10), NIST AI 600-1 (GenAI Profile), MITRE ATLAS v5.4.0, EU AI Act, 152/187/242-ФЗ и Приказами ФСТЭК 17/21/31/239.
1. Ландшафт MLSec 2025-2026
За 2024-2026 гг. позиционирование MLSec сместилось с «редкой экзотической дисциплины» на «обязательный слой корпоративной ИБ»: по опросам отраслевых ассоциаций большинство крупных организаций к началу 2026 эксплуатируют хотя бы одну LLM-систему в продуктиве, у половины задействованы агентские сценарии (tool use, автономные исполнители), у четверти LLM встроена в критичные бизнес-процессы (контакт-центры, скоринг, рекомендации, внутренний поиск). Одновременно произошёл сдвиг в угрозах: prompt injection, экстракция системных промптов, агентские misrouting и утечки через MCP вышли из академических статей в повседневные инциденты.
1.1. Ключевые сдвиги за 2024-2026
Регуляторный слой. EU AI Act действует с августа 2024: запреты (ст. 5) применяются с февраля 2025, обязательства для провайдеров GPAI с февраля 2025 (Кодекс практик подписан большинством крупных игроков), требования к высокорисковым системам вступают в силу поэтапно вплоть до августа 2026. В РФ продолжает развиваться регулирование ИИ: Национальная стратегия развития ИИ (Указ № 490) обновлена в 2024, экспериментальный правовой режим по 258-ФЗ активно применяется, Банк России довёл до финальной версии 716-П (управление модельным риском), ФСТЭК и ФСБ готовят методические рекомендации по защите ИИ-систем для КИИ. В США действует AI Diffusion Rule (январь 2025), принят ряд штатных законов (Colorado AI Act, Illinois HB3773), на федеральном уровне Executive Order 14179 (январь 2025) отменил предыдущий EO 14110, NIST продолжает публикации серии AI 100/600.
Стандарты и фреймворки. OWASP LLM Top 10 в редакции 2025 закрепил структуру десяти рисков (LLM01-LLM10); OWASP Agentic AI Security Project опубликовал черновик Agentic Top 10 (ASI01-ASI10) для автономных систем; MITRE ATLAS v5.4.0 (февраль 2026) добавил техники T0066-T0071 по RAG poisoning и trusted output manipulation; NIST AI 600-1 (GenAI Profile) вышел в июле 2024, ISO/IEC 42001:2023 (AIMS) получил промышленное применение, ISO/IEC 23894:2023 обновил руководство по управлению рисками, CSA опубликовала MAESTRO (Multi-Agent Environment Security, Threats, Risks and Outcomes) для мультиагентных сценариев. CycloneDX ML-BOM достиг версии 1.6, Sigstore/cosign стали стандартом подписи контейнеров и моделей.
Угрозы. Массово фиксируются: prompt injection через внешние документы и веб-контент (indirect PI), атаки на цепочку поставок моделей (backdoor в open-weight, slopsquatting типосквоттинг галлюцинаций), атаки на MCP-серверы (tool poisoning, описанные Invariant Labs в 2025), атаки на правила для код-ассистентов (Rules File Backdoor, Pillar Security, февраль 2025), инциденты с production БД у агентов (кейс Replit Agent, июль 2025). DLP для LLM (анти-эхолик, анти-регургитация, защита system prompt) стал отдельной категорией решений.
Экосистема инструментов. В 2025-2026 сформировались три слоя контроля: LLM Gateway (Portkey, LiteLLM, Rilio, корпоративные форки) как единая точка прохода всех AI-запросов; guardrails-библиотеки (NeMo Guardrails, Guardrails AI, LLM-Guard, Invariant Security Policy); red teaming для LLM (Garak, PyRIT от Microsoft, Promptfoo, Counterfit, HiddenLayer AIShield). На стороне LLMOps закрепились MLflow Model Registry, Weights & Biases, Vertex AI Model Garden, в РФ: OpenData Hub, Cotype Server, GigaChain, YandexML.
Агентский слой. Появление Model Context Protocol (MCP, Anthropic, ноябрь 2024), A2A (Google, 2025) и аналогов превратило LLM-агентов из тонкого клиента над API в распределённые системы, где LLM принимает решения о вызове внешних инструментов. Это изменило профиль рисков: классическая модель «inference как API» недостаточна, агент одновременно является потребителем данных, клиентом внешних сервисов и источником действий, и Lethal Trifecta (untrusted input × чувствительные данные × внешнее действие) становится центральным шаблоном атаки.
FinOps как ИБ. Token flood и Denial-of-Wallet (см. главу 22) стали полноценным классом security-инцидентов: стоимость одного неконтролируемого бага в агенте измеряется миллионами рублей за сутки, бюджетные пороги интегрируются в kill-switch и SIEM.
Ключевые AI-инциденты и сдвиги — справочник
{
"id": "ch01-incidents",
"title": "Инциденты, которые задали повестку 2024–2026",
"description": "Ключевые события MLSec: что произошло, чему научило индустрию, какой контроль появился в ответ. Раскройте запись — там детали инцидента и компенсирующие меры.",
"shuffle": false,
"cards": [
{
"tag": "supply chain · 2024",
"front": "Slopsquatting в pip / npm",
"subFront": "Hallucinated package names",
"back": "LLM-ассистенты массово предлагают import’ы несуществующих пакетов. Атакующие регистрируют эти имена с malware. По данным Lasso (2024), >5% популярных Python-имён, выдуманных моделями, уже зарегистрированы.\n\nКонтроль: corporate PyPI с allowlist, pip-audit на каждый PR, ML-BOM с SHA-зависимостями."
},
{
"tag": "MCP · 2025",
"front": "Tool Poisoning",
"subFront": "Invariant Labs, март 2025",
"back": "Атакующие публикуют MCP-сервер с легитимной описательной частью, но скрытые инструкции в `description` поля tool заставляют LLM отдавать секреты или выполнять побочные действия.\n\nКонтроль: MCP broker с криптопиннингом бандлов, ручное ревью описаний tools, allowlist origin."
},
{
"tag": "agent · 2025",
"front": "Replit Agent дропнул прод-БД",
"subFront": "Июль 2025",
"back": "Production-агент, по запросу пользователя «почисти базу», выполнил DROP DATABASE на боевом Postgres. Backup был, но 4 часа downtime.\n\nКонтроль: HITL для всех необратимых SQL/file/email-операций, transactional dry-run, capability scoping per environment."
},
{
"tag": "code assistant · 2025",
"front": "Rules File Backdoor",
"subFront": "Pillar Security, февраль 2025",
"back": "Атака на правила/конфиги (.cursor/rules, CLAUDE.md, copilot-instructions.md): враждебная инструкция в публичном репозитории заставляет ассистент генерировать backdoor-код у любого, кто открывает форк.\n\nКонтроль: подпись правил, scan на untrusted-инструкции, изоляция rules от тестовых веток."
},
{
"tag": "регулятор · 2025",
"front": "EU AI Act",
"subFront": "Запреты с 02.02.2025, GPAI с 02.08.2025",
"back": "Регламент 2024/1689 поэтапный. Февраль 2025 — запреты ст. 5 (social scoring, biometric categorisation). Август 2025 — обязательства для General-Purpose AI (включая Кодекс практик). Август 2026 — требования к высокорисковым системам (Annex III).\n\nКонтроль: AI inventory + Tier по EU AI Act risk categories, DPIA + FRIA для high-risk."
},
{
"tag": "регулятор РФ · 2026",
"front": "716-П Банка России + 152-ФЗ",
"subFront": "Model Risk Management для финсектора",
"back": "716-П действует с 2024 как Положение по управлению модельным риском. Тиеринг моделей, независимая валидация (2LoD), пересмотр раз в 12 месяцев. Финкомпании, использующие LLM, обязаны включить их в реестр моделей.\n\nКонтроль: Tier-1 модели → 2LoD validation, MRC raз в год; ИИ-инциденты → НКЦКИ через ГосСОПКА (≤3 ч), РКН (24 ч + 72 ч)."
},
{
"tag": "ATLAS · 2026",
"front": "MITRE ATLAS v5.4",
"subFront": "Техники RAG poisoning",
"back": "Февраль 2026: добавлены T0066–T0071 по RAG-специфичным атакам (poisoning через индекс, trusted output manipulation, prompt overwriting).\n\nКонтроль: pre-retrieval ACL (а не post-hoc DLP), pipeline загрузки с sanitization, scan индекса на injection-паттерны раз в неделю."
},
{
"tag": "FinOps · 2024–25",
"front": "Denial-of-Wallet",
"subFront": "Класс инцидентов",
"back": "Атакующий через token-flood / recursive RAG / ratelimit-bypass запускает миллионы запросов к платной модели — счёт за сутки $50k–$2M.\n\nКонтроль: per-user RPM, max-tokens, semantic cache, hard budget cap с kill-switch L0 (немедленная остановка через Redis-флаг, обходит deploy)."
}
]
}
1.2. Что это меняет для службы ИБ
Классический периметровый подход (WAF + IDS + EDR + SOC) не покрывает LLM-специфику: запросы проходят корпоративный прокси, но контент внутри JSON-полезной нагрузки ИБ не видит, guardrails и DLP для LLM живут за пределами привычного стека. Три следствия:
- LLM Gateway становится критичной инфраструктурой. Единственная точка, где можно обеспечить аутентификацию, DLP, аудит, rate limit, kill-switch и маршрутизацию между моделями. Деплой без gateway приравнивается к публикации базы данных без файрвола.
- Agentic-контур требует отдельной модели угроз. Human-in-the-loop для необратимых действий (запись, оплата, удаление) становится архитектурным инвариантом, а не рекомендацией.
- Security Operations должны уметь работать с ML-сигналами. Дрифт модели, срабатывания guardrails, аномальные последовательности промптов, скачки стоимости, шторм вызовов tool в MCP поступают в SIEM как отдельные источники событий и требуют обновления runbook-ов.
2. Что такое ML SecOps и чем отличается от DevSecOps
MLSec (ML SecOps) строит практики информационной безопасности вокруг жизненного цикла ML-моделей: сбор данных, подготовка, обучение, валидация, развёртывание, эксплуатация, декомиссия. Базовый тезис: помимо классических угроз (уязвимости кода, инфраструктуры, зависимостей) ML-системы подвержены специфическим атакам через данные (poisoning, скрытые триггеры), через логику модели (adversarial, evasion, jailbreak), через конфиденциальность обучающих данных (membership inference, model inversion, extraction), через цепочку поставок ML-артефактов (backdoor в open-weight, tampered adapters) и, для LLM, через интерфейс общения с пользователем (prompt injection прямой и косвенный).
2.1. Секционирование: DevSecOps vs MLSecOps
| Ось | DevSecOps | MLSecOps | Новое в MLSec |
|---|---|---|---|
| Объект защиты | Код, конфигурации, инфраструктура | Код, данные, модель, артефакты обучения, промпты, контекст | Данные и модель как изменяемые артефакты с собственной провенансом |
| SAST/DAST | Bandit, Semgrep, ZAP | Bandit, Semgrep + ART, Counterfit, Garak, Promptfoo | Adversarial testing, prompt injection scan |
| SBOM | CycloneDX, SPDX | CycloneDX ML-BOM 1.6 + Model Cards + Data Cards | Маркировка данных и моделей в BOM |
| Зависимости | CVE в пакетах | CVE в пакетах + безопасность open-weight моделей, adapters, datasets | Подпись моделей (Sigstore Model Transparency) |
| Supply chain | npm/PyPI attack | npm/PyPI + Hugging Face, ONNX Hub, torrents с весами | Slopsquatting, backdoor в open-weight, trojaned adapters |
| DLP | Сеть, endpoint | Сеть + endpoint + LLM Gateway (prompt/response scan) | Анти-регургитация, маскирование PII в запросах |
| Gate decision | CI проходит/падает | CI + adversarial suite + bias/fairness + Model Card + DPIA | Формализованный ML SecOps Board |
| Incident Response | CVE, утечка, ransomware | + poisoning, extraction, jailbreak, MIA, prompt injection кампания, agentic breach | IR playbook для ML-инцидентов |
| Runtime | Falco, CrowdStrike | + guardrails, анти-эхолик, kill-switch L0-L4 | Пятиуровневый kill-switch |
| Governance | OWASP SAMM, BSIMM | + NIST AI RMF, ISO 42001, EU AI Act, AI Use Policy | AI Risk Committee |
| Privacy | GDPR, 152-ФЗ | + machine unlearning, DP, federated learning, TEE | Privacy Enhancing Technologies |
| Аудируемость | Логи приложения, CI | + прослеживаемость от датасета до ответа конкретному пользователю | Data lineage end-to-end |
2.2. Три парадигмы ML SecOps
- Secure by Design. Безопасность закладывается на этапе проектирования архитектуры: threat modeling (STRIDE-AI, MAESTRO, LINDDUN, MITRE ATLAS), классификация данных, определение Tier модели, выбор архитектурного шаблона (RAG vs fine-tune vs hybrid), определение trust boundaries.
- Secure by Default. Безопасные конфигурации по умолчанию: отсутствие секретов в коде и образах, минимальные привилегии, отказы по умолчанию в guardrails, блок вместо allow-listing, audit-on by default, HITL для необратимых операций.
- Secure by Deployment. Безопасность при развёртывании и эксплуатации: canary, rollback, мониторинг дрифта, SIEM-интеграция, периодические security reviews, continuous red teaming, Model Card и DPIA в актуальном состоянии.
К этим трём парадигмам в 2025-2026 добавился четвёртый слой Secure by Observation: полный телеметрический контур (OpenTelemetry GenAI semantic conventions, gen_ai.*), позволяющий ретроспективно реконструировать любой запрос, ответ и вызов инструмента, как того требуют EU AI Act ст. 12 и 152-ФЗ ст. 18.1.
2.3. Контрольный вопрос
{"id": "ch01-q1", "question": "Классический DevSecOps стек (Bandit + SAST + SCA + container scan) достаточен для ML-системы, если к нему добавить pip-audit и Trivy. Верно?", "options": ["Да: ML-код это обычный Python, и инструменты DevSecOps полностью покрывают угрозы", "Нет: помимо кода и зависимостей нужно закрывать данные (poisoning), модель (adversarial/extraction), промпты (injection) и подпись артефактов (ML-BOM, Sigstore)", "Нет, но только потому что DevSecOps не умеет сканировать Jupyter-ноутбуки", "Да, при условии что в compose добавлен gateway перед моделью"], "answer": 1, "explanation": "MLSec расширяет DevSecOps по шести осям: объект защиты (+данные и модель), SAST (+adversarial), SBOM (+ML-BOM), supply chain (+open-weight, adapters, datasets), DLP (+LLM gateway и анти-эхолик), governance (+AI Risk Committee, Tiering, DPIA). Gateway и Jupyter это частности."}
Дальше — практика и артефакты
Полная версия главы «Рекомендации ИБ: Обзор и Архитектура ML SecOps» с готовыми артефактами, шаблонами, чек-листами и подробными процедурами доступна по подписке.
- Полный доступ ко всем главам и обновлениям 30 дней
- Готовые playbook'и, шаблоны и runbook'и под копирование
- Поддержка автора — paywall не для заработка, а для развития справочника
Можно отменить в любой момент. Возврат средств в первые 7 дней без вопросов.
17. Связи с другими главами
| Аспект главы 01 | Deep-dive глава |
|---|---|
| Блок 1: Data Operations | 03. Data Operations |
| Блок 2: Model Operations | 04. Model Operations, 19. Training Infrastructure |
| Блок 3: Red Teaming | 07. Red Teaming, 23. MITRE ATLAS RU |
| Блок 4: Deployment | 05. Deployment |
| Блок 5: Operations | 06. Operations, 15. AI IR |
| Gateway и агентский контур | 10. LLM Agents, 11. Chatbots, 12. CI/CD LLM |
| Governance, Tiering, AI-BOM | 14. Model Risk Governance |
| Threat modeling | 09. Threat Modeling |
| Доступ и секреты | 08. Access & Secrets |
| Privacy Enhancing Tech | 17. PET |
| RAG, мультимодальные, fine-tuning атаки | 16. ML Attacks |
| Регуляторика РФ | 18. RU Compliance Deep |
| Внедренческий playbook | 13. RU Implementation Playbook |
| Люди и процесс, AI Literacy, Bug Bounty | 21. People & Process |
| FinOps и Denial-of-Wallet | 22. FinOps AI |
| Код-ассистенты | 20. Code Assistants |
18. С чего начать по вашей роли
Ниже семь ролей, каждая с действиями в трёх горизонтах: Day 1 (первый день с документацией), Week 1 (первая неделя), Month 1 (первый месяц). Если вы в двух ролях одновременно (частый случай в малых организациях), берите объединение планов, не пытайтесь совместить во времени. Каждое действие это проверяемый артефакт, а не «ознакомиться».
18.1. Карта ролей × глав (куда идти дальше)
flowchart TB
subgraph ROLES[Роли]
CISO[CISO]
MLE[ML Engineer]
DSO[DevSecOps]
DE[Data Engineer]
COMP["Юрист"]
PO[Product Owner]
SOC["SOC / IR аналитик"]
end
subgraph CORE[Core набор глав]
C01[01 Overview]
C09[09 Threat Modeling]
C14[14 Governance]
end
subgraph OPS[Операционные главы]
C05[05 Deployment]
C06[06 Operations]
C08[08 Access]
C10[10 Agents]
C15[15 IR]
C22[22 FinOps]
end
subgraph DATA[Данные и тестирование]
C03[03 Data Ops]
C04[04 Model Ops]
C07[07 Red Team]
C17[17 PET]
C28[28 Synthetic]
end
subgraph COMPL[Compliance]
C18[18 RU Compliance]
C29[29 Watermarking]
end
CISO --> C01 --> C14 --> C18
MLE --> C04 --> C07 --> C10
DSO --> C05 --> C08 --> C06
DE --> C03 --> C17 --> C28
COMP --> C09 --> C14 --> C18
PO --> C01 --> C14 --> C22
SOC --> C06 --> C15 --> C10
18.2. CISO (Chief Information Security Officer)
Задача: запустить MLSec-программу, получить видимость Tier 1 систем, обеспечить управляемую ответственность.
| Горизонт | Действие | Артефакт |
|---|---|---|
| Day 1 | Собрать список всех ML/AI-систем, которые уже в эксплуатации (включая Shadow AI) | Черновик реестра AI-систем |
| Day 1 | Назначить ответственного MLSec Analyst (или выделить 0.5 FTE на первое время) | Приказ / RACI-ячейка |
| Week 1 | Согласовать Tier-матрицу с бизнесом, фиксировать Tier 1 модели | Tier-матрица v1 |
| Week 1 | Провести аудит LLM-трафика на периметре (SNI, TLS fingerprinting) | Отчёт Shadow AI, top-10 сервисов |
| Week 1 | Обсудить на ИТ-комитете требование «все LLM-запросы через gateway» | Протокол, дата целевого state |
| Month 1 | Утвердить AI Use Policy v1 (см. Приложение A) | Подписанный документ |
| Month 1 | Создать ML SecOps Board с еженедельным расписанием и опубликованными gate-критериями | Устав Board + gate-матрица |
| Month 1 | Запустить AI Risk Committee с квартальным графиком встреч | Расписание + повестка первой встречи |
| Month 1 | Зафиксировать KPI MLSec-программы (раздел 10.1), минимум 5 метрик в дашборде | Дашборд Grafana / Looker |
Первая глава после 01: 14 Governance, затем 18 RU Compliance.
18.3. ML Engineer / ML Tech Lead
Задача: встроить безопасность в пайплайн обучения и релиза модели без потери скорости.
| Горизонт | Действие | Артефакт |
|---|---|---|
| Day 1 | Прочитать раздел 2 (DevSecOps vs MLSec), раздел 4 (5 блоков), Model Card своей Tier 1 модели | Заполненные gaps в Model Card |
| Day 1 | Запустить pip-audit и safety на requirements проекта, зафиксировать HIGH/CRITICAL |
Список CVE + план фикса |
| Week 1 | Добавить в CI bandit + semgrep + nbqa (для ноутбуков) |
CI job + первый прогон |
| Week 1 | Перевести загрузку моделей с pickle на SafeTensors, где возможно |
PR + тесты |
| Week 1 | Провести первый adversarial-прогон (Garak/Promptfoo для LLM, ART/TextAttack для CV) | Отчёт + issue-трекер дефектов |
| Month 1 | Подписать артефакты через Sigstore/cosign, сохранить подпись в Model Registry | Подписанная версия в MLflow |
| Month 1 | Сгенерировать CycloneDX ML-BOM 1.6, загрузить в корпоративный каталог | ML-BOM.json |
| Month 1 | Написать threat model (STRIDE-AI + MITRE ATLAS) совместно с MLSec Analyst | TM документ + подписи |
Следующая глава: 04 Model Operations, затем 07 Red Teaming.
18.4. DevSecOps Engineer
Задача: превратить MLSec-контроли в повторяемый CI/CD конвейер, которым команды не могут обойти.
| Горизонт | Действие | Артефакт |
|---|---|---|
| Day 1 | Разобрать раздел 8.4 (контроли деплоя), провести self-assessment на своих пайплайнах | Gap-список |
| Day 1 | Подключить Trivy / Anchore к image registry с блокировкой CRITICAL CVE | CI gate |
| Week 1 | Ввести egress-allowlist в NetworkPolicy: блокировка прямых вызовов OpenAI/Anthropic/etc, allow только gateway | NetworkPolicy yaml |
| Week 1 | Настроить Vault интеграцию для ML-секретов (runtime + training), убрать ENV VARS | PR + rotation-процедура |
| Week 1 | Ввести mTLS между gateway, inference, MCP broker | mTLS конфиг + тесты |
| Month 1 | Canary + auto-rollback (Argo Rollouts / Flagger) для Tier 1 моделей | Rollout yaml + runbook |
| Month 1 | Автоматизировать kill-switch L0-L4 через CI/CD (terraform/helm-чарты с feature-flag), tabletop L2 в staging | Terraform module + drill-отчёт |
| Month 1 | Подключить OTel GenAI к корпоративному APM/SIEM (минимум gen_ai.* span attributes) |
OTel collector config |
Следующая глава: 05 Deployment, затем 08 Access & Secrets, 12 CI/CD LLM.
18.5. Data Engineer / Data Governance Officer
Задача: закрыть Блок 1 (данные) сквозной классификацией, PII-сканированием и версионированием.
| Горизонт | Действие | Артефакт |
|---|---|---|
| Day 1 | Перечислить все датасеты, используемые Tier 1 моделями, проставить класс K0-K4 | Реестр датасетов + класс |
| Day 1 | Запустить Presidio + Natasha на свежие дампы, оценить покрытие PII | Отчёт + ложные срабатывания |
| Week 1 | Включить DVC (или lakeFS) для версионирования датасетов с SHA-256 | Миграция одного pipeline |
| Week 1 | Настроить Great Expectations (schema + freshness + volume + nulls + distribution drift) | Suite + alerting |
| Week 1 | Зафиксировать data lineage через OpenLineage / Marquez | Первый граф lineage |
| Month 1 | Запустить процедуру обнаружения poisoning (outlier detection + ART) для Tier 1 | Cron-job + SIEM-алерты |
| Month 1 | Провести DPIA совместно с Юрист для датасетов с ПДн | Подписанный DPIA |
| Month 1 | Ввести процедуру обновления датасетов с data review board | Регламент + первое заседание |
Следующая глава: 03 Data Operations, затем 17 PET, 28 Synthetic Data.
18.6. Юрист
Задача: поставить AI-обработки под закон (152-ФЗ, EU AI Act, 716-П) и обеспечить доказуемость.
| Горизонт | Действие | Артефакт |
|---|---|---|
| Day 1 | Идентифицировать все AI-обработки с ПДн, сверить с реестром 152-ФЗ | Дополнение реестра |
| Day 1 | Оценить применимость EU AI Act (юрисдикция, классификация high-risk) | Decision matrix |
| Week 1 | Создать шаблон DPIA для ML-обработок (адаптация общего шаблона) | Шаблон + пример |
| Week 1 | Проверить соответствие ст. 13 EU AI Act (transparency) в пользовательском UX | Аудит UI текстов |
| Week 1 | Сверить retention логов gateway с классом данных (минимум 90 дней для K3+) | Политика retention |
| Month 1 | Провести DPIA для 100% Tier 1 моделей с ПДн | Подписанные DPIA |
| Month 1 | Подготовить маппинг MLSec-контролей на Приказ ФСТЭК 21 (по УЗ 1-4) | Матрица соответствия |
| Month 1 | Обучить 2-3 «AI literacy lead» из бизнеса (для дальнейшего каскадного обучения) | Прошедшие обучение + план каскада |
Следующая глава: 09 Threat Modeling, затем 14 Governance, 18 RU Compliance.
18.7. Product Owner / Business Lead AI-продукта
Задача: встроить MLSec в определение «готового» продукта, не потеряв time-to-market.
| Горизонт | Действие | Артефакт |
|---|---|---|
| Day 1 | Определить Tier модели совместно с ИБ и бизнесом, зафиксировать последствия класса | Tier + применимые контроли |
| Day 1 | Включить в Definition of Done: Model Card, threat model, adversarial-прогон | Обновлённый DoD |
| Week 1 | Составить список use-case с Lethal Trifecta (необратимые действия), пометить как HITL-обязательные | Список use-case + mermaid flow |
| Week 1 | Согласовать с ИБ SLA по DLP-срабатываниям и процедуру разбора | SLA-документ |
| Week 1 | Обсудить FinOps: месячный бюджет на модель, alert-пороги | Бюджет в Grafana-панели |
| Month 1 | Провести tabletop «что если модель начнёт galluцинировать в Q1 отчёте» с командой | Протокол + action items |
| Month 1 | Обеспечить обучение команды по AI Use Policy (включая собственное) | Checklist прохождения |
| Month 1 | Ввести KPI «% запросов, покрытых observability (OTel + SIEM)» в квартальный review | Метрика в дашборде |
Следующая глава: 14 Governance, затем 22 FinOps, 21 People & Process.
18.8. SOC аналитик / IR-инженер
Задача: научиться видеть ML-инциденты в потоке событий и реагировать по runbook-у за SLA.
| Горизонт | Действие | Артефакт |
|---|---|---|
| Day 1 | Пройти базовый курс ML-threat awareness (4 часа): LLM01-LLM10, MITRE ATLAS TA0002-TA0016 | Сертификат / отметка |
| Day 1 | Получить доступ к логам LLM Gateway, ознакомиться со схемой событий | Запрос доступа закрыт |
| Week 1 | Подключить 10 базовых SIEM-правил из раздела 12.1 (ML Probing, Adversarial Input и т.д.) | Rules deployed + first alerts |
| Week 1 | Освоить классификацию SEV1-SEV4 для ML и цепочку эскалации L1 -> L2 (MLSec Analyst) -> L3 | Flowchart на стене |
| Week 1 | Выполнить один «fire drill» по SEV2 сценарию (prompt injection campaign) | Протокол + lessons learned |
| Month 1 | Пополнить runbook по 8 типам ML-инцидентов (adversarial, poisoning, extraction, prompt injection, agentic breach, MCP compromise, shadow AI leak, DoW) | 8 runbooks |
| Month 1 | Настроить Falco-правила для ML-подов (execve suspicious, network anomaly, eval() usage) | Falco rules + test |
| Month 1 | Провести полноценный tabletop SEV1 (утечка PII через модель) с командой и CISO | Отчёт + IR timeline |
Следующая глава: 15 AI Incident Response, затем 06 Operations, 10 LLM Agents.
18.9. Общий семидневный на-бординг для новой роли
Если вы только получили задачу «отвечать за MLSec», вот минимальная программа первой недели вне зависимости от должности:
| День | Фокус | Результат |
|---|---|---|
| 1 | Инвентарь AI-систем + доступ к логам gateway | Список, доступ |
| 2 | Прочитать главы 01 и 09 (Threat Modeling), набросать threat model для одной Tier 1 системы | Черновик TM |
| 3 | Провести adversarial-прогон на одной модели (Garak или ART), разобрать top-5 находок | Отчёт + issue |
| 4 | Пройти «путь запроса» через gateway вручную (curl с DLP-триггерами) | Протокол прохода |
| 5 | Собрать встречу с CISO и ML Lead, согласовать roadmap первых 90 дней | Подписанный roadmap |
| 6-7 | Настроить свою метрику в дашборде (одна ключевая для роли) | Живой дашборд |
[!tip] Если нет бюджета на выделенную ставку MLSec Analyst, рассмотрите ротацию: ML-инженер на 3 месяца уходит в роль MLSec Champion с формальными KPI (threat model, adversarial CI, Model Card для своей команды). Это даёт и ИБ-культуру в командах, и удерживает людей через вертикальный рост.
18.10. Контрольный вопрос: выбор первого шага
{"id": "ch01-q3", "question": "Вы CISO средней компании (500 FTE, 3 ML-продукта в prod, нет MLSec-аналитика). С чего правильнее начать в первую неделю?", "options": ["Купить коммерческий ML-firewall и запустить пилот с вендором", "Провести внешний red team с Garak и PyRIT по всем моделям", "Составить инвентарь AI-систем, назначить владельцев, провести аудит Shadow AI, утвердить AI Use Policy v1", "Сертифицировать организацию по ISO 42001"], "answer": 2, "explanation": "Без инвентаря и владельцев любые дорогие инструменты не находят своих целей. Red team без базовых контролей даст тонны шума. ISO 42001 это цель через 12-24 месяца. Правильный первый шаг: увидеть ландшафт и назначить ответственных (см. раздел 14.1 и 18.2)."}
Приложение A. Шаблон MLSec-политики верхнего уровня
Шаблон для быстрого старта в организации без существующих AI-политик. Подлежит адаптации под регуляторный контекст и Tier-модель.
# AI/ML Security Policy. v1.0
## 1. Цели и область применения
1.1. Настоящая политика определяет требования к информационной безопасности
ML/AI-систем организации на всех этапах жизненного цикла.
1.2. Политика распространяется на все ML/AI-системы организации вне зависимости
от способа развёртывания (on-prem, cloud, hybrid) и формы использования (внутренний
инструмент, клиентский сервис, agent, код-ассистент).
1.3. Политика увязана с: ISO/IEC 27001, ISO/IEC 42001, NIST AI RMF, OWASP LLM Top 10,
152-ФЗ, 187-ФЗ, Приказами ФСТЭК 17/21/31/239, требованиями Банка России 716-П
(для финсектора).
## 2. Классификация
2.1. Все AI-системы классифицируются по Tier 1-4 (Tier 1 - критичные для бизнеса,
Tier 4 - вспомогательные).
2.2. Все данные классифицируются по K0-K4 (K0 - публичные, K1 - внутренние,
K2 - коммерческая тайна, K3 - ПДн, K4 - КТ+ПДн+КИИ/гостайна).
2.3. Матрица применимости контролей по Tier×K публикуется отдельным документом.
## 3. Ответственность
3.1. CISO - accountable за MLSec-программу.
3.2. AI Risk Committee - стратегические решения (квартальные встречи).
3.3. ML SecOps Board - gate decisions (еженедельные встречи).
3.4. Владельцы моделей - operational responsibility за свои модели.
3.5. Three Lines of Defense применяется.
## 4. Обязательные контроли (сводка)
4.1. Все AI-запросы проходят через корпоративный LLM Gateway.
4.2. Для всех моделей ведётся Model Card + provenance + SBOM ML-BOM.
4.3. Для всех ML с ПДн проводится DPIA до промоутинга в prod.
4.4. Adversarial + Red Teaming suite для LLM запускаются в CI.
4.5. HITL обязателен для всех необратимых действий агентов.
4.6. Kill-switch L0-L4 поддерживается и тестируется ежеквартально.
4.7. Shadow AI замещается корпоративным tenant через gateway.
4.8. Все ML-события логируются с OTel GenAI и передаются в SIEM.
## 5. Запрещённые use-case (EU AI Act ст. 5 + внутренний список)
5.1. Социальный скоринг людей.
5.2. Манипулятивные практики.
5.3. Эксплуатация уязвимостей (возраст, инвалидность).
5.4. Массовое biometric-категорирование.
5.5. [Внутренние ограничения организации.]
## 6. AI Literacy
6.1. Обязательное обучение по ролям для всех сотрудников в scope.
6.2. Ежегодная пересертификация.
## 7. Incident Response
7.1. AI-инциденты классифицируются по SEV1-SEV4.
7.2. SLA реагирования: SEV1 - 15 мин, SEV2 - 1 час, SEV3 - 4 часа, SEV4 - 24 часа.
7.3. Runbook-и поддерживаются актуальными, tabletop не реже 2 раз в год.
## 8. Regulatory Compliance
8.1. 152-ФЗ: DPIA + Реестр обработки + права субъекта.
8.2. 187-ФЗ: при включении ML в ОКИИ - полный комплект ФСТЭК 239.
8.3. 716-П: инвентарь моделей + валидация + мониторинг (финсектор).
8.4. EU AI Act: для систем, применимых в ЕС-юрисдикции.
## 9. Пересмотр политики
Политика пересматривается ежегодно и при значимых изменениях регулирования или
архитектуры AI-систем организации.
Утверждено: CEO, CISO, CTO, Юрист.
Дата: [YYYY-MM-DD].
Версия: 1.0.
Приложение B. Референс-стек MLSec для РФ (2026)
Комбинация OSS и российских решений, покрывающая пятиблочную архитектуру + сквозные слои. Подлежит адаптации под конкретные регуляторные требования (КИИ/ГИС/финсектор).
| Слой | OSS | Российские / сертифицированные альтернативы |
|---|---|---|
| LLM Gateway | LiteLLM, Portkey | Rilio (пример отечественной разработки), корпоративные форки |
| Data Quality | Great Expectations, Soda | GreatExpectations RU-патчи, собственные adapters |
| PII / NER | Presidio, spaCy | Natasha, DeepPavlov NER, Pullenti |
| Версионирование данных | DVC, lakeFS | DVC + GitVerse/GitFlic |
| Model Registry | MLflow, W&B | MLflow + корпоративный деплой, Yandex DataSphere |
| SAST | Bandit, Semgrep, CodeQL | PT Application Inspector, Svace, Solar appScreener |
| Dependency scan | pip-audit, Safety, Snyk, OSV-Scanner | PT AI, Solar inCode |
| Image scan | Trivy, Anchore, Grype | Kaspersky Container Security, PT Container Security |
| Secret management | HashiCorp Vault, SOPS | InfoTeCS, КриптоПро DSS, ViPNet |
| Adversarial | ART, TextAttack, Counterfit | Собственные suite + ART |
| LLM Red Team | Garak, PyRIT, Promptfoo | Корп. suite на базе Garak + локализованные jailbreak |
| Guardrails | NeMo Guardrails, Guardrails AI, LLM-Guard, Invariant | Локализованные правила, собственные классификаторы |
| Bias/Fairness | Fairlearn, AI Fairness 360, Aequitas | Совмещение с OSS |
| Runtime monitoring | Falco, Tetragon | Kaspersky Endpoint Security, PT ISIM |
| SIEM | ELK, Wazuh, Graylog | MaxPatrol SIEM, KUMA, R-Vision, Ankey SIEM |
| Drift detection | Evidently AI, WhyLogs, Alibi Detect | Совмещение с OSS |
| OTel GenAI | OpenTelemetry SDK + collector | OpenTelemetry |
| BI/Dashboard | Grafana, Kibana | Grafana (OSS), LuxBI |
| Crypto | OpenSSL, AGE | КриптоПро CSP, VipNet, МагПро, Аладдин Р.Д. |
| Sandbox/Orchestration | Kubernetes, gVisor, Firecracker, Kata | Deckhouse, Flant K8s, TIONIX Cloud Platform |
| CycloneDX ML-BOM | cyclonedx-python | cyclonedx-python |
| Sigstore | cosign, Sigstore Model Transparency | cosign + локализованный KMS |
| LLM-провайдеры | Llama, Mistral, Qwen, Gemma | GigaChat (Сбер), YandexGPT 5, Cotype (МТС AI), T-Lite/T-Pro, Vikhr |
| Code assistants | Claude Code, Cursor, Continue, Aider | GigaCode, YandexGPT Coder, Cotype |
Важно: перед выбором компонентов для КИИ/ГИС/финсектора проверить наличие в Реестре отечественного ПО, сертификатов ФСТЭК, ФСБ, совместимости с сертифицированными СКЗИ (ГОСТ 34.10/34.12), наличие российской вендорской поддержки. Подробные матрицы и процедура закупок: глава 13, глава 18.
Конец главы 01.