MLSecRecommendations

FAQ

~7 мин7 мин осталось 1 722 словОбновлено 13 мая 2026 г.

FAQ

Ответы на частые вопросы по применению MLSec Recommendations. Группировка по ролям и темам. Если вопрос отсутствует, оформляйте issue в репозитории.

С чего начать

Я CISO. С чего начать внедрение?

  1. Прочитайте 01. Overview и 00-INDEX.md.
  2. Оцените текущую зрелость по опроснику MLSec-зрелости (.xlsx, предоставляется по запросу).
  3. Выберите 3-5 приоритетных направлений с уровня 1 (начальный) → 2 (повторяемый).
  4. Посмотрите одностраничник CISO (cheatsheet, по запросу).
  5. Запустите pilot на 1 критичной ИИ-системе (Tier 1 или 2).

Я ML Lead, мне нужно защитить одну модель. Что делать?

  1. Откройте cheatsheet ML-engineer (по запросу).
  2. Заполните Threat Model по шаблону THREAT-MODEL-TEMPLATE (по запросу).
  3. Определите Tier модели (1, 2 или 3) и класс данных (K0-K4) через 14. Governance.
  4. Пройдите по чек-листам глав 02-05 (design → data → model → deployment) применительно к вашей модели.
  5. Добавьте модель в AI-BOM (пример AI-BOM-EXAMPLE.json в формате CycloneDX ML-BOM 1.5+, по запросу).

Я разработчик, использую Copilot / Cursor / Claude CLI. Что я должен соблюдать?

  1. Прочитайте cheatsheet Developer (по запросу).
  2. Не отправляйте в код-ассистент: секреты, ПДн, коммерческую тайну.
  3. Все обращения должны идти через корпоративный LLM Gateway (Rilio). Прямые обращения к публичным облакам заблокированы.
  4. Руководствуйтесь разделом 6.1 шаблона AI-USE-POLICY (по запросу).

Gateway и DLP

Почему нужен единый LLM Gateway, а не прямые обращения к моделям?

  • Единая точка для DLP, auth, rate limit, audit, kill-switch.
  • Возможность быстро заблокировать / перемаршрутизировать при инциденте.
  • Централизованный budget control и cost tracking.
  • Интеграция с SIEM и compliance-процессами.
  • Подробнее: 12. Gateway and DLP.

Что такое "6-слойный DLP"?

Шесть последовательных слоёв сканирования в Rilio:

  • Layer 0: Prompt injection (regex).
  • Layer 1: Regex secrets + PII (AWS, OpenAI, INN, SNILS, Luhn).
  • Layer 2: Presidio NER (контекстный PII).
  • Layer 3: LLM Guard (toxicity, secrets, malicious URLs, invisible text).
  • Layer 4: Corporate patterns (проектные имена, внутренние домены).
  • Layer 5: Semantic guard (топиковая категоризация).
  • Layer 6: Hallucination scanner (post-call, опциональный).
  • Layer 7: Copyright scanner (post-call).

Подробнее в 12. Gateway and DLP.

Как работает kill-switch?

Пять уровней:

  • L0: глобальный стоп всех ИИ-операций (HTTP 503).
  • L1: блокировка конкретного пользователя.
  • L2: отключение конкретной модели.
  • L3: блокировка внешних облачных моделей (оставляет self-hosted).
  • L4: остановка конкретного агента.

Срабатывание < 1 секунды через Redis. События логируются в БД и SIEM. Детали: 10. LLM/Agent Protection + 15. Incident Response.

Регуляторика

Нужно ли нам соблюдать EU AI Act, если мы в России?

Если ваш продукт или услуга используется в ЕС или в отношении субъектов из ЕС, то да. Матрица соответствия EU AI Act (распределение обязательств по ролям и уровням риска) предоставляется по запросу.

Утечка ПДн через чат-бот. В какие сроки уведомлять РКН?

По 152-ФЗ ст. 21 ч. 3 (в редакции 266-ФЗ): 24 часа на первичное уведомление, 72 часа на детальное. Шаблон уведомления РКН-152ФЗ предоставляется по запросу.

Наш банк использует LLM для антифрода. Что по 716-П?

Инциденты с ИИ-моделью антифрода интегрируются в базу событий операционного риска по Положению 716-П. Параллельно готовится уведомление в ФинЦЕРТ (шаблон FINCERT, по запросу). Глава: 18. Российская специфика.

Мы субъект КИИ. Как регистрировать AI-инциденты?

В НКЦКИ через ГосСОПКА, 3 часа на первичное уведомление. Шаблон GOSSOPKA-187ФЗ предоставляется по запросу. Инструменты: АСОИ ФинЦЕРТ (для финсектора), защищённый канал ГосСОПКА (для прочих).

Что делать с данными граждан ЕС в наших моделях?

Если применим GDPR: дополнительные обязательства (lawful basis, DPIA аналогично PIA, Юрист, DSR механизмы). Если применим EU AI Act: обязательства по уровню риска. Параллельное соблюдение 152-ФЗ остаётся обязательным. Рекомендуется раздельная инфраструктура для EU-данных с локализацией в ЕС.

Red Teaming и тестирование

С чего начать red teaming LLM?

  1. Установите Garak или PyRIT.
  2. Запустите базовый набор проб: prompt injection, jailbreak, data leakage, toxicity.
  3. Прогоните в изолированной среде, не в production.
  4. Актуализируйте модель угроз по результатам.
  5. Добавьте в CI/CD как регулярный gate. Детали: 07. Red Teaming.

Как часто проводить adversarial testing?

  • Для Tier 1 (критические): при каждом релизе модели + еженедельно / ежемесячно на production.
  • Для Tier 2: при каждом значительном изменении модели + ежеквартально.
  • Для Tier 3: ежегодно + при изменении модели угроз.

Чем отличается red teaming LLM от классического пентеста?

Классический пентест ищет уязвимости в инфраструктуре и приложениях. Red teaming LLM дополнительно ищет:

  • Обход safety / content policy.
  • Утечку обучающих данных.
  • Prompt injection (direct / indirect).
  • Jailbreak / извлечение system prompt.
  • Модельные галлюцинации в критичных сценариях.
  • Data / model poisoning через пользовательский контекст.

Используйте оба подхода. Детали: 07. Red Teaming.

Supply Chain

Как безопасно использовать модели с HuggingFace?

  1. Никогда не загружайте pickle-модели из непроверенных источников.
  2. Предпочитайте SafeTensors.
  3. Проверяйте cosign-подпись (если есть).
  4. Сканируйте ModelScan + picklescan.
  5. Загружайте через внутреннюю reverse-proxy с кэшем и сканированием.
  6. Вносите в AI-BOM. Детали: 04. Supply Chain.

Что такое SLSA Level 3+ и зачем?

Supply-chain Levels for Software Artifacts - градация зрелости supply-chain. Level 3 требует:

  • Reproducible builds.
  • Provenance (подписанные метаданные сборки).
  • Изолированная build-среда.

Для Tier 1-2 моделей рекомендуется Level 3 и выше: это отсекает большинство атак типа trojanized adapter. Детали: 04. Supply Chain.

Нужен ли SBOM для моделей?

Да, в формате CycloneDX ML-BOM 1.5+. Пример AI-BOM-EXAMPLE.json предоставляется по запросу. Регулярно обновляется через CI/CD. Регуляторы могут запросить при аудите.

Агенты и RAG

Как безопасно запустить агента?

  1. Sandbox: gvisor / Firecracker / WASM.
  2. Allowlist инструментов.
  3. HITL для опасных операций (финансовые, юридические, отправка данных).
  4. Rate limit на операции.
  5. Kill-switch L4.
  6. Audit log с полной trajectory.
  7. Детали: 10. LLM/Agent Protection.

Как защитить RAG от corpus poisoning?

  1. Индексация только из доверенных коллекций.
  2. Cosign-подпись источников.
  3. DLP при ingest.
  4. Tenant isolation (коллекция на департамент).
  5. ACL на уровне коллекций.
  6. Регулярный audit содержимого vector DB.
  7. Детали: 10. LLM/Agent Protection; tabletop-сценарий 2 из комплекта TABLETOP-SCENARIOS (по запросу).

Как отделить K3-данные в RAG?

  • Отдельная коллекция с явным ACL.
  • Маркировка документов.
  • DLP в pre-ingest и post-call.
  • Доступ только для авторизованных пользователей (RBAC).
  • Запрет индексации K3 в коллекциях, доступных внешним пользователям.

Приватность (PET)

Когда применять Differential Privacy?

  • При fine-tuning на данных с K3-классом.
  • При публикации модели или метрик в открытом доступе.
  • При расчёте агрегатов по пользователям, раскрываемых третьей стороне.
  • Параметр epsilon: 1-10 типично, меньшее значение = строже приватность. Opacus - популярная реализация. Детали: 03. Data Operations; шаблон PIA-TEMPLATE (по запросу).

Когда применять Federated Learning?

  • Кросс-организационное обучение без обмена данными.
  • Обучение на данных, которые нельзя централизовать (медицинские, финансовые).
  • Instruments: Flower, NVFlare.
  • Внимание: FL не защищает от membership inference; комбинируйте с DP.

Когда нужен TEE?

  • Confidential inference для K3-K4 данных.
  • Обработка биометрии.
  • Кросс-организационные вычисления без доверия к провайдеру.
  • Implementations: Intel SGX / TDX, AMD SEV, NVIDIA Confidential Computing. Детали: глава 03. Data Operations.

Инциденты и reporting

У нас сработал kill-switch. Что дальше?

  1. Зафиксируйте факт и время в журнале инцидентов.
  2. Откройте соответствующий playbook по типу инцидента.
  3. Сохраните артефакты (prompts, traces, audit log) в WORM-хранилище.
  4. Соберите IR-команду.
  5. Оцените необходимость уведомления регуляторов.
  6. Проведите пост-инцидентный анализ. Детали: 15. Incident Response.

Как долго хранить audit log LLM Gateway?

Минимум:

  • Tier 1: 3 года.
  • Tier 2: 1 год.
  • Tier 3: 6 месяцев.

При инциденте - расширение retention для артефактов по ИИ (prompts, responses, vector DB snapshots). Детали: 15. Incident Response.

Мы провели tabletop. Где хранить результаты?

  • Протокол учений в системе управления документами ИБ.
  • Lessons learned вносятся в CHANGELOG.md методики (если результат влияет на процесс).
  • Улучшения playbooks фиксируются сразу.
  • Реестр tabletop ведёт CISO. Комплект TABLETOP-SCENARIOS (tabletop-сценарии) предоставляется по запросу.

Процессы и роли

Кто отвечает за AI-риски?

  • CISO: общая ответственность за ИБ, эскалация.
  • ML Lead: техническая ответственность за конкретную модель.
  • Юрист: обработка ПДн и согласование PIA.
  • CRO: интеграция в ERM (если есть).
  • Руководитель бизнес-подразделения: бизнес-риски.
  • Детали: 14. Governance; комплект одностраничников по ролям (role cheatsheets) доступен по запросу.

Как часто пересматривать модели угроз?

  • Обязательно: при любом значимом изменении системы (новая модель, новый источник данных, новая интеграция).
  • Регулярно: не реже 1 раза в 6 месяцев для Tier 1-2, 1 раз в год для Tier 3.
  • При инциденте: обязательный пересмотр после root cause анализа.
  • Шаблон THREAT-MODEL-TEMPLATE предоставляется по запросу.

Как посчитать зрелость?

Используйте опросник MLSec-зрелости (MATURITY-ASSESSMENT.xlsx, по запросу). Оцените по 5 уровням (Initial, Repeatable, Defined, Managed, Optimizing) каждую из 11 категорий. Интерпретация: уровень 3 (Defined) - минимум для Tier 1-2 организаций, уровень 4 (Managed) - цель зрелой программы.

Инструменты

Какие open-source инструменты рекомендуете?

  • Red teaming: Garak, PyRIT, ART, TextAttack, CleverHans.
  • DLP: Presidio, LLM Guard.
  • Model security: ModelScan, picklescan, SafeTensors.
  • Supply chain: Trivy, Grype, Syft, cosign (Sigstore), Kyverno, OPA.
  • Vector DB: Qdrant, Weaviate, Milvus, pgvector.
  • Model registry: MLflow.
  • Monitoring: Prometheus, Grafana, Loki, Tempo.
  • PET: Opacus (DP), Flower (FL), OpenFHE (HE).

Детали: 12. Gateway and DLP, 04. Supply Chain, 07. Red Teaming.

Почему Rilio, а не LiteLLM / аналоги?

Rilio - пример реализации gateway с встроенным 6-слойным DLP, kill-switch 5 уровней, tenant isolation, anonymous tracking, topology map. Подход методики архитектурно агностичен: вы можете использовать LiteLLM + свои DLP-слои, собственную реализацию, коммерческие решения. Важно соблюдать требования из 12. Gateway and DLP.

Работа с методикой

Как предложить улучшение?

Issue или pull request в репозитории. Принципы: без em/en-dashes, русский язык, проверяемые источники. См. README.md.

Как локально собрать Mermaid-диаграммы?

Большинство Markdown-вьюверов (GitHub, GitLab, Obsidian) рендерят Mermaid автоматически. Для статического экспорта: mmdc -i DIAGRAMS.md -o DIAGRAMS.pdf (mermaid-cli).

Где хранить заполненные шаблоны?

Не в этом репозитории (это публичная методика), а во внутреннем репозитории / системе управления документами вашей организации. Публичные шаблоны служат заготовкой.


См. также