MLSecRecommendations
Глава 30 · Операции

Глава 30. Интерпретируемость моделей для целей ИБ

~20 мин ≈ 20 мин осталось 4 574 словОбновлено 13 мая 2026 г.

Глава 30. Интерпретируемость моделей для целей ИБ

Версия: 2.0 Дата актуализации: 2026-04-22 Область: SHAP, Captum, LIT, TransformerLens, Sparse Autoencoders, mechanistic interpretability для ML SecOps Связи: Глава 04, Глава 07, Глава 14, Глава 15, Глава 18, Глава 23

Аннотация

Интерпретируемость часто воспринимается как инструмент DS-команд: «понять, почему модель ошиблась». С точки зрения ИБ и compliance 2025-2026 это недоиспользованный арсенал: обнаружение backdoor и poisoning, расследование утечек ПДн, проверка bias, доказательство GDPR Art. 22 и 152-ФЗ ст. 16 «право на объяснение», аудит poisoning через activation analysis, forensics inference-time injections.

Эта глава систематизирует инструментарий по задачам ИБ, показывает реальные инструменты с версиями и параметрами, и формулирует интеграцию в ML SecOps pipeline.

Ключевой тезис: интерпретируемость без security-контекста это «почему модель отказала в кредите». Интерпретируемость с security-контекстом это «эта модель скомпрометирована» или «этот ответ содержит training data, извлечённую через jailbreak».

1. Почему интерпретируемость это security-инструмент

Классический взгляд: интерпретируемость помогает DS понять модель. Современный (2025-2026) взгляд для ИБ: интерпретируемость это инструмент верификации, расследования и compliance:

  • Верификация: что модель не содержит внедрённого trigger (backdoor, sleeper agent).
  • Обнаружение: что модель опирается на protected attributes (race, gender), что приводит к дискриминации и штрафам ФАС/суда.
  • Forensics: «почему модель выдала секрет» в incident-investigation.
  • Compliance: GDPR Art. 22, 152-ФЗ ст. 16, EU AI Act Art. 13.
  • Доказательство регулятору, что model-output reasoned, не случаен.
  • Attestation: встраивание результатов интерпретации в Model Card, MRM, OPA-политику.

Три операционные роли

flowchart LR
  A["DS: почему<br/>модель ошиблась"] --> D["Объединённая<br/>платформа interpretability"]
  B["ИБ: что модель<br/>скомпрометирована"] --> D
  C["Compliance:<br/>право на объяснение"] --> D
  D --> E["SHAP / Captum<br/>/ LIT / TransformerLens"]
  D --> F["Reports, MRM,<br/>OPA gate"]
  D --> G["Runtime /explain<br/>endpoint"]
  style A fill:#f5f5f5,stroke:#333
  style B fill:#f5f5f5,stroke:#333
  style C fill:#f5f5f5,stroke:#333
  style D fill:#f5f5f5,stroke:#333
  style E fill:#f5f5f5,stroke:#333
  style F fill:#f5f5f5,stroke:#333
  style G fill:#f5f5f5,stroke:#333

2. Регуляторная привязка

Норма Требование Где интерпретируемость обязательна
GDPR Art. 22 Право не быть объектом решения исключительно автоматической обработки Объяснение каждого automated decision
GDPR Art. 13-15 Meaningful information о логике Transparent reasoning chain
152-ФЗ ст. 16 Право на опротестование автоматизированного решения Предоставить логическую цепочку
EU AI Act Art. 13 Transparency для high-risk Instructions for use + explanation capabilities
EU AI Act Art. 14 Human oversight Attribution должна быть доступна human reviewer
EU AI Act Art. 15 Accuracy, robustness, cybersecurity Включает bias + backdoor testing
ЦБ 716-П Управление операционным риском Модельные риски с обоснованием
ФСТЭК 239 (КИИ) Обоснованность срабатываний Логи + explanation для критических решений
NIST AI RMF (MANAGE 2.3) Pre-deployment model risks identified Includes interpretability metrics
ISO/IEC 42001 A.6.2.5 AI impact assessment Explanations обязательный artefact

Стандарты

  • ISO/IEC TR 24028:2020 «Trustworthiness in AI»: секция про explainability.
  • ISO/IEC 23894:2023 «AI Risk Management»: включает взгляд на interpretability как risk control.
  • NIST IR 8312 «Four Principles of Explainable AI»: meaningful, accurate, limited knowledge disclosure, explanation.
Доступ по подписке#30-interpretability-for-security

Дальше — практика и артефакты

Полная версия главы «Глава 30. Интерпретируемость моделей для целей ИБ» с готовыми артефактами, шаблонами, чек-листами и подробными процедурами доступна по подписке.

11% прочитано89% в подписке
Внутри:Готовые playbook'иШаблоны документовЧек-листыCI/CD конфиги
10код-блоков10таблиц32чек-пунктов2интерактивов
  • Полный доступ ко всем главам и обновлениям 30 дней
  • Готовые playbook'и, шаблоны и runbook'и под копирование
  • Поддержка автора — paywall не для заработка, а для развития справочника
Открыть подписку· от 49 USD / 30 днейУже оплатил(а) — войти

Можно отменить в любой момент. Возврат средств в первые 7 дней без вопросов.

Упоминается в (2)