Ключевые принципы построения подсистемы информационной безопасности MLOps

В статье рассматриваются ключевые принципы построения подсистемы информационной безопасности MLOps (Machine Learning Operations), учитывая растущую актуальность и уязвимость систем машинного обучения в современных условиях. В работе рассматриваются основные регуляторные требования к информационной безопасности систем, использующих машинное обучение, включая анализ требований ФСТЭК России. Обосновывается необходимость адаптации современных решений MLSecOps к условиям российского законодательства. Проведён анализ ключевых рисков кибербезопасности, характерных для каждого этапа жизненного цикла MLOps, а также представлены существующие методы и подходы их митигации. В работе приведена математическая формализация для оценки защищенности системы, учитывающей технические и регуляторные требования, а также требования к импортозамещению. Представлен концептуальный состав модулей подсистемы ИБ. Результаты исследования направлены на создание эффективной и надежной подсистемы защиты конвейеров MLOps и снижения рисков, связанных с использованием технологий машинного обучения.

1. Kreuzberger D. Machine Learning Operations (MLOps): Overview, Definition, and Architecture / D. Kreuzberger, N. Kühl, S. Hirschl // IEEE Access. – 2023. – Vol. 11. – Machine Learning Operations (MLOps). – P. 31866-31879.

2. Patel R. Towards Secure MLOps: Surveying Attacks, Mitigation Strategies, and Research Challenges. Towards Secure MLOps / R. Patel [и др.] arXiv:2506.02032 [cs]. – arXiv, 2026.

3. Wilson S. The developer’s playbook for large Language model security: building secure AI applications. The developer’s playbook for large Language model security / S. Wilson. – First edition. – Beijing Boston Farnham Sebastopol Tokyo: O’Reilly, 2024. – 200 p.

4. Указ Президента Российской Федерации от 10.10.2019 г. № 490. О развитии искусственного интеллекта в Российской Федерации. (В редакции Указа Президента Российской Федерации от 15.02.2024 № 124).

5. Регуляторные документы РФ по безопасности ИИ — с чем мы вступаем в 2026 год [Электронный ресурс] : Хабр. – URL: https://habr.com/ru/articles/986800/ (дата обращения: 07.02.2026).

6. Федеральная служба по техническому и экспортному контролю. Требования о защите информации, содержащейся в государственных информационных системах, иных информационных системах государственных органов, государственных унитарных предприятий, государственных учреждений: утверждены приказом ФСТЭК России от 11 апреля 2025 г. № 117.

7. Анализ ключевых изменений в требованиях к защите информации согласно Приказу ФСТЭК № 117 [Электронный ресурс]. – URL: https://sec.ussc.ru/fstec_117 (дата обращения: 08.02.2026).

8. Федеральная служба по техническому и экспортному контролю. Методический документ. Методика анализа защищенности информационных систем. Утверждена 25 ноября 2025 г.

9. ГОСТ Р 70462.1-2022/ISO/IEC TR 24029-1-2021. Информационные технологии. Интеллект искусственный. Оценка робастности нейронных сетей.

10. Намиот Д.Е. Схемы атак на модели машинного обучения / Д.Е. Намиот // International Journal of Open Information Technologies. – 2023. – Т. 11. – № 5. – С. 68-86.

11. Lavaur L. Investigating the Impact of Label-flipping Attacks against Federated Learning for Collaborative Intrusion Detection / L. Lavaur, Y. Busnel, F. Autrel // Computers & Security. – 2025. – Vol. 156. – P. 104462.

12. Hall P. Machine learning for high-risk applications: approaches to responsible AI. Machine learning for high-risk applications / P. Hall. – First Edition. – Québec: O’Reilly Media, Incorporated, 2023. – 466 p.

13. Sotiropoulos J. Adversarial AI Attacks, mitigations, and defense strategies: a cybersecurity professional’s guide to AI attacks, threat modeling, and securing AI with MLSecOps. Adversarial AI Attacks, mitigations, and defense strategies / J. Sotiropoulos. – Place of publication not identified: Packt Publishing, 2024. – 602 p.

14. Намиот Д.Е. Атаки на системы машинного обучения - общие проблемы и методы / Д.Е. Намиот, Е.А. Ильюшин, И.В. Чижов // International Journal of Open Information Technologies. – 2022. – Т. 10. – № 3. – С. 17-22.

15. Kovacs E. “EchoLeak” AI Attack Enabled Theft of Sensitive Data via Microsoft 365 Copilot [Электронный ресурс]. – URL: https://www.securityweek.com/echoleak-ai-attack-enabled-theft-of-sensitive-data-via-microsoft-365-copilot/ (дата обращения: 08.02.2026).

16. Gao Y. Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review. Backdoor Attacks and Countermeasures on Deep Learning / Y. Gao [et al.] arXiv:2007.10760 [cs]. – arXiv, 2020.

17. Sutton O.J. Staining and locking computer vision models without retraining / O.J. Sutton [и др.] arXiv:2507.22000 [cs]. – arXiv, 2025.

18. MLOps Market Outlook from 2026 to 2033: Trends by Application, by Region, and 12.8% CAGR Forecast [Электронный ресурс]. – URL: https://www.linkedin.com/pulse/mlops-market-outlook-from-2026-2033-trends-application-region-dswuf (дата обращения: 02.03.2026).

19. Giskard - LLM Agent Testing & Evaluation Platform [Электронный ресурс]. – URL: https://docs.giskard.ai/index.html (дата обращения: 08.02.2026).

20. Center S.I.S. ModelScan - Protection Against Model Serialization Attacks [Электронный ресурс]. – URL: https://isc.sans.edu/diary/31692 (дата обращения: 08.02.2026).

21. LLM Monitoring для GenAI-приложений | AI Security Lab ИТМО [Электронный ресурс]. – URL: https://hivetrace.ru/ (дата обращения: 08.02.2026).

22. LLAMATOR [Электронный ресурс]. – URL: https://llamator-core.github.io/llamator/ (дата обращения: 08.02.2026).

23. Гарда DLP — система предотвращения утечек информации | Продажа и внедрение от Российского разработчика «Гарда» [Электронный ресурс]. – URL: https://garda.ai/products/data-protection/dlp (дата обращения: 08.02.2026).

24. PT Dephaze — автопентест, который покажет, что сможет сделать хакер в инфраструктуре [Электронный ресурс]. – URL: https://ptsecurity.com/products/dephaze/ (дата обращения: 08.02.2026).

25. Kim J. Security for the scientific data services framework / J. Kim [et al.] // 2015 IEEE International Conference on Big Data (Big Data) 2015 IEEE International Conference on Big Data (Big Data). – 2015. – P. 1871-1875.

26. Spadari V. An MLOps Framework for Explainable Network Intrusion Detection with MLflow / V. Spadari [et al.] // 2024 IEEE Symposium on Computers and Communications (ISCC) 2024 IEEE Symposium on Computers and Communications (ISCC). – Paris, France: IEEE, 2024. – P. 1-6.

27. Tete S.B. Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications / S.B. Tete arXiv:2406.11007 [cs]. – arXiv, 2024.

28. Hassija V. Interpreting Black-Box Models: A Review on Explainable Artificial Intelligence / V. Hassija [et al.] // Cognitive Computation. – 2024. – Vol. 16. – Interpreting Black-Box Models. – № 1. – P. 45-74.

29. Awesome MLSecOps [Электронный ресурс]. – URL: https://github.com/RiccardoBiosas/awesome-MLSecOps (дата обращения: 04.02.2026).

30. Намиот Д.Е. О работе AI Red Team / Д.Е. Намиот, Е.В. Зубарева // International Journal of Open Information Technologies. – 2023. – Т. 11. – № 10. – С. 130-139.