MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения

Вендор:

Авторский курс

Направление:

Безопасность, Machine learning

Код курса:

MLSecOps

Длительность:

48 ак. часов

Цена:

3060 BYN _{^{с НДС 20%}}

В сфере ИИ и больших данных укрепляется новое направление – MLSecOps. Оно находится на стыке машинного обучения и информационной безопасности, требует комбинированных навыков как в области информационной безопасности, так и управления данными.

К таким навыками относятся: анализ угроз и уязвимостей в системах машинного обучения, оценка эффективности мер безопасности и контроль разработки и внедрения решений MLSecOps.

Специалисты MLSecOps защищают как сами модели искусственного интеллекта, так и весь процесс их сборки и эксплуатации. Интерес к направлению стремительно растет, а спрос на специалистов ежегодно увеличивается более чем на 100%. Актуальность также основывается на развитии сферы искусственного интеллекта, а также аналитики и изучения данных (Data Analysis и Data Science) и активизации злоумышленников.

Необходимая подготовка

Навыки работы на компьютере на уровне опытного пользователя
Базовые навыки обеспечения информационной безопасности в качестве пользователя (сложные пароли, антивирусная защита, блокировка экрана)
Базовые навыки работы с нейронными сетями

Приобретаемые знания и навыки

По окончании курса слушатели смогут:

Классифицировать атаки MLSecOps и выбирать необходимые меры противодействия;
Применять теоретические знания при решении прикладных задач обеспечения безопасности искусственного интеллекта;
Применять знания об анализе данных, машинном обучении, информационной безопасности для выработки управленческих, исследовательских, хозяйственных и других решений в рамках своей профессиональной деятельности;
Обосновывать профессиональное мнение о роли и потенциале использования технологий MLSecOps в государственном управлении;
Подготавливать предложения в плановые, нормативные и другие документы по обеспечению безопасности искусственного интеллекта в государственном управлении.

Для успешного прохождения курса необходимы:

Доступ в среду разработки Google Colab (при необходимости готовы предоставить инструкцию по настройке)
Надежный Интернет
Стационарный ПК или ноутбук с возможностью воспроизведения звука

Программа курса

Модуль 1. Введение в MLSecOps и LLMSecOps

Современные тренды IT-сферы. Появление сферы MLSecOps в IT
AI Security & AI Safety. Пример архитектуры AI Safety
Обзор концепций MLSecOps и LLMSecOps. Определение, цели, ключевые принципы
Место MLSecOps в общей архитектуре кибербезопасности. Интеграция MLSecOps с существующими процессами безопасности
Основные угрозы и уязвимости в MLSecOps. Ущерб от ML-инцидентов. Обзор ресурсов для изучения MLSecOps

Модуль 2. Анализ больших данных в MLSecOps

Обзор типов данных, используемых в задачах безопасности ML
Техники сбора, очистки, преобразования и нормализации данных в MLSecOps
Визуализация данных для анализа аномалий. Использование графиков и диаграмм для выявления подозрительной активности
Основы статистического анализа для MLSecOps. Применение статистических методов для анализа данных безопасности
Десять типов основных атак Data Poisoning и алгоритмы защиты от них

Модуль 3. Машинное обучение в MLSecOps

Базовые понятия и типы машинного обучения. Обучение с учителем, без учителя, с подкреплением
Алгоритмы машинного обучения и MLSecOps-риски. Классификация, кластеризация, обнаружение аномалий
Безопасность моделей машинного обучения. Метрики точности, полноты, F1-меры, AUC-ROC
Популярные библиотеки машинного обучения Scikit-learn, TensorFlow, PyTorch и возможные уязвимости

Модуль 4. Обеспечение информационной безопасности в MLSecOps

Основные принципы информационной безопасности. Конфиденциальность, целостность, доступность.
Управление доступами и аутентификация. Методы контроля доступа к данным и ресурсам
Шифрование и хэширование данных. Применение криптографических методов для защиты конфиденциальности
Основы сетевой безопасности в MLSecOps. Защита сетевой инфраструктуры и каналов передачи данных

Модуль 5. Оценка рисков, экономического эффекта и разработка стратегии защиты в MLSecOps

Основные риски в MLSecOps и базовые методы защиты
Специфические риски MLSecOps, характеристика для разных отраслей
Человеческий фактор как один из главных рисков MLSecOps. Социальная инженерия
Разработки стратегии защиты в MLSecOps. AI Control Matrix

Модуль 6. OWASP TOP-10 угроз в MLSecOps и LLMSecOps. Рекомендуемые методы защиты и диагностики

OWASP Top-10 для LLM (2025), примеры атак и защитные меры
OWASP Top-10 для ML
OWASP Top-10 для Агентских приложений (2026)
Дополнительные фреймворки и методы защиты

Модуль 7. Безопасный цикл и архитектура MLSecOps. Безопасность ИИ-агентов

Безопасная разработка моделей ML (Secure by Design). Встраивание безопасности на этапе проектирования
Безопасное обучение моделей ML. Защита от отравления данных (Data Poisoning), атак на обучение
Безопасное развертывание моделей ML. Обеспечение безопасности инфраструктуры
Безопасное обслуживание и обновление моделей ML. Мониторинг и обновление моделей для защиты от новых угроз
Облачные платформы как средство обеспечения надежной инфраструктуры MLSecOps
Обеспечение безопасности ИИ-агентов
Обеспечение безопасности MSP-серверов

Модуль 8. Реагирование на инциденты безопасности MLSecOps

Планы реагирования на инциденты. Процедуры и алгоритмы для быстрого реагирования на атаки
Изоляция и анализ инцидентов. Методы анализа и расследования инцидентов безопасности
Восстановление после инцидентов. Стратегии восстановления работоспособности систем
Уроки, извлеченные из инцидентов. Postmortems. Анализ инцидентов для улучшения будущей защиты

Модуль 9. Обеспечение надежности и отказоустойчивости в MLSecOps. Техники SRE

Обеспечение высокой доступности ML-систем. Методы предотвращения простоев в работе. Техники SRE
Резервирование и резервное копирование данных. Защита от потери данных и сбоев системы
Мониторинг инфраструктуры ML. Отслеживание состояния серверов и другого оборудования
Планирование аварийного восстановления. Процедуры для быстрого восстановления работоспособности

Модуль 10. Обеспечение безопасной работы пользователей с нейронными сетями

Проверка и валидация входных данных. Правила безопасных запросов к нейросетям
Ограничение доступа пользователей к чувствительной информации. Разделение прав доступа и управление полномочиями
Предотвращение утечки данных. Защита от несанкционированного копирования и распространения данных
Обучение пользователей правилам безопасной работы с нейросетями.

Модуль 11. Нормативно-правовое регулирование MLSecOps. Этичное применение ИИ-систем

Международные стандарты регулирования ИИ
Российские стандарты регулирования ИИ
Этичное и ответственное использование ИИ в различных отраслях. Соблюдение комплаенс-политик и процедур. Предотвращение предвзятости и дискриминации
Формирование корпоративной культуры MLSecOps. Корпоративная политика по безопасности ИИ-систем

Модуль 12. Современные инструменты, лучшие практики и перспективы MLSecOps

Обзор современных инструментов и технологий MLSecOps. Анализ передовых разработок в области безопасности
Автоматизация задач MLSecOps. Применение инструментов для автоматизации рутинных операций
Перспективы развития MLSecOps и LLMSecOps. Обзор будущих тенденций и направлений развития
Практические кейсы и примеры внедрения MLSecOps. Анализ успешных проектов и лучших практик
Аудит MLSecOps: советы и рекомендации

Онлайн формат обучения

Онлайн обучение - это курс, который проходит в режиме реального времени под руководством преподавателя по такому же графику как и очное обучение. Наш учебный центр может организовывать курсы только в онлайн формате или в смешанном, когда часть слушателей находится в классе очно, а часть подключается онлайн.

Занятия на большинстве наших курсов занимают 8 академических часов в день (с 10:00 до 17:00), также есть отдельные программы вечернего онлайн обучения. Чтобы наши студенты не уставали в процессе учебы, мы делаем небольшие перерывы на чай/кофе, при полнодневном обучении также есть время на полноценный обеденный перерыв.

В процессе обучения вы сможете задавать вопросы и общаться с преподавателем и остальными участниками как с помощью чата, так и голосом при наличии микрофона.

В зависимости от выбранной программы обучения, каждому участнику будет предоставлен доступ к заренее настроенной виртуальной машине с лабораторными заданиями. Для удобства мы рекомендуем слушателям подключить 2 монитора, на одном из которых будет учебный материал/трансляция преподавателя, а на другом открыт стенд для выполнения практических заданий. На части из курсов (не всех) предусмотрена запись тренинга, которую слушатели могут просмотреть, если по какой-то причине пропустили часть занятия.