Информационная безопасность программных систем

Цели и задачи дисциплины

Цель дисциплины: Сформировать у студентов системное понимание угроз безопасности программных систем и систем на основе ИИ, практические навыки противодействия этим угрозам, а также компетенции в области этики искусственного интеллекта и соответствия регуляторным требованиям — необходимые для ответственной разработки и эксплуатации ИИ-продуктов. Задачи дисциплины: – Освоить базовые принципы информационной безопасности (конфиденциальность, целостность, доступность) и классификацию угроз для программных систем. – Изучить типовые уязвимости веб-приложений и прикладного программного обеспечения согласно перечню наиболее критичных уязвимостей OWASP Top 10 (открытый проект по безопасности веб-приложений). – Изучить специфические угрозы безопасности систем на основе ИИ: состязательные атаки (adversarial attacks — намеренное введение модели в заблуждение с помощью специально искажённых входных данных), отравление обучающих данных, атаки на извлечение модели и инверсию данных. – Освоить методы обеспечения устойчивости и надёжности ИИ-систем: состязательное обучение (adversarial training — обучение модели на атакующих примерах для повышения её стойкости), проверка входных данных, обнаружение аномалий. – Изучить принципы конфиденциальных вычислений применительно к ИИ: дифференциальная приватность (differential privacy — математически строгая защита персональных данных при обучении моделей) и федеративное обучение (обучение модели на распределённых данных без их централизации). – Сформировать понимание проблем предвзятости (смещения) в ИИ-системах: источники, виды, методы выявления и снижения. – Изучить принципы объяснимого ИИ (XAI — eXplainable AI, системы ИИ, способные давать понятные людям объяснения своих решений) и методы обеспечения прозрачности алгоритмов. – Освоить актуальную регуляторную базу в сфере ИИ: Регламент ЕС об искусственном интеллекте (EU AI Act), российские нормативные документы в сфере ИИ, международные стандарты и этические рамки.

Краткое содержание дисциплины

Раздел 1 «Основы информационной безопасности программных систем» охватывает: триаду безопасности «конфиденциальность — целостность — доступность» (КЦД); модели угроз и нарушителей; наиболее критичные уязвимости веб-приложений согласно OWASP Top 10 (инъекции, нарушение аутентификации, небезопасная десериализация и другие); принципы безопасной разработки программного обеспечения (SDL — Security Development Lifecycle, жизненный цикл безопасной разработки); основы криптографии: симметричное и асимметричное шифрование, хэш-функции, цифровая подпись. Раздел 2 «Угрозы безопасности систем на основе ИИ» охватывает: специфику поверхности атаки (attack surface — совокупность точек, через которые злоумышленник может воздействовать на систему) для ИИ-систем; состязательные атаки на модели классификации и генеративные модели (атаки типа FGSM — метод быстрого градиентного знака, PGD — проецируемый градиентный спуск); отравление обучающих данных (data poisoning — внедрение вредоносных примеров в обучающий набор); атаки на извлечение модели (model extraction — воссоздание модели через запросы к её интерфейсу); атаки на инверсию модели (model inversion — восстановление обучающих данных по поведению модели); атаки через запросы к языковым моделям (prompt injection — внедрение вредоносных инструкций через текстовый ввод). Раздел 3 «Методы защиты и обеспечения устойчивости ИИ-систем» охватывает: состязательное обучение как метод повышения стойкости модели к атакам; проверку и очистку входных данных; обнаружение аномалий на входе модели; дифференциальную приватность (математическое ограничение утечки информации о конкретных примерах при обучении модели); федеративное обучение (federated learning — обучение модели на локальных устройствах без передачи данных на центральный сервер); безопасное многостороннее вычисление. Раздел 4 «Предвзятость, справедливость и объяснимость ИИ-систем» охватывает: источники предвзятости (смещения) в данных и моделях: историческая предвзятость, предвзятость выборки, предвзятость измерений; метрики справедливости (fairness metrics): демографический паритет, равенство возможностей, индивидуальная справедливость; методы снижения предвзятости на этапах предобработки данных, обучения и постобработки предсказаний; объяснимый ИИ (XAI): локальные методы — LIME (локальные интерпретируемые объяснения, основанные на суррогатной модели) и SHAP (аддитивные объяснения на основе теории Шепли); системные объяснения. Раздел 5 «Регуляторная база и этические рамки ИИ» охватывает: Регламент ЕС об искусственном интеллекте (EU AI Act): классификация систем по уровню риска (недопустимый, высокий, ограниченный, минимальный), требования к системам высокого риска; российское законодательство в сфере ИИ и персональных данных (Федеральный закон № 152-ФЗ «О персональных данных», национальный стандарт ГОСТ Р в области ИИ); международные этические рамки: принципы ОЭСР по ИИ, рекомендации ЮНЕСКО по этике ИИ; практика составления карточки модели (Model Card — стандартизированный паспорт модели) и карточки данных (Data Card).

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ОПК-4 Способен оптимальным образом комбинировать существующие информационно-коммуникационные технологии для решения задач в области профессиональной деятельности с учетом требований информационной безопасности