Генеративные нейронные сети

Цели и задачи дисциплины

Цель: формирование у студентов знаний и навыков в области генеративных нейронных сетей (GAN, VAE, Diffusion Models), их архитектуры, а также практических навыков разработки, обучения и применения генеративных моделей глубокого обучения для создания новых данных, аналогичных реальным. Задачи: изучить теоретические основы генеративных моделей, освоить методы обучения и оценки качества генеративных моделей, применить знания на практике через реализацию проектов (например, генерация изображений, текстов, музыки)

Краткое содержание дисциплины

Курс охватывает четыре класса генеративных моделей: VAE с репараметризацией и ELBO, GAN (DCGAN, StyleGAN) с проблемой коллапса мод, диффузионные модели на основе процессов зашумления и U-Net. В области аудиотехнологий студенты строят ETL-конвейеры для обработки речи, синтезируют данные для балансировки выборок, дообучают ASR-модели (Whisper, Wav2Vec) с оценкой WER/CER и разрабатывают сквозной пайплайн распознавания, NLP-коррекции и синтеза речи (Tacotron, VITS, FastSpeech). Для адаптации больших моделей в условиях ограниченных ресурсов изучаются PEFT-методы (LoRA, QLoRA, Adapters) для LLaMA/Mistral, RLHF с PPO-оптимизацией и персонализация генерации изображений (DreamBooth, Textual Inversion). В финальной части осваиваются оптимизация (квантование, дистилляция, прунинг) для edge-устройств, распределенное обучение (DDP, DeepSpeed, ZeRO) и метрики оценки (FID, Inception Score, BLEU, ROUGE, Perplexity). Практика включает квантизацию с сравнением CPU/GPU, распределенное обучение диффузионных моделей, построение бенчмарков и полный цикл A/B-тестирования со статистическим анализом и интерпретацией результатов.

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ПК-16 [DL-5] Способен применять и (или) разрабатывать алгоритмы распознавания и генерации речи
ПК-17 [LLM-2] Способен дообучать, адаптировать и оптимизировать генеративные модели под специфические задачи и условия применения
ПК-21 [DL-2] Способен применять и (или) разрабатывать современные архитектуры генеративных глубоких сетей
ПК-24 [FC-2] Способен проводить передовые исследования в области фундаментальных и генеративных моделей
ПК-28 [LLM-1] Способен применять и (или) разрабатывать генеративные модели и БЯМ