Большие языковые модели (LLM)

Цели и задачи дисциплины

Целью дисциплины «Большие языковые модели (LLM)» является формирование у студентов теоретических знаний и практических навыков в области разработки, обучения, дообучения и применения больших языковых моделей, включая понимание архитектурных основ современных LLM, методов эффективного обучения и развёртывания моделей в производственной среде. Задачи дисциплины: — изучить математические и алгоритмические основы нейросетевых архитектур для обработки естественного языка; — освоить архитектуру трансформеров и механизм внимания как фундамент современных LLM; — изучить методы предобучения крупных языковых моделей, законы масштабирования и явления возникновения новых способностей; — овладеть техниками промптинга, дообучения (fine-tuning), RLHF и PEFT для адаптации LLM к прикладным задачам; — научиться применять методы квантизации, дистилляции и эффективного инференса LLM; — освоить построение RAG-систем и LLM-агентов для практических приложений; — получить практические навыки работы с современными фреймворками в области больших языковых моелей.

Краткое содержание дисциплины

Введение в NLP. История и современное состояние. Задачи NLP. Векторные представления слов: Count-based методы, Word2Vec, GloVe. Оценка качества эмбеддингов. Методы классификации текстов: наивный Байес, логистическая регрессия, метод опорных векторов, сверточные нейросети, рекуррентные нейросети. N-граммные и нейросетевые языковые модели. Связывание весов для улучшения обучения модели. Перплексия как метрика качества языковой модели. Обучение и применение нейросетевых моделей для генерации текста. Архитектура Seq2seq, механизм внимания (Attention), алгоритм лучевого поиска (Beam Search). BLEU-метрика качества генерации текста. Архитектура трансформеров: внимание, самовнимание, заполнение пробелов во внимании. Особенности модели BERT: позиционное кодирование, кодирование пар байтов (BPE). Обучение с переносом в NLP: предобучение и дообучение модели. Контекстные векторы (CoVe) и эмбеддинги (ELMo) для языковых моделей. Архитектура модели BERT: масочное языковое моделирование (MLM), предсказание следующего предложения (NSP), дообучение (Fine-tuning). Улучшения модели BERT: RoBERTa, ALBERT, DistilBERT. Законы масштабирования (Scaling Laws) для качественного улучшения языковых моделей. Применение Scaling Laws для создания моделей GPT-3, LLaMA, Qwen3. Эмерджентные способности языковых моделей. Зависимость размера модели от новых способностей к рассуждению, следованию инструкциям, базовому программированию и пр. Анализ внутренних представлений больших языковых моделей (LLM). Основы промпт инжиниринга: сделай с первого раза (zero-shot), обучись на примерах (few-shot), покажи ход рассуждений (chain-of-thought). Управление креативностью и детерминированностью модели через температуру, контекст. Как заставить модель думать и проверять за себя – продвинутые техники промптинга. Рассуждение и действие (ReAct). Дерево мыслей (Tree-of-Thought) для лучшего выбора из альтернатив. Ограничения техник и интерпретация ответа модели. Обучение модели на предпочтениях людей (RLHF). Алгоритм обучения с подкреплением ближайшей оптимизации политики (PPO). Продукты моделей предпочтений: от GPT-3 к InstructGPT и ChatGPT. Прямая оптимизация предпочтений (DPO) как технически более сложная альтернатива RLHF. Семейство методов дообучения модели с изменением малого количества параметров: Adapters, LoRA, Prefix Tuning. Сравнение методов и практические рекомендации по применению. Уменьшение размеров LLM с использованием квантования весов модели (PTQ). Алгоритмы 4-х битного квантования весов: GPTQ, AWQ. Методы уменьшения размера сети (дистилляция), удаление избыточных компонентов (прунинг), прореживание сети (разреживание). RAG (Retrieval-Augmented Generation): архитектура, векторные базы данных. LLM-агенты. Обзор фреймворков

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ПК-2 Способен исследовать и разрабатывать архитектуры интеллектуальных информационных систем для различных предметных областей на основе комплексов методов и инструментальных средств систем искусственного интеллекта