Предобработка и анализ данных

Цели и задачи дисциплины

Целью освоения дисциплины является формирование системных знаний и практических навыков предобработки, очистки и анализа данных различной природы для последующего применения в задачах машинного обучения и анализа данных. В ходе изучения дисциплины студенты осваивают методы разведочного анализа, обработки пропусков и выбросов, кодирования и масштабирования признаков, работы с временными рядами и текстовыми данными, а также техники балансировки несбалансированных выборок. Особое внимание уделяется пониманию математических основ алгоритмов предобработки и их влияния на качество моделей машинного обучения. Дисциплина сочетает теоретическую подготовку с выполнением лабораторных работ на реальных наборах данных, что обеспечивает формирование компетенций, востребованных в промышленной аналитике и научных исследованиях. По итогам освоения курса студент способен самостоятельно проводить полный цикл подготовки данных от первичного исследования до формирования признакового пространства, готового к использованию в моделях искусственного интеллекта.

Краткое содержание дисциплины

Дисциплина охватывает полный цикл предобработки данных, начиная с разведочного анализа и статистического описания признаков, включая визуальный поиск аномалий и анализ распределений. Изучаются методы обработки пропусков различных типов (MCAR, MAR, MNAR), обнаружения и обработки выбросов. Рассматриваются техники кодирования категориальных признаков, масштабирования числовых переменных и трансформации распределений для устранения асимметрии. Значительная часть курса посвящена анализу временных рядов: исследованию стационарности, автокорреляционной структуры, построению моделей ARIMA и SARIMA, а также альтернативным представлениям рядов в виде рекуррентных изображений, угловых полей Грамиана и марковских переходных полей. Отдельные темы посвящены конструированию и автоматизированному извлечению признаков, включая полиномиальное расширение и использование библиотек TSFEL и tsfresh. Изучаются методы предобработки текстовых данных: токенизация, лемматизация, построение обратного индекса и векторизация с использованием TF-IDF. Завершается курс рассмотрением проблем дисбаланса классов и методов балансировки выборок, включая алгоритмы SMOTE и ADASYN.

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ПК-1 Способен разрабатывать и применять алгоритмы анализа данных, машинного обучения и нейросетевых технологий при создании интеллектуальных информационных систем