Интеллектуальный анализ данных

Цели и задачи дисциплины

Целью дисциплины является ознакомление студентов с основными методами и алгоритмами интеллектуального анализа данных (ИАД) — поиск шаблонов, классификация, кластеризация, поиск аномалий, а также формирование навыков идентификации базовых задач ИАД в реальных предметных областях и умений применять изученные методы и алгоритмы для их решения.

Краткое содержание дисциплины

Введение в дисциплину. Феномен Больших данных. Понятие интеллектуального анализа данных. Технологический цикл анализа данных. Базовые задачи интеллектуального анализа данных: поиск шаблонов, классификация, кластеризация, поиск аномалий. Поиск шаблонов. Понятия транзакции, частого набора, шаблона, поддержки, достоверности. Основные алгоритмы поиска частых наборов (Apriori, FP-Growth, Eclat). Выбор полезных шаблонов. Компактное представление частых наборов. Классификация. Процесс классификации: обучение модели, оценка модели, применение модели. Деревья решений. Наивная Байесовская классификация. Классификация по ближайшим соседям. Оценка качества классификации (метрики Accuracy, Precision, Recall, F1; AUC ROC; подготовка тестовой выборки: hold-out, random sampling, bootstrapping, cross-validation). Ансамблевая классификация (бэггинг, бустинг, случайный лес и др.). Кластеризация. Разделительная кластеризация (k-means, k-medoids и др.). Иерархическая кластеризация (Single linkage, Full linkage, Ward distance и др.). Плотностная кластеризация (DBSCAN). Нечеткая кластеризация (Fuzzy C-means). Оценка качества кластеризации (метод локтя, силуэтный коэффициент и др.). Поиск аномалий. Понятия аномалии (выброса), шума, новизны в данных. Виды аномалий: точечные, коллективные, контекстные. Статистические методы поиска аномалий. Поиск аномалий на основе расстояния. Поиск аномалий на основе плотности. Поиск аномалий с помощью кластеризации. Поиск аномалий на основе классификации.

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ПК-5 [ML-3] Способен применять классические алгоритмы машинного обучения с пониманием их математических основ и областей применения
ПК-6 [ML-4] Способен применять методы обучения без учителя для анализа структуры данных и выявления скрытых закономерностей
ПК-8 [BD-1] Способен осуществлять поиск, сбор, очистку и предварительный анализ данных