Технологии и системы обработки больших данных

Цели и задачи дисциплины

Цель дисциплины - освоение студентами ключевых технологий, методов и принципов организации систем обработки больших данных. Задачи освоения дисциплины: общее представление и понимание выбора той или иной технологии обработки больших данных для решения поставленной задачи; умение организовывать распределенное хранилище и параллельную обработку на базе современных технологий больших данных; получение практических навыков разработки и отладки прикладных решений с элементами ИИ с применением различных технологий обработки данных. Профессиональная роль: инженер по данным.

Краткое содержание дисциплины

Изложены наиболее важные понятия, методы и технологии обработки больших данных. В курс входят следующие разделы: введение в большие данные; архитектура систем обработки больших данных; хранение и управление данными (DataLake); обработка больших данных (MapReduce); анализ и визуализация данных; машинное обучение и большие данные; безопасность и этика работы с большими данными.

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ПК-1 [LC-5] Способен применять и (или) проектировать различные инструменты и инженерные практики промышленной разработки систем ИИ, развертывания и сопровождения моделей машинного обучения в продуктивной среде
ПК-10 [BD-4] Способен применять различные модели и (или) технологии обработки данных