Основы распределенной обработки данных

Цели и задачи дисциплины

Целью курса является изучение студентами задач, связанных с распределенным хранением и обработкой больших данных. При изучении этого курса должны быть решены следующие задачи: изучение понятия и проблематики больших данных, способы распределенного хранения и обработки больших данных, хранение и обработка больших данных в экосистеме Hadoop.

Краткое содержание дисциплины

Понятие больших данных. Распределенная обработка больших данных. Основы Hadoop, HDFS, MapReduce. Экосистема Hadoop: Pig, Apache Hive, HBase, Apache Spark, MLlib, Hadoop YARN, Zookeeper, Apache Kafka.

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ПК-2 Способен разрабатывать компоненты системных программных продуктов на основе соответствующей технической документации
ПК-7 (ПК-8 модели) Способен разрабатывать системы анализа больших данных