| Цель изучения дисциплины | Формирование ключевых компетенций в области науки о данных за счет ознакомления с теоретическими и практическими аспектами работы с большими данными, разработки алгоритмов и программ сбора, обработки и анализа больших данных в прикладных задачах и разработки специлизированных проектов. |
|---|---|
| Место дисциплины в учебном плане | Б1.О.4 |
| Формируемые компетенции | ОПК-5 | Знания, умения и навыки, получаемые в результате освоения дисциплины |
Знать:
основные концепции и характеристики больших данных (Volume, Velocity, Variety, Veracity); архитектуру и компоненты экосистемы Apache Hadoop (HDFS, YARN, MapReduce); принципы работы и области применения технологий распределенной обработки данных (Apache Spark, Apache Hive, Apache HBase); методы и инструменты приема и трансформации данных (Apache Sqoop, Apache NiFi, Apache Flume); Уметь:
проектировать архитектуру решения для задач хранения и обработки больших данных; применять инструменты экосистемы Hadoop и Spark для решения практических задач; выполнять импорт/экспорт данных между различными системами хранения с использованием Apache Sqoop; разрабатывать конвейеры данных для потоковой и пакетной обработки с использованием Apache NiFi; Иметь навыки и (или) опыт деятельности (владеть):
навыками работы с распределенными файловыми системами (HDFS); навыками использования фреймворков распределенных вычислений (Hadoop MapReduce, Apache Spark); навыками работы с распределенными СУБД (Apache HBase); навыками написания запросов с использованием языков HiveQL и Spark SQL; навыками создания и управления конвейерами данных с помощью Apache NiFi; |
| Содержание дисциплины | Технологии и инструменты обработки и анализа больших данных. |
| Виды учебной работы | Лекции, лабораторные, самостоятельная работа. |
| Используемые информационные, инструментальные и программные средства |
1. Microsoft Office 2010 (Office 2010 Professional, № 4065231 от 08.12.2010), (бессрочно);
2. Microsoft Windows 7 (Windows 7 Professional, № 61834699 от 22.04.2013), (бессрочно); 3. Chrome (http://www.chromium.org/chromium-os/licenses ), (бессрочно); 4. 7-Zip (http://www.7-zip.org/license.txt ), (бессрочно); 5. AcrobatReader (http://wwwimages.adobe.com/content/dam/Adobe/en/legal/servicetou/Acrobat_com_Additional_TOU-en_US-20140618_1200.pdf), (бессрочно); 6. ASTRA LINUX SPECIAL EDITION (https://astralinux.ru/products/astra-linux-special-edition/), (бессрочно); 7. LibreOffice (https://ru.libreoffice.org/), (бессрочно); 8. Веб-браузер Chromium (https://www.chromium.org/Home/), (бессрочно); 9. Антивирус Касперский (https://www.kaspersky.ru/), (до 23 июня 2024); 10. Архиватор Ark (https://apps.kde.org/ark/), (бессрочно); 11. Okular (https://okular.kde.org/ru/download/), (бессрочно); 12. Редактор изображений Gimp (https://www.gimp.org/), (бессрочно) 13. VirtualBox (https://www.virtualbox.org/), (бессрочно); Информационная справочная система:
СПС КонсультантПлюс (инсталлированный ресурс АлтГУ или http://www.consultant.ru/). Профессиональные базы данных: 1. Электронная база данных «Scopus» (http://www.scopus.com); 2. Электронная библиотечная система Алтайского государственного университета (http://elibrary.asu.ru/); 3. Научная электронная библиотека elibrary (http://elibrary.ru). 4. Электронная база данных «ZBMATH – The database Zentralblatt MATH» https://zbmath.org/ 5. Электронная база данных ZBMATH: https://zbmath.org/ |
| Форма промежуточной аттестации | Экзамен, зачет. |