1. Цели освоения дисциплины
| 1.1. | формирование у будущих специалистов базовых знаний в области Big Data, практических навыков по основам Data Science, применения современных информационных технологий для организации процессов ETL, проектирования и создания хранилищ данных, разработки и внедрения систем OLAP и BI для решения экономических, управленческих и других прикладных задач, развитие умения работы с современными программными средствами, библиотеками и средами проектирования и разработки. Задачи изучения дисциплины - реализация требований, установленных в квалификационной характеристике в области архитектуры ПО, создания, внедрения ПО для решения прикладных задач. |
|---|
2. Место дисциплины в структуре ООП
| Цикл (раздел) ООП: Б1.В.01 |
3. Компетенции обучающегося, формируемые в результате освоения дисциплины
| ПК-3 | Способен разрабатывать и применять программное обеспечение для процессов ETL, построения баз данных, хранилищ данных и аналитических решений на основе машинного обучения и искусственного интеллекта |
| В результате освоения дисциплины обучающийся должен | |
| 3.1. | Знать: |
|---|---|
| 3.1.1. | основы организации хранилищ данных (ХД), OLAP-технологии, архитектуру ХД и OLAP-систем; назначение и методы процессов ETL/ELT. |
| 3.2. | Уметь: |
| 3.2.1. | проектировать хранилища данных для решения поставленных задач анализа данных в предметной области; применять на практике программные средства и прикладные библиотеки для консолидации и подготовки данных, для решения задач методами Data Mining; выполнять визуализацию данных в процессе поиска, извлечения, преобразования и загрузки данных в хранилище; применять на практике программные средства и прикладные библиотеки для работы с большими данными в процессах ETL. |
| 3.3. | Иметь навыки и (или) опыт деятельности (владеть): |
| 3.3.1. | технологиями построения хранилищ данных, организации процесса ETL, работы с OLAP-технологиями; опытом применения алгоритмов автоматизации процессов ETL/ELT; навыками применения технологий SQL и NoSQL; навыками визуализации данных в средах интеллектуального анализа данных и ELT-платформ. |
4. Структура и содержание дисциплины
| Код занятия | Наименование разделов и тем | Вид занятия | Курс | Часов | Компетенции | Литература |
|---|---|---|---|---|---|---|
| Раздел 1. Введение в дисциплину | ||||||
| 1.1. | Введение. Базовые понятия. | Лекции | 4 | 1 | ПК-3 | Л2.2, Л2.3, Л2.1 |
| 1.2. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 4 | ПК-3 | Л2.2, Л2.1 |
| 1.3. | Хранилища данных. | Лекции | 4 | 1 | ПК-3 | Л2.2, Л1.1 |
| 1.4. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 6 | ПК-3 | Л2.2, Л1.1 |
| 1.5. | Открытые данные и разведочный анализ. | Лабораторные | 4 | 1 | ПК-3 | Л2.1 |
| 1.6. | Доработка лабораторной работы. | Сам. работа | 4 | 4 | ПК-3 | Л2.1 |
| 1.7. | Big Data. Основные понятия. Хранение и обработка больших данных. NoSQL. | Лекции | 4 | 1 | ПК-3 | Л1.1, Л2.1, Л2.4 |
| 1.8. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 8 | ПК-3 | Л1.1, Л2.1, Л2.4 |
| 1.9. | Примеры использования BigData. | Лабораторные | 4 | 1 | ПК-3 | Л2.1, Л2.4 |
| 1.10. | Доработка лабораторной работы. | Сам. работа | 4 | 8 | ПК-3 | Л2.1, Л2.4 |
| 1.11. | NoSQL. Работа с CouchDB. | Лабораторные | 4 | 2 | ПК-3 | Л2.2, Л2.4 |
| 1.12. | Доработка лабораторной работы. | Сам. работа | 4 | 8 | ПК-3 | Л2.2, Л2.4 |
| Раздел 2. Консолидация данных | ||||||
| 2.1. | Консолидация данных. ETL-процесс. Извлечение данных. | Лекции | 4 | 1 | ПК-3 | Л2.2, Л1.1 |
| 2.2. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 12 | ПК-3 | Л2.2, Л1.1 |
| 2.3. | Преобразование данных. Загрузка данных. | Лекции | 4 | 1 | ПК-3 | Л2.2, Л1.1 |
| 2.4. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 12 | ПК-3 | Л2.2, Л1.1 |
| 2.5. | Инструменты ETL/ELT. | Лекции | 4 | 1 | ПК-3 | Л2.2, Л1.1 |
| 2.6. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 12 | ПК-3 | Л2.2, Л1.1 |
| 2.7. | Процесс ETL в Loginom | Лабораторные | 4 | 2 | ПК-3 | Л2.2, Л1.1 |
| 2.8. | Доработка лабораторной работы. | Сам. работа | 4 | 8 | ПК-3 | Л2.2, Л1.1 |
| 2.9. | Процесс ETL в Python | Лабораторные | 4 | 2 | ПК-3 | Л2.2, Л1.1 |
| 2.10. | Доработка лабораторной работы. | Сам. работа | 4 | 8 | ПК-3 | Л2.2, Л1.1 |
| Раздел 3. OLAP-системы | ||||||
| 3.1. | Многомерная модель данных. Концепция ОLАР. | Лекции | 4 | 1 | ПК-3 | Л2.2, Л1.1 |
| 3.2. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 4 | ПК-3 | Л2.2, Л1.1 |
| 3.3. | OLAP на платформе Deductor (Loginom). | Лабораторные | 4 | 2 | ПК-3 | Л2.2, Л1.1 |
| 3.4. | Доработка лабораторной работы. | Сам. работа | 4 | 8 | ПК-3 | Л2.2, Л1.1 |
| 3.5. | Архитектура OLAP-систем. | Лекции | 4 | 1 | ПК-3 | Л2.2, Л1.1 |
| 3.6. | Чтение лекции и учебной литературы. | Сам. работа | 4 | 5 | ПК-3 | Л2.2, Л1.1 |
| 3.7. | Проектирование ROLAP-системы в среде IBM Rational Data Architect. | Лабораторные | 4 | 2 | ПК-3 | Л2.2 |
| 3.8. | Доработка лабораторной работы. | Сам. работа | 4 | 8 | ПК-3 | Л2.2 |
5. Фонд оценочных средств
| 5.1. Контрольные вопросы и задания для проведения текущего контроля и промежуточной аттестации по итогам освоения дисциплины |
| См. Приложения. |
| 5.2. Темы письменных работ для проведения текущего контроля (эссе, рефераты, курсовые работы и др.) |
| Не предусмотрены. |
| 5.3. Фонд оценочных средств для проведения промежуточной аттестации |
| См. Приложения. |
| Приложения |
|
Приложение 1.
ФОС (ПИЭ - экзамен) ПК-23, 24.doc
|
6. Учебно-методическое и информационное обеспечение дисциплины
| 6.1. Рекомендуемая литература | ||||
| 6.1.1. Основная литература | ||||
| Авторы | Заглавие | Издательство, год | Эл. адрес | |
| Л1.1 | Туманов, В .Е. | Проектирование хранилищ данных для систем бизнес-аналитики: учебное пособие | Интернет-Университет Информационных Технологий, 2010 | biblioclub.ru |
| 6.1.2. Дополнительная литература | ||||
| Авторы | Заглавие | Издательство, год | Эл. адрес | |
| Л2.1 | Келлехер, Д. | Наука о данных: базовый курс: | Альпина Паблишер, 2020 | https://biblioclub.ru/index.php?page=book&id=598235 |
| Л2.2 | Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. | Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP : Учебное пособие | БХВ-Петербург, 2007 | |
| Л2.3 | Уэс Маккинли | Python и анализ данных: | Издательство "ДМК Пресс", 2015 | e.lanbook.com |
| Л2.4 | авт.-сост. Е. И. Николаев | Базы данных в высокопроизводительных информационных системах: учебное пособие | Северо-Кавказский Федеральный университет , 2016 | https://biblioclub.ru/index.php?page=book&id=466799 |
| 6.2. Перечень ресурсов информационно-телекоммуникационной сети "Интернет" | ||||
| Название | Эл. адрес | |||
| Э1 | ЕМИСС | fedstat.ru | ||
| Э2 | Аналитическая платформа Loginom | loginom.ru | ||
| Э3 | Курс в Moodle "Информационные технологии интеллектуального анализа данных" | portal.edu.asu.ru | ||
| Э4 | Портал открытых данных Российской Федерации | data.gov.ru | ||
| Э5 | NYC Open Data | opendata.cityofnewyork.us | ||
| Э6 | Официальный сайт языка программирования Python | www.python.org | ||
| Э7 | Yandex Cloud | cloud.yandex.ru | ||
| Э8 | Yandex DataLens | datalens.yandex.ru | ||
| Э9 | CouchDB — Краткое руководство | https://coderlessons.com/tutorials/bazy-dannykh/uchitsia-couchdb/couchdb-kratkoe- rukovodstvo | ||
| Э10 | Учебник CouchDB | ru.it-brain.online | ||
| 6.3. Перечень программного обеспечения | ||||
| Аналитическая платформа Deductor Academic Microsoft Windows Microsoft Office 7-Zip AcrobatReaderMicrosoft Office 2010 (Office 2010 Professional, № 4065231 от 08.12.2010), (бессрочно); Microsoft Windows 7 (Windows 7 Professional, № 61834699 от 22.04.2013), (бессрочно); Chrome (http://www.chromium.org/chromium-os/licenses), (бессрочно); 7-Zip (http://www.7-zip.org/license.txt), (бессрочно); AcrobatReader (http://wwwimages.adobe.com/content/dam/Adobe/en/legal/servicetou/Acrobat_com_Additional_TOU-en_US-20140618_1200.pdf), (бессрочно); ASTRA LINUX SPECIAL EDITION (https://astralinux.ru/products/astra-linux-special-edition/), (бессрочно); LibreOffice (https://ru.libreoffice.org/), (бессрочно); Веб-браузер Chromium (https://www.chromium.org/Home/), (бессрочно); Антивирус Касперский (https://www.kaspersky.ru/), (до 23 июня 2024); Архиватор Ark (https://apps.kde.org/ark/), (бессрочно); Okular (https://okular.kde.org/ru/download/), (бессрочно); Редактор изображений Gimp (https://www.gimp.org/), (бессрочно) | ||||
| 6.4. Перечень информационных справочных систем | ||||
| https://portal.edu.asu.ru/course/view.php?id=3882 | ||||
7. Материально-техническое обеспечение дисциплины
| Аудитория | Назначение | Оборудование |
|---|---|---|
| 103С | лаборатория информационных технологий - компьютерный класс – учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации; помещение для саостоятельной работы | Учебная мебель на 16 посадочных мест; рабочее место преподавателя; доска маркерная; марка ASUSTeK Computer INC модель P8B75-M - 15 единиц; мониторы: марка Asus модель VW224 - 15 единиц |
| 103С | лаборатория информационных технологий - компьютерный класс – учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации; помещение для саостоятельной работы | Учебная мебель на 16 посадочных мест; рабочее место преподавателя; доска маркерная; марка ASUSTeK Computer INC модель P8B75-M - 15 единиц; мониторы: марка Asus модель VW224 - 15 единиц |
| Учебная аудитория | для проведения занятий лекционного типа, занятий семинарского типа (лабораторных и(или) практических), групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации, курсового проектирования (выполнения курсовых работ), проведения практик | Стандартное оборудование (учебная мебель для обучающихся, рабочее место преподавателя, доска) |
| Помещение для самостоятельной работы | помещение для самостоятельной работы обучающихся | Компьютеры, ноутбуки с подключением к информационно-телекоммуникационной сети «Интернет», доступом в электронную информационно-образовательную среду АлтГУ |
8. Методические указания для обучающихся по освоению дисциплины
| На лекциях преподаватель знакомит слушателей с основными понятиями и положениями по текущей теме. На лекциях слушатель получает только основной объём информации по теме. Только посещение лекций является недостаточным для подготовки к лабораторным занятиям и экзамену. Требуется также самостоятельная работа по изучению основной и дополнительной литературы и закрепление полученных на лабораторных занятиях навыков. Практические задания по темам выполняются на лабораторных занятиях в компьютерном классе. Если лабораторные занятия пропущены (по уважительной или неуважительной причине), то соответствующие задания необходимо выполнить самостоятельно и представить результаты преподавателю на очередном занятии, консультации или через образовательный портал. Самостоятельная работа студентов – способ активного, целенаправленного приобретения студентом новых для него знаний, умений и навыков без непосредственного участия в этом процессе преподавателя. Качество получаемых студентом знаний напрямую зависит от качества и количества необходимого доступного материала, а также от желания (мотивации) студента их получить. При обучении осуществляется целенаправленный процесс взаимодействия студента и преподавателя для формирования знаний, умений и навыков. Все необходимые методические материалы размещены на образовательном портале АлтГУ https://portal.edu.asu.ru/course/view.php?id=3027 |