| Закреплена за кафедрой | Кафедра информатики |
|---|---|
| Направление подготовки | 09.04.01. Информатика и вычислительная техника |
| Профиль | Инженерия искусственного интеллекта |
| Форма обучения | Заочная |
| Общая трудоемкость | 6 ЗЕТ |
| Учебный план | z09_04_01_Информатика и вычислительная техника_ИИИ-2025 |
|
|
||||||||||||||||
Распределение часов по курсам
| Курс | 2 | Итого | ||
|---|---|---|---|---|
| Вид занятий | УП | РПД | УП | РПД |
| Лекции | 8 | 8 | 8 | 8 |
| Лабораторные | 12 | 12 | 12 | 12 |
| Сам. работа | 183 | 183 | 183 | 183 |
| Часы на контроль | 13 | 13 | 13 | 13 |
| Итого | 216 | 216 | 216 | 216 |
| 1.1. | Формирование ключевых компетенций в области науки о данных за счет ознакомления с теоретическими и практическими аспектами работы с большими данными, разработки алгоритмов и программ сбора, обработки и анализа больших данных в прикладных задачах и разработки специлизированных проектов. |
|---|
| Цикл (раздел) ООП: Б1.О.4 |
| ОПК-5 | Способен разрабатывать и модернизировать программное и аппаратное обеспечение информационных и автоматизированных систем; |
| ОПК-5.1 | Знать современное программное и аппаратное обеспечение информационных и автоматизированных систем. |
| ОПК-5.2 | Владеть методами модернизации программного и аппаратного обеспечения информационных и автоматизированных систем для решения профессиональных задач. |
| ОПК-5.3 | Уметь разрабатывать программное и аппаратное обеспечение информационных и автоматизированных систем для решения профессиональных задач. |
| ПК-2 | Способен выбирать, разрабатывать и проводить экспериментальную проверку работоспособности программных компонентов систем, искусственного интеллекта по обеспечению требуемых критериев эффективности и качества функционирования |
| ПК-2.1 | Выбирает и разрабатывает программные компоненты систем, искусственного интеллекта. |
| ПК-2.2 | Проводит экспериментальную проверку работоспособности систем искусственного интеллекта. |
| В результате освоения дисциплины обучающийся должен | |
| 3.1. | Знать: |
|---|---|
| 3.1.1. | основные концепции и характеристики больших данных (Volume, Velocity, Variety, Veracity); архитектуру и компоненты экосистемы Apache Hadoop (HDFS, YARN, MapReduce); принципы работы и области применения технологий распределенной обработки данных (Apache Spark, Apache Hive, Apache HBase); методы и инструменты приема и трансформации данных (Apache Sqoop, Apache NiFi, Apache Flume); |
| 3.2. | Уметь: |
| 3.2.1. | проектировать архитектуру решения для задач хранения и обработки больших данных; применять инструменты экосистемы Hadoop и Spark для решения практических задач; выполнять импорт/экспорт данных между различными системами хранения с использованием Apache Sqoop; разрабатывать конвейеры данных для потоковой и пакетной обработки с использованием Apache NiFi; |
| 3.3. | Иметь навыки и (или) опыт деятельности (владеть): |
| 3.3.1. | навыками работы с распределенными файловыми системами (HDFS); навыками использования фреймворков распределенных вычислений (Hadoop MapReduce, Apache Spark); навыками работы с распределенными СУБД (Apache HBase); навыками написания запросов с использованием языков HiveQL и Spark SQL; навыками создания и управления конвейерами данных с помощью Apache NiFi; |
| Код занятия | Наименование разделов и тем | Вид занятия | Курс | Часов | Компетенции | Литература |
|---|---|---|---|---|---|---|
| Раздел 1. Технологии и инструменты обработки и анализа больших данных | ||||||
| 1.1. | Введение в Большие данные. Обзор и справочная информация по большим данным. Современные тенденции в области больших данных. | Лекции | 2 | 2 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.2. | Работа с YARN/MapReduce | Лабораторные | 2 | 2 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.3. | Основы больших данных. Применение и обработка больших данных. Обзор платформ Apache Hadoop и Spark. Хранилище распределенной файловой системы Hadoop. Диспетчер ресурсов YARN и вычислительная архитектура | Лекции | 2 | 2 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.4. | Создание первого потока данных. Навигация по потокам данных. Создание и использование шаблонов. Использование групп обработчиков. Работа с Hadoop NiFi | Лабораторные | 2 | 2 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.5. | Миграция данных из EDW. Архитектура Apache Scoop. Интеграция с Hive. Основы Apache Kafka. Архитектура Apache Kafka | Лекции | 2 | 2 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.6. | Прием данных с помощью Scoop для СУБД (MariaDB). Прием данных с помощью Apache Flume. Доступ к данным с помощью HBase. Доступ к данным с помощью команд DML. | Лабораторные | 2 | 4 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.7. | Анализ больших данных. Создание таблиц с использованием DDL. Запрос данных с помощью SQL. Предварительная обработка данных и базовый анализ данных с помощью Apache Pig. Базовые запросы с помощью Apache Hive и Impala. Анализ сложных данных и реляционных данных | Лекции | 2 | 2 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.8. | Начало работы с MariaDB. Работа с таблицами Выполнение базовых запросов с помощью HiveQL. Обработка секционированной таблицы для повышения производительности. Сложные запросы | Лабораторные | 2 | 4 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 1.9. | Проработка необходимых вопросов для подготовки к лекциям и практическим занятиям. | Сам. работа | 2 | 183 | ПК-2.1, ПК-2.2, ОПК-5.1, ОПК-5.2, ОПК-5.3 | Л1.1, Л1.2, Л2.1, Л2.2 |
| 5.1. Контрольные вопросы и задания для проведения текущего контроля и промежуточной аттестации по итогам освоения дисциплины |
| Оценочные материалы для текущего контроля по разделам и темам дисциплины в полном объеме размещены в онлайн-курсе на образовательном портале. Примеры заданий: Вопрос 1. Основное назначение Apache Hadoop YARN: а) Хранение больших объемов данных б) Управление вычислительными ресурсами кластера и планирование задач в) Потоковая передача данных в реальном времени г) Выполнение SQL-запросов Ответ: б Вопрос 2. Apache Spark по сравнению с Hadoop MapReduce работает быстрее потому что: а) Использует больше серверов б) Обрабатывает данные преимущественно в оперативной памяти в) Имеет более простой синтаксис программирования г) Не требует использования HDFS Ответ: б Вопрос 3. Инструмент Apache Sqoop предназначен для: а) Визуализации данных б) Переноса данных между HDFS и реляционными базами данных в) Потоковой обработки событий г) Машинного обучения Ответ: б Вопрос 4. Apache NiFi является инструментом для: а) Хранения структурированных данных б) Построения и управления потоками данных (dataflow) в) Выполнения сложных математических вычислений г) Визуализации результатов анализа Ответ: б Вопрос 5. NoSQL база данных Apache HBase характеризуется как: а) Документоориентированная СУБД б) Колоночная СУБД в) СУБД типа "ключ-значение" г) Графовая СУБД Ответ: б Вопрос 6. Язык запросов HiveQL используется в: а) Apache HBase б) Apache Hive в) Apache Spark Core г) Apache Flume Ответ: б Вопрос 7. Основное предназначение Apache Pig в экосистеме Hadoop: а) Визуализация данных б) Создание веб-интерфейсов в) Выполнение ETL-операций и анализ больших наборов данных г) Управление ресурсами кластера Ответ: в Вопрос 8. Аббревиатура RDD в Apache Spark расшифровывается как: а) Rapid Data Development б) Resilient Distributed Dataset в) Real-time Data Delivery г) Relational Data Domain Ответ: б Вопрос 9. Для выполнения машинного обучения в экосистеме Spark используется: а) Spark Streaming б) Spark SQL в) MLlib г) GraphX Ответ: в Вопрос 10. Технология, которая НЕ является инструментом потоковой обработки данных: а) Apache Flume б) Apache Kafka в) Apache NiFi г) Apache Hive Ответ: г Критерии оценивания: Каждое задание оценивается 1 баллом. Оценивание КИМ в целом: «отлично» – верно выполнено 85-100% заданий; «хорошо» – верно выполнено 70-84% заданий; «удовлетворительно» – верно выполнено 51-69% заданий; «неудовлетворительно» – верно выполнено 50% или менее 50% заданий. |
| 5.2. Темы письменных работ для проведения текущего контроля (эссе, рефераты, курсовые работы и др.) |
| Не предусмотрено. |
| 5.3. Фонд оценочных средств для проведения промежуточной аттестации |
| Промежуточная аттестация заключается в проведении зачета по всему изученному курсу. Зачет проводится в устной форме по билетам. В билет входит 2 вопроса: 1 вопрос теоретического характера и 1 вопрос практико-ориентированного характера. Перечень теоретических вопросов для промежуточной аттестации: 1. Понятие «Большие данные». Критерии больших данных (Volume, Velocity, Variety, Veracity). Основные проблемы и вызовы при их обработке. 2. Архитектура Apache Hadoop. Назначение и взаимодействие ключевых компонентов: HDFS, YARN, MapReduce. 3. Модель вычислений MapReduce. Принцип разделения задачи на этапы Map и Reduce. Примеры использования. 4. Диспетчер ресурсов YARN (Yet Another Resource Negotiator). Его роль в экосистеме Hadoop и архитектура. 5. Apache Spark: концепция и преимущества перед Hadoop MapReduce (скорость работы в памяти, универсальность). Основные компоненты Spark (Spark Core, Spark SQL, MLlib, Streaming). 6. Абстракции данных в Spark: RDD (Resilient Distributed Datasets) и DataFrame. Их характеристики и отличия. 7. Инструменты приема данных: Apache Sqoop. Назначение, принцип работы (импорт/экспорт между HDFS и реляционными СУБД). 8. Инструменты приема потоковых данных: Apache Flume и Apache NiFi. Их архитектура и основные сценарии применения. 9. Принципы и архитектура Apache NiFi. Ключевые concepts: FlowFile, Processor, Connection, Process Group. Перечень практико-ориентированных вопросов для промежуточной аттестации: 1. Разработка конвейера данных в Apache NiFi. Опишите шаги по созданию простого потока для приема данных из файла в HDFS. 2. Импорт данных с помощью Apache Sqoop. Сформулируйте команду для импорта таблицы из MariaDB в HDFS. 3. Работа с Hive. Напишите запрос HiveQL для создания внешней таблицы, секционированной по дате, и выборки данных из нее. 4. Обработка данных с помощью Apache Spark (PySpark). Продемонстрируйте основные преобразования RDD (map, filter, reduceByKey) для решения задачи подсчета слов. 5. Обработка данных с помощью Spark SQL. Напишите код для создания DataFrame из CSV-файла и выполнения SQL-запроса к нему. Критерии оценивания: «Отлично» (зачтено): студентом дан полный, в логической последовательности развернутый ответ на поставленные вопросы, где он продемонстрировал знания предмета в полном объеме учебной программы, достаточно глубоко осмысливает дисциплину, самостоятельно, и исчерпывающе отвечает на дополнительные вопросы, приводит собственные примеры по проблематике поставленного вопроса, решил предложенные практические задания без ошибок. «Хорошо» (зачтено): студентом дан развернутый ответ на поставленный вопрос, где студент демонстрирует знания, приобретенные на лекционных и семинарских занятиях, а также полученные посредством изучения обязательных учебных материалов по курсу, дает аргументированные ответы, приводит примеры, в ответе присутствует свободное владение монологической речью, логичность и последовательность ответа. Однако допускаются неточности в ответе. Решил предложенные практические задания с небольшими неточностями. «Удовлетворительно» (зачтено): студентом дан ответ, свидетельствующий в основном о знании процессов изучаемой дисциплины, отличающийся недостаточной глубиной и полнотой раскрытия темы, знанием основных вопросов теории, слабо сформированными навыками анализа явлений, процессов, недостаточным умением давать аргументированные ответы и приводить примеры, недостаточно свободным владением монологической речью, логичностью и последовательностью ответа. Допускается несколько ошибок в содержании ответа и решении практических заданий. «Неудовлетворительно» (не зачтено): студентом дан ответ, который содержит ряд серьезных неточностей, обнаруживающий незнание процессов изучаемой предметной области, отличающийся неглубоким раскрытием темы, незнанием основных вопросов теории, неумением давать аргументированные ответы. Выводы поверхностны. Решение практических заданий не выполнено. Студент не способен ответить на вопросы даже при дополнительных наводящих вопросах преподавателя. |
| 6.1. Рекомендуемая литература | ||||
| 6.1.1. Основная литература | ||||
| Авторы | Заглавие | Издательство, год | Эл. адрес | |
| Л1.1 | Маккинни У. | Python и анализ данных: | Москва: ДМК Пресс, 2020 | https://e.lanbook.com/book/131721 |
| Л1.2 | Чак Лэм | Hadoop в действии.: Научно-популярная литература | Издательство "ДМК Пресс", 2012 | e.lanbook.com |
| 6.1.2. Дополнительная литература | ||||
| Авторы | Заглавие | Издательство, год | Эл. адрес | |
| Л2.1 | Маккинни У. | Python и анализ данных. Первичная обработка данных с применением pandas, NumPy и Jupiter: | Москва : ДМК Пресс, 2023 | e.lanbook.com |
| Л2.2 | Макшанов А. В., Журавлев А. Е., Тындыкарь Л. Н. | Большие данные. Big Data: Учебник для вузов | Санкт-Петербург : Лань, 2024 | e.lanbook.com |
| 6.2. Перечень ресурсов информационно-телекоммуникационной сети "Интернет" | ||||
| Название | Эл. адрес | |||
| Э1 | Онлайн-курс «Технологии Big Data» на образовательном портале «Цифровой университет АлтГУ» | portal.edu.asu.ru | ||
| 6.3. Перечень программного обеспечения | ||||
| 1. Microsoft Office 2010 (Office 2010 Professional, № 4065231 от 08.12.2010), (бессрочно); 2. Microsoft Windows 7 (Windows 7 Professional, № 61834699 от 22.04.2013), (бессрочно); 3. Chrome (http://www.chromium.org/chromium-os/licenses ), (бессрочно); 4. 7-Zip (http://www.7-zip.org/license.txt ), (бессрочно); 5. AcrobatReader (http://wwwimages.adobe.com/content/dam/Adobe/en/legal/servicetou/Acrobat_com_Additional_TOU-en_US-20140618_1200.pdf), (бессрочно); 6. ASTRA LINUX SPECIAL EDITION (https://astralinux.ru/products/astra-linux-special-edition/), (бессрочно); 7. LibreOffice (https://ru.libreoffice.org/), (бессрочно); 8. Веб-браузер Chromium (https://www.chromium.org/Home/), (бессрочно); 9. Антивирус Касперский (https://www.kaspersky.ru/), (до 23 июня 2024); 10. Архиватор Ark (https://apps.kde.org/ark/), (бессрочно); 11. Okular (https://okular.kde.org/ru/download/), (бессрочно); 12. Редактор изображений Gimp (https://www.gimp.org/), (бессрочно) 13. VirtualBox (https://www.virtualbox.org/), (бессрочно); | ||||
| 6.4. Перечень информационных справочных систем | ||||
| Информационная справочная система: СПС КонсультантПлюс (инсталлированный ресурс АлтГУ или http://www.consultant.ru/). Профессиональные базы данных: 1. Электронная база данных «Scopus» (http://www.scopus.com); 2. Электронная библиотечная система Алтайского государственного университета (http://elibrary.asu.ru/); 3. Научная электронная библиотека elibrary (http://elibrary.ru). 4. Электронная база данных «ZBMATH – The database Zentralblatt MATH» https://zbmath.org/ 5. Электронная база данных ZBMATH: https://zbmath.org/ | ||||
| Аудитория | Назначение | Оборудование |
|---|---|---|
| Учебная аудитория | для проведения занятий лекционного типа, занятий семинарского типа (лабораторных и(или) практических), групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации, курсового проектирования (выполнения курсовых работ), проведения практик | Стандартное оборудование (учебная мебель для обучающихся, рабочее место преподавателя, доска, мультимедийное оборудование стационарное или переносное) |
| 202Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 14 посадочных мест; компьютеры: марка HP - 14 единиц; мониторы: марка ASUS модель VS197DE - 14 единиц |
| 203Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 14 посадочных мест; компьютеры: марка ASUS модель i5-6500 - 14 единиц |
| 204Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 14 посадочных мест; компьютеры: марка DEPO модель Neos 260 - 14 единиц; Интерактивная доска Smart board 680 IV со встроенным проектором v25 |
| 205Л | кабинет информатики (компьютерный класс) - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 9 посадочных мест; компьютеры: марка КламаС Офис, мониторы: марка ACER модель V223HQL - 8 единиц; доска интерактивная Triumph MULTI TOUCH 78 + проектор NEC UM280X в комплекте |
| 206Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 14 посадочных мест; компьютеры: марка DEPO модель Neos 260, мониторы: марка Philips модель 227E3LHSU - 14 единиц |
| 207Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 14 посадочных мест; компьютеры: марка DEPO модель Neos 260, мониторы: марка Philips модель 227E3LHSU - 14 единиц |
| 110М | лаборатория информационных технологий - компьютерный класс – учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 14 посадочных мест; рабочее место преподавателя; доска магнитно-маркерная 1 шт.; компьютеры: марка NAIO Corp Z520 - 14 ед. |
| На лекционных занятиях необходимо конспектировать изучаемый материал. - Для систематизации лекционного материала, который будет полезен при подготовке к итоговому контролю знаний, записывайте на каждой лекции тему, вопросы для изучения, рекомендуемую литературу. - В каждом вопросе выделяйте главное, обязательно запишите ключевые моменты (определение, факты, законы, правила и т.д.), подчеркните их. - Если по содержанию материала возникают вопросы, не нужно выкрикивать, запишите их и задайте по окончании лекции или на семинарском занятии. - Перед следующей лекцией обязательно прочитайте предыдущую, чтобы актуализировать знания и осознанно приступить к освоению нового содержания Практическое занятие – это форма работы, где студенты максимально активно участвуют в обсуждении темы. - Самостоятельную подготовку к занятию необходимо начинать с изучения понятийного аппарата темы. Рекомендуем использовать справочную литературу (словари, справочники, энциклопедии), целесообразно создать и вести свой словарь терминов. - Важно запомнить, что любой источник должен нести достоверную информацию, особенно это относится к Internet-ресурсам. При использовании Internet - ресурсов в процессе подготовки не нужно их автоматически «скачивать», они должны быть проанализированы. Не нужно «скачивать» готовые рефераты, так как их однообразие преподаватель сразу выявляет, кроме того, они могут быть сомнительного качества. - В процессе изучения темы анализируйте несколько источников. Используйте периодическую печать - специальные журналы. - Полезным будет работа с электронными учебниками и учебными пособиями в Internet-библиотеках. Зарегистрируйтесь в них: университетская библиотека Онлайн (http://www.biblioclub.ru/) и электронно-библиотечная система «Лань» (http://e.lanbook.com/). - В процессе подготовки и построения ответов при выступлении не просто пересказывайте текст учебника, но и выражайте свою личностно-профессиональную оценку прочитанного. - Если к занятиям предлагаются задания практического характера, продумайте план их выполнения или решения при подготовке к семинару. - При возникновении трудностей в процессе подготовки взаимодействуйте с преподавателем, консультируйтесь по самостоятельному изучению темы. Самостоятельная работа. - При изучении дисциплины не все вопросы рассматриваются на занятиях, часть вопросов рекомендуется преподавателем для самостоятельного изучения. - Поиск ответов на вопросы и выполнение заданий для самостоятельной работы позволит вам расширить и углубить свои знания по курсу, применить теоретические знания в решении задач практического содержания, закрепить изученное ранее. - Эти задания следует выполнять не «наскоком», а постепенно, планомерно, следуя порядку изучения тем курса. - При возникновении вопросов обратитесь к преподавателю в день консультаций на кафедру. - Выполнив их, проанализируйте качество их выполнения. Это поможет вам развивать умения самоконтроля и оценочные компетенции. Итоговый контроль. - Для подготовки к зачету/экзамену возьмите перечень примерных вопросов у преподавателя. - В списке вопросов выделите те, которые были рассмотрены на занятиях. Обратитесь к своим записям, выделите существенное. Для более детального изучения изучите рекомендуемую литературу. - Если в списке вопросов есть те, которые не рассматривались на занятии, изучите их самостоятельно. |