МИНОБРНАУКИ РОССИИ
федеральное государственное бюджетное образовательное учреждение высшего образования
«Алтайский государственный университет»

Введение в технологии BigData

рабочая программа дисциплины
Закреплена за кафедройКафедра радиофизики и теоретической физики
Направление подготовки03.03.03. Радиофизика
ПрофильКомпьютерная электроника и телекоммуникации
Форма обученияОчная
Общая трудоемкость3 ЗЕТ
Учебный план03_03_03_Радиофизика_КЭТ-2023
Часов по учебному плану 108
в том числе:
аудиторные занятия 36
самостоятельная работа 72
Виды контроля по семестрам
зачеты: 2

Распределение часов по семестрам

Курс (семестр) 1 (2) Итого
Недель 22
Вид занятий УПРПДУПРПД
Практические 36 36 36 36
Сам. работа 72 72 72 72
Итого 108 108 108 108

Программу составил(и):
к.ф.-м.н., доцент, Волков Н.В.

Рецензент(ы):
к.ф.-м.н., доцент, Мансуров А.В.

Рабочая программа дисциплины
Введение в технологии BigData

разработана в соответствии с ФГОС:
Федеральный государственный образовательный стандарт высшего образования - бакалавриат по направлению подготовки 03.03.03 Радиофизика (приказ Минобрнауки России от 07.08.2020 г. № 912)

составлена на основании учебного плана:
03.03.03 Радиофизика
утвержденного учёным советом вуза от 26.06.2023 протокол № 4.

Рабочая программа одобрена на заседании кафедры
Кафедра радиофизики и теоретической физики

Протокол от г. №
Срок действия программы: 20232027 уч. г.

Заведующий кафедрой
Лагутин Анатолий Алексеевич


Визирование РПД для исполнения в очередном учебном году

Рабочая программа пересмотрена, обсуждена и одобрена для
исполнения в 2023-2024 учебном году на заседании кафедры

Кафедра радиофизики и теоретической физики

Протокол от г. №
Заведующий кафедрой Лагутин Анатолий Алексеевич


1. Цели освоения дисциплины

1.1.формирование у студентов компетенций в области разработки и использования систем обработки и анализа больших массивов данных.

2. Место дисциплины в структуре ООП

Цикл (раздел) ООП: Б1.О.1.01.ДВ.01

3. Компетенции обучающегося, формируемые в результате освоения дисциплины

ОПК-3Способен понимать принципы работы современных информационных технологий и использовать их для решения задач профессиональной деятельности.
ОПК-3.1 Владеет методами использования информационных технологий и программных средств при решении задач профессиональной деятельности.
ОПК-3.2 Знает принципы работы современных информационных технологий.
ОПК-3.3 Владеет основными навыками применения информационных систем и программных средств для решения задач профессиональной деятельности.
УК-1Способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач
УК-1.1 Знает основные теоретико-методологические положения системного подхода как научной и философской категории
УК-1.2 Осуществляет поиск информации для решения поставленной задачи по различным типам запросов
УК-1.3 Сопоставляет разные источники информации с целью выявления их противоречий и поиска достоверных суждений
УК-1.4 Анализирует информацию и предлагает возможные варианты решения поставленной задачи, оценивая их достоинства и недостатки
В результате освоения дисциплины обучающийся должен
3.1.Знать:
3.1.1.методы анализа и хранения больших объемов данных, этапы жизненного цикла обработки больших данных, языки, наиболее приспособленные для обработки и аналитики больших данных, способы организации хранения и доступа к большим
данным.
3.2.Уметь:
3.2.1.выполнять элементы анализа данных и интерпретировать результаты, различать характеристики SQL и NoSql БД, формулировать алгоритмы в парадигме MapReduce, выбрать подходящий инструмент анализа больших данных, выбрать подходящую
технологию хранения больших данных.
3.3.Иметь навыки и (или) опыт деятельности (владеть):
3.3.1.применения математических методов анализа данных, реализации алгоритмов обработки компьютерными методами.

4. Структура и содержание дисциплины

Код занятия Наименование разделов и тем Вид занятия Семестр Часов Компетенции Литература
Раздел 1. Введение в большие данные.
1.1. Понятие Data Minig. Прикладные инструменты для работы с Big Data. Технология MapRaduce. Hadoop. Практические 2 4 ОПК-3.1, ОПК-3.2, ОПК-3.3, УК-1.1, УК-1.2, УК-1.3, УК-1.4 Л2.1, Л3.1, Л1.1
1.2. Понятие Data Minig. Прикладные инструменты для работы с Big Data. Технология MapRaduce. Hadoop. Сам. работа 2 24 ОПК-3.1, ОПК-3.2, ОПК-3.3, УК-1.1, УК-1.2, УК-1.3, УК-1.4 Л2.1, Л3.1, Л1.1
Раздел 2. Технологии анализа данных
2.1. Жизненный цикл анализа больших данных, стандарты. Когнитивный анализ данных. Визуализация больших данных. Сам. работа 2 24 ОПК-3.1, ОПК-3.2, ОПК-3.3, УК-1.1, УК-1.2, УК-1.3, УК-1.4 Л2.1, Л3.1, Л1.1
2.2. Жизненный цикл анализа больших данных, стандарты. Когнитивный анализ данных. Визуализация больших данных. Практические 2 16 ОПК-3.1, ОПК-3.2, ОПК-3.3, УК-1.1, УК-1.2, УК-1.3, УК-1.4 Л2.1, Л3.1, Л1.1
Раздел 3. Технологии хранения больших данных
3.1. Распределенные хранилища, NoSql хранилища, классификация и примеры. Практические 2 16 ОПК-3.1, ОПК-3.2, ОПК-3.3, УК-1.1, УК-1.2, УК-1.3, УК-1.4 Л2.1, Л3.1, Л1.1
3.2. Распределенные хранилища, NoSql хранилища, классификация и примеры. Сам. работа 2 24 ОПК-3.1, ОПК-3.2, ОПК-3.3, УК-1.1, УК-1.2, УК-1.3, УК-1.4 Л2.1, Л3.1, Л1.1

5. Фонд оценочных средств

5.1. Контрольные вопросы и задания для проведения текущего контроля и промежуточной аттестации по итогам освоения дисциплины
5.2. Темы письменных работ для проведения текущего контроля (эссе, рефераты, курсовые работы и др.)
5.3. Фонд оценочных средств для проведения промежуточной аттестации
1. Определение больших данных, ключевые характеристики. Примеры задач больших данных. Основные виды данных.
2. «Жизненный цикл» проекта по аналитике больших данных. Типовая архитектура проекта в области больших данных. Перечислить используемые технологии, указать степень вовлеченности каждой из технологий на каждом этапе работы над проектом. Перечислить основные роли исполнителей проекта.
3. Что такое Data Mining? Основные задачи и методы Data Mining. Этапы интеллектуального анализа данных. Методы интеллектуального анализа данных.
4. Что такое ИИ? Декатлон?
5. Роль гипотез в процессе познания. Какие факторы используются для уточнения гипотез?
6. Основные понятия статистики и дескриптивный анализ.
7. Шкалы измерений. Генеральная совокупность и выборка. Нормальное распределение. Уровень статистической достоверности.
8. Корреляция и регрессионный анализ. Коэффициент корреляции. Графическое представление. Постановка задачи регрессионного анализа.
9. Пояснить термин "Линейная регрессия". Привести примеры использования регрессионного анализа.
10. Классификация и кластеризация – суть и назначение. Метрики. Постановка задачи кластеризации. Методы кластеризации на графах. Отличие от задачи классификации. Привести примеры использования алгоритмов кластеризации.
11. Парадигма Map Reduce. Описать принцип работы. Нарисовать схему. Перечислить слабые и сильные стороны. Обозначить области применимости. Привести примеры использования.
12. Визуализация. Дать определение визуализации. Показать важность визуализации в аналитике больших данных. Привести примеры и инструменты для визуализации.
13. Научные проблемы больших данных. Показать значимость проблем, актуальность, связь с областями математики и инженерии.
14. OLAP и OLTP системы. Разница.
15. Репликация и шардинг.
16. Требования ACID. CAP-теорема, BASE архитектура
17. NoSql. Классификация NoSql хранилищ. Их особенности. Примеры распределенных хранилищ.

6. Учебно-методическое и информационное обеспечение дисциплины

6.1. Рекомендуемая литература
6.1.1. Основная литература
Авторы Заглавие Издательство, год Эл. адрес
Л1.1 Макшанов А. В., Журавлев А. Е., Тындыкарь Л. Н. Большие данные. Big Data: Учебник для вузов: Учебник для вузов Издательство "Лань", 2023 e.lanbook.com
6.1.2. Дополнительная литература
Авторы Заглавие Издательство, год Эл. адрес
Л2.1 Юре Лесковец, Ананд Раджараман, Джеффри Д. Ульма Анализ больших наборов данных: Самоучители и руководства Издательство "ДМК Пресс", 2016 e.lanbook.com
6.1.3. Дополнительные источники
Авторы Заглавие Издательство, год Эл. адрес
Л3.1 Железнов М. М. Методы и технологии обработки больших данных: учебно-методическое пособие: Уровень образования: Магистратура Московский государственный строительный университет, 2020 e.lanbook.com
6.2. Перечень ресурсов информационно-телекоммуникационной сети "Интернет"
Название Эл. адрес
Э1 Изд-во <<Лань>> e.lanbook.com
Э2 Кнорус СПО www.book.ru
Э3 Изд-во <<Юрайт>> www.biblio-online.ru
Э4 Курс машинное обучение на платформе Цифровой университет portal.edu.asu.ru
6.3. Перечень программного обеспечения
Интерпретатор и библиотеки языка R из дистрибутива Anaconda. Лицензия - cтандартная общественная лицензия the GNU General Public License (https://www.gnu.org/licenses/gpl-3.0.ru.html), the 3-clause BSD license (https://opensource.org/license/bsd-3-clause/)
СУБД MySQL и MongoDB из репозитория ОС Ubintu GNU/Linux Лицензия - cтандартная общественная лицензия the GNU General Public License (https://www.gnu.org/licenses/gpl-3.0.ru.html).
6.4. Перечень информационных справочных систем

7. Материально-техническое обеспечение дисциплины

Аудитория Назначение Оборудование
001вК склад экспериментальной мастерской - помещение для хранения и профилактического обслуживания учебного оборудования Акустический прибор 01021; виброизмеритель 00032; вольтметр Q1202 Э-500; вольтметр универсальный В7-34А; камера ВФУ -1; компьютер Турбо 86М; масспектрометр МРС -1; осциллограф ЕО -213- 2 ед.; осциллограф С1-91; осциллограф С7-19; программатор С-815; самописец 02060 – 2 ед.; стабилизатор 3218; терц-октавный фильтр 01023; шкаф вытяжной; шумомер 00026; анализатор АС-817; блок 23 Г-51; блок питания "Статрон" – 2 ед.; блок питания Ф 5075; вакуумный агрегат; весы; вольтметр VM -70; вольтметр В7-15; вольтметр В7-16; вольтметр ВУ-15; генератор Г-5-6А; генератор Г4-76А; генератор Г4-79; генератор Г5-48; датчик колебаний КВ -11/01; датчик колебаний КР -45/01; делитель Ф5093; измеритель ИМП -2; измеритель параметров Л2-12; интерферометр ИТ 51-30; источник "Агат" – 3 ед.; источник питания; источник питания 3222; источник питания ЭСВ -4; лабораторная установка для настройки газовых лазеров; лазер ЛГИ -21; М-кальк-р МК-44; М-калькул-р "Электроника"; магазин сопротивления Р4075; магазин сопротивления Р4077; микроскоп МБС -9; модулятор МДЕ; монохроматор СДМС -97; мост переменного тока Р5066; набор цветных стекол; насос вакумный; насос вакуумный ВН-01; осциллограф С1-31; осциллограф С1-67; осциллограф С1-70; осциллограф С1-81; осциллоскоп ЕО -174В – 2 ед.; пентакта L-100; пирометр "Промень"; пистонфон 05001; преобразователь В9-1; прибор УЗДН -2Т; скамья оптическая СО 1м; спектограф ДФС -452; спектограф ИСП -51; стабилизатор 1202; стабилизатор 3217 – 4 ед.; стабилизатор 3218; стабилизатор 3222 – 3 ед.; станок токарный ТВ-4; усилитель мощности ЛВ -103 – 4 ед.; усилитель У5-9; центрифуга ВЛ-15; частотомер Ч3-54А; шкаф металлический; эл.двигатель; электродинамический калибратор 11032
308К лаборатория компьютерных технологий - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации Учебная мебель на 15 посадочных мест; рабочее место преподавателя; доска маркерная; компьютеры Aquarius STd MS_SC140, монитор BENQ 17'' (5шт.), компьютеры Парус 945 MSI, монитор LG 17'' (5 шт.) Fast Ethernet Swich Allied Telesyn 1; методические рекомендации по выполнению лабораторных работ по курсам "Алгоритмы и языки программирования", "Численные методы и математическое моделирование", "Вычислительная физика", "Компьютерная радиофизика".

8. Методические указания для обучающихся по освоению дисциплины

При выполнении практических заданий по каждой из тем рекомендуется разобрать примеры программ, демонстрировавшихся на лекции, откомпилировать и запустить их. Все лекционные материалы и практические задания расположены на Едином образовательном портале Алтайского госудаственного университета по адресу https://portal.edu.asu.ru/course/view.php?id=11272 (для доступа к материалам необходима регистрация в домене STUD или MC).