МИНОБРНАУКИ РОССИИ
федеральное государственное бюджетное образовательное учреждение высшего образования
«Алтайский государственный университет»

Обработка, анализ и визуализация данных на Python

рабочая программа дисциплины
Закреплена за кафедройКафедра теоретической кибернетики и прикладной математики
Направление подготовки01.03.02. Прикладная математика и информатика
ПрофильМатематическое и компьютерное моделирование в природных и индустриальных системах
Форма обученияОчная
Общая трудоемкость3 ЗЕТ
Учебный план01_03_02_Прикладная математика и информатика_МКМПиИС-2025
Часов по учебному плану 108
в том числе:
аудиторные занятия 36
самостоятельная работа 72
Виды контроля по семестрам
зачеты: 4
курсовой проект: 4

Распределение часов по семестрам

Курс (семестр) 2 (4) Итого
Недель 22
Вид занятий УПРПДУПРПД
Лабораторные 36 26 36 26
Сам. работа 72 75 72 75
Итого 108 101 108 101

Программу составил(и):
Препод., Кротова О.С.

Рецензент(ы):
к.ф.-м.н., Доцент, Пономарев И.В.

Рабочая программа дисциплины
Обработка, анализ и визуализация данных на Python

разработана в соответствии с ФГОС:
Федеральный государственный образовательный стандарт высшего образования - бакалавриат по направлению подготовки 01.03.02 Прикладная математика и информатика (приказ Минобрнауки России от 10.01.2018 г. № 9)

составлена на основании учебного плана:
01.03.02 Прикладная математика и информатика
утвержденного учёным советом вуза от 03.05.2024 протокол № 7.

Рабочая программа одобрена на заседании кафедры
Кафедра теоретической кибернетики и прикладной математики

Протокол от 29.06.2022 г. № 11
Срок действия программы: 2023-2024 уч. г.

Заведующий кафедрой
к.т.н., доцент Понькина Е.В.


1. Цели освоения дисциплины

1.1.Целями изучения дисциплины являются изучение методов и подходов к анализу данных различного объема, включая предварительную обработку данных и статистический анализ, освоение различных моделей машинного обучения, предназначенных для решения задач кластеризации, классификации и регрессии и применение их для решения прикладных задач из различных сфер человеческой деятельности.

2. Место дисциплины в структуре ООП

Цикл (раздел) ООП: Б1.О.02.ДВ.01

3. Компетенции обучающегося, формируемые в результате освоения дисциплины

ОПК-5Способен разрабатывать алгоритмы и компьютерные программы, пригодные для практического применения
ОПК-5.1 Знает методы теории алгоритмов, системного и прикладного программирования, основные положения и концепции в области компьютерного программирования
ОПК-5.2 Умеет соотносить знания в области программирования, интерпретацию прочитанного, определять и создавать информационные ресурсы глобальных сетей, образовательного контента, средств тестирования систем
ОПК-5.3 Имеет практический опыт разработки и применения программного обеспечения
УК-1Способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач
УК-1.1 Знает основные теоретико-методологические положения системного подхода как научной и философской категории
УК-1.2 Осуществляет поиск информации для решения поставленной задачи по различным типам запросов
УК-1.3 Сопоставляет разные источники информации с целью выявления их противоречий и поиска достоверных суждений
УК-1.4 Анализирует информацию и предлагает возможные варианты решения поставленной задачи, оценивая их достоинства и недостатки
В результате освоения дисциплины обучающийся должен
3.1.Знать:
3.1.1.Основные технологии анализа данных.
3.2.Уметь:
3.2.1.Строить автоматизированные модели анализа данных.
3.3.Иметь навыки и (или) опыт деятельности (владеть):
3.3.1.Навыками анализа данных на примере решения задач кластеризации,
классификации, прогнозирования.

4. Структура и содержание дисциплины

Код занятия Наименование разделов и тем Вид занятия Семестр Часов Компетенции Литература
Раздел 1. Введение в анализ данных
1.1. Большие данные. Организация сбора и хранения больших наборов данных. Hadoop. Лабораторные 4 2 Л1.1, Л1.2, Л2.2
1.2. Этапы анализа данных. Структурированные и неструктурированные данные. Сбор и подготовка данных. Сам. работа 4 6 Л1.1, Л1.2, Л2.2
1.3. Большие данные. Организация сбора и хранения больших наборов данных.Hadoop. Сам. работа 4 6 Л1.1, Л1.2, Л2.2
Раздел 2. Очистка, интеграция и преобразование данных
2.1. Работа с данными в pandas. Лабораторные 4 2 Л1.1, Л1.2, Л2.2
2.2. Работа с данными в pandas. Сам. работа 4 6 Л1.1, Л1.2, Л2.2
2.3. Восстановление пропущенных значений в массивах данных. Сам. работа 4 6 Л1.1, Л1.2, Л2.2
Раздел 3. Программные модули и пакеты для работы с многомерными массивами данных. Визуализация данных
3.1. Библиотеки NumPy, SciPy: основные функции. Визуализация данных с matplotlib и pandas. Лабораторные 4 4 Л1.2, Л2.4
3.2. Работа с библиотеками NumPy и SciPy. Сам. работа 4 7 Л1.2, Л2.4
3.3. Визуализация данных. Лабораторные 4 4 Л1.2, Л2.4
3.4. Визуализация данных. Сам. работа 4 8 Л1.2, Л2.4
Раздел 4. Теория вероятностей и математическая статистика
4.1. Теория вероятностей и статистика. Лабораторные 4 2 Л2.1, Л1.2
4.2. Теория вероятностей и статистика. Сам. работа 4 12 Л2.1, Л1.2
Раздел 5. Методы машинного обучения
5.1. Алгоритмы машинного обучения.Способы и типы машинного обучения.Библиотека Scikit-Learn. Лабораторные 4 4 Л2.2, Л1.3, Л2.3
5.2. Алгоритмы машинного обучения. Способы и типы машинного обучения. Сам. работа 4 12 Л2.2, Л1.3, Л2.3
5.3. Оценка и улучшение качества моделей машинного обучения: перекрестная проверка, поиск по сетке, метрики качества моделей и их вычисление. Лабораторные 4 6 Л2.2, Л1.3, Л2.3
5.4. Оценка и улучшение качества моделей машинного обучения: перекрестная проверка, поиск по сетке, метрики качества моделей и их вычисление. Сам. работа 4 12 Л2.2, Л1.3, Л2.3
5.5. Защита индивидуальных проектов. Лабораторные 4 2 Л2.2, Л1.3, Л2.3

5. Фонд оценочных средств

5.1. Контрольные вопросы и задания для проведения текущего контроля и промежуточной аттестации по итогам освоения дисциплины
См. приложение
5.2. Темы письменных работ для проведения текущего контроля (эссе, рефераты, курсовые работы и др.)
Не предусмотрено
5.3. Фонд оценочных средств для проведения промежуточной аттестации
См. приложение

6. Учебно-методическое и информационное обеспечение дисциплины

6.1. Рекомендуемая литература
6.1.1. Основная литература
Авторы Заглавие Издательство, год Эл. адрес
Л1.1 А. А. Барсегян, М. С. Куприянов, И. И. Холод, М. Д. Тесс, С. И. Елизаров. Анализ данных и процессов: учеб. пособие: Учебная литература для вузов СПб.: БХВ-Петербург, 2009 kist.ntu.edu.ua
Л1.2 Маккинни У. Python и анализ данных: Москва: ДМК Пресс, 2020 https://e.lanbook.com/book/131721
Л1.3 Рашка С. Python и машинное обучение: крайне необходимое пособие по новейшей предсказательной аналитике, обязательное для более глубокого понимания методологии машинного обучения: Самоучители и руководства Издательство "ДМК Пресс", 2017 e.lanbook.com
6.1.2. Дополнительная литература
Авторы Заглавие Издательство, год Эл. адрес
Л2.1 Энатская Н.Ю. Математическая статистика и случайные процессы: учебное пособие для прикладного бакалавриата М. : Издательство Юрайт // ЭБС «Юрайт», 2018 www.biblio-online.ru/book/E7144E93-751A-44FD-A63F-B50F18195681
Л2.2 Лучано Рамальо Python. К вершинам мастерства: Самоучители и руководства Издательство "ДМК Пресс", 2016 e.lanbook.com
Л2.3 Шарден Б., Массарон Л., Боскетти А. Крупномасштабное машинное обучение вместе с Python: Учебные пособия Издательство "ДМК Пресс", 2018 //ЭБС издательства «Лань» e.lanbook.com
Л2.4 Бонцанини М. Анализ социальных медиа на Python. Извлекайте и анализируйте данные из всех уголков социальной паутины на Python: Другое Издательство "ДМК Пресс", 2018 e.lanbook.com
6.2. Перечень ресурсов информационно-телекоммуникационной сети "Интернет"
Название Эл. адрес
Э1 Дисциплина на образовательном портале portal.edu.asu.ru
6.3. Перечень программного обеспечения
Microsoft Windows
Microsoft Office
Дистрибутив Anaconda
7-Zip
AcrobatReaderMicrosoft Office 2010 (Office 2010 Professional, № 4065231 от 08.12.2010), (бессрочно);
Microsoft Windows 7 (Windows 7 Professional, № 61834699 от 22.04.2013), (бессрочно);
Chrome (http://www.chromium.org/chromium-os/licenses), (бессрочно); 7-Zip (http://www.7-zip.org/license.txt), (бессрочно);
AcrobatReader (http://wwwimages.adobe.com/content/dam/Adobe/en/legal/servicetou/Acrobat_com_Additional_TOU-en_US-20140618_1200.pdf), (бессрочно);
ASTRA LINUX SPECIAL EDITION (https://astralinux.ru/products/astra-linux-special-edition/), (бессрочно);
LibreOffice (https://ru.libreoffice.org/), (бессрочно);
Веб-браузер Chromium (https://www.chromium.org/Home/), (бессрочно);
Антивирус Касперский (https://www.kaspersky.ru/), (до 23 июня 2024);
Архиватор Ark (https://apps.kde.org/ark/), (бессрочно);
Okular (https://okular.kde.org/ru/download/), (бессрочно);
Редактор изображений Gimp (https://www.gimp.org/), (бессрочно)
6.4. Перечень информационных справочных систем
1. Основы алгоритмизации и программирования на языке Python [Электронный ресурс]: https://portal.edu.asu.ru/course/view.php?id=3237
2. Издательство «Лань» - электронно-библиотечная система [Электронный
ресурс]: http://e.lanbook.com
3. Издательство МЦНМО. Свободно распространяемые книги издательства
Московского центра непрерывного математического образования
[Электронный ресурс]: www.mccme.ru/free-books
4. Электронная библиотечная система Алтайского государственного
университета [Электронный ресурс]: http://elibrary.asu.ru
5. Электронная база данных ZBMATH: https://zbmath.org/

7. Материально-техническое обеспечение дисциплины

Аудитория Назначение Оборудование
408Л лаборатория математического моделирования - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации Учебная мебель на 15 посадочных мест; рабочее место преподавателя; доска меловая 1 шт.; компьютер Depo - 10 шт., 5 шт. с мониторами LG и 5 шт. с мониторами Philips; мультимедиа-проектор Sony - 1 шт.; МФУ Canon - 1 шт.; стационарный экран: марка Digis Optima C - 1 шт.
Учебная аудитория для проведения занятий всех видов (дисциплинарной, междисциплинарной и модульной подготовки), групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации, курсового проекта (работы), проведения практики Стандартное оборудование (учебная мебель для обучающихся, рабочее место преподавателя, доска)
203Л лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации Учебная мебель на 14 посадочных мест; компьютеры: марка ASUS модель i5-6500 - 14 единиц

8. Методические указания для обучающихся по освоению дисциплины

Для успешного освоения дисциплины студент должен посещать лекции и лабораторные занятия, вовремя выполять все задания и тесты, пользоваться основной и полнительноцй литературой, рекомендованной настоящей программой. Во время лекции рекомендуется вести краткий конспект.
Навыки программирования на языке Python студент преобретает на лабораторных занятиях. Для выполнения лабораторных заданий каждому студенту необходимо:
- получить вариант задания у преподавателя;
- скачать документ с описанием задания с образовательного портала;
- внимательно прочитать задание. Вопросы, возникающие в процессе выполненпия лабораторных работ, необходимо грамотно сформулировать и обратиться за помощью к преподавателю на консультации или ближайшем занятии;
- разработать, отладить и оттестировать программы, решающие поставленные задачи.
Для каждого лабораторного задания предусмотрена процедура защиты, в ходе которой преподаватель проводит устный опрос студентов для контроля понимания выполненных ими заданий.
Тестовые задания на образовательном портале предназначены для контроля усвоения теоретического материала, а также умения читать и понимать программный код. Тесты выполняются только в присутсвии преподавателя на занятии или на консультации. Количесвто попыток ограничено тремя. Готовясь к тестированию, студент должен изучить конспекты лекций и учебно-методические материалы, рекомендуемые преподавателем.
При подготовке к экзамену в дополнение к изучению конспектов лекций и учебной литературы, рекомендуется посещать консультации и пользоваться свободными интернет-ресурсами.