Закреплена за кафедрой | Кафедра теоретической кибернетики и прикладной математики |
---|---|
Направление подготовки | 09.04.01. Информатика и вычислительная техника |
Профиль | Инженерия искусственного интеллекта |
Форма обучения | Очная |
Общая трудоемкость | 3 ЗЕТ |
Учебный план | 09_04_01_Информатика и вычислительная техника_ИИИ-2022 |
|
|
Распределение часов по семестрам
Курс (семестр) | 2 (3) | Итого | ||
---|---|---|---|---|
Недель | 18 | |||
Вид занятий | УП | РПД | УП | РПД |
Лекции | 18 | 18 | 18 | 18 |
Практические | 18 | 18 | 18 | 18 |
Сам. работа | 72 | 72 | 72 | 72 |
Итого | 108 | 108 | 108 | 108 |
Визирование РПД для исполнения в очередном учебном году
Рабочая программа пересмотрена, обсуждена и одобрена для
исполнения в 2023-2024 учебном году на заседании
кафедры
Кафедра теоретической кибернетики и прикладной математики
Протокол от 29.06.2022 г. № 11
Заведующий кафедрой Козлов Денис Юрьевич
1.1. | Дисциплина «Обработка естественного языка» знакомит студентов с современными методами обработки естественного языка, основанными на глубоких нейронных сетях и машинном обучении. Рассматриваются задачи классификации текста, автоматической генерации текста с использованием рекуррентных нейронных сетей, включая LSTM и GRU, одномерных сверточных сетей, а также сетей с архитектурой Transformer. |
---|
Цикл (раздел) ООП: Б1.О.3 |
ОПК-9 | Способен разрабатывать алгоритмы и программные средства для решения задач в области создания и применения искусственного интеллекта |
ОПК-9.1 | Применяет инструментальные среды, программно-технические платформы для решения задач в области создания и применения искусственного интеллекта. |
ОПК-9.2 | Разрабатывает оригинальные программные средства для решения задач в области создания и применения искусственного интеллекта. |
ПК-7 | Способен руководить проектами по созданию, внедрению и использованию одной или нескольких сквозных цифровых субтехнологий искусственного интеллекта в прикладных областях |
ПК-7.1 | Руководит проектами в области сквозной цифровой субтехнологии «Компьютерное зрение». |
ПК-7.2 | Руководит проектами в области сквозной цифровой субтехнологии «Обработка естественного языка». |
ПК-7.3 | Исследует и анализирует развитие новых направлений и перспективных методов и технологий в области искусственного интеллекта, участвует в исследовательских проектах по развитию перспективных направлений в области искусственного интеллекта.(алгоритмическая имитация биологических систем принятия решений, автономное самообучение и развитие адаптивности алгоритмов к новым задачам, автономная декомпозиция сложных задач, поиск и синтез решений). |
В результате освоения дисциплины обучающийся должен | |
3.1. | Знать: |
---|---|
3.1.1. | Применяет инструментальные среды, программно-технические платформы для решения задач в области создания и применения искусственного интеллекта Знает принципы построения систем обработки естественного языка, методы и подходы к планированию и реализации проектов по созданию систем искусственного интеллекта на основе сквозной цифровой субтехнологии «Обработка естественного языка» |
3.2. | Уметь: |
3.2.1. | Разрабатывает оригинальные программные средства для решения задач в области создания и применения искусственного интеллекта |
3.3. | Иметь навыки и (или) опыт деятельности (владеть): |
3.3.1. |
Код занятия | Наименование разделов и тем | Вид занятия | Семестр | Часов | Компетенции | Литература |
---|---|---|---|---|---|---|
Раздел 1. Теоретические аспекты обработки естественного языка | ||||||
1.1. | Синтаксический, морфологический, семантический и графематический анализ, омонимия, задачи лингвистического анализа | Лекции | 3 | 2 | ||
1.2. | Синтаксический, морфологический, семантический и графематический анализ, омонимия, задачи лингвистического анализа | Практические | 3 | 2 | ||
1.3. | Синтаксический, морфологический, семантический и графематический анализ, омонимия, задачи лингвистического анализа | Сам. работа | 3 | 8 | ||
Раздел 2. Предварительная обработка текста | ||||||
2.1. | Очистка текста, токенизация, стемминг, лемматизация, удаление стоп-слов, фильтрация наиболее частотных и наименее частотных слов | Лекции | 3 | 2 | ||
2.2. | Очистка текста, токенизация, стемминг, лемматизация, удаление стоп-слов, фильтрация наиболее частотных и наименее частотных слов | Практические | 3 | 2 | ||
2.3. | Очистка текста, токенизация, стемминг, лемматизация, удаление стоп-слов, фильтрация наиболее частотных и наименее частотных слов | Сам. работа | 3 | 8 | ||
Раздел 3. Векторизация текста | ||||||
3.1. | Построение словаря, мешок слов, TF-IDF, word2vec, fasttext, LDA, LSI, GloVe | Лекции | 3 | 2 | ||
3.2. | Построение словаря, мешок слов, TF-IDF, word2vec, fasttext, LDA, LSI, GloVe | Практические | 3 | 2 | ||
3.3. | Построение словаря, мешок слов, TF-IDF, word2vec, fasttext, LDA, LSI, GloVe | Сам. работа | 3 | 8 | ||
Раздел 4. Машинное обучение для обработки текстов | ||||||
4.1. | Решение задач классификации и определения тональности методами классического машинного обучения на основе векторных моделей | Лекции | 3 | 4 | ||
4.2. | Решение задач классификации и определения тональности методами классического машинного обучения на основе векторных моделей | Практические | 3 | 4 | ||
4.3. | Решение задач классификации и определения тональности методами классического машинного обучения на основе векторных моделей | Сам. работа | 3 | 10 | ||
Раздел 5. Нейронные сети в решении задач текстовой обработки | ||||||
5.1. | Архитектуры нейронных сетей для обработки текстов: рекуррентные (LSTM, GRU), одномерные сверточные. Применение нейронных сетей для обработки тектов | Лекции | 3 | 2 | ||
5.2. | Архитектуры нейронных сетей для обработки текстов: рекуррентные (LSTM, GRU), одномерные сверточные. Применение нейронных сетей для обработки тектов | Практические | 3 | 2 | ||
5.3. | Архитектуры нейронных сетей для обработки текстов: рекуррентные (LSTM, GRU), одномерные сверточные. Применение нейронных сетей для обработки тектов | Сам. работа | 3 | 8 | ||
Раздел 6. Языковая модель | ||||||
6.1. | Языковая модель и дистрибутивная семантика. Обучение векторной модели. Задача генерации текста. Различные подходы к генерации текста | Лекции | 3 | 2 | ||
6.2. | Языковая модель и дистрибутивная семантика. Обучение векторной модели. Задача генерации текста. Различные подходы к генерации текста | Практические | 3 | 2 | ||
6.3. | Языковая модель и дистрибутивная семантика. Обучение векторной модели. Задача генерации текста. Различные подходы к генерации текста | Сам. работа | 3 | 10 | ||
Раздел 7. Поиск именованных сущностей | ||||||
7.1. | Задача поиска именованных сущностей в тексте. Применение нейронных сетей для поиска именованных сущностей | Лекции | 3 | 2 | ||
7.2. | Задача поиска именованных сущностей в тексте. Применение нейронных сетей для поиска именованных сущностей | Практические | 3 | 2 | ||
7.3. | Задача поиска именованных сущностей в тексте. Применение нейронных сетей для поиска именованных сущностей | Сам. работа | 3 | 10 | ||
Раздел 8. Механизм внимания. Трансформер | ||||||
8.1. | Механизм внимания в нейронных сетях. Применение механизма внимания для обработки текста. Нейронные сети с архитектурой Transformer. Нейронные сети BERT, GPT. Перенос обучения | Лекции | 3 | 2 | ||
8.2. | Механизм внимания в нейронных сетях. Применение механизма внимания для обработки текста. Нейронные сети с архитектурой Transformer. Нейронные сети BERT, GPT. Перенос обучения | Практические | 3 | 2 | ||
8.3. | Механизм внимания в нейронных сетях. Применение механизма внимания для обработки текста. Нейронные сети с архитектурой Transformer. Нейронные сети BERT, GPT. Перенос обучения | Сам. работа | 3 | 10 |
5.1. Контрольные вопросы и задания для проведения текущего контроля и промежуточной аттестации по итогам освоения дисциплины |
в приложении |
5.2. Темы письменных работ для проведения текущего контроля (эссе, рефераты, курсовые работы и др.) |
в приложении |
5.3. Фонд оценочных средств для проведения промежуточной аттестации |
в приложении |
Приложения |
Приложение 1.
ФОС Обработка естественного языка.docx
|
6.1. Рекомендуемая литература | ||||
6.2. Перечень ресурсов информационно-телекоммуникационной сети "Интернет" | ||||
Название | Эл. адрес | |||
Э1 | Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных | www.machinelearning.ru | ||
Э2 | Дьяков А. Глубокое обучение | github.com | ||
Э3 | Онлайн-курс “Generating discrete sequences: language and music” | www.edx.org | ||
Э4 | Чернобаев Игорь Дмитриевич, Суркова Анна Сергеевна, Панкратова Анна Зурабовна Моделирование текстов с использованием рекуррентных нейронных сетей // Труды НГТУ им. Р. Е. Алексеева. 2018. №1 (120). | cyberleninka.ru | ||
Э5 | Браславский П.И. Введение в обработку естественного языка | stepik.org | ||
Э6 | Роман Суворов, Анастасия Янина, Алексей Сильвестров, Николай Капырин. Нейронные сети и обработка текста | stepik.org | ||
Э7 | Цитульский Антон Максимович, Иванников Александр Владимирович, Рогов Илья Сергеевич NLP - Обработка естественных языков // StudNet. 2020. №6. | cyberleninka.ru | ||
Э8 | Онлайн курс “Программирование глубоких нейронных сетей на Python” | openedu.ru | ||
6.3. Перечень программного обеспечения | ||||
Браузер (Google Chrome, Mozilia Firefox) Используется бесплатно-распространяемое программное обеспечение: 1. Python – https://www.python.org/ 2. TensorFlow – https://www.tensorflow.org/ 3. Веб - среда разработки для языка программирования Python: google colab - https://colab.research.google.com/ 4. Hugging Face – https://huggingface.co/ Microsoft Office 2010 (Office 2010 Professional, № 4065231 от 08.12.2010), (бессрочно); Microsoft Windows 7 (Windows 7 Professional, № 61834699 от 22.04.2013), (бессрочно); Chrome (http://www.chromium.org/chromium-os/licenses), (бессрочно); 7-Zip (http://www.7-zip.org/license.txt), (бессрочно); AcrobatReader (http://wwwimages.adobe.com/content/dam/Adobe/en/legal/servicetou/Acrobat_com_Additional_TOU-en_US-20140618_1200.pdf), (бессрочно); ASTRA LINUX SPECIAL EDITION (https://astralinux.ru/products/astra-linux-special-edition/), (бессрочно); LibreOffice (https://ru.libreoffice.org/), (бессрочно); Веб-браузер Chromium (https://www.chromium.org/Home/), (бессрочно); Антивирус Касперский (https://www.kaspersky.ru/), (до 23 июня 2024); Архиватор Ark (https://apps.kde.org/ark/), (бессрочно); Okular (https://okular.kde.org/ru/download/), (бессрочно); Редактор изображений Gimp (https://www.gimp.org/), (бессрочно) | ||||
6.4. Перечень информационных справочных систем | ||||
Профессиональные базы данных, информационно-справочные системы 1. Цифровая библиотека научно-технических изданий Института инженеров по электротехнике и радиоэлектронике (Institute of Electrical and Electronic Engineers (IEEE)) на английском языке – http://www.ieee.org/ieeexplore 2. Oxford University Press – http://www.oxfordjournals.org/en/ 3. Архив препринтов с открытым доступом – https://arxiv.org/ Материалы для лиц с ОВЗ Весь контент ЭБС представлен в виде файлов специального формата для воспроизведения синтезатором речи, а также в тестовом виде, пригодном для прочтения с использованием экранной лупы и настройкой контрастности. Базы данных, информационно-справочные и поисковые системы 1. Academic Search Ultimate EBSCO publishing – http://search.ebscohost.com 2. eBook Collections Springer Nature – https://link.springer.com/ 3. Гугл Академия – https://scholar.google.ru/ 4. СПС КонсультантПлюс (инсталлированный ресурс АлтГУ или http://www.consultant.ru/). 5. Электронная база данных «Scopus» (http://www.scopus.com); 6. Электронная библиотечная система Алтайского государственного университета (http://elibrary.asu.ru/) 7. Электронный научный архив УрФУ https://elar.urfu.ru/ 8. Зональная научная библиотека (УрФУ) - http://lib.urfu.ru/ 9. Портал информационно-образовательных ресурсов УрФУ https://study.urfu.ru/ 10. Электронно-библиотечная система «Лань» – https://e.lanbook.com/ 11. Университетская библиотека ONLINE – https://biblioclub.ru/ 12. Электронно-библиотечная система "Библиокомплектатор" (IPRbooks) http://www.bibliocomplectator.ru/available 13. Электронные информационные ресурсы Российской государственной библиотеки https://www.rsl.ru/ 14. Научная электронная библиотека «КиберЛенинка» https://cyberleninka.ru/ |
Аудитория | Назначение | Оборудование |
---|---|---|
107Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 18 посадочных мест; компьютеры: марка HP, модель ProOne 400 - 18 единиц; проектор: марка SMART, модель UF70 - 1 единица; интерактивная доска: марка SMART Board модель SMB680 - 1 единица |
205Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 9 посадочных мест; компьютеры: марка КламаС Офис, мониторы: марка ACER модель V223HQL - 8 единиц; доска интерактивная Triumph MULTI TOUCH 78 + проектор NEC UM280X в комплекте |
204Л | лаборатория информационных технологий - компьютерный класс - учебная аудитория для проведения занятий семинарского типа (лабораторных и(или) практических); проведения групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации | Учебная мебель на 14 посадочных мест; компьютеры: марка DEPO модель Neos 260 - 14 единиц; Интерактивная доска Smart board 680 IV со встроенным проектором v25 |
Учебная аудитория | для проведения занятий лекционного типа, занятий семинарского типа (лабораторных и(или) практических), групповых и индивидуальных консультаций, текущего контроля и промежуточной аттестации, курсового проектирования (выполнения курсовых работ), проведения практик | Стандартное оборудование (учебная мебель для обучающихся, рабочее место преподавателя, доска, мультимедийное оборудование стационарное или переносное) |
Изучение дисциплины завершается зачетом. Успешное изучение дисциплины требует посещения лекций, активной работы на лабораторных работах, выполнения всех практических заданий преподавателя, ознакомления с основной и дополнительной литературой. Во время лекции студент должен вести краткий конспект. При этом обучающийся должен стараться найти ответы на затруднительные вопросы, используя рекомендуемую литературу или общедоступные ресурсы. Если ему самостоятельно не удалось разобраться в материале, необходимо сформулировать вопросы и обратится за помощью к преподавателю на консультации или ближайшей лекции. Выполнение студентами практических заданий направлено на: - обобщение, систематизацию, углубление, закрепление полученных теоретических знаний по конкретным темам дисциплин; - формирование необходимых профессиональных умений и навыков. Помимо собственно выполнения практических заданий для каждого задания предусмотрена процедура защиты, в ходе которой преподаватель проводит устный или письменный опрос студентов для контроля понимания выполненных ими действий по теме занятия. Самостоятельная работа. - При изучении дисциплины не все вопросы рассматриваются на занятиях, часть вопросов рекомендуется преподавателем для самостоятельного изучения. - Поиск ответов на вопросы и выполнение заданий для самостоятельной работы позволит вам расширить и углубить свои знания по курсу, применить теоретические знания в решении задач практического содержания, закрепить изученное ранее. - Эти задания следует выполнять не «наскоком», а постепенно, планомерно, следуя порядку изучения тем курса. - При возникновении вопросов обратитесь к преподавателю в день консультаций на кафедру. - Выполнив их, проанализируйте качество их выполнения. Это поможет вам развивать умения самоконтроля и оценочные компетенции. При подготовке к зачету в дополнение к изучению конспектов лекций, учебно-методических материалов и слайдов, необходимо пользоваться учебной литературой, рекомендованной настоящей программой. При подготовке к зачету нужно изучить определения всех понятий и теоретические подходы до состояния понимания материала, а также выполнить все практические задания в курсе. |