Федеральное государственное бюджетное образовательное
учреждение высшего образования 
Московский государственный университет имени М.В. Ломоносова
Факультет вычислительной математики и кибернетики

УТВЕРЖДАЮ
декан факультета вычислительной математики и кибернетики
______________/И.А. Соколов /
«___» ________________20___г.

РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
Наименование дисциплины:
Современные методы машинного обучения и цифровой обработки сигналов
Уровень высшего образования:
бакалавриат
Направление подготовки / специальность:
01.03.02 «Прикладная математика и информатика» (3++)
Направленность (профиль):
Математические и компьютерные методы решения задач естествознания
Форма обучения:
очная

Москва 2023

Рабочая программа дисциплины (модуля) разработана в соответствии с самостоятельно установленным МГУ образовательным стандартом (ОС МГУ) для реализуемых основных профессиональных образовательных программ высшего образования по направлению подготовки 01.03.02, 01.04.02 "Прикладная математика и информатика" программы бакалавриата  Утвержден приказом МГУ от 30 августа 2019 года № 1041 (в редакции приказов МГУ от 11 сентября 2019 года № 1109, от 10 июня 2021 года № 609, от 7 октября 2021 года № 1048, от 21 декабря 2021 года № 1404, от 2 ноября 2022 года № 1299)

1. Дисциплина относится к базовой части ОПОП ВО.

2. Входные требования для освоения дисциплины (модуля): учащиеся должны владеть знаниями по курсам, связанным с основами математического анализа, линейной алгебры, теории вероятности и математической статистики, а также программирования и системам программирования, в объеме, соответствующем первым двум годам обучения основных образовательных программ бакалавриата по укрупненным группам направлений и специальностей 01.00.00 «Математика и механика», 02.00.00 «Компьютерные и информационные науки».

3. Результаты обучения по дисциплине (модулю), соотнесенные с требуемыми компетенциями выпускников.

Компетенции выпускников, частично формируемые при реализации дисциплины (модуля):

•	ОПК-1.Б Способность применять и адаптировать существующие математические и компьютерные методы для разработки и реализации алгоритмов решения актуальных задач в области фундаментальной и прикладной математики
•	ОПК-2.Б Способность применять и модифицировать математические модели, а также интерпретировать полученные математические результаты при решения задач в области профессиональной деятельности 
•	ПК-2.Б Способность понимать и применять в научно-исследовательской деятельности современный математический аппарат

Планируемые результаты обучения по дисциплине (модулю):

Знать:
1.	постановку проблем математического и информационного моделирования сложных систем;
2.	способы описания дискретных сигналов и устройств;
3.	физические и математические основы преобразования сигналов при цифровой обработке и связанные с ними искажения и погрешности;
4.	математические алгоритмы цифровой фильтрации и спектрально-корреляционного анализа сигналов;
5.	методы синтеза цифровых фильтров;
6.	методы многоскоростной и адаптивной обработки сигналов;
7.	современное состояние исследований в области машинного обучения;
8.	принципы построения систем машинного обучения;
9.	основные алгоритмы, модели и методы машинного обучения и способы их применения для решения практических задач.

Уметь:  
1.	проводить анализ предметной области;
2.	применять на практике математические методы и программные средства для цифровой обработки и анализа сигналов; 
3.	выполнять адаптивную обработку цифровых сигналов;
4.	выполнять синтез и анализ цифровых фильтров;
5.	применять на практике математические методы и программные средства машинного обучения;
6.	определять назначение, выбирать методы и средства для построения систем машинного обучения;
7.	применять основные методы машинного обучения для анализа сигналов различного рода.

Владеть:  
1.	основными подходами к построению математических моделей и разработке программного обеспечения для выполнения цифровой обработки сигналов различного вида;
2.	навыками применения современного инструментария для моделирования и реализации алгоритмов цифровой фильтрации и спектрально-корреляционного анализа сигналов;
3.	основными подходами к построению математических моделей и разработке программного обеспечения для выполнения анализа цифровых сигналов методами машинного обучения.

4. Формат обучения: лекции проводятся с использованием медиапроектора и экрана.

5. Объем дисциплины (модуля) составляет 2 з.е., в том числе 36 академических часа, отведенных на контактную работу обучающихся с преподавателем, 36 академических часа на самостоятельную работу обучающихся. 

6. Содержание дисциплины (модуля), структурированное по темам (разделам) с указанием отведенного на них количества академических часов и виды учебных занятий.
Наименование и краткое содержание разделов и тем дисциплины (модуля),

Форма промежуточной аттестации по дисциплине (модулю)	Всего
(часы)	В том числе	
		Контактная работа 
(работа во взаимодействии с преподавателем)
Виды контактной работы, часы	Самостоятельная работа обучающегося, часы 
	
		Занятия лекционного типа*	Занятия семинарского типа*	Всего		
1.	Обобщенная схема цифровой обработки сигналов. Основные типы сигналов и их математическое описание. Типовые дискретные сигналы. Квантование сигналов. Теорема Котельникова.	3	2		2	1	
2.	Сегментирование сигнала. Различные оконные функции. Непрерывное преобразование Фурье. Прямое и обратное Z-преобразование. Свойства преобразования Фурье и Z-преобразования. Дискретное преобразование Фурье. Быстрое преобразование Фурье. Кратковременный спектральный анализ и его особенности. 	3	2		2	1	
3.	Импульсная характеристика. Формула свертки.  Циклическая свертка, ее связь с линейной дискретной сверткой. Связь ДПФ с циклической сверткой. Рекурсивные и нерекурсивные линейные системы. Системы с конечной и бесконечной импульсной характеристикой. Устойчивость линейных дискретных систем.	3	2		2	1	
4.	Описание линейных дискретных систем в Z-области. Передаточные функции и их разновидности. Оценка устойчивости по передаточной функции. Карты нулей и полюсов.   Описание линейных дискретных систем в частотной области. Частотная характеристика и ее связь с передаточной функцией. Свойства частотных характеристик. Расчет амплитудно-частотной и фазово-частотной характеристик. Минимально-фазовые и неминимально-фазовые линейные дискретные системы.	3	2		2	1	
5.	Текущий контроль успеваемости: реферат	2	0		0	2	
6.	Основные определения и классификация цифровых фильтров. Типы избирательных фильтров. Характеристика задачи оптимального синтеза. Меры близости в задачах аппроксимации цифровой обработки сигналов.  Задание требований к цифровым фильтрам. Явление Гиббса. Методика синтеза КИХ-фильтров на основе оконных функций. Особенности использования окон. Синтез оптимальных по Чебышеву КИХ-фильтров. КИХ-фильтры с линейной фазово-частотной характеристикой. 	3	2		2	1	
7.	Аналоговые фильтры-прототипы. Фильтры Баттерворта и Чебышева. Эллиптические фильтры. Билинейное Z-преобразование и его свойства. Методика синтеза цифровых БИХ-фильтров на основе билинейного Z-преобразования. Особенности использования метода билинейного Z-преобразования.	3	2		2	1	
8.	Многоскоростная цифровая обработка сигналов.  Основные операторы изменения частоты дискретизации. Соотношения в частотной области и многоскоростные тождества. Связь входного и выходного сигналов. Банки цифровых фильтров. 	3	2		2	1	
9.	Адаптивная обработка сигналов. Требования к адаптивным фильтрам. Винеровская фильтрация. Алгоритм Ньютона. LMS- и NLMS-алгоритмы. Рекурсивная задача наименьших квадратов. Качество адаптивной фильтрации с помощью RLS-алгоритма.	3	2		2	1	
10.	Основы вейвлет-преобразования. Отличия и преимущества перед кратковременным Фурье-анализом. Непрерывное вейвлет-преобразование.  Понятие масштаба. Процедура преобразования. Обратное преобразование и условие его существования. Дискретизация непрерывного вейвлет-преобразования. Дискретное вейвлет-преобразование. Субполосное кодирование.	3	2		2	1	
11.	Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал. Типы задач: классификация, регрессия, прогнозирование, кластеризация. Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.	3	2		2	1	
12.	Линейная регрессия. Квадратичная функция потерь и предположение о нормальном распределении шума. Метод наименьших квадратов: аналитическое решение и оптимизационный подход. Стохастический градиентный спуск. Проблема переобучения. Регуляризация. Линейная классификация. Аппроксимация дискретной функции потерь. Градиентный спуск, регуляризация. Классификация и оценки принадлежности классам. Логистическая регрессия. Наивный байесовский классификатор. Классификатор ближайших соседей. 	3	2		2	1	
13.	Регрессия: квадратичные и абсолютные потери, абсолютные логарифмические отклонения. Примеры использования.  Классификация: доля верных ответов, ее недостатки. Точность и полнота, их объединение: арифметическое среднее, минимум, гармоническое среднее (F-мера). Оценки принадлежности классам: площади под кривыми. AUC-ROC, AUC-PRC, их свойства. Оценивание качества алгоритмов. Отложенная выборка, ее недостатки. Оценка полного скользящего контроля. Кросс-валидация. Практические особенности кросс-валидации. Стратификация. Потенциальные проблемы с разбиением зависимой или динамической выборки.	3	2		2	1	
14.	Логические методы и их интерпретируемость. Пример решающего списка для задачи фильтрации нежелательных сообщений. Деревья решений. Проблема построения оптимального дерева решений. Жадный алгоритм, основные его параметры. Построение деревьев решений. Критерий ветвления. Выбор оптимального разбиения в задачах регрессии. Сложности выбора разбиения в задаче классификации. Примеры критериев: энтропийный (прирост информации), Джини и их модификации. Критерии завершения построения. Регуляризация и стрижка деревьев.	3	2		2	1	
15.	Текущий контроль успеваемости: реферат	4	0		0	4	
16.	Уменьшение дисперсии при усреднении алгоритмов методом бутстреп. Ансамбль алгоритмов. Понятие смещения и разброса. Уменьшение разброса с помощью усреднения. Случайный лес. Оценка out-of-bag. AdaBoost, градиентный бустинг. Особенности их применения.	3	2		2	1	
17.	Основные понятия искусственных нейронных сетей. Геометрический смысл функционирования искусственного нейрона. Нейросети прямого распространения. Нейросети с радиальными базисными функциями. Обучение нейросети. Метод обратного распространения ошибки. Организация процесса настройки нейросети. Глубокие нейросети. Сверточные нейросети и их особенности. Проблема исчезающих градиентов. Метод обратного распространения ошибки для сверточных нейросетей. Тонкая настройка сверточных нейросетей и метод прореживания (dropout). Рекуррентные нейросети, их основные типы: управляемые рекуррентные блоки (GRU), сети с долгой краткосрочной памятью LSTM.	6	4		4	2	
18.	Методы понижения размерности данных.  Визуализация данных. Метод выделения главных компонент. Многомерное шкалирование. Диаграммы Шепарда. Отображение Сэммона. Стохастическое вложение соседей с t-распределением. Автокодировщики.	3	2		2	1	
19.	Особенности реальных данных. Неполнота и противоречивость. Шумы и выбросы в данных. Методы поиска выбросов. Пропуски в данных, методы их восстановления. Несбалансированные выборки: проблемы и методы борьбы. Задача отбора признаков, примеры подходов.	3	2		2	1	
Аттестация: зачет	12	0	0	0	12	
Итого	72	36	0	36	36	

7. Фонд оценочных средств (ФОС) для оценивания результатов обучения по дисциплине (модулю)

7.1. Типовые контрольные задания или иные материалы для проведения текущего контроля успеваемости.

7.2. Типовые контрольные задания или иные материалы для проведения промежуточной аттестации.

Вопросы к зачету.

1.	Теорема Котельникова. Эффект восстановления моногармонического сигнала при различных соотношениях частот сигнала и дискретизации.
2.	Одностороннее и двустороннее Z-преобразования.
3.	Способы определения обратного Z-преобразования.
4.	Описание линейной стационарной дискретной системы в z-области, передаточная функция дискретной системы, оценка устойчивости дискретной системы по передаточной функции.
5.	Определение спектра периодического дискретного сигнала. Дискретное преобразование Фурье (ДПФ). Обратное ДПФ.
6.	ДПФ и его свойства.
7.	Циклическая свертка, ее связь с линейной дискретной сверткой. Связь ДПФ с циклической сверткой.
8.	Синтез цифровых фильтров методом билинейного Z-преобразования.
9.	Многоскоростная цифровая обработка сигналов.
10.	Адаптивная обработка сигналов. Требования к адаптивным фильтрам. Винеровская фильтрация.
11.	Отличия и преимущества вейвлет-преобразования перед кратковременным Фурье-анализом. Непрерывное вейвлет-преобразование.
12.	Дискретное вейвлет-преобразование. Субполосное кодирование.
Вопросы к экзамену.

1.	Обобщенная схема цифровой обработки сигналов. Основные типы сигналов и их математическое описание. Типовые дискретные сигналы. Квантование сигналов. Теорема Котельникова.
2.	Непрерывное преобразование Фурье. Прямое и обратное Z-преобразование. Свойства преобразования Фурье и Z-преобразования.
3.	Дискретное преобразование Фурье. Быстрое преобразование Фурье. Кратковременный спектральный анализ и его особенности.
4.	Импульсная характеристика. Формула свертки.  Циклическая свертка, ее связь с линейной дискретной сверткой. Связь ДПФ с циклической сверткой.
5.	Рекурсивные и нерекурсивные линейные системы. Системы с конечной и бесконечной импульсной характеристикой. Устойчивость линейных дискретных систем.
6.	Описание линейных дискретных систем в Z-области. Передаточные функции и их разновидности. Оценка устойчивости по передаточной функции. Карты нулей и полюсов.
7.	Описание линейных дискретных систем в частотной области. Частотная характеристика и ее связь с передаточной функцией. Свойства частотных характеристик. Минимально-фазовые и неминимально-фазовые линейные дискретные системы.
8.	Основные определения и классификация цифровых фильтров. Характеристика задачи оптимального синтеза.
9.	Меры близости в задачах аппроксимации цифровой обработки сигналов. Задание требований к цифровым фильтрам. Явление Гиббса.
10.	Методика синтеза КИХ-фильтров на основе оконных функций. Синтез оптимальных по Чебышеву КИХ-фильтров.
11.	Фильтры Баттерворта и Чебышева. Эллиптические фильтры.
12.	Билинейное Z-преобразование и его свойства. Методика синтеза цифровых БИХ-фильтров на основе билинейного Z-преобразования.
13.	Многоскоростная цифровая обработка сигналов. Основные операторы изменения частоты дискретизации. Соотношения в частотной области и многоскоростные тождества.
14.	Адаптивная обработка сигналов. Требования к адаптивным фильтрам. Винеровская фильтрация.
15.	Алгоритм Ньютона. LMS- и NLMS-алгоритмы. Рекурсивная задача наименьших квадратов. Качество адаптивной фильтрации с помощью RLS-алгоритма.
16.	Основы вейвлет-преобразования. Отличия и преимущества перед кратковременным Фурье-анализом. Непрерывное вейвлет-преобразование.
17.	Дискретизация непрерывного вейвлет-преобразования. Дискретное вейвлет-преобразование. Субполосное кодирование.
18.	Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал. Типы задач и основные понятия машинного обучения.
19.	Линейная регрессия. Квадратичная функция потерь и предположение о нормальном распределении шума. Метод наименьших квадратов: аналитическое решение и оптимизационный подход.
20.	Стохастический градиентный спуск. Проблема переобучения. Регуляризация.
21.	Линейная классификация. Аппроксимация дискретной функции потерь. Градиентный спуск, регуляризация.
22.	Логистическая регрессия.
23.	Наивный байесовский классификатор.
24.	Классификатор ближайших соседей.
25.	Оценивание качества алгоритмов. Оценки принадлежности классам: площади под кривыми. AUC-ROC, AUC-PRC, их свойства.
26.	Кросс-валидация. Практические особенности кросс-валидации. Стратификация. Потенциальные проблемы с разбиением зависимой или динамической выборки.
27.	Деревья решений. Проблема построения оптимального дерева решений.
28.	Уменьшение дисперсии при усреднении алгоритмов методом бутстреп. Ансамбль алгоритмов.
29.	Понятие смещения и разброса. Уменьшение разброса с помощью усреднения. Случайный лес.
30.	Метод AdaBoost и особенности его применения.
31.	Градиентный бустинг и особенности его применения.
32.	Основные понятия искусственных нейронных сетей. Геометрический смысл функционирования искусственного нейрона. Нейросети прямого распространения.
33.	Обучение нейросети. Метод обратного распространения ошибки. Организация процесса настройки нейросети.
34.	Сверточные нейросети и их особенности.
35.	Рекуррентные нейросети, их основные типы.
36.	Многомерное шкалирование. Диаграммы Шепарда.
37.	Стохастическое вложение соседей с t-распределением.
38.	Автокодировщики.
39.	Несбалансированные выборки: проблемы и методы решения.

Экзаменационный билет состоит из двух вопросов, например

1.	Дискретное преобразование Фурье. Быстрое преобразование Фурье. Кратковременный спектральный анализ и его особенности.
2.	Градиентный бустинг и особенности его применения.

ШКАЛА И КРИТЕРИИ ОЦЕНИВАНИЯ результатов обучения (РО) по дисциплине (модулю)  
	
Оценка
РО и
соответствующие виды оценочных средств 	2	3	4	5	
Знания
Зачет,экзамен	Отсутствие знаний	Фрагментарные знания	Общие, но не структурированные знания	Сформированные систематические знания	
Умения
написание и защита рефератов  на заданную тему	Отсутствие умений	В целом успешное, но не систематическое умение	В целом успешное, но содержащее отдельные пробелы умение (допускает неточности непринципиального характера)	Успешное и систематическое умение	
Навыки 
(владения, опыт деятельности)
Зачет, экзамен	Отсутствие навыков (владений, опыта)	Наличие отдельных навыков (наличие фрагментарного опыта)	В целом, сформированные навыки (владения), но используемые не в активной форме	Сформированные навыки (владения), применяемые при решении задач	

Соответствие результатов обучения и компетенций, в развитии которых участвует дисциплина (модуль)
	
Результаты обучения	Компетенция, с частичным формированием которой связано достижение результата обучения	
Знать:
1.	постановку проблем математического и информационного моделирования сложных систем;
2.	физические и математические основы преобразования сигналов при цифровой обработке и связанные с ними искажения и погрешности;
3.	современное состояние исследований в области машинного обучения;
4.	основные алгоритмы, модели и методы машинного обучения и способы их применения для решения практических задач.

Уметь:  
1.	проводить анализ предметной области;
2.	применять на практике математические методы и программные средства для цифровой обработки и анализа сигналов;
3.	определять назначение, выбирать методы и средства для построения систем машинного обучения;
4.	применять основные методы машинного обучения для анализа сигналов различного рода.

Владеть:  
1.	основными подходами к построению математических моделей и разработке программного обеспечения для выполнения анализа сигналов различного вида.

ОПК-1.Б	
Знать:
1.	способы описания дискретных сигналов и устройств;
2.	математические алгоритмы цифровой фильтрации и спектрально-корреляционного анализа сигналов;
3.	принципы построения систем машинного обучения;
4.	математические основы различных видов преобразования сигналов при их анализе.

Уметь:  
1.	выполнять адаптивную обработку цифровых сигналов;
2.	выполнять синтез и анализ цифровых фильтров;
3.	применять на практике математические методы и программные средства машинного обучения;

Владеть:  
1.	навыками применения современного инструментария для моделирования и реализации алгоритмов анализа данных.

ОПК-2.Б	
Владеть:
1.	основными подходами к построению математических моделей и разработке программного обеспечения для выполнения анализа цифровых сигналов методами машинного обучения.	

ПК-2.Б	

8. Ресурсное обеспечение:

Основная литература:
1.	Рабинер, Л. Теория и применение цифровой обработки сигналов: пер. с англ. / Л. Рабинер, Б. Гоулд. – М.: Мир, 1978.
2.	Э. Айфичер, Б. Джервис. Цифровая обработка сигналов: практический подход: М.: «Вильямс», 2004.
3.	Гольденберг Л.М., Матюшкин Б.Д., Поляк М.Н. Цифровая обработка сигналов. Учебное пособие для вузов - М. Радио и связь, 1990.
4.	А. Оппенгейм, Р. Шафер. Цифровая обработка сигналов -3-е изд., испр. -М. : Техносфера, 2012. -1048 с.
5.	Каппелини, В. Цифровые фильтры и их применение: пер. с англ. / В. Каппелини, А. Дж. Константинидис, П. Эмилиани. – М.: Энергоатомиздат, 1983.
6.	Осипов, Г.С. Методы искусственного интеллекта / Г.С. Осипов. -Москва : Физматлит, 2011. -296 с.
7.	Николенко С.И., Кадурин А.А., Архангельская Е.В. Глубокое обучение. Погружение в мир нейронных сетей.-СПб: Питер, 2018-408 с.
8.	Орельен Ж. Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow. - СПб: Вильямс, 2018, 688 с.
Дополнительная литература:
1.	Уидроу, Б. Адаптивная обработка сигналов: пер. с англ. под ред. В. В. Шахгильдяна / Б. Уидроу, С. Д. Стирнз. –М.: Радио и связь, 1989. – 440 с.
2.	Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов. - М.:Мир, 1989.
3.	Методы цифровой обработки сигналов для решения прикладных задач. - Научная серия "Цифровая обработка сигналов", ред. В.И. Марчук. - М.:Радиотехника, 2012.
4.	Бенджио И., Курвилль А., Гудфеллоу Я. Глубокое обучение. - М.: ДМК-Пресс, 2018, 652 с. 
5.	Рашка С., Мирджалили В. Python и машинное обучение. Машинное и глубокое обучение с использованием Python, scikit-learn и TensorFlow - СПб: Вильямс, 2019.

Материально-техническое обеспечение:  аудитория с партами, меловой доской и экраном; медиапроектор.

9. Язык преподавания: 	русский.

10. Преподаватели:  		профессор факультета ВМК МГУ А.Г. Шишкин

11. Авторы программы:  	профессор факультета ВМК МГУ А.Г. Шишкин