Федеральное государственное бюджетное образовательное
учреждение высшего образования 
Московский государственный университет имени М.В. Ломоносова
Факультет вычислительной математики и кибернетики

УТВЕРЖДАЮ
декан факультета вычислительной математики и кибернетики
______________/И.А. Соколов /
«___» ________________20___г.

РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
Наименование дисциплины:
Методы и средства информационного поиска
Уровень высшего образования:
бакалавриат
Направление подготовки / специальность:
01.03.02 «Прикладная математика и информатика» (3++)
Направленность (профиль):
Системное программирование и компьютерные науки
Форма обучения:
очная

Москва 2023

Рабочая программа дисциплины (модуля) разработана в соответствии с самостоятельно установленным МГУ образовательным стандартом (ОС МГУ) для реализуемых основных профессиональных образовательных программ высшего образования по направлению подготовки 01.03.02, 01.04.02 "Прикладная математика и информатика" программы бакалавриата  Утвержден приказом МГУ от 30 августа 2019 года № 1041 (в редакции приказов МГУ от 11 сентября 2019 года № 1109, от 10 июня 2021 года № 609, от 7 октября 2021 года № 1048, от 21 декабря 2021 года № 1404, от 2 ноября 2022 года № 1299) 

1. Место дисциплины (модуля) в структуре ОПОП ВО - относится к вариативной части ОПОП ВО.

2. Входные требования для освоения дисциплины (модуля), предварительные условия:
Логически и содержательно данная дисциплина связана с базовыми курсами: «Алгоритмы и алгоритмические языки», «Системы программирования», «Дискретная математика», "Теория вероятностей и математическая статистика".

3. Результаты обучения по дисциплине (модулю), соотнесенные с требуемыми компетенциями выпускников.

Компетенции выпускников, формируемые (полностью или частично) при реализации дисциплины (модуля):
«Методы и средства информационного поиска»
ОПК-1.Б. Способность применять и адаптировать существующие математические и компьютерные методы для разработки и реализации алгоритмов решения актуальных задач в области фундаментальной и прикладной математики.
ПК-3.Б. Способность в составе производственного коллектива участвовать в разработке и реализации в современных программных комплексах актуальных алгоритмов компьютерной математики.
ПК-4.Б. Способность применять в профессиональной деятельности современные средства разработки программного обеспечения и методы параллельной обработки данных, реализовывать отдельные этапы разработки системного и прикладного программного обеспечения, систем обработки и анализа данных, сетевых технологий.

Планируемые результаты обучения по дисциплине (модулю):  «Методы и средства информационного поиска»
•	знать 
1.	основные особенности естественного языка, уровней языковой системы и моделей обработки текстов; 
2.	современные модели информационного поиска; методы автоматической классификации и кластеризации текстов;
•	уметь 
1.	применять на практике модели информационного поиска для решения задач в рамках информационных систем, 
2.	применять методы классификации, кластеризации для извлечения знаний и информации из текстов;
•	владеть 
1.	навыками выбора методов решения конкретной задачи автоматической обработки текстов (статистический, инженерно-лингвистический, комбинированный); 
2.	навыками анализа результатов обработки текстов для коррекции используемых алгоритмов обработки текстов.

4. Формат обучения: лекции, семинары, письменные проверочные и контрольные работы, письменный экзамен.

5. Объем дисциплины (модуля) составляет 4 з.е., в том числе 72 академических часов, отведенных на контактную работу обучающихся с преподавателем (лекции, семинары), а также 72 академических часов на самостоятельную работу обучающихся. 

6. Содержание дисциплины (модуля), структурированное по темам (разделам) с указанием отведенного на них количества академических часов и виды учебных занятий 
Наименование и краткое содержание разделов и тем дисциплины (модуля),

Форма промежуточной аттестации по дисциплине (модулю)	Всего
(часы)	В том числе	
		Контактная работа 
(работа во взаимодействии с преподавателем)
Виды контактной работы, часы	Самостоятельная работа обучающегося,
 часы 	
		Занятия лекционного типа*	Занятия семинарского типа*	Всего		
Тема 1.  Введение: Определение сферы инфорамционного поиска, задачи информационного поиска, Информационно-поисковы системы различной направленности. Архитектура информационно-поисковых систем	10	4	4	8	4	
Тема 2. Модели информационного поиска. Оценка качества информационного поиска .	24	6	6	12	4	

Тема 3. Методы расширения информационно-поисковых запросов. Вопросно-ответные системы. Диалоговые системы	20	8	8	16	6
	
Тема 4. Учет различных  факторов. Анализ ссылок, логи запросов, анализ кликов, персонализация выдачи, поисковые сессии, словосочетания и близость расположения, тематические вероятностные модели. Комбинирование факторов. Модели Learning to-rank..	20	8	8	16	6	
Тема 5. Автоматическая классификация и кластеризация текстов. Типы классификации. Тематическая классификация и анализ тональности. Методы классификации. Особенности методов классификации. Методы автоматической кластеризации. Автоматическое аннотирование.	24	10	10	20	10
	
Контрольные работы (2 раза)	6				6	
Экзамен					36	
Итого	144	36	36	72	72	

7. Фонд оценочных средств (ФОС) для оценивания результатов обучения по дисциплине
7.1. Типовые контрольные задания или иные материалы для проведения текущего контроля успеваемости.
      Контрольные работы проводятся дважды в течение курса.
Контрольная работа  № 1: состоит из 4 теоретических вопросов и 2 задач на методы оценки качества информационного поиска и модели информационного поиск. 
	Типовые задачи контрольной: 
1. По запросу две системы выдали документы в такой последовательности:
Система 1. RNNNNR, больше релевантных документов найдено не было
Система 2. RNNNNNNNRR -  больше релевантных документов найдено не было.
Какая система ищет лучше по мере средней точности. Показать расчет по соотв. формуле.
2. В системе булевского поиска по заданному запросу эксперт нашел 100 релевантных документов. Система нашла 200 релевантных документов, из них 50 документов найдено правильно. Какова полнота, точность и F мера качества поиска по данному запросу
3. Запрос к поисковой системе состоит из двух слов: a b. На этот запрос выданы следующие документы:
1. a b c d
2. a a a 
3. b b c 
4. a b b c

При выдаче на запрос пользователь отметил релевантными документ 1 и документ 4.  
Записать вектора представления запроса и документов: только частоты слов, без нормализации, без idf. Как изменится вектор запроса при применении подхода relevance feedback, если учет исходного запроса идет с коэффициентом 0.7, а релевантных документов с коэффициентом 0.3.
4. Составить матрицу переходов для вычисления PageRank для данного набора страниц (коэффициент телепортации - 0.1)

Контрольная работа  № 2: состоит из 4 теоретических вопрос и  2 задач, связанных с приложениями информационного поиска		
	Типовые задачи контрольной:
1.	Какое предложение, выданное автоматическими системами, будет лучше оценено по мерам Rouge1 и Rouge2.
2.	Дано расположение точек на координатной плоскости. Показать, как будет работать алгоритм кластеризации k-means.
3.	Даны вектора документов. Какие документы первые соединятся в кластер при методе аггломеративной кластеризации. Представление документов - вектор частот, мера близости - косинусная. 
7.2. Типовые контрольные задания или иные материалы для проведения промежуточной аттестации.
 	Промежуточная аттестация проводится в виде экзамена. Экзамен по дисциплине "Методы и средства информационного поиска " проводится в смешанной форме. Сначала выдаются 6 заданий (3 теоретических вопроса и 3 задачи) для письменного ответа, по результатам проверки студенту могут быть заданы дополнительные вопросы.
	Типовые задания письменного экзамена:
1.	Имеется два класса документов. В каждом классе содержатся документы, представленные своими векторами: 
Класс 1
D1: (2, 2, 1, 1)
D2: (4, 2, 1,3)

Класс 2
D3: (1, 1, 2, 2)
D4: (3, 1, 2, 4)

К какому классу будет относиться  документ: D5 (2, 1, 2, 2) по методу Roccio

     2. Определите сходство запроса с документами по языковой модели информационного поиска. Текстовая коллекция состоит из двух документов. Лямбда равна 0.5.
Запрос: королева красоты

Документы:
1. В Италии победительницу конкурса красоты облили серной кислотой
2. Бывший парень облил итальянскую модель кислотой

3. Задача: определить класс документа D4 методом Байеса
•	Даны документы и их классы С1 и С2
•	D1=(X1,X2, X3) 			C1
•	D2=(X1, X2, X4, X7)		C2	
•	D3=(X4, X5, X6)			C2	
•	Определить класс документа:
•	D4 (X2, X4, X6, X7)

ШКАЛА И КРИТЕРИИ ОЦЕНИВАНИЯ результатов обучения (РО) по дисциплине (модулю)  	
Оценка
РО и
соответствующие виды оценочных средств 	2	3	4	5	
Знания
Проверочные работы, экзамен	Отсутствие знаний	Фрагментарные знания	Общие, но не структурированные знания	Сформированные систематические знания	
Умения
Контрольные работы, экзамен	Отсутствие умений	В целом успешное, но не систематическое умение	В целом успешное, но содержащее отдельные пробелы умение (допускает неточности непринципиального характера)	Успешное и систематическое умение	
Навыки 
(владения, опыт деятельности)
Экзамен	Отсутствие навыков (владений, опыта)	Наличие отдельных навыков (наличие фрагментарного опыта)	В целом, сформированные навыки (владения), но используемые не в активной форме	Сформированные навыки (владения), применяемые при решении задач	

8. Ресурсное обеспечение:
	Литература и Web-источники
Основная литература
1.	Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текстов на естественном языке и анализ данных. место издания Изд-во НИУ ВШЭ Москва, ISBN 978-5-9909752-1-7, 269 с.
2.	Лукашевич Н.В. Тезаурусы в задачах информационного поиска. – М.: Изд-во Московского университета, 2011.
3.	Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
4.	Турнбулл Д., Берримен Дж. Релевантный поиск с использованием Elasticsearch и Solr, DMK-press, 2018.
5.	Baeza-Yates, R. and Ribeiro-Neto, B. Modern Information Retrieval, Adison Wesley, 1999.
6.	Manning, Ch. D., H. Schütze. Foundations of Statistical Natural Language Processing. MIT Press, 1999.

Дополнительная литература
1.	Добров Б.В., Иванов В.В., Лукашевич Н.В., Соловьев В.Д. Онтологии и тезаурусы: модели, инструменты, приложения. Изд-во ИНТУИТ, 2009.
2.	Белоногов Г.Г. Компьютерная лингвистика и перспективные информационные технологии. – М.: Русский мир, 2004.
3.	Зубов А.В., Зубова И.И. Основы искусственного интеллекта для лингвистов. – М., Логос, 2007.
4.	Ландэ Д. В., Снарский А. А., Безсуднов И. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы. — M.: Либроком (Editorial URSS), 2009.
5.	Методы обработки данных в корпоративных информационных системах: учеб. пособие / Э.С. Клышинский и др. – М.: МГУП, 2010.
6.	Jurafsky D., Martin J. Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition, Prentice Hall, 2000.
	Программное обеспечение и Интернет-ресурсы
Ресурсы информационно-телекоммуникационной сети Интернет
1)	http://scikit-learn.org/stable/index.html
2)	https://tech.yandex.ru/mystem/
3)	https://nlp.stanford.edu/IR-book/
Информационные технологии, используемые в процессе обучения
В процессе обучения используются инструменты морфологического анализа текстов на русском языке (PyMorphy, MyStem), программный пакет машинного обучения  Scikit learn.
Оперативная информация (методические указания, результаты контрольных и др.) рассылается студентам по электронной почте
	Материально-техническое обеспечение дисциплины
Наличие литературы в библиотеке, общедоступные образовательные интернет-ресурсов по тематике дисциплины, маркерная или меловая доска.
9. Язык преподавания - русский.
10. Преподаватели.
Доцент, д.т.н. Н.В.Лукашевич 
11. Авторы программы.
Доцент, д.т.н. Н.В.Лукашевич