Лекции

#	Тема	Дата
M1	Классификация и кластеризация
L01	Задача классификации и искусственная нейронная сеть	09 фев
L02	Стандартизация исходных данных. Гистограмма. Наивный байесовский классификатор (NBC)	16 фев
L03	Понижение размерности. Метод главных компонент (PCA)	20 фев
L04	Кластеризация методом k-средних и сети радиально-базисных функций (RBF)	23 фев
M2	Метод опорных векторов (SVM)
L05	Линейная разделимость, опорные векторы, повышение размерности	02 мар
L06	Метод опорных векторов (SVM): ядра и штрафы	09 мар
L07	Сведение обучения SVM к решению задачи квадратичного программирования	16 мар
M3	Метод обратного распространения ошибки
L08	Обучение с учителем. Дельта-правило обучения	23 мар
L09	Обучение многослойного персептрона методом обратного распространения ошибки	30 мар
L10	Свёрточные нейронные сети (CNN). Операция свёртки	06 апр
L11	Архитектура свёрточных нейронных сетей (CNN)	13 апр
L12	Обучение свёрточных нейронных сетей (CNN)	20 апр
L13	Обучение свёрточных нейронных сетей (CNN) методом обратного распространения ошибки	27 апр
M4	Эволюционные и генетические алгоритмы
L14	Генетическое кодирование и генетические операторы	05 мая
L15	Репродуктивный план Холланда	11 мая
L16	Гаплоидные и диплоидные популяции	18 мая
L17	Эволюционные алгоритмы: оптимизация методом роя частиц (PSO)	25 мая

Практика

#	Тема	Сдать
_М1T01	Многослойный персептрон	14 фев
_М1T02	Наивный байесовский классификатор	21 фев
_М1T03	Метод главных компонент	26 фев
_М1T04	Метод k-средних и RBF-сети	28 фев
_М2T05	Линейная разделимость, опорные векторы, повышение размерности	07 мар
_М2T06	Метод опорных векторов: ядра и штрафы	14 мар
_М2T07	Обучение SVM последовательным методом активных ограничений (IncAS)	21 мар
_М3T08	Обучение с учителем. Дельта-правило обучения	28 мар
_М3T09	Метод обратного распространения ошибки	04 апр
_М3T10	Свёртка. Фильтрация изображений	11 апр
_М3T11	Архитектура свёрточных нейронных сетей	18 апр
_М3T12	Метод обратного распространения ошибки	20 апр
_М3T13	Обучение свёрточных нейронных сетей (CNN) методом обратного распространения ошибки	02 мая
_М4T14	Генетическое кодирование, генетические операции	09 мая
_М4T15	Репродуктивный план Холланда	16 мая
_М4T16	Гаплоидные и диплоидные алгоритмы	23 мая
_М4T17	Оптимизация методом роя частиц	30 мая

Литература

Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. — СПб.: Питер, 2020. — 480 c.
Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. — М.: "ДМК Пресс", 2017. — 652 С.
Будума Н., Локашо Н. Основы глубокого обучения. Создание алгоритмов для искусственного интеллекта следующего поколения — М.: «Манн, Иванов и Фербер», 2019. — 304 с.
Хайкин С. Нейронные сети. Полный курс. 2-е изд. — М.: Вильямс, 2006. — 1104 С.
Котельников И.А., Чеботаев П.З. LaTeX по-русски. 3-е изд. — Новосибирск: Сибирский хронограф, 2004. — 496 с.
Львовский С.М. Набор и вёрстка в системе L^AT_EX. 3-е изд. — 2003 — 488 c.
Overleaf Online LaTeX Editor — © 2023 Overleaf
Wolfram Language & System. Documentation Center — © 2023 Wolfram
Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. — М.: Наука, 1973. — 832 С.
LeCun Y., Cortes C., Burges C.J.C. The MNIST database of handwritten digits. —
Эсбенсен К. Анализ многомерных данных. — Черноголовка: Изд-во ИПХФ РАН, 2005. — 160 С.
ГОСТ Р 52633.5–2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа. — 2011. — 20 С.
Motmans R. Body dimensions of the Belgian population. — DINBelg-2005. Ergonomie RC, Leuven © 2005-2006.
Померанцев А. Метод главных компонент. — СПб: Российское Хемометрическое Общество, 2008. — 20 с.
Воронцов К.В. Лекции по методу опорных векторов. — 2007. — 18 С.
Микелуччи У. Прикладное глубокое обучение. Подход к пониманию глубоких нейронных сетей на основе метода кейсов. — СПб.: БХВ-Петербург, 2020. — 368 С.
Гонсалес Р., Вудс Р. Цифровая обработка изображений. Издание 3-е. — М.: "Техносфера", 2012. — 1104 С.
Голиков И. Сверточная нейронная сеть. В 2-х частях. — Хабр, 2018:
Ч.1 Структура, топология, функции активации и обучающее множество. — 20 С.
Ч.2 Обучение алгоритмом обратного распространения ошибки. — 10 С.
Вороновский Г.К. и др. Генетические алгоритмы, Искусственные нейронные сети и Проблемы виртуальной реальности. — Харьков: "Основа", 1997. — 107 С.
Sean Luke Essentials of Metaheuristics. — Second Edition (Online Version 2.2). George Mason University, 2015. — 263 P.
Цой Ю.Р. Метаэвристика (перевод книги "Essentials of Metaheuristics") — 2011. — 204 С.
Новиков Ф.А. Дискретная математика: Учебник для вузов. 3-е изд. — СПб.: Питер, 2009. — 384 с.
Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. 2-е изд. — Москва: Изд. МГТУ им.Н.Э.Баумана, 2017. — 446 с.
Клименко К.В. Нейроэволюционные алгоритмы и глубокое обучение беспилотных моделей автомобилей в генерируемых 2D- и 3D-симуляциях дорожного окружении. Дипломная работа — Минск: БГУ, 2022. — 81 с.

Результаты

№	Лекции		М₁				М₂			М₃						М₄				Итог
№	L	M	T₀₁	T₀₂	T₀₃	T₀₄	T₀₅	T₀₆	T₀₇	T₀₈	T₀₉	T₁₀	T₁₁	T₁₂	T₁₃	T₁₄	T₁₅	T₁₆	T₁₇	А	К	1	2	3	4
1.	11	17	14₂	21₂	26₂	28₂	7₃	16₃	19₃	26₄	26₄	9₅	9₅	20₄			23₅			¹³/₁₃	✓	✓	✓	✓	✓
2.	15	8	14₂	22₂	26₂	1₃	8₃	14₃	21₃	28₃	4₄	11₄	18₄	20₄		24₅	24₅			¹⁶/₁₇	✓	✓	✓	✓	✓
3.	5	16	16₄	16₄				16₃	23₃				20₄	20₄						¹²/₁₄	✖		✓	✖
4.	1	11	14₂	21₂	26₂	28₂	7₃	15₃	19₃	26₃	6₄	11₄	17₄	20₄		21₅				¹⁵/₁₆	✓	✓	✓	✓	✓
5.	1	10	14₂	26₂	27₂	2₃	8₃	14₃	18₃	28₃	10₄	11₄	22₄	20₄			24₅			¹⁵/₁₆	✓	✓	✓	✓	✓
6.	2	8	15₂	21₂	26₂	7₃	7₃	14₃	16₃	27₃	4₄	11₄	18₄	20₄		17₅	17₅			¹⁴/₁₃	✓	✓	✓	✓	✓
7.	2	5	14₂	15₃			24₅		22₃	30₅				20₄		30₅				¹¹/₈	✓	✓	✓	✖	✖
8.	4	2	14₂	21₂	26₂	28₂	7₃	16₃	21₃	28₃	4₄	12₄	20₄	20₄	2₅	9₅	16₅			¹²/₁₁	✓	✓	✓	✓	✓
9.	6	14	14₂	21₂	26₂	28₂	7₃	14₃	20₃	28₃	4₄	11₄	27₄	20₄		22₅				¹⁶/₁₇	✓	✓	✓	✓	✓
10.	15	14	14₂	21₂	26₂	28₂	7₃	14₃	21₃	28₃	4₄	12₄	19₄	20₄				23₅		¹²/₁₁	✓	✓	✓	✓	✓
11.	16	9	14₂	21₂	26₂	28₂	7₃	15₃	20₃	28₃	12₄	24₅	24₅	20₄			24₅			¹⁶/₁₄	✓	✓	✓		✓
12.	14	6	14₂	21₂	26₂	28₂	7₃	15₃	17₃	3₄	12₄	14₄	8₅	20₄		21₅				¹⁶/₁₆	✓	✓	✓	✓	✓
13.	4	5	28₅	24₅	14₃	24₄	21₅	15₃	10₅	19₅				20₄		11₅				¹⁴/₁₅	✓	✖	✓	✓	✓
14.	3	10	14₂	22₂	26₂	28₂	7₃	14₃	16₃	27₃	5₄	10₄	18₄	20₄	18₅	18₅				¹⁵/₁₅	✓	✓	✓	✓	✓
15.	1	7	14₂	20₂	28₂	28₂	22₅	14₃	21₃	7₅	7₅	21₅	21₅	20₄			22₅			¹⁴/₁₃	✓	✓			✓
16.	17	7	15₂	25₂	26₂	14₃	8₃	15₃	21₃	28₃	4₄	11₄	18₄	20₄	23₅	23₅	23₅			¹²/₁₃	✓	✓	✓		✓
17.	11	16	14₂	21₂	26₂	28₂	7₃	16₃	19₃	24₄	1₅	22₅		20₄		23₅				¹⁵/₁₃	✓	✓	✓	✓	✓
18.	6	15	14₂	21₂	7₃	28₂	10₃	15₃	19₃	29₃	4₄	11₄	18₄	20₄		24₅				¹⁶/₁₇	✓	✓	✓	✓	✓
19.	13	17	14₂	21₂	26₂	28₂	7₃	20₅	19₃	24₄	24₄	24₄	18₅	20₄	19₅	23₅				¹⁵/₁₂	✓	✓			✓
20.	1	4	14₂	21₂	26₂	28₂	2₄	14₃	7₅	4₄		1₅	1₅	20₄			14₅			¹⁵/₁₄	✓	✓	✓	✓	✓
21.	5	13												20₄						¹¹/₁₃	✖	✖	✓	✓	✖
22.	7	3	14₂	21₂	26₂	5₃	8₃	16₃	19₃	29₃	4₅	23₅		20₄		24₅				¹³/₁₄	✓	✓	✓		✓
23.	15	13	14₂	21₂	26₂	28₂	7₃	16₃	18₅	10₅	18₄	18₄	18₅	20₄		23₅				¹⁴/₁₅	✓	✓	✖	✖	✓
24.	10	8	14₂	21₂	26₂	28₂	7₃	14₃	21₃	28₃	5₄	12₄	18₄	20₄				23₅		¹¹/₁₂	✓	✓	✓	✓	✓
25.	17	9	14₂	21₂	26₂	28₂	7₃	14₃	18₃	28₃	4₄	11₄	18₄	20₄	2₅	9₅	23₅			¹⁷/₁₈	✓	✓	✓	✓	✓
26.	3	16	23₃	17₄	20₄	5₃	25₄				19₄	17₄		20₄		24₅				¹⁷/₁₈		✓	✖	✖	✓
27.	9	17	15₂	21₂	26₂	28₂	7₃	14₃	19₃	28₃	12₄	19₄	23₅	20₄			23₅			¹⁷/₁₆	✓	✓	✓		✓

Контрольные вопросы

1. Классификация и кластеризация

Задачи классификации и кластеризации данных
Архитектура искусственной нейронной сети
Искусственный нейрон и линейная отделимость
Нейронные сети, реализующие логические операторы
Фазовое пространство, приборы и признаки, стандартизация данных
Понижение и повышение размерности фазового пространства
Задача распознавания Свой/Чужой (IFF). Ошибки первого и второго рода
Случайная величина: равномерно распределённая, нормально распределённая. Среднее значение, стандартное (среднеквадратичное) отклонение
Функция плотности вероятности, гистограмма. Правило трёх сигм
Многомерная нормально распределённая случайная величина, центроид, ковариационная матрица, эллипсоид рассеивания
Наивный классификатор Байеса (NBC)
Метод наименьших квадратов, линейная регрессия
Метод главных компонент (PCA)
Сингулярное разложение матрицы (SVD), псевдообратная матрица
Кластеризация методом k-средних
Нейронные сети радиально-базисных функций (RBF)

2. Метод опорных векторов

Общая идея метода опорных векторов (SVM)
Метод опорных векторов в случае линейно разделимых классов
Обобщение метода опорных векторов на случай линейно неразделимых классов
Метод опорных векторов: ядра и повышение размерности
Задача условной оптимизации, множители Лагранжа, двойственная задача оптимизации
Решение задачи квадратичного программирования последовательным методом активных ограничений (IncAS)

3. Метод обратного распространения ошибки

Искусственный нейрон. Однослойный персептрон
Линейная отделимость, функция активации
Обучение с учителем. Дельта-правило обучения
Многослойный персептрон
Обучение с учителем: обучающий набор, функция потерь, эпоха обучения
Обучение методом обратного распространения ошибки
Функция активации и её производная в методе обратного распространения ошибки
Корректировка весов скрытых слоёв при обучении методом обратного распространения ошибки
Архитектура свёрточной нейросети (CNN), операция свёртки
Обучение свёрточной нейросети
Алгоритмы функционирования и обучения слоя свёртки

4. Эволюционные и генетические алгоритмы

Генетические алгоритмы, генетическое кодирование, генетические операторы, код Грея
Репродуктивный план Холланда и его вариации, селекция, элитаризм, элиминация
Диплоидные генетические алгоритмы, разрешение конфликтов признаков в паре гомологичных генов
Эволюционные алгоритмы. Оптимизация роем частиц (PSO)

Лекции

M1

Классификация и кластеризация

M2

Метод опорных векторов (SVM)

M3

Метод обратного распространения ошибки

M4

Эволюционные и генетические алгоритмы

Практика

Литература

Результаты

Контрольные вопросы

1. Классификация и кластеризация

2. Метод опорных векторов

3. Метод обратного распространения ошибки

4. Эволюционные и генетические алгоритмы