|
ИСТИНА |
Войти в систему Регистрация |
ФНКЦ РР |
||
Групповая регуляризация в обучении искусственных нейронных сетейдипломная работа (Специалист)
- Научный руководитель: Половников В.С.
- Автор: Новосад В.О.
- Тип: Специалист
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Год защиты: 2021
- Аннотация: В работе предлогается для общепринятой архитектуры Resnet добавление слоев “dropout” и естественным образом, из принципа нормализации выходных значений новых слоёв, включить в функцию потерь слагаемые, содержащие параметры вероятностей разрыва связей. Благодаря появлению параметров слоёв “dropout” в функции потерь, при обычном обучении методом обратного распространения ошибки происходит автоматическая настройка этих параметров. На базе изображений CIFAR10 студентом были поставлены эксперименты по сравнению динамических слоёв “dropout” с классическими (с фиксированными параметрами разрыва) и без регуляризации. Было продемонстрированно превосходство в точности получаемых моделей и слабая зависимость от начальных значений параметров. Далее студент рассмотрел совмещение динамического параметра с комбинацией групповых разрывов связей CrossMap и DropBlock. Для данного вида регуляризации показано (хоть и незначительное) превосходство над статической версией по точности классификации, но при этом результаты гораздо стабильнее (не зависят от начальных значений параметров).
- Добавил в систему: Половников Владимир Сергеевич