ИСТИНА |
Войти в систему Регистрация |
|
ФНКЦ РР |
||
Работа посвящена выбору моделей глубокого обучения. Рассматриваются методы снижения пространства параметров моделей на основе дистилляции. Предлагается обобщение классической дистилляции используя выравнивания вероятностных пространств параметров модели учителя и ученика. Для снижения размерности пространства параметров используется информация об их априорном и апостериорном распределениях. Разобраны частные случае, когда учитель и ученика являются полносвязными и рекурентными нейросетевыми моделями.