Разработка нейросетевых алгоритмов обработки и сжатия видеопоследовательностейНИР

Video processing and compression methods based on neural networks

Соисполнители НИР

МГУ имени М.В.Ломоносова Координатор

Источник финансирования НИР

грант РФФИ

Этапы НИР

# Сроки Название
1 1 января 2019 г.-31 декабря 2019 г. Разработка нейросетевых алгоритмов обработки и сжатия видеопоследовательностей
Результаты этапа: В рамках первого этапа были получены следующие результаты: 1. Разработан нейросетевой метод распространения цвета в видео, учитывающий несколько подряд идущих кадров в видео как в архитектуре сети, так и на этапе ее обучения. 2. Проведено исследование наиболее популярных на данный момент в задаче сравнения видеокодеков алгоритмов измерения качества видео VMAF и NIQE, выявлены их недостатки, предложены способы улучшения этих методов. 3. Разработан нейросетевой алгоритм поиска областей открытия/закрытия в видео на основе одного из лучших методов построения оптического потока. 4. Проведено субъективное исследование 9 наилучших существующих алгоритмов заполнения областей изображения, и на основании результатов предложен алгоритм объективной оценки качества заполнения областей изображения. 5. Построено и исследовано несколько вариантов архитектур нейросетей с использованием различных кодировщиков (VGG-16, ResNet-V2-50, MobileNet-V2, DenseNet-169) и вариантов соединения с LSTM-модулями (простое соединение, соединение с переносом внутреннего состояния LSTM-модулей в соответствии с картой оптического потока, использование случайной инициализации начального состояния, замена части соединений на прямые соединения без LSTM-модулей) для задачи выделения людей на видеопоследовательности. 6. Разработан метод адаптивного сжатия видеопоследовательностей на основе видеокодека x264 и построения карты визуального внимания с помощью предложенной нейросетевой модели. 7. Разработан алгоритм для повышения точности предсказаний карт визуального внимания за счет использования дополнительных данных - трекинга курсора компьютерной мыши. 8. Разработан нейросетевой метод интерполяции кадров в видео с помощью компенсированных ядер свёртки. 9. Разработан метод прогнозирования Парето-оптимальных конфигураций видеокодека по физическим признакам видео с помощью машинного обучения. 10. Успешно защищена кандидатской диссертация по теме “Исследование и разработка алгоритмов восстановления фона в задаче преобразования видео в стереоскопический формат“.
2 1 января 2020 г.-31 декабря 2020 г. Разработка нейросетевых алгоритмов обработки и сжатия видеопоследовательностей
Результаты этапа:
3 1 января 2021 г.-31 декабря 2021 г. Разработка нейросетевых алгоритмов обработки и сжатия видеопоследовательностей
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".