ИСТИНА |
Войти в систему Регистрация |
|
ФНКЦ РР |
||
Компьютерная графика и компьютерное зрение в настоящее время имеют широкое практическое применение, оставаясь при этом одними из наиболее активно развивающихся областей компьютерных наук. Благодаря развитию математических методов распознавания образов, в первую очередь глубинного обучения, открылись огромные возможности по автоматизации многих задач обработки и синтеза визуальной информации. Фундаментальные исследования в данной области позволяют сформировать задел для разработки инновационных программных технологий для внедрения в промышленности, использования в робототехнике, системах безопасности, кино и телеиндустрии. Активное вовлечение в исследования студентов и аспирантов позволяет подготовить квалифицированных специалистов в этой важной области информационных технологий, запрос на которых постоянно увеличивается.
Computer graphics and computer vision currently have wide practical applications, while remaining one of the most actively researched areas of computer science. Thanks to the development of mathematical methods for pattern recognition, primarily deep learning, huge opportunities have opened up for the automation of many tasks of processing and synthesis of visual information. Basic research in this area allows us to form the basis for the development of innovative software technologies for implementation in industry, robotics, security systems, cinema and the television industry. The active involvement of undergraduate and graduate students in research allows the training of qualified specialists in this important area of information technology, the demand for which is constantly increasing.
1) Усовершенствованные методы фотореалистичного синтеза изображений и расчёта освещения с использованием современных графических ускорителей 2) Новые алгоритмы анализа данных видеонаблюдения 3) Новые алгоритмы для анализа медицинских изображений 4) Новые алгоритмы для анализа, обработки и сжатия видео
В лаборатории компьютерной графики и мультимедиа сформирован широкий задел в области алгоритмов компьютерной графики, компьютерного зрения и обработки видео. Разработаны алгоритмы для вычитания фона, отслеживания объектов в видео, идентификации, трёхмерной реконструкции, усовершенствованы методы фотореалистичной визуализации, предложены методы для обработки и анализа трёхмерного видео, анализа и оптимизации видеокодеков.
МГУ имени М.В.Ломоносова | Координатор |
госбюджет, раздел 0110 (для тем по госзаданию) |
# | Сроки | Название |
1 | 1 января 2018 г.-31 декабря 2018 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: 1) Разработан нейросетевой алгоритм выделения областей разницы между изображениями. Алгоритм основан на модификации нейеросетевого алгоритма выделения объектов на отдельных изображениях, для случая двух изображений, исходного фона и нового изображения с внедрённым объектом. 2) Разработана технология интеграции систем расчёта освещения и визуализации с редакторами трёхмерных сцен. Данная технология ориентирована на поддержку таких функуциональных требований как быстрое обновление сцены, многопоточность, работа с контентом, не помещающимся в оперативную память, импорт и экспорт произвольных параметров, сериализация, удобная отладка и сетевой рендеринг. Дополнительно разработана технология экспорта внутренних процедурных текстур 3D редакторов, позволяющая поддержать существующие процедурные текстуры редактора в системе расчёта освещения на GPU без необходимости их реимплементации. Данная технология также позволяет осуществлять параллельный сетевой рендеринг при наличии в сцене внутренних процедурных текстур 3D редакторов без необходимости установки редактора на все вычислительные узлы (что невозможно сделать в существующих подходах). 3) Разработан алгоритм автоматической диагностики кардиологических заболеваний по структуре миокарда на изображениях МСКТ, превосходящий аналоги по точности. Алгоритм запатентован. 4) С использованием компьютерных классов факультета ВМК МГУ был проанализирован видеокодек x264 — один из самых популярных видеокодеков с открытым исходным кодом. Для данного кодека была получена база из 4352 наборов опций на 62 видеопоследовательностях. На репезентативной выборке из 83 видео была проведена серия экспериментов с помощью которых были выбраны новые наборы опций кодирования, которые работают эффективнее наборов опций по умолчанию. Данные наборы позволют, либо увеличить степень сжатия на 15.38% при том же качестве и скорости кодирования, либо увеличить скорость кодирования на 43.15% при том же качестве кодирования и степени сжатия. | ||
2 | 1 января 2019 г.-31 декабря 2019 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: 1) Разработан новый алгоритм для подсчёта числа людей на основе выделения и сопровождения людей, работающий с отдельными кадрами. Алгоритм адаптирован для работы в распределённых системах с узким каналом связи. 2) Разработан ряд алгоритмов для повышения качества и достоверности идентификации человека по лицу в системах видеонаблюдения. 3) Разработан метод быстрого глобального освещения на основе алгоритма излучательности для больших сцен. Показано преимущество в скорости на 2 порядка по сравнению с аналогичным алгоритмом, не использующем предложенный метод. 4) Разработан новый алгоритм сегментации капилляров по видеофрагментам с микроскопа. Алгоритм позволяет строить бинарную маску капиллярной сети по видеофрагментам очень низкого качества, в частности, за счет использования новой комбинации методов для получения качественного изображения по последовательности кадров. 5) Предложен алгоритм выбора опций видеокодека, превосходящих опции кодирования по умолчанию по скорости и качеству кодирования, с использованием информации об исходной видеопоследовательности. | ||
3 | 1 января 2020 г.-31 декабря 2020 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: 1) Усовершенствован алгоритм для сопровождения людей в системах видеонаблюдения, который позволяет повысить точность сопровождения при малой частоте кадров, что позволяет обрабатывать большее число видеопотоков на одном сервере. 2) Разработан новый алгоритм для калибровки камеры видеонаблюдения по фигурам людей в кадре. Алгоритм позволяет отобразить положение наблюдаемых в кадре людей на карту местности и проводить сопровождение в плоскости земли, а не плоскости кадра, что позволяет повысить точность сопровождения и определять положение людей на планах зданий и местности. 3) Разработан новый алгоритм для обучения легковесных сетей идентификации человека по лицу, на основе совместного обучения сетей ученика и учителя. Алгоритм позволяет существенно повысить точность идентификации для легковесных сетей. 4) Исследованы преимущества и недостатки использования технологии аппаратного ускорения трассировки лучей на основе Nvidia RTX. Создана программная система генерации наборов изображений при помощи фотореалистичного рендеринга на GPU с применением технологии Nvidia RTX для обучения алгоритмов компьютерного зрения. 5) Разработан метод ограниченного расширения GPU рендер-системы пользовательским кодом (математическими моделями) для реализации процедурных текстур в целях повышения вариативности 3D контента. 6) Разработан алгоритм сегментации изображений магнитно-резонансной томографии сердца, который позволяет использовать только одно или несколько размеченных изображений из последовательности изображений сердечного цикла за счет использования нового метода генерации псевдоразметки для остальных изображений цикла. Данный подход позволяет уменьшить количество требуемых размеченных изображений в 10-15 раз. 7) Разработан алгоритм автоматической классификации данных о вариабельности сердечного ритма, который устойчив к уменьшению разрешения временного ряда, что позволяет его использовать на данных невысокого качества, полученных с помощью портативных устройств. 8) Разработан нейросетевой метод распространения цвета в видео, учитывающий несколько подряд идущих кадров в видео как в архитектуре сети, так и на этапе ее обучения. Распространение цвета в видео в предложенном методе происходит в два этапа: распространение цвета на соседние кадры с помощью оптического потока и распространение цвета внутри кадра с исправлением ошибок компенсации с использованием нейросетевого алгоритма. Данный метод превосходит существующие аналоги по качеству распространения цвета не только на ближайшие кадры, но и на большое количество кадров вперед от исходного цветного кадра. 9) Разработан нейросетевой метод интерполяции кадров в видео с помощью компенсированных ядер свёртки. В данной работе интерполяция применяется для конвертации стереовидео в многоракурсное. Алгоритм принимает на вход исходный левый и правый ракурс, и генерирует между ними заданное число виртуальных ракурсов. Предложенный метод показал превосходство по метрикам качества PSNR и SSIM по сравнению с существующими аналогами на наборе данных Stanford Light-Field. | ||
4 | 1 января 2021 г.-31 декабря 2021 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: 1)Разработана методика и программный инструмент для оценки точности и устойчивости нейросетевых алгоритмов сегментации медицинских изображений. 2)Разработан гибридный алгоритм на основе бустинга и нейросетей для анализа временных рядов, устойчивый к понижению частоты дискретизации. 3)Разработан алгоритм сегментации мышечной и жировой ткани на изображениях КТ и протестирован на малой выборке. 4) Разработана программная реализация основного подмножества технологии RTX, обеспечивающая работоспособность системы расчёта освещения на устройствах без аппаратной поддержки RTX. Разработанная технология обеспечивает автоматическую трансляцию С++ кода в Vulkan с возможностями использования аппаратно-ускоренной трассировки лучей. 5) Усовершенствован алгоритм сопровождения человека в видео, на основе которого разработана практически применимая система подсчёта числа людей в области интереса. Алгоритм основан на быстрых нейросетевых моделях и позволяет решать задачу в режиме реального времени, работая с отдельными ключевыми кадрами, а не всем видеопотоком. 6) Разработан новый алгоритм для оценки паталогий, свойственных при заболевании covid19, на данных компьютерной томографии. В алгоритме учтён опыт и пожелания радиологов для того, чтобы оценка качества работы алгоритма согласовывалась с восприятием врачей. 7) Доработана методология субъективного и объективного сравнительного анализа систем кодирования видео. 8) Проведён анализ недостатков метрики качества видео VMAF, разработана методика поиска уязвимостей в улучшенной версии VMAF NEG. 9) Разработаны псевдоэталонные метрики оценки качества видео. Проведено исследование качества 1000 стереоскопических видео в формате VR180. | ||
5 | 1 января 2022 г.-31 декабря 2022 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: Разработан усовершенствованный транслятор/генератор кода на основе source-to-source преобразований, осуществляющий автоматический перенос алгоритмов из С++ в Vulkan на GPU. a) Разработан транслятор С++ в GLSL для поддержки специфической аппаратной функциональности GPU. b) Разработан кросс-платформенный аналог Nvidia Optix, обеспечив аппаратное ускорение трассировки лучей за счёт технологии Vulkan RTX. c) Разработана первоначальная версия рендер-системы на основе транслятора C++ в GLSL (https://github.com/Ray-Tracing-Systems/HydraCore3). По результатам подана статья на английском языке в "Proceedings of Ivannikov ISPRAS Open Conference" (https://www.isprasopen.ru/), сделан доклад и принята к публикации в сборник статья на конференции ГрафиКон-2022. Разработан гибридный алгоритм на основе бустинга и нейросетей, применимый к данным с носимых устройств с различной частотой дискретизации и позволяющий выявлять отклонения в сердечной деятельности на ранней стадии развития. По результатам работы опубликована статья на конференции 2022 the 5th International Conference on Pattern Recognition and Artificial Intelligence (PRAI). Разработан нейросетевой алгоритм обнаружения неисправности аппаратов МРТ по изображениям, превосходящий аналоги по точности. По результатам работы опубликована статья на конференции 2022 IEEE 35th International Symposium on Computer-Based Medical Systems (CBMS). Разработан алгоритм оценки перфузии легких по йодным картам, полученных методом субтракции при выполнении КТ-ангиопульмонографии. Результаты опубликованы в Сборнике тезисов Конгресса Российского Общества Рентгенологов и радиологов. В рамках данного исследования проведена разработка универсального метода поиска областей неустойчивости метрик качества видео с использованием предобработки видео, а также метода объективного измерения эффективности алгоритмов предобработки видео для задачи распознавания объектов. Для измерения качества видео созданы метрики для различных типов искажений, которые позволяют выявить нейросетевые архитектуры, наиболее подходящие для конкретных подзадач обработки видео. a) Разработан новый универсальный метод поиска областей неустойчивости метрик качества видео. b) Разработан новый метод объективного измерения эффективности алгоритмов предобработки видео для задачи распознавания объектов. с) Разработаны новые метрики для различных типов искажений видео. | ||
6 | 1 января 2023 г.-31 декабря 2023 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: 1) Разработан метод обработки видео, повышающий оценку метрики качества VMAF на основе её дистилляции. Результаты опубликованы в издании "Препринты ИПМ им. М.В. Келдыша". 2) Разработан усовершенствованный алгоритм сегментации тканей на изображениях КТ. Результаты работы докладывались на Конгрессе Российского общества рентгенологов и радиологов и были опубликованы в Сборнике тезисов. 3) Разработаны кросс-платформенные алгоритмы трассировки лучей для CPU, мобильных и десктопных GPU. Полученное решение обладает сравнимой с мировыми лидерами в этой области (Embree, Hippie) производительностью, как по построению так и по обходу BVH дерева. Результаты опубликованы в издании "Препринты ИПМ им. М.В. Келдыша". | ||
7 | 1 января 2024 г.-31 декабря 2024 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: | ||
8 | 1 января 2025 г.-31 декабря 2025 г. | Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео |
Результаты этапа: |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".
№ | Имя | Описание | Имя файла | Размер | Добавлен |
---|