|
ИСТИНА |
Войти в систему Регистрация |
ФНКЦ РР |
||
Распознавание жестов дактильной азбуки на основе карт глубиныдипломная работа (Магистр)
- Научные руководители: Журавлёв Ю.И., Местецкий Л.М.
- Автор: Трубицын Юрий Алексеевич
- Тип: Магистр
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Год защиты: 2019
- Аннотация: Устройства, позволяющие получать видео в формате карт глубины, в настоящее время получают всё большее распространение. В работе представлены разработка и исследование метода распознавания языка жестов на основе видеопоследовательностей карт глубины, полученных с помощью современной камеры Intel SR-300, работающей на малой дальности 0.5-1.0 м. Карты глубины позволяют с высоким качеством решить задачу сегментации ладоней и лица субъекта. Поэтому использование камер глубины для распознавания языка жестов представляется весьма перспективным. Тема работы, посвященной исследованию методов анализа и распознавания жестов с помощью такой камеры, является актуальной. Предложен подход к распознаванию жеста путём построения скелетной модели ладони в виде пространственного геометрического графа и сравнения этого графа с эталонными описаниями жестов дактильной азбуки, содержащимися в базе жестов. Для реализации этого подхода автором исследования были сформулированы и решены следующие задачи. 1. Идентификация модели ладони в виде геометрического графа заданной структуры с 22 вершинами и 20 ребрами. 2. Нормализация ладони путем приведения геометрического графа в стандартный формат и положение по размерам, ориентации и длине рёбер. 3. Построение меры сходства нормализованных графов ладоней и на основе этой меры определение статических фаз (начала и конца) жестов и нахождение наиболее похожего эталона в базе жестов (классификация жеста). Кроме этого, для решения задач в условиях реальных помех, присутствующих в видеопоследовательности, была выполнена фильтрации шумов путем сглаживания с использованием фильтра Калмана. Разработанные методы и алгоритмы были реализованы автором в виде системы распознавания жестов дактильной азбуки, работающей в реальном времени. Для обучения алгоритмов и оценки качества распознавания автором была собрана с помощью камеры глубины достаточно представительная база жестов в формате видеопоследовательностей. В подготовке этой базы приняли участие несколько человек, демонстрирующих жесты дактильной азбуки. Были проведены вычислительные эксперименты и получены оценки качества и эффективности разработанных алгоритмов. Вычислительные эксперименты подтвердили правильность предложенного похода и работоспособность, а также высокую вычислительную эффективность разработанных алгоритмов.
- Добавил в систему: Местецкий Леонид Моисеевич