ИСТИНА

Проект направлен на комплексное психофизиологическое исследование специфики внутренней речи в сопоставлении с другими когнитивными процессами с помощью новых методов системной фМРТ визуализации и локализации источников электрической активности. Особое внимание в проекте предполагается уделить разработке новых неинвазивных методов (способов) декодирования внутренней речи по электроэнцефалограмме, а также разработке и апробации нового способа расчета электрической активности любого заданного внутримозгового источника по электроэнцефалограмме - «виртуально вживленный электрод». В ходе выполнения проекта предполагается экспериментально выявить, как происходит и какими мозговыми процессами обеспечивается внутреннее проговаривание (проговаривание «про себя») на разных уровнях (фонемы, слоги, предложения, рассказ по картинке) в отличие от не речевых процессов мысленного представления и изменений эмоциональной окраски речи. В результате предполагается получить новые комплексные ЭЭГ и фМРТ экспериментальные данные. Предполагается, что обработка получаемых фМРТ данных будет осуществляться не только стандартными средствами (пакет SPM), но и новым, авторским методом системной нейровизуализации когнитивного функционирования (патент РФ №2652898, «Способ исследования мозговой активности по данным фМРТ», дата регистрации: 03.05.2018, автор: Вартанов А.В., который обеспечен программными средствами - Свидетельство №2017610076 от 09.01.2017 «Программа для ЭВМ “Fact_fMRI” для комплексного факторного анализа нескольких массивов индивидуальных данных функциональной МРТ», автор: Вартанов А.В. – работы осуществлялись при поддержке РНФ проект № 16-18-00066 «Системная нейровизуализация когнитивного функционирования»). Это позволит оценить количество и состав мозговых систем, участвующих непосредственно в процессе внутреннего проговаривания, а также в сопутствующих когнитивных процессах. Одной из важнейших задач проекта является разработка методов (способов) декодирования внутренней речи по электроэнцефалограмме. С этой целью будет предпринята (1) разработка и верификация нового метода (способа) и соответствующих программных средств расчета по данным многоканальной ЭЭГ электрической активности любого заранее заданного своими геометрическими координатами внутримозгового источника. Метод эмулирует регистрацию активности от виртуально вживленного электрода, что можно рассматривать как неинвазивный аналог регистрации потенциала локального поля (Local Field Potential, LFP). Предлагаемый метод принципиально отличается от известных в настоящее время способов внутримозговой локализации ЭЭГ на основе дипольной модели. Применение данного метода к получаемым экспериментальным данным позволит, с одной стороны, верифицировать его посредством сопоставления с результатами локализации мозговой активности по фМРТ данным, а, с другой стороны, получить очищенные данные, эмулирующие результаты регистрации с матрицы вживленных электродов, которые далее можно использовать для классификации проговариваемых про себя речевых единиц. Проект предполагает также (2) разработку автоматического классификатора исследуемых единиц внутренней речи. Для этой цели предполагается использовать различные методы анализа данных, в том числе будет применяться машинное обучение и искусственные нейронные сети (далее ИНС). Обучение ИНС будет осуществляться как по исходным сигналам ЭЭГ, так и на основании эмуляции методом виртуально вживленного электрода.

The project is aimed at a comprehensive psychophysiological study of the specifics of internal speech in comparison with other cognitive processes using new methods of systemic fMRI visualization and localization of sources of electrical activity. Particular attention in the project is supposed to be given to the development of new non-invasive methods of decoding internal speech using an electroencephalogram, as well as the development and testing of a new method for calculating the electrical activity of any given intracerebral source from an electroencephalogram - a “virtually implanted electrode”. In course of the project, it is supposed to experimentally identify how it happens and what brain processes provide internal pronunciation (speaking "to oneself") at different levels (phonemes, syllables, sentences, story in the picture) in contrast to non-speech processes of mental presentation and changes in emotional coloring speech. As a result, it is expected to obtain new complex EEG and fMRI experimental data. It is assumed that the processing of the obtained data will be carried out by standard means (SPM package) and also by a new original method of systemic neuroimaging of cognitive functioning (RF patent No. 2652898, “Method for the study of brain activity according to fMRI data”, registration date: 05/03/2018), author: Vartanov A.V., which is provided with software – RF Certificate No. 2017610076 dated 01/09/2017 "Computer program" Fact_fMRI "for complex factor analysis of several arrays of individual MRI functional data", author: Vartanov A.V. - the work was carried out with the support of the Russian Science Foundation project No. 16-18-00066 "Systemic neuroimaging of cognitive functioning"). This will allow us to estimate the number and composition of the brain systems involved directly in the process of internal pronunciation, as well as in the accompanying cognitive processes. One of the aims of the project is to develop methods of decoding internal speech using an electroencephalogram. According to this aim it is planned to carry out (1) the development and verification of a new method and corresponding software for calculating the electrical activity of any intracerebral source predetermined by its geometric coordinates (according to the data of a multi-channel EEG). The method emulates the registration of activity from a “virtually implanted electrode”, which can be considered as a non-invasive analogue of the registration of the local field potential (LFP). The proposed method is fundamentally different from currently known methods of EEG intracerebral localization based on the dipole model. Firstly, application of this method to the obtained experimental data will allow to verify it by comparing with the results of brain activity localization using fMRI data. Secondly, we will obtain purified data emulating the matrix of implanted electrodes, which can then be used to classify spoken to oneself speech units. The project also involves (2) the development of an automatic classifier of the studied internal speech units. For this purpose, various procedures are expected to be used, including machine learning of the neural network, both from the original EEG signals and from emulation using the “virtually implanted electrode” method.

Научная новизна проекта определяется не только масштабом и комплексностью поставленных задач, но и разработкой и применением, наряду с общепринятыми, еще и новых методов анализа получаемых фМРТ и ЭЭГ данных. В ходе реализации проекта предполагается не только получить новые психофизиологические данные о мозговых механизмах внутренней речи и сопутствующих процессах, но также обобщить получаемые данные в виде факторной модели с помощью нового способа системной визуализации. Несомненно, новым является также разработка способа расчета по данным многоканальной ЭЭГ электрической активности любого заранее заданного своими геометрическими координатами внутримозгового источника «виртуально вживленный электрод». Принципиальная возможность предлагаемого решения обоснована ранее проведенными разработками, которые являются научным заделом. Также проект предполагает разработку новых способов и средств автоматической классификации единиц внутренней речи по ЭЭГ. Достижимость запланированных результатов зависит в основном от организационно-технических и финансовых условий реализации проекта, тогда как высокая вероятность решения поставленных научных задач обеспечивается предлагаемыми методами, наличием необходимой технической базы и имеющимся опытом коллектива, а также научным заделом.

Коллектив имеет большой научный задел по теме проекта и опыт разработки методов и алгоритмов анализа ЭЭГ и МРТ данных, разработки соответствующих программных средств. Коллектив имеет большой опыт психофизиологических исследований семантики и речи, эмоций и других когнитивных процессов; разработана четырехмерная сферическая модель (субъективное пространство) восприятия эмоций, выражаемых в интонациях человеческой речи, семантики, мимики лица. Коллектив имеет большой опыт применения нейронных сетей и разработки алгоритмов, необходимых для построения автоматических классификаторов, в том числе для декодирования внутренней речи по ЭЭГ.