"Мозг и информация: от естественного интеллекта к искусственному"НИР

Brain and Information: from natural to artificial intelligence

Соисполнители НИР

НИИВД Соисполнитель
ИВМ РАН Соисполнитель

Источник финансирования НИР

НТП: Научно-техническая программа, «Научно- технологическое развитие Российской Федерации»

Этапы НИР

# Сроки Название
1 9 октября 2020 г.-31 декабря 2020 г. "Мозг и информация: от естественного интеллекта к искусственному"
Результаты этапа: По результатам решений основных задач выполненной НИР можно сделать следующие краткие выводы и заключения: Задача 1. Проведено извлечение данных из каталогов результатов GWAS-исследований более чем для 100000 человек, в результате которого выявлены 3142 генетических ассоциаций с памятью. На основании автоматического анализа аннотаций статей в базе данных PubMed и дальнейшей обработки этих данных выявлены 255 вариаций, связанных с памятью, а также проведен общий литературный анализ о генетических и эпигенетических факторах, влияющих на характеристики памяти. Полученные данные закладывают основу генетических исследований на последующих этапов проекта. Поставленная задача выполнена полностью. Задача 2. Смоделирована активация мозга мышей на ранних сроках после исследования ими новой среды. Из передней и задней коры, стриатума и гиппокампа выделена РНК и создана библиотека кДНК для анализа экспрессии генов. Обнаружено, что в ранние сроки после активации нейронов в этих отделах мозга индуцируется экспрессия генов рецепторов нейротрофинов TrkC и p75NTR. Установлено, что экспрессия uPAR специфически индуцирует экспрессию функционально активного TrkC. Обнаруженная при исследовании экспрессии эффекторных ранних генов роль uPAR в индукции функционально активного гена рецепторов нейротрофина TrkC открывает новый механизм регуляции выживаемости нейронов под влиянием нервной активности. Найдены регуляторные микроРНК гиппокампа, индуцируемые активацией нейронов. Полученные результаты перекрывают запланированные. Задача 3. Проведен анализ методов, применяющихся для выявления избирательной транскрипции ранних генов в нейронах моллюсков. Описаны сети нейронов пищевого поведения улитки, в которых после обучения избирательно экспрессируется ранний ген c-Fos. Получены данные о роли оксида азота в процессе лабилизации памяти при ее реконсолидации. Получены данные о наличии потенциал-чувствительных натриевых ионных каналов у представителей Пластинчатых, не имеющие нервных клеток. Полученные результаты полностью соответствуют плану работ и перекрывают запланированные результаты, так как неожиданно обнаружены аналоги нервных клеток у донервных животных, что не прогнозировалось, но имеет большое значение для понимания эволюции нервной системы и механизмов нейрональной пластичности. Задача 4. Описан потенциальный кандидат в регуляторы экспрессии гена Prkcz нейрональной активностью при обучении – транскрипционный фактор c-Rel. Выявлена существенная разница по количеству генов, меняющих экспрессию в коре и миндалине при обучении у крыс (7000 генов в коре, 320 генов в миндалине). Путем анализа экспрессии 8 немедленных ранних генов показана согласованность этих изменений при обучении, выраженная сходным временем активации и схожими тенденциями в дистально расположенных зонах мозга. Полученные результаты полностью соответствуют плану работ и закладывают основу для дальнейших экспериментов по описанию нейросетей, лежащих в основе пластических изменений и выяснению транскрипционных мишеней немедленных ранних генов, которые могут отличаться в разных областях мозга. Задача 5. Исследована клеточная экспрессии немедленных ранних генов c-fos и Arc в структурах головного мозга мышей в зависимости от уровня новизны информации при формировании и извлечении памяти. Сравнительное исследование экспрессии этих двух основных немедленных ранних генов выявило их регуляцию новизной когнитивной информации. Установлены зависимости их экспрессии от получения животным новой информации, что позволит использовать их как стандартные гены-маркеры кодирования нейронами новой информации на последующих этапах проекта. Выявлено, что активация этих генов лишь частично перекрывается в нейронах, что требует дальнейшего исследования. Полученные данные перекрывают запланированные. Задача 6. Разработана и апробирована методика подготовки образцов мозга для трехмерного имиджинга активации нейронов мозга. При разработке методики было произведено сравнение трех основных технологий для имиджинга мозга - iDISCO, X-CLARITY, CUBIC и выбран оптимальный гибридный подход, подобраны необходимые антитела и их концентрации. и показаны преимущества разработанного нами гибридного подхода. Был также разработан метод морфологического окрашивания цельных образцов (3D-контрастирования) мозга. Выполненная работа закладывает методическую базу для осуществления последующих этапов проекта. Поставленная задача выполнена полностью. Задача 7. Создана установка для регистрации геномных потенциалов по флуоресцентному отклику маркерных белков в живых свободноподвижных животных в течение длительного времени. Для этого проведена оптимизация системы регистрации, изучена стабильность регистрации и устойчивость к изгибу оптического волокна для разных источников накачки. На основе проведенных измерений выбраны источники и методы измерения для волноводов с большим диаметром сердцевины (50-200 мкм) а также отдельно для волноводов с небольшой сердцевиной (менее 50 мкм).Созданная установка позволяет проводить эффективную регистрацию флуоресцентных сигналов в мозге животных. Полученная на модельных объектах стабильность регистрации на порядок лучше чем в случае применения обычного лазерного источника накачки. Полученные результаты перекрывают запланированные. Задача 8. Проведены расчеты областей регистрации различных оптоволокон. Показано, что рассмотренные оптоволокна могут использоваться как для регистрации сигналов больших групп клеток, так и отдельных нейронов.Проведенные расчеты демонстрируют возможность волоконной регистрации сигналов от отдельных нервных клеток и их больших групп. Поставленная задача выполнена полностью. Задача 9. Разработаны методы изготовления оптоволокон с уменьшенным диаметром. Эти оптоволокна обеспечивают существенно меньшую инвазивность при вживлении, за счет уменьшения площади сечения в 2-25 раз. Подобраны режимы травления для различных типов волокон с диаметрами оболочки от 110 до 25 мкм и диаметрами сердцевины от 105 до 5 микрометров. Отработано приваривание градиентных линз диаметром от 60 до 100 мкм. Такие волноводы позволят обеспечить доступ к требуемому числу клеток от одиночного нейрона до большой популяции при минимальной инвазивности. Разработанная методика изготовления оптоволокон позволяет производить многократные соединения волокна с установкой с высокой повторяемостью и разделять сигналы отдельных оптоволокон с уменьшенным диаметром, что было продемонстрировано в измерениях на модельных объектах. Поставленная задача выполнена полностью. Задача 10. Разработаны составные нейроэндоскопы, содержащие несколько оптоволокон с уменьшенным диаметром. Для получения тонких оптоволокон применяется травление, что позволяет существенно снизить инвазивность метода. Для передачи сигнала зондов к стационарной оптической установке применяется пучок волокон. Это позволяет производить многократные соединения с высокой повторяемостью и разделять сигналы отдельных оптоволокон с уменьшенным диаметром, что было продемонстрировано в измерениях на модельных объектах.Разработанные нейроэндоскопы, состоящие из тонких оптоволокон разной длины, закрепленных в одном зонде, позволяют также производить оптический опрос нескольких областей мозга, расположенных на разных глубинах. Научно-технический уровень разработки соответствует уровню мировых достижений. Поставленная задача выполненаполностью. Задача 11. На базе специальных пучков волокон предложены и реализованы технологии хронической регистрации изображений из глубоких структур мозга животных в хронических экспериментах.Многократные размыкания пучков волокон позволяют производить хронические исследования мозга. Возникающие при этом искажения изображения, связанные с нерегулярной дискретной структурой пучка волокон, были точно охарактеризованы и исследованы путем численного моделирования. Предложенный метод опирается на измерение интенсивности излучения и не чувствителен к изменениям фазы, поэтому может использоваться на свободноподвижных животных, в условиях постоянных изгибов оптоволокна.Ожидаемая воспроизводимость измерений достаточна для наблюдения геномных потенциалов и кальциевых потенциалов нейронов в мозге живых животных. Научно-технический уровень разработки соответствует уровню мировых достижений в данной области. Поставленная задача выполнена полностью. Задача 12. Подобраны длины волн для возбуждения и регистрации кальциевых и геномных потенциалов с максимальной селективностью и минимизацией фотовыгорания. Показано, что поглощение лазерного излучения при оптической регистрации нейронной активности порождает информационную неопределенность. Сравнение поглощенной мощности лазера с собственным бюджетом АТФ возбуждения нейронов показывает, что каждый считываемый фотон в оптических измерениях достигается за счет потери информации, кодируемой нейронным ответом. Проведенные расчеты и экспериментальные измерения позволили выбрать оптимальные длина волн для регистрации флуоресцентных сигналов клеток мозга при использовании в качестве источников накачки мощных светодиодов. Поставленная задача выполненаполностью. Задача 13. Созданы размыкаемые нейроэндоскопы на основе пучков волокон и в модельных экспериментах на флуоресцентных микросферах проверена повторяемость проводимых с их помощью измерений. Изучены флуктуации величины сигнала при смещении объекта и последовательном подсоединении пучков волокон с изменением угла ориентации. Полученные значения флуктуаций и разрешения согласуются с теоретическими предсказаниями и являются допустимыми для регистрации геномных и кальциевых потенциалов флуоресцентных нейронов в мозге живых животных. Проведенное измерение флуктуаций величины сигнала через размыкаемые нейроэндоскопы на основе пучков волокон демонстрируют неточности в измерении не превосходящие разрешение самой системы. Поставленная задача выполнена полностью. Задача 14. Проведен литературный обзор, систематизирующий существующие математические методы визуализации искусственных нейронных сетей̆ и соответствующих алгоритмов машинного обучения. Проведенный̆ обзор позволил осуществить выбор оптимальных подходов, которые будут развиты и использованы при построении платформы для визуализации искусственных нейронных сетей̆ на последующих этапах работ по проекту. Поставленная задача выполнена полностью. Задача 15. Проанализированы решения задач классификации изображений и составлены протоколы решения типовых задач, описывающие элементарные шаги решения. Разработана блок-схема решения этих задач. Проведена классификация и выделены категории признаков в базах данных изображений, отвечающие за выбор искусственной нейронной сети (ИНС). Проведено комплексное исследование существующих подходов и разработок для построения ИНС, составлен корпус методов и алгоритмов, применяемых для решения задач анализа изображений. Полученные результаты полностью соответствуют запланированным и продвигают решение проблемы классификации изображений. Задача 16. Разработана оригинальная система макрорасширений языка Python, правила которой являются подмножеством правил контекстно-свободных грамматик. На основе этой системы создана базовая версия предметно-ориентированного языка для описания и решения задач классификации изображений. Фундамент языка составили: задача – формальное задание целеуказания для экспертной системы, прием – элементарный шаг решения задачи. На основе протоколов решений задач классификации изображений созданы типовые приемы экспертной системы. Разработанная система открывает новые возможности решения задач в области анализа изображений. Научно-технический уровень разработки соответствует уровню актуальных достижений в области классификации изображений. Полученные результаты перекрывают запланированные. Задача 17. Разработана архитектура платформы для автоматического конструирования искусственных нейронных сетей, состоящая из центрального логического ядра и периферийных систем для работы с базами данных и взаимодействия с пользователем. Логическое ядро включает в себя средства обработки предметно-ориентированного языка описания и решения задач классификации изображений, а также систему логического вывода, автоматизирующую решение задач за счет продуманного выбора очередного приема решения текущей задачи. Разработанное логическое ядро и периферийные системы представляют оригинальное развитие платформы для конструирования архитектур искусственных нейронных сетей и обеспечивает модульность решения задач классификации изображений. Полученные результаты перекрывают запланированные. Задача 18. Разработана новая нейросетевая модель памяти на основе предсказания событий высокой неопределенности, которые могут находиться произвольно далеко в будущем. Эксперименты по обучению искусственного агента демонстрируют, что предложенная модель способна выучивать временные зависимости в десятки раз большие, чем число шагов в методе обратного распространения ошибки. Аналоги на основе рекуррентных сетей и трансформеров, обучаемые стандартным способом не способны эффективно решить данные задачи. Разработанная модель памяти позволит обучать агентов находить и сохранять в памяти зависимости между далеко разнесенными во времени событиями без необходимости использовать градиенты для промежуточных шагов. Уровень разработки соответствует уровню мировых достижений в данной области. Поставленная задача выполнена полностью. Задача 19. Разработан искусственный нейрон с оптической синаптической связью на основе пленки нанокристаллинов. Фотоэлектрическая структура обладает нейроморфными свойствами: спайковый отклик, кратковременная память и долговременная память. Продемонстрирован переход от кратковременнной к долговременной памяти при различной частоте пресинаптического воздействия. Нейрон обладает нелинейной зависимостью постсинаптического отклика с эффектом насыщения. Полученные результаты демонстрируют новые подходы к созданию фотоэлектрических структур, способные стать основой нейроморфных систем будущего. Уровень работы соответствует уровню актуальных достижений в области нейроморфной фотоники. Поставленная задача выполнена полностью. Задача 20. Проведены численные расчеты и получены оптимальные параметры для системы из полоскового волновода и кластера резонансных наноантенн на основе кремния и фазово-изменяющихся материалов, реализующих оптический аналог нейронного синапса. Численно продемонстрированы различные режимы пропускания в подобной системе при последовательном переключении дисков из аморфного в кристаллическое состояние. Оптимальные параметры, полученные с помощью численного моделирования, в дальнейшем будут использованы для создания экспериментальных образцов фотонных наноструктур. Поставленная задача выполнена полностью. В целом результаты выполнения НИР позволили получить новые знания о фундаментальных закономерностях кодирования новой информации в памяти нервной системы и демонстрируют новые подходы, способные стать основой нейроморфных вычислительных систем будущего.
2 1 января 2021 г.-31 декабря 2021 г. "Мозг и информация: от естественного интеллекта к искусственному"
Результаты этапа:
3 1 января 2022 г.-31 декабря 2022 г. "Мозг и информация: от естественного интеллекта к искусственному"
Результаты этапа: Запланированные показатели выполнены
4 28 июня 2023 г.-31 декабря 2023 г. "Мозг и информация: от естественного интеллекта к искусственному"
Результаты этапа: Цели, поставленные перед проектом, полностью выполнены. Научно-технический уровень достигнутых результатов соответствует мировому, а ряд результатов является принципиально новым и позволяет существенно расширить область знаний нейробиологических механизмов кодирования информации головным мозгом, а также сформировать фундаментальный научный задел для разработки систем искусственного интеллекта, использующего принципы кодирования когнитивной информации головным мозгом человека и животных. В частности, решение поставленных в этой первой части проекта задач позволит продвинуться в исследовании биологических основ когнитивного кода, а это, в свою очередь позволяет вплотную подойти к созданию научно-технологической базы для разработки систем нейроморфного искусственного интеллекта, реализующих приоритеты Стратегии научно-технологического развития Российской Федерации в области перехода к передовым цифровым, интеллектуальным производственным технологиям, роботизированным системам, системам обработки больших объемов данных, машинного обучения и искусственного интеллекта. Помимо фундаментальной научной значимости полученные результаты и разработанные новые технологии и инструменты составят основу для коммерциализуемых методик минимально инвазивной и неинвазивной оперативной̆ диагностики состояния мозга, в том числе его глубоких слоев и интегрированной деятельности нескольких пространственно удаленных областей мозга. В рамках работ по второй части проекта был создан новый метод обучения рекуррентных нейросетей для обработки длинных последовательностей, который позволят существенно расширить сферу применения технологий искусственного интеллекта в широком спектре приложений. Обработка длинных последовательностей высоко востребована в финансовой сфере для построения предсказательных моделей на основе глубоких историй транзакций, а также в производстве для обработки больших объемов данных, получаемых с сенсоров в реальном времени. В рамках второго направления проекта была также создана платформа для автоматического конструирования искусственных нейронных сетей, решающих задачи анализа изображений, позволяет наиболее эффективно, с минимальными затратами времени получать готовые решения задач анализа изображений, учитывающие опыт научного и инженерного сообществ, накопленный за годы исследований. Созданная платформа для автоматического конструирования искусственных нейронных сетей, решающих задачи анализа изображений, ориентирована на организации IT-сферы, специализирующихся на разработке технологий анализа изображений. Практическая важность платформы обусловлена также ее образовательной компонентой, поскольку с ее помощью начинающие разработчики нейросетевых технологий смогут быстрее овладеть навыками решения задач анализа изображений, а также рентабельностью, поскольку расширяемость платформы и наличие дообучаемого логического ядра позволяет создавать на основе платформы востребованные коммерческие продукты анализа изображений. В настоящее время активно развивается направление, связанное с созданием компьютерных «помощников», автоматизирующих большую часть работы специалиста по обучению нейронных сетей. Однако, большинство таких помощников основаны на автоматизации алгоритмов машинного обучения. В отличие от них, созданная платформа для автоматического конструирования искусственных нейронных сетей, решающих задачи анализа изображений, имеет встроенный логический аппарат, который как аналог интуиции человека позволяет находить решения не на основе полного перебора, а используя логику решения, свойственную экспертам по нейронным сетям. Благодаря проведенных по второму направлению проекта работ был создан также научно-технический задел в области интерпретируемых моделей машинного обучения. Стремительное развитие технологий искусственного интеллекта и их активное применение в критически значимых приложениях государственного масштаба, включая здравоохранение, финансы, масс-медиа, оборонный комплекс и др., обуславливают первостепенную важность задачи обеспечения интерпретируемости моделей машинного обучения, в особенности нейросетевых моделей. Построение подобных интерпретаций искусственных нейронных сетей позволит создать доверенные системы искусственного интеллекта, а также может привести к появлению полезных инструментов для использования учеными в фундаментальных исследованиях в области наук о мозге. Разработанный программный продукт Intevis допускает при необходимости дальнейшее развитие и модернизацию, а также полноценную интеграцию в другие программные продукты. Генерация злонамеренных примеров позволяет помимо оценки устойчивости нейросетевой модели, оценить «истинную степень ее обученности», а также лучше понять внутренние аспекты функционирования алгоритмов машинного обучения. Полученные по второму направлению проекта результаты открывают также новые перспективы для применения подходов фотоники и оптоэлектроники для нейроморфных вычислений. На сегодняшний день скорость роста производительности электронных вычислительных устройств отстает от скорости роста сложности передовых моделей искусственного интеллекта. Увеличение данного разрыва приводит к необходимости поиска или новых подходов к реализации вычислительных устройств, или к поиску новых, более эффективных алгоритмов искусственного интеллекта. В рамках проекта получены результаты, которые предлагают одновременно как новую элементную базу, так и новые алгоритмы, которые могут быть реализованы на ее основе. Высокая значимость этих результатов обуславливается потенциалом развития на их основе более адаптивных и энергоэффективных систем искусственного интеллекта, что является одной из важнейших задач для социально-экономической сферы страны. Практическая ориентированность полученных результатов связана с возможностью создания новой элементной и аппаратной базы на принципах фотоники и оптоэлектроники для решения вычислительных задач в области искусственного интеллекта. Полученные результаты могут быть использованы для создания фотонных вычислительных устройств, обладающих более высоким уровнем быстродействия и энергоэффективности по сравнению с электронными аналогами. При этом важно отметить, что технологические требования к реализации подобных интегрально фотонных устройств являются менее жесткими чем для создания передовых устройств микроэлектроники. По итогам проекта можно высказать следующие рекомендации и предложения по использованию и дальнейшему развитию полученных в проекте результатов:  На основе разработанных в проекте методов визуализации мозга с клеточным разрешением с помощью оптимизированных волоконных зондов с градиентным показателем преломления могут быть развиты коммерциализуемые методики минимально инвазивной и неинвазивной оперативной диагностики глубоких структур центральной нервной системы.  В процессе создания платформы для автоматического конструирования искусственных нейронных сетей, решающих задачи анализа изображений, было реализовано несколько новых, не запланированных заранее функциональных возможностей для упрощения взаимодействия с пользователем. Созданная платформа представляет из себя гибкую, расширяемую, модульную структуру, позволяющую добавлять новые функциональные возможности для решения задач анализа изображений и упрощения взаимодействия с пользователем. Это дает возможность дальнейшего развития платформы с целью создания востребованного коммерческого продукта анализа изображений. Развитие платформы в этом направлении может привести к созданию востребованного коммерческого продукта анализа изображений.  Разработанные в проекте новые алгоритмы построения злонамеренных примеров, оценки устойчивости и визуализации искусственных нейронных сетей с использованием современных методов анализа чувствительности и аугментации данных, максимизации активации, атрибуции, а также методов малоранговых тензорных аппроксимаций, включая TT-разложение, позволят создать доверенные системы искусственного интеллекта, а также полезные инструменты для фундаментальных исследований работы нейронных сетей головного мозга. Разработанный программный продукт intevis допускает при необходимости дальнейшее развитие и модернизацию, а также полноценную интеграцию в другие программные продукты.  Полученные результаты по исследованию реконфигурируемых интегральных полупроводниковых метаповерхностей могут быть использованы при создании интегральных фотонных ускорителей для матричных вычислений в искусственных нейронных сетях и моделях машинного обучения.  Полученные результаты по исследованию оптоэлектрических нейроморфных элементов могут быть использованы при создании импульсных нейронных сетей. В качестве синаптических элементов импульсных нейронных сетей могут быть использованы разработанные оптоэлектрические синапсы на основе нанокристаллитов оксидов металлов. Разработанный чип для 64 синапсов имеет перспективы для экспериментального тестирования существующих и будущих архитектур и алгоритмов импульсных нейросетей. Продемонстрированные свойства ассоциативного обучения также имеют перспективы быть использованы в разрабатываемых биоподобных алгоритмах искусственного интеллекта.  Реализованная в проекте математическая модель оптической дифракционной нейронной сети, позволяющая проводить полноценное моделирование распространения света в системе, может быть использована при создании оптических дифракционных нейронных сетей. Для подбора и оптимизации параметров сети могут быть использованы разработанные методы математического моделирования. Предлагаемая для изготовления ОДНС методика двухфотонной лазерной литографии является перспективной для создания компактных предобрабатывающих устройств, которые могут быть совмещены с существующими электронными вычислительными компонентами.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".