ИСТИНА

Разработка новых компьютерных методов обработки и анализа гистологических изображений с использованием глубокого обучения. В частности, разработка методов быстрой интерактивной разметки, методов анализа, совмещения, увеличения и повышения качества гистологических изображений.

Recent breakthroughs in machine learning and in particular deep learning have significantly changed the approaches used in image processing and analysis, leading to the observed paradigm shift towards data-driven approaches. This effect is clearly manifested in tasks related to the processing and analysis of medical images, which are becoming more and more important for practical purposes. A large number of analytical and diagnostic methods and tools for working with medical images based on the use of deep learning methods using convolutional neural networks have been developed and continue to be developed. At the same time, one of the most relevant areas of application of these methods is the direction of digital pathology, which includes the processing and analysis of histological images. Despite their high efficiency in image analysis tasks, approaches based on the use of neural network models have one significant drawback. It consists in the requirement to use a large number of labeled images for correct training of the model. This is especially acute when working with histological images due to the enormous variability and complexity of histological structures. At the same time, with an increase in the complexity of the applied model, the required volume of labeled data also grows. In the case of histological images, obtaining new data is not particularly difficult due to the emergence of new generation scanners capable of obtaining high-quality images, which cannot be said about data annotation. Manual annotation of histological images, especially whole slide images, can take up to several hours per image (in the case of a segmentation task) and should be performed by highly qualified histologists. Such images can reach resolutions of up to 100,000 x 100,000 pixels and are several gigabytes in size and require special software to work with them. Thus, methods that make it possible to speed up and facilitate the process of annotating histological images by medical experts are relevant and very much in demand. It is also worth noting that the complexity and variety of histological structures that histologists have to work with, makes a variety of approaches and methods of automatic processing and analysis of histological images in demand. These include methods of automatic search and morphometric description of serrated glands in large whole slide images, methods of segmentation of histological structures, methods of histological images registration that allow histologists to efficiently analyze adjacent sections differently stained, content-based image retrieval systems that allow quickly find similar tissue fragments, methods to improve the quality of histological images. Within the project new methods for processing and analysis of histological images using deep learning will be developed. The main objectives of the project are: - creation of methods for fast interactive semi-automatic annotation of histological images, including whole slide images, - development of hybrid methods for whole slide histological image registration, - creation of new labeled datasets within the PATH-DT-MSU dataset, used for segmentation and registration of histological images (this includes the use of the developed methods of fast interactive annotation), - development of methods for analysis and segmentation of histological structures (methods for determining the serration of glands, content-based image retrieval system, methods for automatically determining the optimal scale of histological images), - creation of methods for increasing the resolution and improving the quality of histological images. All these methods of automation for annotating, processing, analysis and further work with histological images can significantly speed up and simplify the work of histologists, improve the quality and detail of the collected data description and, ultimately, improve the quality of diagnostics. The work of the scientific group will be carried out jointly with the Indian team, which makes it possible to solve the posed problems on a new, more global scale thanks to the use of histological material collected in Russia and India that takes into account the regional characteristics of the emerging pathologies. The developed methods and approaches will be tested on histological data collected in Russia and India, which will make them more robust and effective.

В рамках проекта будут разработаны новые методы цифровой патологии, реализующие обработку и анализ гистологических изображений с использованием глубокого обучения. В частности, будут созданы: - новые методы быстрой интерактивной полуавтоматической разметки гистологических изображений, включая полнокадровые, - гибридные методы совмещения полнокадровых гистологических изображений, - новые аннотированные наборы данных в рамках набора данных PATH-DT-MSU, используемые для задач сегментации и совмещения гистологических изображений (подразумевается, в том числе, использование разработанных методов быстрой интерактивной разметки), - методы сегментации и анализа структур на гистологических изображениях (методы определения зубчатости желез, системы поиска по содержимому, методы автоматического определения оптимального масштаба), - методы повышения разрешения и улучшения качества гистологических изображений. Все перечисленные методы автоматизации для создания разметки, обработки, анализа и дальнейшей работы с гистологическими изображениями позволяют существенно ускорить и упростить работу врачей-патологоанатомов (патологов), повысить качество и подробность описания собираемых данных и, в конечном итоге, улучшить качество диагностики. Также стоит отметить, что ряд задач, рассматриваемых в проекте, являются новыми и не описаны на данный момент в литературе. Это касается методов автоматического оценивания зубчатости желёз, подходов поиска оптимального масштаба изображения для применения нейросетевых методов обработки, а также методов повышения качества гистологических изображений после совмещения соседних срезов.

Научный коллектив уже имеет большой опыт в разработке различных методов сегментации и анализа гистологических изображений, в том числе и с помощью нейросетевых моделей. Ранее сотрудниками факультетов ВМК и фундаментальной медицины МГУ имени М.В. Ломоносова уже был сформирован набор гистологических изображений желудочно-кишечного тракта с экспертной объектной разметкой слизистых желез PATH-DT-MSU (https://imaging.cs.msu.ru/en/research/histology/path-dt-msu), полученный с помощью сканера Leica SCN400. Этот набор данных будет использован в рамках данной работы наряду с другими открытыми наборами гистологических изображений, а также существенно расширен. Также члены российского коллектива имеют опыт проведения международного конкурса по совмещению гистологических изображений ANHIR (https://anhir.grand-challenge.org/Organizers/), проведенного в рамках международной конференции IEEE International Symposium on Biomedical Imaging (ISBI) 2019, где они принимали непосредственное участие в подготовке и обработке гистологических данных, используемых на соревновании. Ранее научным коллективом уже создан ряд методов, которые могут послужить основой для разрабатываемых в данном проекте методов обработки и анализа гистологических изображений. Так, например, в работе [A. Khvostikov et al. CNN assisted hybrid algorithm for medical images segmentation // ICBIP '20: Proceedings of the 2020 5th International Conference on Biomedical Signal and Image Processing. — New York, N.Y., United States: New York, N.Y., United States, 2020. — P. 14–19] был представлен прототип системы интерактивной разметки, основанный на гибридном подходе с использованием свёрточной нейронной сети как экстрактора признаков и графа k ближайших соседей, строящегося по извлеченным признакам и затем использующегося для распространения разметки от размеченных штрихами объектов к неразмеченных пикселям изображения.