СПОСОБ АВТОМАТИЗИРОВАННОГО АНАЛИЗА ЦИФРОВЫХ ФЛЮОРОГРАФИЧЕСКИХ СНИМКОВ
METHOD FOR AUTOMATED ANALYSIS OF DIGITAL FLUOROGRAPHY IMAGES

ОБЛАСТЬ ТЕХНИКИ
[1]  Заявленное техническое решение относится к области обработки цифровых изображений в медицине и предназначено для автоматизированного выполнения анализа флюорографических снимков грудной клетки пациентов на предмет наличия изменений или патологий в области легких. Заявленное решение может применяться в мобильных комплексах для ускорения обработки снимков, в поликлиниках для предобработки снимков, ранжирования по степени важности для чтения снимков врачом.
УРОВЕНЬ ТЕХНИКИ
[2]  Известна автоматизированная система диагностики медицинских изображений с использованием глубоких сверточных нейронных сетей (патент США 9,589,374 B1, 07.03.2017). Данное изобретение раскрывает методы применения глубоких сверточных нейронных сетей (СНС) к анализу медицинских изображений для диагностики в режиме реального времени. В приведенном изобретении применяется анализ КТ и МРТ снимков, которые обрабатываются с применением двух сверточных нейронных сетей и других программных модулей, для получения отклика с вероятностью наличия областей интереса на снимках пациента, которые необходимы для дальнейшего анализа лечащим врачом.
[3]  В статье «Automatic Liver and Tumor Segmentation of CT and MRI Volumes Using Cascaded Fully Convolutional Neural Networks» (Patrick Ferdinand Christ et al. Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI). 20.02.2017) рассматриваются подходы к автоматизированному анализу КТ и МРТ снимков для и выявления патологий печени, при этом используется сверточная нейронная сеть U-NET типа.
[4]  Известно также применение ансамбля из трех СНС для анализа медицинских изображений на предмет наличия релевантной информации, в зависимости от типа обучения СНС. В совокупности использования ансамбля из трех СНС такой подход позволяет получать более точные данные с минимизацией ошибок распознавания (Костин К.А. Магистерская диссертация «Адаптивный классификатор патологий для компьютерной диагностики заболеваний с использованием сверточных нейронных сетей по медицинским изображениям и видеоданным». 30.05.2017).
[5]  Данное решение является, по своей технической сути, наиболее близким аналогом. Основным недостатком данного решения является такая настройка СНС, которая не подразумевает разделения откликов по весомым коэффициентам с их последующим перевзешиванием в слоях каждой СНС и разделением обучающей выборке по типу патологий в процессе обучения ансамбля, что приводит к достаточно высокой степени появления ошибок в ходе распознавания изменений структур на флюорографических снимках. При этом данное решение, как таковое, не используется для анализа флюорографических снимков.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[6]  Решаемой технической проблемой заявленного решения является минимизации ошибки ложных срабатываний ансамбля СНС и, соответственно, увеличение точности распознавания областей интереса при анализе графический информации, за счет нового принципа обучения ансамбля СНС и их последующей работы на основании выполненного обучения.
[7]  Технический результат совпадает с решаемой технической проблемой.
[8]  Благодаря автоматизированной системе время анализа флюорографических снимков значительно уменьшается, при этом точность обнаружения патологий устанавливается на высоком уровне и снижается влияние человеческого фактора.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
[9]  Фиг. 1 иллюстрирует систему автоматизированного анализа флюорографических снимков.
[10]  Фиг. 2 иллюстрирует пример входного изображения.
[11]  Фиг. 3 иллюстрирует обработанное изображение с помощью заявленной системы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[12]  Ключевая особенность технического решения заключается в способе обучения и структуре сверточной нейронной сети. Для достижения технического результата применяется:
1. Размеченная специальным образом база флюорографических снимков для обучения с классификацией каждой области.
2. Использование ансамбля из трех сверточных нейронных сетей типа U-NET с разными настройками и организацией входных данных для обучения.
3. Перевзвешивание классов в соответствии с их важностью в выборке.
4. Комбинация выходных изображений для увеличения обучающей базы.
[13]  Первая сеть настроена на работу только с опасными областями (патологии 1го рода), вторая и третья сети - со всеми областями, но с разными порогами и архитектурой.
[14]  Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:
Патологии 1го рода (опасные)
I. Инфильтрация (фокус) – свыше 1,5 см.
II. Полость
III. Пневмоторакс
IV. Гидроторакс
V. Очаг
VI. Патологические изменения корней лёгких
VII. Уровень жидкости
VIII. Очаги
Патологии 2го рода (неопасные)
I. Интерстициальные изменения в лёгочной паренхиме
II. Цирроз
III. Фиброторакс
IV. Изменения плевры
V. Кальцинаты / обызвествления
VI. Диафрагмальная грыжа
VII. Изменения в костях
VIII. Цепочки металлических швов
IX. Инородные тела
X. Участок повышенной прозрачности (не полость)
XI. Ателектаз
XII. Изменения в органах средостения
[15]  На Фиг. 1 представлен вид системы по автоматизированному анализу флюорографических снимков.
поз. 1 – входное изображение (цифровой флюорографический снимок)
поз. 2 – клиентский модуль для удаленного анализа изображений (работа возможна и без него)
поз. 3 – модуль загрузки изображений
поз. 4 – сверточная нейронная сеть №1
поз. 5 – сверточная нейронная сеть №2
поз. 6 – сверточная нейронная сеть №3
поз. 7 – модуль анализа и объединения результатов работы сверточных сетей, вывод изображений
поз. 8 – обработанное изображение.
[16]  Система автоматизированного анализа флюорографических снимков представляет собой программное обеспечение. Для реализации используются библиотеки для машинного обучения TensorFlow и Keras. ПО может работать на любом современном компьютере с графическим процессором от Nvidia или на мобильных платформах Jetson TX2.
[17]  Автоматизированный анализ флюорографических снимков выполняется с помощью трех сверточных нейронных сетей типа U-NET. Для обучения подготовлена специальная база снимков. На снимках отмечены области с изменениями структуры легких, которые свидетельствуют о наличии туберкулеза или других патологиях, как опасных для здоровья человека, так и неопасных. Области разбиты на две группы: опасные и неопасные. Все области в группах классифицированы по типам патологий. Использовалась следующая классификация:
Патологии 1го рода (опасные)
I. Инфильтрация (фокус) – свыше 1,5 см.
II. Полость
III. Пневмоторакс
IV. Гидроторакс
V. Очаг
VI. Патологические изменения корней лёгких
VII. Уровень жидкости
VIII. Очаги
Патологии 2го рода (неопасные)
I. Интерстициальные изменения в лёгочной паренхиме
II. Цирроз
III. Фиброторакс
IV. Изменения плевры
V. Кальцинаты / обызвествления
VI. Диафрагмальная грыжа
VII. Изменения в костях
VIII. Цепочки металлических швов
IX. Инородные тела
X. Участок повышенной прозрачности (не полость)
XI. Ателектаз
XII. Изменения в органах средостения.
[18]  На Фиг. 2 представлен пример входного изображения. Для увеличения базы применялись трансформации к входным изображениям. Из отмеченных областей формируются сегментационные карты и подаются на вход обучения вместе с исходными изображениями.
[19]  На вход первой сети подаются карты только с опасными областями, на вход второй и третей, карты со всеми областями, но они имеют разные пороги и архитектуру. Архитектура: Unet (8 сфорачивающих слоёв, 8 разворачивающих слоёв, 32 стартовых фильтра, каждый слой x1.5 фильтров на свёртке, x1.5 фильтров на разворачивании. Вход - 1 канал, выход - 1 канал). Подбор пороговых значений осуществляется экспериментально по картине на выходе.
[20]  В процессе обучения веса в слоях перевзвешиваются для лучшей сходимости, на основании достоверности того что отмечают врачи (данные от врачей/сравнение разных разметок).  Происходит выбор более и менее достоверных классов.  В обученную сеть на вход подается исходное изображение, а на выходе получается три сегментационных карты с весами в каждом пикселе всего изображения, но карты активны только в тех местах, где происходит выделение патологий.
[21]  В остальных точках вероятность изменений близка к нулю. Данные карты обрабатываются, выделаются области с повышенным откликом, характеризующие в разных слоях, патологии разного типа, их площадь и вес, результаты сравниваются с порогами, которые экспериментально подобраны и установлены для каждой сети.
[22]  Обработка отклика нейронной сети происходит без нейронной сети, «вручную». Ищется общая энергетика отклика, максимальный отклик и оценивается площадь превышения пороговых значений. Все пороги и алгоритмы подобранны эмпирически.
[23]  Загрузка изображения (цифрового флюорографического снимка) на обработку происходить с помощью специального программного модуля 3. Изображение поочередно обрабатывается каждой сверточной нейронной сетью, каждая из которых на основании полученного в ходе обучения опыта выдает суждение, при наличие подозрительного участка, подсвечивает его. Следующий программный модуль 7 собирает результаты работы всех трех сетей, объединяет их и накладывает на исходное изображение. Модуль вывода изображения 8 выводит обработанный снимок с выделенным патологическим участком, в случае его наличия. Отклик от сетей отображается разным цветом и разной интенсивностью в зависимости от величины отклика.
[24]  Фиг. 3 иллюстрирует пример работы системы по обработке изображений. Анализ изображений может выполняться как локально, так и дистанционно. Для дистанционного доступа используется клиентский модуль 2. В качестве модуля 2 может применяться любое пригодное компьютерное устройство (персональный компьютер, ноутбук, планшет и т.п.).
[25]  Данный способ возможен только при доступе к сети Интернет. В этом случае клиентская часть программы 2 удаленно подключается к серверу, где развернута система автоматизированного анализа флюорографических снимков и реализует передачу изображения для анализа, а также прием и вывод результата обработки.