Автоматическая система для обработки медицинских изображений органов организма пациента и способ, реализуемый этой системой
AUTOMATIC SYSTEM FOR PROCESSING MEDICAL IMAGES OF ORGANS OF THE BODY OF A PATIENT AND METHOD IMPLEMENTED BY THE SYSTEM

Группа изобретений относится к обработке графических медицинских данных, в частности к диагностике патологий органов организма пациента, и может быть применена в медицинской промышленности.
Из уровня техники известно множество способов автоматической обработки медицинских изображений, обеспечивающих возможность упрощения постановки диагноза пациенту лечащим врачом. Такая обработка данных обеспечивает возможность определения и выделения на медицинском изображении областей, требующих внимания со стороны лечащего врача, и способствует снижению риска допущения врачебной ошибки при постановке диагноза.
Известны автоматическая система и способ автоматической обработки медицинских изображений органов мочеполовой системы пациента, при этом система содержит модуль получения медицинских изображений органов пациента и модуль обработки медицинских изображений органов пациента, а способ включает получение цифрового медицинского изображения и автоматический анализ медицинского изображения органов мочеполовой системы, при этом автоматический анализ включает поиск патологии посредством сверточной нейронной сети и определение категории заболевания на основании формы, размеров и цвета патологии [CN 110136113, дата публикации: 16.08.2019 г., МПК: G06K 9/62; G06N 3/04; G06N 3/08; G06T 7/00].
Недостатком известного технического решения является низкая скорость автоматического анализа медицинского изображения, обусловленная применением для анализа сверточной нейронной сети, имеющей существенный минус, выраженный в ограничении размера ядра, - проверочной области, передвигаемой по изображению с целью поиска искомых объектов (т.к. увеличение его размеров сопровождается существенным увеличением вычислительной сложности задачи), ввиду чего при анализе изображений среднего и высокого качества (например 640×480 пикселей и более) требуется большое количество проверочных итераций. Также существенным недостатком применения сверточной нейронной сети является низкая точность обработки трехмерных моделей, что существенно сказывается на точности обработки медицинских изображений.
В качестве прототипа выбраны автоматическая система и способ автоматической обработки медицинских изображений органов организма пациента, при этом система включает модуль получения медицинского изображения органов организма пациента и модуль обработки медицинских изображений органов организма пациента, а способ заключается в получении медицинского изображения и последующем получении модулем обработки медицинских изображений органов организма пациента облаков точек на основании медицинского изображения органов дыхательной системы пациента и параметризации облаков точек на медицинском изображении органов организма пациента, при этом после обработки медицинского изображения лечащим врачом им осуществляется идентификация патологий на основании проанализированного медицинского изображения органов дыхательной системы пациента и определяется выраженность этих патологий [WO 2013126659, дата публикации: 29.08.2013 г., МПК: A61B 19/00; A61B 5/113].
Преимуществом прототипа перед известным техническим решением является высокая точность обработки медицинского изображения, обусловленная работой не с одиночным двухмерным изображением, а с трехмерным облаком точек, ввиду чего обеспечивается возможность воссоздания трехмерной модели органов дыхательной системы пациента, что позволяет лечащему врачу рассмотреть органы и патологию с различных ракурсов и с более высокой точностью определить диагноз и назначить пациенту эффективный план лечения. Однако недостатком прототипа является повышенный риск вынесения лечащим врачом недостоверного диагноза пациенту, что обусловлено человеческим фактором, а именно субъективным анализом медицинского изображения органов дыхательной системы лечащим врачом (ввиду определения диагноза лишь на основании эмпирического опыта врача) и возможностью допущения непредумышленной ошибки в процессе постановки диагноза, которая может возникнуть в результате повышенной утомленности, либо проблем со здоровьем (например головных болей, проблем со зрением) лечащего врача, либо наличия в его работе отвлекающих факторов, ввиду чего лечащий врач может идентифицировать на сегментированном облаке точек наличие несуществующей патологии, или, что еще хуже, не идентифицировать патологию при ее наличии (поскольку даже в самых запущенных случаях ее размеры могут составлять примерно 1% от объема органов дыхательной системы). Вследствие этого лечащим врачом может быть назначен недостаточно эффективный или неверный план лечения, что может привести к существенному ухудшению состоянию здоровья пациента или, учитывая среднестатистическую тяжесть заболеваний органов дыхательной системы (онкологии, туберкулеза, пневмонии и т.д.), к смерти пациента.
Техническая проблема, на решение которой направлена группа изобретений, заключается в необходимости расширения функциональных возможностей автоматической системы для обработки медицинских изображений органов организма пациента.
Технический результат, на достижение которого направлена группа изобретений, заключается в обеспечении возможности автоматического определения патологий органов организма пациента модулем обработки медицинских изображений органов организма пациента.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в повышении эффективности и снижении энергоемкости этапа обработки медицинских изображений органов организма пациента.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в повышении качества обработки медицинских изображений органов организма пациента.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в повышении вероятности выявления неочевидных закономерностей при обработке медицинских изображений органов организма пациента.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в обеспечении возможности определения выраженности идентифицированной патологии органов организма пациента модулем обработки медицинских изображений органов организма пациента.
Сущность первого изобретения из группы изобретений заключается в следующем.
Автоматическая система для обработки медицинских изображений органов организма пациента включает выполненные с возможностью обмена данными модуль получения медицинских изображений органов организма пациента, модуль обработки медицинских изображений органов организма пациента, выполненный с возможностью генерации облака точек на основании полученного медицинского изображения органов организма пациента и параметризации точек в полученном облаке точек, и интерфейс. В отличие от прототипа модуль обработки медицинских изображений органов организма пациента содержит средство автоматической идентификации патологий органов организма пациента, содержащее идентифицирующую модель машинного обучения и выполненное с возможностью получения параметризированных точек в облаке точек от модуля обработки медицинских изображений органов организма пациента, определения связанных точек в облаке точек и идентификации на основе связанных точек в облаке точек патологии органов организма пациента.
Сущность второго изобретения из группы изобретений заключается в следующем.
Способ автоматической обработки медицинских изображений органов организма пациента включает получение медицинского изображения органов организма пациента модулем получения медицинских изображений органов организма, передачу данных в модуль обработки медицинских изображений органов организма пациента и генерацию этим модулем облака точек с последующей параметризацией точек в этом облаке. В отличие от прототипа средством автоматической идентификации патологий органов организма пациента осуществляется получение параметризированных точек в облаке точек от модуля обработки медицинских изображений органов организма пациента и посредством идентифицирующей модели машинного обучения, содержащейся в нем, производится определение на основе этих данных связанных точек в облаке точек, после чего на основе связанных точек в облаке точек осуществляется автоматическая идентификация патологий органов организма пациента.
Медицинское изображение представляет собой визуализацию структурно-функционального образа органов пациента, полученную различными методами медицинской диагностики, например рентгенологическими, магнитно-резонансными, ультразвуковыми и другими известными методами. При этом под органами пациента подразумеваются: кожные покровы, легкие, желудок, кишечник и другие внешние образования.
Получение медицинского изображения может быть осуществлено автоматически модулем получения медицинских изображений органов организма пациента. Модуль получения медицинских изображений органов организма пациента может быть представлен в виде программно-аппаратного комплекса или в виде одного персонального компьютера, снабженного специализированным программным обеспечением, например медицинскими отраслевыми стандартами создания, хранения, передачи и визуализации цифровых медицинских изображений и документов обследованных пациентов DICOM (Digital Imaging and Communication in Medicine). Для получения медицинских изображений органов организма пациента модуль может быть выполнен с возможностью подключения к электронному устройству лечащего врача или к аппарату для проведения медицинской диагностики (МРТ, УЗИ и пр.) с применением проводных или беспроводных средств связи.
Обработка медицинского изображения обеспечивает возможность автоматического определения на полученном медицинском изображении органов пациента и осуществляется автоматически модулем обработки медицинских изображений органов организма пациента за счет специализированного программного обеспечения, выполняющего разбиение файла с изображением на отдельные изображения и определение плотности областей на изображении по шкале Хаунсфилда или с применением других аналогичных инструментов обработки данных. В процессе обработки медицинского изображения модулем обработки медицинских изображений органов организма пациента осуществляется генерация облака точек, после чего им осуществляется автоматическая параметризация точек в облаке.
В процессе автоматической параметризации точек модулем обработки медицинских изображений каждой точке автоматически задается плотность точки по шкале Хаунсфилда. Автоматическая параметризация точек может быть осуществлена содержащимся в модуле обработки медицинских изображений средством параметризации, основанном на математическом сэмплировании точек по плотности с применением численных методов изучения случайных процессов, например с применением метода Монте-Карло. При этом после автоматической параметризации точек может быть осуществлена автоматическая фильтрация облака параметризированных точек.
Автоматическая фильтрация облака параметризированных точек может быть осуществлена путем фиксирования только тех точек, плотность которых по шкале Хаунсфилда соответствует органам организма пациента, либо путем удаления тех точек, плотность которых им не соответствует, и фиксирования оставшихся после удаления точек, что повышает эффективность и снижает энергоемкость этапа обработки медицинских изображений органов организма пациента.
Автоматическая идентификация патологий органов организма пациента осуществляется средством автоматической идентификации патологий органов организма пациента, содержащимся в модуле обработки изображений органов организма пациента, и обеспечивает возможность определения класса патологии органов. Модуль автоматической идентификации патологий органов организма может быть представлен в виде программно-аппаратного комплекса или персонального компьютера, содержащего идентифицирующую модель машинного обучения для обработки структурных данных облаков точек. Для этого в полученном облаке точек на основе данных параметризации автоматически определяются связанные точки, расстояние между которыми составляет от 1 до 2 мм.
После этого все связанные точки автоматически анализируются средством автоматической идентификации патологий органов организма пациента, в процессе чего связанные точки автоматически сопоставляются с паттернами патологий органов организма пациента, и производится определение соответствия связанных точек из облака точек одному из идентификаторов патологии органов мягких тканей организма пациента. В случае выявления патологии средством автоматической идентификации патологий в облаке точек выделяется фрагмент, который впоследствии передается для автоматического определения выраженности патологии органов организма пациента. При этом указанная модель предварительно может быть обучена на прецедентах идентификации патологий органов организма пациента, что повышает вероятность выявления неочевидных закономерностей при автоматической обработке медицинских изображений органов организма пациента.
Дополнительно средством автоматической идентификации патологий органов организма пациента может быть проведено автоматическое сопоставление связанных точек с базой идентификаторов патологий органов организма пациента для повышения интерпретируемости модели машинного обучения и демонстрации похожих прецедентов из базы идентификаторов патологий органов организма пациента.
Дополнительно может быть осуществлено автоматическое определение выраженности патологии органов организма пациента за счет средства автоматического определения выраженности идентифицированной патологии органов организма пациента, что обеспечивает возможность определения степени поражения органов организма пациента. Это средство может быть подключено к средству автоматической идентификации патологий органов организма пациента с возможностью получения от него выделенной области в облаке точек с идентифицированной патологией, и/или оно может быть подключено к средству получения медицинского изображения органов организма пациента с возможностью получения от него параметризированного облака точек. Автоматическая идентификация патологий может быть осуществлена посредством программно-аппаратного комплекса, содержащего классифицирующую модель машинного обучения, который выполнен с возможностью выявления соответствия параметров связанных точек параметру выраженности патологии. Для этого средством автоматического определения выраженности идентифицированной патологии органов организма пациента производится получение выделенных областей связанных точек и автоматическое сопоставление этих областей с параметрами выраженности патологии органов организма пациента. При этом указанная модель может быть предварительно обучена на прецедентах определения параметра выраженности патологии органов организма пациента, что дополнительно повышает вероятность выявления неочевидных закономерностей при автоматической обработке медицинских изображений органов организма пациента модулем.
Дополнительно может быть произведено автоматическое сопоставление этих областей с параметрами выраженности патологии органов организма из базы параметров выраженности патологии. Базы идентификаторов и параметров выраженности патологий организма пациента могут быть созданы автоматизированно за счет ручного ввода идентификаторов и параметров выраженности, либо идентификаторы и параметры выраженности могут быть получены из сторонних баз данных. При этом под идентификатором патологии и параметром выраженности патологии подразумевается количество точек, последовательность изменения расстояния между точками, плотность распределения точек и другие параметры точек, соответствующие определенной патологии и определенному параметру выраженности патологии. При этом базы идентификаторов и параметров выраженности патологий могут быть расположены в программно-аппаратных комплексах, выполняющих операции с применением указанных моделей машинного обучения.
Дополнительно на этапе обработки медицинского изображения органов организма пациента модулем обработки данных может быть осуществлена автоматическая идентификация органов пациента на медицинском изображении, что позволяет повысить качество автоматической обработки медицинских изображений органов организма пациента. Для этого параметры точек могут быть автоматически сопоставлены с базой данных идентификаторов органов пациента. При этом база данных идентификаторов органов пациента может быть сформирована вручную посредством присваивания каждому облаку точек соответствующего идентификатора или автоматически с применением моделей машинного обучения.
Дополнительно способ автоматической обработки медицинских изображений органов организма пациента может включать этап автоматической обработки результатов анализа медицинских изображений органов организма пациента, который может включать преобразование файла с изображением в исходный формат, оценку выраженности обнаруженной патологии и формирование отчета по проведенному анализу медицинских изображений. При этом в случае обнаружения выраженной патологии модулем обработки медицинского изображения может осуществляться автоматическая отправка уведомления об обнаружении выраженной патологии лечащему врачу пациента, что дополнительно расширяет функционал системы.
Интерфейс может быть представлен устройствами вывода и обеспечивать возможность визуального представления результатов обработки медицинских изображений органов организма пациента системой. Модули системы и представленные в ней средства в рамках настоящей группы изобретений могут быть реализованы на базе одного или нескольких персональных компьютеров или других электронных устройств и/или на базе одного или нескольких программно-аппаратных комплексов и могут быть подключены друг к другу любыми известными средствами проводной и/или беспроводной передачи данных.
Группа изобретений может быть выполнена из известных материалов с помощью известных средств, что свидетельствует о ее соответствии критерию патентоспособности «промышленная применимость».
Группа изобретений характеризуется ранее неизвестными существенными отличительными признаками, заключающимися в том, что при автоматической обработке медицинских изображений органов организма пациента средством автоматической идентификации патологий органов организма пациента производится получение данных от модуля обработки медицинских изображений органов организма пациента, определение посредством применения модели машинного обучения на основе данных параметризации облаков точек связанных точек в облаке точек, после чего осуществляется автоматическая идентификация патологий органов организма пациента, что позволяет определить в облаке связанные области точек и на основании имеющихся в модели машинного обучения паттернов выявить патологию органа организма пациента системой, благодаря чему обеспечивается достижение технического результата, заключающегося в обеспечении возможности автоматического определения патологий органов организма модулем обработки медицинских изображений органов организма пациента, тем самым расширяя функциональные возможности автоматической системы для обработки медицинских изображений органов организма пациента.
Группа изобретений обладает ранее неизвестными из уровня техники существенными признаками, что свидетельствует о ее соответствии критерию патентоспособности «новизна» и «изобретательский уровень».
Группа изобретений связана между собой и образует единый изобретательский замысел, заключающийся в том, что автоматическая система для обработки медицинских изображений органов организма пациента обеспечивает реализацию способа автоматической обработки медицинских изображений органов организма пациента, что свидетельствует о соответствии группы изобретений требованию «единства изобретения».
Группа изобретений поясняется следующими фигурами.
Фиг. 1 - Функциональная схема автоматической системы для обработки медицинских изображений органов организма пациента.
Фиг. 2 - Алгоритм автоматической обработки медицинских изображений органов организма пациента.
Для иллюстрации возможности реализации и более полного понимания сути группы изобретений ниже представлен вариант ее осуществления, который может быть любым образом изменен или дополнен, при этом настоящая группа изобретений ни в коем случае не ограничивается представленным вариантом.
Система для автоматической обработки медицинских изображений органов организма пациента включает средство 100 медицинской диагностики органов организма пациента, модуль 110 получения медицинских изображений органов организма пациента, модуль 120 обработки медицинских изображений органов организма пациента, средство 130 автоматической идентификации патологий органов организма пациента с базой 131 прецедентов идентификации патологий органов организма пациента, средство 140 автоматического определения выраженности идентифицированной патологии органов организма пациента с базой 141 прецедентов определения параметра выраженности патологии органов организма пациента и модуль 150 отправки данных.
Средство 100 медицинской диагностики органов организма пациента может быть представлено аппаратом компьютерной томографии или аппаратом для проведения ультразвукового исследования или другими аналогичными аппаратами для проведения медицинских исследований. Модули 110, 120 и 150, а также средства 130 и 140 могут быть представлены в виде одного или нескольких электронных устройств в виде персональных компьютеров или смартфонов, содержащих соединенные между собой ЦП, ОЗУ, ПЗУ и устройства ввода и вывода данных со специализированным программным обеспечением. При этом модуль 120, а также средства 130 и 140 могут быть реализованы на базе одного сервера или персонального компьютера, снабженного специализированным программным обеспечением. Базы 131 и 141 представлены в виде систематизированных совокупностей машиночитаемых данных, которые могут храниться во внутренней памяти средств 130 или 140, или удаленно.
Модуль 110 получения медицинского изображения органов организма пациента выполнен с возможностью подключения к средству 100 медицинской диагностики органов организма пациента с возможностью получения медицинского изображения (КТ, МКТ, МРТ, УЗИ или др.); подключен к модулю 120 с возможностью передачи трехмерного изображения мягких тканей и органов организма пациента.
Модуль 120 обработки медицинских изображений органов организма пациента подключен к средству 130 автоматической идентификации патологий органов организма пациента с возможностью передачи параметров точек в облаке; выполнен с возможностью подключения к модулю 150 отправки данных с возможностью передачи отчета с данными анализа изображения органов организма пациента на электронное устройство лечащего врача.
Средство 130 автоматической идентификации патологий органов организма пациента подключено к базе 131 прецедентов идентификации патологий органов организма пациента с возможностью отправки запросов и получения данных по запросу; подключено к средству 140 автоматического определения выраженности идентифицированной патологии органов организма пациента с возможностью передачи данных идентифицированной патологии органов организма пациента; выполнено с возможностью подключения к модулю 120 обработки медицинских изображений органов организма пациента с возможностью передачи информации о наличии или отсутствии патологии.
Средство 140 автоматического определения выраженности идентифицированной патологии органов организма пациента подключено к базе 141 прецедентов определения параметра выраженности патологии органов организма пациента с возможностью отправки запросов и получения данных по запросу; подключено к модулю 120 с возможностью передачи данных выраженности идентифицированной патологии органов организма пациента; выполнено с возможностью подключения к модулю 150 отправки данных с возможностью передачи отчета с данными анализа изображения органов организма пациента на электронное устройство лечащего врача.
Способ автоматической обработки медицинских изображений органов организма пациента реализуется рядом основных этапов, которые включают в себя: этап 200, на котором модулем 110 осуществляется получение медицинского изображения органов организма пациента от средства 100 медицинской диагностики органов организма пациента; этап 210, на котором модулем 120 обработки медицинских изображений органов организма пациента осуществляется генерация облака точек на основании медицинского изображения органов организма пациента и параметризация точек в полученном облаке точек; этап 220, на котором средством 130 автоматической идентификации патологий органов организма пациента осуществляется анализ облака точек с применением идентифицирующей модели машинного обучения; этап 230, на котором средством 140 автоматического определения выраженности идентифицированной патологии органов организма пациента осуществляется анализ выделенного фрагмента облака точек с применением классифицирующей модели машинного обучения; этап 240, на котором модулем 150 осуществляется отправка отчета с информацией на электронное устройство лечащего врача (опционально).
На этапе 200 со стационарного компьютера медицинского учреждения посредством сети «Интернет» осуществляется отправка медицинского изображения (КТ, МКТ, МРТ, УЗИ или др.) результатов обследования мягких тканей, таких как легкие, желудок или кишечник, в виде файла, полученного за счет средства 100 медицинской диагностики органов организма пациента, в модуль 110 получения медицинских изображений органов организма пациента. На основе полученных данных модулем 110 посредством предустановленного программного обеспечения осуществляется открытие цифрового медицинского изображения и его разбиение на отдельные изображения, соответствующие различной глубине мягких тканей и органов, в результате чего получается трехмерное изображение мягких тканей и органов организма пациента, которое передается в модуль 120 обработки медицинских изображений органов организма пациента.
На этапе 210 модулем 120 обработки медицинских изображений органов организма пациента осуществляется определение плотности областей по шкале Хаунсфилда на отдельных изображениях, с определенной частотой осуществляется генерация точек и производится параметризация точек с учетом полученных данных, после чего координаты точек сохраняются сервером во внутренней памяти в декартовой системе координат, а точкам присваивается плотность, соответствующая плотности по Хаунсфилду зон отдельных изображений, на которые они были нанесены. После этого модулем 120 посредством предустановленного программного обеспечения осуществляется фильтрация полученного массива точек путем удаления точек, плотность которых равна или незначительно отличается от плотности (по шкале Хаунсфилда) воздуха и формируется облако точек, при этом на основании параметров точек модулем 120 производится автоматическая идентификация исследуемых органов. После этого полученное облако точек передается в средство 130 автоматической идентификации патологий органов организма пациента.
На этапе 220 средством 130 автоматической идентификации патологий органов организма пациента полученное облако точек обрабатывается сервером с применением идентифицирующей модели машинного обучения и в облаке точек выделяются связанные точки. Затем связанные точки анализируются им с применением модели машинного обучения на предмет наличия патологии в органах организма пациента, в процессе чего средством 130 осуществляется отправка запросов в базу 131 прецедентов идентификации патологий органов организма пациента. В случае идентифицирования моделью машинного обучения патологии органов организма пациента область вокруг связанных точек выделяется и отправляется в средство 140 автоматического определения выраженности идентифицированной патологии органов организма пациента для обработки классифицирующей моделью машинного обучения. В случае если патологии органов организма пациента обнаружено не было, то информация об этом передается в модуль 120 обработки медицинских изображений органов организма пациента.
На этапе 230 средством 140 автоматического определения выраженности идентифицированной патологии органов организма пациента полученная выделенная вокруг связанных точек область анализировалась с помощью классифицирующей модели машинного обучения, в процессе чего этим модулем определялся параметр выраженности идентифицированной патологии на основании плотности, количества и взаимного расположения точек в выделенной области, в процессе чего средством 140 осуществляется отправка запросов в базу 141 прецедентов определения параметра выраженности патологии органов организма пациента. Полученная информация об идентифицированной патологии и присвоенном ей параметре выраженности передавалась в модуль 120 обработки медицинских изображений органов организма пациента.
На этапе 240 модулем 150 отправки данных осуществлялась отправка уведомления на электронное устройство лечащего врача в виде отчета с данными идентифицированной патологии и присвоенным ей параметром выраженности либо об отсутствии обнаруженной патологии.
Группа изобретений поясняется следующим конкретным примером реализации.
Медицинское изображение легких пациента, полученное методом МРТ, отправляется в систему со стационарного компьютера медицинского учреждения посредством сети «Интернет» в виде файла, имеющего формат DICOM. Модулем 120 определяются плотности областей по шкале Хаунсфилда на отдельных изображениях и с определенной частотой посредством применения метода «Non-uniform Monte-Carlo sampling», осуществляется генерация точек, после чего производится параметризация точек. Средством 130 с применением идентифицирующей модели машинного обучения класса «PointNet++» выделялись точки, расстояние между которыми было менее или равно 1,5 мм, и определялись деструктивные процессы, вызванные туберкулезом, после чего средством 140 с применением классифицирующей модели машинного обучения класса «DGCNN» (Dynamic Graph Convolutional Neural Network) определялась высокая степень поражения легких. После этого на электронное устройство лечащего врача направлялось уведомление об обнаружении выраженной патологии на медицинском изображении легких пациента.
Таким образом обеспечивается достижение технического результата, заключающегося в обеспечении возможности автоматического определения патологий органов организма пациента модулем обработки медицинских изображений органов организма пациента, тем самым расширяются функциональные возможности автоматической системы для обработки медицинских изображений органов организма пациента.