СИСТЕМА ОБРАБОТКИ РЕНТГЕНОГРАФИЧЕСКИХ ИЗОБРАЖЕНИЙ И ВЫВОДА РЕЗУЛЬТАТА ПОЛЬЗОВАТЕЛЮ
SYSTEM FOR PROCESSING X-RAY IMAGES AND OUTPUTTING RESULT TO USER

Область техники:
[0001] Изобретение относится к области вычислительной техники для обработки изображений, и может использоваться в области медицины, например, диагностики онкологических заболеваний, или в области промышленности, например, для выявления скрытых дефектов того или иного промышленного объекта.
Уровень техники:
[0002] В настоящее время существует множество систем, предназначенных для обработки изображений с целью выявления, например, онкологических заболеваний. Одним из примеров таких систем является система диагностики рака желудка с использованием сверточной нейронной сети, описанная в источнике CN 107368670 A. Данное решение предусматривает получение данных изображения среза нормальной ткани желудка, среза исследуемой ткани их сравнение и получение вывода в результате упомянутого сравнения. При этом, в результате сравнения нейронная сеть запоминает результат и использует его в будущем, т.е. является обучаемой.
[0003] Однако известному решению присущи недостатки. В числе недостатков известного решения имеется низкая точность обработки рентгенографических изображений и вывода результата обработки пользователю, поскольку известная система не предусматривает удаление шумов из захваченной релевантной области рентгенографического изображения, а также сравнение, по меньшей мере, двух изображений исследуемой ткани для нахождения схожего объекта, где под двумя изображениями подразумеваются два снимка различных проекций одной и той же исследуемой ткани или одного и того же исследуемого промышленного объекта. Более того, в известном решении не предусмотрено обеспечение конфиденциальности передаваемых данных за счет шифрования персональных данных пользователя при их обнаружении на рентгенографическом изображении, где под персональными данными подразумеваются любые данные, позволяющие однозначно идентифицировать их обладателя.
Раскрытие изобретения:
[0004] Задачей изобретения является устранение указанных выше недостатков.
[0005] Техническим результатом при этом является повышение точности нахождения и классификации схожего объекта при обработке рентгенографических изображений и вывода результата обработки пользователю, при обеспечении конфиденциальности передаваемых данных за счет шифрования персональных данных пользователя при их использовании или обнаружении на рентгенографическом изображении, где под персональными данными подразумеваются любые данные, позволяющие однозначно идентифицировать их обладателя.
[0006] Для достижения данного технического результата предложена система обработки рентгенографического изображения и вывода результата обработки пользователю, содержащая: блок ввода рентгенографического изображения, выполненный с возможностью загрузки файлов рентгенографического изображения, содержащих метаданные, включающие информацию об объекте или субъекте изображения и информацию о самом изображении и передачи загруженных файлов блоку предварительной обработки рентгенографического изображения, а также выполненный с возможностью шифрования загруженных файлов в случае, если упомянутые файлы содержат персональные данные человека; блок предварительной обработки рентгенографического изображения, выполненный с возможностью расшифровки упомянутых шифрованных загруженных файлов, обработки рентгенографического изображения и передачи предварительно обработанного рентгенографического изображения блоку сжатия или разархивирования, где в результате обработки происходит: нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения, где под релевантной областью рентгенографического изображения подразумевается область с найденным объектом; блок сжатия или разархивирования, выполненный с возможностью сжатия или разархивирования предварительно обработанного рентгенографического изображения для дальнейшей передачи блоку нахождения объектов; блок нахождения схожего по меньшей мере, одного объекта, выполненный с возможностью нахождения, по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку обработки данных, при этом упомянутое нахождение и обработка включает: нахождение схожего объекта на упомянутых изображениях и наложение переменных координат, расстояний и метрик на упомянутые изображения, где под двумя предварительно обработанными изображениями подразумевается два снимка различных проекций одной и той же исследуемой ткани человека или промышленного объекта; блок обработки данных, выполненный с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку постобработки, где обработка нейронной сетью и ее обучение заключается в выявлении закономерностей найденных и обработанных объектов множества рентгенографических изображений, а затем выявление в найденном и обработанном объекте области на основе выявленных закономерностей; блок постобработки данных, выполненный с возможностью постобработки данных, их передачу в блок хранения данных в блок отображения и в блок интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров выявленной области с выявленными закономерностями в процентном соотношении и классификацию упомянутой выявленной области; блок интерпретации данных, выполненный с возможностью формирования интерпретированных данных, их шифрования и передачи блоку отображения, при этом блок интерпретации данных соединен с базой данных блока хранения данных, содержащей данные всех классификаций выявленных областей, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса и блок отображения, выполненный с возможностью расшифровки шифрованных интерпретированных данных и вывода расшифрованных интерпретированных данных, по меньшей мере, одному пользователю.
[0007] Дополнительно нахождение и обработка дополнительно включает построение трехмерного отображения формы найденного объекта, а наложение переменных координат, расстояний и метрик на упомянутые изображения происходит в соответствии с упомянутым трехмерным отображением.
[0008] Дополнительно обучаемая нейронная сеть включает: компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN)); компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации; компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации; компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта.
[0009] Дополнительно формат рентгенографических изображений может быть, по меньшей мере, одним из: DICOM, JPEG, JPG, GIF, PNG.
[0010] Дополнительно рентгенографическим изображением является рентгенографический снимок органов или тканей человека, или рентгенографический снимок промышленного объекта.
[0011] Дополнительно физическим параметром объекта является вид объекта.
[0012] Очевидно, что как предыдущее общее описание, так и последующее подробное описание даны лишь для примера и пояснения и не являются ограничениями данного изобретения.
Краткое описание чертежей:
[0013] Фиг. 1 – схематичное изображение заявленной системы обработки рентгенографических изображений и вывода результата обработки пользователю.
[0014] Фиг. 2 – блок-схема этапов обработки рентгенографических изображений.
Осуществление изобретения:
[0015] Схематическое изображение заявленной системы обработки рентгенографических изображений и вывода результата обработки пользователю показано на рисунке (Фиг. 1). Система содержит блок 101 ввода данных, блок 102 предварительной обработки данных, блок 103 сжатия или разархивирования, блок 104 нахождения схожего, по меньшей мере, одного объекта, блок 105 обработки данных, блок 106 постобработки данных, блок 107 хранения, блок 108 отображения и вывода, блок 109 интерпретации данных, сеть 110 передачи данных, удаленный сервер 111. Блоки ввода 101, предварительной обработки 102, сжатия или разархивирования 103, нахождения схожего, по меньшей мере, одного объекта 104 и обработки данных 105 соответственно соединены между собой последовательно. Блок 106 постобработки данных соединен с блоком 105 обработки данных, блоком 109 интерпретации данных, блоком 107 хранения данных и блоком 108 отображения и вывода. Блоки 101, 102, 103, 104, 105, 106, 107, 108, 109 реализованы на вычислительном устройстве пользователя. Под вычислительным устройством подразумевается любое устройство, содержащее, по меньшей мере, память, процессор и видеокарту емкостью не менее 4 Гб.
[0016] Блок 101 ввода рентгенографических изображений выполняет загрузки файлов в формате DICOM, JPEG, JPG, GIF и иного формата рентгенографических изображений, содержащих метаинформацию об объекте и о снимке, а также сами цифровые снимки и передает загруженные файлы блоку 102 предварительной обработки рентгенографических изображений. Загруженные файлы передаются на удаленный сервер 111. В зависимости от вида исследуемого объекта и/или заболевания и/или патологии и/или деформации, а также от типа оборудования, при помощи которого получен снимок (рентгеновский аппарат, цифровой микроскоп, компьютерный томограф и т.д.), используется от 1 до 12 различных проекций объекта. При этом, все вышеупомянутые операции могут выполняться локально на вычислительном устройстве пользователя и/или удаленным сервером. Также блок 101 реализует криптографическую защиту персональных данных посредством шифрования, в случае их обнаружения в загруженных файлах. Реализация криптографической защиты производится посредством применения решений сторонних производителей в зависимости от законодательства страны использования системы обработки рентгенографического изображения и вывода результата обработки пользователю, либо путем встраивания программных в блок 101 средств криптографической защиты.
[0017] Блок 102 предварительной обработки данных выполняет расшифровку данных, зашифрованных блоком 101, а также предварительную обработку данных с использованием упомянутой метаинформации из файлов для определения стороны (левая, правая (при наличии симметричного объекта)), а также вида проекции и передает предварительно обработанные рентгенографические изображения блоку 103 сжатия/разархивирования. Каждый снимок проходит автоматическую предобработку, в ходе которой со снимка удаляются артефакты (например, посторонние свечения, наличие на снимке посторонних вкраплений и любых иных элементов, мешающих нахождению основной патологии), а также производится нахождение релевантной области на снимке с последующим удалением идентифицированных лишних частей. Каждый снимок в итоге этой процедуры приобретает стандартизированную размерность, различающуюся в зависимости от вида диагностики. В процессе предварительной обработки происходит нахождение и захват релевантной области рентгенографического изображения, удаление шумов из захваченной релевантной области рентгенографического изображения. Под релевантной областью рентгенографического изображения подразумевается исследуемая область с найденным объектом.
[0018] Блок 103 сжатия или разархивирования обеспечивает сжатия или разархивирования предварительно обработанных рентгенографических изображений для дальнейшей передачи блоку 104 нахождения объектов. Основной функцией блока 103 является сжатие и разархивирование результатов блока 102 предварительной обработки данных в виде подготовленных DICOM, JPEG, JPG, PNG файлов, производящееся без потери качества при процедурах сжатия – разархивации. Процедура сжатия или разархивирования по итогам предобработки реализуется с помощью библиотеки LZMA SDK, где библиотека LZMA SDK обеспечивает сжатие или разархивирование рентгенографических снимков. При этом блок 103 коммуникационно связан посредством сети 110 передачи данных с удаленным сервером 111.
[0019] Блок 104 нахождения схожего по меньшей мере, одного объекта, выполнен с возможностью нахождения, по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки и передачи найденного и обработанного объекта блоку 105 обработки данных. Основным назначением блока 104 является идентификация одного и того же объекта на различных проекциях, например, органа в диагностике по КТ, МРТ снимкам. При разметке данных для каждого объекта указывается класс, к которому объект принадлежит (например, объёмное образование или доброкачественная опухоль, или злокачественная опухоль и т. д.). Под разметкой подразумевается наложение переменных координат, расстояний и метрик на упомянутые изображения. Блок выполняет выводы о нижеследующем по сверке объектов на проекциях: нахождение одного и того-же объекта на разных проекциях, трехмерное отображение формы объекта, проверка на доброкачественность/злокачественность объекта, обнаруженного на обоих проекциях, генерация дополнительного набора переменных исходя из обнаруженных объектов на разных проекциях в виде координат, расстояний и метрик.
[0020] Блок 105 обработки данных выполнен с возможностью обработки данных посредством обучаемой нейронной сети и передачи обработанных данных блоку 106 постобработки. В данном блоке каждый снимок поступает на вход пред обученной нейронной сети. Обучение производится с использованием двух источников - общедоступных наборов данных с разметкой на уровне вида объекта, патологии и/или заболевания (координаты, вид болезни и тип опухоли), физических данных исследуемого объекта (стандарты плотности, допустимые погрешности), а также проприетарного набора данных с разметкой на уровне органа (патология/отсутствие патологии) или объекта. После выбора архитектуры нейронной сети производится её обучение с использованием размеченных данных. На каждом шаге нейронная сеть рассчитывает предсказания для одного или более снимков, эти предсказания сравниваются с настоящей разметкой (ground truth), и рассчитывается значение функции потерь (насколько сильно нейронная сеть ошиблась в детекции, определении класса и локации объекта). Далее, с помощью метода градиентного спуска и алгоритма backpropagation все веса нейронной сети изменяются в соответствии с выбранным параметром скорости обучения в направлении, обратном вычисленному градиенту для того, чтобы минимизировать ошибку на текущем(их) снимке(ах). Этот шаг повторяется многократно, и в результате процесса обучения веса нейронной сети сходятся к оптимальным. В результате упомянутых процедур, каждый объект подвергается классификации (например, объемное образование, доброкачественная опухоль, злокачественная опухоль и т.д.). Оптимальные гиперпараметры и параметры системы, определяющие в том числе процент допущенных ошибок, формируются как специалистами по анализу данных компании – заявителя, так и экспертным сообществом (врачебное сообщество, промышленное сообщество и прочее).
[0021] Упомянутая нейронная сеть включает в себя: компонент свёртки, выполненный с возможностью преобразования исходного рентгенографического изображения в карту переменных, которая обеспечивает кодирование информации об объектах на исходном рентгенографическом изображении и передачи карты переменных компоненту регионального предложения (Region Proposal Network (RPN)); компонент регионального предложения, выполненный с возможностью подсчета прогнозов релевантных объектов на карте переменных и передачи карты переменных и подсчитанных прогнозов компоненту классификации; компонент классификации, выполненный с возможностью вычисления вероятности того, что найденный на рентгенографическом изображении объект является фоновым объектом, и передачи классифицированных данных компоненту регрессии и компоненту агрегации; компонент регрессии, выполненный с возможностью определения точного местоположения найденного объекта на изображении и передачи обработанных данных компоненту агрегации; и компонент агрегации информации данных, выполненный с возможностью агрегирования информации данных, полученных от компонента классификации и компонента регрессии, где в результате агрегации формируются итоговые данные о типе найденного объекта.
[0022] Блок 106 постобработки выполнен с возможностью постобработки данных, их передачу в блок 107 хранения данных в блок 108 отображения для вывода, по меньшей мере, одному пользователю и в блок 109 интерпретации данных, где постобработка включает подсчет результата совпадения физических параметров найденного и обработанного объекта в соответствии с выбранными оптимальными весами. Процесс выбора оптимальных весов указан в пункте 20 настоящей заявки. Данный блок реализует вывод прогноза наличия болезни/патологии в процентах, определяет класс заболевания, вид, его доброкачественность и злокачественность, переводит в стандартизированный вид. При исследовании промышленных объектов, прогноз рисков и их значений при обнаружении отклонений от нормы. Далее переводит соответствующую информацию в блок получения результата и архив. Параллельно производится автоматическая идентификация патологий, болезней на визуальном уровне с получением ее/их координат на снимке, с дальнейшим визуальным выводом результата и записью в архив. То же самое происходит при исследовании промышленных исследуемых объектов.
[0023] Блок 107 хранения данных выполнен с возможностью приема, передачи и сохранения рентгенографических изображений и их данных. Блок 107 может быть выполнен в виде постоянного машиночитаемого носителя, содержащего инструкции, побуждающие процессор передавать, принимать и сохранять вышеупомянутые данные.
[0024] Блок 108 отображения предназначен для расшифровки зашифрованных интерпретированных данных и отображения, по меньшей мере, одному пользователю обработанных посредством вышеупомянутых блоков данных. В качестве блока 108 может использоваться один или несколько дисплеев типа ЭЛТ, ЖК, плазменный, сенсорный, проектор, LED, OLED и т.д.
[0025] Блок 109 интерпретации данных выполнен с возможностью формирования интерпретированных данных и шифровки интерпретированных данных, где интерпретированные данные подробно описывают упомянутый подсчет результатов блока постобработки, где под интерпретацией понимается влияние найденных объектов различных классов на формирование финальной рекомендации и подсвечивание областей изображения, которые максимально повлияли на прогноз модели, что это объект того или иного класса, с последующим выводом интерпретированных данных, посредством блока отображения, по меньшей мере, одному пользователю. Под интерпретацией подразумевается альтернативная интерпретация данных при значительной доле визуальных и текстовых данных и применении сложных ансамблевых архитектур на базе машинного обучения, например, SHAP values, Lime. Блок 109 интерпретации данных необходим для применимости заявленной системы в задачах с высокой ценой ошибки, например, диагностика онкологии. В целом, блок 109 интерпретации данных описывает то, почему был выведен тот или иной прогноз наличия болезни/патологии в процентах, определен тот или иной класс заболевания, вид, его доброкачественность и злокачественность. Блок 109 при интерпретации данных определяет, какие характеристики рентгенографического снимка повлияли определение физических данных исследуемого объекта, их классификацию и т.д. Интерпретация может производиться с помощью анализа коэффициентов логистической регрессии и вычисления градиента по отношению к входным данным рентгенографического изображения. Анализ коэффициентов логистической регрессии является глобальной интерпретацией, а вычисление градиента по отношению к входным данным рентгенографического изображения обеспечивает нахождение объектов и является локальной интерпретацией. Дополнительно необходимо отметить, что вышеупомянутые блоки (все или частично) также могут быть реализованы на удаленном сервере 111.
[0026] На рисунке (Фиг. 2) представлена блок-схема этапов обработки рентгенографических изображений.
[0027] На этапе 201 происходит загрузка файлов рентгенографических изображений в систему 100. Данные могут загружаться как от внешних (по отношению к системе 100) источников, так и посредством устройств, выполненных с возможностью генерирования рентгенографических изображений. Далее процесс переходит к этапу 202.
[0028] На этапе 202 происходит предварительная обработка рентгенографических изображений.  В случае, если обработанные данные не нуждаются в передаче удаленному серверу 111, то процесс переходит к этапу 204. В противном случае – к этапу 203. Передача удаленному серверу обработанных данных на этапе 202 или отсутствие необходимости в данной передаче определяется автоматически администратором заявленной системы.
[0029] На этапе 203 происходит сжатие или разархивирование обработанных рентгенографических изображений, их передача или их прием между удаленным сервером 111 и блоком 103 сжатия или разархивирования.
[0030] На этапе 204 происходит нахождение (посредством блока 104), по меньшей мере, на двух предварительно обработанных изображениях, по меньшей мере, одного схожего объекта, его обработки. После упомянутого нахождение процесс переходит к этапу 205.
[0031] На этапе 205 происходит обработка данных посредством обучаемой нейронной сети. На данном этапе происходит сравнение физических параметров найденного и обработанного объекта. В результате данной обработки объект подвергается классификации (например, объемное образование, доброкачественная опухоль, злокачественная опухоль и т.д.). Далее процесс переходит к этапу 206.
[0032] На этапе 206 происходит постобработка данных (посредством блока 106). В результате постобработки выводится прогноз наличия болезни/патологии в процентах, определяется класс заболевания, вид, его доброкачественность и злокачественность, переводятся данные в стандартизированный вид. В случае исследования промышленных объектов происходит прогноз рисков и их значений при обнаружении отклонений от нормы. После этапа 206 процесс переходит одновременно к этапам 207, 208 и 209.
[0033] На этапе 207 происходит сохранение пост обработанных данных, а также данных, подвергшихся интерпретации в соответствии с этапом 209. Данное сохранение может производиться как в память сервера 111, так и в память вычислительного устройства пользователя, так и в оба сегмента
[0034] На этапе 208 происходит отображение, по меньшей мере, одному пользователю обработанных (в соответствии с этапами 201, 202, 203, 204, 205, 206) данных, и/или интерпретированных данных (в соответствии с этапом 209).
[0035] На этапе 209 происходит интерпретация данных, в соответствии с которой подробно описывается подсчет результатов блока 106 постобработки посредством анализа коэффициентов логистической регрессии и вычисления градиента по отношению к входным данным, и вывода интерпретированных данных, посредством блока отображения, по меньшей мере, одному пользователю. После процедуры интерпретации, процесс одновременно переходит к этапам 207 и 208.
[0036] Хотя данное изобретение было показано и описано со ссылкой на определенные варианты его осуществления, специалистам в данной области техники будет понятно, что различные изменения и модификации могут быть сделаны в нем, не покидая фактический объем изобретения.