СИСТЕМЫ И СПОСОБЫ СЕГМЕНТАЦИИ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ НА ОСНОВАНИИ ПРИЗНАКОВ, ОСНОВАННЫХ НА АНАТОМИЧЕСКИХ ОРИЕНТИРАХ
SYSTEMS AND METHODS OF SEGMENTING MEDICAL IMAGES BASED ON ANATOMICAL LANDMARK-BASED FEATURES

ОБЛАСТЬ ТЕХНИКИ
[001] Это раскрытие в целом относится сегментации медицинских изображений. Более конкретно, это раскрытие относится к системам и способам автоматизированной сегментации медицинских изображений на основании алгоритмов обучения с использованием признаков, извлекаемых по отношению к анатомическим ориентирам.
УРОВЕНЬ ТЕХНИКИ
[002] Методы сегментации изображений широко используют для сегментации медицинских изображений и определения контуров между анатомическими структурами на изображениях. Например, при лучевой терапии, автоматическую сегментацию органов обычно выполняют для того, чтобы снижать время создания контуров и повышать точность контуров и согласованность среди различных больниц. Однако автоматизированная сегментация остается очень сложной задачей на медицинских изображениях, которые имеют низкое качество изображения, таких как некоторые изображения компьютерной томографии (CT) или компьютерной томографии с коническим лучом (CBCT), которые можно использовать для того, чтобы лечить пациентов со злокачественными опухолями. Например, известно, что такие CT или CBCT изображения имеют более низкий контраст и слабые текстуры для большинства структур мягких тканей. Следовательно, стандартные способы сегментации изображений, основанные в первую очередь на контрасте изображения, часто не способны найти точный контур между фоном и анатомическими структурами (например, органами или опухолями), представляющими интерес, или между различными анатомическими структурами на медицинском изображении.
[003] На фиг. 1 проиллюстрировано образцовое трехмерное CT изображение от типичного пациента со злокачественной опухолью предстательной железы. На иллюстрации (A) представлена тазовая область пациента в трехмерном виде, которая содержит мочевой пузырь, предстательную железу и прямую кишку пациента. Изображения (B), (C) и (D) представляют собой осевой, сагиттальный и фронтальный вид из трехмерного CT изображения этой тазовой области. Как показано на изображениях (B), (C) и (D), наибольшая часть границы предстательной железы пациента не видна. То есть, нельзя легко различить предстательную железу и другие анатомические структуры или определить контур для предстательной железы. Для сравнения, изображения (E), (F) и (G) показывают ожидаемый контур предстательной железы на том же трехмерном CT изображении. Следовательно, стандартные способы сегментации изображений на основании только контраста и текстур, представленных на изображении, вероятно, откажут при их использовании для сегментации этого образцового трехмерного CT изображения.
[004] Существующие разработки в способах машинного обучения делают возможной усовершенствованную сегментацию изображений на изображениях более низкого качества. Например, алгоритмы обучения с учителем могут «обучать» машины или компьютеры для того, чтобы спрогнозировать, к какой анатомической структуре должен относиться каждый пиксель или воксель медицинского изображения. В таком прогнозировании обычно используют признаки пикселя или вокселя в качестве входных данных. Следовательно, эффективность сегментации существенно зависит от типа доступных признаков. До настоящего времени, большинство способов сегментации изображений, основанных на обучении, основаны в первую очередь на локальных признаках изображения, таких как интенсивности изображения, текстуры изображения и т. д. Как результат, эти способы сегментации до сих пор остаются субоптимальными для изображений более низкого качества, таких как трехмерное CT изображение, представленное на фиг. 1.
[005] Соответственно, существует необходимость разрабатывать более подходящие признаки для способов автоматической сегментации, основанных на обучении, чтобы усовершенствовать эффективность сегментации на медицинских изображениях при лучевой терапии или в связанных областях.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[006] Определенные варианты осуществления по настоящему раскрытию относятся к способу сегментации медицинских изображений. Способ можно реализовать посредством процессорного устройства, исполняющего множество исполняемых компьютером инструкций. Способ может включать получение изображения из памяти и идентификацию по меньшей мере одной точки ориентира на изображении. Способ дополнительно может включать выбор точки изображения на изображении и определение по меньшей мере одного признака для точки изображения по отношению по меньшей мере к одной точке ориентира. Способ также может включать установление связи точки изображения с анатомической структурой посредством использования классификационной модели на основании по меньшей мере одного определяемого признака.
[007] Определенные варианты осуществления по настоящему раскрытию относятся к другому способу сегментации медицинских изображений. Способ можно реализовать посредством процессорного устройства, исполняющего множество исполняемых компьютером инструкций. Способ может включать получение изображения из местоположения в памяти и идентификацию по меньшей мере одной точки ориентира на изображении. Способ дополнительно может включать выбор точки изображения на изображении и определение по меньшей мере одного признака для точки изображения по отношению по меньшей мере к одной точке ориентира. Способ дополнительно может включать извлечение по меньшей мере одного из текстуры изображения, участка изображения из изображения или их сочетаний. Способ также может включать установление связи точки изображения с анатомической структурой посредством использования классификационной модели на основании по меньшей мере одного определяемого признака и по меньшей мере одного из извлекаемой текстуры изображения, извлекаемого участка изображения и их сочетаний.
[008] Определенные варианты осуществления по настоящему раскрытию относятся к невременному машиночитаемому носителю данных, хранящему исполняемые компьютером инструкции. При исполнении компьютером, исполняемые компьютером инструкции могут побуждать компьютер выполнять операцию по обучению классификационной модели, используемой для сегментации медицинских изображений. Исполняемые компьютером инструкции могут включать в себя инструкции для получения обучающего изображения, обучающее изображение содержит множество точек изображения, и каждая точка изображения на обучающем изображении присвоена анатомической структуре. Исполняемые компьютером инструкции дополнительно могут содержать инструкции для идентификации по меньшей мере одной точки ориентира на обучающем изображении и определение одного или нескольких признаков для каждой точки изображения на обучающем изображении по отношению к точке ориентира. Исполняемые компьютером инструкции также могут содержать инструкции для использования множества точек изображения в качестве обучающих данных для того, чтобы обучать классификационную модель. Классификационная модель устанавливает связь неклассифицированной точки изображения с анатомической структурой на основании одного или нескольких определяемых признаков для неклассифицированной точки изображения.
[009] Определенные варианты осуществления по настоящему раскрытию относятся к невременному машиночитаемому носителю данных, хранящему исполняемые компьютером инструкции. Исполняемые компьютером инструкции, при исполнении компьютером, могут побуждать компьютер выполнять операцию по сегментации медицинских изображений с использованием классификационной модели. Исполняемые компьютером инструкции могут включать в себя инструкции для получения изображения из местоположения в памяти и идентификации по меньшей мере одной точки ориентира на изображении. Исполняемые компьютером инструкции дополнительно могут включать в се6я инструкции для выбора точки изображения на изображении и определение по меньшей мере одного признака для точки изображения по отношению к точке ориентира. Исполняемые компьютером инструкции также могут включать в се6я инструкции для установления связи точки изображения с анатомической структурой посредством использования классификационной модели, на основании по меньшей мере одного определяемого признака.
[010] Определенные варианты осуществления по настоящему раскрытию относятся к системе для обучения классификационной модели, используемой для сегментации медицинских изображений. Система может содержать базу данных, выполненную с возможностью хранения множества обучающих изображений, каждое обучающее изображение содержит множество точек изображения и каждой точке изображения присвоена анатомическая структура. Система дополнительно может содержать обучающий блок, соединенный с базой данных для того, чтобы осуществлять доступ к множеству обучающих изображений. Обучающий блок может содержать модуль извлечения признаков и модуль обучения классификатора. Модуль извлечения признаков можно выполнять с возможностью получать обучающее изображение из базы данных. Обучающее изображение содержит множество точек изображения и каждой точке изображения на обучающем изображении присваивают анатомическую структуру. Модуль извлечения признаков дополнительно можно выполнять с возможностью идентифицировать по меньшей мере одну точку ориентира на содержащем обучающем изображении. Модуль извлечения признаков также можно выполнять с возможностью определять один или несколько признаков для каждой точки изображения на обучающем изображении по отношению к точке ориентира. Модуль обучения классификатора можно конфигурировать для того, чтобы использовать множество точек изображения в качестве обучающих данных для того, чтобы обучать классификационную модель. Классификационная модель устанавливает связь неклассифицированной точки изображения с анатомической структурой на основании одного или нескольких определяемых признаков для неклассифицированной точки изображения.
[011] Определенные варианты осуществления по настоящему раскрытию относятся к системе для сегментации медицинских изображений с использованием классификационной модели. Система может содержать базу данных, выполненную с возможностью хранения множества изображений. Система дополнительно может содержать блок классификации, соединенный с базой данных для того, чтобы осуществлять доступ к множеству изображений. Блок классификации может содержать модуль извлечения признаков и модуль анатомической классификации. Блок классификации можно выполнять с возможностью получать изображение из базы данных и идентифицировать по меньшей мере одну точку ориентира на изображении. Блок классификации дополнительно можно выполнять с возможностью выбирать точку изображения на изображении, и определять по меньшей мере один признак для точки изображения по отношению к точке ориентира.
[012] Дополнительные цели и преимущества настоящего раскрытия изложены отчасти в дальнейшем подробном описании и отчасти будут очевидны из описания или могут быть изучены при практическом осуществлении настоящего раскрытия. Цели и преимущества по настоящему раскрытию реализуют и достигают посредством элементов и комбинаций, конкретно указанных в приложенной формуле изобретения.
[013] Следует понимать, что приведенное выше общее описание и следующее подробное описание являются лишь образцовыми и пояснительными и не являются ограничением изобретения, как заявлено.
КРАТКОЕ ОПИСАНИЕ ФИГУР
[014] Сопроводительные чертежи, которые составляют часть этого описания, иллюстрируют некоторые варианты осуществления и, вместе с описанием, служат для объяснения раскрытых принципов.
[015] На фиг. 1 проиллюстрировано образцовое трехмерное компьютерное томографическое (CT) изображение от типичного пациента со злокачественной опухолью предстательной железы.
[016] На фиг. 2 проиллюстрирована образцовая система сегментации изображений для сегментации медицинских изображений на основании алгоритмов обучения с использованием признаков ориентиров в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[017] На фиг. 3 проиллюстрировано образцовое устройство обработки медицинских изображений, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[018] На фиг. 4A представлена блок-схема, которая иллюстрирует образцовый процесс обучения анатомического классификатора для обучения анатомической классификационной модели с использованием признаков ориентиров, извлекаемых из обучающих изображений, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[019] На фиг. 4B представлена блок-схема, которая иллюстрирует другой образцовый процесс обучения анатомического классификатора образцовый процесс для обучения анатомической классификационной модели с использованием признаков ориентиров, извлекаемых из обучающих изображений, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[020] На фиг. 5A представлена блок-схема, которая иллюстрирует образцовый процесс анатомической классификации для классификации точек изображения на медицинском изображении с использованием анатомической классификационной модели, получаемой через процесс, показанный на фиг. 4A, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[021] На фиг. 5B представлена блок-схема, которая иллюстрирует другой образцовый процесс анатомической классификации для классификации точек изображения на медицинском изображении с использованием анатомической классификационной модели, получаемой через процесс, показанный на фиг. 4B, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[022] На фиг. 6 проиллюстрированы образцовые точки ориентиров в различных анатомических структурах трехмерного медицинского изображения и соответствующие им осевые, сагиттальные и фронтальные виды, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[023] На фиг. 7 проиллюстрированы признаки ориентиров для вокселя изображения по отношению к двум точкам ориентиров, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[024] На фиг. 8 проиллюстрированы результаты сегментации трехмерного CT изображения, проиллюстрированного на фиг. 1, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[025] На фиг. 9 представлена блок-схема, которая иллюстрирует образцовые дополнительные применения результатов сегментации, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
ПОДРОБНОЕ ОПИСАНИЕ
[026] Хотя примеры и признаки раскрытых принципов описаны в настоящем документе, возможны модификации, изменения и другие варианты реализации, не выходящие за рамки сущности и объема раскрытых вариантов осуществления. Также предусмотрено, что слова «содержит», «имеет», «вмещает» и «включает» и другие схожие формы имеют эквивалентное значение и их следует интерпретировать как не исчерпывающие, так что элемент или элементы после любого одного из этих слов не следует толковать в качестве полного списка из элемента или элементов или в качестве ограничения только перечисленным элементом или элементами. Предусмотрено, что формы единственного числа включают множественное число, пока контекст явно не диктует иное.
[027] Системы и способы в соответствии с настоящим раскрытием направлены на сегментацию медицинского изображения с использованием алгоритмов обучения на основании признаков ориентиров. Как используют в настоящем документе, «алгоритм обучения» относится к какому-либо алгоритму, который может обучать модель или паттерн на основании существующей информации или знаний. Например, алгоритм обучения может представлять собой алгоритм машинного обучения или какой-либо другой подходящий алгоритм обучения. В некоторых вариантах осуществления можно использовать алгоритм обучения с учителем, такой как способ опорных векторов (SVM), Adaboost/Logitboost, случайный лес и нейронная сеть. В некоторых других вариантах осуществления также можно использовать алгоритмы полуконтролируемого обучения.
[028] Обучение с учителем представляет собой ветвь машинного обучения, которое выводит модель прогнозирования с учетом набора обучающих данных. Каждый индивидуальный набор обучающих данных представляет собой пару, содержащую вектор данных (например, серию измерений) и желаемое выходное значение. Алгоритм обучения с учителем анализирует обучающие данные и создает функцию предиктора. Функцию предиктора называют классификатором или классификационной моделью, когда выходные данные являются дискретными, такими как список маркировок, идентифицирующих различные группы. Функция предиктора, когда ее получают посредством обучения, способна прогнозировать правильное выходное значение для любого достоверного входного объекта.
[029] В соответствии с раскрытыми вариантами осуществления, сегментацию изображений можно формулировать как функцию классификации, основанную на обучении, которая классифицирует каждую точку изображения на медицинском изображении как одну из анатомических структур. Как используют в настоящем документе, «точка изображения» относится к элементу изображения на цифровом изображении, которая соответствует физической точке в подлежащем объекте. Например, точка изображения представляет собой пиксель в двухмерном изображении или воксель в трехмерной изображении.
[030] В соответствии с раскрытыми вариантами осуществления, сегментация изображений также позволяет классифицировать блоки в изображении вместо точек изображения. Как используют в настоящем документе, «блок в изображении» представляет собой группу точек изображения, которую следует классифицировать вместе. Например, блок в изображении может представлять собой суперпиксель в двухмерном изображении или супервоксель в трехмерном изображении. Когда известно, что точки изображения внутри блока в изображении относятся к одной и той же анатомической структуре, классификация на основании блоков в изображении может быть более эффективной и точной. Соответственно, всякий раз, когда термин «точка изображения» используют на всем протяжении этого раскрытия, он предназначен для того, чтобы покрывать как базовую «точку изображения», так и «блок в изображении», как определено выше.
[031] Раскрытые способы сегментации в целом включают два этапа: этап обучения, на котором «обучают» анатомическую классификационную модель, и этап классификации, в котором используют анатомическую классификационную модель для того, чтобы спрогнозировать анатомическую структуру, к которой принадлежит каждая точка изображения.
[032] В соответствии с раскрытыми вариантами осуществления, в процессе обучения используют набор обучающих изображений для того, чтобы обучать анатомическую классификационную модель. Как используют в настоящем документе, «обучающее изображение» представляет собой изображение, где точки изображения уже классифицированы и маркированы. Например, обучающее изображение может быть предварительно сегментированным. Следовательно, точки изображения на обучающем изображении связаны с известными анатомическими структурами.
[033] В соответствии с раскрытыми вариантами осуществления, процесс обучения идентифицирует точки ориентиров на каждом обучающем изображении и определяет признаки ориентиров каждой точки изображения на обучающем изображении на основании этих точек ориентиров. Как используют в настоящем документе, «точка ориентира» представляет собой опорную точку на обучающем изображении, которая соответствует известному анатомическому ориентиру. Соответственно, «признак ориентира» представляет собой признак, связанный с точкой изображения, и отражает зависимость между точкой изображения и точкой ориентира. В некоторых вариантах осуществления признак ориентира может отражать относительные положения или геометрию между точкой изображения и точкой ориентира. Примеры признаков ориентиров могут включать, но не ограничиваясь этим, (1) относительное расстояние между точкой изображения и точкой ориентира, (2) направление и/или значения компонент вектора смещения, сформированного на основании точки изображения с использованием точки ориентира, (3) угол, площадь, объем или другие геометрические меры, которые можно вычислять по геометрической форме, образуемой точкой изображения и множеством точек ориентиров, (4) значения относительной интенсивности между точкой изображения и каждой точкой ориентира, (5) любые производные значения на основании приведенных выше мер, такие как синус/косинус углов или квадрат или квадратный корень значений расстояния.
[034] В соответствии с раскрытыми вариантами осуществления, в процессе обучения используют признаки ориентиров каждой точки изображения в качестве вектора обучающих данных, и известную анатомическую маркировку соответствующей точки изображения в качестве желаемых выходных данных и применяют алгоритм обучения с учителем. При обучении должным образом с использованием процесса, рассмотренного более подробно далее, такой алгоритм можно использовать в качестве части анатомического классификатора.
[035] В соответствии с раскрытыми вариантами осуществления, в модуле классификации используют обученный классификатор для того, чтобы выполнять прогнозирование в отношении анатомических структур точек изображения на медицинском изображении, которое не сегментировано. В контексте машинного обучения, классификация представляет собой только прогнозирование того, к какой анатомической структуре наиболее вероятно принадлежит точка изображения. Другими словами, модуль классификации определяет вероятности того, что конкретная точка изображения относится к той или иной анатомической структуре, и затем прогнозирует, что точка изображения должна относиться к анатомической структуре, связанной с наивысшей вероятностью.
[036] В соответствии с раскрытыми вариантами осуществления, модуль классификации также идентифицирует точки ориентиров на медицинском изображении, подлежащем сегментации, и определяет признаки ориентиров каждой точки изображения на изображении на основании этих точек ориентиров. Точки ориентиров в целом находятся в тех же местоположения, которые идентифицированы на обучающих изображениях. Аналогичным образом, определяемые признаки ориентиров также в целом относятся к тем же типам, что и те, которые определены во время процесса обучения. Затем признаки ориентиров передают в обученный классификатор, чтобы получать прогнозирование маркировки анатомической структуры для каждой точки изображения. Когда все точки изображения на медицинском изображении должным образом маркированы, изображение сегментировано.
[037] В соответствии с раскрытыми вариантами осуществления, обучающий модуль и модуль классификации также могут определять и использовать признаки изображения, которые не основаны на ориентирах. Как используют в настоящем документе, «признак изображения» связан с точкой изображения и отражает локальные свойства или контекстные характеристики связанной точки изображения. Примеры признака изображения могут включать, но не ограничиваясь этим, интенсивность изображения, текстуру изображения, участок изображения, кривизну профиля интенсивности и т. д. В раскрытых обучающей модули и модули классификации можно использовать один или несколько признаков изображения в сочетании с признаками ориентиров.
[038] Раскрытые системы и способы сегментации изображений можно применять к медицинским изображениям, получаемым из модальностей визуализации любого типа, включая в качестве неограничивающих примеров рентген, CT, CBCT, спиральную CT, магнитно-резонансную визуализацию (MRI), ультразвук (US), позитронно-эмиссионную томографию (PET), однофотонную эмиссионную компьютерную томографию (SPECT) и оптические изображения. Кроме того, раскрытые системы и способы сегментации изображений можно адаптировать для того, чтобы сегментировать как двухмерные, так и трехмерные изображения. При сегментации двухмерного изображения точки ориентиров идентифицируют в двухмерной плоскости и связанные признаки ориентиров также вычисляют в двух измерениях.
[039] Образцовые варианты осуществления далее описаны со ссылкой на сопроводительные чертежи. На фиг. самая левая цифра(цифры) номера позиции идентифицирует фиг., на которой номер позиции появляется первые. Повсюду, где удобно, одни и те же номера позиций используют на всех чертежах, чтобы отослать к одним и тем же или схожим частям.
[040] Фиг. 1 описана ранее. На фиг. 2 проиллюстрирована образцовая система 100 сегментации изображений для сегментации медицинских изображений на основании алгоритмов обучения с использованием признаков ориентиров, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. Система 100 сегментации изображений может содержать базу 101 данных обучающих изображений, обучающий блок 102 анатомического классификатора, блок 103 анатомической классификации, базу 104 данных медицинских изображений и сеть 105. В некоторых вариантах осуществления система 100 сегментации изображений может содержать больше или меньше компонентов, представленных на фиг. 2. Например, когда предусмотрен предварительно обученный анатомический классификатор, система 100 сегментации изображений может содержать только блок 103 анатомической классификации, базу 104 данных медицинских изображений и, необязательно, сеть 105.
[041] В некоторых вариантах осуществления различные компоненты системы 100 сегментации изображений можно располагать удаленно друг от друга и соединять через сеть 105. В некоторых альтернативных вариантах осуществления определенные компоненты системы 100 сегментации изображений можно располагать в одном и том же месте или внутри одного устройства. Например, базу 101 данных обучающих изображений можно располагать вместе с обучающим блоком 102 анатомического классификатора, или она может представлять собой часть обучающего блока 102 анатомического классификатора. В качестве другого примера, обучающий блок 102 анатомического классификатора и блок 103 анатомической классификации может быть внутри одного и того же компьютера или обрабатывающего устройства.
[042] Как показано на фиг. 2, обучающий блок 102 анатомического классификатора может осуществлять связь с базой 101 данных обучающих изображений для того, чтобы получать одно или несколько обучающих изображений. Обучающие изображения, хранимые в базе 102 данных обучающих изображений, можно получать из базы данных медицинских изображений, которая содержит изображения от предыдущих сеансов радиотерапевтического лечения. Обучающие изображения являются предварительно сегментированными. То есть, каждая точка изображения (пиксель или воксель) на обучающем изображении связана или с фоном или с одной из известных анатомических структур, содержащихся на обучающем изображении. В соответствии с раскрытыми вариантами осуществления, обучающие изображения могут включать MRI изображения, трехмерную MRI, двухмерную потоковую MRI, четырехмерную волюметрическую MRI, CT изображения, CBCT изображения, спиральные CT изображения, PET изображения, функциональные MRI изображения (например, fMRI, DCE-MRI и диффузионная MRI), рентгеновские изображения, флюороскопические изображения, ультразвуковые изображения, радиотерапевтические портальные изображения, SPECT изображения и т. п. В некоторых вариантах осуществления обучающие данные можно собирать из Oncology Information System.
[043] В обучающем блоке 102 анатомического классификатора можно использовать обучающие изображения, получаемые из базы 102 данных обучающих изображений, для того, чтобы генерировать анатомический классификатор с использованием алгоритмов обучения. Как показано на фиг. 2, обучающий блок 102 анатомического классификатора может содержать модуль 121 извлечения признаков ориентиров и обучающий модуль 122 на основе признаков ориентиров. Обучающий блок 102 анатомического классификатора может дополнительно содержать интерфейсы ввода и вывода (не показано) для того, чтобы осуществлять связь с базой 101 данных обучающих изображений, сетью 105 и пользователем 112. В соответствии с некоторыми вариантами осуществления, обучающий блок 102 анатомического классификатора можно реализовать с использованием аппаратного обеспечения (например, как раскрыто на фиг. 3), специально запрограммированного с помощью программного обеспечения, которое осуществляет процесс обучения анатомического классификатора (например, как раскрыто на фиг. 4A и 4B).
[044] Модуль 121 извлечения признаков ориентиров может идентифицировать одну или несколько точек ориентиров на каждом получаемом обучающем изображении. В некоторых вариантах осуществления точки ориентиров можно обнаруживать автоматически с помощью модуля 102 извлечения признаков ориентиров, например, на основании сегментации изображений и предшествующих знаний о различных анатомических структурах. В некоторых альтернативных вариантах осуществления точку ориентиров может выбирать или идентифицировать пользователь 112. Например, пользователь 112 может щелкать на обучающем изображении, отображаемом с помощью дисплея изображений (не показано), чтобы вводить местоположение точек ориентиров, или пользователь 112 может выбирать предварительно определяемый паттерн, карту или конфигурацию точек ориентиров. В соответствии с раскрытыми вариантами осуществления, точки ориентиров могут представлять собой анатомические ориентиры различных анатомических структур.
[045] Модуль 121 извлечения признаков ориентиров дополнительно может выбирать точку изображения, отличную от точек ориентиров. Точку изображения можно выбирать на обучающем изображении случайным образом. То есть, выбранная точка изображения может находиться где угодно на обучающем изображении, например, в какой-либо из тех же анатомических структур, что и точки ориентиров, или в другой анатомической структуре. Модуль 102 извлечения признаков ориентиров затем может определять и извлекать, для каждой выбранной точки изображения, один или несколько признаков ориентиров на основании зависимости между выбранной точкой изображения и каждой из точек ориентиров. Этот процесс извлечения признаков можно повторять для набора выбранных точек изображения на обучающем изображении до тех пор, пока все точки изображения на обучающем изображении не будут выбраны и обработаны. Явно определив совокупный набор точек анатомических ориентиров, которые служат в качестве опорных, затем каждую точку изображения кодируют с использованием информации о местоположении и геометрии высокого уровнях. Когда признаки ориентиров определяют для всех релевантных точек изображения на обучающем изображении, признаки ориентиров передают в обучающий модуль 122 на основе признаков ориентиров.
[046] В обучающем модуле 122 на основе признаков ориентиров можно использовать выбранные точки изображения в качестве обучающих данных, чтобы обучать классификатор. В некоторых вариантах осуществления обучение может проходить на основании алгоритмов обучения, таких как алгоритмы машинного обучения с учителем. Например, можно использовать такие алгоритмы обучения, как способ опорных векторов (SVM), Adaboost/Logitboost, случайный лес и нейронные сети. Классификатор обучают так, что когда признаки ориентиров для конкретной точки изображения на обучающем изображении вводят в модель, модель выводит прогнозирование анатомической структуры, которая соответствует предварительно определяемой анатомической структуре точки изображения. После обучения с использованием множества точек изображения из множества обучающих изображений, классификатор становится достаточно обученным для того, чтобы спрогнозировать анатомическую структуру неклассифицированной точки изображения на любом новом изображении.
[047] Блок 103 анатомической классификации может получать обученный анатомический классификатор из обучающего блока 102 анатомического классификатора. Как показано на фиг. 2, блок 103 анатомической классификации может содержать модуль 131 извлечения признаков ориентиров и модуль 132 классификации анатомических структур. Блок 103 анатомической классификации может дополнительно содержать интерфейсы ввода и вывода (не показано) для того, чтобы осуществлять связь с базой 104 данных обучающих изображений, сетью 105 и пользователем 113. В соответствии с некоторыми вариантами осуществления, блок 103 анатомической классификации можно реализовать с использованием аппаратного обеспечения (например, как раскрыто на фиг. 3), специально запрограммированного с помощью программного обеспечения, которое осуществляет процесс обучения анатомического классификатора (например, как раскрыто на фиг. 5A и 5B).
[048] Блок 103 анатомической классификации может осуществлять связь с базой 104 данных медицинских изображений для того, чтобы получать одно или несколько медицинских изображений. Медицинские изображения, хранимые в базе 103 данных медицинских изображений можно получать из базы данных медицинских изображений, которая содержит изображения из сеансов радиотерапевтического лечения. Эти медицинские изображения типично еще не сегментированы. В соответствии с раскрытыми вариантами осуществления, медицинские изображения, которые можно получать с использованием различных модальностей визуализации, включают MRI, функциональную MRI, CT, CBCT, спиральную CT, PET, SPECT, рентген, флюороскопическую визуализацию, ультразвук и радиотерапевтическую портальную визуализацию и т. д. В некоторых вариантах осуществления база 104 данных медицинских изображений может представлять собой интегрированную часть блока 103 анатомической классификации или быть расположена в том же месте, что и блок 103 анатомической классификации, например в помещении для радиотерапевтического лечения.
[049] Модуль 131 извлечения признаков ориентиров может иметь схожие структуры аппаратного обеспечения и программного обеспечения, что и модуль 121 извлечения признаков ориентиров. Модуль 131 извлечения признаков ориентиров может идентифицировать одну или несколько точек ориентиров на каждом медицинском изображении, получаемом из базы 105 данных медицинских изображений. Точки ориентиров, идентифицированные на медицинских изображениях, находятся в соответствии с теми, которые идентифицированы на обучающих изображениях. Точки ориентиров также может выбирать пользователь 113 или автоматически идентифицировать модуль 131 извлечения признаков ориентиров.
[050] Модуль 131 извлечения признаков ориентиров дополнительно может выбирать точку изображения, отличную от точек ориентиров на медицинском изображении, и определять один или несколько признаков ориентиров на основании зависимости между выбранной точкой изображения и точками ориентиров. Процесс извлечения признаков можно повторять для набора выбранных точек изображения на медицинском изображении до тех пор, пока все точки изображения на медицинском изображении не будут выбраны и обработаны. Признаки ориентиров, которые определены, можно передавать в модуль 132 классификации анатомических структур.
[051] В модуле 132 классификации анатомических структур можно использовать обученный анатомический классификатор, полученный от обучающего блока 102 анатомического классификатора, и признаки ориентиров, полученные от модуля 132 извлечения признаков ориентиров, чтобы спрогнозировать анатомические структуры для соответствующих точек изображения. Когда классифицируют все выбранные точки изображения, модуль 132 классификации анатомических структур может выводить сегментированное изображение. В некоторых вариантах осуществления сегментированное изображение можно отображать пользователю 113 или хранить в базе 104 данных медицинских изображений для использования в дальнейшем лечении. В некоторых вариантах осуществления сегментированное изображение можно автоматически сохранять в базе 101 данных обучающих изображений и делать его обучающим изображением.
[052] Сеть 105 может обеспечивать связь между любыми из описанных выше компонентов в системе 100 сегментации изображений. Например, сеть 105 может представлять собой локальную сеть (LAN), беспроводную сеть, облачную вычислительную среду (например, программное обеспечение в качестве службы, платформа в качестве службы, инфраструктура в качестве службы), клиент-сервер, глобальную сеть (WAN) и т. п.
[053] На фиг. 3 проиллюстрировано образцовое устройство 200 обработки медицинских изображений в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. Устройство 200 обработки медицинских изображений может представлять собой вариант осуществления обучающего блока 102 анатомического классификатора или блока 103 анатомической классификации или комбинацию этих двух. Как признают специалисты в данной области, в некоторых вариантах осуществления устройство 200 обработки медицинских изображений может представлять собой компьютер специального назначения или компьютер общего назначения. Например, устройство 200 обработки медицинских изображений может представлять собой компьютер, специально созданный для больниц, чтобы управлять задачами получения изображений и обработки изображений.
[054] Как показано на фиг. 3, устройство 110 обработки медицинских изображений может содержать процессор 221 изображений, память 222, базу 225 данных медицинских изображений, запоминающее устройство 226 для данных изображений, вход/выход 227, сетевой интерфейс 228 и дисплей 229 изображений.
[055] Процессор 221 изображений может представлять собой обрабатывающее устройство, содержать одно или несколько обрабатывающих устройств общего назначения, таких как микропроцессор, центральный блок обработки (CPU), блок обработки графики (GPU) или тому подобное. Более конкретно, процессор 221 изображений может представлять собой микропроцессор, вычисляющий сложный набор инструкций (CISC), микропроцессор, вычисляющий сокращенный набор инструкций (RISC), микропроцессор с инструкциями очень большой длины (VLIW), процессор, реализующий другие наборы инструкций, или процессоры, реализующие комбинацию наборов инструкций. Процессор 221 изображений также может представлять собой одно или несколько обрабатывающих устройств специального назначения, таких как специализированная интегральная схема (ASIC), программируемая пользователем вентильная матрица (FPGA), цифровой сигнальный процессор (DSP), система на чипе (SoC) или тому подобное.
[056] Процессор 221 изображений можно с возможностью связи сопрягать с памятью 222 и выполнять с возможностью исполнять исполняемые компьютером инструкции, хранимые в ней. Память 222 может содержать постоянное запоминающее устройство (ROM), флэш-память, оперативное запоминающее устройство (RAM), статическую память и т. д. В некоторых вариантах осуществления память 222 может хранить исполняемые компьютером инструкции, такие как одна или несколько программ 223 обработки изображений, а также данные, используемые или генерируемые при исполнении компьютерных программ, такие как медицинские данные 224 изображения. Процессор 221 может исполнять программы 223 обработки изображений для того, чтобы реализовать функциональности обучающего блока 102 анатомического классификатора и/или блока 103 анатомической классификации. Процессор 221 также может передавать/получать медицинские данные 224 изображения из памяти 222. Например, процессор 221 может получать обучающие данные изображения или медицинские данные изображения, хранимые в памяти 222. Процессор 221 также может генерировать промежуточные данные, такие как точки ориентиров и признаки ориентиров, и передавать их в память 222.
[057] Устройство 200 обработки медицинских изображений может необязательно содержать базу 225 данных медицинских изображений, которая содержит одну или обе из базы 101 данных обучающих изображений и базы 104 данных медицинских изображений. Специалист в данной области признает, что база 225 данных медицинских изображений может содержать множество устройств, расположенных централизованным или распределенным образом. Процессор 221 может осуществлять связь с базой 225 данных медицинских изображений, чтобы считывать изображения в память 222 или сохранять сегментированные изображения из памяти 222 в базу 225 данных медицинских изображений.
[058] Запоминающее устройство 226 для данных изображений может представлять собой дополнительный накопитель, доступный для сохранения данных, связанных с задачами обработки изображений, выполняемыми процессором 221 изображений. В некоторых вариантах осуществления запоминающее устройство 226 для данных изображений может содержать машиночитаемый носитель данных. Хотя машиночитаемый носитель данных в одном из вариантов осуществления может представлять собой один носитель данных, термин «машиночитаемый носитель данных» следует толковать как включающий один носитель данных или несколько носителей данных (например, централизованные или распределенные базы данных и/или связанные кэши и серверы), которые хранят один или несколько наборов исполняемых компьютером инструкций или данных. Термин «машиночитаемый носитель данных» также следует толковать как включающий любой носитель данных, который способен хранить или кодировать набор инструкций для исполнения с помощью машины и который побуждает машину выполнять какой-либо один или несколько методов по настоящему раскрытию. Термин «машиночитаемый носитель данных», соответственно, следует толковать как включающий, но без ограничения, твердотельную память, оптические и магнитные носители данных.
[059] Вход/выход 227 можно выполнять с возможностью получения и/или передачи данных посредством устройства 200 обработки медицинских изображений. Вход/выход 227 может содержать одно или несколько цифровых и/или аналоговых устройств связи, которые позволяют устройству 200 обработки медицинских изображений осуществлять связь с пользователем или другими машинами и устройствами. Например, вход/выход 227 может включать клавиатуру и мышь для пользователя 112 или пользователя 113 для обеспечения ввода.
[060] Сетевой интерфейс 228 может содержать сетевой адаптер, кабельный соединитель, последовательный соединитель, соединитель USB, параллельный соединитель, адаптер высокоскоростной передачи данных, такой как волокно, USB 3.0, Thunderbolt и т. п., беспроводной сетевой адаптер, такой как адаптер WiFi, телекоммуникационный (3G, 4G/LTE и т. п.) адаптер и т. п. Устройство 200 обработки медицинских изображений можно соединять с сетью 105 через сетевой интерфейс 228. Дисплей 229 изображений может представлять собой любое устройство отображения, которое подходит для отображения медицинских изображений. Например, дисплей 229 изображений может представлять собой LCD, CRT или LED дисплей.
[061] На фиг. 4A представлена блок-схема, которая иллюстрирует образцовый процесс 400A обучения анатомического классификатора для обучения анатомической классификационной модели с использованием признаков ориентиров, извлекаемых из обучающих изображений, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. В некоторых вариантах осуществления процесс 400A обучения анатомического классификатора можно осуществлять посредством обучающего блока 102 анатомического классификатора.
[062] Процесс 400A можно начинать, когда обучающий блок 102 анатомического классификатора получает обучающее изображение области, представляющей интерес, из базы 101 данных обучающих изображений (стадия 410). Например, обучающее изображение может представлять область таза, область головы, область сердца, область печени или другую анатомическую область пациента. В некоторых вариантах осуществления обучающее изображение может относиться к той же или схожей области, представляющей интерес, что и медицинское изображение, подлежащее сегментации.
[063] На стадии 420 модуль 121 извлечения признаков ориентиров может идентифицировать по меньшей мере одну точку ориентира на обучающем изображении. Поскольку в образцовых вариантах осуществления модуль 121 извлечения признаков ориентиров будет определять или локализовать один и тот же набор точек ориентиров на всех обучающих изображениях, то, таким образом, может быть предпочтительно, чтобы выбранные точки ориентиров имели сильные или выраженные характеристики изображения. Например, точки ориентиров могут соответствовать уникальным или выраженным анатомическим местоположениям в организме человека или могут иметь выраженный внешний вид изображения.
[064] Эти точки ориентиров или может вручную собирать пользователь 112 и передавать в модуль 121 извлечения признаков ориентиров или можно автоматически обнаруживать с помощью модуля 121 извлечения признаков ориентиров. В некоторых вариантах осуществления автоматическое обнаружение можно осуществлять через, например, совмещение изображений между обучающим изображением и предварительно определяемой картой ориентиров той же анатомической области. Например, предварительно определяемая карта ориентиров может определять конкретное картирование или расстояние между различными точками ориентиров для конкретной анатомической области. Если пользователь 112 обрабатывает медицинские изображения, показывающие конкретную анатомическую область пациента, то пользователь 112 может, таким образом, выбирать предварительно определяемую карту ориентиров, которая соответствует этой анатомической области. После выбора, точки ориентиров, определяемые посредством предварительно определяемой карты, после этого можно передавать в модуль 121. Когда обучающее изображение представляет собой трехмерное изображение, точки ориентиров могут представлять собой воксели, и когда обучающее изображение представляет собой двухмерной изображение, точки ориентиров могут представлять собой пиксели.
[065] Например, на фиг. 6 проиллюстрированы образцовые точки 610-630 ориентиров в различных анатомических структурах трехмерного медицинского изображения (A) и соответствующих ему осевых, сагиттальных и фронтальных видах (B)-(J), в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. Как показано на фиг. 6, точку 610 ориентира располагают около центра мочевого пузыря, точку 620 ориентира располагают на границе мочевого пузыря и предстательной железы и точку 630 ориентира располагают около центра предстательной железы. Изображения (B), (C) и (D) представляют собой осевой, сагиттальный и фронтальный виды, которые показывают точку 610 ориентира. Изображения (E), (F) и (G) представляют собой осевой, сагиттальный и фронтальный виды, которые показывают точку 620 ориентира. Изображения (H), (I) и (J) представляют собой осевой, сагиттальный и фронтальный виды, которые показывают точку 630 ориентира.
[066] Специалист в данной области примет во внимание, что точки ориентиров не ограничены образцовыми местоположениями, представленными на фиг. 6, но скорее их можно выбирать в любых местоположениях обучающего изображения. Также точки ориентиров не ограничены тазовой областью. Их можно располагать в любой области организма человека, такой как голова и шея, легкие, печень или таз женщины.
[067] Возвращаясь к фиг. 4A, на стадии 430 модуль 121 извлечения признаков ориентиров может идентифицировать набор точек изображения на обучающем изображении, где каждая точка изображения предварительно связана с известной анатомической структурой. Точки изображения, идентифицированные таким образом, могут включать репрезентативные точки изображения в фоне и каждой из анатомических структур, присутствующих на обучающем изображении.
[068] На стадии 440, модуль 121 извлечения признаков ориентиров может определять по меньшей мере один признак ориентира для точки изображения по отношению по меньшей мере к одной точке ориентира. В некоторых вариантах осуществления признаки ориентиров можно вычислять для каждой точки изображения на основании ее относительного положения и геометрии по отношению к точкам ориентиров. Как результат, набор признаков ориентиров можно определять для конкретной точки изображения по отношению к одной точке ориентира. Когда множество точек ориентиров идентифицируют на стадии 420, множество наборов признаков ориентиров можно связывать с конкретной точкой изображения.
[069] Например, на фиг. 7 проиллюстрированы признаки ориентиров для вокселя 730 изображения по отношению к двум точкам 710 и 720 ориентиров, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. Как показано на фиг. 7, точка 710 ориентира расположена около центра мочевого пузыря и точка 720 ориентира расположена на границе мочевого пузыря и предстательной железы. Воксель 730 изображения расположен в области предстательной железы.
[070] На фиг. 7 дополнительно представлены точки 710, 720 ориентиров и воксель 730 изображения в трехмерных ортогональных координатах. Координаты для точки 710 ориентира представляют собой (a, b, c), для точки 720 ориентира представляют собой (d, e, f) и для вокселя 730 изображения представляют собой (r, s, t). На этой иллюстрации признаки ориентиров вокселя 730 изображения основаны на позиционной или геометрической зависимости между вокселем 730 изображения и каждой из точек 710 и 720 ориентиров.
[071] В некоторых вариантах осуществления признаки ориентиров могут включать относительное расстояние между точкой изображения и точкой ориентира. Например, относительное расстояние между точкой 730 изображения и точкой 710 ориентира представляет собой  и относительное расстояние между точкой 730 изображения и точкой 720 ориентира представляет собой
[072] В некоторых вариантах осуществления признаки ориентиров также могут включать направление и/или значения компонент вектора смещения, сформированного между точкой изображения и точкой ориентира или посредством их соединения. Например, на фиг. 7 представлены стрелки, указывающие от вокселя 730 изображения на каждую из двух точек 710, 720 ориентиров, которые указывают соответствующие направления векторов смещения между ними. Значения компонента таких векторов также можно вычислять для того, чтобы формировать признаки ориентиров, связанные с вокселем 730 изображения.
[073] В некоторых вариантах осуществления признаки ориентиров могут включать угол, площадь, объем или другие геометрические меры, которые можно вычислять по геометрической форме, образуемой точкой изображения и множеством точек ориентиров. Например, точки 710, 720 ориентиров и воксель 730 изображения образуют треугольник, где три угла и площадь треугольника можно вычислять для того, чтобы определять признаки ориентиров, связанные с вокселем 730 изображения.
[074] В некоторых дополнительных вариантах осуществления признаки ориентиров также включают значения относительной интенсивности между точкой изображения и каждой точкой ориентира. Кроме того, модуль 121 извлечения признаков ориентиров дополнительно может извлекать любые значения на основании одной или нескольких из приведенных выше мер, таких как синус/косинус углов или квадрат или квадратный корень значений расстояния, и использовать эти производные значения в качестве признаков ориентиров, связанных с вокселем 730 изображения.
[075] Возвращаясь к фиг. 4A, стадию 440 следует выполнять для всех точек изображения в наборе, идентифицированном на стадии 430. На стадии 450 модуль 121 извлечения признаков ориентиров может определять, что все точки изображения в наборе обработаны, и если это так (стадия 450: да), переходить к стадии 460. Иначе (стадия 460: нет) стадию 440 следует повторять для того, чтобы обрабатывать следующую точку изображения.
[076] На стадии 460, обучающий модуль 122 на основе признаков ориентиров может применять алгоритм обучения для того, чтобы генерировать анатомическую классификационную модель, основываясь на признаках ориентиров, определяемых на стадии 440 и анатомических структурах, предварительно присвоенных этим точкам изображения. В некоторых вариантах осуществления модуль 121 извлечения признаков ориентиров может применять способ опорных векторов (SVM) для того, чтобы обучать классификационную модель. алгоритм SVM обучения строит модель, которая присваивает входные данные одной из множества категорий. SVM модель является представлением выборок в виде точек в пространстве, которые картированы так, что выборки из отдельных категорий разделены на отдельные группы в пространстве. То есть, SVM модель может картировать признаки ориентиров в пространствах высоких размерностей, соответствующих различным анатомическим структурам. Обучающие данные помогают уточнять картирование с тем, чтобы после обучения SVM модель могла картировать новые входные данные (признаки ориентиров неклассифицированной точки изображения) в те же пространства и прогнозировать, к какой анатомической структуре относится точка изображения.
[077] На стадии 470 обучающий блок 102 анатомического классификатора может выводить обученную анатомическую классификационную модель и передавать ее в блок 103 анатомической классификации. Процесс 400A можно заканчивать после стадии 470.
[078] На фиг. 4B представлена собой блок-схема, которая иллюстрирует другой образцовый процесс 400B обучения анатомического классификатора для обучения анатомической классификационной модели с использованием признаков ориентиров, извлекаемых из обучающих изображений, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. Процесс 400B обучения анатомического классификатора схож с процессом 400A, за исключением дополнительной стадии 442 и модифицированной стадии 460. Соответственно, стадии 410-440, 450 и 470 не будут описаны еще раз.
[079] В дополнение к признакам ориентиров, определяемым на стадии 440, на стадии 442 модуль 121 извлечения признаков ориентиров дополнительно может определять по меньшей мере один признак изображения для точки изображения. Как указано выше, признак изображения может отражать локальное свойство или контекстную характеристику точки изображения. В некоторых вариантах осуществления признаки изображения могут включать, но не ограничиваясь этим, интенсивность изображения, текстуру изображения, один или несколько участков изображения, кривизну профиля интенсивности и любую комбинацию или производное приведенного выше. На стадии 460, обучающий модуль 122 на основе признаков ориентиров может использовать как признаки ориентиров, так и признаки изображения для того, чтобы обучать анатомическую классификационную модель. Комбинация признаков ориентиров и признаков изображения может повышать точность сегментации изображений.
[080] На фиг. 5A представлена блок-схема, которая иллюстрирует образцовый процесс 500A анатомической классификации для классификации точек изображения на медицинском изображении с использованием анатомической классификационной модели, получаемой посредством процесса, показанного на фиг. 4A, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[081] Процесс 500A анатомической классификации можно начинать, когда блок 103 анатомической классификации получает анатомическую классификационную модель, например, от обучающего блока 102 анатомического классификатора (стадия 510). На стадии 520 блок 103 анатомической классификации дополнительно получает медицинское изображение из базы 104 данных медицинских изображений. На стадии 530 модуль 131 извлечения признаков ориентиров может идентифицировать по меньшей мере одну точку ориентира на медицинском изображении, подобно тому, что осуществляют на стадии 420 на фиг. 4A и 4B. На стадии 530 эти точки ориентиров предпочтительно идентифицируют с помощью модуля 121 извлечения признаков ориентиров, но также можно идентифицировать вручную или может идентифицировать пользователь 112. Точки ориентиров, идентифицированные на медицинском изображении, в целом те же, что идентифицированы на обучающем изображении в ходе процессов 400A и 400B.
[082] На стадии 540, модуль 131 извлечения признаков ориентиров может выбирать набор точек изображения на медицинском изображении. В некоторых вариантах осуществления эти точки изображения могут представлять те, которые еще не связаны с какой-либо анатомической структурой. Нет необходимости выбирать тот же набор точек изображения, который отбирают на стадиях 430 процессов 400A и 400B.
[083] На стадии 550, модуль 131 извлечения признаков ориентиров может определять, для точки изображения, выбранной на стадии 540, по меньшей мере один признак ориентира для выбранной точки изображения по отношению по меньшей мере к одной точке ориентира. Стадию 550 можно осуществлять аналогично стадиям 440 процессов 400A и 400B. Типы признаков ориентиров, определяемых на стадии 550, в целом те же, что определяют на стадиях 440 процессов 400A и 400B.
[084] На стадии 560, модуль 132 классификации анатомических структур может использовать анатомическую классификационную модель, получаемую от обучающего блока 102 анатомического классификатора для того, чтобы спрогнозировать анатомическую структуру, связанную с точкой изображения. Например, признаки ориентиров, определяемые на стадии 550, могут быть входными данными для анатомической классификационной модели. Тогда анатомическая классификационная модель анализирует эти признаки ориентиров на основании их существующего знания, т. е. зависимости между признаками ориентиров точки изображения и анатомической структурой этой точки изображения, использованной во время обучения. Наконец, анатомическая классификационная модель может присваивать точку изображения одной из анатомических структур.
[085] Стадии 550 и 560 следует выполнять для всех точек изображения в наборе, идентифицированном на стадии 540. Например, стадии 550 и 560 можно повторять до тех пор, пока все точки изображения на медицинском изображении не будут обработаны и классифицированы. На стадии 570 модуль 132 классификации анатомических структур может определять, что все точки изображения в наборе обработаны, и если это так (стадия 570: да), переходить к стадии 580. Иначе (стадия 580: нет) стадии 550 и 560 следует повторять для того, чтобы обрабатывать следующую точку изображения.
[086] На стадии 580 модуль 132 классификации анатомических структур может сегментировать медицинское изображение на основании результатов прогнозирования. В некоторых вариантах осуществления модуль 132 классификации анатомических структур может присваивать постоянное значение точкам изображения, классифицированным как относящиеся к одной и той же анатомической структуре. В некоторых вариантах осуществления точки изображения имеют цветовое кодирование, в соответствии с тем, к какой анатомической структуре они относятся. В некоторых вариантах осуществления в качестве части стадии 580, модуль 132 классификации анатомических структур может менять классификацию определенных точек изображения во время сегментации. Например, изменения можно применять для сглаживания контура между двумя анатомическими структурами или между фоном и анатомической структурой. В качестве другого примера, анатомические структуры в целом являются непрерывными. Следовательно, маловероятно, что точка изображения, окруженная со всех сторон точками изображения предстательной железы, будет классифицирована в качестве части мочевого пузыря. Соответственно, модуль 132 классификации анатомических структур может менять результат классификации точки изображения на основании его соседних точек изображения.
[087] На стадии 590, сегментированное медицинское изображение выводят из блока 103 анатомической классификации. В некоторых вариантах осуществления сегментированное медицинское изображение можно отображать пользователю на дисплее 228 изображений. В некоторых вариантах осуществления сегментированное медицинское изображение можно хранить в базе данных медицинских изображений для будущего медицинского использования. В некоторых других вариантах осуществления сегментированное медицинское изображение можно сохранять в базе 101 данных обучающих изображений в качестве обучающего изображения, чтобы обогащать базу знаний. Процесс 500A можно завершать после стадии 590.
[088] На фиг. 5B представлена блок-схема, которая иллюстрирует другой образцовый процесс 500B анатомической классификации для классификации точек изображения на медицинском изображении с использованием анатомической классификационной модели, получаемой через процесс на фиг. 4B, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. Процесс 500B анатомической классификации схож с процессом 500A, за исключением дополнительной стадии 552 и модифицированной стадии 560. Соответственно, стадии 510-550 и 570-590 не будут описаны снова.
[089] В дополнение к признакам ориентиров, определяемым на стадии 550, на стадии 552 модуль 131 извлечения признаков ориентиров дополнительно может определять по меньшей мере один признак изображения для точки изображения, который основан на локальном свойстве или контекстных характеристиках точки изображения. Эти признаки изображения в целом относятся к тем же типам, которые определяют на стадиях 442 процесса 400B. На стадии 560 в блоке 103 анатомической классификации можно использовать как признаки ориентиров, так и признаки изображения для прогнозирования. Комбинация признаков ориентиров и признаков изображения может повышать точность прогнозирования и, таким образом, качество сегментации изображений.
[090] Например, На фиг. 8 проиллюстрированы результаты сегментации трехмерного CT изображения, проиллюстрированного на фиг. 1, с использованием различных наборов признаков ориентиров, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию. В рядах (A)-(D) представлены трехмерные CT изображения пациентов в осевые, сагиттальные и фронтальные виды, соответственно. В частности, в ряду (A) представлены медицинские изображения перед сегментацией. В ряду (B) представлены результаты сегментации мочевого пузыря, предстательной железы и прямой кишки с использованием только признаков изображения без какого-либо признака ориентира. Как показано, результаты сегментации содержат шумы и имеют относительно большую частоту ошибочной классификации. Например, некоторые воксели предстательной железы ошибочно классифицируют как воксели прямой кишки, а некоторые воксели прямой кишки ошибочно классифицируют как воксели тела. В ряду (C) представлены результаты сегментации с использованием трех признаков ориентиров в сочетании с признаками изображения, используемыми для ряда (B). Результаты содержат меньше шумов и частота ошибочной классификации значительно снижена. В ряду (D) представлены результаты сегментации с использованием 24 признаков ориентиров в сочетании с признаками изображения, используемыми для ряда (B). Можно наблюдать, что качество сегментации возрастает при использовании комбинации признаков ориентиров и признаков изображения. Кроме того, качество сегментации также возрастает, когда применяют больше признаков ориентиров. Чтобы увеличивать число признаков ориентиров, можно идентифицировать больше точек ориентиров и/или определять больше признаков ориентиров в отношении каждой точки ориентира.
[091] Точно сегментированное изображение или четко определенный контур анатомической структуры могут приносить пользу для различных применений, которые основаны на результатах сегментации. Например, на фиг. 9 представлена блок-схема, которая иллюстрирует образцовые дополнительные применения результатов сегментации, в соответствии с некоторыми вариантами осуществления по настоящему раскрытию.
[092] 1. Моделирование геометрической формы
[093] Как показано на фиг. 9, классификационная модель 910 может генерировать начальный контур изображения на основании результатов классификации. Начальный контур можно передавать в модель 920 геометрической формы для дополнительного уточнения. Примеры модели 920 геометрической формы могут включать, но не ограничиваясь этим, активную модель геометрической формы (ASM), разреженные модели геометрической формы, физические модели геометрической формы и т. д.
[094] В некоторых вариантах осуществления модель 920 геометрической формы может итеративно деформировать контур для подгонки к объектам (анатомическим структурам) на медицинском изображении. Например, модель 920 геометрической формы может сначала осуществлять моделирование профиля для того, чтобы определять грубую геометрическую форму объекта, и затем подтверждать грубую геометрическую форму по модели распределения точек, которая ограничивает то, как геометрическая форма может варьировать. Модель 920 геометрической формы может чередовать эти стадии до наступления конвергенции. При использовании высококачественного начального контура модель 920 геометрической формы может получать уточненную геометрическую форму за меньшее число итераций и, таким образом, меньшее время обработки.
[095] 2. Совмещение изображений
[096] Как показано на фиг. 9, классификационная модель 910 может предусматривать анатомическую структуру, чтобы содействовать совмещению изображений. Совмещение изображений представляет собой процесс, который трансформирует различные наборы данных в одну систему координат. Типичные алгоритмы совмещения изображений основаны на интенсивности или на признаках или на комбинации этих двух. В частности, способы, основанные на признаках, находят соответствие между признаками изображения, такими как точки, линии и контуры. Следовательно, совмещение изображений может значительно выигрывать от относительно хорошо определенного начального контура.
[097] В некоторых вариантах осуществления классификационная модель 910 может передавать структурную информацию в средство 930 определения местоположения центра, которое вычисляет местоположение центральной точки анатомической структуры на основании результатов анатомической классификации. Такую информацию можно использовать для того, чтобы инициализировать или направлять вычисление в алгоритме 940 совмещения изображений. Примеры алгоритма 940 совмещения изображений могут включать, но не ограничиваясь этим, жесткое совмещение, аффинное совмещение, кусочно-линейное совмещение и различные алгоритмы деформируемого совмещения, такие как совмещение Demons, совмещение B-Spline, диффеоморфное совмещение и т. д., которые известны специалистам в данной области.
[098] В некоторых других вариантах осуществления (не показано), классификационная модель 910 может предоставлять результаты анатомической классификации для уточнения критерия сходства или совпадения в функциях оптимизации для алгоритмов совмещения изображений.
[099] 3. Вычисление объема
[0100] Результаты анатомической классификации также могут помогать генерировать точную оценку объемного размера анатомической структуры. Для определенных анатомических структур, таких как мочевой пузырь, объемные размеры важны при вычислении участка деформаций и оптимизации дозы для лечения. В примере мочевого пузыря, объемные размеры могут меняться значительно в различные сеансы лечения. Следовательно, точная оценка его размера будет давать важное первоначальное знание об относительных местоположениях или деформациях вокруг мочевого пузыря и, таким образом, помогать вычислять участок деформаций или оптимизировать распределение доз на лету.
[0101] Как показано на фиг. 9, классификационная модель 910 может передавать информацию о сегментации, связанную с анатомической структурой, такой как мочевой пузырь, в средство 950 вычисления объема. Средство 950 вычисления объема может вычислять объемный размер анатомической структуры на основании ее контура и других структурных данных. Объемных размер дополнительно можно передавать в базу 960 данных о лечении для того, чтобы направлять будущее лечение. Например, информацию об объемном размере можно использовать для того, чтобы помогать направлять выбор схожих пациентов из базы данных.
[0102] В настоящем документе описаны различные операции или функции, которые можно реализовать или определять как код или инструкции программного обеспечения. Такое содержание может быть непосредственно исполняемым («объект» или «исполняемая» форма), исходным кодом или дифференциальным кодом (код «дельта» или «участка»). Программные реализации вариантов осуществления, описанных в настоящем документе, можно предоставлять через промышленное изделие с кодом или инструкциями, хранимыми в нем, или через способ работы коммуникационного интерфейса, чтобы посылать данные через коммуникационный интерфейс. Читаемый компьютером или машиночитаемый носитель данных может побуждать машину выполнять описанные функции или операции, и содержит любой механизм, который сохраняет информацию в форме, доступной для машины (например, вычислительного устройства, электронной системы и т. п.), такой как записываемые/не записываемые носители данных (например, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), магнитные дисковые накопительные носители данных, оптические запоминающие носители данных, устройства флэш-памяти и т. п.). Коммуникационный интерфейс содержит любой механизм сопряжения с любым из проводного, беспроводного, оптического и т. п. носителя данных для того, чтобы осуществлять связь с другим устройством, например интерфейсом шины памяти, интерфейсом шины процессора, интернет-соединением, контроллером диска и т. п. Коммуникационный интерфейс можно конфигурировать посредством предоставления конфигурационных параметров и/или отправки сигналов для того, чтобы подготавливать коммуникационный интерфейс для того, чтобы предоставлять сигнал данных, описывающий содержание программного обеспечения. Доступ к коммуникационному интерфейсу можно осуществлять через одну или несколько команд или сигналов, отправляемых на коммуникационный интерфейс.
[0103] Настоящее изобретение также относится к системе для осуществления операций в настоящем документе. Эту систему можно специально конструировать для требуемых целей или она может содержать компьютер общего назначения, избирательно активируемый или переконфигурируемый с помощью компьютерной программы, хранимой в компьютере. Такую компьютерную программу можно хранить в машиночитаемом носителе данных, таком как, но не ограничиваясь этим, диск любого типа, включая гибкие диски, оптические диски, CDROM и магнитно-оптические диски, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), EPROM, EEPROM, магнитные или оптические карты или носители данных любого типа, подходящие для хранения электронных инструкций, каждый из которых соединен с системной шиной компьютера.
[0104] Прядок исполнения или эффективность операций в вариантах осуществления изобретения, проиллюстрированных и описанных в настоящем документе, не важны, если не указано иное. То есть, операции можно осуществлять в любом порядке, если не указано иное, и варианты осуществления изобретения могут включать больше или меньше операций, чем те, что описаны в настоящем документе. Например, предусмотрено, что исполнение или осуществление конкретной операции до, одновременно с или после другой операции входит в объем аспектов изобретения.
[0105] Варианты осуществления изобретения можно реализовать с использованием исполняемых компьютером инструкций. Исполняемые компьютером инструкции можно организовать в одном или нескольких исполняемых компьютером компонентах или модулях. Аспекты изобретения можно реализовать с использованием любого числа и организации таких компонентов или модулей. Например, аспекты изобретения не ограничены конкретными инструкциями, исполняемыми компьютером, или конкретными компонентами или модулями, проиллюстрированными на фигурах и описанными в настоящем документе. Другие варианты осуществления изобретения могут содержать различные исполняемые компьютером инструкции или компоненты, которые имеют большую или меньшую функциональность, чем иллюстрировано и описано в настоящем документе.
[0106] При введении элементов аспектов изобретения или их вариантов осуществления, формы единственного числа и «указанный» предназначены для того, чтобы обозначать, что имеют место один или несколько элементов. Термины «содержит», «включает» и «имеет» предназначены в качестве включающих и подразумевают, что могут иметь место дополнительные элементы, отличные от перечисленных элементов.
[0107] Имея подробное описание аспектов изобретения, очевидно, что возможны модификации и вариации, не отступая от объема аспектов изобретения, как определено в приложенной формуле изобретения. Поскольку различные изменения можно выполнять в приведенных выше конструкциях, продуктах и способам, не отступая от объема аспектов изобретения, подразумевают, что всю сущность, содержащуюся в приведенном выше описании и представленную на сопроводительных чертежах, следует интерпретировать как иллюстративную и в неограничивающем смысле.