АВТОМАТИЧЕСКАЯ СЕГМЕНТАЦИЯ ТРЕХПЛОСКОСТНЫХ ИЗОБРАЖЕНИЙ ДЛЯ УЛЬТРАЗВУКОВОЙ ВИЗУАЛИЗАЦИИ В РЕАЛЬНОМ ВРЕМЕНИ
AUTOMATED SEGMENTATION OF TRI-PLANE IMAGES FOR REAL TIME ULTRASOUND IMAGING

Данное изобретение относится к системам медицинской ультразвуковой визуализации и, в частности, к 3D ультразвуковым системам для визуализации сердца.
В ультразвуковой визуализации сердца существует набор стандартных планарных видов сердца, которые часто должны быть получены для того, чтобы провести стандартизированные измерения или диагностику сердечной деятельности. Три из этих стандартных видов это апикальный четырехкамерный вид, апикальный трехкамерный вид и апикальный двухкамерный вид, называемые, как правило, как виды AP4, AP3 и AP2. Как следует из названий, все эти планарные виды сердца получены удержанием ультразвукового зонда под левой частью грудной клетки, где он увидит сердце от его верхушки. Апикальный четырехкамерный вид визуализирует все четыре камеры сердца, левое и правое предсердие и левый и правый желудочек. Этот вид предпочтителен, когда клиницист хочет рассчитать фракции выброса, визуализировать левый желудочек или оценить диастолическую функцию или митральный стеноз.  Апикальный трехкамерный вид позволяет клиницисту визуализировать аортальный клапан и корень аорты. Этот вид предпочтителен для оценки сократимости переднелатеральной и задней стенок сердца. Совмещая Доплеровский луч с выносящим трактом левого желудочка, клиницист может количественно оценить тяжесть аортального стеноза. Апикальный двухкамерный вид позволяет визуализацию и оценку передней и нижней стенок левого желудочка.
Существуют знакомые и хорошо понятные техники для манипулирования двумерным ультразвуковым зондом для того, чтобы получить эти стандартные планарные виды сердца.
Четырехкамерный вид обычно берется как первый вид и опорный для остальных. Чтобы получить апикальный четырехкамерный вид клиницист держит зонд с левой стороны по отношению к пациенту, и зонд направлен к верхушке сердца и вверх по направлению к правому плечу. Метка на стороне зонда, которая позволяет клиницисту поддерживать желаемую лево-правую ориентацию между анатомией пациента и изображением на устройстве отображения ультразвуковой системы, расположена на 2 или 3 часа. При правильном расположении, четыре камеры сердца четко отображаются с верхушкой в верхней части экрана и правыми камерами на левой стороне экрана. Правый желудочек должен быть не больше, чем две трети ширины левого желудочка.
Из четырехкамерного вида, получение апикального трехкамерного вида требует лишь простых манипуляций с зондом. Зонд вращают против часовой стрелки по отношению к пациенту, пока метка на зонде не окажется приблизительно в положении 11-ти часов. Трехкамерный вид теперь должен быть виден на экране. Это вращение означает, что приблизительно 90° составляет соотношение между плоскостями изображений четырех- и трехкамерных видов. Чтобы получить двухкамерный вид, зонд вращают далее до положения, приблизительно, на 9 часов. Апикальный двухкамерный вид теперь должен быть виден на экране. Это означает, что двухкамерный вид располагается во вращении приблизительно на 135° относительно опорного четырехкамерного вида.
Как можно заключить из вышесказанного, клиницист может потратить значительное количество времени, чтобы получить эти виды и манипулировать зондом от одного вида к другому. Было бы желательно иметь возможность получать эти стандартные виды сердца без тщательных и кропотливых манипуляций зондом, описанных выше. Кроме того, было бы желательно для видов, получаемых автоматически с помощью ультразвуковой системы, не применять специальных манипуляций зондом вообще.
В соответствии с принципами настоящего изобретения, описаны система ультразвуковой визуализации и способ, которые позволяют 3D получение сердца из апикальной позиции. Причем к большей части объема сердца, полученного в 3D получении, применяется математическая модель сердца с помощью ультразвуковой системы к 3D объему, чтобы идентифицировать и сегментировать три плоскости апикальных видов сердца, AP4, AP3 и AP2 плоскости изображения. После сегментации три плоскости изображения затем управляются как трехплоскостная система, чтобы отслеживать трехплоскостную систему в последовательности получений 3D объема в качестве строгого преобразования. Таким образом, трехплоскостная система может быть визуализирована в реальном времени либо с помощью извлечения MPR срезов из реальных объемных изображений, или просто сканированием трех плоскостей матричным зондом преобразователя.
На чертежах:
Фигура 1 показывает в форме блок-схемы медицинскую ультразвуковую систему, сконструированную в соответствии с принципами настоящего изобретения.
Фигуры 2a, 2b и 2c представляют собой графические иллюстрации видов AP4, AP3 и AP2 сердца.
Фигура 3 показывает относительные ориентации плоскостей видов AP4, AP3 и AP2, когда они организованы в трехплоскостную систему.
Фигура 4 представляет собой блок-схему получения, сегментирования и отслеживания апикальной системы трехплоскостного изображения в соответствии с принципами настоящего изобретения.
Фигуры 5a, 5b и 5c показывают три ультразвуковых изображения апикальной трехплоскостной системы, как они появляются, когда показываются одновременно как реальное изображение на экране ультразвукового устройства отображения и когда перекрывается графикой, представляющей собой плоскости видов модели сердца.
Обращаясь сначала к Фигуре 1, увидим, что система ультразвуковой визуализации согласно настоящему изобретению показана в виде блок-схемы. Ультразвуковая система образована двумя подсистемами, подсистемой 10А фронтального получения и подсистемой 10B отображения. Ультразвуковой зонд соединен с подсистемой получения, которая содержит преобразователь 70 двумерной матрицы и микро-формирователь луча 72. Микро-формирователь луча содержит схемы, которые управляют сигналами, приложенными к группе элементов ("патчей") решетки 70 преобразователя и выполняет некоторую обработку эхо-сигналов, полученных элементами каждой группы. Микро-формирование луча в зонде эффективно уменьшает количество проводников в кабеле между зондом и ультразвуковой системой, что описано в патенте US 5,997,479 (Savord et al.) и в патенте US 6,436,048 (Pesque).
Зонд соединен с подсистемой 10А получения ультразвуковой системы. Подсистема получения содержит контроллер 74 формирователя луча, который реагирует на управление 36 пользователем и подает управляющие сигналы на микро-формирователь 72 луча, инструктируя зонд относительно времени, частоты, направления и фокусировки лучей передачи. Контроллер формирователя луча также управляет формированием лучей эхо-сигналов, полученных подсистемой получения с помощью его управления аналого-цифрового (A/D) преобразователей 18 и системы 20 формирователя луча. Эхо-сигналы, полученный зондом, усиливаются предусилителем и схемой 16 TGC (дифференциальной регулировки усиления) в подсистеме получения, затем оцифровываются с помощью A/D преобразователей 18. Оцифрованные эхо-сигналы затем формируются в полностью управляемые и сфокусированные лучи с помощью системы формирователя 20 луча. Эхо-сигналы затем обрабатываются сигнальным процессором 22, который выполняет цифровую фильтрацию, B режим и M режим обнаружения, Доплеровскую обработку, и может также выполнять другие сигнальные обработки, такие как разделение гармоник, уменьшение спеклов, и другие желаемые сигнальные обработки изображений.
Эхо-сигналы, генерируемые подсистемой 10А получения, связаны и подсистемой 10В отображения, которая обрабатывает эхо-сигналы для отображения в желательном формате изображения. Эхо-сигналы обрабатываются процессором 24 строк изображения, который способен объединять сегменты лучей в полные линейные сигналы и усреднять линейные сигналы для улучшения отношения сигнал-шум или непрерывности потока. Строки изображения для 2D изображения сканируются и преобразуются в желаемый формат с помощью сканирующего преобразователя 26, который выполняет R-тетта преобразование, как это известно в данной области техники. Затем изображение сохраняется в буфер изображений или память 28, из которой оно может быть отображено на устройство отображения 38. Изображение в памяти 28 также перекрывается с графикой для отображения с изображением, которые генерируются генератором графики (не показан), который реагирует на управление 36 пользователем. Отдельные изображения или последовательности изображений могут быть сохранены в кино-память (не показана) в течение получения зацикленных изображений или последовательностей.
Для объемной визуализации в реальном времени подсистема 10B отображения также содержит процессор 32 3D-воспроизведения, который получает строки изображения из процессора 24 строк изображения для отображения трехмерных изображений в реальном времени. 3D изображения могут отображаться как реальные (в реальном времени) 3D изображения на устройстве отображения 38 или быть связанными с памятью 28 изображений для хранения 3D наборов данных для более позднего анализа и диагностики.
В соответствии с принципами настоящего изобретения подсистема отображения также содержит аналитическую геометрическую модель сердца, сохраненную в памяти 40. Данные модели сердца, сохраненные в памяти, являются концептуально 3D поверхностью сетки, которая очерчивает формы основных элементов сердца, таких как жидкостные камеры, сердечные клапаны и тому подобное. В конструктивном воплощении сетка состоит из соединенных между собой треугольных элементов, хотя возможны и другие виды сеток, такие как прямоугольные или квадратные элементы сетки или сетки, состоящие из неоднородных рациональных b-сплайнов, также могут быть использованы. В соответствии с этим, модель сердца может быть полностью детализированной геометрической моделью или просто моделью анатомических опознавательных точек, таких как стенки камеры, верхушка сердца, сердечные клапаны или плоские контуры клапанов и тому подобное. Модель сердца, которая сочетает в себе обе, также может быть использована. Модель сердца, которая определяет ключевые опознавательные точки стандартных видов, может быть использована, например, чтобы определять такие стандартные виды в данных ультразвуковых изображений. Назначение модели сердца - это определять или сегментировать 3D ультразвуковое изображение сердца пациента. Данная функция выполняется процессором 42 сегментации плоскостей APn и отслеживания, который использует данные модели сердца чтобы извлекать определенные плоскости изображения 3D ультразвукового изображения, в данном случае плоскости изображения AP2, AP3 и AP4. Эти плоскости изображения схематично показаны на Фигурах 2a, 2b и 2c. Модель четырехкамерного вида AP4 сердца показана на Фигуре 2а. На данном виде клиницист может видеть все 4 камеры, правое предсердие и правый желудочек, отделенные друг от друга трехстворчатым клапаном, и левое предсердие и левый желудочек, разделенные митральным клапаном. Верхушка сердца находится наверху в этой ориентации модели AP4. Фигура 2b показывает модель AP3 трехкамерной плоскости изображения. Вид AP3 позволяет визуализировать левые камеры сердца, а также корень аорты и аортальный клапан. Фигура 2с изображает AP2 модель. Этот вид позволяет визуализировать левое предсердие, митральный клапан и левый желудочек. Фигура 3 является видом в перспективе ориентации этих трех плоскостей видов относительно друг друга. При обычном осмотре клиницист расположит ультразвуковой зонт ниже левой стороны грудной клетки, направленным вверх по направлению к правому плечу. Зондом манипулируют пока не получат апикальный четырехкамерный вид. Затем зонд наклоняют вверх, чтобы получить LV выводной тракт и аортальный клапан в апикальном трехкамерном виде или в апикальном пятикамерном виде. Зонд снова манипулируется вращением его на 90o против часовой стрелки, чтобы получить двухкамерный вид. Следует понимать, что это кропотливая и трудоемка задача, требующая значительного мастерства клинициста. Виды AP2, AP3 и AP4 - это стандартные плоскости видов для многих кардиологических исследований.
Эта сложная задача и ее сложность устраняется с помощью ультразвуковой системы настоящего изобретения, с помощью которого желаемые плоскости апикальных видов извлекаются из 3D ультразвукового изображения и отображаются с помощью аналитического использования модели сердца. Это извлечение выполняется с помощью процессора 42 сегментации плоскостей APn и отслеживания, которое начинается с поиска приблизительного местоположения модели сердца в объеме 3D ультразвукового изображения. Искатель формы, реализованный в виде преобразования Хaфа, ищет приблизительное положение модели сердца в 3D изображении. Локализованное афинное преобразование лучше находит большие структуры, такие как жидкостные камеры сердца в объемном изображении. Локализованная тонкая настройка более точно совмещает модель с анатомией в объеме изображения. С помощью 3D модели сердца, совмещенной теперь с анатомической структурой сердца в объемном изображении, опознавательные точки трех апикальных плоскостей, взятые из модели сердца, используются чтобы определить три плоскости в объемном изображении и три плоскости изображения, AP4, AP3 и AP2, извлекаются из объемного изображения.
В реализации этой обработки, процессор 42 сегментации плоскостей APn и отслеживания оперирует с вокселями 3D объемного изображения сердца как изложено ниже. Процессор сегментации плоскостей и отслеживания содержит препроцессор, который служит в качестве инициализатора для сегментора. Препроцессор автоматически анализирует данные изображения и функционирует, чтобы классифицировать текущий вид, то есть вид, в котором текущая 3D модель сердца была получена. Другими словами, препроцессор способен обнаруживать положение органа для сегментирования в соответствии с опорным положением. "Положение" - это позиция объекта и его ориентация по отношению к модели в качестве опорной ориентации. Обнаруженное положение выражается "параметрами положения".  Параметры описывают преобразование, то есть как геометрическая модель сердца должна быть смещена и повернута, чтобы эта трансформированная модель соответствовала положению сердца на изображении. На основании этих параметрах положения, точки геометрической модели сердца затем преобразуются в оценочное ("текущее") положение. В предпочтительной реализации геометрическая модель сердца определяется как 3D поверхность сетки, состоящая из треугольных элементов, сетка грубо очерчивает стандартную форму сердца в заданном опорном положении. Преобразованная таким образом (то есть смещенная и повернутая) модель затем подается в качестве отправной точки для модели сегментации объема изображения, которая зависит от предварительного знания позиции и ориентации объекта для сегментации, в данном случае, сегментации трех желаемых плоскостей апикальных видов.
Препроцессор использует обобщенное преобразование Хафа (GHT) со множеством накопителей, по одному для каждой ориентации сердца. Чтобы справиться с многообразием действительно разных возможных положений сердца, часто повторно возникающие положения ориентаций сохранены в процессоре из подготовительных 3D изображений и, после кластеризации, набор преобразований вычисляется из этих ориентаций. Преобразования затем применяются в фазу выполнения в течение GHT процесса выборки по заполнению множества накопителей Хафа. Множество накопителей Хафа затем исследуется для поиска максимальной записи выборки среди всех накопителей Хафа, чтобы найти текущее положение сердца. Этот поиск может выполняться одновременно по всем накопителям Хафа или поиск может проходить последовательно. Запись накопителя Хафа с наибольшим числом выборки берется, чтобы представить наиболее вероятное положение объекта для данной ориентации положения β. В предпочтительной реализации, извлечение опознавательных точек из данных изображения используется, чтобы определить из множества афинных (или иных) преобразований оптимальное преобразование, которое наилучшим образом соотносится со структурами в данном изображении. Препроцессор содержит входной порт для приема 3D изображений и классификатор. Также существует выходной порт для вывода параметров положения (β[=ориентация], x[= положение]) для положения, определенного классификатором. Эта информация о положении (β, x) может быть затем применена к геометрической модели сердца. Преобразованная модель формирует "инициализированную модель" для сегментации. Сегментор, как только положение сердца в изображении для сегментирования становится известным (т.е. доступна инициализированная модель) применяет параметризованные и деформируемые этапы по адаптации к геометрической модели сердца. Модель, таким образом, адаптирована к структуре сердца в данном объеме изображения. В частности, адаптация содержит один или более этапов, на которых координаты модели адаптируются к данным объемного изображения с помощью применения последовательно глобального строгого, глобального афинного, мульти-строгого и деформируемого преобразования. После деформирования инициализированной модели, оцениваются интенсивности значения серого вдоль нормалей к треугольникам сетки модели для определения границ сегментации.
Когда идентификация анатомической опознавательной точки используется для регистрации модели сердца и извлечения плоскостей изображения, идентификатор опознавательной точки работает, чтобы обнаруживать/идентифицировать одну или несколько анатомических опознавательных точек в 3D модели сердца. Обнаруживание опознавательной точки в изображении может быть основано на RANSAC (консенсус случайных выборок) алгоритме, как описано в M. Fischler et al’s “Random Sample Consensus …”, Communications of the ACM, Volume 24(6), (1981). Набор совместно обнаруженных опознавательных точек может быть затем взят, чтобы представить каркас базовой геометрической модели сердца, когда предполагается в определенном положении. Модель сердца содержит целевые опознавательные точки, представляющие в этом отношении опознавательные точки. В данной реализации, работа классификатора основана на сборе афинных преобразований Ti. Преобразования Ti применяются одно за одним к обнаруженным опознавательным точкам, чтобы осуществить координатное преобразование обнаруженных опознавательных точек. Совместно преобразованные опознавательные точки могут быть затем быть сравнены с опорной геометрической моделью. В частности, преобразованные опознавательные точки в изображении могут быть сравнены с целевыми опознавательными точками модели сердца. Модель предполагается быть представленной в соответствии с опорной ориентацией. Для каждого преобразования, координаты преобразованных опознавательных точек затем сравниваются с координатами целевых опознавательных точек модели. Затем определяются координаты преобразованных опознавательных точек, которые лучше всего подходят (например, ближе всего к подходящей норме) целевым опознавательным точкам модели. Соответствующее преобразование, которое дает наилучшее соответствие или согласование между преобразованными опознавательными точками или целевыми опознавательными точками, затем рассматривается, чтобы обозначать положение как записанное в базовое объемное изображение сердца. "Наилучшее" соответствие устанавливается относительно меры соответствия. "Наилучшее" - это означает содержащееся в пределах определенного пользователем допуска, предпочтительно находящееся ближе в арифметическом смысле, хотя конкретная реализация может действительно предусматривать "наилучший", означающее проксимально в арифметическом смысле. Вычисление наилучшего соответствия в отношении заранее установленного допуска позволяет эффективную обработку, так как процессору не нужно перебирать все заранее определенные преобразования, чтобы оценить меру соответствия. Как только значение соответствия, которое лежит в пределах допуска, установлено, выходной блок возвращает соответствующее преобразование как "наилучшее соответствие".
Каждое из заранее определенных афинных преобразований можно рассматривать для кодирования определенного положения. В частности, каждое афинное преобразование содержит среди других компонентов (таких как, сдвиговые) смещающую и вращающую компоненту, которая описывает соответствующее одно положение. Описание смещающей и вращающей компонент идентифицированного преобразования наилучшего соответствия направляется в сегментор для инициализации. В ином случае, преобразование наилучшего соответствия непосредственно применяется сначала к модели, и это является совместно преобразованной моделью, которая затем направляется, чтобы инициализировать сегментор. Сегментор выполняет в настоящий момент простую задачу определения опознавательных целевых точек трех желаемых апикальных плоскостей и извлекает из объема изображения три плоскости, которые наиболее полно содержат эти анатомические опознавательные точки.
Три плоскости апикальных видов, извлеченные из данных изображения 3D модели с помощью процессора 42 сегментации плоскостей APn и отслеживания, как описано выше, по отдельности или одновременно отображаются на устройстве отображения 38 ультразвуковой системы, как показано на Фигуре 5а (четырехкамерного вида), 5b (трехкамерного вида) и Фигуре 5c (двухкамерного вида). В описанной реализации, камеры и структуры сердца каждой плоскости изображения сегментированы с помощью наложения графически очерченных анатомических границ 62, 64, 66, предоставляемых моделью сердца. Как только это было сделано для одного объемного изображения APn, плоскости могут быть отслежены через последующие объемы изображений, либо в режиме реального времени или в режиме пост-обработки. Для отслеживания, три плоскости не рассматриваются как несвязанные плоскости изображения, но рассматриваются как три плоскости трехплоскостной системы, как изображено на Фигуре 3. По мере того как последующие объемные изображения сердца становятся доступными, три APn плоскости модели сердца используются для извлечения трех плоскостей изображения из каждого последующего объемного изображения. Эти плоскости отслеживаются в новом объеме с помощью анализа грубого перемещения анатомических опознавательных точек из предыдущей трехплоскостной системы в заново идентифицированную трехплоскостную систему. Это выполняется с помощью оптического потока или регистрации изображения, например с помощью взаимной информации, поблочного сравнения или сопоставления объектов, например. Перемещение опознавательных точек из одной плоскости в следующие используется, чтобы найти вектор перемещения для каждой плоскости, и три вектора перемещения трех плоскостей используются, чтобы определить составной вектор перемещения (преобразования) трехплоскостной системы. По существу, три вектора перемещения в плоскости используются, чтобы определить составное перемещение трехплоскостной системы. Это преобразование используется для моделирования перемещения трехплоскостной системы как строгое преобразование относительно зонда. Строгое преобразование идентифицирует смещение и поворот трехплоскостной системы из одного объемного изображения в следующее и этот сдвиг используется, чтобы вычислить новое положение трехплоскостной системы в новом объемном изображении. Так как это является строгим преобразованием, не существует масштабирования или деформации модели или данных изображения, которые ослабляют вычислительные требования. Это отслеживание и обновление трехплоскостной системы повторяется для каждого получения нового объемного изображения. Иногда, для защиты от чрезмерных передвижений сердца или зонда, обработка может быть заново инициализирована, как описано выше.
Фигура 4 показывает типичную последовательность сегментации опорной плоскости и отслеживание в соответствии с принципами настоящего изобретения. На первом этапе 50, 3D объемное изображение сердца получается с помощью апикального сканирования. Так как сердце сканируется апикально, процессор 42 сегментации плоскостей APn и отслеживания может быть предопределен, чтобы ожидать найти верхушку сердца наверху объемного изображения. На этапе 52 процессор 42 сегментации плоскостей APn и отслеживания сегментирует плоскости видов AP4, AP3 и AP2, используя модель сердца, чтобы определять положение сердца и наилучшее соответствие модели сердца данным 3D изображения сердца, как описано выше. На этапе 54 процессор использует желательные положения плоскости, соответствующие модели сердца, для извлечения и отображения трехплоскостных изображений. На этапе 56а получают новое объемное 3D изображение и на этапе 58 трехплоскостная система в новом объемном изображении отслеживается с помощью строгого преобразования. На этапе 60 изображения отслеживаемой трехплоскостной системы извлекаются из новых данных изображения и отображенные трехплоскостные изображения обновляются на устройстве отображения.
Другие варианты осуществления изобретения будут очевидны специалистам в данной области техники. Вместо извлечения и отображения видов AP4, AP3 и AP2, другой вид может альтернативно или дополнительно быть получен и отображен. Ультразвуковая система может быть использована для отображения, например, видов AP4, AP5 и AP3, или четырех других плоскостей видов. Для более высоких частот кадров отображения, информация отслеживания может быть использована, чтобы обновлять плоскости трехплоскостного отображения, которое сканирует только три желаемые плоскости видов, а не весь объем каждый раз. Например, после того как модели сердца было найдено соответствие анатомии сердца в объемном изображении, только три плоскости могут быть сканированы для следующего обновления. Три заново отсканированных плоскости изображения могут быть сравнены с предыдущими тремя плоскостями и вычисленные данные составного перемещения (данные отслеживания) используются для сканирования трех плоскостей в положении обновленного вида для отображения. Данные отслеживания, таким образом, используются, чтобы контролировать направление плоскости сканирования следующего трехплоскостного получения с помощью управления контроллером формирования луча, как показано на Фигуре 1. При сканировании только трех плоскостей вместо целого объема сердца частота кадров и пространственное разрешение отображения значительно улучшаются. Если грубое движение сердца или зонда становятся чрезмерными, процесс может быть обновлен и повторно инициализирован получением и обработкой нового объемного изображения, и сканирование начинается заново. В качестве другой альтернативы, 3D данные изображения могут быть трансформированы, чтобы соответствовать модели сердца, а не наоборот, сегментации.