УЛЬТРАЗВУКОВАЯ ДИАГНОСТИКА АНАТОМИЧЕСКИХ ОСОБЕННОСТЕЙ
ULTRASOUND DIAGNOSTICS OF ANATOMICAL FEATURES

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству обработки ультразвукового изображения, содержащему процессорный блок, выполненный с возможностью картирования модели анатомической особенности, представляющей интерес, на ультразвуковом изображении, отображающем по меньшей мере поперечное сечение указанной анатомической особенности, представляющей интерес, и с возможностью сегментирования указанного ультразвукового изображения в соответствии с картированной моделью.
Настоящее изобретение также относится к системе ультразвуковой визуализации, содержащей такое устройство обработки ультразвукового изображения.
Настоящее изобретение также относится к компьютерно-реализуемому способу картирования модели анатомической особенности, представляющей интерес, на ультразвуковом изображении, отображающем по меньшей мере поперечное сечение указанной анатомической особенности, представляющей интерес, и сегментирования указанного ультразвукового изображения в соответствии с картированной моделью.
Настоящее изобретение также относится к компьютерному программному продукту для осуществления такого компьютерно-реализуемого способа.
Уровень техники
Ультразвук играет существенную роль во многих диагностических методах визуализации, включая, но не ограничиваясь, визуализацию сердечно-сосудистой системы. В связи с этим, диагностика и планирование лечения, как правило, зависят от четкого выделения соответствующих анатомических участков, например желудочков, предсердий или окружающих сосудов в кардиологических ультразвуковых изображениях, с целью облегчения эффективной диагностики обследуемого сердца. Исторически измерения (объема) камер сердца, например левого желудочка, осуществлялись пользователем, вручную контурировавшим эндокардиальную границу камеры. Такое контурирование подвержено значительной изменчивости из-за различия в критериях, используемых различными пользователями, при определении места размещения контура.
Для устранения такой нежелательной изменчивости этот диагностический процесс был автоматизирован с использованием анатомически интеллектуальной сегментации на основе модели, при которой общие формоограниченные модели сердца адаптируются к данным визуализации. Например, такая модель сердца, раскрыта в патентном документе WO 2016/142204 A1. Модель сердца может быть впоследствии использована в качестве вспомогательного средства, чтобы картированную сердечную структуру в ультразвуковых изображениях предоставить алгоритмам сегментации для получения представляющих интерес размеров обследуемых сердечных анатомических участков, например, путем картирования такой модели на объемном изображении. Подходящий алгоритм сегментации раскрыт О. Экабертом и др. (O. Ecabert et al.) в статье “Automatic Model-Based Segmentation of the Heart in CT Images” («Автоматическая основанная на модели сегментация сердца в КТ изображениях»), IEEE Transactions on Medical Imaging, 2008 (27), pp. 1189-1201.
Успех алгоритма сегментации требует точного размещения модели сердца в данных визуализации, например в объемном изображении. В то время как такое размещение, как правило, включает в себя основные преобразования координат, такие как вращение, трансляционное перемещение и масштабирование, дальнейшая обработка также включает аффинные преобразования отдельных компонентов модели (например, желудочков или предсердий) или выбор из набора средних форм, представляющих различные патологии сердца (например, расширенная или нормальная форма). В некоторых случаях части этого процесса автоматического размещения дают сбой, например, вследствие плохого качества ультразвукового изображения или ограниченного поля зрения (ПЗ) в пределах ультразвуковых изображений.
Два типичных примера показаны на фиг. 1 и фиг. 2. На фиг. 1, вследствие данных визуализации, показывающих сердце достаточно малого размера, автоматическое размещение модели 1 сердца, включающей в себя модели анатомических участков левого желудочка (ЛЖ), правого желудочка (ПЖ), левого предсердия (ЛП) и правого предсердия (ПП), дало сбой из-за неверной оценки общего размера модели, в результате чего все сердце должно быть обернуто моделью левого желудочка модели 1 сердца. На фиг. 2 данные ультразвуковой визуализации имеют ограниченное поле зрения в сочетании с довольно плохим контрастом визуализации, в частности на вершине. Следовательно, трансляционный параметр был неверно оценен автоматическим процессом размещения модели 1 сердца в данных визуализации, так что фактический правый желудочек охватывается левой стороной модели 1 сердца.
В случае таких сбоев размещения модели 1 сердца анализ не может быть выполнен, пока пользователь вручную не поместит модель 1 сердца в правильном положении в ультразвуковом изображении, что может быть утомительно и трудоемко. Это, например, раскрыто в патентном документе WO 2005/078666 A1. Как будет легко понятно специалисту в данной области, такие проблемы размещения моделей не ограничены моделями сердца, но в равной степени относятся к размещению моделей других анатомических особенностей, представляющих интерес, например, моделей органов, моделей плода и так далее.
Раскрытие сущности изобретения
Настоящее изобретение направлено на создание устройства обработки ультразвукового изображения, которое позволило бы пользователю более легко совмещать модель сердца с захваченным ультразвуковым изображением, содержащим по меньшей мере участок анатомической особенности, представляющей интерес, например сердца пациента.
Настоящее изобретение также направлено на создание системы ультразвуковой визуализации, содержащей такое устройство обработки ультразвукового изображения.
Настоящее изобретение также направлено на создание компьютерно-реализуемого способа, позволяющего пользователю более легко совмещать модель сердца с захваченным ультразвуковым изображением, содержащим по меньшей мере участок анатомической особенности, представляющей интерес, например сердце пациента.
Настоящее изобретение также направлено на создание компьютерного программного продукта для осуществления такого способа на устройстве обработки ультразвукового изображения.
В соответствии с одним аспектом изобретения предложено устройство обработки ультразвукового изображения, содержащее процессорный блок, выполненный с возможностью картирования модели анатомической особенности, представляющей интерес, на ультразвуковом изображении, отображающем по меньшей мере поперечное сечение указанной анатомической особенности, представляющей интерес, и с возможностью сегментирования указанного ультразвукового изображения в соответствии с картированной моделью; и сенсорный дисплей, выполненный с возможностью отображения указанного ультразвукового изображения, содержащего картированную модель; причем процессорный блок выполнен с возможностью реагирования на сенсорный дисплей и распознавания типа пользовательского движения прикосновения из множества типов пользовательских движений прикосновения, предоставляемых через сенсорный дисплей, причем каждый тип пользовательского движения прикосновения связан с конкретным изменением указанного картирования; и с возможностью изменения указанного картирования в соответствии с распознанным типом пользовательского движения прикосновения. Использование взаимодействия прикосновения с сенсорным дисплеем, отображающим ультразвуковое изображение и анатомическую модель, наложенную на это изображение, предоставляет пользователю интуитивно понятный и простой метод, в котором неверно размещенная анатомическая модель может быть корректирующим образом смещена в верное положение в соответствии с действиями пользователя, тем самым обеспечивая удобное для пользователя устройство обработки ультразвукового изображения, которое облегчает эффективную корректировку неверно размещенных анатомических моделей вслед за их автоматическим размещением. В предпочтительных вариантах осуществления анатомическую модель строят на объемном (3D) ультразвуковом изображении, на котором отображается значительная часть анатомической особенности, представляющей интерес, или вся анатомическая особенность, представляющая интерес, хотя следует понимать, что в альтернативных вариантах осуществления такие модели могут отображаться на 2D ультразвуковых изображениях, например на изображении среза объемного изображения или изображении среза последовательности 2D-изображений, сделанных вдоль направления сканирования.
Процессорный блок может быть дополнительно выполнен с возможностью сегментирования указанного ультразвукового изображения в соответствии с измененной картированной моделью таким образом, что пользовательские корректировки приводят к улучшенным автоматически генерируемым результатам параметрических измерений анатомической особенности пациента, полученным с помощью алгоритмов сегментации.
В вариантах осуществления, в которых модель содержит множество анатомических компонентов, процессорный блок может быть выполнен с возможностью выбора или отмены выбора одного из указанных анатомических компонентов в ответ на осуществление пользователем взаимодействия с областью сенсорного дисплея, отображающей указанный анатомический компонент, таким образом, чтобы ограничить применение последующих жестов к выбранному компоненту или прекратить действие такого ограничения в случае отмены выбора компонента. С этой целью процессорный блок предпочтительно дополнительно выполнен с возможностью изменения картирования указанного выбранного анатомического компонента в ответ на дополнительную пользовательскую команду прикосновения, поданную через сенсорный дисплей.
В вариантах осуществления, в которых предусмотрена возможность конфигурирования анатомической модели, процессорный блок может быть выполнен с возможностью выбора конфигурации модели в ответ на смахивающее движение (свайп), осуществленное пользователем на сенсорном дисплее, тем самым позволяя пользователю выбирать подходящую модель, например модель расширенного сердца, модель нормального сердца или тому подобное, простым способом. Конечно, в равной степени осуществимы и другие типы пользовательских команд, предусмотренных на сенсорном экране для осуществления вышеуказанных действий с анатомической моделью.
Устройство обработки ультразвукового изображения может быть рабочей станцией, или, альтернативно, может представлять собой портативное устройство обработки ультразвукового изображения, такое как планшетный компьютер.
Согласно еще одному аспекту, предложена система ультразвуковой визуализации, содержащая устройство обработки ультразвукового изображения любого из описанных здесь вариантов осуществления и ультразвуковой зонд для предоставления ультразвукового изображения указанному устройству. Такая система ультразвуковой визуализации облегчает точное определение результатов анатомических и/или параметрических измерений путем предоставления ультразвуковых изображений устройству обработки ультразвукового изображения, как раскрыто выше.
Согласно еще одному аспекту, предложен компьютерно-реализуемый способ извлечения результатов параметрических измерений из ультразвукового изображения, отображающего по меньшей мере участок анатомической особенности пациента, представляющей интерес, причем указанный способ включает в себя картирование модели анатомической особенности, представляющей интерес, на ультразвуковом изображении; прием типа пользовательского движения прикосновения из множества типов пользовательских движений прикосновения от сенсорного дисплея, причем каждый тип пользовательского движения прикосновения связан с конкретным изменением указанного картирования; распознавание указанного типа пользовательского движения прикосновения; изменение указанного картирования в соответствии с распознанным типом пользовательского движения прикосновения; и сегментирование ультразвукового изображения в соответствии с измененной картированной моделью для извлечения результатов указанных параметрических измерений. Такой способ дает возможность пользователю устройства обработки ультразвукового изображения, реализующего метод, исправлять ошибки размещения анатомической модели на ультразвуковом изображении интуитивным и простым способом, тем самым обеспечивая улучшенный пользовательский опыт. Кроме того, такое движение может быть непосредственно преобразовано в предполагаемое преобразование анатомической модели.
Способ может дополнительно включать в себя отображение извлеченных результатов параметрических измерений на сенсорном дисплее, чтобы снабдить пользователя этими результатами измерений.
В вариантах осуществления, в которых модель содержит множество анатомических компонентов, способ может дополнительно включать в себя выбор или отмену выбора одного из указанных анатомических компонентов в ответ на осуществление пользователем взаимодействия с областью сенсорного дисплея, отображающей указанный анатомический компонент таким образом, чтобы ограничить применение последующих жестов в отношении выбранного компонента или прекратить такое ограничение в случае отмены выбора компонента. С этой целью способ может быть дополнительно выполнен с возможностью изменения картирования указанного выбранного анатомического компонента в ответ на дополнительную пользовательскую команду прикосновения, поданную через сенсорный дисплей.
В вариантах осуществления, в которых предусмотрена возможность конфигурирования модели, способ может дополнительно включать в себя выбор конфигурации модели в ответ на смахивающее движение, осуществленное пользователем на сенсорном дисплее, тем самым позволяя пользователю выбрать подходящую модель, например модель расширенного сердца, модель нормального сердца или тому подобное, простым образом.
Подтверждено, что в равной степени осуществимы и другие типы пользовательских команд, предусмотренных на сенсорном экране для осуществления вышеуказанных действий с анатомической моделью.
Согласно еще одному аспекту, предусмотрен компьютерный программный продукт, содержащий машиночитаемый носитель с машиночитаемыми программными инструкциями, сохраненными в нем для того, чтобы при исполнении на процессорном блоке устройства обработки ультразвукового изображения по любому из раскрытых здесь вариантов осуществления, инициировать осуществление процессорным блоком способа по любому из раскрытых здесь вариантов осуществления. Такой компьютерный программный продукт, например, может быть использован для улучшения существующих устройств обработки ультразвукового изображения путем установки на них машиночитаемых программных инструкций.
Краткое описание чертежей
Варианты осуществления настоящего изобретения раскрыты более подробно ниже с помощью неограничивающих примеров со ссылкой на прилагаемые чертежи, на которых:
на фиг. 1 представлено изображение неверно картированной модели сердца на ультразвуковом изображении сердца;
на фиг. 2 представлено изображение неверно картированной модели сердца на другом ультразвуковом изображении сердца;
на фиг. 3 показано схематическое изображение системы ультразвуковой визуализации, используемой для сканирования части тела пациента;
на фиг. 4 показана блок-схема варианта осуществления системы ультразвуковой визуализации с матричным преобразователем;
на фиг. 5 показана блок-схема примерного варианта осуществления компьютерно-реализуемого способа в соответствии с настоящим изобретением; а также
на фиг. 6-10 схематично изображены различные аспекты примерных вариантов осуществления настоящего изобретения.
Осуществление изобретения
Следует понимать, что фигуры являются только схематическими и не выполнены в масштабе. Следует также понимать, что одни и те же ссылочные позиции используются на всех чертежах для обозначения одинаковых или аналогичных частей.
На фиг. 3 схематично показана ультразвуковая система 100, в частности медицинская двумерная (2D) или трехмерная (3D) система ультразвуковой визуализации. Ультразвуковая система 100 может быть применена для проверки объема анатомического участка, в частности анатомического участка пациента 12, такого как сердце пациента. Это, например, может включать в себя мониторинг анатомического участка в течение определенного периода времени для отслеживания развития состояния, влияющего на анатомический участок. Ультразвуковая система 100 содержит ультразвуковой зонд 14, содержащий по меньшей мере одну матрицу преобразователей, имеющую множество преобразовательных элементов для передачи и/или приема ультразвуковых волн. В одном примере каждый из преобразовательных элементов может передавать ультразвуковые волны в виде по меньшей мере одного импульса передачи с определенной длительностью импульса, в частности в виде множества последовательных импульсов передачи. Такой ультразвуковой зонд 14 может представлять собой зонд, прикладываемый к участку кожи, например в области грудной клетки, пациента 12 или, альтернативно, может представлять собой чреспищеводный эхокардиографический зонд. Преобразовательные элементы могут быть расположены в виде одномерной матрицы, например, в случае 2D медицинской визуализации, или в виде двумерной матрицы, в частности, для обеспечения мультипланарного или трехмерного изображения в случае 3D ультразвуковой системы 100. Конкретным примером трехмерной ультразвуковой системы является ультразвуковая система CX40 Compact Xtreme, предлагаемая на рынке заявителем, в частности, вместе с преобразователем X6-1 или X7-2t TEE заявителя или другим преобразователем, использующим технологию xMatrix заявителя. В общем случае системы матричных преобразователей, характерные для систем Philips iE33, или технология механических 3D/4D преобразователей, характерная, например, для систем Philips iU22 и HD15, могут применяться в сочетании с настоящим изобретением.
Ультразвуковой зонд 14 обычно соединен с возможностью связи с устройством 10 обработки ультразвукового изображения, причем соединение может быть получено любым подходящим методом, например это может быть беспроводное соединение или проводное соединение, например по коаксиальному кабелю, с помощью которого устройство 10 обработки ультразвукового изображения может передавать управляющие команды ультразвуковому зонду 14. Такое устройство 10 обработки ультразвукового изображения может иметь любую подходящую форму, например в виде специальной рабочей станции или консоли системы 100 ультразвуковой визуализации или, в качестве альтернативы, может представлять собой универсальное вычислительное устройство, например персональный компьютер, портативный компьютер или планшетный компьютер, на котором установлен компьютерный программный продукт, который настраивает вычислительное устройство, чтобы оно могло работать в качестве устройства 10 обработки ультразвукового изображения.
Устройство 10 обработки ультразвукового изображения может включать в себя процессорный блок 16, содержащий блок реконструкции изображения, который управляет выводом последовательности 2D- или 3D-изображений с помощью ультразвуковой системы 100. Как будет объяснено более подробно ниже, блок реконструкции изображения может управлять не только сбором данных с помощью матрицы преобразователей ультразвукового зонда 14, но также и обработкой сигналов и изображений, которые формируют последовательности 2D- или 3D-изображений из эхо-сигналов ультразвуковых лучей, принимаемых матрицей преобразователей ультразвукового зонда 14.
Ультразвуковая система 100 может дополнительно содержать устройство 18 отображения (далее также называемое дисплеем 18) для отображения 2D- или 3D-изображения или последовательности изображений пользователю. Дисплей 18 может образовывать неотъемлемую часть или может быть соединен с возможностью связи с устройством 10 обработки ультразвукового изображения. Дисплей 18 включает в себя сенсорный экран 19, через который пользователь может взаимодействовать с отображаемыми на нем данными изображения, например отображаемыми 2D-изображениями, 2D-срезами объемного ультразвукового 3D-изображения, или, предпочтительно, с визуализированным объемным изображением объемного ультразвукового изображения анатомической области пациента 12, представляющей интерес, такой как сердце пациента, в некоторых вариантах осуществления настоящего изобретения, как будет объяснено более подробно ниже. Любой подходящий тип сенсорного экрана 19 может использоваться в дисплее 18.
Кроме того, может быть предусмотрено устройство 20 ввода, которое может включать в себя пользовательский интерфейс 22, такой как клавиатура, и дополнительные устройства ввода, например трекбол 24. Устройство 20 ввода может быть подсоединено к дисплею 18 или непосредственно к блоку 16 реконструкции изображения. Ультразвуковая система 100 может дополнительно содержать устройство 60 хранения данных, например одно или несколько запоминающих устройств, жестких дисков, оптических дисков или тому подобного, в которых процессорный блок или блок 16 реконструкции изображения могут хранить кадры изображения и данные обработки кадров изображения, например, для оценки на более позднем этапе, то есть после завершения сбора данных ультразвукового изображения.
На фиг. 4 показана блок-схема ультразвуковой системы 100, включающей в себя процессорный блок 16 устройства 10 обработки ультразвукового изображения. Ультразвуковой зонд 14 может, например, содержать матрицу 26 преобразователей CMUT. Матрица 26 преобразователей может альтернативно содержать пьезоэлектрические преобразовательные элементы, изготовленные из таких материалов, как PZT или PVDF. Матрица 26 преобразователей представляет собой одно- или двумерную матрицу преобразовательных элементов, способную осуществлять сканирование в двух измерениях для двумерной визуализации или в трех измерениях для трехмерной визуализации. Матрица 26 преобразователей соединена с микроформирователем (мкДН) 28 диаграммы направленности в зонде, который управляет передачей и приемом сигналов ячейками матрицы CMUT или пьезоэлектрическими элементами. Микроформирователи диаграммы направленности способны по меньшей мере частично формировать диаграммы направленности сигналов, принимаемых группами или «пэтчами» преобразовательных элементов, как раскрыто в патентах США. 5,997,479 (Savord et al.), 6,013,032 (Savord) и 6,623,432 (Powers et al.).
Микроформирователь 28 диаграммы направленности может быть соединен с помощью кабеля зонда с переключателем 30 передачи/приема (T/R), выполненным с возможностью переключения между передачей и приемом и защиты главного формирователя 34 диаграммы направленности от сигналов передачи высоких энергий, когда микроформирователь 28 диаграммы направленности не используется, а матрица 26 преобразователей управляется непосредственно главным системным формирователем 34 диаграммы направленности. Передача ультразвуковых лучей от матрицы 26 преобразователей под управлением микроформирователя 28 диаграммы направленности направляется с помощью контроллера 32 преобразователей, соединенного с микроформирователем 28 диаграммы направленности с помощью Т/R-переключателя 30 и главным системным формирователем 34 диаграммы направленности, который принимает входные данные от операции пользователя в пользовательском интерфейсе или панели 22 управления. Одной из функций, управляемых контроллером 32 преобразователей, является задание направления, в котором лучи направляются и фокусируются. Лучи могут направляться прямо вперед (ортогонально) от матрицы 26 преобразователей, или под разными углами для более широкой области захвата. Контроллер 32 преобразователей может быть соединен с возможностью управления с устройством 58 управления смещением постоянного тока для матрицы ячеек преобразователей.
Сигналы с частично сформированной диаграммой направленности, генерируемые микроформирователем 26 диаграммы направленности в режиме приема, сопрягаются с основным формирователем 34 диаграммы направленности, на котором сигналы с частично сформированной диаграммой направленности от отдельных пэтчей преобразовательных элементов объединяются в сигнал с полностью сформированной диаграммой направленности. Так, например, основной формирователь 34 диаграммы направленности может иметь 128 каналов, каждый из которых принимает сигнал с частично сформированной диаграммой направленности от пэтча десятков или сотен ячеек преобразователей CMUT или пьезоэлектрических элементов. Таким образом, сигналы, принимаемые тысячами преобразовательных элементов матрицы 26 преобразователей, могут эффективно способствовать формированию одного сигнала со сформированной диаграммой направленности.
Эти сигналы со сформированной диаграммой направленности сопрягаются с сигнальным процессором 36, который может образовывать часть вышеуказанного процессорного блока. Сигнальный процессор 36 может обрабатывать принятые эхо-сигналы различным образом, например посредством полосовой фильтрации, прореживания, разделения на компоненты I и Q и гармонического сигнального разделения, которое служит для разделения линейных и нелинейных сигналов, чтобы обеспечить возможность идентификации нелинейных (высших гармоник основной частоты) эхо-сигналов, возвращаемых тканью и/или микропузырьками, содержащимися в контрастном веществе, предварительно введенном в тело пациента 12. Сигнальный процессор 36 также может выполнять дополнительное усиление сигналов, такое как уменьшение уровня спеклов, комбинирование сигналов и устранение шума. Полосовой фильтр в сигнальном процессоре 36 может быть следящим фильтром, его полоса пропускания скользит от более высокой полосы частот к более низкой полосе частот, когда эхо-сигналы принимаются с увеличивающейся глубины, тем самым подавляя шум на более высоких частотах с бóльших глубин, где эти частоты лишены анатомической информации.
Обработанные сигналы могут быть переданы в процессор 38 B-режима и доплеровский процессор 40. Процессор 38 B-режима использует детектирование амплитуды принимаемого ультразвукового сигнала для визуализации структур в теле, таких как ткань органов и сосудов тела. B-режим изображений структуры тела может быть выполнен либо в режиме гармонических изображений, либо в режиме фундаментальных изображений или в виде комбинации обоих режимов, как раскрыто в патенте США 6,283,919 (Roundhill et al.) и в патенте США 6,458,083 (Jago et al.)
Доплеровский процессор 40 может обрабатывать различные по времени сигналы от движения ткани и кровотока для обнаружения движения веществ, таких как поток клеток крови в поле изображения. Доплеровский процессор 40, как правило, включает в себя фильтр стенок сосудов с параметрами, которые могут быть установлены для прохождения и/или отклонения эхо-сигналов, возвращаемых от выбранных типов материалов в организме. Например, фильтр стенок сосудов может быть настроен так, чтобы иметь характеристику полосы пропускания, которая пропускает сигнал относительно низкой амплитуды от материалов с повышенной скоростью, в то же время отклоняя относительно сильные сигналы от материала с пониженной или нулевой скоростью. Эта характеристика полосы пропускания будет пропускать сигналы от кровотока, в то же время отклоняя сигналы от близлежащих неподвижных или медленно движущихся объектов, таких как стенка сердца. Обратная характеристика будет пропускать сигналы от движущейся ткани сердца, в то же время отклоняя сигналы кровотока для так называемой тканевой доплерографии, обнаружения и отображения движения ткани.
Доплеровский процессор 40 может принимать и обрабатывать последовательность дискретных по времени эхо-сигналов из различных точек в области изображения, последовательность эхо-сигналов от определенной точки, называемую ансамблем. Ансамбль эхо-сигналов, полученных в быстрой последовательности в течение относительно короткого промежутка времени, может быть использован для оценки частоты доплеровского сдвига кровотока, и соответствия доплеровской частоты скорости, указывающей скорость кровотока. Ансамбль эхо-сигналов, полученных в течение более длительного периода времени, используется для оценки скорости медленно текущей крови или медленно двигающейся ткани.
Структурные сигналы и сигналы движения, создаваемые B-режимом доплеровских процессоров 38, 40 могут затем быть переданы на скан-конвертер 44 и мультипланарный реконструктор 54. Скан-конвертер 44 располагает эхо-сигналы в пространственной взаимосвязи мест, от которых они были получены, в требуемом формате изображения. Например, скан-конвертер 44 может преобразовать эхо-сигнал в двумерный (2D) секторообразный формат или пирамидальное трехмерное (3D) изображение. Скан-конвертер 44 может накладывать на структурное изображение B-режима цвета, соответствующие движению в точках области изображения, с их доплеровскими оценками скоростей для получения цветного доплеровского изображения, которое отображает движение ткани и кровоток в области изображения.
В системах 3D-визуализации мультипланарный реконструктор 54 преобразует эхо-сигналы, которые получены от точек в общей плоскости в пространственной области тела в ультразвуковое изображение этой плоскости, как раскрыто в патенте США 6,443,896 (Detmer). Объемный рендерер 52 преобразует эхо-сигналы набора 3D-данных в последовательность 56 проекционных 3D-изображений с течением времени, если смотреть с заданной опорной точки, как раскрыто в патенте США 6,530,885 (Entrekin et al.) Последовательность 56 3D-изображений передается от скан-конвертера 44, мультипланарного реконструктора 54 и объемного рендерера 52 в процессор 42 изображений для дальнейшего усиления, буферизации и временного хранения для отображения на дисплее 18.
Процессор 42 изображений, например, может быть выполнен с возможностью картирования модели 1 сердца на ультразвуковом изображении сердца, например 2D-изображении или предпочтительно объемном ультразвуковом 3D-изображении (или на выбранном пользователем его срезе), а также с возможностью сегментации ультразвукового изображения сердца в соответствии с любым подходящим алгоритмом сегментации, например алгоритмом сегментации, образующим часть программного модуля сегментации, исполняемым процессором 42 изображений. Здесь следует понимать, что упоминание процессора 42 изображений также подразумевает варианты осуществления устройства 10 обработки ультразвукового изображения, в которых функциональность процессора 42 изображений обеспечивается с помощью множества взаимодействующих процессоров. Например, в таких вариантах осуществления могут взаимодействовать специальный процессор картирования модели сердца и специальный процессор сегментации для осуществления функциональных возможностей процессора 42 изображений.
В дополнение к использованию для визуализации, значения кровотока, полученные с помощью доплеровского процессора 40, и информация о структуре ткани, полученная с помощью процессора 38 B-режима, могут быть переданы в процессор 46 количественного анализа, образующий часть процессорного блока. Этот процессор 46 количественного анализа может производить измерения различных параметров потока, таких как объемный расход кровотока, а также структурные измерения, например, размеров органов и гестационного возраста. Процессор 46 количественного анализа может принимать входной сигнал от пользовательского интерфейса 22, например конкретные точки в анатомическом изображении, в которых должно быть проведено измерение.
Выходные данные из процессора 46 количественного анализа могут быть переданы графическому процессору 50, образующему часть процессорного блока, для воспроизведения графиков и значений измерений с помощью изображения на дисплее 18. Графический процессор 50 также может генерировать графические наложения для отображения вместе с ультразвуковыми изображениями, например наложение модели 1 сердца на ультразвуковое изображение сердца, на котором картируется указанная модель 1 сердца. Эти графические наложения могут дополнительно содержать стандартную идентификационную информацию, например имя пациента, дата и время съемки изображения, параметры визуализации и тому подобное. Для этих целей графический процессор 50 может принимать входные данные от пользовательского интерфейса 22, например имя пациента. Пользовательский интерфейс 22 может быть соединен с контроллером 32 передачи для управления генерацией ультразвуковых сигналов от матрицы 26 преобразователей и, следовательно, изображений, создаваемых матрицей преобразователей и ультразвуковой системой. Пользовательский интерфейс 22 также может быть соединен с мультипланарным реконструктором 54 для выбора и управления плоскостями множества мультипланарных реконструированных изображений (MPR-изображений), которые могут использоваться для выполнения количественных измерений в области MPR-изображений в случае системы 3D-визуализации.
Процессор 46 количественного анализа может быть дополнительно выполнен с возможностью приема пользовательских команд прикосновения через сенсорный экран 19 для регулировки картирования модели 1 сердца на ультразвуковом изображении сердца, отображаемого на дисплее 18, как будет разъяснено более подробно ниже. Процессор 46 количественного анализа может интерпретировать полученные пользовательские команды прикосновения так, что он извлекает регулировку картирования модели 1 сердца из принятой пользовательской команды прикосновения и передает эту регулировку процессору 42 изображений. Как правило, такие регулировки относятся к текущему виду плоскости объемного изображения, отображаемого на дисплее 18 в случае использования такого объемного изображения. Процессор 42 изображений может быть выполнен с возможностью регулировки автоматического картирования модели 1 сердца на ультразвуковом изображении сердца, соответственно, и с возможностью осуществления сегментации ультразвукового изображения сердца в соответствии с перекартированной моделью 1 сердца.
В качестве альтернативы, процессор 42 изображений может реагировать на сенсорный экран 19 и может быть выполнен с возможностью интерпретации пользовательских команд прикосновения, подаваемых через сенсорный экран 19, чтобы регулировать картирование модели 1 сердца в соответствии с интерпретируемыми пользовательскими командами прикосновения, минуя, таким образом, процессор 46 количественного анализа. Следует понимать, что возможны и другие процессорные блоки устройства 10 обработки ультразвукового изображения для интерпретации таких пользовательских команд прикосновения, подаваемых через сенсорный экран 19, для перекартирования модели 1 сердца в соответствии с интерпретируемыми пользовательскими командами прикосновения и для выполнения сегментации ультразвукового изображения сердца в соответствии с перекартированной моделью сердца, что должно быть очевидно специалисту в данной области техники.
Понятно, что вышеуказанная ультразвуковая система 100 была раскрыта только в качестве одного возможного примера применения устройства 10 обработки медицинского ультразвукового изображения. Следует отметить, что вышеуказанная ультразвуковая система 100 необязательно должна содержать все компоненты, раскрытые выше. С другой стороны, ультразвуковая система 100 может также содержать дополнительные компоненты, если необходимо. Далее, следует отметить, что множество вышеуказанных компонентов необязательно должны быть реализованы в виде аппаратных средств, но также могут быть реализованы в виде программных компонентов. Множество вышеуказанных компонентов также могут содержаться в общих субъектах или даже в одном единственном субъекте, и не все из них должны быть реализованы в виде отдельных субъектов так, как это схематически показано на фиг. 2.
Как раскрыто выше, устройство 10 обработки ультразвукового изображения выполнено с возможностью автоматического картирования модели 1 сердца, включая модели анатомических структур ЛЖ, ПЖ, ЛП и ПП на ультразвуковом изображении, предпочтительно объемном ультразвуковом изображении, содержащем изображение сердца пациента 12, как правило, но необязательно, на виде в поперечном разрезе сердца пациента, например, с использованием алгоритмов картирования, раскрытых в патентном документе WO 2016/142204 A1. Такая модель сердца, как правило, представляет собой алгоритм сегментации на основе модели, использующий предварительные данные об общей структуре сердца, о том, как расположение сердца изменяется в пределах 3D объемных ультразвуковых изображений, о том, как форма сердца изменяется от пациента к пациенту и о методах отображения сердца посредством ультразвуковой визуализации. Поскольку такие модели сердца хорошо известны сами по себе, модель 1 сердца не будет раскрыта подробно ради краткости. Достаточно сказать, что любая подходящая модель сердца может быть использована в качестве модели 1 сердца.
За таким картированием, как правило, следует автоматическая сегментация ультразвукового изображения с картированной моделью 1 сердца, чтобы автоматически провести измерения сердца, например измерение параметров, таких как фракция выброса и сердечный выброс, которые требуют контурирования объема крови в камерах сердца на различных фазах сердечного цикла на двух- или трехмерных изображениях камеры сердца.
Однако, как было объяснено выше более подробно с помощью фиг. 1 и фиг. 2, алгоритм картирования, используемый моделью 1 сердца для картирования на ультразвуковом изображении сердца пациента не всегда успешен, так что последующая сегментация ультразвукового изображения в соответствии с картированной моделью 1 сердца будет генерировать бессмысленные результаты. В таких случаях пользователю устройства 10 обработки ультразвукового изображения необходимо вручную переместить модель 1 сердца относительно ультразвукового изображения до выполнения алгоритмов сегментации для гарантии того, что результаты измерений, полученные с помощью алгоритмов сегментации являются клинически значимыми, то есть имеют смысл.
В соответствии с вариантами осуществления настоящего изобретения, устройство 10 обработки ультразвукового изображения выполнено с возможностью реализации способа 200, блок-схема которого изображена на фиг. 5. С этой целью процессорный блок 16 устройства 10 обработки ультразвукового изображения может быть выполнен с возможностью осуществления различных этапов способа 200, некоторые из которых уже были описаны выше. В соответствии с этим способом 200, пользователь устройства 10 обработки ультразвукового изображения может подать команды прикосновения через сенсорный экран 19 дисплея 18, причем указанные команды прикосновения интерпретируется процессорным блоком 16 в качестве команд регулировки картирования для автоматического картирования модели 1 сердца на ультразвуковом изображении сердца.
Таким образом, способ 200 начинается на этапе 201 с приема захваченного ультразвукового изображения сердца, например ультразвукового изображения сердца, извлеченного из устройства 60 хранения данных в ответ на сигнал выбора пользователя, подаваемый через сенсорный экран 19 или пользовательский интерфейс 22, после чего способ 200 переходит к этапу 203, на котором модель 1 сердца картируют на ультразвуковом изображении сердца, например объемном изображении, как разъяснено ранее. Ультразвуковое изображение сердца, включая наложенную модель 1 сердца в ее позиции картирования, определенное на этапе 203, отображается на этапе 205 на дисплее 18, так что пользователь может проверить, корректно ли модель сердца была картирована на ультразвуковом изображении сердца. Эта проверка отображена на этапе 207, на котором процессорный блок 16 проверяет, подал ли пользователь через сенсорный экран 19 пользовательскую команду прикосновения, указывающую на несовмещение модели 1 сердца с ультразвуковым изображением сердца.
Например, пользователь может подать команду прерывания, указывающую на несовмещение модели 1 сердца с ультразвуковым изображением сердца, например, путем нажатия на сенсорный экран 19, который останавливает автоматическую обработку и, в частности, сегментацию ультразвукового изображения сердца, пока пользователь не предоставит команду регулировки картирования через сенсорный экран 19 на этапе 209, причем эта команда регулировки картирования интерпретируется процессорным блоком 16 на этапе 211 и используется для перекартирования модели 1 сердца на ультразвуковом изображении сердца, соответственно. Как правило, жесты, передаваемые через сенсорный экран 19, интерпретируются и исполняются процессорным блоком 16 для обработки информации о пространственной поверхности сетки модели 1 сердца, отображаемой на дисплее 18. Например, процессорный блок 16 может периодически проверять, была ли подана команда пользователя через сенсорный экран 19, например с заданной частотой дискретизации, которая определяется в случае такой пользовательской команды, причем эта команда немедленно интерпретируется и применяется как преобразование к сетке, после чего способ 200 возвращается к этапу 205, на котором перекартированная модель 1 сердца отображается в виде наложения на ультразвуковое изображение сердца на дисплее 18 для подтверждения пользователем на этапе 207, как объяснено ранее.
Далее будет более подробно объяснено несколько примеров типов пользовательских команд, причем каждый тип пользовательского движения прикосновения связан с различным типом изменения картирования модели 1. Следует понимать, что примеры команд не являются исчерпывающими, и могут быть предусмотрены другие команды для вызова других операций, например манипуляций с анатомической моделью, такой как модель 1 сердца. В равной степени, различные типы взаимодействий прикосновения для взаимодействий, поясненных ниже, могут использоваться для вызова таких операций, что должно быть понятно специалисту в данной области.
В примерном варианте осуществления пользователь может предоставить команду 3 трансляционного перемещения для модели 1 сердца через сенсорный экран 19, как схематически показано на фиг. 6. Пользователь может в качестве неограничивающего примера скользящим образом перемещать один или несколько пальцев в требуемом направлении трансляционного перемещения модели 1 сердца, параллельном текущей плоскости отображения ультразвукового изображения сердца, с помощью процессорного блока 16, выполненного с возможностью преобразования расстояния и направления скользящего движения по сенсорному экрану 19 в расстояние и направление трансляционного перемещения для модели 1 сердца относительно ультразвукового изображения сердца, как показано стрелкой в левой области фиг. 6. В правой области фиг. 6 (обозначенной как «Коррекция») изображена перекартированная модель 1 сердца в соответствии с этой пользовательской командой прикосновения, исполненной процессорным блоком 16. Пользователь может на этапе 207 подтвердить, что перекартированная модель 1 сердца теперь соответствующим образом картирована на ультразвуковом изображении сердца, например, путем воздержания от подачи дополнительных команд прикосновения через сенсорный экран 19 или путем подачи пользовательской команды, например через сенсорный экран 19 или через пользовательский интерфейс 22, указывающей такое подтверждение.
В другом примерном варианте осуществления пользователь может предоставить команду 3 вращения для модели 1 сердца через сенсорный экран 19, как схематически показано на фиг. 7. Это может быть использовано для исправления вращательного несовмещения модели 1 сердца с ультразвуковым изображением сердца. Чтобы вызвать повторное вращательное выравнивание модели 1 сердца, пользователь может, в качестве неограничивающего примера, сделать поворотное движение на сенсорном экране 19 одним или несколькими пальцами, например большим и указательным пальцами, причем поворотное движение детектируется процессорным блоком 16 и интерпретируется таким образом, что величина (угол) поворотного движения, предоставленная пользователем, переводится в величину (угол) вращения модели 1 сердца в направлении поворотного движения вокруг оси вектора нормали текущей плоскости отображения ультразвукового изображения сердца, как показано изогнутыми стрелками на фиг. 7, в результате чего получается повернутая модель 1 сердца, как изображено в правой области фиг. 7 (обозначена как «Коррекция»).
В другом примерном варианте осуществления пользователь может предоставить команду 3 масштабирования для модели 1 сердца через сенсорный экран 19, как схематически показано на фиг. 8. Это может быть использовано для корректировки неверного масштаба модели 1 сердца относительно ультразвукового изображения сердца, т.е. поперечного сечения сердца, видимого на ультразвуковом изображении сердца. Чтобы вызвать такое изменение масштаба модели 1 сердца, пользователь может, в качестве неограничивающего примера, сделать сжимающее движение двумя или несколькими пальцами, чтобы уменьшить размер модели 1 сердца, или растягивающее движение двумя пальцами, чтобы увеличить размер модели 1 сердца на сенсорном экране 19, например, с помощью большого пальца и указательного пальца. Процессорный блок 16, как раскрыто и в отношении предыдущих случаев, выполнен с возможностью интерпретации такой команды масштабирования, полученной через сенсорный экран 19, и изменения масштаба модели 1 сердца в соответствии с полученной командой масштабирования, как показано стрелками в левой области фиг. 8, получая, таким образом, модель 1 сердца с измененным масштабом, как показано в правой области фиг. 8 (обозначена как «Коррекция»). Степень масштабирования, как правило, соответствует величине (расстоянию) сжимания или растяжения, например, между пальцами на сенсорном экране 19, что должно быть понятно специалисту в данной области.
После того, как на этапе 207 было установлено, что пользователь подтвердил картирование модели 1 сердца на ультразвуковом изображении сердца, отображаемом на дисплее 18, способ 200 переходит к этапу 213, на котором ультразвуковое изображение сердца сегментируется процессорным блоком 16 с использованием любого подходящего алгоритма сегментации, как объяснялось ранее, после чего результаты сегментации отображаются на дисплее 18 на этапе 215. Такие результаты сегментации, например, могут включать в себя результаты измерений динамических параметров сердца, например фракции выброса, чтобы дать возможность пользователю оценить производительность сердца за некоторый период времени, например, за один или несколько сердечных циклов.
В одном варианте осуществления устройство 10 обработки ультразвукового изображения дополнительно выполнено с возможностью позволить пользователю выбрать часть модели 1 сердца для выбора или отмены выбора конкретного анатомического компонента модели сердца. Это схематически изображено на фиг. 9. Например, пользователь может нажать и удерживать анатомический компонент 2 (в данном случае модель левого предсердия) модели 1 сердца для выбора или отмены выбора, как показано жирной точкой в левой области фиг. 9, например, для выполнения преобразований или корректировок модели 1 сердца, с помощью пользовательских команд прикосновения, предоставляемых через сенсорный экран 19, как уже было разъяснено ранее, на уровне компонентов, т.е. путем облегчения таких преобразований или корректировок для выбранного компонента 2; указанный выбор схематически изображен в правой области фиг. 9 (обозначена как «Выбор»). Выбранный анатомический компонент 2 может быть подсвечен или иным образом выделен на дисплее 18, чтобы проинформировать пользователя о том, что анатомический компонент 2 был успешно выбран. Аналогичным образом, такое подсвечивание или иное выделение может быть прекращено после успешной отмены выбора анатомической компонента 2. Картирование других частей модели сердца 1, например других невыбранных анатомических компонентов, обычно «замораживается» или фиксируется относительно исследуемого ультразвукового изображения сердца, так что пользователь может выборочно манипулировать выбранным анатомическим компонентом 2. Также может применяться радиус влияния (воздействия), зафиксированный или выбираемый пользователем с помощью дополнительных жестов прикосновения, что должно быть понятно специалисту в данной области.
В другом варианте осуществления устройство 10 обработки ультразвукового изображения дополнительно выполнено с возможностью позволить пользователю просматривать (путем прокрутки) и выбирать различные исходные режимы или патологии, например анатомию сердца особой формы, например с дилатацией. Это схематически изображено на фиг. 10. Например, пользователь может осуществлять смахивающее движение 3 (свайп) на сенсорном экране 19 для прокрутки и просмотра библиотеки различных форм модели сердца, пока не найдет нужную модель 1’ сердца, которая может быть выбрана любым подходящим образом, например, путем прекращения смахивающих движений или нажатия на нужную модель 1’ сердца, что приводит к выбору этой модели сердца, как показано в правой области фиг. 10 (обозначена как «Изменить патологию»).
Следует понимать, что любая из вышеуказанных пользовательских команд прикосновения, подаваемых через сенсорный экран 19, может быть предоставлена в любой момент во время обработки ультразвукового изображения сердца, например во время картирования модели 1 сердца на ультразвуковом изображении сердца и последующего сегментирования ультразвукового изображения сердца в соответствии с картированной моделью 1 сердца, так что возможны модификации алгоритма способа 200 без отступления от сущности настоящего изобретения.
Кроме того, следует понимать, что, хотя варианты осуществления настоящего изобретения раскрыты в контексте картирования сегментационной модели на сердце, идеи настоящего изобретения в равной степени применимы к любому другому приложению ультразвуковой визуализации, в котором подразумевается картирование сегментационной модели на анатомической особенности, представляющей интерес, например на внутреннем органе пациента 12, на плоде пациентки 12 и тому подобное.
В соответствии с одним аспектом настоящего изобретения, может быть предусмотрен компьютерный программный продукт, содержащий машиночитаемый носитель с машиночитаемыми инструкциями (кодом), сохраненными в нем, для того, чтобы, при исполнении на процессорном блоке 16 устройства 10 обработки ультразвукового изображения, инициировать осуществление процессором 16 любого варианта осуществления способа 200.
Может использоваться любая комбинация одной или нескольких машиночитаемых сред. Машиночитаемая среда может представлять собой машиночитаемую среду сигналов или машиночитаемую среду хранения (носитель информации). Машиночитаемый носитель информации может представлять собой, в качестве примера, но не ограничиваясь ими, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему или устройство, или любую подходящую комбинацию вышеперечисленного. Такая система или устройство могут быть доступны с помощью любого подходящего сетевого соединения; например система или устройство могут быть доступны по сети для извлечения машиночитаемого программного кода. Такая сеть может представлять собой, например, интернет, сеть мобильной связи или тому подобное. Более конкретные примеры (неисчерпывающий перечень) машиночитаемого носителя могут включать в себя следующее: электрическое соединение с одним или несколькими проводами, портативная компьютерная дискета, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (EPROM или флэш-память), оптическое волокно, портативный компакт-диск (CD-ROM), оптическое устройство хранения, магнитное устройство хранения или любая подходящая комбинация вышеизложенного. В контексте настоящей заявки, машиночитаемый носитель может быть любым материальным носителем, который может содержать или хранить программу для использования системой или устройством исполнения инструкций.
Машиночитаемая среда сигналов может включать в себя распространяющийся сигнал данных с машиночитаемым программным кодом, воплощенным в нем, например, в основной полосе частот или в качестве части волны несущей частоты. Такой распространяющийся сигнал может принимать любую из множества форм, в том числе, но не ограничиваясь этим, электро-магнитную, оптическую, или любую подходящую комбинацию. Машиночитаемая среда сигналов может быть любой машиночитаемой средой, которая не является машиночитаемой средой хранения (носителем информации), и которая может передавать, распространять или транспортировать программу для использования системой или устройством исполнения инструкций.
Программный код, реализованный в машиночитаемой среде, может передаваться с использованием любой подходящей среды, в том числе, но не ограничиваясь: беспроводным образом, проводным образом, по волоконно-оптическому кабелю, с помощью радиочастотной передачи и т.п., или в любой подходящей комбинации вышеперечисленного.
Компьютерный программный код для осуществления способов согласно настоящему изобретению путем исполнения на процессорном блоке может быть написан на любой комбинации одного или нескольких языков программирования, в том числе на объектно-ориентированном языке программирования, например Java, Smalltalk, C++ и т.п., и обычных языках процедурного программирования, например язык программирования «C» или аналогичные языки программирования. Программный код может исполняться полностью на процессорном блоке в виде отдельного программного пакета, например приложения, или может исполняться частично на процессорном блоке и частично на удаленном сервере. В последнем сценарии удаленный сервер может быть подключен к устройству 10 обработки ультразвукового изображения по любой сети, в том числе локальной сети (LAN) или глобальной сеть (WAN), или может быть осуществлено подключение к внешнему компьютеру, например через сеть Интернет с помощью интернет-провайдера.
Аспекты настоящего изобретения раскрыты выше со ссылкой на блок-схемы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления настоящего изобретения. Следует понимать, что каждый блок в блок-схемах и комбинации блоков в блок-схемах могут быть реализованы с помощью компьютерных программных инструкций, исполняемых полностью или частично на процессорном блоке устройства 10 обработки ультразвукового изображения, таким образом, что инструкции создают средство реализации функций/действий, указанных в блоке или блоках блок-схемы. Эти компьютерные программные инструкции могут быть также сохранены на машиночитаемом носителе, который может побуждать устройство 10 обработки ультразвукового изображения функционировать определенным образом.
Компьютерные программные инструкции могут быть загружены в процессорный блок, чтобы побудить ряд рабочих этапов, подлежащих исполнению на процессорном блоке, осуществить компьютерно-реализуемый процесс таким образом, что инструкции, исполняемые на процессорном блоке обеспечивают процессы для реализации функций/действий, указанных в блоке или блоках блок-схемы. Компьютерный программный продукт может образовывать часть устройства 10 обработки ультразвукового изображения, например он может быть установлен на устройстве 10 обработки ультразвукового изображения.
Следует отметить, что вышеуказанные варианты осуществления иллюстрируют, но не ограничивают изобретение, при этом специалисты в данной области техники смогут предложить много альтернативных вариантов осуществления без отступления от объема настоящего изобретения согласно прилагаемой формуле. В формуле изобретения любые ссылочные обозначения, помещенные в круглых скобках, не должны истолковываться как ограничивающие пункт формулы изобретения. Слово «содержащий» не исключает наличия элементов или этапов, отличных от перечисленных в пункте формулы изобретения. Использование единственного числа в отношении некоторого элемента не исключает наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратных средств, содержащих несколько отдельных элементов. В пункте формулы, относящемся к устройству, в котором перечислены несколько средств, некоторые из этих средств могут быть воплощены одним и тем же аппаратным элементом. Тот факт, что отдельные меры упомянуты в разных зависимых пунктах, не указывает на то, что комбинация этих мер не может быть использована для получения преимуществ.