СОЗДАНИЕ ГЛАВНОГО ИЗОБРАЖЕНИЯ ИЗ МЕДИЦИНСКОГО ИЗОБРАЖЕНИЯ
GENERATING A KEY IMAGE FROM A MEDICAL IMAGE

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к системе и способу создания главного изображения из медицинского изображения, причем главное изображение содержит область изображения, выбранную из медицинского изображения. Изобретение дополнительно относится к рабочей станции и устройству визуализации, содержащему упомянутую систему, и к компьютерному программному продукту, содержащему команды для того, чтобы побуждать процессорную систему выполнять упомянутый способ.
УРОВЕНЬ ТЕХНИКИ
Медицинские изображения часто используются в диагностических целях. Для гарантии надежности такого диагноза медицинские изображения обычно имеют высокое качество и подвергаются только небольшой обработке, или изображение вообще не обрабатывается. Однако имеется потребность в использовании медицинских изображений в целях иллюстрации, а не в целях диагностики. Например, в радиологическом отчете радиолог может сообщать о повреждении, которое было обнаружено на основании медицинского изображения, но при этом в радиологическом отчете может быть желательным включение более иллюстративного графического представления повреждения.
С этой целью пользователь, такой как радиолог или иной клиницист, может использовать рабочую станцию или подобную систему для ручной обработки медицинского изображения, для получения подходящего графического представления повреждения. Это может включать в себя пользовательский выбор области изображения для рассмотрения с изменением размера окна и/или панорамирования относительно повреждения на медицинском изображении. В некоторых случаях пользователь может регулировать параметры рассмотрения, например ширину/уровень окна, чтобы улучшить условия рассмотрения.
Получив подходящее графического представления, пользователь может затем запросить рабочую станцию относительно создания изображения текущего графического представления, которое может затем быть включено в радиологический отчет. Изображение, показывающее выбранную область медицинского изображения, также обозначается как главное изображение. Таким образом, оно известно как выбранная вручную область изображения для создания главного изображения.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Представляется преимущественным обеспечение системы или способа, которые обеспечивают автоматическое создание главного изображения из медицинского изображения.
Для лучшего решения этой задачи первый аспект изобретения относится к системе, создающей из медицинского изображения главное изображение, причем главное изображение содержит область изображения, выбранную из медицинского изображения, при этом система содержит:
- интерфейс изображения для получения медицинского изображения и метаданных, указывающих содержимое медицинского изображения;
- интерфейс базы данных для обращения к анатомической информации медицинской базы данных, причем анатомическая информация указывает анатомические ориентиры, связанные с содержимым медицинского изображения;
- анализатор изображений для:
i) обнаружения повреждения анатомической структуры на медицинском изображении;
ii) исходя из анатомической информации, идентификации анатомического ориентира, который имеет анатомическое соотношение с повреждением; и
iii) обнаружения анатомического ориентира на медицинском изображении; и
- генератор главного изображения для j) выбора области изображения на медицинском изображении, которая содержит повреждение и анатомический ориентир, и jj) создания главного изображения, содержащего упомянутую область изображения.
При этом указанное повреждение, по меньшей мере, частично содержится в анатомической структуре, причем анализатор изображения выполнен с возможностью:
- обнаружения анатомической структуры на медицинском изображении; и  идентификации анатомического ориентира из анатомической структуры, а  анатомический ориентир содержит край анатомической структуры.
Кроме того, анатомическая информация  допускает медицинскую интерпретацию повреждения анатомической структуры, причем анализатор изображения выполнен с возможностью идентификации анатомического ориентира на основании оцениваемой релевантности анатомического соотношения в медицинской интерпретации повреждения анатомической структуры, и анализатор изображения выполнен с возможностью идентификации анатомического ориентира на основании оцениваемого расстояния до повреждения анатомической структуры.
Система также предусматривает наличие подсистемы пользовательского интерфейса для того, чтобы позволить пользователю регулировать область изображения перед тем, как будет создано главное изображение, а генератор главного изображения выполнен с возможностью выбора области изображения, устанавливая ограничивающий прямоугольник на медицинском изображении, который охватывает указанное повреждение и анатомический ориентир.
Кроме того, генератор главного изображения выполнен с возможностью поддержания соотношения сторон ограничивающего прямоугольника для каждого изображения из множества медицинских изображений и с возможностью регулировки уровня окна и/или ширины окна главного изображения.
При этом медицинская база данных содержит рисунок из учебника, содержащего медицинское изображение, причем система выполнена с возможностью создания дополнительного главного изображения из рисунка учебника, которое содержит анатомический ориентир и местоположение, соответствующее повреждению анатомической структуры.
Кроме того, система дополнительно содержит средство аннотации для того, чтобы позволить пользователю включить аннотацию в главное изображение, причем система выполнена с возможностью включения аннотации в соответствующем местоположении  в дополнительном главном изображении, а также в системе имеется дополнительная возможность совмещения рисунка учебника с медицинским изображением перед созданием дополнительного главного изображения.
В дополнительном аспекте изобретения раскрыта система по вышеуказанному аспекту, выполненная с возможностью включения в  рабочую станцию и устройство визуализации.
В дополнительном аспекте изобретения раскрыт способ создания главного изображения из медицинского изображения, причем главное изображение содержит область изображения, выбранную из медицинского изображения, при этом способ содержит:
- получение медицинского изображения и метаданных, указывающих содержимое медицинского изображения;
- обращение к анатомической информации медицинской базы данных, причем анатомическая информация указывает анатомические ориентиры, связанные с содержимым медицинского изображения;
- обнаружение повреждения анатомической структуры на медицинском изображении;
- исходя из анатомической информации, идентификацию анатомического ориентира, который имеет анатомическое соотношение с повреждением;
- обнаружение анатомического ориентира на медицинском изображении;
- выбор области изображения на медицинском изображении, которая содержит повреждение и анатомический ориентир; и
- создание главного изображения, содержащего упомянутую область изображения.
В дополнительном аспекте изобретения раскрыт носитель данных, имеющий сохраненные на нем и реализуемые компьютером команды для того, чтобы побуждать процессорную систему выполнять предлагаемый способ.
Вышеупомянутые средства предоставляют интерфейс изображения, который получает медицинское изображение, например, от внутреннего или внешнего носителя данных. Интерфейс изображения дополнительно получает метаданные, указывающие содержимое медицинского изображения. Метаданные могут содержаться на медицинском изображении, например, в форме информации заголовка. Предоставляется интерфейс базы данных, который имеет возможность обращаться к медицинской базе данных. Медицинская база данных содержит компьютерную читаемую анатомическую информацию. Анатомическая информация указывает анатомические ориентиры, связанные с содержимым медицинского изображения. Например, в случае, если содержимое медицинского изображения представляет собой печень пациента, анатомическая информация может быть информацией из раздела медицинского учебника, который относится к печени.
Кроме того, предоставляется анализатор изображений. Анализатор изображений приспособлен для обнаружения повреждения анатомической структуры  на медицинском изображении, например, используя методику обнаружения повреждения, по существу известную в технике анализа медицинского изображения. Следует отметить, что термин повреждение относится к локальному патологическому структурному изменению, например наросту ткани, перелому, и т.д. Анализатор изображений дополнительно приспособлен для согласования с медицинской базой данных для идентификации анатомического ориентира. Анатомический ориентир представляет собой отдельную существенную часть анатомии при медицинской интерпретации. Анализатор изображений идентифицирует анатомический ориентир, который имеет анатомическое соотношение с повреждением. С этой целью, анализатор изображения использует анатомическую информацию, например, определяя, описано ли в ней анатомическое соотношение между анатомическим ориентиром и повреждением или оно предлагается анатомической информацией. Анатомическое соотношение может быть пространственным соотношением, например связностью или близостью. Анализатор изображений обнаруживает упомянутый анатомический ориентир на медицинском изображении. Кроме того, предоставляется генератор главного изображения, выбирающий область изображения, которая охватывает и повреждение, и анатомический ориентир. Область изображения затем используется для создания главного изображения.
Вышеупомянутые средства дают эффект того, что получается главное изображение, которое содержит, помимо самого повреждения, также анатомический ориентир и, в частности, анатомический ориентир, который имеет анатомическое соотношение с повреждением в соответствии с анатомической информацией в медицинской базе данных. При этом средству просмотра главного изображения предоставляется не только само повреждение, но также и анатомический ориентир, который имеет анатомическое соотношение с повреждением, тем самым предоставляя анатомический контекст для повреждения. Преимущественно то, что получается более информативное главное изображение, по сравнению с главным изображением, которое содержит исключительно повреждение. Преимущественно то, что главное изображение лучше подходит для передачи результатов медицинской интерпретации медицинского изображения, чем само медицинское изображение или упомянутое главное изображение исключительно для повреждения, например, в форме радиологического отчета.
В некоторых случаях, повреждение, по меньшей мере, частично содержится в анатомической структуре, и анализатор изображения приспособлен для обнаружения анатомической структуры на медицинском изображении и идентификации анатомического ориентира из анатомической структуры. Анатомическая структура имеет ясное анатомическое соотношение с повреждением, поскольку она, по меньшей мере, частично содержит повреждение. При этом анатомическая структура обычно является важной для интерпретации повреждения. Идентифицируя анатомический ориентир из упомянутой анатомической структуры, то есть идентифицируя анатомический ориентир, который является частью анатомической структуры, идентифицируется анатомический ориентир, который обычно является важным для интерпретации повреждения. Преимущественно то, что получается более информативное главное изображение.
В некоторых случаях, анатомический ориентир содержит край анатомической структуры. Край анатомической структуры предоставляет ясный анатомический контекст.
В некоторых случаях, анатомическая информация позволяет медицинскую интерпретацию повреждения, и анализатор изображения приспособлен для идентификации анатомического ориентира на основании оцениваемой релевантности анатомического соотношения в медицинской интерпретации повреждения. Анатомическая информация дает возможность пользователю интерпретировать содержимое медицинского изображения. Например, анатомическая информация может быть из медицинского руководства или из медицинского учебника. Как правило, в такой интерпретации, анатомические соотношения играют важную роль. Оценивая релевантность анатомического соотношения в упомянутой интерпретации повреждения, анализатор изображений может идентифицировать анатомический ориентир, который важен для пользователя, например, предоставляет подходящий анатомический контекст. Преимущественно, анализатор изображения идентифицирует анатомический ориентир, который является наиболее важным для интерпретации повреждения.
В некоторых случаях, анализатор изображений приспособлен для идентификации анатомического ориентира на основании оцениваемого расстояния до повреждения. Расстояние между повреждением и анатомическим ориентиром обычно коррелирует с анатомическим соотношением, то есть близлежащие анатомические ориентиры обычно анатомически теснее связаны с повреждением, чем те, что находятся вдали. Оценивая упомянутое расстояние, анализатор изображения может легко идентифицировать потенциально важные анатомические ориентиры в анатомической информации. Например, анализатор изображения может идентифицировать анатомический ориентир, который является близким или ближайшим к повреждению.
В некоторых случаях, система дополнительно содержит подсистему пользовательского интерфейса для предоставления возможности пользователю регулировать область изображения перед созданием главного изображения. Следовательно, пользователь может улучшать и/или регулировать, до предпочтительного, начальный автоматический выбор области изображения.
В некоторых случаях, генератор главного изображения приспособлен для выбора области изображения, устанавливая ограничивающий прямоугольник на медицинском изображении, который охватывает повреждение и анатомический ориентир. Ограничивающий прямоугольник хорошо подходит для выбора области изображения, поскольку он дает прямоугольную область изображения, которая может быть использована для создания прямоугольного главного изображения.
В некоторых случаях, генератор главного изображения приспособлен для поддержания соотношения сторон ограничивающего прямоугольника по числу медицинских изображений. Главные изображения, имеющие те же самые соотношения сторон, позволяют более простое сравнение. Преимущественно то, что проще включить такие главные изображения в радиологический отчет, например, предоставляя фиксированный заполняемый шаблон. Преимущественно, коэффициент формы ограничивающего прямоугольника поддерживается аналогично, давая возможность пользователю регулировать область изображения.
В некоторых случаях, генератор главного изображения приспособлен для регулировки уровня окна и/или ширины окна главного изображения. Главное изображение, таким образом, автоматически повторно обрабатывается, регулируя уровень окна и/или ширину окна главного изображения. Преимущественно, уровень окна и/или ширина окна регулируются для оптимального рассмотрения повреждения.
В некоторых случаях, медицинская база данных содержит рисунок из учебника содержимого медицинского изображения, и система приспособлена для создания дополнительного главного изображения из рисунка учебника, которое содержит анатомический ориентир и местоположение, соответствующее повреждению. Рисунок учебника хорошо подходит для предоставления анатомического контекста повреждения, поскольку он обычно предоставляет более иллюстративное представление анатомического контекста, например, показывая контур анатомии, вместо подобной фотографии изображения. В данном случае, термин рисунок относится к визуальному представлению, такому как изображение, графический символ, и т.д. Создавая дополнительное главное изображение, которое показывает местоположение повреждения, то есть анатомическую структуру в этом месте и анатомический ориентир, пользователь снабжается лучшей иллюстрацией повреждения, чем только главное изображение само по себе. Преимущественно то, что комбинация главного изображения и дополнительного главного изображения хорошо подходят для образовательных целей и/или для людей с немедицинским образованием.
В некоторых случаях, система дополнительно содержит средство аннотации для предоставления возможности пользователю включить аннотацию в главное изображение, и система приспособлена для включения аннотации в соответствующем местоположении в дополнительном главном изображении. Пользователь может, таким образом, аннотировать главное изображение, с аннотацией, автоматически отражаемой в дополнительном главном изображении.
В некоторых случаях, система дополнительно приспособлена для совмещения рисунка учебника с медицинским изображением перед созданием дополнительного главного изображения. Следовательно, рисунок учебника преобразуется, чтобы больше походить на медицинское изображение. Преимущественно то, что для пользователя оказывается проще видеть соответствие между главным изображением и дополнительным главным изображением.
В некоторых случаях, рисунок учебника связан с анатомической моделью, и совмещение основано на модельной подгонке анатомической модели к медицинскому изображению.
В некоторых случаях, интерфейс базы данных приспособлен для выбора анатомической информации в пределах медицинской базы данных на основании типа пациента и/или типа пользователя. Тип пациента может быть идентифицирован метаданными изображения. Тип пациента может относиться к возрасту пациента, например ребенок, взрослый или престарелый. Тип пользователя может быть идентифицирован различными известными для системы вариантами, например, используя профиль пользователя. Тип пользователя может указать область специализации, например нейрохирург, ортопедический хирург, и т.д. Дополнительно, или альтернативно, тип пользователя может указать уровень специализации, например, опытный пользователь или неопытный пользователь. Интерфейс базы данных может, таким образом, обратиться к анатомической информации, которая является важной для пациента и/или пользователя. Например, если пациент - ребенок, то интерфейс базы данных может выбрать анатомическую информацию, которая содержит анатомические ориентиры содержимого медицинского изображения, которые являются важными для детей. Преимущественно то, что анатомический ориентир, идентифицированный анализатором изображения, более важен для типа пациента и/или типа пользователя.
В некоторых случаях, генератор главного изображения дополнительно создает метаданные, которые идентифицируют повреждение и/или анатомический ориентир. Метаданные могут быть включены в главное изображение, например, в форме информации заголовка. Преимущественно то, что рассматривая или иначе используя главное изображение, повреждение и/или анатомический ориентир могут быть использованы для следования навигации, например для определения оси вращения, если главное изображение представляет собой 3D главное изображение.
В некоторых случаях, генератор главного изображения дополнительно создает метаданные, которые включают в себя гиперссылку на связанное изображение. Связанное изображение может быть самим медицинским изображением. Связанное изображение может также быть другим главным изображением, которое связано с главным изображением, например, являясь главным изображением для того же самого пациента, но созданным ранее.
В некоторых случаях, предоставляется система аннотации, содержащая интерфейс изображения для получения медицинского изображения и метаданных, указывающих содержимое медицинского изображения; интерфейс базы данных для обращения к медицинской базе данных, содержащий рисунок учебника содержимого медицинского изображения; процессор изображения для создания изображения учебника для рисунка учебника для одновременного его представления с медицинским изображением; средство аннотации для предоставления возможности пользователю включить аннотацию в медицинское изображение; причем процессор изображения приспособлен для включения аннотации в соответствующем местоположении в изображении учебника. В некоторых случаях, процессор изображения системы аннотации приспособлен для совмещения рисунка учебника с медицинским изображением перед созданием изображения учебника. В некоторых случаях, рисунок учебника связан с анатомической моделью, и совмещение основано на модельной подгонке анатомической модели к медицинскому изображению.
Специалисты в данной области техники увидят, что два или более из вышеупомянутых вариантов реализации, осуществлений, и/или аспектов изобретения могут быть объединены каким-либо образом, признанным полезным.
Модификации и вариации рабочей станции, устройства визуализации, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и вариациям системы, могут быть выполнены специалистом в данной области техники на основе настоящего описания.
Специалист в данной области техники увидит, что способ может быть применен к данным многомерного изображения, например к двумерному (2-D), трехмерному (3-D) или четырехмерному (4-D) изображениям. Размерность данных многомерного изображения может относиться ко времени. Например, трехмерное изображение может содержать ряд двумерных изображений во временной области. В результате, если медицинское изображение представляет собой, например, 3D медицинское изображение, область изображения, выбранная генератором главного изображения, может быть областью 3D изображения, и главное изображение может быть 3D главным изображением, то есть объемом главного изображения или, кратко, главным объемом.
Изображение может быть получено различными методами получения информации, такими как, но без ограничения, стандартная Рентгеновская визуализация, Компьютерная Томография (СТ), Магнитно-Резонансная Визуализация (MRI), Ультразвук (US), Позитронная Эмиссионная Томография (PET), Однофотонная Эмиссионная Компьютерная Томография (SPECT) и Ядерная Медицина (NM).
Изобретение сформулировано в независимых пп. формулы. Преимущественные дополнительные варианты реализации сформулированы в зависимых пп. формулы.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения станут очевидными из пояснений в отношении описанных ниже вариантов реализации. На чертежах:
Фиг.1 изображает систему для создания главного изображения из медицинского изображения;
Фиг.2 - способ для создания главного изображения из медицинского изображения;
Фиг.3 - компьютерный программный продукт для выполнения способа;
Фиг.4a - медицинское изображение, содержащее повреждение, анатомический ориентир вблизи повреждения и анатомическую структуру, в которой содержится повреждение;
Фиг.4b - область изображения, выбранная автоматически, область изображения, содержащая повреждение и анатомический ориентир;
Фиг.4c - результат корректировки пользователем выбранной области;
Фиг.4d - главное изображение, созданное как содержащее выбранную область;
Фиг.5a - главное изображение, содержащее исключительно повреждение;
Фиг.5b - главное изображение в соответствии с настоящим изобретением; и
Фиг.6 - дополнительное главное изображение, созданное из рисунка учебника содержимого медицинского изображения и включаемое в отчет вместе с главным изображением.
Следует отметить, что те элементы, которые имеют те же самые цифровые обозначения на различных чертежах, имеют и те же самые структурные признаки и те же самые функции, или представляют собой те же самые сигналы. Если функция и/или структура такого элемента уже объяснена, то нет необходимости в повторном ее объяснении в подробном описании.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На Фиг.1 показана система 100 для создания главного изображения из медицинского изображения. Система 100 содержит интерфейс 110 изображения для получения медицинского изображения 112 и метаданных, указывающих содержимое медицинского изображения. В примере на Фиг.1, метаданные содержатся на медицинском изображении 112, например, в форме информации заголовка и, таким образом, отдельно не показаны. Альтернативно, метаданные могут быть приняты отдельно от медицинского изображения 112. На Фиг.1 показан интерфейс 110 изображения, получающий медицинское 112 изображение от внешней базы 010 данных изображений. Хотя и не показано на Фиг.1, база 010 данных изображений может также быть частью системы 100. База 010 данных изображений может быть составлена, например, Системой Передачи и Архивации Изображений (PACS). Система 100 дополнительно содержит интерфейс 120 базы данных для обращения к медицинской базе 020 данных. Медицинская база 020 данных также показана как внешняя база данных, но может также быть и частью системы 100. Медицинская база 020 данных содержит анатомическую информацию 122, которая указывает анатомические ориентиры, связанные с содержимым медицинского изображения. Интерфейс 120 базы данных может использовать метаданные, для определения того, к какой анатомической информации 122 обращаться.
Система 100 дополнительно содержит анализатор 140 изображений, приспособленный для обнаружения повреждения, содержащегося на медицинском изображении 112. С этой целью, анализатор 140 изображения показан для приема медицинского изображения 112 от интерфейса 110 изображения. Анализатор 140 изображений дополнительно приспособлен для использования анатомической информации 122 для идентификации анатомического ориентира, который имеет анатомическое соотношение с повреждением. С этой целью, анализатор 140 изображения показан для обращения к анатомической информации 122 через интерфейс 120 базы данных. Анализатор 140 изображений дополнительно приспособлен для обнаружения анатомического ориентира на медицинском изображении 112. Система 100 дополнительно содержит генератор 160 главного изображения, приспособленный для выбора области 400 изображения на медицинском изображении 112, которая содержит повреждение и анатомический ориентир. С этой целью, генератор 160 главного изображения показан для приема данных 142, указывающих повреждение и анатомический ориентир, от анализатора 140 изображения, например, в форме координат. Генератор 160 главного изображения дополнительно приспособлен для создания главного изображения 162, содержащего упомянутую область изображения. Например, генератор 160 главного изображения может вырезать медицинское изображение 112 так, чтобы получить главное изображение 162, которое состоит из области изображения. На Фиг.1 дополнительно показан генератор 160 главного изображения, принимающий медицинское изображение 112 через анализатор 140 изображений. Следует отметить, однако, что медицинское изображение 112 также может быть получено непосредственно от интерфейса 110 изображения.
На Фиг.1 показан генератор 160 главного изображения, делающий доступным главное изображение 162, например, для отображения на дисплее 040 и/или для сохранения в базе 010 данных изображений. Однако другие формы того, чтобы сделать доступным главное изображение 162, также возможны.
На Фиг.1 дополнительно показана система 100, содержащая подсистему 130 пользовательского интерфейса. Этот дополнительный аспект изобретения будет дополнительно пояснен в связи с Фиг.4c и Фиг.6. Аналогично, на Фиг.1 показан интерфейс 120 базы данных, получающий рисунок 124 учебника, и генератор 160 главного изображения, создающий дополнительное главное изображение 164 на основании рисунка 124 учебника. Этот дополнительный аспект изобретения будет дополнительно пояснен в связи с Фиг.6. Работу системы 100 можно кратко пояснить следующим образом. Интерфейс 110 изображения получает медицинское изображение 112 и метаданные. Интерфейс 120 базы данных обращается к медицинской базе 020 данных для доступа к анатомической информации 122. Анализатор 140 изображений обнаруживает повреждение на медицинском изображении 112. Обнаружив повреждение, анализатор 140 изображений использует анатомическую информацию для идентификации анатомического ориентира, который имеет анатомическое соотношение с повреждением. Кроме того, анализатор 140 изображений обнаруживает анатомический ориентир на медицинском изображении 112. Получив данные, указывающие повреждение и анатомический ориентир, генератор 160 главного изображения выбирает область изображения на медицинском изображении, которое содержит повреждение и анатомический ориентир. Наконец, генератор 160 главного изображения создает главное изображение 162, содержащее упомянутую область изображения.
Следует отметить, что анализатор 140 изображений может идентифицировать анатомический ориентир в анатомической информации 122 перед обнаружением анатомического ориентира на медицинском изображении 112. Однако это не является ограничением, и анализатор 140 изображения также может вначале обнаружить анатомический ориентир на медицинском изображении 112, и только затем идентифицировать анатомический ориентир в анатомической информации 122. Например, анализатор 140 изображений может обнаружить множество анатомических ориентиров на медицинском изображении 112, например, одновременно применяя к медицинскому изображению 112 множество детекторов анатомических ориентиров. Анализатор 140 изображений может затем выбрать один или более из множества анатомических ориентиров для включения в главное изображение 162 на основании идентификации множества анатомических ориентиров в анатомической информации 122. Например, анализатор 140 изображений может выбрать один или более наиболее релевантных из множества анатомических ориентиров.
На Фиг.2 показан способ 200 для создания главного изображения из медицинского изображения, главного изображения, содержащего область изображения, выбранную из медицинского изображения. Способ 200 содержит на этапе, обозначенном "ПОЛУЧЕНИЕ МЕДИЦИНСКОГО ИЗОБРАЖЕНИЯ", получение 210 медицинского изображения и метаданных, указывающих содержимое медицинского изображения. Способ 200 дополнительно содержит, на этапе, обозначенном, "ОБРАЩЕНИЕ К АНАТОМИЧЕСКОЙ ИНФОРМАЦИИ", обращение 220 к анатомической информации в медицинской базе данных, причем анатомическая информация указывает анатомические ориентиры, связанные с содержимым медицинского изображения. Способ 200 дополнительно содержит на этапе, обозначенном "ОБНАРУЖЕНИЕ ПОВРЕЖДЕНИЯ НА МЕДИЦИНСКОМ ИЗОБРАЖЕНИИ", обнаружение 230 повреждения на медицинском изображении. Способ 200 дополнительно содержит на этапе, обозначенном "ИДЕНТИФИКАЦИЯ АНАТОМИЧЕСКОГО ОРИЕНТИРА В АНАТОМИЧЕСКОЙ ИНФОРМАЦИИ", на основании анатомической информации, идентификацию 240 анатомического ориентира, который имеет анатомическое соотношение с повреждением. Способ 200 дополнительно содержит на этапе, обозначенном "ОБНАРУЖЕНИЕ АНАТОМИЧЕСКОГО ОРИЕНТИРА НА МЕДИЦИНСКОМ ИЗОБРАЖЕНИИ", обнаружение 250 анатомического ориентира на медицинском изображении. Способ 200 дополнительно содержит на этапе, обозначенном "ВЫБОР ОБЛАСТИ ИЗОБРАЖЕНИЯ", выбор 260 области изображения на медицинском изображении, которое содержит повреждение и анатомический ориентир. Способ 200 дополнительно содержит на этапе, обозначенном "СОЗДАНИЕ ГЛАВНОГО ИЗОБРАЖЕНИЯ, СОДЕРЖАЩЕГО ОБЛАСТЬ ИЗОБРАЖЕНИЯ", создание 270 главного изображения, содержащего упомянутую область изображения. Следует отметить, что вышеупомянутые этапы могут быть выполнены в любом подходящем порядке. В частности, этапы идентификации 240 и обнаружения 250 анатомического ориентира могут быть выполнены в другом порядке, например в обратном порядке.
Способ 200 может соответствовать работе системы 100. Однако способ 200 может также быть выполнен отдельно от системы 100.
На Фиг.3 показан компьютерный программный продукт 290, содержащий команды для того, чтобы побуждать процессорную систему выполнять вышеупомянутый способ 200. Компьютерный программный продукт 290 может содержаться на компьютерной читаемой среде 280, например, в форме последовательности машиночитаемых физических меток и/или последовательности элементов, имеющих различные, например электрические, магнитные или оптические свойства или значения.
Работу системы 100 можно пояснить более подробно следующим образом.
На Фиг.4a схематично показано медицинское изображение 112. Медицинское изображение 112 показано как содержащее повреждение 300, которое схематично обозначено на Фиг.4a как треугольник. На Фиг.4a дополнительно показан анатомический ориентир 310, располагаемый вблизи повреждения 300, с анатомическим ориентиром 310, схематично обозначаемым на Фиг.4a как эллипс. Кроме того, и повреждение 300, и анатомический ориентир 310 содержатся в анатомической структуре 320. Чертеж на Фиг.4a может соответствовать, например, опухоли 300, выросшей в печени 320, с опухолью 300, растущей вблизи трубки 310, формирующей анатомический ориентир 310. Анализатор 140 изображений приспособлен для обнаружения повреждения 300 на медицинском изображении 112, например, автоматически, используя методику обнаружения повреждения, как по существу известно из области анализа медицинских изображений, или полуавтоматически, то есть частично на основании пользовательского ввода.
На Фиг.4b показан результат выбора области 400 изображения, выбираемой автоматически, которая содержит повреждение 300 и анатомический ориентир 310. На Фиг.4b показана область изображения, выбираемая ограничивающим прямоугольником 400. С этой целью, генератор 160 главного изображения может быть приспособлен для установления ограничивающего прямоугольника 400 на медицинском изображении 112, который охватывает повреждение 300 и анатомический ориентир 310. Альтернативно, область 400 изображения может быть выбрана как имеющая другую, например непрямоугольную форму. На Фиг.4b показан ограничивающий прямоугольник 400, устанавливаемый как окружающий повреждение 300 и анатомический ориентир 310 с зазором. Зазор может быть автоматически выбран генератором 162 главного изображения. Например, генератор 160 главного изображения может быть приспособлен для минимизации зазора. Альтернативно, или дополнительно, зазор может быть выбираемым или приспосабливаемым пользователем, например, используя подсистему 130 пользовательского интерфейса для выбора или регулировки зазора.
На Фиг.4b показан результат работы анализатора 140 изображений, определяющего какой анатомический ориентир включать в главное изображение на основании анатомического соотношения между повреждением 300 и упомянутым анатомическим ориентиром. Анатомическое соотношение может быть обозначено или содержаться в самой анатомической информации 122. Альтернативно, или дополнительно, анатомическое соотношение может быть оценено на основании оцениваемого расстояния до повреждения 300. Например, анатомический ориентир, располагаемый вблизи повреждения 300, может указать анатомическое соотношение, имеющееся с повреждением 300. В примере на Фиг.4b показана трубка 310, а также край печени 320. Оба анатомических ориентира могут быть идентифицированы в анатомической информации 022. Анализатор 140 изображений может тогда выбрать для обнаружения трубочку 310 на медицинском изображении 112 на основании трубки 310, находящейся вблизи повреждения 300.
Альтернативно, или дополнительно, анализатор 140 изображений может быть приспособлен, если повреждение 300 содержится в анатомической структуре 320, для обнаружения упомянутой анатомической структуры 320 на медицинском изображении 112 и идентификации анатомического ориентира из анатомической структуры 320. При этом анализатор 140 изображений может определить, что повреждение 300 содержится в печени 320. Анализатор 140 изображений может дополнительно идентифицировать анатомический ориентир печени 320, например ее края. В результате, может быть получено главное изображение 162, которое показывает повреждение 300 и, по меньшей мере, часть края анатомической структуры 320. Следует отметить, что анализатор 140 изображений может также обнаружить край, чтобы иметь возможность обнаруживать анатомический ориентир, который имеет известное положение относительно края анатомической структуры.
Дополнительно, или альтернативно, анализатор 140 изображений может быть приспособлен для идентификации анатомического ориентира 310 на основании оцениваемой релевантности анатомического соотношения в медицинской интерпретации повреждения 300. В примере на Фиг.4b, содержимое медицинского изображения 112 представляет собой печень. Это может быть обозначено в метаданных медицинского изображения 112. При этом интерфейс 120 базы данных может обратиться к медицинской базе 020 данных, которая содержит анатомическую информацию 122 о печени. Анатомическая информация 122 может позволить медицинскую интерпретацию содержимого медицинского изображения 112. Например, интерфейс 120 базы данных может обратиться к медицинскому учебнику по печени, которая позволяет клиницисту с медицинской точки зрения интерпретировать содержимое медицинского изображения 112, например, показывая рисунок печени из учебника, идентифицируя важные анатомические ориентиры, предоставляя рекомендации для диагноза, и т.д. Анализатор 140 изображения может тогда идентифицировать анатомический ориентир 310, который не только имеет анатомическое соотношение с повреждением 300, но который имеет также релевантность в медицинской интерпретации повреждения 300. Например, анализатор 140 изображений может использовать положение повреждения 300 на медицинском изображении 112 для идентификации соседнего анатомического ориентира 310 на рисунке печени из учебника. То, что соседний анатомический ориентир 310 ясно идентифицируется в рисунке печени из учебника, может указать анализатору 140 изображений, что анатомическое соотношение между повреждением 300 и анатомическим ориентиром 310 важно для медицинской интерпретации повреждения 300. Однако следует отметить, что различные другие варианты могут преимущественно использоваться анализатором 140 изображений для определения упомянутой релевантности; например, анализатор 140 изображений может использовать методики, как это известно по существу из логических механизмов для оценки релевантности анатомического соотношения.
На Фиг.4b дополнительно показан результат работы генератора 160 главного изображения, выбирающего область 400 изображения, которая содержит повреждение 300 и анатомический ориентир 310. Область 400 изображения показана в форме ограничивающего прямоугольника, наложенного на медицинское изображение 112. Хотя и не показано на Фиг.4b, следует отметить, что анализатор 140 изображений может также использовать анатомическую информацию для идентификации множественных анатомических ориентиров, каждый из которых имеет анатомическое соотношение с повреждением. Следовательно, генератор 160 главного изображения может выбрать область 400 изображения, которая содержит повреждение и каждый из множественных анатомических ориентиров.
На Фиг.4c показан дополнительный аспект настоящего изобретения, в котором показан результат пользовательской ручной регулировки выбранной области. С этой целью, и как показано ранее на Фиг.1, система 100 может содержать подсистему пользовательского интерфейса 130 для предоставления возможности пользователю регулировать область 400 изображения прежде, чем создано главное изображение 162. Подсистема 130 пользовательского интерфейса может быть составлена, например, дисплейным выводом, соединяемым с дисплеем для отображения вывода пользователю, и пользовательским вводом, соединяемым с пользовательским устройством ввода данных для приема входного сигнала 030 от пользователя. Например, пользователю можно показать область 400 изображения, выбранную системой 100, например, в форме ограничивающего прямоугольника, наложенного поверх медицинского изображения 112. Пользователь может тогда регулировать ограничивающий прямоугольник 400, например, перемещением прямоугольника, и/или изменяя размеры ограничивающего прямоугольника 400. На Фиг.4c показан результат такой регулировки, где пользователь регулировал ограничивающий прямоугольник 400, выбранный системой 100, увеличивая размер ограничивающего прямоугольника 400 так, чтобы включить большую часть края печени 320, то есть увеличивая размер ограничивающего прямоугольника 400 вверх и вправо. Изменение размеров иллюстративно показано на Фиг.4c посредством стрелок. В результате, получается отрегулированный ограничивающий прямоугольник 410.
Хотя и не показано на Фиг.4c, взаимодействие с пользователем может быть таким, что ограничивающий прямоугольник автоматически захватывает анатомический ориентир на медицинском изображении. Анатомический ориентир может быть подсвечен на медицинском изображении, чтобы помочь пользователю, или информировать пользователя. Автоматически выбрав область 400 изображения и в некоторых случаях вручную отрегулировав область 400 изображения, генератор 160 главного изображения может создать главное изображение 162, содержащее область 400, 410 изображения. На Фиг.4d показан пример этого. Здесь, главное изображение 162 показано как состоящее из области 400, 410 изображения. С этой целью, медицинское изображение 112 может быть подрезано для получения главного изображения 162. Альтернативно, область 400, 410 изображения может быть скопирована или извлечена из медицинского изображения 112. Хотя и не показано на Фиг.4d, главное изображение 162 может дополнительно содержать другую информацию, такую как аннотации, маркеры, и т.д. Следовательно, следует отметить, что для главного изображения 162 необходимо, чтобы оно состояло исключительно из области 400, 410 изображения. Кроме того, хотя и не показано на Фиг.4d, генератор 160 главного изображения может быть приспособлен для регулировки уровня окна и/или ширины окна главного изображения 162, то есть автоматическим образом. Следует отметить, что методики для автоматической регулировки уровня окна и/или ширины окна известны по существу из техники отображения медицинских изображений и могут успешно использоваться для оптимизации представления главного изображения 162.
Следует отметить, что главное изображение может быть создано явно, например, как состоящее из пикселей или вокселей. Главное изображение может также быть составлено метаданными. Метаданные могут предоставить параметры рассмотрения, которые при использовании в соответствующем средстве просмотра изображения устанавливают главное изображение на экране. С этой целью, средство просмотра изображения может обратиться к медицинскому изображению непосредственно. Медицинское изображение может быть привязано к метаданным. Обычно генератор главного изображения может быть, таким образом, приспособлен для создания данных главного изображения для получения возможности установления главного изображения, которое содержит выбранную область изображения медицинского изображения.
На Фиг.5a показан пример главного изображения 166, по существу показывающий только повреждение 300. Не преимущественно, такое главное изображение 166 может быть получено, когда выбор области 400 изображения, которая по существу состоит исключительно из повреждения 300. Такая область 400 изображения может быть неявно выбрана вырезанием медицинского изображения, чтобы показать только повреждение 300. На Фиг.5b показано главное изображение 162 в соответствии с настоящим изобретением. Можно видеть, что главное изображение 162 показывает анатомический ориентир 310 в дополнение к самому повреждению.
Следует отметить, что настоящее изобретение может преимущественно использоваться для различных типов медицинских изображений, то есть для варьирующегося различного содержимого. Например, в случае изображения печени, повреждение печени, показанное изолированно, менее информативно, чем повреждение печени с очерчиванием контура печени. Часть контура печени уже дает много информации, такой как местоположение повреждения в пределах печени, включение других структур и их относительный размер относительно всего органа. Другой пример - это маммография. Здесь, главное изображение повреждения в маммографии, которое также показывает части контура кожи, более информативно, чем показ только повреждения в маммографии. Малая часть кожи уже достаточна, чтобы дать информацию, такую как, например, относительное местоположение повреждения в груди, и если грудь показана в главном изображении - то в правой или левой груди.
Хотя и не показано на каком-либо из предыдущих чертежей, генератор 160 главного изображения может быть приспособлен для поддержания соотношения сторон ограничивающего прямоугольника 400 по набору медицинских изображений. Например, генератор 160 главного изображения может всегда использовать то же самое соотношение сторон для конкретного типа медицинского изображения, конкретного типа пациента и т.д. Генератор 160 главного изображения может вывести соотношение сторон из главного изображения от предыдущего обследования пациента и затем поддерживать упомянутое соотношение сторон для главного изображения текущего обследования. Генератор 160 главного изображения может также поддерживать упомянутое соотношение сторон во время ручной регулировки пользователем. Следовательно, соотношение сторон может быть "синхронизировано", то есть не быть регулируемым пользователем.
Преимущественный вариант реализации настоящего изобретения может быть следующим. Повреждение обнаруживается на медицинском изображении, и первый ограничивающий прямоугольник устанавливается вокруг повреждения, чтобы отметить повреждение. Обнаруживается анатомическая структура, в которой имеется повреждение. Анатомические ориентиры, принадлежащие анатомической структуре, обнаруживаются автоматически. С этой целью может быть использована анатомическая информация, то есть для идентификации упомянутых анатомических ориентиров. Ограничивающие прямоугольники затем устанавливаются вокруг каждого из обнаруженных анатомических ориентиров. Наконец, главное изображение создается так, что оно показывает, по меньшей мере, все вышеупомянутые ограничивающие прямоугольники. В некоторых случаях, ширина/уровень окна главного изображения регулируется для получения оптимального представления главного изображения пользователю.
На Фиг.6 показан дополнительный аспект настоящего изобретения, заключающийся в том, что дополнительное главное изображение создается из рисунка 124 учебника содержимого медицинского изображения. С этой целью, медицинская база данных может содержать рисунок 124 учебника содержимого медицинского изображения, и система 100 может быть приспособлена для создания дополнительного главного изображения 164 из рисунка учебника, который содержит анатомический ориентир 310 и местоположение, соответствующее повреждению 310. В примере на Фиг.6, медицинское изображение 112 показывает перелом, то есть тип повреждения в кости. Рисунок 124 учебника может показывать кости в здоровом состоянии. Рисунок 124 учебника может показывать кости схематическим образом, например, как графический чертеж. Рисунок 124 учебника может идентифицировать анатомические ориентиры, такие как тело кости, ее голову и ее шею. Дополнительно, или альтернативно, упомянутые анатомические ориентиры могут быть включены как анатомическая информация в медицинской базе данных, то есть в разделении рисунка 124 учебника. Процессор 140 изображения может быть приспособлен для определения местоположения в рисунке 124 учебника, которое соответствует местоположению повреждения на медицинском изображении 112. Кроме того, процессор 140 изображения может идентифицировать анатомический ориентир, обнаруженный на медицинском изображении 112, также на рисунке 124 учебника. При этом генератор 162 главного изображения может создать дополнительное главное изображение 164 из рисунка 124 учебника, который содержит местоположение повреждения и анатомический ориентир.
Система 100 может дополнительно содержать средство аннотации для того, чтобы позволить пользователю включить аннотацию 420 в главное изображение 162. Средство аннотации может быть составлено подсистемой 130 пользовательского интерфейса. При этом пользователь может, например, извлечь аннотацию, используя пользовательское устройство ввода данных, соединенное с подсистемой 130 пользовательского интерфейса. Как показано на Фиг.6, пользователь может включить аннотацию 420 в медицинское изображение 112. Аннотация 420 может быть тогда автоматически включена в главное изображение 162 при условии, что аннотация 420 включена пользователем в область 400 изображения, выбранную генератором 160 главного изображения. Типично, это может иметь место, когда аннотации, вероятно, относятся к повреждению 300. Система может быть дополнительно приспособлена для включения аннотации в соответствующем местоположении в дополнительном главном изображении 164. В целях иллюстрации, на Фиг.6 показана аннотация 422, во-первых, включаемая в промежуточное изображение 126 учебника, созданного из рисунка 124 учебника. Следует отметить, что не является необходимым явно создавать такое промежуточное изображение 126 учебника. Вместо этого, дополнительное главное изображение 164 может быть создано непосредственно из рисунка 124 учебника, и аннотация 422 может быть включена непосредственно в дополнительное главное изображение 164.
Система 100 может быть дополнительно приспособлена для совмещения рисунка 124 учебника с медицинским изображением 112 перед созданием дополнительного главного изображения 164. На Фиг.6 показан результат этого в форме промежуточного изображения 126 учебника, которое показано как несколько искаженное, чтобы лучше соответствовать кости, изображенной на медицинском изображении 112. Рисунок 124 учебника может также быть связан с анатомической моделью. Здесь, совмещение может быть основано на модельной подгонке анатомической модели к медицинскому изображению 112.
На Фиг.6 дополнительно показано главное изображение 162 и дополнительное главное изображение 164, включаемое в отчет 450. Однако различные другие преимущественные использования существуют, такие как включение главного изображения 162 и дополнительного главного изображения 164 в электронное сообщение, такое как сообщение электронной почты.
Следует отметить, что аспекты настоящего изобретения, как это пояснено в связи с Фиг.6, и которые относятся к рисунку учебника, могут также использоваться в разделении главного изображения и/или дополнительного главного изображения. С этой целью, может быть предоставлена система аннотации, которая содержит интерфейс изображения для получения медицинского изображения и метаданных, указывающих содержимое медицинского изображения. Система аннотации может дополнительно содержать интерфейс базы данных для обращения к медицинской базе данных, содержащей рисунок учебника содержимого медицинского изображения. Система аннотации может дополнительно содержать процессор изображения для создания изображения учебника из рисунка учебника для одновременного представления с медицинским изображением. Система аннотации может дополнительно содержать средство аннотации для предоставления возможности пользователю включить аннотацию в медицинское изображение. Процессор изображения может быть приспособлен для включения аннотации в соответствующем местоположении в изображении учебника. Следовательно, по сравнению с системой на Фиг.1, такая система аннотации может не требовать содержания генератора главного изображения и анализатора изображений. Кроме того, медицинская база данных, к которой обращается такая система аннотации, может не требовать содержания анатомической информации.
Следует отметить, что рисунок учебника, как рассмотрено в связи с вышеупомянутой системой и системой аннотации, может быть обработан для получения изображения учебника или дополнительного главного изображения следующим образом. Орган, или часть тела, может быть обнаружен на медицинском изображении, например, на основании положения курсора мыши. Рисунок учебника органа, или части тела, может быть доступен в медицинской базе данных. Рисунок учебника может быть связан с моделью органа, или части тела. Модель может быть подогнана к органу, или части тела, изображенному на медицинском изображении. Схематический рисунок может быть создан из контура подогнанной модели. Для ясности, схематический рисунок органа, или части тела, может быть показан наложенным поверх фактического органа, или части тела, на медицинском изображении. Дополнительно, или альтернативно, схематический рисунок может быть включен в отдельное изображение учебника. Если никакой орган, или часть тела, не может быть обнаружен, схематический рисунок локальных краев в медицинских данных, который покрывает положение курсора мыши, может быть использован вместо этого. Схематический рисунок и медицинское изображение могут быть связаны в том, что аннотация, включенная в медицинское изображение, может быть автоматически включена в соответствующее положение в схематическом рисунке.
Следует отметить, что изобретение также относится к компьютерным программам, в частности к компьютерным программам на или в носителе, приспособленном для реализации на практике изобретения. Программа может быть в форме программного кода, объектного кода, кода промежуточной программы и такого объектного кода, как в частично компилированной форме, или в любой другой форме, подходящей для использования при выполнении способа в соответствии с изобретением. Следует также отметить, что такая программа может иметь много различных архитектурных решений. Например, программный код, осуществляющий функциональные возможности способа или системы в соответствии с изобретением, может быть подразделен на одну или более подпрограмм. Много различных вариантов распределения функциональных возможностей среди этих подпрограмм будут очевидны специалисту в данной области техники. Подпрограммы могут быть сохранены вместе в одном исполняемом файле, чтобы сформировать замкнутую программу. Такой исполняемый файл может содержать выполняемые компьютером команды, например команды процессора и/или команды интерпретатора (например, команды интерпретатора Java). Альтернативно, одна или более, или все подпрограммы могут быть сохранены, по меньшей мере, в одном внешнем файле библиотеки и связаны с главной программой, или статически, или динамически, например, во время выполнения. Главная программа содержит, по меньшей мере, одно обращение, по меньшей мере, в одну из подпрограмм. Подпрограммы могут также содержать функциональные обращения друг к другу. Вариант реализации, относящийся к компьютерному программному продукту, содержит выполняемые компьютером команды, соответствующие каждому этапу обработки, по меньшей мере, одного из способов, сформулированных здесь. Эти команды могут быть подразделены на подпрограммы и/или сохранены в одном или более файлах, которые могут быть связаны статически или динамически. Другой вариант реализации, относящийся к компьютерному программному продукту, содержит выполняемые компьютером команды, соответствующие каждому средству, по меньшей мере, одной из систем и/или продуктов, сформулированных здесь. Эти команды могут быть подразделены на подпрограммы и/или сохранены в одном или более файлах, которые могут быть связаны статически или динамически.
Носитель компьютерной программы может быть любым объектом или устройством, пригодным для содержания в себе программы. Например, носитель может включать в себя такой носитель данных, как ROM, например, CD ROM или полупроводниковую ROM, или магнитный носитель записи, например жесткий диск. Кроме того, носитель может быть передающимся носителем, таким как электрический или оптический сигнал, который может быть передан через электрический или оптический кабель, или по радио, или с помощью других средств. Когда программа реализована в таком сигнале, носитель может быть составлен таким кабелем, или другим устройством или средством. Альтернативно, носитель может быть интегральной схемой, в которую программа встроена, интегральной схемой, приспособленной для выполнения или используемой при выполнении данного способа.
Следует отметить, что вышеупомянутые варианты реализации иллюстрируют, а не ограничивают изобретение, и что специалисты в данной области техники смогут спроектировать много альтернативных вариантов реализации, не отступая от объема притязаний приложенной формулы изобретения. В формуле изобретения любые условные обозначения, помещенные между круглыми скобками, не должны рассматриваться как ограничение формулы. Использование глагола "содержит" и его производных не исключает наличие элементов или этапов, отличных от заявленных в формуле изобретения. Выражение в единственном числе для элемента не исключает наличия множества таких элементов. Изобретение может быть осуществлено посредством аппаратных средств, содержащих несколько отличных элементов, и посредством соответственно запрограммированного компьютера. В пунктах формулы изобретения, характеризующих устройства, перечисляются несколько средств, и некоторые из этих средств могут быть реализованы одним и тем же элементом аппаратных средств. Простой факт, что некоторые положения приведены во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих положений не может быть использована для получения преимуществ.