СИСТЕМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ
IMAGE PROCESSING SYSTEM AND METHOD

Область техники, к которой относится изобретение
Изобретение относится к системе обработке изображений и способу для обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображения на дисплее устройства формирования изображений.
Изобретение также относится к портативному устройству, рабочей станции и аппаратуре формирования изображений, содержащим упомянутую систему обработки изображений, и к компьютерному программному продукту, содержащему инструкции для предписания процессорной системе выполнять упомянутый способ.
В области техники, относящейся к просмотру изображений и воспроизведению изображений, имеются разнообразные системы и способы обработки изображений, которые обеспечивают пользователям возможность перемещения (навигации) по данным изображения, имеющим, по меньшей мере, три пространственных размерности. Например, рабочая станция может обеспечивать рентгенологу возможность перемещаться по трехмерной структуре человека. Для этого рентгенолог может подавать навигационные команды в рабочую станцию с использованием, например, ввода с мыши, клавиатуры или сенсорного экрана, и, в качестве реакции, рабочая станция может показывать представления структуры человека на дисплее в соответствии с навигационными командами.
Предпосылки изобретения
Из US 2010/0174421 известно, что мобильное компьютерное устройство может быть оснащено дисплеем и датчиком ориентации для обеспечения возможности использования ориентации мобильного компьютерного устройства для перемещения по данным изображения на дисплее.
Более конкретно, в US 2010/0174421 описывается интерфейс мобильного пользователя, который подходит для мобильного компьютерного устройства и который использует положение/ориентацию устройства в реальном пространстве для выбора части контента, которая воспроизводится. Контент может представлять собой файл трехмерного изображения. Контент предполагается фиксированным в виртуальном пространстве, где в интерфейсе мобильного пользователя воспроизводится часть контента так, как если бы он просматривался через камеру. Данные с датчиков движения, расстояния или положения используются для определения относительного положения/ориентации устройства по отношению к контенту, чтобы выбрать часть контента для воспроизведения.
Раскрытие изобретения
Проблема, характерная для вышеуказанного интерфейса мобильного пользователя, заключается в том, что он не позволяет пользователю получать требующееся представление данных изображения достаточно удобным образом.
Было бы выгодно иметь систему обработки изображений или способ для обеспечения пользователю возможности более удобным образом получать требующееся представление данных изображения.
Чтобы наилучшим образом отвечать решению данной проблемы, согласно первому аспекту изобретения предложена система обработки изображений для обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображения, при этом система обработки изображений содержит устройство формирования изображения, содержащее дисплей для воспроизведения представлений данных изображения и датчик ориентации для измерения ориентации устройства формирования изображения по отношению к опорной ориентации для предоставления данных поворота, показывающих поворот устройства для устройства формирования изображения, средство для определения центра вращения в данных изображения и процессор (средство обработки) изображения для определения представлений данных изображения по отношению к повороту устройства посредством, для определения текущего представления, (i) приема данных поворота от датчика ориентации, (ii) определения поворота представления относительно поворота устройства и (iii) определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.
Согласно дополнительному аспекту изобретения предложено портативное (наладонное) устройство, содержащее вышеописанную систему обработки изображений. В соответствии с еще одним аспектом изобретения, предложены рабочая станция или аппаратура формирования изображений, содержащие вышеописанную систему обработки изображений.
Согласно дополнительному аспекту изобретения предложен способ обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображения на дисплее устройства формирования изображения, при этом способ содержит этапы, на которых: измеряют ориентацию устройства формирования изображения по отношению к опорной ориентации для предоставления данных поворота, показывающих поворот устройства для устройства формирования изображения, определение центра вращения в данных изображения и определение представлений данных изображения относительно поворота устройства посредством, для определения текущего представления, (i) приема данных поворота от датчика ориентации, (ii) определения поворота представления относительно поворота устройства и (iii) определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.
В соответствии с еще одним аспектом изобретения предложен компьютерный программный продукт, содержащий инструкции для предписания процессорной системе выполнять вышеописанный способ.
Вышеизложенные предложения обеспечивают пользователю возможность перемещения (навигации) по данным изображения, имеющим, по меньшей мере, три пространственных размерности. Для этого предусмотрено устройство формирования изображения, содержащее дисплей, который воспроизводит представления данных изображения. Представление соответствует образу по меньшей мере части данных изображения. Путем показа представлений, соответствующих различным частям данных изображения, пользователь может перемещаться по данным изображения. Устройство формирования изображения содержит дисплей, то есть дисплей является частью устройства формирования изображения. Устройство формирования изображения дополнительно содержит датчик ориентации, например акселерометр, компас и т.п. Датчик ориентации используется для измерения ориентации устройства формирования изображения по отношению к опорной ориентации, например, предыдущей ориентации. Поскольку дисплей является частью устройства формирования изображения, ориентация устройства формирования изображения неотъемлемым образом связана с ориентацией дисплея. Путем сравнения ориентации устройства формирования изображения с опорной ориентацией датчик ориентации может определить поворот устройства формирования изображения и, соответственно, дисплея, то есть поворот устройства. Датчик ориентации выполнен с возможностью предоставления поворота устройства в форме данных поворота.
Система обработки изображений дополнительно содержит средство для определения центра вращения в данных изображения. Центр вращения определяется в, по меньшей мере, трех пространственных размерностях данных изображения. Таким образом, упомянутое средство определяет центр вращения в, по меньшей мере, трех пространственных размерностях, например, в форме трехмерного вектора или координат, когда центр вращения является точкой, или в форме двумерного вектора или координат, когда центр вращения образован осью вращения.
Система обработки изображений дополнительно содержит процессор изображения для определения представлений данных изображения относительно поворота устройства. Для этого процессор изображения принимает данные поворота от датчика ориентации. Это позволяет процессору изображения определять поворот представления в зависимости от поворота устройства. Поворот представления затем используется для определения представления, которое повернуто вокруг центра вращения по отношению к опорному представлению на величину поворота, задаваемую поворотом представления. Соответственно, поворот устройства используется для определения поворота представления, и поворот представления используется для определения нового представления, которое повернуто вокруг центра вращения в данных изображения.
Изобретение частично основывается на осознании того, что получение требующегося представления данных изображения может быть неудобным в системе обработки изображений. Причина этого состоит в том, что пользователю может потребоваться комбинировать различные навигационные команды, такие как поворот, панорамирование и изменение масштаба (зум), чтобы получить требующееся представление, например, точки или области в данных изображения. В частности, пользователь может пожелать выполнить поворот вокруг области для получения требующегося представления или представлений данной области, то есть чтобы показать область с разных сторон. Для получения такого поворота вокруг области, от пользователя может потребоваться выполнять различные навигационные команды последовательно, например последовательно повернуть представление, панорамировать представление, повернуть представление, панорамировать представление и т.д. Недостатком является то, что такая навигация является неудобной и сложной для пользователя.
Эффект вышеизложенных предложений заключается в том, что обеспечивается средство для определения центра вращения в данных изображения, и в том что процессор изображения сконфигурирован определять текущее представление путем поворота вокруг центра вращения. Более того, пользователь может воздействовать на величину поворота, то есть поворота представления, при определении поворота представления процессором изображения относительно поворота устройства. Следовательно, система обработки изображений обеспечивает пользователю возможность выполнять поворот вокруг интересующей области в данных изображения путем поворота устройства формирования изображения и, таким образом, без необходимости в, например, панорамировании или иной подаче навигационных команд в систему обработки изображений. Выгодным является то, что нет необходимости последовательно выполнять поворот представления, панорамирование представления, поворот представления и т.д. для показа области с разных сторон.
В необязательном порядке, средство для определения центра вращения выполнено с возможностью обнаружения интересующей области в данных изображения и определения центра вращения в зависимости от интересующей области.
Средство для определения центра вращения содержит функциональные возможности средства обнаружения интересующей области путем автоматического обнаружения интересующей области в данных изображения. При определении центра вращения в зависимости от интересующей области, интересующая область используется в определении центра вращения. Выгодным является то, что интересующая область может автоматически обнаруживаться и использоваться в качестве центра вращения без необходимости для пользователя вручную выбирать интересующую область в качестве центра вращения в данных изображения.
В необязательном порядке, система обработки изображений дополнительно содержит средство пользовательского ввода для приема данных выбора от пользователя, и средство для определения центра вращения выполнено с возможностью определения центра вращения в зависимости от данных выбора.
При приеме данных выбора от пользователя и определении центра вращения в зависимости от данных выбора, ввод от пользователя используется в определении центра вращения. Выгодным является то, что пользователь может вручную выбирать интересующую область в качестве центра вращения в данных изображения. Преимущество заключается в том, что пользователь может воздействовать на автоматический выбор центра вращения, например, получаемого от средства обнаружения интересующей области.
В необязательном порядке, средство пользовательского ввода выполнено с возможностью получения навигационных данных от пользователя, и процессор изображения выполнен с возможностью определять представления данных изображения в зависимости от навигационных данных.
При получении навигационных данных от пользователя и определении представлений данных изображения в зависимости от навигационных данных, ввод от пользователя используется в определении представлений данных изображения. Выгодным является то, что пользователь может перемещаться по данным изображения путем предоставления навигационных данных, в дополнение к поворачиванию устройства формирования изображения.
В необязательном порядке, навигационные данные содержат навигационную команду панорамирования и/или изменения масштаба. Таким образом, пользователь может перемещаться по данным изображения с использованием поворота, панорамирования и/или изменения масштаба, с установлением поворота за счет поворачивания пользователем устройства формирования изображения и предоставлением пользователем навигационных команд панорамирования и/или изменения масштаба в форме навигационных данных. Преимущество заключается в том, что пользователь может подавать навигационные команды панорамирования и/или изменения масштаба с использованием, например, мыши, клавиатуры или сенсорного экрана для отличения способа, которым пользователь устанавливает панорамирование и/или изменение масштаба, от поворота, тем самым устраняя неточности или путаницу при перемещении пользователя по данным изображения.
В необязательном порядке, данные изображения содержат данные объемного изображения, и процессор изображения выполнен с возможностью упомянутого определения текущего представления посредством использования по меньшей мере одного из группы, содержащей: многоплоскостное переформатирование, объемный рендеринг и поверхностный рендеринг, чтобы сформировать текущее представление.
При определении представлений в данных объемного изображения с использованием какой-либо из вышеописанных методик система обработки изображений сконфигурирована обеспечивать пользователю возможность перемещаться по данным объемного изображения. Следовательно, пользователь может использовать устройство формирования изображения для поворота вокруг центра вращения, например, интересующей области, в данных объемного изображения, с генерированием представлений посредством какой-либо из используемых методик, описанных выше.
В необязательном порядке, данные изображения содержат данные трехмерной графики, и процессор изображения выполнен с возможностью упомянутого определения текущего представления путем использования графического рендеринга для формирования текущего представления.
В необязательном порядке, упомянутое определение текущего представления содержит (i) определение матрицы преобразования 4×4 в зависимости от поворота представления и центра вращения и (ii) формирование текущего представления с использованием матрицы преобразования 4×4.
Матрица преобразования 4×4 является исключительно эффективным путем реализации упомянутого определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.
В необязательном порядке, процессор изображения выполнен с возможностью определения поворота представления относительно поворота устройства путем предоставления поворота устройства в качестве поворота представления.
Поворот представления, таким образом, равен повороту устройства. Выгодным является то, что поворот устройства формирования изображения переводится в тот же самый поворот текущего представления, тем самым обеспечивая пользователю интуитивное впечатление поворота вокруг центра вращения.
В необязательном порядке, процессор изображения выполнен с возможностью определения поворота представления относительно поворота устройства путем применения по меньшей мере одного из группы, включающей в себя прямое отображение, усиление, смещение, порог и нелинейную функцию, к повороту устройства для получения поворота представления.
Поворот представления получают посредством применения функции к повороту устройства. Выгодным является то, что к повороту устройства может быть применено усиление, так что малый поворот устройства приводит в результате к относительно большому повороту представления, тем самым обеспечивая пользователю возможность получать, например, поворот представления на 360° при повороте устройства лишь, например, на 90°. Преимущество состоит в том, что может быть использована нелинейная функция, которая оптимизирует восприятие от поворачивания пользователем устройства формирования изображения для поворота текущего представления вокруг центра вращения в данных изображения.
В необязательном порядке, система обработки изображений выполнена с возможностью приема команды переустановки для переустановки опорной ориентации и/или опорного изображения.
Пользователь может переустанавливать опорную ориентацию, с тем чтобы ориентация устройства измерялась по отношению к новой опорной ориентации. Также пользователь может переустанавливать опорное представление, с тем чтобы любой последующий поворот представления применялся к новому опорному представлению. Выгодным является то, что пользователь может переустановить опорную ориентацию в удобную ориентацию устройства формирования изображения, например, текущую ориентацию. Преимущество заключается в том, что пользователь может переустановить опорное представление в требующееся представление данных изображения, например, представление по умолчанию.
В необязательном порядке, система обработки изображений выполнена с возможностью приема от пользователя команды приостановки для приостановки упомянутого определения представлений данных изображения относительно поворота устройства.
Посредством подачи команды приостановки пользователь может предписывать процессору изображения на время приостанавливать упомянутое определение представлений данных изображения относительно поворота устройства. Выгодным является то, что когда пользователю нужно на время повернуть устройство формирования изображения по причине, отличающейся от навигации по данным изображения, он может приостановить упомянутое определение представлений данных изображения относительно поворота устройства, используя команду приостановки.
В необязательном порядке, устройство формирования изображения содержит средство для определения центра вращения и процессор изображения. Выгодным является то, что функциональные возможности системы обработки изображений могут быть полностью интегрированы в устройство формирования изображения.
Специалистам должно быть понятно, что два или более из вышеописанных вариантов осуществления, реализаций и/или аспектов могут быть скомбинированы любым путем, который считается полезным.
Модификации и вариации системы обработки изображений, устройства формирования изображения, рабочей станции, аппаратуры формирования изображений, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и вариациям системы обработки изображений, могут быть выполнены специалистом на основе настоящего описания.
Специалисту должно быть понятно, что способ может быть применен к данным многомерного изображения, например, к трехмерным (3-D) или четырехмерным (4-D) изображениям, полученным различными технологиями съемки, такими как, но не в ограничительном смысле, стандартная рентгенография, компьютерная томография (CT, КТ), магнитно-резонансная томография (MRI, МРТ), ультразвуковое исследование (УЗИ), позитрон-эмиссионная томография (PET), однофотонная эмиссионная компьютерная томография (SPECT) и медицинская радиология (NM). Размерность данных многомерного изображения может относиться ко времени. Например, данные трехмерного изображения могут содержать последовательность данных двумерного изображения во временной области.
Изобретение определяется в независимых пунктах формулы изобретения. Преимущественные варианты осуществления определяются в зависимых пунктах формулы изобретения.
Перечень чертежей
Эти и другие аспекты изобретения станут понятными из и описываются со ссылкой на варианты осуществления, раскрываемые далее. На чертежах:
Фиг. 1 - иллюстрация системы обработки изображений согласно настоящему изобретению;
Фиг. 2 - иллюстрация ориентации устройства формирования изображения, опорной ориентации и поворота устройства, соответствующего устройству формирования изображения;
Фиг. 3 - иллюстрация интересующей области в данных трехмерного изображения;
Фиг. 4 - иллюстрация текущего представления, повернутого вокруг интересующей области по отношению к опорному представлению;
Фиг. 5 - иллюстрация опорного представления, показывающего интересующую область;
Фиг. 6 - иллюстрация текущего представления, показывающего интересующую область;
Фиг. 7 - иллюстрация другого примера текущего представления, повернутого вокруг интересующей области по отношению к опорному представлению;
Фиг. 8 - иллюстрация различных отображений из поворота устройства в поворот представления;
Фиг. 9 - иллюстрация системы обработки изображений, содержащей средство пользовательского ввода;
Фиг. 10 - иллюстрация способа согласно настоящему изобретению;
Фиг. 11 - иллюстрация машиночитаемого носителя, содержащего компьютерный программный продукт.
Подробное описание вариантов осуществления
Фиг. 1 иллюстрирует систему 100 обработки изображений для обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений 155 данных изображения. Система 100 обработки изображений содержит устройство 110 формирования изображения, содержащее дисплей 130 для воспроизведения представлений 155 данных изображения и датчик 120 ориентации для измерения ориентации устройства 110 формирования изображения по отношению к опорной ориентации. В результате изменения, датчик 120 ориентации предоставляет данные 125 поворота, которые показывают поворот устройства, соответствующий устройству 110 формирования изображения. Система 100 обработки изображений дополнительно содержит средство 140 для определения центра вращения в данных изображения. Кроме того, система 100 обработки изображений содержит процессор 150 изображения для определения представлений 155 относительно поворота устройства. Процессор 150 изображения принимает данные 125 поворота от датчика 120 ориентации 120 и центр вращения, в форме данных 145 центра вращения, от средства 140 для определения центра вращения. Процессор 150 изображения затем определяет текущее представление путем определения поворота представления относительно поворота устройства и путем определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.
Следует понимать, что посредством формирования текущего представления для текущего момента времени и последующего формирования будущих представлений в будущие моменты времени, процессор изображения определяет представления, обеспечивающие пользователю возможность перемещаться по данным изображения.
Фиг. 2-7 иллюстрируют работу системы 100 обработки изображений. На Фиг. 2, ориентация 310 устройства 110 формирования изображения показана рядом с опорной ориентацией 320. Ориентация 310 измеряется датчиком 120 ориентации по отношению к опорной ориентации 320. Разность между этими двумя ориентациями обеспечивает поворот 330 устройства.
В целях пояснения, на Фиг. 3 данные 300 изображения иллюстрируются как трехмерный прозрачный объем, в котором содержится интересующая область 380. В дальнейшем предполагается, что данные 300 изображения представляют собой данные объемного изображения, то есть составлены из объемных пикселей или вокселей. В то же время следует понимать, что данные 300 изображения могут в равной степени относиться и к любому другому известному типу, например, они могут представлять собой графические данные, содержащие так называемые полигоны и вершины. На Фиг. 3 также показана секущая плоскость 335, проходящая через данные 300 изображения. Секущая плоскость 335 обеспечивает сечение данных 300 изображения, которое изображено на Фиг. 4. Следует, однако, понимать, что секущая плоскость 335 используется лишь в целях пояснения и не относится к функционированию или использованию в системе 100 обработке изображений.
На Фиг. 4 проиллюстрировано вышеупомянутое сечение 355 данных 300 изображения, где сечение 355 содержит интересующую область 380. Также показано опорное представление 360. В данном примере, опорное представление 360 понимается как объемный рендеринг данных 300 изображения по направлению к интересующей области 380. Здесь, крайние пунктирные линии, которые под наклоном идут наружу от опорного представления 360 по направлению к интересующей области, показывают поле обзора опорного представления, то есть показывают часть данных 300 изображения, используемую при рендеринге опорного представления. Более конкретно, эти крайние пунктирные линии соответствуют трассе лучей, которые используются во время объемного рендеринга, в том виде как они распространяются от виртуальной камеры (не показана на Фиг. 4, но размещена в точке, где обе эти линии пересекаются) через опорное представление 360 и далее в данные 300 изображения. Следует понимать, что технология объемного рендеринга известна в области техники, относящейся к визуализации объемных изображений, например, из публикации “OpenGL Volumizer Programmer's Guide”, доступной по Интернет-адресу ‘http://techpubs.sgi.com/library/manuals/3000/007-3720-002/pdf/007-3720-002.pdf’.
Фиг. 5 иллюстрирует результат объемного рендеринга, то есть опорное представление 360, показывающее интересующую область 380 с первой стороны. Система 100 обработки изображений может быть сконфигурирована для отображения опорного представления 360, когда ориентация 310 устройства 110 формирования изображения совпадает с опорной ориентацией 320. Опорное представление 360 может быть представлением по умолчанию в данных изображения, например, представлением по умолчанию, показываемым в начале работы системы 100 обработки изображений. Аналогично, опорная ориентация 320 может совпадать с ориентацией устройства 110 формирования изображения в начале данной работы.
Когда пользователь поворачивает устройство 110 формирования изображения, то есть изменяет его ориентацию 310 по отношению к опорной ориентации 320, датчик ориентации может измерять это изменение в ориентации, то есть поворот 330 устройства, и подавать поворот 330 устройства в процессор 350 изображения в форме данных 125 поворота. Средство 140 для определения центра вращения могло определить интересующую область 380 как центр 340 вращения, например, для обеспечения пользователю возможности удобным образом получать представления, показывающие интересующую область 380 с разных сторон. Следует понимать, что, в общем, определение интересующей области в качестве центра вращения может содержать определение центра интересующей области в качестве центра вращения, когда интересующая область имеет двумерную или трехмерную форму в данных 300 изображения. Когда интересующей областью является точка, то есть иногда упоминаемая как интересующая точка, центр вращения может непосредственно совпадать с интересующей точкой.
Процессор 150 изображения может определять текущее представление 350 в данных изображения посредством, во-первых, определения поворота 370 представления относительно поворота 330 устройства и, во-вторых, определения текущего представления 350 в зависимости от поворота 370 представления вокруг центра 340 вращения по отношению к опорному представлению 360. Определение поворота 370 представления относительно поворота 330 устройства может содержать применение усиления к повороту 330 устройства для получения поворота 370 представления. Например, поворот устройства 330 может составлять 30°, и процессор 150 изображения может определить поворот 370 представления посредством умножения поворота 330 устройства на коэффициент, равный двум, для получения поворота на 60° в качестве поворота представления. Однако поворот 370 представления может также быть равен повороту 330 устройства.
Результат определения текущего представления 350 в зависимости от поворота 370 представления вокруг центра 340 вращения относительно опорного представления 360 показан на Фиг. 4, где текущее представление 350 показано повернутым вокруг центра 340 вращения на величину, показываемую поворотом 370 представления по отношению к опорному представлению 360. На Фиг. 6 изображен результат объемного рендеринга, то есть текущее представление 350, показывающее интересующую область 380 со второй стороны. При сравнении опорного представления 360 по Фиг. 5 с текущим представлением 350 по Фиг. 6, становится ясно, что, как результат поворота устройства 110 формирования изображения, текущее представление 350 на дисплее показывает вторую сторону интересующей области 380, где эта вторая сторона получена посредством поворота вокруг интересующей области по отношению к первой стороне, показанной в опорном представлении 360 на Фиг. 5.
Следует понимать, что имеется множество вариантов для упомянутого определения текущего представления 350 исходя из поворота 370 представления, центра 340 вращения и опорного представления 360. В общем, может быть задана система координат, посредством которой может быть выражена ориентация 310 устройства 110 формирования изображения, то есть система координат устройства. Система координат устройства может содержать начало координат, например, один угол устройства 110 формирования изображения, и три координатные оси, например, ось х, заданную по ширине устройства 110 формирования изображения, ось y, заданную по толщине устройства 110 формирования изображения, и ось z, заданную по высоте устройства 110 формирования изображения. Следует понимать, что также может быть использована любая друга подходящая система координат, то есть выбор начала координат и осей вращения не ограничивается описанным выше случаем. Система координат устройства может быть выражена в таких единицах измерения, как, например, миллиметры.
Опорная ориентация 320, например начальная или предыдущая ориентация устройства 110 формирования изображения, может быть выражена как опорный вектор устройства в системе координат устройства. Опорная ориентация может быть измерена датчиком 120 ориентации. Например, акселерометр или гироскоп может измерить направление силы тяжести для обеспечения опорного вектора устройства, выражающего опорную ориентацию 320 устройства формирования изображения по отношению к направлению или ориентации силы тяжести. Датчик 120 ориентации может также обеспечивать начало опорного вектора устройства в системе координат устройства. Начало опорного вектора устройства может соответствовать опорному положению устройства 110 формирования изображения по отношению к системе координат устройства. Следует отметить, что начало опорного вектора устройства может быть не нужно для определения опорной ориентации.
Датчик 120 ориентации может обеспечивать ориентацию 310 устройства 110 формирования изображения в качестве текущего вектора устройства в системе координат устройства. Датчик 120 ориентации может также обеспечивать начало текущего вектора устройства в системе координат устройства, соответствующей текущей позиции устройства 110 формирования изображения. Датчик 120 ориентации может затем сравнивать текущий вектор устройства с опорным вектором устройства для определения изменения в ориентации устройства 110 формирования изображения, например, поворота 330 устройства. Для этого датчик 120 ориентации может определить разность между текущим вектором устройства и опорным вектором устройства. Датчик 120 ориентации может не учитывать различие в начале текущего вектора устройства и опорного вектора устройства, поскольку это различие в начале может соответствовать изменению в позиции и может не потребоваться в установлении изменения в ориентации. В то же время, датчик 120 ориентации может также определить изменение в позиции, чтобы предусмотреть перенос устройства, в дополнение к повороту 330 устройства.
В дополнение к системе координат устройства, может быть задана система координат, посредством которой может быть выражена ориентация представлений в данных 300 изображения, то есть система координат изображения. В системе координат изображения начало координат может быть задано как являющееся одним из углов данных 300 изображения, как показано на Фиг. 3, то есть соответствующее вершине контура данных изображения 300. В системе координат изображения могут быть дополнительно заданы три оси координат, например, как направленные вдоль ребер контура, которые встречаются в одной и той же вершине. Система координат изображения может быть выражена в таких единицах измерения, как, например, миллиметры. Система координат изображения может относиться к содержимому данных 300 изображения. Например, когда данными 300 изображения являются данные медицинского изображения, система координат изображения может быть задана стандартом для данных медицинского изображения, то есть может существовать стандартизованная система координат изображения.
Ориентация опорного представления 360 в системе координат изображения может быть выражена как опорный вектор представления. Опорный вектор представления может быть привязан к опорной ориентации 320 в системе координат устройства, то есть опорному вектору устройства. Привязка между этими двумя ориентациями может содержать преобразование поворота. Однако начало координат системы координат устройства и начало координат системы координат изображения могут не совпадать. Более того, начало опорного вектора устройства в системе координат устройства и начало опорного вектора представления в системе координат представления могут не совпадать. В целях компенсации такого несовпадения, может потребоваться дополнительное преобразование переноса (трансляции) для привязки опорного вектора представления к опорному вектору устройства. Преобразование поворота и возможное дополнительное преобразование переноса могут быть определены при начале работы системы 100 обработки изображений или устройства 110 формирования изображения.
Определение текущего представления может содержать следующие этапы. На первом этапе, опорный вектор устройства отображается в опорный вектор представления, используя вышеупомянутые преобразование поворота и возможное дополнительное преобразование переноса. На втором этапе данные 300 изображения сдвигаются в системе координат изображения, так чтобы центр 340 вращения располагался в начале координат системы координат изображения. На третьем этапе опорный вектор представления затем поворачивается вокруг начала координат системы координат изображения относительно поворота устройства, например разности между текущим вектором устройства и опорным вектором устройства, тем самым давая в результате текущий вектор представления. В результате текущий вектор представления отличается в смысле начала и в смысле направления от опорного вектора представления. На четвертом этапе выполняется обращение второго этапа посредством обратного сдвига данных 300 изображения в системе координат изображения. Текущий вектор представления может затем использоваться с целью получения параметров для определения текущего представления. Например, когда текущее представление определяется с использованием многоплоскостного переформатирования, т.е. нарезания объемных данных, текущее представление может быть сгенерировано посредством формирования среза изображения через начало текущего вектора представления, с помощью плоскости, идущей вдоль среза изображения, которая ортогональна текущему вектору представления.
Следует понимать, однако, что для определения текущего представления могут быть использованы многие другие методики, вместо или в дополнение к вышеописанным этапам, например, те, что известны из областей общих знаний, относящихся к евклидовой геометрии и компьютерной графике и рендерингу.
Фиг. 7 аналогична Фиг. 5 в том, что она показывает результат текущего представления 350, определенного в зависимости от опорного представления 360, центра 340 вращения и поворота 370 представления. Однако в данном примере опорное представление 360 формируется посредством многоплоскостного переформатирования данных 300 изображения, давая в результате в качестве опорного представления 360 срез по данным 300 изображения. Более того, интересующая область 380 находится, то есть видима, в опорном представлении 360. Интересующая область 380 опять определяется в качестве центра вращения. В результате определения текущего представления 350 в зависимости от поворота 370 представления вокруг центра 340 вращения по отношению к опорному представлению, текущее представление 350 показано повернутым вокруг центра 340 вращения на величину, указываемую поворотом 370 представления. При этом получают другой срез через интересующую область 380 и окружающие данные 300 изображения.
На Фиг. 8 приведен график, содержащий примеры функций, которые могут быть использованы процессором 150 изображения для определения поворота 370 представления относительно поворота 320 устройства. Горизонтальная ось соответствует повороту 320 устройства, а вертикальная ось соответствует повороту 370 представления. Горизонтальная ось и вертикальная ось могут показывать один или тот же или схожий диапазон, например, от 0 до 90°. Функции 372, 374, 376 и 378 иллюстрируют различные отображения из поворота 320 устройства, то есть входных данных функции, в поворот 370 представления, то есть выходные данные функции. Первая функция 372 соответствует прямому отображению, при котором некоторая величина поворота 320 устройства приводит к такой же величине поворота 370 представления, например, 45° поворота 320 устройства приводят к 45° поворота 370 представления. Для достижения большей чувствительности может использоваться вторая функция 374, которая соответствует усилению 374. Таким образом, некоторая величина поворота 320 устройства приводит к увеличенной или усиленной величине поворота 370 представления, например, 22,5° поворота 320 устройства приводят к 45° поворота 370 представления. Для снижения чувствительности к малым, возможно ненамеренным поворотам 320 устройства, может быть использована третья функция 374, которая соответствует порогу 376. Таким образом, поворот 320 устройства должен превышать порог 376 для достижения поворота 370 представления, то есть того, который не будет нулевым. Наконец, четвертая функция 378 соответствует нелинейной функции 378 и может использоваться для получения, например, уменьшения в чувствительности для малых, возможно ненамеренных поворотов 320 устройства и увеличения в чувствительности для больших поворотов 320 устройства. Следует понимать, что для определения поворота 370 представления относительно поворота 320 устройства также может быть использована любая другая подходящая функция, например, посредством комбинирования аспектов вышеупомянутых функций.
Фиг. 9 показывает систему 200 обработки изображений, содержащую устройство 110 формирования изображения, ранее показанное на Фиг. 1. Система 200 обработки изображений дополнительно содержит средство 260 пользовательского ввода для приема данных 265 от пользователя, и средство 240 для определения центра 340 вращения выполнено с возможностью определения центра вращения в зависимости от данных выбора. Пользователь может предоставлять данные 265 выбора в средство 260 пользовательского ввода из состава системы 200 обработки изображений с использованием любого подходящего способа, например, используя клавиатуру 275 или мышь 280. Также, хотя и не показано на Фиг. 9, дисплей 130 устройства 110 формирования изображения может содержать чувствительную к прикосновениям поверхность для обеспечения пользователю возможности подавать данные 265 выбора в средство 260 пользовательского ввода путем прикосновения к дисплею 130. Пользователь может предоставлять данные 265 выбора, чтобы вручную выбрать центр 340 вращения либо чтобы модифицировать или воздействовать на способ, которым средством обнаружения интересующей области определяется центр 340 вращения.
Средство 260 пользовательского ввода может быть выполнено с возможностью приема навигационных данных 270 от пользователя, и процессор 250 изображения может быть выполнен с возможностью определения представлений 155 данных 300 изображения в зависимости от навигационных данных. Пользователь может предоставлять навигационные данные 270 в средство 260 пользовательского ввода с использованием любого подходящего способа, например, используя вышеупомянутые клавиатуру 270, мышь 280 или дисплей 130, оснащенный чувствительной к прикосновениям поверхностью. Таким образом, пользователь может использовать тот же способ для предоставления навигационных данных 270, что и для предоставления данных 265 выбора. В то же время, пользователь также может использовать и другой способ для упомянутого предоставления. Навигационные данные могут содержать навигационную команду панорамирования и/или изменения масштаба, где, например, навигационная команда панорамирования предоставляется посредством того, что пользователь двигает мышь 280, а навигационная команда изменения масштаба предоставляется посредством того, что пользователь вращает колесико мыши 280.
Система 200 обработки изображений может быть выполнена с возможностью приема команды переустановки от пользователя для переустановки опорной ориентации 320 и/или опорного представления 360. Система 200 обработки изображений может принимать команду переустановки любым подходящим способом, например, с использованием вышеупомянутых клавиатуры 270, мыши 280 или дисплея 130, оснащенного чувствительной к прикосновениям поверхностью. Система 200 обработки изображений также может быть выполнена с возможностью приема команды приостановки для предписания системе 200 обработки изображений на время приостановить определение представлений в зависимости от поворота устройства. В результате, процессор 250 изображения может временно не учитывать поворот устройства после приема команды приостановки и может возобновить учёт поворота устройства после приема команды возобновления от пользователя, где команда возобновления предписывает процессору 250 изображения возобновить определение представлений в зависимости от поворота устройства.
Средство 240 для определения центра 340 вращения может быть выполнено с возможностью обнаружения интересующей области 380 в данных 300 изображения. Таким образом, упомянутое средство 240 может содержать, функционировать как или представлять собой средство обнаружения интересующей области. Упомянутое средство 240 также может быть выполнено с возможностью определения центра 340 вращения в зависимости от интересующей области 380. При обнаружении интересующей области может быть задействована любая подходящая методика для обнаружения интересующей области. Например, когда система 200 обработки изображений используется в качестве системы обработки медицинских изображений, при обнаружении интересующей области может быть задействована любая подходящая методика, известная в области анализа медицинских изображений для обнаружения медицинских аномалий, например, патологических изменений.
В общем, данные изображения могут содержать данные объемного изображения, и процессор изображения может быть выполнен возможностью упомянутого определения текущего представления посредством использования по меньшей мере одного из группы, включающей в себя многоплоскостное переформатирование, объемный рендеринг и поверхностный рендеринг, чтобы сформировать текущее представление. Эти технологии известны в области техники, относящейся к объемному рендерингу и воспроизведению изображений. Данные изображения могут также содержать данные трехмерной графики, и процессор изображения может быть выполнен с возможностью упомянутого определения текущего представления посредством использования графического рендеринга для формирования текущего представления. Графический рендеринг известен в области трехмерной компьютерной графики. Данные изображения могут содержать комбинацию данных объемного изображения и графических данных. Таким образом, текущее представление может быть определено путем использования по меньшей мере одного из группы, включающей в себя многоплоскостное переформатирование, объемный рендеринг и поверхностный рендеринг, в дополнение к использованию графического рендеринга, для формирования текущего представления.
Определение текущего представления может содержать (i) определение матрицы преобразования 4×4 в зависимости от поворота представления и центра вращения и (ii) формирование текущего представления с использованием этой матрицы преобразования 4×4. Таким матрицы преобразования 4×4 широко используются в области трехмерной компьютерной графики для представления проекционных преобразований, включая перенос, поворот, масштабирование, сдвиг и искажение перспективы. В частности, матрица преобразования 4×4 может представлять комбинацию переноса и поворота, тем самым позволяя процессору изображения учитывать несовпадения центра вращения с началом координат системы координат изображения.
Датчик ориентации может представлять собой так называемый акселерометр, который измеряет ориентацию путем сравнения ускорения контрольного груза со свободно падающей рамкой, являющейся эталоном. Следует понимать, что датчик ориентации может представлять собой любой подходящий тип акселерометра, известный в области техники, относящейся к акселерометрам. Датчик ориентации может также представлять собой компас, который измеряет ориентацию путем сравнения с магнитным полем Земли. Аналогично, датчик ориентации может также представлять собой гироскоп, который измеряет ориентацию путем измерения изменений в ориентации оси вращения гироскопа. Датчик ориентации может также представлять собой видеокамеру для определения “чистого” движения (ego-motion) устройства формирования изображения, то есть движения видеокамеры и, таким образом, устройства формирования изображения относительно его окружения, путем использования видеоинформации, отснятой видеокамерой. Технологии оценки “чистого” движения с использованием видеокамеры известны из области компьютерного зрения и, более конкретно, из области оценки техники, относящейся к оценке “чистого” движения. Следует понимать, что такое “чистое” движение устройства формирования изображения обеспечивает возможность определения изменения в ориентации устройства формирования изображения. Датчик ориентации может также содержать сочетание, например, акселерометра и видеокамеры для повышения точности измерения ориентации устройства формирования изображения.
Система обработки изображений может быть сконфигурирована учитывать только поворот устройства вокруг одиночной оси вращения. Таким образом, любой поворот устройства может только учитываться в отношении упомянутой оси вращения. Причина этого может заключаться в намеренном ограничении пользователя в поворачивании вокруг интересующей области, либо вследствие ограничения датчика ориентации. Также может учитываться поворот устройства вокруг более чем одной оси вращения, например, оси х, оси y и оси z, и при этом поворот устройства может быть разложен на некоторое количество так называемых базисных поворотов, например, так называемые рыскание (yaw), тангаж (pitch) и крен (roll). Пользователь, таким образом, может выполнять произвольное поворачивание вокруг интересующей области в данных изображения.
Система обработки изображений может представлять собой портативное устройство, то есть с интегрированными дисплеем, датчиком ориентации, средством для определения центра вращения и процессором изображения. Портативное устройство может представлять собой планшетный компьютер. Система обработки изображений может также представлять собой рабочую станцию, содержащую дисплей, где корпус дисплея содержит датчик ориентации. Корпус дисплея, то есть устройства формирования изображения, может быть физически поворачиваемым посредством, например, соответствующего крепления на столе или стене.
На Фиг. 10 показан способ 400 обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображений на дисплее устройства формирования изображения, при этом способ содержит этапы, на которых измеряют 410 ориентацию устройства формирования изображения по отношению к опорной ориентации для предоставления данных поворота, показывающих поворот устройства для устройства формирования изображения; определяют 420 центр вращения в данных изображения и определяют 430 представления данных изображения относительно поворота устройства посредством того, что, для определения текущего представления, (i) принимают 440 данные поворота от датчика ориентации, (ii) определяют 450 поворот представления относительно поворота устройства и (iii) определяют 460 текущее представление в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.
На Фиг. 11 показан машиночитаемый носитель 500, содержащий компьютерную программу 520, содержащую инструкции для предписания процессорной системе выполнять способ 400, показанный на Фиг. 10. Компьютерная программа 520 может быть воплощена на машиночитаемом носителе 500 в виде физических меток или посредством намагничивания машиночитаемого носителя 500. В то же время, также подразумевается и любой другой подходящий вариант осуществления. Более того, следует понимать, что, хотя на Фиг. 11 машиночитаемый носитель 500 показан в виде оптического диска, машиночитаемый носитель 500 может представлять собой любой подходящий машиночитаемый носитель, такой как жесткий диск, твердотельная память, флэш-память и т.п., и может быть незаписываемым или записываемым.
Следует понимать, что изобретение также применимо к компьютерным программам, а именно к компьютерным программам на или в носителе, приспособленным для практической реализации изобретения. Программа может быть в форме исходного кода, объектного кода, промежуточного исходного кода и объектного кода, такого как в частично компилированной форме, либо в любой другой форме, подходящей для использования при реализации способа согласно настоящему изобретению. Следует также понимать, что такая программа может иметь разные архитектурные проекты. Например, программный код, реализующий функции способа или системы согласно настоящему изобретению, может быть подразделен на одну или более подпрограмм. Для специалиста будут очевидны множественные различные пути распределения таких функций по этим подпрограммам. Подпрограммы могут храниться вместе в одном исполняемом файле для формирования независимой программы. Такой исполняемый файл может содержать машиноисполняемые инструкции, например, инструкции процессора и/или инструкции интерпретатора (например, инструкции интерпретатора Java). В качестве альтернативы, одна или более или все из подпрограмм могут сохраняться в по меньшей мере одном файле внешней библиотеки и подключаться к основной программе либо статически, либо динамически, например, во время исполнения. Основная программа содержит по меньшей мере один вызов в по меньшей мере одну из подпрограмм. Подпрограммы могут также содержать вызовы функций друг друга. Вариант осуществления, относящийся к компьютерному программному продукту, содержит машиноисполняемые инструкции, соответствующие каждому этапу обработки по меньшей мере одного из описанных здесь способов. Эти инструкции могут подразделятся на подпрограммы и/или храниться в одном или более файлах, которые могут статически или динамически подключаться.
Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит машиноисполняемые инструкции, соответствующие каждому средству по меньшей мере одной из описанных здесь систем и/или продуктов. Эти инструкции могут подразделятся на подпрограммы и/или храниться в одном или более файлах, которые могут статически или динамически подключаться.
Носителем компьютерной программы может быть любой объект или устройство, приспособленные для переноса программы. Например, носитель может включать в себя носитель информации, такой как постоянное запоминающее устройство (ПЗУ, ROM), например ПЗУ на компакт-диске (CD ROM) или полупроводниковое ПЗУ, либо магнитный носитель записи, например жесткий диск. Помимо этого, носителем может быть передаваемый носитель, такой как электрический или оптический сигнал, который может передаваться по электрическому или оптическому кабелю, либо посредством радиоволн или других средств. Когда программа воплощена в сигнале, носитель может быть образован таким кабелем либо другим устройством или средством. В качестве альтернативы, носитель может представлять собой интегральную схему, в которой воплощена программа, при этом интегральная схема выполнена с возможностью выполнять или быть использованной при выполнении соответствующего способа.
Следует отметить, что вышеописанные варианты осуществления скорее иллюстрируют, чем ограничивают изобретение, и специалисты смогут разработать множественные альтернативные варианты осуществления, не выходя за рамки объема, определяемого прилагаемой формулой изобретения. В формуле изобретения любые ссылочные символы, помещенные в скобки, не должны толковаться как ограничивающие формулу изобретения. Использование глагола “содержит” и его спряжений не исключает наличия элементов или этапов, отличающихся от тех, что приведены в формуле изобретения. Упоминание элемента в единственном числе не исключает возможности наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько отдельных элементов, и посредством соответственным образом запрограммированного компьютера. В относящемся к устройству пункте формулы изобретения, в котором перечислены несколько средств, некоторые из этих средств могут быть воплощены как один и тот же элемент аппаратного обеспечения. Тот простой факт, что некоторые признаки приведены во взаимно отличающихся зависимых пунктах формулы изобретения, не указывает на то, что сочетание этих признаков не может быть использовано выгодным образом.