(57)【要約】【課題】医用画像データからレンダリングされた画像についてライティングクオリティ等を向上させることができる医用画像処理装置等を提供することにある。【解決手段】本実施形態に係る医用画像処理装置は、第１の三次元画像データを用いて撮像対象の少なくとも一つの面に基づく曲率に関する値を計算する曲率計算部と、前記第１の三次元画像データと、前記撮像対象の少なくとも一つの面に基づく曲率に関する値と、を用いて第１の画像を生成し、前記第１の三次元画像データと複数の光条件とを用いて、前記光条件毎の第２の画像を生成する画像生成部と、前記第１の画像と前記光条件毎の第２の画像とを用いてライティングに関する指標値を前記光方向毎に計算する指標計算部と、を具備する。【選択図】      図４
2019005574.tif 000002
【特許請求の範囲】
【請求項１】
第１の三次元画像データを用いて撮像対象の少なくとも一つの面に基づく曲率に関する値を計算する曲率計算部と、
前記第１の三次元画像データと、前記撮像対象の少なくとも一つの面に基づく曲率に関する値と、を用いて第１の画像を生成し、前記第１の三次元画像データと複数の光条件とを用いて、前記光条件毎の第２の画像を生成する画像生成部と、
前記第１の画像と前記光条件毎の第２の画像とを用いてライティングに関する指標値を前記光方向毎に計算する指標計算部と、
を具備する医用画像処理装置。
【請求項２】
前記曲率計算部は、法線ベクトルを用いて計算される少なくとも一つの曲率に関する値を用いて、前記曲率に関する値を計算する請求項１記載の医用画像処理装置。
【請求項３】
前記光条件は、光源位置及び光方向を含む請求項１又は２に記載の医用画像処理装置。
【請求項４】
前記指標計算部は、前記光条件毎の指標値に基づいて、所望の光条件を決定する請求項１乃至３のうちいずれか一項記載の医用画像処理装置。
【請求項５】
前記画像生成部は、グローバルイルミネーション処理によって前記光条件毎の第２の画像を生成する請求項１乃至４のうちいずれか一項記載の医用画像処理装置。
【請求項６】
前記曲率計算部は、前記少なくとも一つの面の複数の位置において前記曲率に関する値を計算し、
前記画像生成部は、前記複数の位置における前記曲率に関する値を用いて、所望のライティング値を有する前記第１の画像を生成し、
前記所望のライティング値を有する第１の画像と前記光方向毎の前記第２の画像とを用いて、前記光方向毎の指標値を計算する請求項１乃至５のうちいずれか一項記載の医用画像処理装置。
【請求項７】
前記曲率計算部は、伝達関数、ルックアップテーブルのうちの少なくとも一方を用いて、前記複数の位置における前記曲率に関する値を計算する請求項６記載の医用画像処理装置。
【請求項８】
前記曲率計算部は、前記撮像対象をセグメンテーションして得られる少なくとも一つの領域について前記曲率に関する値を計算し、
前記指標値計算部は、前記少なくとも一つの領域について前記指標値を計算する、
請求項１乃至７のうちいずれか一項記載の医用画像処理装置。
【請求項９】
前記曲率計算部は、前記撮像対象の少なくとも一つの面に基づく曲率に関する値として、胎児、心臓、血管、膀胱、胆嚢、大腸、結腸、臓器、腫瘍、骨のうちの少なくとも一部を含む解剖学的特徴の少なくとも一つの面について、前記曲率に関する値を計算する請求項８のうちいずれか一項記載の医用画像処理装置。
【請求項１０】
前記指標値計算部は、前記第１の三次元画像データに対して時間的に先行する第２の三次元画像データに関して決定された所望の光条件と、前記複数の光条件と、の違いをさらに用いて、前記ライティングに関する指標値を前記光方向毎に計算する請求項１乃至９のうちいずれか一項記載の医用画像処理装置。
【請求項１１】
コンピュータに、
第１の三次元画像データを用いて撮像対象の少なくとも一つの面に基づく曲率に関する値を計算させる曲率計算機能と、
前記第１の三次元画像データと、前記撮像対象の少なくとも一つの面に基づく曲率に関する値と、を用いて第１の画像を生成させ、前記第１の三次元画像データと複数の光条件とを用いて、前記光条件毎の第２の画像を生成させる画像生成機能と、
前記第１の画像と前記光条件毎の第２の画像とを用いてライティングに関する指標値を前記光方向毎に計算させる指標計算機能と、
を実現させる医用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、医用画像処理装置及び医用画像処理プログラムに関する。
【背景技術】
【０００２】
三次元的に見えるレンダリング画像を生み出すために、三次元（３Ｄ）画像データをレンダリングすることが知られている。四次元（４Ｄ）撮像システムにおいて、異なる時間で取得された一連の三次元画像は、例えば３Ｄ超音波動画など動く３Ｄ画像を生み出すために、動的にレンダリングすることが出来る。
【０００３】
ライティング効果は、画像の被検体が所定の位置及び／又は方向から照らされて見えるように、３Ｄ又は４Ｄ画像に付け加えることが出来る。更に近年では、３Ｄ又は４Ｄ医用画像は、かつて使用されたモデルに比べより物理的に精確なモデルでイルミネーションをシミュレートする、進歩したライティング技術（グローバルイルミネーション、勾配の影響を受けないライティング、表面散乱又はフォトンマッピング等）の利用を通して、よりリアルに作られるようになっている。
【０００４】
グローバルイルミネーション（ＧＩ）は、人気を博しつつあり、例えば超音波診断等において多くの適用を考えることが出来る。グローバルイルミネーションは、産科において占める市場がニッチだとかつては考えられたこともあるが、今では例えば心臓撮像、放射線医学撮像、又は具体的には三次元ドップラー撮像等、血管撮像の、幅広いアプリケーションにおいて使用されている。またＣＴ（コンピュータ断層撮像）やＭＲ（磁気共鳴）撮像など、その他のモダリティにおけるグローバルイルミネーションの使用においても関心が寄せられている。
【０００５】
グローバルイルミネーションは、従来的なレンダリングにおいて使用されたパラメータよりも、更に多くのパラメータの使用を必要とする場合がある。グローバルイルミネーションで使用されるパラメータは、例えば、ライト位置パラメータ、カラーマップパラメータ、明るさパラメータやラジオシティパラメータなどを含むことが出来る。画像は、多重バーチャル光源を使用してレンダリングすることが出来る。係る多重バーチャル光源のそれぞれは、例えば位置、方向、輝度及び／又は色を含む、関連付けられたパラメータを有することが出来る。
【０００６】
高画質の画像を作るために、ユーザは多くの異なるＧＩパラメータの使用を望む場合がある。しかし、単純なパラメータ（例えばライト方向）であっても、ユーザにとってパラメータを扱うことが難しい場合があるということは、臨床医の評価によって示されている。このことは、複雑な状況でレンダリングされる場合に、特に当てはまるかもしれない。視覚化方法の全体的な性質（ｇｌｏｂａｌ  ｎａｔｕｒｅ）は、概念的に理解しやすいパラメータは、扱うのが難しいことがある、ということを意味している。
【０００７】
ライト方向は、知覚画質について大きな影響を与えることがある。図１は、医用画像データのセットにおける９つの画像のセットを示している。この場合の画像は胎児の顔を表しており、異なるライト方向を使用してレンダリングされている。画像は、ライト方向ごとに並べられている。例えば、一番左上の画像は、左上からの光によって、一番右下の画像は、右下からの光によって照らされている。
【０００８】
ライト方向の中には、画像におけるコントラストの欠如という結果になるものがある。例えば、図１の中央の画像は、ビューワの方向から胎児の顔に向けてライトが直接光っているかのように、胎児の顔が照らされている。結果として、画像において見える影は少ない。そのため、観察方向に対する角度で入射するライトでの画像よりも、一直線に当るライティングでの画像において、目や鼻、口などの特徴を区別することの方が、難しい場合がある。
【０００９】
その他のライト方向は、過度な陰影という結果に繋がる場合があり、係る過度な陰影は、画像において影の中に多くの部分を隠してしまうことがある。
【００１０】
状況によっては、医用スキャンのコンテキスト（例えば、解剖学的特徴が画像化されている）が、撮像システムによって知られていないことがある。医用スキャンのコンテキストは、例えば超音波などライブモダリティの場合など、常に変化していることがある。産科において、スキャンには胎児の顔だけでなく、手や足、そして背骨を含む場合がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１６−１３５２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
医用画像診断において、グローバルイルミネーションの様な多くのパラメータを使用する画像処理を実行する場合、効率化や画質向上の観点において、依然として改善の余地がある。
【課題を解決するための手段】
【００１３】
上述課題に鑑みてなされたものであり、本実施形態の目的は、医用画像データからレンダリングされた画像についてライティングクオリティ等を向上させることができる医用画像処理装置及び医用画像処理プログラムを提供することにある。
【００１４】
本実施形態に係る医用画像処理装置は、第１の三次元画像データを用いて撮像対象の少なくとも一つの面に基づく曲率に関する値を計算する曲率計算部と、前記第１の三次元画像データと、前記撮像対象の少なくとも一つの面に基づく曲率に関する値と、を用いて第１の画像を生成し、前記第１の三次元画像データと複数の光条件とを用いて、前記光条件毎の第２の画像を生成する画像生成部と、前記第１の画像と前記光条件毎の第２の画像とを用いてライティングに関する指標値を前記光方向毎に計算する指標計算部と、を具備する。
【図面の簡単な説明】
【００１５】
【図１】胎児の顔を表す医用画像データのセットの複数のレンダリング画像を示している。
【図２】実施形態に従う、医用撮像装置の概要的なダイヤグラム。
【図３】多重ライト方向から照らされている顔の概略図。
【図４】実施形態に従う、多重ライト方向についてのライティングスコアを取得する方法の概略を描いているフローチャート。
【図５】特定の表面特徴が曲率伝達関数によって抽出された画像の実例。
【図６】表面についてライトエネルギーの量を描いている画像の実例。
【図７】実施形態に従う、４Ｄ収集の多重フレームについてのライト方向を選択する方法のオーバービューを描いているフローチャート。
【図８】実施形態に従う、曲率伝達関数を生成する方法の概略を描いているフローチャート。
【発明を実施するための形態】
【００１６】
実施形態に係る医用撮像装置１０が、図２に概略的に示されている。医用撮像装置１０は、超音波診断装置１２及び関連する超音波プローブ１４を具備する。任意の適切なタイプの超音波診断装置１２と超音波プローブ１４とを使用することが出来るが、例えば３Ｄ又は４Ｄ撮像に適切な超音波画像データを取得するよう構成された、任意の超音波診断装置１２と超音波プローブ１４である。本実施形態において、超音波診断装置１２と超音波プローブ１４とは、リアルタイム又はほぼリアルタイムで三次元又は四次元超音波データを取得するよう構成されている。
【００１７】
超音波診断装置１２と超音波プローブ１４とは、患者又はその他の被検体の少なくとも一つの解剖学的特徴の少なくとも一つの面の少なくとも一部を表す、超音波データを収集するよう構成されている。係る少なくとも一つの解剖学的特徴は、例えば少なくとも一つの臓器や骨を具備する場合がある。また係る少なくとも一つの解剖学的特徴は、例えば腫瘍など、少なくとも一つの病気に伴う特徴を具備する場合がある。また係る少なくとも一つの解剖学的特徴は、例えばステントやインプラントなど、少なくとも一つの人工的な特徴を具備する場合がある。更に係る少なくとも一つの解剖学的特徴は、子宮内の胎児の少なくとも一つの解剖学的特徴の場合もある。
【００１８】
少なくとも一つの面は、例えば臓器、腫瘍、又は胎児の外側の境界など、解剖学的特徴の任意の適当な境界を具備することが出来る。係る少なくとも一つの面は、二つの解剖学的特徴の間の境界か、又は単一の解剖学的特徴の二つの部分の間の境界を具備することが出来る。係る少なくとも一つの面は、患者又はその他面の内部の場合もある。
【００１９】
その他の実施形態で、医用撮像装置１０は、例えばＣＴ（コンピュータ断層撮像）スキャナ、ＭＲＩ（磁気共鳴イメージング：ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ  ｉｍａｇｉｎｇ）スキャナ、Ｘ線スキャナ、ＰＥＴ（陽電子放出断層撮像法：ｐｏｓｉｔｒｏｎ  ｅｍｉｓｓｉｏｎ  ｔｏｍｏｇｒａｐｈ）スキャナ、又はＳＰＥＣＴ（単光子放出コンピュータ断層撮像法：ｓｉｎｇｌｅ  ｐｈｏｔｏｎ  ｅｍｉｓｓｉｏｎ  ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）スキャナなど、三次元又は四次元医用画像データを提供するよう構成された任意の撮像モダリティの装置を具備することが出来る。係る三次元又は四次元医用画像データは、多重の二次元スキャンを組み合わせることで、取得することが出来る。
【００２０】
超音波診断装置１２は、メイン超音波画像を表示するためのメイン表示スクリーン１６、制御情報を表示するためのコントロールスクリーン１８、そしてスキャナコンソール２０を具備する。本実施形態において、スキャナコンソール２０は、入力ボタン又はツマミ、コンピュータキーボード、マウス又はトラックボールなど入力装置又は複数の入力装置を具備する。別の実施形態において、コントロールスクリーン１８は、表示デバイスとユーザ入力デバイスとを兼ねるタッチスクリーンである。更なる実施形態は、コントロールスクリーン１８を具備することが出来て、表示スクリーン又はメイン表示スクリーン１６は超音波診断装置１２の部分を形成しない。また超音波診断装置１２は、ボリューメトリック画像データを格納するためのデータ格納部３０も具備する。
【００２１】
超音波診断装置１２は、画像データを含むデータの処理のための処理装置２２を具備する。処理装置２２は、撮像データセットを自動的に又は半自動的に処理するための処理リソースを提供する。処理装置２２は、中央処理ユニット（ＣＰＵ）そしてグラフィックス処理ユニット（ＧＰＵ）を具備する。
【００２２】
本実施形態において、処理装置２２は、超音波データから曲率を決定するよう構成された曲率計算部２４、超音波データをレンダリングするよう構成されたレンダリング処理部２６、そしてライティングクオリティの指標値（物差し）を取得するよう構成されたスコア計算部２８を含む。係る曲率計算部２４、レンダリング処理部２６、そしてスコア計算部２８は、ＣＰＵで、又はＧＰＵで、又はそれら二つの組み合わせで、それぞれ実行することが出来る。
【００２３】
別の実施形態において、曲率計算部２４、レンダリング処理部２６、そしてスコア計算部２８を具備する処理装置２２は、任意の適切な医用撮像装置（例えば、ＣＴスキャナ又はＭＲスキャナ）又は画像処理装置（例えば、ＰＣ又はワークステーション）の一部分である場合がある。処理装置２２は、例えば超音波データ、ＣＴデータ、ＭＲデータ、Ｘ線データ、ＰＥＴデータ又はＳＰＥＣＴデータなど、ボリューメトリック画像データの任意の適当なモダリティを処理するよう構成されていることがある。
【００２４】
本実施形態において、処理装置２２は、超音波データをリアルタイムで又はほぼリアルタイムで処理するために構成されている。その他の実施形態において、処理装置２２は、例えばデータ格納部３０に格納されたデータ、又は画像保管通信システム（ＰＡＣＳ）の一部を形成することが出来る遠隔データストア（図示せず）に格納されたデータ等、格納された超音波データを処理するよう構成されている。データ格納部３０又は遠隔データ格納は、メモリストレージの任意の適切な形を具備することが出来る。
【００２５】
本実施形態において、曲率計算部２４、レンダリング処理部２６、そしてスコア計算部２８は、実施形態の方法を実行することが実行可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、処理装置２２のＣＰＵ及び／又はＧＰＵで、それぞれ実行される。しかし、その他の実施形態で、曲率計算部２４、レンダリング処理部２６、そしてスコア計算部２８は、ソフトウェア、ハードウェア、又はそれら二つの任意の適切な組み合わせで実行することが出来る。実施形態の中には、様々な回路が一つ又は複数のＡＳＩＣｓ（特定用途向け集積回路）又はＦＰＧＡｓ（フィールド・プログラマブル・ゲート・アレイ）として、実行することが出来るものがある。
【００２６】
処理装置２２は、ハードドライブや、ＲＡＭ、ＲＯＭ、データバスを含むＰＣのその他の構成要素、様々なデバイスドライバを含むオペレーティングシステム、そしてグラフィックスカードを含むハードウェアデバイスも包括する。この様な構成要素は、明確にするため図２には図示されていない。
【００２７】
本実施形態において、単一の装置（医用撮像装置１０）は、ライティングクオリティの指標値を取得するために、医用画像データを収集し、当該医用画像データから画像をレンダリングし、当該画像を処理するよう構成されている。その他の実施形態において、異なる装置は、医用画像データを収集するために使用されるというよりも、画像をレンダリング及び／又は処理するために使用することが出来る。例えば、曲率計算部２４、レンダリング処理部２６、そしてスコア計算部２８は、超音波診断装置１２の一部でも、或いはその他の撮像装置の一部でもない処理装置（例えば、医用画像処理装置等）で実行することが出来る。
【００２８】
上で説明された通り、グローバルイルミネーション等、特により進歩したイルミネーション方法を使用する際、ユーザにとって、どのライト方向をレンダリングにおいて使用するかを決定することが困難な場合がある。図３は、顔面３４に相対的な複数のライト方向（矢印３２で示されている）を示している。異なるライト方向により、例えば図１に示された通り、異なるライト効果という結果をもたらすことが出来る。
【００２９】
図４は、ライト方向が、複数のライト方向のそれぞれについてライティングスコアを決定し、且つ最良のライティングスコアを有するライト方向を選択することによって、自動的に選択された実施形態の方法の概略を描いているフローチャートである。
【００３０】
図４のステージに話題を移し、ステージ４０で操作者は超音波プローブ４０を使用して、患者又はその他の被検体の解剖学的領域をスキャンする。係る操作者は、図４のステージ４２から５２までのステージを具備する、最適なライト方向を自動的に決定する処理を引き起こす。本実施形態におけるプロセスの契機は、操作者がボタンを押すことである。またその他の実施形態では、任意の適切な入力方法を使用することが出来る。
【００３１】
実施形態において、最適なライト方向は、超音波データが収集されている時はいつでも、リアルタイムで決定される。その他の実施形態において、ライト方向の決定モードは、トグル方式で切り換えることが出来る。
【００３２】
撮像対象は解剖学的領域を含む。解剖学的領域は、胎児、心臓、血管、膀胱、胆嚢、大腸、結腸、臓器、腫瘍、骨のうちの少なくとも一部といった、少なくとも一つの解剖学的特徴を含む。超音波診断装置１２は、超音波プローブ１４から受け取ったデータを処理し、少なくとも一つの解剖学的特徴の少なくとも一つの面の少なくとも一部分を表す、ボリューメトリック医用画像データセットを取得する。ボリューメトリックデータセットは、各ボクセルがボリューメトリックデータセットの三次元空間において関連づけられた位置と、関連付けられた輝度とを有する、ボクセルを複数具備する。
【００３３】
本実施形態において、スキャンされる解剖学的領域は、患者の子宮であり、且つボリューメトリックデータセットは、胎児の少なくとも一部の面、具体的には胎児の顔を表す。その他の実施形態において、ボリューメトリックデータセットは、任意の解剖学的特徴又は複数の特徴の、任意の面又は複数の面を表すことが出来る。ボリューメトリックデータセットは、任意の適当な撮像モダリティを使用して収集されたデータを具備することが出来る。
【００３４】
曲率計算部２４は、ボリューメトリックデータセットを受け取る。本実施形態において、曲率計算部２４は、観察方向を含むレンダリングされる予定のビューについての情報も受け取る。係るレンダリングされる予定のビューについての情報は、任意の適切な方法で取得することが出来る。例えば、レンダリングされる予定のビューについての情報は、ユーザによって提供されることがある。具体的には、操作者が適切なビューを選んだ後に、ボタンを押して、ライト方向の決定を開始することが出来る。
【００３５】
ステージ４２で、曲率計算部２４は、ボリューメトリックデータセットから曲率画像を生成する。ここで、曲率画像とは、撮像対象の少なくとも一つの面に基づく曲率に関する値を用いて生成される画像である。図５は、顔面５５の曲率画像の例を示している。顔の面についての各位置でのグレースケール値は、当該位置での曲率に関する値（例えば、後述する法線ベクトルを用いて計算される少なくとも一つの曲率値等）に依存する。
【００３６】
曲率画像５５を取得する一つの方法が、以下に説明される。その他の実施形態において、任意の方法を使用することが出来る。その任意の方法とは、曲率値が少なくとも一つの面の少なくとも一部についての複数の位置のそれぞれについて決定され、且つ係る複数の位置のそれぞれで、ライティングレベルが決定された曲率値に基づいて割り当てられる。
【００３７】
本実施形態において、曲率計算部２４は、複数のレイを観察方向から胎児の顔の面に向けて投げ掛ける。各レイは、サンプリング点の数で、ボリューメトリックデータセットをサンプルする。レイが、サンプリング点に到達した場合に、係るレイは終結する。係るサンプリング点の輝度値は、レイが画像化された構造の面（本実施形態では、胎児の顔面）に到達したことを示す。曲率計算部２４は、当該サンプリング点（レイ終結点と呼ぶことが出来る）の位置及び輝度値を記録する。レイ終結点の位置は、画像化された構造の面を表すアイソサーフェスを形成すると考えることが出来る。
【００３８】
各レイについて、曲率計算部２４は、レイ終結点で曲率値（ｋ１、ｋ２）を計算する。
【００３９】
曲率は、例えば三次元における法線ベクトルの変化など、面の法線ベクトルの変化を表すことが出来る。通常、ある地点での曲率は、二つの主平面（ｐｒｉｎｃｉｐａｌ  ｐｌａｎｅ）における曲率を具備することが可能であり、その主平面のそれぞれは、当該地点での面の勾配に垂直である。二つの主平面は、互いに直交である。面についての所定の地点での曲率は、二つの曲率の数（ｋ１、ｋ２）を具備し、各主平面に対して一つの曲率値によって表すことが出来る。
【００４０】
レイ終結点は、画像化された構造を表すアイソサーフェスと交差する点であるとして、説明することが出来る。曲率は、例えば、三次元における法線ベクトルの変化など、法線ベクトルの変化を表すことが出来る。例えば各レイ終結点について、レイ終結点の周辺の領域は、当該点でのアイソサーフェスの勾配及び第二の導関数（例えば、ヘッシアン）を取得するために、サンプルすることが可能である。この勾配及び第二の導関数は、その場合に、当該点での曲率を導出するために使用することがある。
【００４１】
各レイ終結点で、曲率計算部２４は、当該レイ終結点で決定された曲率値（ｋ１、ｋ２）に基づいて、ライティング値を当該レイ終結点に割り当てる。本実施形態において、ライティング値は、各曲率値（ｋ１、ｋ２）を個別のライティング値（例えば、グレースケール値）へとマッピングする二次元伝達関数を使用して、割り当てられる。これにより、二次元伝達関数は、曲率伝達関数と呼ぶことが出来る。
【００４２】
その他の実施形態において、例えば任意の伝達関数又はルックアップテーブル等、任意の曲率値（ｋ１、ｋ２）からライティング値へのマッピングを使用することが出来る。
【００４３】
本実施形態において、ライティング値は、ｋ１及びｋ２の両方に依存する。その他の実施形態において、ライティング値は、ｋ１及びｋ２の一方にのみ、或いはｋ１及びｋ２から導出された任意の適切なパラメータに、依存することが出来る（例えば、最大又は最小曲率値）。
【００４４】
本実施形態において、ライティング値の割り当ては、次の四つの原則に従う曲率に依存する。即ち、空洞に陰影をつけること。しわ（折り目）に陰影をつけること。隆起した特徴は、十分に明るくされていること。湾曲の少ない特徴が、結果を歪めるものであってはならないこと。
【００４５】
まず、空洞は、両方の主平面において曲率が負である、と考えられる領域とすることが出来る（ｋ１もｋ２も負である）。曲率計算部２４は、ｋ１とｋ２との両方がある一つの点において際立って負の場合に、ライティング値が当該点を非常に暗く割り当てることが出来る様にして、ライティング値を割り当てることが出来る。より際立って負の曲率値を有する空洞は、負の曲率値の小さい空洞に比べて、より暗いライティング値を割り当てることが出来る。
【００４６】
次に、しわは、一方の主平面においては負であるが、他方においては負ではない、或いは僅かに負である、領域と考えられる領域とすることが出来る。実施形態の中には、ｋ１及びｋ２の一方のみが際立って負の場合に、曲率計算部２４は、ｋ１及びｋ２の両方が際立って負の場合に比べて、暗さを抑えたライティング値を割り当てるものがある。
【００４７】
三つ目に、隆起した特徴は、両方の主平面において曲率が正の領域とすることが出来る。ｋ１及びｋ２とのうちの少なくとも一方が正の場合に、ｋ１及びｋ２のうちの一方或いは両方が負の場合に比べて、より明るいライティング値を割り当てることが出来る。
【００４８】
最後に、湾曲の少ない特徴は、曲率が際立って正でもまた負でもない領域とすることが出来る。湾曲の少ない特徴には、特に暗くもまた特に明るくもないライティング値を割り当てることが出来る。
【００４９】
この様にしてライティング値を割り当てることにより、隆起したエリアを明るく表すことが出来る一方、空洞やしわを暗く表すことが出来る。
【００５０】
図５の曲率画像５５では、例えば耳の空洞が、画像のその他の部分と比べて、暗いことが見て取れる。また、例えば鼻の周りや唇の間等のしわも暗い。曲率画像５５におけるライティングレベルは、曲率にのみ依存するものであって、ライティング効果は何ら適用されていない。
【００５１】
曲率画像５５は、図５でレンダリング画像として示されているが、図４のプロセスにおいて超音波診断装置１２により表示されないことに留意されたい。曲率画像５５の生成は、曲率計算部２４による曲率画像５５に対応するデータの決定を具備する。データは、曲率画像５５がユーザに表示されることなく、内部的に決定される。
【００５２】
二次元伝達関数（又は、その他の実施形態において、曲率値からライティング値への任意の適当なマッピング）は、所望だと考えられるライティング値を割り当てるよう構成されている。割り当てられたライティング値は、期待の又は所望の、ライティング値又はライティングレベルと呼ぶことが出来る。割り当てられたライティング値は、ライティング予測として説明することが出来る。割り当てられたライティング値は、例えば空洞やしわ等の構造的特徴の良好な視認性、高画質の画像を提供することが期待されるライティング値であろう。
【００５３】
ユーザが異なることで、曲率値からライティング値へのマッピングの好みが異なることがある。例えば、ユーザの中には、空洞及び／又はしわがより際立って強調されることを好む場合がある。異なるマッピングは、異なる表示スクリーン上でより良く見える場合がある。従って、実施形態において、ユーザが、異なる二次元伝達関数又はその他のマッピングを選択することが出来るものもある。曲率計算部２４は、個別のユーザ又はユーザのグループ好みのマッピング関数を使用することが出来る。また曲率計算部２４は、個別のユーザの好みに合うように訓練されたマッピングを使うことも出来る。その様なマッピングの作成は、図８を参考して以下で説明される。曲率計算部２４は、レンダリングされる予定のボリューメトリックデータセットに依存するマッピングを選択することが出来る。例えば、曲率計算部２４は、ボリューメトリックデータセットのモダリティに依存する、及び／又は、レンダリングされる予定の解剖学的特徴に依存する、マッピングを選択することが出来る。
【００５４】
再度図４へと戻り、ステージ４４でレンダリング処理部２６は、ボリューメトリックデータセット、及び観察方向を含むレンダリングされる予定のビューに関する情報を受け取る。レンダリング処理部２６は、第一のライト方向を選択する。第一のライト方向を決定する、任意の適切な方法を使用することが出来る。例えば、レンダリング処理部２６は、リストから第一のライト方向を選択出来る。またレンダリング処理部２６は、観察方向について所定の角度でライト方向を選択することが出来る。
【００５５】
本実施形態では、一つの仮想光源（以下「ライト」）のみが、イルミネーションの為に使用される。曲率計算部２４は、ライトについての第一のライト方向を決定するが、ライトについて任意の更なる位置のパラメータ（例えば、ｘ、ｙ、ｚ座標）は決定しない。ライトは、レンダリングされる予定の面又は複数の面から、十分遠ざかって位置すると考えることが出来るので、ｘ、ｙ、ｚ座標が結果として生じるイルミネーションに効果を与えない。
【００５６】
更なる実施形態において、曲率計算部２４は、ライトについて第一のｘ、ｙ、及び／又はｚ位置を決定することが出来る。実施形態の中には、曲率計算部２４は、例えば、輝度、色及び／又は指向性など、ライトに対する更なるパラメータを決定することが出来るものがある。
【００５７】
また更なる実施形態において、多重のライトがイルミネーションの為に使用される。曲率計算部２４は、それぞれのライトについて、任意の適切なパラメータ（例えば位置、方向、輝度、色及び／又は指向性）を決定することが出来る。
【００５８】
ステージ４６で、レンダリング処理部２６は、観察方向およびライト方向を使用してボリューメトリックデータセットから画像をレンダリングする。本実施形態では、ステージ４６でレンダリング処理部２６によってレンダリング画像は、ユーザに表示されることなく、内部でのみ使用される。レンダリング画像は、シミュレート画像と呼ぶことが出来る。
【００５９】
本実施形態において、画像はグローバルイルミネーションを使用してレンダリングされる。グローバルイルミネーションレンダリングは、光源から直接向かって来るライトによる直接イルミネーションと、別の面から散乱したライトによるイルミネーション等の間接イルミネーションとの両方を含む、ライティングモデルを使用する。その他の実施形態で、任意の適切なレンダリング方法を使用することが出来る。本実施形態において、グローバルイルミネーションレンダリングのパラメータは、グレースケール出力画像を提供するという方法で、セットアップされている。
【００６０】
レンダリングプロセスの一部として、レンダリング処理部２６は、胎児の顔の面についての複数の点のそれぞれについてのライティング値（局所面ライティングレベルと呼ぶことがある）を決定する。ライティング値は、面についてのライトエネルギーの量を表すことが出来る。本実施形態において、ライティング値が決定された点は、ステージ４２で使用されるレイ終結点と同じである。レイ終結点は、レンダリング画像のピクセルに対応する。ライティング値は、レンダリング画像のピクセルについてのグレースケール値である。シーンは、一つのアイソサーフェスのみが見えているようにして、或いは一つのアイソサーフェスが主に見えているようにして、設定することが出来る。図６は、面についてのライトエネルギーの量を描いている画像の例である。
【００６１】
光源の位置に依存して、面における空洞およびしわは、隆起したエリアが明るいことがある一方で、レンダリング画像において影が付いていることがある。しかし、レンダリング画像における暗いエリアおよび明るいエリアの位置や範囲は、望ましいと決定された（そして二次元関数で表された）ライティング値とは異なる場合がある。例えば、図６の顔面５６の画像において見える暗い影のいくつかは、図５の顔面５５の曲率画像では見られない。
【００６２】
ステージ４８で、スコア計算部２８は、ステージ４６でレンダリングされた画像についてライティングスコアを決定する。ライティングスコアは、ライティングクオリティの指標値と考えることが出来る。ライティングスコアは、曲率画像５５の所望のライティング値と同じである、レンダリング画像のライティング値の範囲を示すものである。
【００６３】
本実施形態において、スコア計算部２８は、面（本実施形態においては、レイ終結点である）についての複数の位置のそれぞれについて、ステージ４６のレンダリング画像のライティング値とステージ４２の曲率画像５５の所望のライティング値との間の差を決定する。スコア計算部２８は、ライティングスコアと呼ぶことがあるスカラー値を取得するために、その後それぞれの差を二乗し、そして係る二乗差を足し合わせる。
【００６４】
実施形態の中には、スコア計算部２８は、二乗差を足し合わせる際に、二乗差を重み付けるものがある。スコア計算部２８は、その他の点についての二乗差に比べて、より高い重み付けでいくつかの点について二乗差を重み付けることが出来る。例えば、スコア計算部２８は、特定の構造的特徴（例えば、空洞）を表す点に、より高い重み付けを割り当てることがある。またスコア計算部２８は、画像のより中心に近い点に、より高い重み付けを割り当てることがある。二乗差を重み付けることにより、いくつかの点は、その他の点に比べてライティングスコアへの寄与をより大きくすることが出来る。例えば、より重要であると考えられる点には、より高い重み付けを与える場合がある。
【００６５】
一実施形態において、スコア計算部２８は、画像の中心からユークリッド距離の関数として、重みにおいて線形減少するように、点について重みを割り当てる。
【００６６】
実施形態には、スコア計算部２８が異なる重みを表している離散した領域のセットを定義する。例えば、一実施形態におけるスコア計算部は、三つの同心の長方形を定義する。まず長方形のうちの第一の、内側の内部に落ちる点は、１００％の重みを割り当てられる。次に第一の長方形の外側であるが、長方形のうちの第二の内側に落ちる点は、５０％の重みを割り当てられる。第二の長方形の外側であるが、第三の内側に落ちる点、そして長方形の外側は、２０％の重みを割り当てられる。その他の実施形態において、異なって形成された領域及び／又は異なる重み付けを、使用することが出来る。
【００６７】
レンダリング画像と曲率画像５５との二乗差を足し合わせることで取得されたライティングスコアは、推定されたライティングクオリティを表すと考えられ得る。ある画像が曲率画像５５のライティング値と同じ値を有する場合に、係る画像は高いクオリティであると考えることが出来る。逆にある画像が曲率画像５５のライティング値よりも似通いが少ない値を有する場合に、係る画像は低いクオリティであることが考えることが出来る。
【００６８】
本実施形態において、ライティングスコアについての低い値は、高い推定画質を表す。その他の実施形態において、ライティングクオリティの異なる指標値を使用することが出来る。任意の適切な方法は、曲率画像５５とレンダリング画像とを比較するために、使用することが出来る。いくつかの実施形態において、ライティングスコアについての高い値が、高い推定画質を表す場合もある。
【００６９】
本実施形態において、曲率画像５５は、曲率値を所望のライティング値へとマッピングすることで作り出され、係る曲率画像５５は、ライト方向を使用してボリューメトリックデータをレンダリングすることにより取得されるレンダリング画像と比較される。その他の実施形態は、曲率値とライティング値との間の対応付けを決定する任意の方法を使用する場合がある。例えば、機械学習アプローチを使用することが出来る。曲率値は、ヒューリスティクス（発見的問題解決）の定式化が可能なことを基本とするメトリックを提供出来る。良いライティング方向を直接区別することに比べて、曲率値を使用せず、曲率値に基づいてアルゴリズムを訓練することの方が、大幅な時間削減になることがある。
【００７０】
ステージ５０で、曲率計算部２４は、その他にも試すべきライト方向があるかどうかを判定する。試すべき方向があるならば、図４のプロセスは、ステージ４４へと戻り、例えばリストからライト方向を選択することにより、或いは所定の角度による初期のライト方向を変更することにより、更なるライト方向を選択する。いくつかの実施形態には、ライト方向の均一な分布は、特定の順番無しで探索される場合がある。ライト方向は、例えば胎児の顔など、そのライト方向がユーザにとって視認可能な前面（正面）を指す部分に対して、制約されることがある。
【００７１】
ステージ４６において、レンダリング処理部２６は、新たなライト方向を使用して画像をレンダリングする。ステージ４８で、レンダリング処理部２６は、上で説明された通り、新たな画像についてのライティングスコアを決定する。
【００７２】
本実施形態において、ステージ４４から５０までは、ライト方向の所定数について、例えば、図３の矢印によって示されたライト方向について、繰り返される。その他の実施形態において、ステージ４４から５０までは、例えば閾値以下の決定されたライティングスコアを有する画像など、容認出来る画像が達成されるまで繰り返される。
【００７３】
ステージ５０で、曲率計算部２４は全てのライト方向を試したと決定したら、図４のプロセスは、ステージ５２へと進む。
【００７４】
ステージ５２で、スコア計算部２８は、ライト方向のそれぞれについて決定された、ライティングスコアを比較する。スコア計算部２８は、最良の（本実施形態では、最も低い）ライティングスコアを有するライト方向を選択し、且つ係る選択されたライト方向を使用してレンダリングされた画像をメイン表示スクリーン１６上に表示する。
【００７５】
更なる実施形態において、ステージ５２でスコア計算部２８は、ライティングスコアを比較し、且つ係るライティングスコアに基づいたライト方向のサブセットを選択する。例えば、スコア計算部２８は、所定のサイズのサブセットを選択することが出来る（例えば、最良ライティングスコアを有する、四つ、六つ、又は九つのライト方向）。またスコア計算部２８は、閾値に比べてより良いライティングスコアを有する、全てのライト方向を選択することも出来る。
【００７６】
スコア計算部２８は、ライト方向のサブセットのそれぞれについてのレンダリング画像を、サムネイル画像としてコントロールスクリーン１８に表示する。ユーザは、メイン表示スクリーン１６に表示される予定のサムネイル画像のうちの一つを選択することが出来る。
【００７７】
本実施形態において、レンダリング画像或いはステージ５２で表示された画像は、ステージ４６でレンダリングされた画像である。更なる実施形態において、ステージ４６で画像は、低解像でレンダリングされる。ライト方向がライティングスコアに基づいて選択される場合に、高解像画像は、ライト方向を使用してレンダリングされ、且つメイン表示スクリーン１６上に表示される。
【００７８】
もう一つの実施形態において、スコア計算部２８は、オリジナルのライト方向のうちの一つではないライト方向、例えば、画像がレンダリングされた二つのライト方向の間にあるライト方向を選択するために、ライティングスコアを使用する。スコア計算部２８は、選択されたライト方向を使用して新たな画像をレンダリングし、且つメイン表示スクリーン１６に係る新たな画像を表示する。
【００７９】
図４を参考に上記で説明された方法において、ヒューリスティクスは、面曲率をイルミネーションの所望のレベルへとマッピングするために使用される。当該ヒューリスティクスは、曲率伝達関数としてエンコード化され、且つライティングスコアへと蓄積される。係るライティングスコアを使用して、ライト方向空間は、最良のスコア及びライト方向を見つけるために、探索することが出来る。ライティングスコアは、レンダリング画像の見た目を定量化する方法を提供する。
【００８０】
図４の方法は、レンダリングのためのライト方向（又はその他のライティングパラメータ）を自動的に決定するために使用することが出来る。係るライト方向は、ユーザからの入力無しで取得することが出来る。スコア計算部２８は、最良点を記録するライト方向を選別することが出来る。その他の実施形態において、ライト方向は、半自動的に取得することも出来る。例えば、決定されたライト方向は、ユーザによって提供されたライト方向の改良版とすることが出来るし、或いはユーザがいくつかの自動的に決定されたライト方向から選択することも出来る。
【００８１】
ライト方向選択を自動化することにより、システムはより使用しやすくなる場合がある。図４の方法は、リアルタイムで高画質の画像を提供することが出来る。ユーザは、良い画像を生み出すために、ライト方向を考える必要が無くなる場合があり、或いは既に決定されたライト方向の間を選ぶことが出来る場合もある。高画質の画像を生み出すと決定されたライト方向を使用することにより、ユーザ（例えば臨床医）は、表示された画像をより良く解釈することが出来る場合がある。複雑な状況であっても、可能な限り使用しやすく、且つ高画質の画像を提供するシステムを提供することは、重要なことがある。
【００８２】
更なる実施形態において、図４の方法は、任意の適切なライティングパラメータの選択を自動化するために使用することが出来る。例えば、図４の方法は、点のライトの場合においてライトの位置を自動化するために使用することが出来る。
【００８３】
状況によっては、ライティングパラメータの選択を自動化するための方法は、解剖学的コンテキストに依存することが出来ない場合がある。例えば、解剖学的コンテキストについてのデータは、利用が出来ない場合がある。図４の方法は、スキャンのコンテキストに依存しないことがある。胎児の任意の部分の産科の撮像について、図４の方法を使用することが出来る。代わりに、例えば放射線医学用途又は心臓病に関する用途といった、三次元又は四次元撮像が用いられる、任意のその他のアプリケーションについて、図４の方法を使用することが出来る。
【００８４】
状況次第で、放射線医学用途について、そして心臓病に関する用途について、更にその他の用途について、ライティングパラメータの同じ自動化を使用することが望ましいことがある。その他の実施形態において、同じライティングスコア方法は、全てのアプリケーション及び全ての解剖学的構造について使用される。その他の実施形態において、異なるアプリケーション及び／又は解剖学的構造について、異なるライティングスコアリング法が使用される。例えば、異なるライティング値が異なるアプリケーションにおいては好まれ、或いは異なる重み付けがスコアリングにおいて使用される場合がある。異なるライティングスコアリング法は、異なるモダリティについて使用することが出来る。
【００８５】
図の４に関し上記で説明された実施形態において、一つの仮想ライトのみが配置されている（単一のライト方向が使用されるということ）。その他の実施形態において、複数のライトが配置され、図４の方法が複数のライトの可能な組み合わせを通して循環する。多重のライトが使用される場合に、多重のライトを配置することはユーザにとって特に難しいことがあるので、ライティングが自動化されるのが特に役立つことがある。更なる実施形態において、任意のライト構成を使用することが出来る。例えば、図４の方法は、一つ又はそれ以上のライトについての方向、位置、指向性、輝度、又は色に対する異なる値を通して循環することが出来る。
【００８６】
図４の方法は、グローバルイルミネーション、物理的に基づいたレンダリング、ガラスレンダリングモード又はその他の関連するレンダリングモードを使用する場合に、より良い初期画像を得るために、使用することが出来る。図４によりもたらされる解決策が一つの状況に限定されないという事実は、係る解決策が多様なアプリケーションを満たすことが出来ることを意味する。
【００８７】
実施形態の中には、処理装置２２が、手動ライト位置モードと自動ライト位置モードとを切り替えるよう構成されているものがある。例えば、超音波診断装置１２（又はその他のスキャナ）は、手動ライト位置と自動ライト位置とを切り替えるボタンを有する場合がある。手動ライト位置モードでは、ユーザが手動でのライト位置の設定を可能にする。自動ライト位置モードでは、図４の方法を使用してライト位置を自動で設定する。
【００８８】
実施形態の中には、曲率計算部２４が少なくとも一つのセグメント領域を取得するために、例えば異なる解剖学的特徴を表すセグメント領域を取得するために、医用画像データセットをセグメントするよう更に構成されているものもある。スコア計算部２８は、ライティングスコアを決定する際に、セグメンテーションを使用することが出来る。セグメンテーションは、スコアから重要でないエリアを排除するために使用することも出来る。
【００８９】
例えば、スコア計算部２８は、所望のセグメントされた領域の部分であると決定された面についての点のみの、ライティングスコアの決定を含むことが出来る。スコア計算部２８は、当該点が異なった且つ所望でない、セグメント領域の部分の場合に、当該点をライティングスコアから排除することが出来る。スコア計算部２８は、どのセグメント領域中に異なる点があるのかに依存して、重み付けを異なる点へと適用することが出来る。
【００９０】
図４の実施形態において、一つのボリューメトリックデータセットは、観察方向が異なるレンダリングにおいても同じままであるのに対し、いくつかの異なるライト方向を使用してレンダリングされる。
【００９１】
ボリューメトリックデータセットは、例えば４Ｄ収集としてリアルタイムにおいて取得されているフレームなど、一連のフレームのうちの一フレームとすることが出来る。実施形態の中には、一フレームについての図４の方法を使用することにより取得されたライト方向が、係る一連のフレームの後続のフレームについて使用されるものがある。
【００９２】
しかし、４Ｄ収集において、各フレームについてのライト方向を希望する場合もあるかもしれない。一連のフレームにおいて、観察方向及び／又は観察されている生体構造は、時間と共に変化することがある。従って、状況次第で、一フレームについて取得されたライト方向は、後続のフレームについてもはや適切でないことがあるのだ。しかし、ライト方向が先行するフレームを考慮することなく各フレームについて個別に取得されている場合に、係るライト方向は安定しないことがある。ライト方向は、フレーム間を跳ね回る場合がある。この様にして不安定な性質が、ユーザを混乱させることがある。
【００９３】
図７は、実施形態に従う方法を描いたフローチャートであり、当該方法において、不安定さを回避するために、連続性をライティングスコアへと加えることにより、個別のライト方向が一連のフレームの各フレームについて取得される。ライティングスコアは、今回のフレームにおけるライト方向と前回のフレームにおけるライト方向との角度に基づいた、変調率を含む。
【００９４】
図７のステージ６０の第一の例で、曲率計算部２４は、第一のフレームを表すボリューメトリックデータを受け取る。
【００９５】
ステージ６２で、曲率計算部２４は、図４のステージ４２を参考に上記で説明された方法を使用して、第一のフレームについての曲率画像を生成する。ステージ６４の第一の例で、レンダリング処理部２６は、第一のライト方向を選択する。ステージ６６で、スコア計算部２８は、今回のライト方向と前回のフレームについて使用されたライト方向の角度を計算する。ステージ６６の第一の例において、前回のフレームは無いので、角度はゼロに設定される。ステージ６８で、レンダリング処理部２６は、第一のライト方向を使用して第一のフレームについてのボリューメトリックデータセットをレンダリングする。
【００９６】
ステージ７０で、スコア計算部２８は、第一のライト方向で第一のフレームについてライティングスコアを決定する。係るライティングスコアは、図４のステージ４８を参考に上記で説明された通り、二乗差の和に基づくが、今回のフレームにおけるライト方向と前回のフレームにおけるライト方向との角度に基づいた変調率も含む。
【００９７】
本実施形態において、ライティングスコアは、変調率による二乗差の和を割ることにより取得される。今回のフレームにおけるライト方向と前回のフレームにおけるライト方向との間の角度差（デルタ角度）がゼロであれば、変調率は１である。変調率は、角度差が増えるにつれて減少する、関数として定義されている。例えば、変調率は指数関数とすることが出来る。角度差が高い場合、ライティングクオリティが低いことを示すライティングスコアは増える。
【００９８】
実施形態の中に、変調率は、今回のフレームにおけるライト方向と前回のフレームにおけるライト方向との角度における変化が、ライトの前回の動きと整合するかどうかに依存して異なる様に変調する、異方性の関数を具備することが出来るものがある。
【００９９】
その他の実施形態において、任意の適切な変調率を、任意の適切な方法でライティングスコアに含むことが出来る。例えば、変調率は、任意の適切なパラメータの分だけ加算される或いは乗算されることがある。
【０１００】
ステージ７０の第一の例において、前回の角度を考慮する必要がないため、変調率には１が割り当てられる。
【０１０１】
ステージ７２で、曲率計算部２４は、第一のフレームについて、更に試すべきライト方向があるかどうかを判定する。本実施形態において、曲率計算部２４は、各フレームについてのライト方向の所定数を使用するよう構成されている。当該プロセスは、ステージ６４へと戻る。レンダリング処理部２６は、新たなライト方向を選択し、当該ライト方向についての画像を生成し、且つ当該ライト方向についてのライティングスコアを（再び１に設定されている変調率と共に）蓄積する。ステージ６４から７２は、第一のフレームについての全てのライト方向について繰り返される。ライティングスコアが第一のフレームについての全てのライト方向について取得された場合に、処理はステージ７２からステージ７４へと移る。ステージ７４で、スコア計算部２８は、最良ライティングスコアを有するライト方向を選別し、且つメイン表示スクリーン１６にライト方向を有する第一のフレームのレンダリング画像を表示する。
【０１０２】
プロセスは、ステージ７６へと進む。ステージ７６で、曲率計算部２４は、シーケンスに従って更なるフレームがあるかどうかを判定する。もし、答えが「はい」の場合に、プロセスはステージ６０へと戻る。ステージ６０で、曲率計算部２４は、当該シーケンスの第二のフレームに対応する、第二のボリューメトリックデータセットを受け取る。
【０１０３】
ステージ６２で、曲率計算部２４は、第二のボリューメトリックデータセットから曲率画像を生成する。ステージ６４で、レンダリング処理部２６は、第二のフレームについての第一のライト方向を選択する。ステージ６６で、スコア計算部２８は、第二のフレームについての第一のライト方向と、第一のフレーム（ライティングスコアを使用してステージ７４で選択された）についての係る選択されたライト方向との角度を計算する。ステージ６８で、レンダリング処理部２６は、第二のボリューメトリックデータセットから画像をレンダリングする。
【０１０４】
ステージ７０で、スコア計算部２８は、第二のフレームの第一のライト方向についてのライティングスコアを決定する。係るライティングスコアは、第二のフレームにおけるライト方向と第一のフレームにおけるライト方向との角度に基づいた、変調率を含む。第一および第二のフレームにおけるライト方向が似通っている場合に、変調率は低い。逆に、第一および第二のフレームにおけるライト方向があまり似通っていない場合に、変調率は高い。変調率があまりにも高いので、ライト方向が似ている場合に比べ、似ていない場合に、ライティングスコアは悪い（本実施形態ではより高い）。
【０１０５】
本実施形態において、変調率は、すぐ前のフレームにおけるライト方向を含む。その他の実施形態において、変調率は、任意の適切な先行するフレーム数におけるライト方向を含むことがある。また変調率は、連続するフレーム間の角度差の方向が、角度差の前回の方向と対応するかどうかに依存することもある。更なる実施形態において、変調率は、例えば、方向、位置、指向性、輝度や色など、ライティングコンフィギュレーションの任意の適当なライティングパラメータを含む。
【０１０６】
ステージ７２で、試すべき更なるライト方向がある場合に、プロセスはステージ６４へと戻る。ステージ６４から７２までは、全ての所定のライト方向について繰り返される。そしてステージ７４で、スコア計算部２８は、第二のフレームについて最良スコアリングライト方向を選択する。ライティングスコアにおける変調率のために、より良いスコアは、第一のフレームのライト方向と、より似たライト方向を有するライト方向へと与えられる。スコア計算部２８は、当該第二のフレームについての最良スコアリングライト方向を有する第二のフレームのレンダリング画像を表示する。
【０１０７】
ステージ７４で、スコア計算部２８は、最良ライティングスコアを有するライト方向を選別し、且つ当該ライト方向を使用して第一のフレームのレンダリング画像をメイン表示スクリーン１６上に表示する。
【０１０８】
ステージ７６で、曲率計算部２４は、当該シーケンスにおける更なるフレームがあるかどうかを決定する。ステージ６４から７６までは、当該シーケンスにおける全てのフレームがレンダリングされるまで、繰り返される。
【０１０９】
本実施形態において、当該シーケンスにおける全てのライト方向は、自動的に決定される。その他の実施形態において、ライト方向は、ユーザ入力を考慮に入れることも出来る。
【０１１０】
図７の方法を使用することにより、ライト方向は、各フレームが十分に照らされ、且つ各フレームにおけるライティングには連続性がある様に、決定することが出来る。今回のライト方向と最後のフレームについて選ばれたライト方向との角度は、スコアにおける一時的な安定さを作り出すために使用される。ライト方向がフレーム間で動くように見える場合に、ライト方向は、滑らか且つ連続的に動くように見えることがある。当該方法は、観察視点が変更された場合に、及び／又は、観察される生体構造が変更された場合であっても、適した光を提供することが出来る。
【０１１１】
図７の方法は、同じライティングコンフィギュレーションが全てのフレームで使用された場合に比べて、より良いライティングを提供することが出来る。より良いライティングを提供することにより、ユーザが画像をより容易に解釈することが出来る。解釈の簡便性は、リアルタイムで画像が動くシーケンスを観察する場合、とりわけ重要なことがある。
【０１１２】
上記実施形態において、二次元伝達関数は、曲率値を所望のライティング値へとマッピングするために使用される。図８は、曲率値を所望のライティング値へとマッピングするための、二次元関数を決定する方法の概要を描いているフローチャートである。その他の実施形態において、図８の方法は、例えばルックアップテーブルを決定するなど、曲率値を所望のライティング値へとマッピングするための、任意のマッピング関数を決定するために使用することが出来る。
【０１１３】
図８のステージ８０で、ユーザは画像を格納するが、当該画像は、本実施形態では手動で選択されたライト方向でのグローバルイルミネーション画像である。その他の実施形態において、任意の適切なタイプのライティングを用いた任意の適切なタイプの画像を使用することが出来る。
【０１１４】
本実施形態において、ユーザによって格納された各画像は、良いライティングクオリティを有するものとして、ユーザによって選択された画像である。
【０１１５】
本実施形態は、ユーザがステージ８０で画像を格納することを説明しているが、その他の実施形態において曲率計算部２４が、ステージ８０で任意の適切なデータストアから画像についての画像データを取得することもある。曲率計算部２４は、画像についてのボリューメトリック画像データ、当該画像がレンダリングされたビュー方向及びライト方向を取得することが出来る。
【０１１６】
ステージ８２で、曲率計算部２４は、ユーザによって格納された画像から曲率画像を生成する。係る曲率画像は、画像における少なくとも一つの面について複数の点についての曲率値を具備する。係る曲率値は、任意の適切な方法、例えば図４のステージ４２を参考に上記で説明されたような方法を使用して決定することが出来る。
【０１１７】
ステージ８４で、曲率計算部２４は、ユーザにより格納されたグローバルイルミネーション画像におけるライティングコンディションを解析する。本実施形態において、曲率計算部２４は、図４のステージ４６を参照に上記で説明された方法と同様の方法を使用して、画像における複数の位置でライティング値を取得する。係る複数の位置は、画像における少なくとも一つの面についての点である。その他の実施形態において、ライティング情報を取得するための、グローバルイルミネーション画像を解析するための任意の方法を使用することが出来る。
【０１１８】
ステージ８６で、曲率計算部２４は、ライティング値を曲率値へと関連付けるために、ステージ８２で取得された曲率値と、ステージ８４で取得されたライティング値と、を使用する。曲率の各値について、曲率計算部２４は、当該曲率値に対応するライティング値を見つけ出す。例えば、特定の曲率値は、画像において何度か生じている場合があり、また曲率計算部２４は、係る特定の曲率値が生じる全ての点についてのライティング値を見つけ出すことが出来る。
【０１１９】
本実施形態において、曲率計算部２４は、ｘ、ｙ、ヒストグラムに格納されたライティングコンディション選択における曲率に関する二次元アレイヒストグラムを蓄積する。各曲率値（ｋ１、ｋ２）について、曲率計算部２４は、画像における当該各曲率値に対応するライティング値のヒストグラムを生成する。
【０１２０】
ステージ８８で、曲率計算部２４は、検討されるべき更なるＧＩ画像がある場合には、ステージ８０へと戻る。ステージ８０で、曲率計算部２４は、更なるＧＩ画像を受け取る。ステージ８２で、曲率計算部２４は、更なるＧＩ画像から曲率画像を生成する。当該生成は、更なるＧＩ画像における複数の位置についての曲率値を決定することを具備する。ステージ８４で、曲率計算部２４は、更なるＧＩ画像におけるライティングコンディションを解析する。当該解析は、更なるＧＩ画像における複数の位置についてのライティング値を決定することを具備する。ステージ８６で、曲率計算部２４は、更なるＧＩ画像からのライティング値を、ヒストグラムの二次元アレイへと付け足す。
【０１２１】
ステージ８０から８８までは、全てのＧＩ画像が解析され、且つヒストグラムの二次元アレイが全てのＧＩ画像からライティング値を含むまで、繰り返される。
【０１２２】
ステージ９０で、曲率計算部２４は、全てのＧＩ画像の蓄積されたマッピングに基づいた二次元伝達関数を生成する。本実施形態において、二次元伝達関数は、各曲率値（ｋ１、ｋ２）に対応する所望のライティング値を具備する。本実施形態において、曲率値についての所望のライティング値は、当該曲率値についてのヒストグラムに含まれたライティング値の平均を取ることにより、取得される。その他の実施形態において、所望のライティング値を取得するために、任意の適切な方法を使用することが出来る。
【０１２３】
本実施形態において、二次元伝達関数は、各曲率値についての重要度係数を具備する。重要度係数は、係る曲率値のライティングスコアに対する重要度を表す。係る重要度係数は、重要度に依存する重み付けを提供する。
【０１２４】
本実施形態において、曲率値は、ユーザによって選択された画像のライティング値の広がりが狭い場合に、当該曲率に対するライティング値についての係るユーザの好みは非常に一貫性のあることを示すので、重要だと考えられる。曲率値についての重要度係数は、当該曲率値についてのヒストグラムにおけるライティング値の標準偏差に依存して、決定することが出来る。
【０１２５】
重要度係数は、異なる画像におけるマッピングが一致しない曲率値について引下げられる。特定の曲率値についての値の広がりが広い場合に、当該曲率値には、より低い重要度係数が与えられる。エリアの中には、当該（ｋ１、ｋ２）が与えられたライティングスコアについて、均一に低い寄与を有する場合がある。
【０１２６】
図４及び／又は図７の方法を実行するために、二次元伝達関数を使用することが出来る。
【０１２７】
図８の方法は、一般的に適用可能だと考えられることが出来る二次元伝達関数を取得するために、多重の異なるユーザによって手動で選択されたライト方向でのＧＩ画像について使用することが出来る。曲率伝達関数は、特定の面曲率値でユーザ好みのライティングコンディションを探し出すことにより、ユーザの好みから生成することが出来る。
【０１２８】
代わりに、図８の方法は、当該ユーザの好みを捉える二次元伝達関数を取得するために、同じユーザにより全てが手動で選択されたライト方向を伴う、ＧＩ画像について使用することも出来る。図８の方法は、各ユーザにとって、図４及び／又は図７の方法を誂えるために使用する場合がある。
【０１２９】
ユーザが手動のライト位置を選択する場合に、アルゴリズム（例えば、二次元伝達関数）は、ユーザが何を気に入るのかを学習するように拡張することが出来る。実施形態の中には、曲率計算部２４は、所定のユーザによって手動で選択された全てライト方向（及び／又はその他のライトコンフィギュレーション）を記録し、且つ二次元伝達関数及び／又は当該所定のユーザに合わせて作られたライティングスコアリング法をやがて作り出すものがある。実施形態において、曲率計算部２４は、多重のライト方向で示された際にユーザの行った選択を記録し、且つ二次元伝達関数及び／又は当該ユーザに合わせて作られたライティングスコアリング法を作り出すために、該当する選択を使用する。
【０１３０】
実施形態の中に、ユーザは特に、新たな伝達関数を作り出すために選び、且つその目的のために曲率計算部２４に対し画像を提供するものがある。ユーザは、当該ユーザにとって好ましいライティングコンディションを最も良く表すとユーザ自身が考える画像を選択することが出来る。その他の実施形態において、曲率計算部２４は、ユーザにより選択された画像を受動的に捉え、且つユーザにより特に要求されている様なアクションを取ること無く、曲率伝達関数を取得する、或いは、改善するために、当該選択されている画像を受動的に使用することが出来る。
【０１３１】
図８の方法は、曲率伝達関数を生成するための、ヒストグラム法（アプローチ）を使用する。その他の実施形態において、曲率伝達関数の生成は、ヒストグラムアプローチの代わりに、又は、追加として機械学習を使用することがある。係る機械学習は、ユーザによって選択された画像に対して、及び／又は、ユーザが手動で選択したライティングコンフィギュレーション（例えば、一つ又は複数のライティング方向）について画像に対して、訓練することが出来る。
【０１３２】
上記実施形態のいくつかは、胎児について、特に胎児の顔に関して説明された。しかし、任意の３次元又は４次元撮像アプリケーションについても使用することが出来るということが、上記で説明された方法の特徴である。
【０１３３】
実施形態の中には、図４、図７及び／又は図８の方法は、心臓の撮像で使用される。心臓の撮像において、弁膜と背景との可能な最大コントラストを有することが望まれる場合がある。２次元伝達関数（又はその他のマッピング関数）は、その様な最大コントラストを支持するよう構成することが出来る。状況次第で、ライト方向は、心拍と共に動くことがある。図７の方法は、動きの連続性を提供するために、使用することがある。
【０１３４】
また実施形態の中には、図４、図７及び／又は図８の方法は、例えば骨粗鬆症のＣＴ撮像等、骨粗鬆症の撮像に使用されるものがある。骨粗鬆症の撮像において、骨のくぼみを見ることが出来るということが重要な場合がある。二次元伝達関数（又はその他のマッピング関数）は、くぼみを最大に可視化するよう構成することが出来る。
【０１３５】
また実施形態の中には、図４、図７及び／又は図８の方法は、例えば、膀胱、胆石、又はその他の空洞の撮像など、産科でない超音波撮像において使用されるものがある。
【０１３６】
加えて実施形態の中には、図４、図７及び／又は図８の方法は、ＣＴ大腸内視鏡検査の撮像又は内視鏡検査の撮像において使用される。この様な撮像において、ライトはカメラ位置に又は近くに、置かれていることがある。
【０１３７】
更に実施形態の中には、図４、図７及び／又は図８の方法は、例えば刺し傷を見つけ出すなど、デジタル的な科学捜査において使用されるものがある。
【０１３８】
上記で説明された方法は、任意の適切なモダリティ及び／又は解剖学的構造について使用することが出来る。また上記で説明された方法は、実施形態の中にはグローバルイルミネーションを具備しないものもあるが、任意の適当な三次元又は四次元レンダリング法について使用することが出来る。
【０１３９】
上記で説明された方法は、例えば通常の投影、魚眼投影又は展開投影等、任意の適切な投影でレンダリングされた画像について、使用することが出来る。曲率は、ビュー投影に依存しない場合があり、これにより同じ曲率に基づいたライティング法が異なる投影についての使用を許可することがある。
【０１４０】
特定の実施形態は、グローバルイルミネーション法、ライト方向／位置、そしてライティングクオリティスコアを具備する医用撮像方法を提供する。当該方法において、ライティングスコアは、面曲率を予測されるイルミネーションのレベルへとマッピングすることにより作り出され、且つ所定のライト方向についてのシミュレートされたイルミネーションに対して比較される。
【０１４１】
多重ライト方向／位置は、最良スコアがあるライト方向／位置を見つけ出すために、テストすることがある。
【０１４２】
ライト方向選択は、一時的なスキャンの各フレームについて自動化することが出来る。今回のライト位置と最後のフレームについて選ばれたライト位置と角度は、スコアにおける一時的な安定さを作り出すために、使用することが出来る。
【０１４３】
セグメンテーションは、スコアから重要でないエリアを排除するために使用することがある。
【０１４４】
曲率伝達関数は、ユーザが如何に捉えるのに向いている画像を手動で選択するかについて解析することにより、ユーザの好みから蓄積することが出来る。
【０１４５】
本明細書では、特定の回路について説明してきた。代わりの実施形態では、これらの回路のうち１つ又は複数の機能は単一の処理リソース又はその他の構成要素によって提供可能であり、或いは、単一の回路によって提供される機能は、組み合わされた２つ以上の処理リソース又はその他の構成要素によって提供可能である。単一の回路への言及は、その回路の機能を提供する複数の構成要素が互いに遠隔であるかどうかに関わらず、その様な構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。
【０１４６】
特定の実施形態について説明してきたが、これらの実施形態は、例として提示したにすぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明する新規な方法およびシステムはさまざまなその他の形態で実施することができる。そのうえ、本明細書で説明する方法およびシステムの形態におけるさまざまな省略、置き換え、および変更は、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲およびその等価物は、本発明の範囲に含まれるこのような形態又は変形形態を包含することを意図するものである。
【符号の説明】
【０１４７】
１２…超音波診断装置
１４…超音波プローブ
１６…メイン表示スクリーン
１８…コントロールスクリーン
２０…スキャナコンソール
２２…処理装置
２４…曲率計算部
２６…レンダリング処理部
２８…スコア計算部
３０…データ格納部
【図１】
2019005574.tif 000003
【図２】
2019005574.tif 000004
【図３】
2019005574.tif 000005
【図４】
2019005574.tif 000006
【図５】
2019005574.tif 000007
【図６】
2019005574.tif 000008
【図７】
2019005574.tif 000009
【図８】
2019005574.tif 000010