(57)【要約】  本開示は、ユーザが、３次元（３Ｄ）データセットを視覚化し（例えば、ボリュームレンダリングを介して）、レンダリングされたボリュームを操作してスライス面を選択し、選択されたスライス面において、深度色付けされた背景情報によって改良された診断画像を生成することを可能にするユーザフェースを提供する医用撮像および／または視覚化システムおよび方法を開示する。背景画像の深度色付けは、好ましくはボリューム内の構造物の深さに基づいて、２つの異なる態様で色付けされたボリュームレンダリングをブレンドし、その後、背景画像を前景診断画像と融合させて改良された診断画像を生成することによって実現される。
2021520870.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ医用撮像データのソースに接続された入力デバイスと、
ディスプレイに接続可能な出力デバイスと、
前記入力デバイスおよび前記出力デバイスに接続されたプロセッサと
を備える、医用画像データ視覚化システムであって、
前記プロセッサは、
撮像される生体組織のボリュームを表す３Ｄデータセットを受け取り、
選択されたスライス面で前記ボリュームをクロップし、
前記選択されたスライス面における身体構造の２Ｄ画像を含む前景画像を生成し、
同じ視点から、前記クロップされたボリュームの第１のカラーボリュームレンダリングおよび第２のカラーボリュームレンダリングを生成し、ここで、前記第１のカラーボリュームレンダリングおよび前記第２のカラーボリュームレンダリングはそれぞれ、互いに異なる第１のカラーマップおよび第２のカラーマップに関連付けられ、
前記第１のカラーボリュームレンダリングと前記第２のカラーボリュームレンダリングとをブレンドして背景画像を生成し、
前記前景画像と前記背景画像とを結合して合成医用画像を生成する、
医用画像データ視覚化システム。
【請求項２】
前記プロセッサは、第１のシングルチャネル画像および第２のシングルチャネル画像を生成し、２Ｄカラーマップを使用して、前記第１のシングルチャネル画像および前記第２のシングルチャネル画像のピクセル値を、前記第２のカラーボリュームレンダリングに対応するマルチチャネル画像にマッピングする、請求項１に記載の医用画像データ視覚化システム。
【請求項３】
前記プロセッサは、前記第１のシングルチャネル画像内の各ピクセルについて、視平面と、前記クロップされたボリュームの最初に遭遇される解剖学的構造との間の距離を推定し、推定された前記距離をそれぞれのピクセル値として符号化する、請求項２に記載の医用画像データ視覚化システム。
【請求項４】
前記プロセッサは、前記第１のカラーボリュームレンダリングおよび前記第２のカラーボリュームレンダリングの対応するピクセルの各ペアのピクセル値を、所与のピクセルペアに関連付けられた前記推定された距離の関数としてブレンドする、請求項３に記載の医用画像データ視覚化システム。
【請求項５】
前記プロセッサは、前記第１のカラーボリュームレンダリングおよび前記第２のカラーボリュームレンダリングをブレンドする前に、前記推定された距離を０から１の間の値の範囲に正規化する、請求項４に記載の医用画像データ視覚化システム。
【請求項６】
前記プロセッサは、視平面と、撮像される解剖学的構造の最前部との間の距離に対応する第１の深度値、および、前記視平面と、前記クロップされたボリュームの最後部との間の距離に対応する第２の深度値を決定し、前記第１の深度値および前記第２の深度値に少なくとも部分的に基づくブレンド関数を使用して、前記第１のカラーボリュームレンダリングと前記第２のカラーボリュームレンダリングとをブレンドする、請求項１に記載の医用画像データ視覚化システム。
【請求項７】
前記プロセッサは、前記前景画像および前記背景画像の互いに対応するピクセル値のピクセル単位での合算を使用して、前記前景画像および前記背景画像を結合する、請求項６に記載の医用画像データ視覚化システム。
【請求項８】
前記プロセッサは、前記合成医用画像内の背景情報および前景情報の量を調整するためのユーザ入力を受け取り、前記ユーザ入力に基づいて前記ピクセル単位での合算をスケーリングする、請求項７に記載の医用画像データ視覚化システム。
【請求項９】
前記入力デバイス、前記出力デバイス、および前記プロセッサは、前記３Ｄデータセットを取得する超音波スキャナの構成要素である、請求項１に記載の医用画像データ視覚化システム。
【請求項１０】
３Ｄ医用画像データを視覚化する方法であって、前記方法は、
撮像される生体組織のボリュームを表す３Ｄデータセットのボリュームレンダリングを表示するステップと、
選択されたスライス面の指標に応じて前記ボリュームをクロップするステップと、
前記選択されたスライス面における２Ｄスライス画像を含む前景画像を生成するステップと、
第１のカラーマップに基づいて、前記クロップされたボリュームの第１のカラーボリュームレンダリングを生成するステップと、
第２の異なるカラーマップに基づいて、前記クロップされたボリュームの第２のカラーボリュームレンダリングを生成するステップと、
前記第１のカラーボリュームレンダリングおよび前記第２のカラーボリュームレンダリングをブレンドして背景画像を生成するステップであって、前記ブレンドすることは、前記クロップされたボリューム内の構造物の推定深度に少なくとも部分的に基づく、ステップと、
前記前景画像と前記背景画像とを結合して合成医用画像を生成するステップとを含む、方法。
【請求項１１】
前記第１のカラーボリュームレンダリングを生成するステップは、生体組織を通る光伝播の物理モデルを前記クロップされたボリュームに適用して、前記モデルからの出力値を第１のマルチチャネル画像内に符号化するステップを含む、請求項１０に記載の方法。
【請求項１２】
前記第２のカラーボリュームレンダリングを生成するステップは、
前記クロップされたボリューム内の構造物の前記推定深度を符号化するシングルチャネル画像を生成するステップと、
前記クロップされたボリュームのグレースケールボリュームレンダリングを表す第２のシングルチャネル画像を生成するステップと、
２Ｄカラーマップを使用して、前記第１のシングルチャネル画像および前記第２のシングルチャネル画像のピクセル値を、前記第２のカラーボリュームレンダリングを表す第２のマルチチャネル画像にマッピングするステップとを含む、請求項１１に記載の方法。
【請求項１３】
前記第２のシングルチャネル画像を生成するステップは、前記第１のカラーボリュームレンダリングの複数のチャネルのうちの１つを前記第２のシングルチャネル画像として保存するステップを含む、請求項１２に記載の方法。
【請求項１４】
前記３Ｄデータセットのボリュームレンダリングを表示するステップは、前記ボリュームを仮想３Ｄ空間内で前記視平面に対して配置するステップを含み、前記方法はさらに、
前記視平面と、撮像される解剖学的構造の最前部との間の距離に対応する第１の深度値を決定するステップと、
前記視平面と、前記クロップされたボリュームの最後部との間の距離に対応する第２の深度値を決定するステップと、
前記第１の深度値および前記第２の深度値に基づくブレンド関数を使用して前記第１のカラーボリュームレンダリングと前記第２のカラーボリュームレンダリングとをブレンドするステップとを含む、請求項１０に記載の方法。
【請求項１５】
前記前景画像と前記背景画像とを結合するステップは、前記前景画像および前記背景画像のそれぞれのピクセル値を足し合わせるステップを含む、請求項１４に記載の方法。
【請求項１６】
前記前景画像および前記背景画像のそれぞれのピクセル値を足し合わせる際にスケーリング係数を適用するステップをさらに含む、請求項１５に記載の方法。
【請求項１７】
前記方法はさらに、前記合成医用画像内の背景情報および前景情報の量を調整するためのユーザ入力を受け取り、前記ユーザ入力に基づいて前記スケーリング係数を調整するステップを含む、請求項１６に記載の方法。
【請求項１８】
前記方法はさらに、超音波スキャナを使用して医用撮像データの前記３Ｄデータセットを取得するステップを含み、前記前景画像および前記背景画像を生成するステップは、前記超音波スキャナの１つまたは複数のプロセッサによって実行される、請求項１０に記載の方法。
【請求項１９】
前記３Ｄデータセットは超音波撮像データを含み、前記前景画像を生成するステップは、ユーザ入力に応答して選択されたスライス面におけるＭＰＲ画像を生成するステップを含む、請求項１８に記載の方法。
【請求項２０】
前記前景画像を生成するステップは、前記スライス面を含む複数の隣接する撮像平面からの撮像データを平均するステップを含む、請求項１０に記載の方法。
【請求項２１】
実行されると、医用撮像システムの１つまたは複数のプロセッサに請求項１０から２０のいずれか一項に記載の方法を実行させる実行可能命令を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［００１］本開示は一般的に、超音波撮像および／または分析システム等の医用撮像システム、ならびに３Ｄ医用撮像データの取得および／または表示のための方法に関する。
【背景技術】
【０００２】
［００２］２Ｄ画面に３Ｄボリュームを表示することは、通常、２つの主要な視覚化技術群、すなわち、２Ｄ画像（例えば、スライスまたはスラブ）を表示するための多断面再構成（Ｍｕｌｔｉ−Ｐｌａｎａｒ  Ｒｅｆｏｒｍａｔｔｉｎｇ：ＭＰＲ）等を介するスライシング、および、例えばスプラッティング、最大値投影法（Ｍａｘｉｍｕｍ  Ｉｎｔｅｎｓｉｔｙ  Ｐｒｏｊｅｃｔｉｏｎ）、またはその他の既知のサーフェス／ボリュームレンダリング技術等を介するボリュームレンダリングのうちの何れかを含む。
【０００３】
［００３］ボリュームレンダリングに関して、これまでに開発された技術では、最初に３Ｄボリュームを別々の量子化されたサーフェスのセットに変換する必要があった（例えば、マーチングキューブアルゴリズム）。より最近開発された別の技術では、３Ｄオブジェクト（すなわち、３Ｄ数値行列）から直接、３Ｄ状の画像を作成することができる。この技術は、目／網膜が視覚世界をどのように見るかの光学物理モデルを利用する。このモデルは、視覚化される３Ｄオブジェクトに対する観察者の位置に依存する態様で、（画像平面の単一のピクセルに対応する）レイ・キャスト・ライン（ｒａｙ  ｃａｓｔ  ｌｉｎｅ）がボリュームと交差する方法を表す。したがって、ピクセルに割り当てられる値は、レイ・キャスト・ライン沿いに複数の内挿されたサンプルを統合する合成オペレーション（ｃｏｍｐｏｓｉｔｉｎｇ  ｏｐｅｒａｔｉｏｎ）を含む。このような方法は、現在、ほぼ全ての３Ｄ医用撮像の応用において使用されている。
【０００４】
［００４］ボリュームレンダリングは、臨床医または患者の利益のためにコンテキスト（例えば、周囲の解剖学的構造）の視覚化を強化し得るが、診断決定は通常、２Ｄスライス画像から取得される。なぜなら、スライス画像は、関連性が高く、かつより正確な診断情報を提供することができるからである。２Ｄ画像および３Ｄ画像からの情報を組み合わせるための技術が開発されているが（例えば、並べての表示、または単純なオーバーレイ）、３Ｄ超音波撮像システムの設計者および製造業者はその改善を追求し続けている。
【発明の概要】
【０００５】
［００５］一部の例によれば、医用撮像データ視覚化システムは、３Ｄ医用撮像データのソースに接続された入力デバイスと、（例えば、ユーザに画像提供するために）ディスプレイに接続可能な出力デバイスと、入力デバイスおよび出力デバイスに接続されたプロセッサとを備え得る。プロセッサは、３Ｄ医用画像データのソースから、撮像された生体組織のボリュームを表す３Ｄデータセットを受け取るようにプログラムされ得る。プロセッサはさらに、視平面に対して３Ｄデータセットを配置し、ボリュームを通るスライス面において２Ｄ画像を生成し、選択されたスライス面でボリュームをクロップ（トリミング）し、同じ視点から、クロップされたボリュームの第１のカラーボリュームレンダリングおよび第２のカラーボリュームレンダリングを生成するようにプログラムされ得る。第１および第２のカラーボリュームレンダリングは、それぞれ、第１および第２の異なるカラーマップに関連付けられ得る。プロセッサはさらに、第１のカラーボリュームレンダリングと第２のカラーボリュームレンダリングとをブレンドして背景画像を生成し、（前景情報を提供する）２Ｄ画像を背景画像と結合して合成医用画像を生成するようにプログラムされ得る。一部の実施形態では、本明細書に記載の医用撮像データ視覚化システムは超音波スキャナに組み込まれる。例えば、入力デバイスは、（例えば、スキャナのプローブによって検出された超音波エコーに応答して）３Ｄ医用撮像データを生成する超音波スキャナの信号プロセッサの出力にプロセッサを接続するための任意の適切なハードウェアコンポーネント（例えば、入出力コネクタ、データバス、および／または他の回路構成）を含み得る。出力デバイスは、プロセッサを表示デバイス（例えば、超音波スキャナのメインディスプレイまたはタッチスクリーンディスプレイ）に接続するための任意の適切なハードウェアコンポーネント（例えば、入出力コネクタ、データバス、および／または他の回路構成）を含み得る。一部の実施形態では、ボリュームレンダリングを生成し、前景画像データと背景画像データをブレンドする例示的なシステムのプロセッサは、超音波スキャナのプロセッサ（例えば、ＣＰＵまたはＧＰＵ等）であり得る。他の実施形態では、プロセッサは、画像データを取得せず、過去に取得されたデータを表示する別個のコンピューティングシステムの一部であり得る。一部の実施形態では、視覚化システムは、事前に取得された３Ｄ医用撮像データを保存する記憶装置（例えば、ＰＡＣＳサーバ）に（入力デバイスを介して）接続される視覚化ワークステーション内に実装され得る。
【０００６】
［００６］本開示に係るシステムのプロセッサは、合成医用画像を生成する前に、複数の中間画像を生成して保存するように構成され得る。例えば、プロセッサは、第１のシングルチャネル（すなわち、グレースケール）画像を生成して、この第１のシングルチャネル画像をメモリに結合し、さらに第２のシングルチャネル（すなわち、グレースケール）画像を生成して、この第２のシングルチャネル画像をメモリに結合するように構成され得る。第１および第２のシングルチャネル画像は、それぞれ、グレースケール深度マップ画像およびグレースケール輝度画像を含み得る。深度マップ画像は、画像内の各ピクセルについて、当該ピクセルにおける３Ｄデータセット内の最初に遭遇される非ゼロ値までの深度（または視平面からの距離）を推定することによって生成され得る。推定度は、当該ピクセルのグレースケール値として符号化および保存され得る。輝度画像は、光が、３Ｄデータセットによって表される身体構造物から反射するかについての物理モデルを適用し、この情報（例えば、各ピクセルでの推定反射光）を各ピクセルのグレースケール値として符号化および記憶することによって生成され得る。輝度画像出力は、モデルによって使用される視点および仮想光源の位置に依存し、これらはともに、プロセスの開始時に特定の位置にデフォルト設定されてもよいし、かつ／または視覚化プロセス中にユーザによって設定可能であってもよい。次に、プロセッサは、事前に保存されていた２Ｄカラーマップ（例えば、深度対輝度カラーマップ）を使用して、２つのシングルチャネル（グレースケール）画像からのピクセル値をマルチチャネル画像にマッピングする。例えば、深度マップ画像および輝度画像内の所与のピクセルでのグレースケール値の各ペアに対応するカラー値が、当該ピクセルの新たなマルチチャネルピクセル値として符号化される。このマルチチャネル画像は、３Ｄデータセットの第１のカラーボリュームレンダリングを表し、ブレンドアルゴリズムによってアクセスされるまで、メモリに保存される。
【０００７】
［００７］さらに、プロセッサは、グレースケールの深度画像および輝度画像から生成されたカラーレンダリングとは異なる色付けスキーム（すなわち、異なるカラーマップ）を使用して、第２のカラーボリュームレンダリングを生成する。第２のカラーレンダリングは、光が、３Ｄデータセットによって表される身体構造とどのように交わって反射するかの同じまたは類似の物理モデルを適用することによって生成され得るが、この場合、各ピクセルについて、モデルからの結果がマルチチャネル（例えば、ＲＧＢまたは他のカラー符号化スキーム）出力に直接符号化される。第２のカラーボリュームレンダリングも同様に、ブレンドアルゴリズムによってアクセスされるまでメモリに保存される。
【０００８】
［００８］ブレンドプロセスは、第１および第２のカラーボリュームレンダリングからのピクセルデータを結合することを含む。一実施形態では、プロセッサは、第１のカラーボリュームレンダリングおよび第２のカラーボリュームレンダリングの対応するピクセルの各ペアのカラーピクセル値を、所与のピクセルペアに関連付けられた推定距離の関数としてブレンドする。この実施形態では、プロセッサは、第１および第２のカラーボリュームレンダリングからのピクセルデータと、グレースケール深度マップ画像からのピクセルデータとを入力として受け取る。プロセッサは、ブレンド関数、例えば凸ブレンド関数を入力データに適用し、各ピクセルの新たなマルチチャネル値を出力する。ブレンドされたマルチチャネル画像データ（本明細書では背景画像とも呼ばれ得る）は、前景画像データとの融合のために取り出されるまでメモリ内に保存される。一部の実施形態では、ブレンドの前に深度値が正規化される（例えば、０〜１の正規化後範囲内の無次元数にマッピングされる）。一部の実施形態では、プロセッサは、正規化後範囲の最小値（Ｚ＝０）および最大値（Ｚ＝１）に対応する最小値（ｄｍｉｎ）および最大値（ｄｍａｘ）を自動的に定める。正規化は、ボリュームが再配置または再クロップされるたびに範囲が更新されるという点で動的であり得る。
【０００９】
［００９］プロセッサは、ブレンドされたマルチチャネル画像データ（または背景画像データ）を２Ｄスライス画像データ（または前景画像データ）と融合することによって、結合または合成医用画像を生成するように構成される。前景画像は、２Ｄ診断画像（例えば、グレースケールＢモード画像）を生成するための任意の既知の技術を使用して生成され得る。例えば、融合アルゴリズムは、入力として、グレースケールＢモード画像（ただし、ｃｏｌｏｒｆｌｏｗまたはｃｏｌｏｒ  ｐｏｗｅｒ  ａｎｇｉｏ画像などの非グレースケール画像も使用され得る）およびブレンドされたマルチチャネル画像を受け取り、画像データを足し合わせることで画像データを結合し得る。一部の実施形態では、足し合わせの際に入力値の一方または両方にスケーリング係数が適用され得る。例えば、スケーリング係数は合算中に適用され、これにより、特に（例えばスライス面の手前に光源が配置されている）前方照明の条件下で、改善された結果が得られる可能性がある。融合プロセスの出力は、（例えば、さもなければ診断画像内の画像平面から外れていたピクセル位置における）背景としてのコンテキスト的レンダリング情報によって強化された（例えば、スライス面における）前景における診断画像情報を含む結合されたカラー画像である。一部の実施形態では、プロセッサは、合成画像において提示される前景情報および背景情報の量を調整するためのユーザ入力を受け取るように構成され得る。例えば、融合アルゴリズムは、融合アルゴリズムによって適用される１つまたは複数のスケーリング係数を調整し得るユーザ入力に応じて適応可能であり得る。
【００１０】
［０１０］３Ｄ医用画像データを視覚化する方法は、撮像される生体組織のボリュームを表す３Ｄデータセットのボリュームレンダリングを表示するステップと、選択されたスライス面の指標に応答してボリュームをクロップするステップと、選択されたスライス面における２Ｄスライス画像を含む前景画像を生成するステップとを含み得る。方法はさらに、第１のカラーマップを使用して、クロップされたボリュームの第１のカラーボリュームレンダリングを生成し、第２のカラーマップを使用して、クロップされたボリュームの第２のカラーボリュームレンダリングを生成するステップを含み得る。方法はさらに、第１のカラーボリュームレンダリングおよび第２のカラーボリュームレンダリングをブレンドして背景画像を生成するステップであって、ブレンドすることは、クロップされたボリューム内の構造物の推定深度に少なくとも部分的に基づく、ステップと、前景画像と背景画像とを結合して合成医用画像を生成するステップとを含み得る。
【００１１】
［０１１］さらに、本明細書に記載される３Ｄデータセットをレンダリングするための技術のうちのいずれも、非一時的コンピュータ可読媒体上に格納されたプロセッサ実行可能命令として具現化され、実行可能命令は、実行されると、非一時的コンピュータ可読媒体内に具現化されたプロセスを実行するように、医用視覚化および／または撮像システムのプロセッサをプログラムし得る。
【図面の簡単な説明】
【００１２】
【図１】［０１２］図１は、本開示の原理に従って生成された合成医用画像を示す。
【図２】［０１３］図２は、本開示の原理に係る医用画像データ視覚化システムのブロック図である。
【図３】［０１４］図３は、本開示の一部の実施形態に係る撮像システムの機能ブロック図である。
【図４Ａ−４Ｂ】［０１５］図４Ａおよび図４Ｂは、本開示の原理に係る仮想３Ｄ空間内でのボリュームレンダリングおよびクロップの概念を示す。
【図５Ａ−５Ｂ】［０１６］図５Ａおよび図５Ｂは、本開示の一部の実施形態に係る色付けされたボリュームレンダリングを生成するためのプロセッサの機能ブロック図である。
【図６Ａ】［０１７］図６Ａは、本開示の一部の実施形態に係るプロセッサのブレンドブロックの機能図である。
【図６Ｂ】［０１８］図６Ｂは、本開示の原理に係るジオメトリもしくはコンテンツに基づくブレンド機能、またはハイブリッド定義のブレンド機能の概念を示す。
【図７Ａ−７Ｂ】［０１９］図７Ａおよび図７Ｂは、本開示の一部の実施形態に係るプロセッサの融合ブロックの機能ブロック図である。
【図８】［０２０］図８は、本開示の一部の実施形態に係るプロセッサの融合動作を制御するためのユーザコントロールの例を示す。
【図９】［０２１］図９は、本開示の一部の実施形態に係る超音波撮像システムのブロック図である。
【図１０】［０２２］図１０は、本開示の一部の実施形態に係るプロセスのフロー図である。
【発明を実施するための形態】
【００１３】
［０２３］特定の例示的な実施形態に関する以下の説明は、単なる例示に過ぎず、本発明または本発明の適用もしくは用途を限定するものではない。本発明に係るシステムおよび方法の実施形態に関する以下の詳細な説明では、本明細書の一部を形成する添付図面が参照され、添付図面には、説明されるシステムおよび方法が実施され得る具体的実施形態が例示されている。これらの実施形態は、当業者が本開示のシステムおよび方法を実施することを可能にするのに十分に詳細に記載されており、他の実施形態も利用可能であること、および本発明に係るシステムの趣旨および範囲を逸脱することなく構造的および論理的変更がなされ得ることを理解されたい。さらに、明瞭さを目的として、当業者には明らかであると考えられる場合、本発明に係るシステムの説明を不明瞭にしないために、特定の特徴の詳細な説明は省かれる。したがって、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本発明に係るシステムの範囲は添付の特許請求の範囲によってのみ規定される。
【００１４】
［０２４］３Ｄボリューム（または３Ｄデータセット）の画像を２Ｄ画面上に表示することは、スライシング（例えば、ボリュームを通る指定されたスライス平面において１つまたは複数のＭＰＲビューを生成すること）、またはボリュームのレンダリングを表示すること（ボリュームレンダリングとも呼ばれる）を含む。３Ｄボリュームから抽出された１つまたは複数の２Ｄスライス画像は、組織テクスチャの細部や微妙な変化を示し得る。これらを３Ｄレンダリングされた画像で提供するのは難しい可能性がある。なぜなら、３Ｄレンダリングされた画像は、通常、スライス平面にのみ関連付けられた画像データから生成されるか、または、少数の隣接する平面に関連付けられた画像データを平均することによって生成されるからである。したがって、スライス画像は深度情報を提供しない。一方、従来のボリュームレンダリングは深度情報を提供するため、解剖学的構造の３Ｄ形状の視覚化及び理解を可能にすることができる。ただし、診断的測定のためには十分に詳細または正確ではないおそれがある。本開示の原理によれば、３Ｄレンダリングされた背景および２Ｄ診断前景画像を含む単一の画像上で、複数の異なる深さにおいて複数の構造を示す３Ｄ視覚化モードのためのシステムおよび方法が説明される。一部の例では、本明細書に記載の技術は、診断画像に解剖学的コンテキストを提供するために、人工的深度色付けおよびＭＰＲフュージョンで写実的レンダリングを強化することを含み得る。
【００１５】
［０２５］本発明の原理によれば、医用視覚化および／または撮像システム（例えば、超音波システム）は、深度色付けされた写実的コンテキストを有する診断画像（例えば、平面再構成（ＭＰＲ）画像）を生成するように構成される。本明細書において、この画像は強化ＭＰＲ画像とも呼ばれ得る。図１は、本開示の原理に従って超音波撮像データの３Ｄデータセットから生成された複合超音波画像１１０の例を示す。本明細書では、超音波撮像および超音波に基づく画像データを参照して実施例を説明するが、本開示の原理は他の撮像モダリティ（例えば、磁気共鳴（ＭＲ）、コンピュータ断層撮影（ＣＴ）、ポジトロン放出断層撮影（ＰＥＴ）等）にも等しく適用可能であることが理解されよう。すなわち、背景レンダリングされたデータとともに前景診断情報を含む強化医用画像は、事実上、あらゆる医用撮像モダリティを使用して取得された任意の３Ｄ医用画像データセットから生成され得る。図１の例の画像１１０は、前景または診断画像部分１２６および背景画像部分１２４を含む。前景画像部分１２６は診断画像データ１１６のみを、またはこれを主に含み、一方、背景画像部分１２８は背景（例えば、ボリュームレンダリングされた）画像データ１１４のみを、またはこれを主に含み得る。本開示の原理によれば、前景（１１６）および背景（１１４）画像が生成され、（ブロック１２８に示されるように）最終的な結合画像１１０に融合され得る。図示の例では、前景画像は、３Ｄ超音波データセットから２Ｄ  ＭＰＲスライス画像を生成するための既知の技術に従って生成されたＭＰＲ画像１１６である（ただし、他の例では、異なるソースデータに対して他の技術が使用され得る）。背景画像１１４は（画像１１６の選択されたＭＰＲ平面においてクロップされた）３Ｄ超音波データセットのボリュームレンダリングであり、本明細書に記載の技術に従って生成される。したがって、結合画像１１０は、診断画像情報を深度色付けされた写実的コンテキストと組み合わせることによって強化診断画像を提供し得る。
【００１６】
［０２６］図２は、本発明の原理に係るシステム２００を示す。システム２００は、結合または複合医用画像２０４（例えば、図１の超音波画像１１０）を生成するように構成されたデータプロセッサ２２０を含む。システム２００は、プロセッサ２２０と、メモリ２２５と、プロセッサ２２０およびメモリ２２５を３Ｄ医用画像データ２１０のソースに結合するように構成された入力デバイス２２２と、プロセッサ２２０およびメモリ２２５をユーザインターフェース２３０（例えば、ディスプレイ）および／または（例えば、ユーザに提示するために、または保存するために）複合医用画像を出力するために記憶装置に結合するように構成された出力デバイス２２４とを含む。一部の実施形態では、入力デバイスおよび出力デバイスは、プロセッサ２２０を、医用画像データのソースおよびディスプレイにそれぞれ接続するための任意の種類の適切なコンピュータハードウェアインターフェース（例えば、パラレル、シリアル、ＵＳＢ、またはシステムのデータバスに接続されたその他のタイプのポートまたはコネクタ）を含み得る。一部の実施形態では、入力デバイスおよび出力デバイスは、例えば周辺機器（例えば、外部メモリ、ディスプレイ等）に接続するための、任意の適切な入力／出力デバイスを使用して実装され得る。一部の実施形態では、入力デバイスは、プロセッサ２２０に接続された少なくとも１つのデータバスであり得るか、またはそのようなデータバスを含み得る。データバスはさらに、医用画像データのソース（例えば、医用スキャナの不揮発性メモリおよび／または撮像コンポーネントを含む記憶装置）に接続されているか、または接続可能である。
【００１７】
［０２７］一部の実施形態では、３Ｄ医用画像データ２１０のソースは、超音波スキャナ、または異なるモダリティ（例えば、ＭＲＩ、ＣＴ、ＰＥＴ等）の医用スキャナであり得る。そのような実施形態の一部では、システム２００の構成要素の一部または全てが医用撮像システム２４０に組み込まれ、例えば、図９を参照してさらに詳しく説明される超音波撮像システムに組み込まれ得る。他の実施形態では、３Ｄ医用画像データ２１０のソースは医用画像データ記憶装置であり、例えば、病院または他の医療施設のＰＡＣＳ（ｐｉｃｔｕｒｅ  ａｒｃｈｉｖｉｎｇ  ａｎｄ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｓｙｓｔｅｍ）の記憶装置であり得る。
【００１８】
［０２８］メモリ２２５は、プロセッサ２２０によって生成され、最終的な合成画像を生成する際に使用される１つまたは複数の中間画像２２７を格納するように構成され得る。メモリ２２５はまた、プロセッサ２２０によって生成された画像データのボリュームレンダリングおよび／またはブレンドを行うための実行可能命令および／またはパラメータ２２９（例えば、カラーマップ、スケーリング係数等）を格納し得る。ユーザインターフェース２３０は、画像２０４を表示するように動作可能な表示デバイス２３２と、例えば３Ｄ画像データおよび／または画像２０４の操作のためにユーザ入力を受け取るように構成されたユーザ入力デバイス２３４とを含み得る。図２に示される各構成要素およびそれらの配置は単なる例示であり、構成要素の除去、構成要素の結合、構成要素の配置変更、および構成要素の置換を含む他のバリエーションが全て考慮される。
【００１９】
［０２９］図３〜図５も参照して、本発明の原理に係るシステムの構成要素および動作についてさらに説明する。図３は、プロセッサ３０４の機能ブロック図である。プロセッサ３０４は、図２のプロセッサ２２０を実装するために使用されてもよい。プロセッサ３０４は、３Ｄ医用画像データ２１０のソースから、撮像された生体組織のボリュームを表す３Ｄデータセット３０２を受け取るようにプログラムされ得る。プロセッサ３０４はボリュームレンダリングエンジン３２０を実装し得る。ボリュームレンダリングエンジン３２０は、任意の既知の技術（例えば、ボリュームレイキャスティング、スプラッティング、ｓｈｅａｒ  ｗａｒｐボリュームレンダリング等）に基づき３Ｄデータセット（例えば、ピクセルデータの３Ｄ行列）のボリュームレンダリングを生成するようにプログラムされ得る。したがって、ブロック３２２に示されるように、プロセッサ３０４は、３Ｄデータセット３０２のボリュームレンダリングを生成し、レンダリングをディスプレイ上に表示させることが可能であり得る。表示のためにボリュームレンダリングを提供する際に、プロセッサ３０４は、３Ｄデータセットまたはボリューム４０１を仮想３Ｄ空間４０２内に配置し、したがって、視平面（ｖｉｅｗｉｎｇ  ｐｌａｎｅ）４０５に対して配置し得る（図４Ａを参照）。ボリューム４０１は、最初は、視平面４０４に対してデフォルトの距離（または深さｚ）および向きに配置されている。
【００２０】
［０３０］ブロック３２４に示されるように、プロセッサ３０４は、仮想３Ｄ空間内でボリューム４０１を操作するために、例えば、ボリューム４０１を視平面４０５に対して再配置するために（例えば、ボリュームの距離および／または向きを調整するために）、ユーザ入力３１２を受け取ることができる。既に知られているように、ボリュームレンダリングアルゴリズムは、光が（３Ｄデータセット内の非ゼロデータによって表される）ボリューム内の構造とどのように交わり、かつ／または構造から反射するかの物理モデルを利用し、この情報をシングルチャネルまたはマルチチャネルピクセルデータとして、それぞれグレースケールまたはカラー画像を生成するために出力し得る。ボリューム４０１を操作して再配置することに加えて、プロセッサ３０４はさらに、選択されたスライス面４０６でボリュームをクロップするためのユーザ入力３１２を受け取るように構成され得る。選択されたスライス面を受け取ると、プロセッサ３０４は、実質的に、スライス面の前にある（すなわち、スライス面４０６と視平面４０４の間にある）ボクセルを除去して、スライス面およびその背後にあるボクセルのみを表すピクセルデータを含むクロップされたボリューム４０８のボリュームレンダリングを生成し得る。レンダリングは、ユーザによるボリュームおよび／またはレンダリングパラメータ（例えば、光源位置、強度等）のさらなる操作を受けて更新され得る。
【００２１】
［０３１］スライス面４０６の指標が受け取られると、プロセッサ３０４は、ブロック３３２に示されるように、スライス面における２Ｄ画像を生成するようにプログラムされる。これは、多断面再構成等の２Ｄ医用画像を生成するための既知の技術を使用して行われ得る。２Ｄ画像３３４（例えば、ＭＰＲ画像）は、一般的に、臨床医が診断決定を行うために必要とされ得る医用撮像情報の十分なレベルの詳細を伝達するように構成されるという点で、診断画像と見なされる。対照的に、ブロック３２２で生成されるボリュームレンダリングは、通常は診断目的のために十分なレベルの詳細を提供しないため、通常、診断画像とは見なされない。図４Ｂに示されるような一部の実施形態では、プロセッサ３０４は、例えば、指示されたスライス面４０６に隣接する１つまたは複数の画像平面４１２からの画像データを平均することによって、厚いスライス２Ｄ画像を生成するように構成され得る。ブロック３３４に示されるように、２Ｄ画像は、背景画像との融合のためにプロセッサ３０４によって後にアクセスされるまで、メモリに保存される。
【００２２】
［０３２］２Ｄ診断画像に加えて、プロセッサ３０４はさらに、視平面４０４に対するボリューム４０１の相対位置によって定められる方向と同じ観察方向からのクロップされたボリューム４０８の複数の追加画像（例えば、図５Ａおよび図５Ｂの画像５１０、５１２、５１４、および５１８）を生成するようにプログラムされる。図５Ａおよび図５Ｂを参照しながら後に詳述されるように、プロセッサ３０４は、第１の色付けスキームを使用して（ブロック３２６に示されるように）クロップされたボリュームの第１のカラーボリュームレンダリングを生成し、第２の異なる色付けスキームを使用して（ブロック３２８に示されるように）クロップされたボリュームの第２のカラーボリュームレンダリングを生成するように構成される。すなわち、第１および第２のカラーボリュームレンダリングは、それぞれ、第１および第２の異なるカラーマップに関連付けられ得る。プロセッサ３０４はさらに、ブロック３３６に示されるように、第１および第２のカラーボリュームレンダリングをブレンドして、背景画像として使用されるブレンドされたカラーボリュームレンダリング３３８を生成するようにプログラムされる。
【００２３】
［０３３］ブロック３４０に示されるように、プロセッサ３０４は、前景情報を提供する２Ｄ画像３３４を、背景情報を提供するブレンドされたカラーボリュームレンダリング３３８と組み合わせて、合成医用画像３４２を生成するように構成される。ブロック３１４に示されるように、プロセッサ３０４は、ユーザ入力を受け取り、ブレンドプロセスの１つまたは複数のパラメータを調整するように構成され得る。例えば、プロセッサは、結合画像３４２に含まれる前景情報および背景情報の量を制御するためのユーザ入力を受信するために、ユーザインターフェース３０６を介してユーザ制御を提供するように構成され得る。結合画像３４２は保存（例えば、ブロック３１８）または表示（例えば、ブロック３１６）のためにプロセッサ３０４によって出力され、その後、プロセスは終了し得る（ブロック３４８において）。
【００２４】
［０３４］図５Ａおよび図５Ｂは、本開示に係るプロセッサ（例えば、ボリュームレンダラー）によって生成された処理ブロックおよび画像データを示す。プロセッサ５００、５００’は、入力データセット４０８のボリュームレンダリングを生成するために任意の既知のボリュームレンダリングアルゴリズムを実装し得る。プロセッサ５００、５００’は、図３のプロセッサ３２０を部分的に実装するために使用されてもよい。図５Ａに示されるように、プロセッサ５００は、入力として、医用画像データの３Ｄデータセット（例えば、図３のブロック３２４から出力されたクロップされたボリューム）を受け取り、一対のカラーボリュームレンダリング５１０および５１８を出力する。これらのボリュームレンダリングはその後、ブロック５３０でブレンドされ、ブレンドまたは強化された背景画像５３２が生成される。中間画像５１０、５１２、５１４、および５１８は、同じ入力データセットの異なる情報を符号化する。例えば、カラーレンダリング５１０および５１８は、撮像されたボリュームの同じビューのボリュームレンダリングであるが、２つの異なるカラーマップを使用して色付けされる。
【００２５】
［０３５］カラー画像５１８は、第１の色付けスキーム（例えば、２Ｄカラーマップ５１６）に従って入力データセット４０８のボリュームレンダリングを色付けすることによって生成される。カラー画像５１８を生成するために、ボリュームレンダリングエンジンはまず輝度画像５１４を生成し、これは、３Ｄデータセットのグレースケールボリュームレンダリングであり得る。このグレースケールボリュームレンダリングはシングルチャネル画像５１４として保存される。次に、グレースケールレンダリングは、表されている各構造の深さに基づいて色付けされる。このステップは、レンダリング５１４に深度の手掛かりを追加する。レンダリング５１４を色付けするために、別のグレースケール画像、すなわちグレースケール深度マップ画像５１２がレンダリングエンジンによって出力される。この画像は、画像内の各構造の推定深度をシングルチャネル画像内に符号化および保存する。すなわち、深度マップ画像５１２は、画像内の各ピクセルについて、当該ピクセルを通過する光線に沿って最初に遭遇する解剖学的構造（または３Ｄデータセット内の非ゼロ値）までの深度ｚ（または視平面からの距離）を推定することによって生成され得る。次に、推定深度が当該ピクセルのグレースケール値として符号化および記憶される。暗いピクセルは視平面に近い構造を示し、明るいピクセルは視平面から遠い構造を示す。
【００２６】
［０３６］上記したように、輝度画像５１４は、光が、３Ｄデータセットによって表される身体構造物に対してどのように交差し、かつ／または反射するかについての物理モデルを適用し、この情報（例えば、各ピクセルでの推定反射光）を各ピクセルのグレースケール値として符号化および記憶することによって生成され得る。輝度画像は、立体的データセットのグレースケールレンダリングを出力可能な任意の適切なボリュームレンダリング技術によって生成され得る。前述のように、輝度画像５１４は、モデルによって使用される視点および仮想光源の位置（例えば、図４Ａの４０９）に依存し、これらはともに、プロセスの開始時に事前に定められたデフォルトに設定されてもよいし、かつ／または３Ｄデータセットの最初の視覚化／レンダリング中にユーザによって設定可能であってもよい。例えば、良好な深度色付けを生成するにはバックライティング（すなわち、光源をスライス面の背後、さらには、場合によっては撮像されるボリューム内の各構造物の背後に配置すること）の使用が適している可能性がある。なぜなら、背景が暗くなり（例えば、黒色に近い）、これにより、明るい（例えば、白色に近い）構造物を含む前景オーバーレイとの良好なコントラストが保証され得るからである。次に、プロセッサ５００は、事前に保存されていた２Ｄカラーマップ５１６（例えば、深度対輝度カラーマップ）を使用して、２つのシングルチャネル（グレースケール）画像５１２、５１４からマルチチャネル画像５１８にピクセル値をマッピングする。例えば、図５Ａに示される深度対輝度カラーマップ５１６を使用すると、画像５１２、５１４からの各ピクセル値ペアはあるカラー値に対応し、このカラー値が画像５１８内の当該ピクセルの新しいマルチチャネル値として符号化される。このようにして、２Ｄカラーマップ５１６を使用してグレースケール輝度画像５１４が色付けされ、第１の色付けスキームに係るカラーボリュームレンダリング５１８が生成され得る。
【００２７】
［０３７］図５Ａにおいてさらに示されるように、プロセッサ５００はまた、異なるカラーマップを使用して符号化された、入力データセット４０８のボリュームレンダリング５１０を出力する。カラー画像５１０は、画像５１８を生成するために適用されたカラーマップとは異なる色付けスキーム（例えば、ＲＧＢカラーマップ）を使用して色付けされ得る。画像５１０は、輝度画像を生成するために使用されるものと同じまたは類似のレンダリングアルゴリズムを使用してボリュームレンダリングエンジンによって生成され得るが、この場合、出力はグレースケールではなくカラーで符号化される。一部の実施形態では、具体的な撮像用途（例えば、心臓、母体胎児、または他の産科撮像等）に応じて、異なるカラーマップが第１のカラースキームとして適用され得る。あるいは、図５Ｂに示されるように、プロセッサ５１０’は、入力データセット４０８に基づいてカラーレンダリング５１０を最初に出力するためにボリュームレンダリングアルゴリズムを実施し得る。カラーレンダリング（画像５１０）は、後にブレンディングブロック５３０によって使用されるために保存される。カラー画像５１０のシングルチャネル（例えば、ＲＧＢカラー値を使用する場合はＲ、Ｇ、またはＢチャネル）、またはマルチチャネルデータの２つ以上の値の何らかの組み合わせが、輝度画像５１４として、シングルチャネル出力に符号化される。プロセッサ５００’もまた、前述のように深度マップ画像５１２を生成し、２つのグレースケール画像５１２および５１４は、２Ｄカラーマップ５１６を使用して、他方のカラーレンダリング（画像５１８）に同様にマッピングされる。２つのカラーボリュームレンダリング５１０および５１８は、深度マップ画像５１２とともにメモリに結合され、ブレンドブロック５３０への入力として使用され得る。
【００２８】
［０３８］図６Ａは、本開示に係るプロセッサ６００のコンポーネントの機能ブロック図を示し、特に、ブレンドブロック６１０を示す。ブレンドブロック６１０は、図３ならびに図５Ａおよび図５Ｂのそれぞれのブロック３３６または５３０を実施するために使用され得る。ブレンドブロック６１０は、第１および第２のマルチチャネル画像（例えば、カラーボリュームレンダリング５１８および５１０）を入力として受け取り、第１および第２のカラーボリュームレンダリングからのピクセルデータを結合するブレンドカラー画像６２０を出力として提供する。ブレンドされたカラー画像データは、例えば、ブロック６１４に示されるように、ブレンドアルゴリズムに基づいて計算される。一実施形態では、ブレンドアルゴリズムは深さの関数として定められる。したがって、ブレンドブロック６１０はまた、入力として、画像５１８、５１０において表される解剖学的構造の推定深度を受け取り得る（例えば、ボリュームレンダリングエンジンによって生成された深度マップ画像５１２）。ある好ましい実施形態では、プロセッサ６００は、ブロック６１２に示されるように、深度値を正規化する（例えば、深度を０〜１の正規化後範囲にマッピングすることによって）。これは、例えば、ブロック６１２に示されるように、スケーリング関数（例えば、飽和アフィン関数（ｓａｔｕｒａｔｅｄ  ａｆｆｉｎｅ  ｆｕｎｃｔｉｏｎ））を適用することによって達成され得る。
【００２９】
［０３９］ブレンドブロック６１０は、２つの入力カラー画像（例えば、画像５１０および５１８）のカラーデータを結合するために凸ブレンドアルゴリズムを適用し得る。例えば、画像データは関数Ｉ＝（１−Ｚ）．Ｔ＋Ｚ．Ｄに従って結合されてもよい。ここで、Ｔはボリュームレンダリングエンジンからネイティブに出力されたカラー画像５１０であり、Ｄは、深度情報に基づいて輝度画像を色付けすることによって生成されたカラー画像５１８であり、Ｚは、当該ピクセルの正規化された深度値である。（１−Ｚ）およびＺをブレンド係数として使用して凸結合を適用することにより、近傍界構造物（Ｚ≒０）の色相がより良好に保存され、遠方界（Ｚ≒１）では徐々に人工的になる。これにより、物理ベースのレンダリングされた画像の深度手掛かりを強化しつつ、前景構造物の色のコントラストを向上させることができる。
【００３０】
［０４０］さらに示されるように、プロセッサ６００は、ブロック６１２において、深度マップ画像５１２内に符号化された推定深度値（ｚ）を、Ｚ∈［０，１］の範囲内の深度値（Ｚ）として正規化し得る。例えば、ボリュームレンダラーによって深度がｄｍｉｎ未満であると推定された３Ｄ空間内の点にはＺ＝０割り当てられ、したがって、対応するＲＧＢ値は変換されないままであり、一方、ｄｍａｘを超える距離にあると推定された点にはＺ＝１（最大変換色相（例えば、青色）に対応）が割り当てられるような飽和アフィン関数がブロック６１２において定められ得る。ｄｍｉｎ〜ｄｍａｘの範囲内で、色相は深さに応じて徐々に（例えば、線形に）変化する。一部の実施形態では、ｄｍａｘおよびｄｍｉｎの値はユーザ定義であり得る（例えば、特定の撮像用途（例えば、撮像対象の組織または器官の種類）またはユーザの好みに依存して）。
【００３１】
［０４１］ある好ましい実施形態では、プロセッサ６００は、ブロック６１２に示されるように、推定深度を範囲Ｚ∈［０，１］にマッピングするスカラー値関数を自動的に定め、より具体的には、０および１にそれぞれマッピングされるべきｄｍｉｎおよびｄｍａｘ値を自動的に定め得る。視点変更は、レンダリング画像内で観察される深度の範囲に大きな影響を与える可能性があるため、深度範囲はカメラ位置に適合させられることが好ましい。深度範囲は、次のように所与の視点に対して自動的に定められてもよい。一般的には、深度範囲（すなわち、ｄｍｉｎおよびｄｍａｘ）はジオメトリに基づいて、またはコンテンツに基づいて定められ得る。例えば、図６Ｂのパネル（ａ）に示されるように、ジオメトリに基づく方法は、３Ｄ幾何学的構成、すなわち、カメラの視点、およびカメラの視点に対するボリュームの向きのみに依拠する。（ａ）に示されるように、基本的な幾何学的事項を考察することにより、その領域内の実際のデータに関係なく、包囲する直方体の最小深度および最大深度が提供され得る。図６Ｂのパネル（ｂ）は、コンテンツに基づくアプローチを示す。コンテンツに基づく方法は、非ゼロデータ点の距離統計情報を計算するために入力データセットまたは深度マップを調査して、所与のデータセットおよび視点のための有効深度範囲を提供し得る。統計情報は、最小−最大演算のような単純なものであってもよいし、出力画像のある領域にわたる平均化が使用されてもよい。推定範囲は、立体的取得の値だけでなく、「伝達関数」にも依存し得る。ここで伝達関数とは、データセット内の強度が低い構造物を透明にするために入力データセットを変換することを指し、そうすることで、３Ｄ空間内の「透明な」ボクセルは、コンテンツに基づく深度範囲推定に寄与しない。
【００３２】
［０４２］２つの技術（ジオメトリまたはコンテンツに基づく技術）にはそれぞれ利点および欠点がある。例えば、深度推定を実際のデータに対して適合させることは、急激な色の変化を引き起こす可能性がある３Ｄ回転や画像ノイズに対して安定性に欠ける傾向がある。また、塞がれている不透明であるが見えないボクセルは、色に対する非直感的な影響のため、背景位置の推定に影響を及ぼし得る。ジオメトリのみに基づく推定はより高速で（調査するデータがない）、また、より安定している可能性がある。しかし、一般的に、特にボリュームの一部が空の場合、あまりに広い深度範囲を提供する傾向があり、結果として、異なる深さにある構造物間のカラーコントラストが不十分になる。例えば、（ａ）は、３Ｄ回転により、前面基準がコンテンツからかなり離れた場所に位置するコーナーケースが発生するおそれがあることを示している。
【００３３】
［０４３］一部の例では、深度範囲の自動定義のために図６Ｂのパネル（ｃ）に示されるようなハイブリッド戦略が利用され得る。このコンテキストでは、コンテンツに基づく推定の方が前景の深度を特定するのにより適している可能性がある一方、ジオメトリはより安定した背景基準を定めることができる。したがって、深度範囲のためのハイブリッド推定技術は、ｄｍｉｎを、例えば深度マップ統計情報を使用して計算された最小または平均ファーストヒットとして定め、ｄｍａｘを、包囲する直方体の最も遠い角の距離として定めることを含み得る。前面に対してコンテンツに基づく推定を使用することで、色付けプロセスの基本的特性が保証され、すなわち、ボリュームをクロップしてＭＰＲオーバーレイを定める切断面が存在する場合でも、どの向きについても前部の色が保持され得る。当然ながら、ｄｍｉｎおよびｄｍａｘを自動定義するためのハイブリッド技術は一部の例では好ましく、採用され、一方で、他の実施形態はジオメトリまたはコンテンツに基づく技術等の異なる技術を利用し得る。
【００３４】
［０４４］図７Ａおよび図７Ｂは、本開示に係るプロセッサ（例えば、プロセッサ３０４）の融合ブロック７１０、７１０’の例の機能ブロック図を示す。融合ブロック７１０または７１０’は、図３のブロック３４０を実装するために使用され得る。上記したように、プロセッサは、例えば、画像内の各ピクセル位置の互いの対応するピクセル値を足し合わせることによって、前景画像と背景画像７０２、７０４を結合し、最終的な合成画像７０６、７０６’を生成する。一部の実施形態では、図７Ａに示されるように、２つの画像の融合は単純なピクセルごとの加算を含み得る。例えば、Ｍが、例えばクロップ平面での多段面再フォーマットによって生成されたスカラー値（すなわち、シングルチャネル）画像であり、Ｉが、深度色付け後のブレンドブロック６１０から出力されたブレンドされたカラー（すなわち、マルチチャネル）ボリュームレンダリング（例えば、画像６２０）である場合、結合または融合された画像Ｆは、２つの入力画像の互いに対応するピクセルを単純に足し合わせることによって生成され得る。一部の実施形態では、スカラー画像のピクセル値は、カラー画像７０４の対応するピクセルの各チャネル（例えば、Ｒ、Ｇ、およびＢ）値と個別に結合されて、出力カラー画像７０６が生成される。
【００３５】
［０４５］一部の実施形態では、プロセッサ（例えば、プロセッサ３０４）は、最終的な結合医用画像７０６内の背景および前景情報の量を調整するためのユーザ入力７１１を受け取るように構成され得る。そのような実施形態では、プロセッサは、ユーザが合成画像内の所望の前景および背景情報の量を示すことを可能にすることができるよう、ユーザコントロール（例えば、タッチスクリーンインターフェース上に提示されるソフトコントロール）を提供するようにプログラムされ得る。図８は、強化診断モードで医用画像データを視覚化する際にユーザインターフェースを介して提供され得る任意選択的なユーザコントロール８１０の例（例えば、スライダー）を示す。ユーザコントロール９１０は、ユーザが、前景情報の所望のより高い量の指標を提供すること（例えば、スライダーを左に向かってスライドさせることによって８１２）、または、背景情報の所望のより少ない量の指標を提供すること（例えば、スライダーを右に向かってスライドさせることによって８１４）を可能にし得る。制御されている前景情報および背景情報のブレンドに関してユーザに即時のフィードバックを提供するために、ユーザがコントロール８１０を調整するにつれ、表示される合成画像８２０が動的に更新されてもよい（画像８２０−１〜８２０−５に示されるように）。プロセッサ（例えば、プロセッサ３０４）は、前景コンテンツまたは背景コンテンツの所望の量について受け取られた指標に応答して、（例えば、ブロック３４０における）融合アルゴリズムのスケーリング係数を調整し得る。他の種類のユーザコントロール（例えば、ボタン、スライダー等のハードコントロールまたはソフトコントロール）が使用されてもよい。例えば、システムは、超音波スキャナまたは分析ワークステーションのトラックボールの操作を介して調整を受け取るように構成されてもよく、または、ユーザがテキスト入力等を介して調整を提供してもよい。指示された前景／背景情報の所望の量は融合ブロック７１０に結合され、融合ブロックは、合算を実行する際に入力画像の値にスケーリング係数（線形または非線形）を適用し得る。
【００３６】
［０４６］図７Ａおよび図７Ｂに戻り、図７Ａの例におけるピクセル単位での合算は、レンダリングされる背景が暗い逆光シーンには適している可能性があるが、例えば光源がボリュームの前に配置されている場合など、明るい照明条件下での視覚化には最適ではない可能性がある。後者のシナリオでは、両画像のピクセル値を合算するとオーバーフロー／飽和が生じ得る。一部の実施形態では、図７Ｂに示されるように、飽和問題に対処するために、合算中にスケーリング係数が適用され得る。例えば、最終画像は、スカラー入力Ｍの関数である係数によって、色付けされた入力７０４をスケーリングすることによって計算され得る。ここでも、任意選択的に、合算スケーリングから独立して、最終画像における前景情報および背景情報の量を制御するためにユーザ入力７１１が受け取られ得る。さらに、一部の実施形態では、画像データはまず、合算の前に、［０，１］のダイナミックレンジ内で正規化され得る。図７Ｂの例では、最終画像７０６’に到達するために、融合ブロック７１０’において、Ｆ＝Ｍ＋（１−Ｍ）．Ｉによって定められる総和関数が適用され得る。このスケーリングされた合算により、ダイナミックレンジの保持が保証され得る。図７Ｂの例のスケーリングされた合算は、前景における信号の不在という条件に基づき背景コンテキストを注入するとみなされ、よって、出力での飽和のリスクが低減することが理解されよう。
【００３７】
［０４７］一部の実施形態では、本明細書に記載の原理に係る医用画像データ視覚化システムは、超音波スキャナまたは任意の他の種類の医用撮像システムに組み込まれ得る。図９は、本開示に係る医用画像データ視覚化システムを含み得る例示的な超音波撮像システムのブロック図を示す。超音波撮像システム９１０は、開示される原理に係る視覚化システムのプロセッサの機能を実行するように構成された少なくとも１つのプロセッサ９２８を含み得る（例えば、図３のプロセッサ３０４）。システム９１０は３Ｄ医用画像データのソースとして機能し得る。すなわち、システム９１０は、以下でさらに説明されるように、３Ｄ医用画像データを取得するように構成され、さらに、例えばシステムの強化診断視覚化モードの呼び出しに応答して、３Ｄ医用画像データの取得後に、または取得中にリアルタイムで合成画像を生成するように構成され得る。
【００３８】
［０４８］超音波撮像システム９１０は、図１〜図８を参照して上記されたコンポーネントのうちの１つまたは複数を含み得る。本発明の実施形態の説明のための例では超音波撮像システムが議論されているが、本発明の実施形態は、他の医用撮像モダリティと共に実施されてもよい。他のモダリティは、限定的ではないが、磁気共鳴イメージングおよびコンピュータトモグラフィを含み得る。本明細書に記載の技術は、医用画像データの３Ｄデータセットを取得するために使用可能な事実上全ての撮像モダリティに適用され得る。
【００３９】
［０４９］図９の超音波診断撮像システム９１０の超音波プローブ９１２は、超音波を送信し、エコー情報を受信するトランスデューサアレイ９１４を含む。様々なトランスデューサアレイ、例えばリニアアレイ、コンベックスアレイ、またはフェーズドアレイが当該技術分野において周知である。トランスデューサアレイ９１４は、例えば、２Ｄおよび／または３Ｄイメージングのために仰角次元および方位角次元の両方で走査可能な複数のトランスデューサ素子からなる２次元アレイを含むことができる（図示のように）。トランスデューサアレイ９１４は、超音波プローブ９１２内のマイクロビームフォーマ９１６に結合される。マイクロビームフォーマ９１６は、アレイ９１４内のトランスデューサ素子による信号の送信および受信を制御する。この例では、マイクロビームフォーマ９１６は、送受信の切り替えを行い、メインビームフォーマ９２２を高エネルギー送信信号から保護する送信／受信（Ｔ／Ｒ）スイッチ９１８にプローブケーブルによって結合される（ただし、他の例では両者は無線結合されてもよい）。一部の実施形態、例えば携帯型の超音波システムでは、システム内のＴ／Ｒスイッチ９１８および他の要素は、別個の超音波システムベース内ではなく、超音波プローブ９１２内に含まれ得る。マイクロビームフォーマ９１６によって制御されるトランスデューサアレイ９１４からの超音波ビームの送信は、Ｔ／Ｒスイッチ９１８およびビームフォーマ９２２に結合される送信コントローラ９２０によって管理され、送信コントローラ９２０は、ユーザのユーザインターフェース９２４の操作から入力を受け取る。ユーザインターフェース９２４は、システム９１０および（例えば、制御パネル９５２またはタッチセンシティブディスプレイ上に設けられた）１つまたは複数のユーザ入力デバイスによって取得された画像データを表示するためのディスプレイ９３８を含み得る。
【００４０】
［０５０］送信コントローラ９２０によって制御される機能の１つは、ビームがステアリングされる方向である。ビームは、トランスデューサアレイ９１４から直進する（アレイに対して直交する）よう方向づけられてもよいし、または、より大きな視野のために異なる角度に方向づけられてもよい。マイクロビームフォーマ９１６によって生成された部分的にビーム成形された信号は、メインビームフォーマ９２２に送られ、各トランスデューサ素子パッチからの部分的にビーム成形された信号が結合され、完全にビーム成形された信号が生成される。ビーム成形された信号は、信号プロセッサ９２６に結合される。信号プロセッサ９２６は、受信されたエコー信号を、バンドパスフィルタリング、デシメーション、ＩおよびＱ成分分離、および高調波信号分離などの様々な方法で処理することができる。信号プロセッサ９２６はまた、スペックル低減、信号合成（ｓｉｇｎａｌ  ｃｏｍｐｏｕｎｄｉｎｇ）、およびノイズ除去などの追加の信号エンハンスメントを実行してもよい。処理された信号は、Ｂモードプロセッサ９２８に結合され、体内の構造のイメージングのために振幅検出が使用され得る。Ｂモードプロセッサ９２８によって生成された信号は、スキャンコンバータ９３０および多断面リフォーマッタ９３２に結合される。スキャンコンバータ９３０は、所望の画像フォーマットで、エコー信号が受信された空間的関係にエコー信号を配置する。例えば、スキャンコンバータ９３０は、エコー信号を２次元（２Ｄ）扇形フォーマット、またはピラミッドもしくは他の形状の３次元（３Ｄ）フォーマットに配置し得る。多断面リフォーマッタ９３２は、米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に記載されているように、人体の立体領域内の共通平面内の複数の点から受信されたエコーを、その平面の超音波画像（例えば、Ｂモード画像）に変換し得る。したがって、多断面リフォーマッタ９３２は、３Ｄ（ボリューム）データセットから２Ｄ画像（ＭＰＲ画像）を再構成することができる。取得された画像データはまた、ボリュームレンダラー９３４に結合され得る。米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎら）に記載されているように、ボリュームレンダラーは、３Ｄデータセットのエコー信号を、所与の基準点から見た３Ｄデータセットの投影画像に変換し得る（ボリュームレンダリングとも呼ばれる）。ボリュームレンダラー９３４は、本開示に係る合成医用画像を生成するために、本明細書に記載されるように、ボリュームレンダリングを生成し、任意の他の中間画像を出力するように構成され得る。例えば、ボリュームレンダラーは、図５Ａおよび図５Ｂを参照して説明された画像を出力するように構成され得る。
【００４１】
［０５１］一部の実施形態では、ボリュームレンダラー９３４は、ユーザインターフェース９２４から入力を受け取ることができる。入力は、選択されたスライス面の指標や、ボリュームを操作するための、例えば３Ｄ空間内のボリュームおよび／または光源を配置変更するためのユーザ入力等を含み得る。さらに、レンダリングされるボリューム９３４の機能性を含むまたは補完し得るプロセッサ９２８はまた、プロセスの他のパラメータっを調整するために、例えば、ブレンド係数を設定するために、ブレンドパラメータの自動定義を呼び出すために、および／または所与の視覚化（例えば、強化ボリューム検査）モードにあるときに強化診断画像の自動生成を呼び出すために入力を受け取り得る。
【００４２】
［０５２］一部の実施形態では、プロセッサ９２８は、スキャンコンバータ２３０、多断面リフォーマッタ２３２、および／またはボリュームレンダラー２３４から出力された画像の強化を実行するように構成された画像プロセッサ２３６を含み得る。スキャンコンバータ２３０、多断面リフォーマッタ２３２、および／またはボリュームレンダラー２３４によって生成された画像は画像プロセッサ２３６に結合され、表示ユニット２３８上に表示する前に、さらなるエンハンスメント、バッファリング、および一時的保存が行われる。一部の実施形態では、画像プロセッサ２３６は、本明細書に記載されるプロセッサの機能のうちの１つまたは複数を、例えば、図６〜図８を参照して説明したブレンド機能および融合機能を実施することができる。画像プロセッサ２３６は、Ｂモード画像、ドップラー画像、または他のモダリティ画像を、本明細書に記載の原理に従って深度手掛かりを提供するレンダリングと結合するように構成され得る。一部の実施形態では、プロセッサ９２８は、画像とともに表示するためのグラフィックオーバーレイを生成可能なグラフィックスプロセッサ２４０を含むことができる。これらのグラフィックオーバーレイは、例えば、患者名等の標準的な識別情報、画像の日付および時刻、撮像パラメータ、または、システムによって自動的にもしくはユーザ入力に応答して画像に追加された実質的にあらゆる種類の注釈または印を含み得る。これらの目的のために、グラフィックスプロセッサは、タイピングされた患者の名前や他の注釈等の入力をユーザインターフェース２２４から受け取り得る。一部の実施形態では、グラフィックスプロセッサ、画像プロセッサ、ボリュームレンダラー、および多断面リフォーマッタのうちの少なくとも１つの１つまたは複数の機能は、これらのコンポーネントに関してそれぞれ説明された具体的機能が個別の処理ユニットによって実行される代わりに、集積画像処理回路に統合されてもよい（その動作は、並列に動作する複数のプロセッサに分割され得る）。
【００４３】
［０５３］図１０は、本明細書に記載される一部の実施形態に係る３Ｄ医用画像データを視覚化する方法のフロー図を示す。方法１０００は、撮像される生体組織のボリュームを表す３Ｄデータセットのボリュームレンダリングを表示するステップ（ステップ１０１０）と、選択されたスライス面の指標に応答してボリュームをクロップするステップ（ステップ１０１２）と、選択されたスライス面における２Ｄスライス画像を含む前景（診断）画像を生成するステップ（ステップ１０１４）とを含み得る。方法はさらに、第１のカラーマップを使用して、クロップされたボリュームの第１のカラーボリュームレンダリングを生成し、第２のカラーマップを使用して、クロップされたボリュームの第２のカラーボリュームレンダリングを生成するステップを含み得る（ステップ１０１６）。方法はさらに、深度情報に従って第１および第２のカラーボリュームレンダリングをブレンドすることで背景画像を生成するステップ（ステップ１０１８）と、前景画像および背景画像を融合して合成医用画像を生成するステップ（ステップ１０２０）とを含み得る。図１０に示される方法１０００のステップ、およびステップの配置は単なる例示であり、ステップの追加、削除、置換、または配置変更等の任意の変更が考慮される。方法１００は、本明細書に記載のプロセスのステップのいずれをも含み得る。
【００４４】
［０５４］例えば、一部の実施形態では、第１のカラーボリュームレンダリングを生成するステップは、（例えば、レンダリング内の各ピクセルに色相（またはピクセル値）を割り当てるために）生物組織を通過する光伝播の物理モデルをクロップされたボリュームに適用するステップと、モデルからの出力値を第１のマルチチャネル画像内に符号化するステップとを含み得る。この物理モデル（またはボリュームレンダリングエンジン）は、３Ｄデータセットのカラーボリュームレンダリングをネイティブに生成するために、任意の既知の技術（例えば、レイキャスティング、スプラッティング、ｓｈｅａｒ−ｗａｒｐｉｎｇレンダリング等）に従って実装され得る。一部のそのような実施形態では、第２のカラーボリュームレンダリングを生成するステップは、クロップされたボリューム内の構造物の推定深度を符号化するシングルチャネル画像を生成するステップと、クロップされたボリュームのグレースケールボリュームレンダリングを表す第２のシングルチャネル画像を生成するステップと、２Ｄカラーマップを使用して、第１および第２のシングルチャネル画像のピクセル値を、第２のカラーボリュームレンダリングを表す第２のマルチチャネル画像にマッピングするステップとを含み得る。一部の実施形態では、第２のシングルチャネル画像を生成するステップは、第１のカラーボリュームレンダリングの複数のチャネルのうちの１つを第２のシングルチャネル画像として保存することを含み得る。
【００４５】
［０５５］一部の実施形態では、３Ｄデータセットのボリュームレンダリングを表示するステップは、視平面に対して仮想３Ｄ空間内でボリュームを配置するステップを含み、方法はさらに、視平面と、撮像される解剖学的構造の最前部との間の距離に対応する第１の深度値を決定するステップと、視平面と、クロップされたボリュームの最後部との間の距離に対応する第２の深度値を決定するステップと、第１および第２の深度値に基づくブレンド関数を使用して第１および第２のカラーボリュームレンダリングをブレンドするステップとを含み得る。
【００４６】
［０５６］一部の実施形態では、前景画像と背景画像とを結合するステップは、前景画像と背景画像のそれぞれのピクセル値を合算するステップを含み得る。一部のそのような実施形態では、方法はさらに、前景画像および背景画像のそれぞれのピクセル値を合算するときに少なくとも１つのスケーリング係数を適用するステップを含み、ここで、スケーリング係数のうちの１つまたは複数は、ユーザ入力に基づき導出され得る。一部のそのような実施形態では、方法は、合成医用画像内の背景情報および前景情報の量を調整するためのユーザ入力を受け取るステップと、ユーザ入力に基づいて前景画像および背景画像の結合に利用される少なくとも１つのスケーリング係数を調整するステップとを含み得る。
【００４７】
［０５７］一部の実施形態では、本開示に係る方法のステップは超音波スキャナによって実行され、方法はさらに、超音波スキャナを使用して医用撮像データの３Ｄデータセットを取得するステップを含み得る。結果として、前景画像および背景画像を生成および結合して合成医用画像を生成するステップは、超音波スキャナの１つまたは複数のプロセッサによって実行され得る。一部の実施形態では、３Ｄデータセットは超音波撮像データを含み、前景画像は、３Ｄ超音波データ中のスライス面におけるＭＰＲ画像を生成することを含み得る。一部の実施形態では、前景画像を生成するステップは、例えば厚いスライス２Ｄ画像を生成するために、前記スライス面を含む複数の隣接する画像平面からの撮像データを平均するステップを含み得る。
【００４８】
［０５８］コンピュータベースシステムまたはプログラマブルロジックなどのプログラム可能なデバイスを使用して、構成要素、システム、および／または方法が実装される様々な実施形態において、上記システムおよび方法は、様々な既知のまたは後に開発されるプログラム言語、例えば“Ｃ”、“Ｃ＋＋”、“ＦＯＲＴＲＡＮ”、“Ｐａｓｃａｌ”、および“ＶＨＤＬ”などのうちの任意のものを使用して実装され得る。したがって、コンピュータなどのデバイスに上記システムおよび／または方法を実施するよう指示することができる情報を含む様々な記憶媒体、例えば磁気コンピュータディスク、光学ディスク、および電子メモリなどを準備することが可能である。適切なデバイスが記憶媒体に含まれる情報およびプログラムにアクセスすると、記憶媒体は情報およびプログラムを該デバイスに提供し、デバイスが本明細書に記載のシステムおよび／または方法の機能を実行することを可能にする。例えば、ソースファイル、オブジェクトファイル、または実行可能ファイルなどの適切な素材を含むコンピュータディスクがコンピュータに提供された場合、コンピュータは情報を受け取り、適切に自身を構成し、上記図面およびフローチャートに概説されている様々なシステムおよび方法の機能を実行することで、様々な機能を実現することができる。すなわち、コンピュータは、上記システムおよび／または方法の各種の要素に関するディスクから情報の様々な部分を受信し、個々のシステムおよび／または方法を実施し、個々の上記システムおよび／または方法の機能を調整することができる。
【００４９】
［０５９］この開示に関連して、本明細書に記載されている様々な方法およびデバイスは、ハードウェア、ソフトウェア、およびファームウェアとして実装され得ることに留意されたい。さらに、様々な方法およびパラメータは、単なる例示であって、限定的な意味は有さない。この開示に関連して、当業者は、独自の技術およびその技術に対して作用するために必要な機器を決定するにあたり、本発明の範囲内にとどまりつつ、本教示を実施し得る。
【００５０】
［０６０］超音波イメージングシステムを具体的に参照して本発明に係るシステムを説明してきたが、本発明に係るシステムは、１つまたは複数の画像がシステマチックに取得される他の医療イメージングシステムにも拡張され得ることが想定される。本発明に係るシステムは、腎臓、精巣、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈、および血管系に関連する画像情報を取得および／または記録するために、並びに超音波誘導インターベンションに関連する他のイメージング用途に適用され得る。さらに、本発明に係るシステムは、従来のイメージングシステムとともに使用され、本発明に係るシステムの特徴および利点を提供することを可能にする１つまたは複数のプログラムを含み得る。本開示の追加の利点および特徴が、本開示を研究した当業者に明らかとなり、または本開示の新規システムおよび方法を利用する者によって経験される可能性がある。本発明に係るシステムおよび方法の他の利点は、従来の医療画像システムを容易にアップグレードして、本発明に係るシステム、装置、および方法の特徴および利点を組み込むことができることである。
【００５１】
［０６１］当然のことながら、本明細書に記載される例、実施形態、またはプロセスのいずれか１つが、１つまたは複数の他の例、実施形態、および／またはプロセスと組み合わせられてもよく、または、本発明に係るシステム、装置、および方法にしたがって別の装置または装置の部分の間で分離および／または実行されてもよい。
【００５２】
［０６２］最後に、上記の議論は、本発明に係るシステムの単なる例示であり、添付の特許請求の範囲をいずれかの特定の実施形態または実施形態のグループに限定するものとして解釈されるべきではない。したがって、例示的な実施形態を参照して特に詳細に本発明に係るシステムを説明したが、以下の特許請求の範囲に示される本発明に係るシステムの意図される広範な趣旨および範囲から逸脱することなく、多様な変更および代替的実施形態が当業者によって考案され得ることも理解されたい。したがって、明細書および図面は例示的であると解釈されるべきであり、添付の特許請求の範囲を限定するものではない。
【図１】
2021520870.tif 000003
【図２】
2021520870.tif 000004
【図３】
2021520870.tif 000005
【図４Ａ】
2021520870.tif 000006
【図４Ｂ】
2021520870.tif 000007
【図５Ａ】
2021520870.tif 000008
【図５Ｂ】
2021520870.tif 000009
【図６Ａ】
2021520870.tif 000010
【図６Ｂ】
2021520870.tif 000011
【図７Ａ】
2021520870.tif 000012
【図７Ｂ】
2021520870.tif 000013
【図８】
2021520870.tif 000014
【図９】
2021520870.tif 000015
【図１０】
2021520870.tif 000016
【国際調査報告】
2021520870.tif 000017
2021520870.tif 000018
2021520870.tif 000019