(57)【要約】インターベンション手順の間の患者への造影剤及びＸ線の負荷を低減するために、リアルタイム視覚化アーキテクチャが、２次元ライブ画像を３次元再構成ボリューム情報に結合するよう提案される。一般に、２次元Ｘ線画像は、画像データにおいてミラーリング動作を適用することによって、下（後前）及び表示上部（前後）から記録される。再構成された３次元ボリューム内への２次元ライブ画像の正確な位置合わせを確保するために、Ｙ軸周囲のミラーリングを３次元情報へ適用することによって、及び、逆の並べ替え順で３次元情報を提示することによって、２次元ライブ画像と同じ反対の表示角度で３次元情報を表示することが提案される。更に、３次元インプレッションを保ちながら２次元情報におけるコントラストを保つよう、透過な表面／ボリュームレンダリングが輪郭レンダリングと結合されても良い。
2008520312.tif 000002
【特許請求の範囲】
【請求項１】
身体ボリュームに対するインターベンション手順の間に取得される画像データを表示するシステムであって：
前記身体ボリュームに対する３次元画像データを受け取って、前記身体ボリュームの３次元画像を再構成する手段，
インターベンション手順の間に取得された前記身体ボリュームに対する２次元画像データを受け取る手段，
前記２次元画像データを前記身体ボリュームの前記３次元画像の対応する領域に合わせる手段，及び
前記身体ボリュームの前記３次元画像の前記対応する領域内に前記２次元画像データを表示する手段，
を有するシステム。
【請求項２】
前記３次元画像データは、前記インターベンション手順の前に取得され、
前記２次元画像データは、ライブであり、前記身体ボリュームの前記３次元画像内に実質的にリアルタイムで表示される、請求項１記載のシステム。
【請求項３】
前記３次元画像データは、３次元回転スキャンにより取得される、請求項１記載のシステム。
【請求項４】
前記２次元画像データは、Ｘ線透視画像手段により取得される、請求項１記載のシステム。
【請求項５】
Ｙ軸の周りで前記３次元画像データへミラーリングが適用される、請求項１記載のシステム。
【請求項６】
前記３次元画像データは、前記身体ボリュームの前記３次元画像の深さに対して逆の並べ替え順で表示のために与えられる、請求項５記載のシステム。
【請求項７】
前記２次元画像データは、前記３次元画像データの輪郭レンダリング内に表示される、請求項１記載のシステム。
【請求項８】
前記３次元画像データの透過の表面／ボリュームレンダリングは、前記３次元画像データの前記輪郭レンダリングと結合される、請求項７記載のシステム。
【請求項９】
前記２次元画像データは、２次元画像データが存在する場合にのみ前記３次元画像データに重ね合わされる、請求項１記載のシステム。
【請求項１０】
身体ボリュームに対するインターベンション手順の間に取得される画像データを表示する方法であって：
前記身体ボリュームに対する３次元画像データを取得して、前記身体ボリュームの３次元画像を再構成するステップ，
前記身体ボリュームに対する２次元画像データを前記インターベンション手順の間に取得するステップ，
前記２次元画像データを前記身体ボリュームの前記３次元画像の対応する領域に合わせるステップ，及び
前記身体ボリュームの前記３次元画像の前記対応する領域内に前記２次元画像データを表示するステップ，
を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、インターベンション手順の間に対象に関するライブの２次元画像を取得することによって、生きた対象の内側部分の視覚化及び検査を可能にする画像処理システム及び方法に関する。
【背景技術】
【０００２】
身体ボリューム及び生きた対象の内側部分の画像化は、特に医療診断及び治療の分野で、即ち、Ｘ線透視との関連で実施される。従って、生体ボリュームのＸ線投射が、以下一例として検討されるが、本発明はそれに限定されるわけではなく、同様の二次的条件を伴う用途の全ての分野で使用可能である。
【０００３】
図面の図１及び２を参照すると、一般的なＸ線システムは、ロボットアーム３によって診察台２の近くで支持されたスウィングアーム（Ｃアーク又はＧアーク）１を有する。スウィングアーム１の中に収容されるようにＸ線管４及びＸ線検出器５が設けられている。Ｘ線検出器５は、患者７を通過したＸ線６を受け取って、その強度分布を表す電気信号を発生させるよう配置及び構成をなされている。スウィングアーム１を動かすことによって、Ｘ線管４及び検出器５は、患者７に対して如何なる所望の位置及び方位にも配置可能である。
【０００４】
様々な種類の状態及び病気の治療において、特別な医療応用が、患者の脈管系におけるカテーテルの伝搬の透視観察によって提供される。従って、インターベンションの間に、カテーテル又はガイドワイヤは、Ｘ線監視（透視）の下で、可能な限り正確に血管を通って内部の関心部へと進ませられる必要がある。この手順が実行される間、血管構造は、カテーテルにより無線式陽性造影剤のショートバーストを導入して、例えば、図面の図１及び２を参照して記載されるシステムを用いてＸ線画像を取得することによって、２次元ライブ画像の形で、短い時間期間で第１のモニタで可視的にされる。
【０００５】
患者の安全のために、Ｘ線暴露を最小限とし、また、身体に投入される造影剤の量を最小限とすることが極めて望ましく、従って、インターベンションの間に、航行を助けるように、関心領域に対して取得された１又はそれ以上のインターベンション前のＸ線画像を第２のモニタで表示することが知られる。これらのインターベンション前の画像は、脈管系の「脈管地図」又は「ロードマップ」として付き添いの医師に対するオリエンテーションをサポートする。例えば、カテーテル配置の間の案内を改善するために、例えば国際公開番号ＷＯ２００４／０３４３２９号で記載されるように、インターベンションの間に取得される透視画像にこのようなロードマップ情報をオーバーレイする方法が発展してきた。
【特許文献１】国際公開番号ＷＯ２００４／０３４３２９号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、インターベンションの間に取得される２次元透視画像データはインターベンションデータがリアルタイムで追跡記録されることを可能にするので、インターベンション手順の間の患者への造影剤及びＸ線暴露の負荷を大幅に低減しながら、この２次元透視画像データを３次元で視覚化可能にすることが極めて望ましい。
【０００７】
従って、本発明は、身体ボリュームに関して補足されたライブの２次元画像データが３次元ボリュームデータに対して表示されることを可能にする画像処理システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に従って、身体ボリュームに対するインターベンション手順の間に取得される画像データを表示するシステムであって、前記身体ボリュームに対する３次元画像データを受け取って、前記身体ボリュームの３次元画像を再構成する手段と、インターベンション手順の間に取得された前記身体ボリュームに対する２次元画像データを受け取る手段と、前記２次元画像データを前記身体ボリュームの前記３次元画像の対応する領域に合わせる手段と、前記身体ボリュームの前記３次元画像の前記対応する領域内に前記２次元画像データを表示する手段とを有するシステムが提供される。
【０００９】
望ましくは、前記３次元画像データは、前記インターベンション手順の前に取得され、前記２次元画像データは、有利にライブであり、前記身体ボリュームの前記３次元画像内に実質的にリアルタイムで表示される。
【００１０】
前記３次元画像データは、（望ましくは、造影剤が前記身体ボリュームに注入される場合に、）有利に３次元回転スキャンにより取得される。これは、特に、このようなスキャンが、診断及び治療の評価目的のために、いずれのインターベンションの前にも、決まって取得されるためである。
【００１１】
従来の２次元（フルオロ）画像表示では、２次元画像はミラーリングを受ける傾向を有する。その結果として、画像は、前記身体ボリュームの前記３次元画像内に表示される場合に、不適切な透視歪みを含むことがある。従って、好ましい実施例では、ミラーリングは、望ましくはＹ（垂直）軸の周りで、前記３次元画像データへ適用され、前記３次元画像データは、有利に、前記身体ボリュームの前記３次元画像の深さに対して逆の並べ替え順で表示のために与えられる。
【００１２】
有利に、前記ライブの２次元画像データは、該ライブの２次元画像データの最小限の妨害／観察を提供するように、前記３次元画像データの輪郭レンダリング内に表示される。幾つかの場合で、前記３次元画像データの透過の表面／ボリュームレンダリングを前記３次元画像データの前記輪郭レンダリングと結合することが更に有利である。
【００１３】
望ましくは、ライブの２次元画像データは、２次元画像データが存在する場合にのみ前記３次元画像データに重ね合わされる。これは、混合手段によって達成可能であり、この場合、２次元ピクセル濃度は混合係数として使用される。
【００１４】
また、本発明に従って、身体ボリュームに対するインターベンション手順の間に取得される画像データを表示する方法であって、前記身体ボリュームに対する３次元画像データを取得して、前記身体ボリュームの３次元画像を再構成するステップと、前記身体ボリュームに対する２次元画像データを前記インターベンション手順の間に取得するステップと、前記２次元画像データを前記身体ボリュームの前記３次元画像の対応する領域に合わせるステップと、前記身体ボリュームの前記３次元画像の前記対応する領域内に前記２次元画像データを表示するステップとを有する方法が提供される。
【発明を実施するための最良の形態】
【００１５】
本発明の上記及び他の態様は、本明細書中で示される実施例から明らかとなり、これらを参照して説明される。
【００１６】
本発明の実施例について、以下、ほんの一例として添付の図面を参照して説明する。
【００１７】
インターベンションの前に、３次元回転スキャンが、取得され、再構成され、視覚化のために準備される。実際のインターベンションの間に、ライブの２次元（フルオロ）画像が取得され、処理され、３次元ボリュームと結合して視覚化される。
【００１８】
正確な視覚的印象を与えるために、入来するライブの２次元情報は、３次元表示ピラミッドに位置付けられ、注意深く３次元ボリューム情報とぴったりと合わせられなければならない。
【００１９】
３空間で２次元データを位置付けるために、２次元取得の間に使用された形状情報は、表示制御へ送られる。この形状情報を使用することによって、整合バーチャルカメラ設定、即ち、表示ピラミッド及び側面のラインは、３次元視覚化のために使用可能となる。
【００２０】
上述されたように、好ましい表示モードにより、２次元画像はミラーリングを受ける。結果として、画像は、３空間に位置付けられる場合に不適切な透視歪みを含む。しかし、２次元情報自体は、深さ情報の欠如に起因して再び歪曲されることはない。故に、取られるアプローチは、２次元画像化によって決定されるのと同じ反転表示投影の下で３次元情報を表示することである。同次座標の性質により、グラフィックパイプラインの一部である透視投影変換の変更によって所望の反転表示ピラミッドを決定することは不可能である。
【００２１】
その解決法は、Ｙ軸の周りでミラーリングを適用し、逆の並べ替え順で３次元情報を提示することである。
【００２２】
上記ミラーリングは、例えば、全てのｘ座標を反転させることによって達成されうる。これは、ｇｌＳｃａｌｅ（−１，１，１）動作によって（オープンＧＬで）決定され得る。３次元テクスチャマップに基づくボリュームレンダリングのために、並べ替えが系統立っている場合に、これは、表示ボリュームを通るテクスチャ加工されたスライスの並べ直しによって、容易に達成可能である。
【００２３】
３次元表面レンダリングに関して、逆並べ替え順序づけは、デフォルト隠面Ｚバッファ試験を変更することによって達成可能である。先と同じく、オープンＧＬで、これは、更に遠くのピクセルが隣接するピクセルに上書きするように、入来する値を深さバッファに存在する深さ値と比較するｇｌＤｅｐｔｈＦｕｎｃｔｉｏｎにより、特定され得る。
【００２４】
ミラー動作により、照明計算（ｌｉｇｈｔｉｎｇ  ｃａｌｃｕｌａｔｉｏｎｓ）に影響を及ぼすフロント／フェーシングポリゴンの概念は反転される。この反転は、デフォルトの反時計回りから時計回り方向へ投影されるポリゴンの順序づけされた頂点の座標を変更することによって対処可能である。
【００２５】
３次元ボリュームインプレッションを保ちながら２次元情報においてコントラストを保つために、特別な測定が視覚化のために行われるべきである。
【００２６】
輪郭レンダリングは、数ストロークを伴う、例えばボリュームモデルの構造などの相当量の情報を有効に伝達するために有用である（図３ａに示される動脈瘤の表面レンダリングと比較して、動脈瘤の輪郭レンダリングである図３ｂを参照せよ。）。ポリゴンメッシュに関して、輪郭エッジは、バックフェーシングポリゴンをフロントフェーシングポリゴンへ接続する全てのエッジの可視的部分から成る。ライブの２次元データによりボリュームデータをレンダリングするよう輪郭を結合することによって、ボリューム情報の多くは依然として伝達可能であり、一方で、このようなレンダリング方法は、ライブデータに対する最小限の妨害を与える。特に、双方向表示コンテキスト内で、多くの３次元情報が隠線処理によってもたらされる場合に、これは有効であると判明する。しかし、３次元モデルがそれほど双方向で調べられるわけではなく、且つ、座標がライブの２次元取得によって支持されるところのインターベンショナル・ラジオロジーのコンテキストでは、医術に基づくボリューム／表面レンダリングによって提供される“陰影情報からの形状”の多くは欠落している。他方で、ボリューム／表面レンダリングをライブの２次元画像と結合する場合には、２次元情報においてコントラストを保つという対象とする目標が失われる。
【００２７】
本願では、輪郭レンダリングとの結合の際に透過な表面／ボリュームレンダリングを使用することによって両方の方法の結合を行うことが提案される。透明度を選択することによって、３次元ボリュームインプレッションを保ちながら２次元情報においてコントラストを保つという、相反する必要条件の最適な設定がユーザ制御可能である。２次元情報を３次元ボリュームと結合するために、ライブデータは、２次元データが実際に存在する場合にのみ限って、３次元情報の表面に重ね合わされる。混合ハードウェアを使用することによって、これは、２次元ピクセル濃度を混合係数として使用することによってピクセルレベルで実行可能である。
【００２８】
実施可能な観測は、臨床的に関心を引くインターベンションデータが血管腔内にあることである。故に、血管ボリュームの内側の２次元情報を表示して、その外側の情報を削除して空白のままにしておくことが極めて有利である。ハードウェア・ステンシル・バッファを使用することによって、不規則な成形投影血管データの外側の（又は内側の）領域は、オンザフライでマスクアウトされ得る。血管樹の関心を引かない部分は、また、手動で切り取られても良い。
【００２９】
他方で、ボリュームデータは、また、例えば、動脈瘤を色分けすることによって、又は、仮想的に位置するステントやマーカーなどによって、豊かにされても良い。
【００３０】
リアルタイムで複合視覚化を行うために、既知のグラフィック・ハードウェアの最適な使用をすることが提案される。テクスチャ・マッピング・ハードウェアを使用することによって、ズーム及びパンは、当業者に理解されうるように、２次元／３次元画像複合において行うことが可能となる。ハードウェアサポートのルックアップテーブルを使用することによって、畳み込みカーネル、ウィンドウ幅／レベル及び画像拡大機能は、標準的なグラフィック・ハードウェアで動作することができる。
【００３１】
実施可能な観測は、３次元情報が、２次元形状パラメータが変更される場合又は３次元視覚化パラメータが修正される場合にのみ再表示されうることである。故に、ライブの２次元取得の間に、カラー及びステンシルバッファに含まれる３次元情報はバッファリングされて、再使用され得る。
【００３２】
提案される視覚化処理の概要は、図４に示される。
【００３３】
図面の図４を参照すると、本発明の実施例に従う画像表示システムは、身体ボリュームを表す３次元画像データを受け取る手段１０を有する。この画像データは、例えば、３次元ＲＡ（回転血管造影）法によって取得される。この画像データは、モジュール１２で再構成され、身体ボリュームの３次元画像が（モジュール１４で）表示される。手段１６は、また、手術器具が身体ボリューム内で動かされる場合に、例えば、Ｘ線透視法によって取得される身体ボリュームに対するライブの２次元画像データを受け取るために設けられる。（ブロック１８で表される）生成されたライブ画像は、２次元画像処理手段２０へ送られ、マスキング手段２２は、関心のある画像部分（即ち、手術器具の輪郭）のみを残すようにライブ画像をトリミングするために使用されても良い。制御手段は、表示制御モジュール２４及び視覚化制御モジュール２６を有する。ライブの２次元取得の間の取得システムの形状設定に基づく形状情報は、表示制御モジュール２４へ送られ、（同じく２次元取得システムの設定に基づく）表示制御信号３０は、３次元表示モジュール１４及び２次元画像処理手段２０へ送られる。視覚化制御モジュール２６は、ユーザ設定及びパラメータに従う透視制御を表し、且つ、実行されるレンダリングを識別する制御信号３２を発生させるよう配置される。視覚化制御モジュール２６は、また、モジュール２２によって実行される必要があるトリミング及びマスキングの程度を表す信号３４を発生させるよう配置され、信号３４から派生した信号３６は、また、輪郭強調及びノイズ低減を実行するよう２次元画像処理手段２０へ送られる。モジュール１４からの３次元画像データ及びモジュール２２からの２次元画像データは、画像複合モジュール３８へ送られる。画像複合モジュール３８は、関心のある画像を３次元身体ボリュームの対応する領域に合わせるよう配置される。３次元身体ボリューム内のライブの２次元画像データに関する結果として得られる画像は、モジュール４０で表示される。このようにして、２次元画像データのライブ取得の間の取得システムの形状設定に基づいて、整合３次元表示が作成され、その内部に２次元画像データが表示される。明らかなように、図４で、太い接続線は２次元画像データを表し、より細い接続線は３次元画像データを表し、破線は制御データを表す。
【００３４】
異なるシステム構成では、２次元画像は、前処理及び／又は保存をなされても良く、ボリュームデータとともに、それに関して再表示され、提示され得る。３次元視覚化は、また、Ｘ線データとともに登録されたＣＴ又は他のボリュームデータを基に行われることも可能である。
【００３５】
本発明の実施例に従う処理について、以下、放射光電球により説明する。
【００３６】
図５は、表面レンダリングを施された３次元ボリュームを示す。図６は、２次元ライブデータ画像を示す。図７は、２次元及び３次元の両画像の位置合わせされた複合を示す。図８は、輪郭強調及び混合制御の後の結合を示す。最後に、図９は、余計な無関係の情報を削除するためのトリミング動作の実行を表す。
【００３７】
要約すると、インターベンション手順の間の患者への造影剤及びＸ線の負荷を低減するために、本発明は、２次元ライブ画像を３次元再構成ボリューム情報と結合するためのリアルタイムの視覚化アーキテクチャを提供する。
【００３８】
一般に、２次元Ｘ線画像は、画像データにおいてミラーリング動作を適用することによって、下（後前）及び表示上部（前後）から記録される。再構成された３次元ボリューム内への２次元ライブ画像の正確な位置合わせを確保するために、本発明は、Ｙ軸周囲のミラーリングを３次元情報へ適用することによって、及び、逆の並べ替え順で３次元情報を提示することによって、２次元ライブ画像と同じ反対の表示角度で３次元情報を表示するよう提案する。更に、本発明の好ましい実施例では、３次元インプレッションを保ちながら２次元情報におけるコントラストを保つよう透過な表面／ボリュームレンダリングを輪郭レンダリングと結合することが提案される。このようにして、３次元インプレッションを保ちながら２次元情報におけるコントラストを保つという、相反する必要条件の最適な設計が、透明度を選択することによって、ユーザ制御され得る。本発明の他の重要な特徴は、血管ボリューム内に２次元情報のみを表示することによる無関係なデータの低減、及び、グラフィック・ハードウェアの最適な使用による２次元／３次元画像複合のリアルタイム視覚化である。
【００３９】
反転投影形状に関して、以下の付加的な見解を述べる。迷放射を低減するために、Ｘ線源は、インターベンションの間は診察台の下に置かれる。患者は、通常、診察台に上向きで横たわっており、医師は、従来、正面像表示を用いて作業するので、２次元Ｘ線画像は、一般に、上述されたように、かなりの反転透視歪みを有しうる。本発明の好ましい実施例では、同じ反転投影は、適切なバーチャルカメラ設定により反対側からボリュームモデルを観測することによってボリューム画像において取得される。その場合に、投影画像は、前側に置かれた視覚要素が後ろ側に位置付けられるように、後ろ側から前側へと再構成される。逆もまた同様である。
【００４０】
従って、例えば、患者の血管内でのガイドワイヤの位置などのインターベンション画像データは、本発明の上記の好ましい実施例に関するシステム及び方法により追跡記録され得る。それによって、入来する２次元Ｘ線画像データは、適切に３次元ボリュームデータに位置合わせされ、２次元情報におけるコントラストは、３次元ボリュームインプレッションを保ちながら維持され、余分且つ／あるいは無関係な情報の量は低減され、視覚化はリアルタイムで実行され得る。
【００４１】
留意すべきは、上記実施例は、本発明を説明しているのであって、限定するものではなく、更に、当業者は、添付の特許請求の範囲によって定められる本発明の適用範囲から逸脱することなく多数の代替の実施例を設計することができる点である。特許請求の範囲で、括弧内に置かれた如何なる参照符号も、請求の範囲を限定するように解釈されるべきではない。語「有する」は、いずれかの請求項又は全体として明細書に挙げられた以外の要素又はステップの存在を除外するものではない。要素の単一参照は、そのような要素の複数の存在を除外するものではない。逆も同様である。本発明は、幾つかの個別素子を有するハードウェアによって、更に、適切にプログラミングされたコンピュータによって、実施されても良い。幾つかの手段を列挙する装置クレームでは、これらの手段の幾つかは、ハードウェアの同一物品によって具現化されても良い。ある手段が相互に異なった従属請求項で挙げられるという単なる事実は、これらの手段の組合せが有利に使用され得ないことを示すわけではない。
【図面の簡単な説明】
【００４２】
【図１】Ｘ線スウィングアームの側面図である。
【図２】Ｘ線スウィングアークの斜視図である。
【図３ａ】動脈瘤の表面レンダリングを表す。
【図３ｂ】動脈瘤の輪郭レンダリングを表す。
【図４】本発明の実施例に従う画像表示システムの主な特徴を表すブロック図である。
【図５】本発明の実施例に従う３次元視覚化処理を放射光電球により表すために提示される説明図である。
【図６】本発明の実施例に従う３次元視覚化処理を放射光電球により表すために提示される説明図である。
【図７】本発明の実施例に従う３次元視覚化処理を放射光電球により表すために提示される説明図である。
【図８】本発明の実施例に従う３次元視覚化処理を放射光電球により表すために提示される説明図である。
【図９】本発明の実施例に従う３次元視覚化処理を放射光電球により表すために提示される説明図である。
【図１】
2008520312.tif 000003
【図２】
2008520312.tif 000004
【図３ａ】
2008520312.tif 000005
【図３ｂ】
2008520312.tif 000006
【図４】
2008520312.tif 000007
【図５】
2008520312.tif 000008
【図６】
2008520312.tif 000009
【図７】
2008520312.tif 000010
【図８】
2008520312.tif 000011
【図９】
2008520312.tif 000012
【国際調査報告】
2008520312.tif 000013
2008520312.tif 000014
2008520312.tif 000015
2008520312.tif 000016
2008520312.tif 000017