(57)【要約】【課題】  ２Ｄ／３Ｄ位置合わせに関し、時間を短縮すること及び／又はコンピュータ的な複雑さを低減すること。【解決手段】  実施形態に係る医用画像処理装置は、処理部を備えている。処理部は、被検体の解剖学的領域を表す３Ｄ画像及びストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、設定した第一のレンダリング方向に基づいて３Ｄ画像から第一のレンダリングされた画像を生成する。処理部は、２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定する。条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存する。条件が満たされた場合には、後続の２Ｄ画像のうちの一つを選択し、３Ｄ画像及び選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行する。【選択図】図３
2020054794.tif 000002
【特許請求の範囲】
【請求項１】
被検体の解剖学的領域を表す三次元（３Ｄ）画像を取得し、
前記被検体の前記解剖学的領域を表す二次元（２Ｄ）画像のストリームを収集し、
前記３Ｄ画像及び前記２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定し、
前記第一のレンダリング方向に基づいて前記３Ｄ画像から第一のレンダリングされた画像を生成し、
前記２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定し、前記条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存しており、
前記条件が満たされた場合には、
前記後続の２Ｄ画像のうち、前記条件が満たされた判定結果に対応する２Ｄ画像又は前記判定結果の直後の２Ｄ画像を選択し、
前記３Ｄ画像及び前記選択された２Ｄ画像について２Ｄ／３Ｄ位置合わせ処置を実行することにより、前記第一のレンダリング方向を第二のレンダリング方向に再設定し、
前記第二のレンダリング方向に基づいて前記３Ｄ画像から第二のレンダリングされた画像を再生成する、
処理部を具備する医用画像処理装置。
【請求項２】
前記３Ｄ画像は、前記被検体の処置を実行する前に取得された術前画像を具備し、前記２Ｄ画像のストリームは、前記被検体の処置の実行中にリアルタイムで又はほぼリアルタイムで収集された術中２Ｄ画像のストリームを備える請求項１記載の医用画像処理装置。
【請求項３】
前記２Ｄ／３Ｄ位置合わせ処置は、前記２Ｄ画像のストリームの更なる２Ｄ画像の前記収集と並行して実行される請求項１記載の医用画像処理装置。
【請求項４】
前記後続の２Ｄ画像のそれぞれに対して、前記処理部は、前記後続の２Ｄ画像と第一の２Ｄ画像との間の個別の２Ｄ／２Ｄ位置合わせを実行し、前記後続の２Ｄ画像と前記第一の２Ｄ画像との間のアライメントの大きさを示す指標値を決定し、
前記第一の２Ｄ画像は、前記２Ｄ／３Ｄ位置合わせ処置に用いた２Ｄ画像である、請求項１記載の医用画像処理装置。
【請求項５】
前記第一の２Ｄ画像は、前記２Ｄ／３Ｄ位置合わせ処置に用いた２Ｄ画像に代えて、前記第一のレンダリングされた画像である、請求項４記載の医用画像処理装置。
【請求項６】
前記条件が満たされたかの決定は、前記指標値が第一のしきい値を超えるかどうかの判定を具備する請求項４または５に記載の医用画像処理装置。
【請求項７】
前記処理部は、前記第一のレンダリングされた画像が前記後続の２Ｄ画像のうちの少なくとも一つと融合された融合画像を生成する、請求項１記載の医用画像処理装置。
【請求項８】
前記処理部は、
前記３Ｄ画像及び前記選択された２Ｄ画像の前記２Ｄ／３Ｄ位置合わせと並行して、更なる２Ｄ画像を前記第一のレンダリングされた画像と融合することにより、融合画像を連続して生成し、
前記２Ｄ／３Ｄ位置合わせが一度完了したら、更なる２Ｄ画像を前記第二のレンダリングされた画像と融合することにより、融合画像を連続して生成する、
請求項１記載の医用画像処理装置。
【請求項９】
前記条件は、前記最後の２Ｄ／３Ｄ位置合わせ処置からの時間が第二のしきい値を超えた場合に満たされる請求項１記載の医用画像処理装置。
【請求項１０】
前記処理部は、
前記第一の２Ｄ画像について少なくとも一つのミスアライメントを誘発することと、
前記誘発されたミスアライメントのそれぞれに対して、個別の指標値を決定することと、
前記個別の指標値に基づいて前記第一のしきい値を決定することと、
により前記第一のしきい値を決定する、
請求項６記載の医用画像処理装置。
【請求項１１】
前記誘発されたミスアライメントは、回転、並進、拡大縮小のうちの少なくとも一つを備える請求項１０記載の医用画像処理装置。
【請求項１２】
前記処理部は、再位置合わせに対するユーザ要求を受け取り、前記ユーザ要求に応答して前記３Ｄ画像と前記２Ｄ画像のストリームのうちの一つとの２Ｄ/３Ｄ位置合わせを実行する、請求項１記載の医用画像処理装置。
【請求項１３】
前記処理部は、
ａ）前記条件が満たされた場合のグラフィカルな指摘、
ｂ）２Ｄ／３Ｄ位置合わせ処置の進行のグラフィカルな指摘、
ｃ）次の２Ｄ／３Ｄ位置合わせ処置までの時間のグラフィカルな指摘、
ｄ）指標値のグラフィカルな指摘、
ｅ）第一のしきい値及び／又は第二のしきい値のグラフィカルな指摘、
のａ）からｅ）までのうちの少なくとも一つを提供する、請求項１記載の医用画像処理装置。
【請求項１４】
前記処置は、Ｘ線透視誘導での針生検、腫瘍焼灼、腫瘍塞栓、動脈瘤治療、血管インターベンション、筋骨格インターベンション、心臓弁の修復又は心臓弁の交換、腹腔鏡検査のうちの少なくとも一つを具備する請求項１記載の医用画像処理装置。
【請求項１５】
前記３Ｄ画像は、Ｘ線ＣＴ装置、ＭＲＩ装置、又はＸ線診断装置のうちの少なくとも一つによりキャプチャされたものである請求項１記載の医用画像処理装置。
【請求項１６】
前記２Ｄ画像のストリームは、Ｘ線診断装置又は超音波診断装置によりキャプチャされたものである請求項１記載の医用画像処理装置。
【請求項１７】
Ｘ線を被検体に照射するＸ線管と、
前記Ｘ線管により照射されて前記被検体を通過したＸ線を検出するＸ線検出器と、
前記被検体の解剖学的領域を表す三次元（３Ｄ）画像を取得し、
前記Ｘ線検出器による検出結果に基づいた前記被検体の前記解剖学的領域を表す二次元（２Ｄ）画像のストリームを収集し、
前記３Ｄ画像及び前記２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定し、
前記第一のレンダリング方向に基づいて前記３Ｄ画像から第一のレンダリングされた画像を生成し、
前記２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定し、前記条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存しており、
前記条件が満たされた場合には、
前記後続の２Ｄ画像のうち、前記条件が満たされた判定結果に対応する２Ｄ画像又は前記判定結果の直後の２Ｄ画像を選択し、
前記３Ｄ画像及び前記選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、前記第一のレンダリング方向を第二のレンダリング方向に再設定し、
前記第二のレンダリング方向に基づいて前記３Ｄ画像から第二のレンダリングされた画像を再生成する、
処理部と、
を具備するＸ線診断装置。
【請求項１８】
被検体の解剖学的領域を表す三次元（３Ｄ）画像を取得すること、
前記被検体の前記解剖学的領域を表す二次元（２Ｄ）画像のストリームを収集すること、
前記３Ｄ画像及び前記２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定すること、
前記第一のレンダリング方向に基づいて前記３Ｄ画像から第一のレンダリングされた画像を生成すること、
前記２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定すること、前記条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存しており、
前記条件が満たされた場合には、
前記後続の２Ｄ画像のうち、前記条件が満たされた判定結果に対応する２Ｄ画像又は前記判定結果の直後の２Ｄ画像を選択すること、
前記３Ｄ画像及び前記選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、前記第一のレンダリング方向を第二のレンダリング方向に再設定すること、
前記第二のレンダリング方向に基づいて前記３Ｄ画像から第二のレンダリングされた画像を再生成すること、
を具備する医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、医用画像処理装置、Ｘ線診断装置及び医用画像処理方法に関する。
【背景技術】
【０００２】
患者又は他の被検体の解剖学的領域を表すボリューム画像データを収集することが知られている。ボリューム画像データは、解剖学的領域に関する医療処置の実行の前に、収集することができる。処置に先立ち収集されたボリューム画像データは、「術前ボリュームデータ」と呼ぶことができる。
【０００３】
術前ボリュームデータは、例えばコンピュータ断層撮影（ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ：ＣＴ）、磁気共鳴（ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ：ＭＲ）、又はコーンビームＣＴ（ＣＢＣＴ）等、任意の適切な三次元撮像モダリティを使用して取得することができる。
【０００４】
下記の考察では、ボリューム画像データのセットを、画像ボリューム、３次元（３Ｄ）画像、又は３Ｄスキャンとも呼ぶこともある。
【０００５】
医療措置が実行されている間に、ライブ２Ｄ画像データを収集することも知られている。ライブ２Ｄ画像データは、リアルタイム又はほぼリアルタイムで収集された２Ｄ画像のストリームを備えることができる。
【０００６】
医療措置の間に実行されるライブ２Ｄ撮像も、術中（intra-operative）２Ｄ撮像又はリアルタイム２Ｄ撮像と呼ぶことができる。
【０００７】
術中２Ｄ画像は、任意の適切な２Ｄ撮像モダリティを使用して取得することができる。例えば、２Ｄ  Ｘ線透視画像は、Ｘ線スキャナを使用して取得することができるし、２Ｄ超音波画像は、超音波スキャナを使用して取得することができる。
【０００８】
Ｘ線透視等の術中２Ｄ画像は、特定の解剖学的対象に向かって（又は遠ざかって）医用デバイスのライブ誘導のために使用することができる。臨床医は、患者の身体における医用デバイスの現在の位置を決定するために、そしてリアルタイムで患者の身体の中を通して医用デバイスをナビゲートするために、ライブ２Ｄ画像のストリームを使用することがある。例えば、医用デバイスは、針又はカテーテルの場合がある。特定の解剖学的対象は、例えば腫瘍、骨、肺、又は血管等、２Ｄデータにおいて目に見える解剖学的対象とすることができる。
【０００９】
術前の３Ｄ画像及び２Ｄ術中画像のストリーム両方が、例えば臨床医等のユーザに提示される方法が知られている。術前３Ｄ画像は、臨床医が解剖学的対象に向けて（又は遠ざかって）医用デバイスを誘導するのを支援できる。係る解剖学的対象は、例えば腫瘍、骨、肺、又は血管等、３Ｄデータ及び２Ｄ両方において目に見える、任意の解剖学的対象とすることができる。
【００１０】
３Ｄデータは、２Ｄデータだけからでは利用できない情報を提供できる。３次元が存在することで、付加的なナビゲーション情報を臨床医にもたらすことがある。状況次第で、３Ｄデータは、２Ｄデータに比べてより高い解像度の場合がある。また状況により、３Ｄデータは、２Ｄデータを収集するために使用された撮像モダリティとは異なる撮像モダリティを使用して収集された場合もある。異なる撮像モダリティの使用により、臨床医に付加的な情報を提供することができる。
【００１１】
画像誘導インターベンションにおける未開拓分野（frontier）は、術前のボリューム画像データと術中２Ｄ画像との信頼できるアライメントだと考えることができる。
【００１２】
ユーザ（例えば臨床医）に有益な情報を提供するためには、ボリュームデータの座標系は、術中２Ｄ画像の座標系とアライメントされるべきである。
【００１３】
座標系同士が一度アライメントされたら、画像は、３Ｄデータからレンダリングされた画像における解剖学的特徴の位置が、２Ｄ画像におけるその解剖学的特徴の位置と同じになるようにして、表すことができる。融合画像は、２Ｄ画像及び３Ｄ画像からデータを融合させることにより、取得することができる。
【００１４】
２Ｄ画像及び３Ｄ画像をアライメントするために、２Ｄ／３Ｄ位置合わせ（registration）処理を実行することができる。２Ｄ／３Ｄ位置合わせは、時間がかかる及び／又はコンピュータ的に複雑な場合がある。
【００１５】
２Ｄ／３Ｄ位置合わせのある形式で、デジタル再構成放射線画像（Ｄｉｇｉｔａｌｌｙ  Ｒｅｃｏｎｓｔｒｕｃｔｅｄ  Ｒａｄｉｏｇｒａｐｈ：ＤＲＲ）は、３Ｄ画像からレンダリングされる。ＤＲＲは、３Ｄスキャンの２Ｄ投影のタイプである。ＤＲＲは、その後２Ｄ画像へと位置合わせされる。
【００１６】
ＤＲＲをレンダリングすることは、多くの時間を要する場合がある。単一の２Ｄ／３Ｄ位置合わせ処理は、ＤＲＲ取得の多重反復（multiple iterations）を備えることがある。多重ＤＲＲ反復の利用により、２Ｄ／３Ｄ位置合わせのために取られる時間が増える場合がある。
【００１７】
ＤＲＲは、２Ｄ画像から異なる画像特性（例えば、輝度及びコントラスト）を有することがある。係る異なる画像特性が原因で、マルチモダリティ位置合わせ法（例えば、相互情報量）は、ＤＲＲを２Ｄ画像へと位置合わせするために使用される場合もある。状況次第で、マルチモダリティ位置合わせ法は、同じモダリティの画像同士を位置合わせする方法に比べて、より複雑、より時間を要する及び／又は精度で劣る場合がある。
【００１８】
図１は、背骨の一部の例である、解剖学的領域のＸ線透視画像の例を示している。図２は、同じ解剖学的領域を表す、３Ｄデータから作成されたＤＲＲを示す。ＤＲＲは、２Ｄデータと同様の縮尺と大きさになるように拡大縮小されている。図２のＤＲＲと図１のＸ線透視画像は、同様に見える画像であるが、似ていないように見えるかもしれない。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０１０−１１９６５４号公報
【特許文献２】特表２０１４−５０９８９６号公報
【特許文献３】特開２０１３−７１０１６号公報
【特許文献４】特開２０１６−１７８９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本発明が解決しようとする課題は、２Ｄ／３Ｄ位置合わせに関し、時間を短縮すること及び／又はコンピュータ的な複雑さを低減することである。
【課題を解決するための手段】
【００２１】
実施形態に係る医用画像処理装置は、処理部を備えている。  
前記処理部は、被検体の解剖学的領域を表す三次元（３Ｄ）画像を取得する。  
前記処理部は、前記被検体の前記解剖学的領域を表す二次元（２Ｄ）画像のストリームを収集する。  
前記処理部は、前記３Ｄ画像及び前記２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定する。  
前記処理部は、前記第一のレンダリング方向に基づいて前記３Ｄ画像から第一のレンダリングされた画像を生成する。  
前記処理部は、前記２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定する。ここで、前記条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存している。
【００２２】
前記条件が満たされた場合には、前記処理部は、前記後続の２Ｄ画像のうちの一つを選択する。例えば処理部は、前記後続の２Ｄ画像のうち、前記条件が満たされた判定結果に対応する２Ｄ画像又は前記判定結果の直後の２Ｄ画像を選択してもよい。前記処理部は、前記３Ｄ画像及び前記選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第二のレンダリング方向を取得するために前記第一のレンダリング方向をリセットする。例えば処理部は、２Ｄ／３Ｄ位置合わせ処理を実行することにより、第一のレンダリング方向を第二のレンダリング方向に再設定してもよい。前記処理部は、前記第二のレンダリング方向に基づいて前記３Ｄ画像から第二のレンダリングされた画像を再生成する。
【図面の簡単な説明】
【００２３】
【図１】図１は、Ｘ線透視画像を示す模式図である。
【図２】図２は、３Ｄデータから作成され、且つ図１のＸ線透視画像と同様の縮尺と大きさになるように拡大縮小されたデジタル再構成放射線画像を示す模式図である。
【図３】図３は、実施形態に係る装置の概略図である。
【図４】図４は、実施形態に係るＸ線診断装置の概略図である。
【図５】図５は、２Ｄ／３Ｄ位置合わせ法の概要を説明するフローチャートである。
【図６】図６は、実施形態に係る方法の概要を説明するフローチャートである。
【図７】図７は、２Ｄ画像の、引き起こされた（induced）回転の概略図である。
【図８】図８は、実施形態に従ってフレームのストリーム及び非同期２Ｄ／３Ｄ位置合わせの概要を説明するフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら、非限定的な例である実施形態について説明する。実施形態は、例えば針又はカテーテルインターベンションのＸ線透視に基づくライブ誘導下において、一般に、３Ｄスキャンがライブ２Ｄ画像と位置合わせされる医用撮像に関する。実施形態に係る医用画像処理装置１０が、図３に概略的に描かれる。
【００２５】
装置１０は、今回の場合にはパーソナルコンピュータ（ＰＣ）又はワークステーションである計算装置１２を備える。係る計算装置１２は、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナ１４、Ｘ線スキャナ１５、一つ又は複数の表示スクリーン１６、そしてコンピュータキーボード、マウス、又はトラックボール等の入力デバイス１８に接続されている。
【００２６】
ＣＴスキャナ１４は、患者又は他の被検体の解剖学的領域を表すボリュームＣＴデータを取得するよう構成されている。本実施形態において、ボリュームＣＴデータは、処置が実行される前に、つまり術前に収集されたものである。ボリューム画像データは、ボリューム画像又は３Ｄ画像とも呼ぶことができる。言い換えると、３Ｄ画像は、被検体の処置を実行する前に取得された術前画像を備えてもよい。ボリューム画像又は３Ｄ画像について実行されているように説明される操作は、複数のボクセル及び対応するボクセル値（例えば、ボクセル輝度値）を具備する３Ｄデータセットに関して実行することができる。
【００２７】
代わりの実施形態において、ＣＴスキャナ１４は、例えばＣＴスキャナ、コーンビームＣＴスキャナ、ＭＲＩ（ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ  ｉｍａｇｉｎｇ：磁気共鳴撮像）スキャナ、又は超音波スキャナ等、任意の適当な撮像モダリティでのボリューム画像データを取得するよう構成されたスキャナによって、置き換える又は補うことができる。幾つかの実施形態において、ボリューム画像データは、多重二次元スキャンを収集することにより取得することができる。
【００２８】
Ｘ線スキャナ１５は、同じ患者又は他の被検体の同じ解剖学的領域を表す、Ｘ線データを取得するよう構成することができる。本実施形態において、Ｘ線データは、処置の実行の間、即ち術中に取得された２Ｄ  Ｘ線透視データを備える。補足すると、２Ｄ画像のストリームは、被検体の処置の実行中にリアルタイムで又はほぼリアルタイムで収集された術中２Ｄ画像のストリームを備えてもよい。２Ｄ  Ｘ線透視データのセットは、２Ｄ画像とも呼ぶことができる。２Ｄ画像に実行されているように説明される操作は、複数のピクセル及び対応するピクセル値（例えば、ピクセル輝度値）を備える、２Ｄデータセットに実行することができる。
【００２９】
代わりの実施形態において、Ｘ線スキャナ１５は、任意の適当な２次元撮像モダリティ、例えばライブ２Ｄ超音波画像を取得するよう構成された超音波スキャナで、又はライブビデオ画像を取得するよう構成されたビデオカメラで、画像データを取得するよう構成された任意のスキャナによって、置き換える又は補うことができる。
【００３０】
ＣＴスキャナ及び／又はＸ線スキャナ１５により取得された画像データセットは、メモリ２０に格納され、その後に計算装置１２へと提供することもできるし、又は直接計算装置１２へと提供することもできる。代わりの実施形態において、画像データセットは、医用画像保管通信システム（Ｐｉｃｔｕｒｅ  Ａｒｃｈｉｖｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ：ＰＡＣＳ）の一部を形成することが出来る遠隔データストア（図示せず）から供給される。係るメモリ２０又は遠隔データストアは、メモリ格納の任意の適切な形式を備えることができる。
【００３１】
本実施形態において、ＣＴスキャナ１４及びＸ線スキャナ１５は、計算装置１２に接続される。画像データは、Ｘ線スキャナ１５によりリアルタイム又はほぼリアルタイムで提供される。その他の実施形態において、ＣＴスキャナ１４及び／又はＸ線スキャナ１５は、計算装置１２に接続されていない場合もある。
【００３２】
計算装置１２は、画像データセットを自動的に又は半自動的に処理するための処理資源を提供し、且つ中央処理装置（ＣＰＵ）２２を備える。ＣＰＵ２２は、被検体の解剖学的領域を表す三次元（３Ｄ）画像を取得し、被検体の解剖学的領域を表す二次元（２Ｄ）画像のストリームを収集し、当該３Ｄ画像及び当該２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定し、当該第一のレンダリング方向に基づいて当該３Ｄ画像から第一のレンダリングされた画像を生成し、当該２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定する、よう構成されている。ここで、条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存している。ＣＰＵ２２は、当該条件が満たされた場合には、当該後続の２Ｄ画像のうちの一つを選択し、当該３Ｄ画像及び当該選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第二のレンダリング方向を取得するために第一のレンダリング方向をリセットし、当該第二のレンダリング方向に基づいて当該３Ｄ画像から第二のレンダリングされた画像を再生成する、よう構成されている。例えばＣＰＵ２２は、当該条件が満たされた場合には、当該後続の２Ｄ画像のうち、当該条件が満たされた判定結果に対応する２Ｄ画像又は当該判定結果の直後の２Ｄ画像を選択し、当該３Ｄ画像及び当該選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を第二のレンダリング方向に再設定し、当該第二のレンダリング方向に基づいて当該３Ｄ画像から第二のレンダリングされた画像を再生成する、よう構成されている。ＣＰＵ２２は、処理部の実現手段の一例である。
【００３３】
計算装置１２は、２Ｄ／３Ｄ及び２Ｄ／２Ｄ位置合わせ（registration）処理を実行するよう構成された位置合わせ回路２４と、位置合わせ条件を満足するかを判定する評価回路２６と、３Ｄ及び／又は２Ｄデータから画像をレンダリングするよう構成されたレンダリング回路２８と、を含む。回路２４、２６、２８は、それぞれＣＰＵ２２の上述した処理を分担して実行する。なお、回路２４、２６、２８の処理の分担内容は、適宜、変更してもよい。また、構成要素の名称は、適宜、変更してもよい。例えば、「評価回路」の名称は、「判定回路」等と読み替えてもよい。あるいは、「・・・回路」の名称は、「・・・機能」又は「・・・部」等と読み替えてもよい。同様に、「ＣＰＵ」の名称は、「処理回路」又は「処理部」等と読み替えてもよい。
【００３４】
本実施形態において、回路２４、２６、２８は、実施形態の方法を実行可能なコンピュータ読み取り可能な命令を有するコンピュータプログラムを用いて、計算装置１２にそれぞれ実装される。しかしながら、他の実施形態において、様々な回路は、一つ又は複数のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ：特定用途向け集積回路）又はＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙｓ：フィールドプログラマブルゲートアレイ）として実装することができる。
【００３５】
計算装置１２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、様々なデバイスドライバを含むオペレーティングシステム、そしてグラフィックスカード等を含むハードウェアデバイス等、その他のＰＣの構成要素と、も含む。この様な構成要素は、図を見やすくする為、図３には示されていない。
【００３６】
更なる実施形態に係るＸ線診断装置３０が、図４に模式的に描かれる。図４の実施形態において、計算装置１２は、「Ｘ線スキャナ」と呼ぶこともできるＸ線診断装置３０へと統合される。Ｘ線診断装置３０は、Ｘ線を被検体に照射するよう構成されたＸ線管３２と、係るＸ線管より照射されて被検体を通過したＸ線を検出するよう構成されたＸ線検出器３４と、前述同様の計算装置１２とを備えている。複数のフレームのストリームの各フレームに対して、検出されたＸ線は、計算装置１２へと提供される２Ｄ  Ｘ線画像を形成するために使用される。２Ｄ  Ｘ線画像は、上述の通り、術中画像である。計算装置１２は、表示スクリーン１６、入力デバイス１８及びメモリ２０に接続されている。「表示スクリーン」は、「ディスプレイ」又は「表示部」等と読み替えてもよい。
【００３７】
図４の実施形態において、術前３Ｄ画像データがメモリ２０に格納される。他の実施形態において、術前３Ｄ画像データは、任意の適切なメモリストア又は装置から、計算装置１２によって取得することができる。
【００３８】
図３の装置は、図５のフローチャート及び図６のフローチャートにおいて概要が説明された方法と、図７に概略的に描かれた方法とを実行するよう構成される。同様の方法は、図４の装置を使用して実行することができる。図５及び図６に示す方法は、被検体の解剖学的領域を表す三次元（３Ｄ）画像を取得すること、被検体の解剖学的領域を表す二次元（２Ｄ）画像のストリームを収集すること、当該３Ｄ画像及び当該２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定すること、当該第一のレンダリング方向に基づいて当該３Ｄ画像から第一のレンダリングされた画像を生成すること、当該２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定すること、を備えている。ここで、条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存している。また、図５及び図６に示す方法は、当該条件が満たされた場合には、当該後続の２Ｄ画像のうちの一つを選択すること、当該３Ｄ画像及び当該選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第二のレンダリング方向を取得するために上記第一のレンダリング方向をリセットすること、当該第二のレンダリング方向に基づいて当該３Ｄ画像から第二のレンダリングされた画像を再生成すること、を備えている。例えば、図５及び図６に示す方法は、当該条件が満たされた場合には、当該後続の２Ｄ画像のうち、当該条件が満たされた判定結果に対応する２Ｄ画像又は当該判定結果の直後の２Ｄ画像を選択すること、当該３Ｄ画像及び当該選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を第二のレンダリング方向に再設定すること、当該第二のレンダリング方向に基づいて当該３Ｄ画像から第二のレンダリングされた画像を再生成すること、を備えている。また、図５及び図６等に示す方法は、医用画像処理方法と呼んでもよい。
【００３９】
図５は、２Ｄ／３Ｄ位置合わせ処理の概要を説明するフローチャートである。２Ｄ／３Ｄ位置合わせ処理は、術前３Ｄデータ４０を術中２Ｄデータ４２と位置合わせするために使用される。術中２Ｄデータ４２は、処置中に収集された２Ｄ画像を備えている。術中２Ｄデータ４２は、「Ｘ線透視データ４２」、「Ｘ線透視画像フレーム４２」、「ライブ画像４２」又は「２Ｄ画像４２」ともいう。
【００４０】
図５を参照する下記の考察では、単一の２Ｄ画像の２Ｄ／３Ｄ位置合わせのみを検討している。図６及び図７を参照する後続の考察では、２Ｄ画像のストリームの多重画像の位置合わせについて検討する。図６及び図７の実施形態において、図５の２Ｄ／３Ｄ位置合わせ処理は、画像のストリームの選択された画像に対して実行されるが、画像のストリームのその他の画像に対しては実行されない。画像のライブストリームの選択された画像にのみ（全ての画像の代わりに）、２Ｄ／３Ｄ位置合わせを実行することで、より効率的な位置合わせ処理を取得することができる。
【００４１】
図５の実施形態において、術前３Ｄデータ４０は、ボリュームＣＴデータを備えている。係る術前３Ｄデータ４０は、「インターベンション前データ４０」とも呼ぶことができる。
【００４２】
ボリュームＣＴデータ４０は、針インターベンション処置の実行に先立ち、ＣＴスキャナ１４によって収集される。他の実施形態において、例えばカテーテルベースの又はプローブベースのインターベンション等、Ｘ線透視誘導を用いるインターベンションの任意の形式の実行に先立ち、ボリュームデータが要求されることがある。
【００４３】
ボリュームＣＴデータは、針が誘導される予定の所定の対象位置を含む、解剖学的領域のＣＴスキャンを備える。ボリュームＣＴデータ４０は、３次元における解剖学的領域の詳細なビューを提供する。ボリュームＣＴデータ４０は、針が解剖学的領域へと導入される前の解剖学的領域を表す。これに伴い、ＣＰＵ２２は、被検体の解剖学的領域を表す三次元（３Ｄ）画像をＣＴスキャナ１４から取得する。
【００４４】
術中２Ｄデータは、Ｘ線透視データ４２を備える。Ｘ線透視データ４２は、針インターベンション処置中にＸ線スキャナ１５によって収集されたＸ線透視画像のライブストリームの単一フレームに関する画像データを備える。Ｘ線透視画像フレーム４２は、解剖学的領域内での針の現在位置を表している解剖学的領域のライブ画像である。これに伴い、ＣＰＵ２２は、被検体の解剖学的領域を表す二次元（２Ｄ）画像のストリームをＸ線スキャナ１５から収集する。
【００４５】
その他の実施形態において、インターベンション前データ４０は、任意の適切なモダリティのボリュームデータとすることができる。Ｘ線透視データ４２は、任意の適当な２Ｄデータ、例えば、任意の適切なモダリティの画像のストリームのフレーム等とすることができる。
【００４６】
位置合わせ回路２４は、図５のフローチャートのステージ４４〜５４を備える２Ｄ／３Ｄ位置合わせ処理を実行するよう構成される。２Ｄ／３Ｄ位置合わせ処理において、３Ｄデータ４０は、ライブ画像４２とアライメントされる。
【００４７】
ステージ４４で、面を選択するために、初期位置合わせ変換が３Ｄデータセット４０へと適用される。３Ｄデータにおいて選択された面は、ライブ画像４２の面と対応する場合がある。
【００４８】
使用される初期位置合わせ変換は、例えばフレームのストリームの以前のフレームの位置合わせから取得された位置合わせ変換に基づく場合がある。状況により（例えば、２Ｄ／３Ｄ位置合わせが連続（series）の第一のフレームに実行される場合）、初期位置合わせ変換は、ＣＴスキャナ１４及びＸ線スキャナ１５の走査幾何学（scanning geometries）間の公知の関係を使用して取得することができる。幾つかの実施形態において、初期位置合わせ変換は、ユーザが手動で２Ｄ画像を３Ｄデータとアライメントさせる手動アライメント処理から取得することができる。
【００４９】
本実施形態において、初期位置合わせ変換は、剛体変換である。その他の実施形態において、初期位置合わせ変換は、任意の適切な剛体又は非剛体変換とすることができる。初期位置合わせ変換は、回転パラメータ、並進パラメータ、及び／又は拡大縮小（scaling）パラメータを備えることができる。初期位置合わせ変換は、例えばワープパラメータ等の変形パラメータを備えることもできる。
【００５０】
ステージ４６で、レンダリング回路２８は、３Ｄデータセットからデジタル再構成放射線画像（Ｄｉｇｉｔａｌｌｙ  Ｒｅｃｏｎｓｔｒｕｃｔｅｄ  Ｒａｄｉｏｇｒａｐｈ：ＤＲＲ）をレンダリングする。初期位置合わせ変換は、ＤＲＲの面を選択するために使用される。
【００５１】
ＤＲＲは、３Ｄデータセット４０の２Ｄ投影である。スプリンガー百科事典の放射線腫瘍学（Ｓｐｒｉｎｇｅｒ‘ｓ  Ｅｎｃｙｃｌｏｐｅｄｉａ  ｏｆ  Ｒａｄｉａｔｉｏｎ  Ｏｎｃｏｌｏｇｙ）では、デジタル再構成放射線画像に関し次の通り説明している。「コンピュータシステムにより生成された、画像収集のオリジナル面以外の、面における再構成画像又は画像のセット」。ＤＲＲを形成するために、投影アルゴリズムは、３Ｄデータセットのデータを、データ収集のオリジナル面ではない面へと投影する。データが投影される面は、空間で何らかの方向を向いている。本実施形態において、係る面は、初期位置合わせ変換を使用して決定される。
【００５２】
本実施形態において、投影アルゴリズムは、ＤＲＲのピクセル値を取得するために、平均輝度投影を使用する。その他の実施形態において、投影アルゴリズムは、ＤＲＲの最終個別ピクセル値を取得するために、様々な投影法のうちの任意の一つを使用することができる。
【００５３】
ステージ４８で、位置合わせ回路２４は、２Ｄ／２Ｄ位置合わせを実行する。２Ｄ／２Ｄ位置合わせは、２Ｄ画像４２を用いてステージ４６で生成されたＤＲＲの位置合わせを備える。
【００５４】
２Ｄ／２Ｄ位置合わせは、任意の適切な剛体又は非剛体位置合わせ法を使用して実行することができる。本実施形態において、２Ｄ／２Ｄ位置合わせは、マルチモダリティ位置合わせ法を備える。
【００５５】
位置合わせ回路２４は、本実施形態においては相互情報量である、類似性計測に関する値を計算する。
【００５６】
ステージ５０で、位置合わせ回路２４は、ステージ４８で取得された類似性計測に関する値と、類似性計測に関する少なくとも一つの過去の値とを比較することにより、２Ｄ／２Ｄ位置合わせが改善しているかを評価する。
【００５７】
ステージ４８の第一の例では、比較するための類似性計測に関する過去の値が存在しないため、処理はステージ５２へと進む。
【００５８】
ステージ５２で、位置合わせ回路２４は、更新された位置合わせ変換を生成する。本実施形態において、位置合わせ回路２４は、以前の位置合わせ変換と比較した場合に、回転パラメータと、並進パラメータと、拡大縮小パラメータとのうちの少なくとも一つに関する値を変更することにより、更新された位置合わせ変換を生成する。（ステージ５２の第一の例では、過去の位置合わせ変換は初期位置合わせ変換である。）パラメータは、例えばパウエル（Ｐｏｗｅｌｌ）のアルゴリズム等、任意の適当な最適化法を使用して変更することができる。
【００５９】
ステージ４４の第二の例へと処理は進む。ステージ４４で、更新された位置合わせ変換は、更なる面を取得するために３Ｄデータセット４０へと適用される。
【００６０】
ステージ４６で、レンダリング回路２８は、３Ｄデータセットを更なる面へと投影することで、３Ｄデータセット４０から新たなＤＲＲをレンダリングする。係る新たなＤＲＲは、使用された位置合わせ変換が異なるため、第一のＤＲＲとは異なる面に投影される。
【００６１】
ステージ４８で、位置合わせ回路２４は、新たなＤＲＲを２Ｄ画像４２へと位置合わせし、且つ類似性計測に関する新たな値を出力する。
【００６２】
ステージ５０で、位置合わせ回路２４は、類似性計測に関する新たな値を、類似性計測に関する過去の値と比較することで、位置合わせが改善しているかを判定する。本実施形態において、類似性計測は、相互情報量である。位置合わせ回路２４は、相互情報量に関する新たな値が過去の値に比べてより高い場合には、位置合わせが改善していると判定する。他の実施形態において、類似性計測は、改善された位置合わせをより低い値が表すようにすることもできる。
【００６３】
本実施形態において、位置合わせ回路２４は、類似性計測に関する新たな値を、類似性計測に関する先行する値と即座に比較することにより、位置合わせが改善しているかを判定する。その他の実施形態において、位置合わせ回路は、類似性計測に関する新たな値を、過去の値の任意の適切な数と比較することができる。その数とは、例えば、ステージ４８での先行する２つ、３つ、又は４つの事例で計算された類似性計測に関する値である。
【００６４】
位置合わせが改善していると位置合わせ回路２４が判定した場合に、処理はステージ５２へと再度戻り、位置合わせ変換は、上述の通り更新し直される。
【００６５】
位置合わせがこれ以上改善しない場合に、図５の処理はステージ５４へと移る。
【００６６】
ステージ５４で、図５の２Ｄ／３Ｄ位置合わせ処理は完了する。位置合わせ回路２４は、最終変換を出力する。係る最終変換は、３Ｄデータセット４０の座標系を２Ｄ画像４２の座標系へと変換する３Ｄ変換である。
【００６７】
最終変換は、最終更新された位置合わせ変換（３Ｄ変換である）を、ステージ４８の最終２Ｄ／２Ｄ位置合わせにおいて取得された２Ｄ変換と組み合わせることで、取得することができる。
【００６８】
最終変換は、類似性計測の最も良い（例えば、一番高い）値となる変換とすることができる。
【００６９】
図５の２Ｄ／３Ｄ位置合わせ処理は、３Ｄデータの座標空間を、２Ｄ画像のライブストリームの選択されたフレームの座標空間と関連付ける。
【００７０】
最終変換は、結果として生じるレンダリングされた画像が２Ｄ画像と同じ座標空間内にあるように、３Ｄデータから画像をレンダリングするためのレンダリング方向を選択するために使用される。レンダリング方向は、レンダリング面、例えばスライスが撮影される面、又は画像が投影される面を定義する方向とすることもできる。レンダリング方向は、観察方向の場合もある。またレンダリング方向は、視点に関連して定義することもできる。
【００７１】
図５の２Ｄ／３Ｄ位置合わせ処理を実行する１つの方法は、２Ｄ／３Ｄ画像のライブストリームの各フレームに対する２Ｄ／３Ｄ位置合わせ処理を繰り返すことであるかもしれない。しかし、２Ｄ／３Ｄ位置合わせを完成させることは、フレーム間間隔に比べて、より時間が長くかかることが分かっている。
【００７２】
２Ｄ／３Ｄ位置合わせ処理が２Ｄ画像一つ残らずに対し実行された場合に、２Ｄ画像が生成される速度（rate）を維持できない場合がある。２Ｄ／３Ｄ位置合わせは、時間集中的な及び／又は高い計算の要求となる場合もある。
【００７３】
図６及び図７を参照して下記に述べられる方法で、２Ｄ／３Ｄ位置合わせは、ストリームの選択されたフレームに関してのみ実行され、どのフレームに対してもではない。所定のフレームに関して２Ｄ／３Ｄ位置合わせを実行するかは、条件を満足するか否かに基づいて判定される。本実施形態において、条件を満足するか否かの判定は、フレームに関する推定されたミスアライメント（ずれ）が第一のしきい値を超えるかの判定と、最後の２Ｄ／３Ｄ位置合わせからの経過時間が第二のしきい値を超えたかの判定とを備える。なお、当該条件は、最後の２Ｄ／３Ｄ位置合わせ処置からの時間が第二のしきい値を超えた場合に満たされる、としてもよい。
【００７４】
図６は、実施形態の処理の概要を説明するフローチャートである。図６の処理において、２Ｄ／３Ｄ位置合わせ処理は、２Ｄ画像のストリームにおける幾つかの２Ｄ画像のみに対して実行される。なお、ＣＰＵ２２は、３Ｄ画像及び当該２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定する。また、ＣＰＵ２２は、当該第一のレンダリング方向に基づいて当該３Ｄ画像から第一のレンダリングされた画像を生成する。この第一のレンダリングされた画像は、３Ｄ変換７６ともいう。一方、２Ｄ画像のストリームのその他の画像は、２Ｄ画像のストリームの過去の画像に対して２Ｄ／２Ｄ位置合わせを受ける。
【００７５】
新たな２Ｄ／３Ｄ位置合わせが２Ｄ画像のうちの１つに実行された場合に、更なる２Ｄ画像の収集も並行して実行される。新たな２Ｄ／３Ｄ位置合わせを更なる２Ｄ画像の収集と並行して実行することにより、ライブ画像の処理及び表示における遅延を回避することができる。
【００７６】
図６のステージ６０は、初期化ステージである。ステージ６０で、評価回路２６は、位置合わせ回路２４から３Ｄ変換７６を受け取る。３Ｄ変換は、２Ｄ／３Ｄ位置合わせ処理７４から取得されている。
【００７７】
評価回路２６は、「２Ｄ参照画像」と呼ぶことのできる、２Ｄ画像を更に受け取る。２Ｄ参照画像は、Ｘ線スキャナ１５により収集されたＸ線透視フレームのライブストリームのうちの１つのフレームである。２Ｄ参照画像は、３Ｄ変換７６を取得するために、３Ｄデータが２Ｄ／３Ｄ位置合わせ処理において位置合わせされた状態での画像である。
【００７８】
評価回路２６は、２Ｄ参照画像を使用してエラーシミュレーション処理を実行する。エラーシミュレーション処理の出力は、本実施形態では類似性計測に関するしきい値である、第一のしきい値である。第一のしきい値は、下記に説明される通り、図６の処理のステージ６４でその後に使用される。
【００７９】
本実施形態のエラーシミュレーション処理については、下記で説明される。他の実施形態において、異なるエラーシミュレーション処理を使用することができる。
【００８０】
本実施形態において、評価回路２６は、類似性計測に関するしきい値を格納する。類似性計測に関するしきい値は、所定の対象位置合わせエラー（Target Registration Error：ＴＲＥ）に基づく。
【００８１】
対象位置合わせエラーは、第一の画像と第二の画像とが互いに位置合わせされた場合に、第一の画像における少なくとも一つの対象の位置と第二の画像における同一の少なくとも一つの対象の位置との距離である。第一の画像は「位置合わせされた画像」、また第二の画像は「グラウンドトゥルース画像」とそれぞれ呼ぶことができる。少なくとも一つの対象は、少なくとも一つの関心領域及び／又は少なくとも一つのランドマークを備えることができる。少なくとも一つの対象は、少なくとも一つの解剖学的特徴及び／又は少なくとも一つの解剖学的ランドマークを備えることができる。
【００８２】
本実施形態において、対象位置合わせエラーは、１ｍｍである。位置合わせは、一つ以上の関心対象の位置が、第一の画像と第二の画像との間の１ｍｍ未満での違いであれば、容認可能と考えることができる。
【００８３】
エラーシミュレーション処理は、本実施形態では回転によるミスアライメント及び並進によるミスアライメントを備える、ミスアライメント（ずれ）の多重事例をシミュレートする。各ミスアライメントは、１ｍｍの対象位置合わせエラー（ＴＲＥ）を提供するようにして、参照画像のコピーをオフセットすることによりシミュレートされる。剛体変換は、１ｍｍのＴＲＥをもたらす回転及び並進の値をサンプリングすることにより、取得される。１ｍｍのＴＲＥに対応する領域の周りに、パラメータ空間をマップすると考えることができる。
【００８４】
評価回路２６は、その後参照画像及びオリジナル参照画像の各オフセットコピーに対する位置合わせ費用関数を計算する。
【００８５】
シミュレートされたミスアライメントの一例が、図７を参照しこれから説明される。
【００８６】
図７は、解剖学的特徴の周りの関心領域を備える、参照画像７８の概略図である。図７の例で、関心領域は、椎骨８０の周りである。関心のある領域の、関心領域の直径（ＲＯＩ  直径）８２は、関心領域が解剖学的特徴を含むようにして定義される。他の実施形態において、任意の適切な方法で関心領域を定義することができる。関心領域は、特定の解剖学的特徴を参照して定義される場合もあるし、されない場合もある。
【００８７】
関心領域の回転８２に関する対象位置合わせエラー（ＴＲＥ）８４が、図７に描かれる。
【００８８】
ミスアライメントの一つの事例において、参照画像７８のコピーは、ＲＯＩ直径８２を有する関心領域における任意の点の最大の位置ずれが例えば１ｍｍの対象位置合わせエラーの値と等しくなるようにして、回転される。本実施形態において、参照画像７８は、図７に描かれた角度８５により回転される。
【００８９】
位置合わせ費用関数に関する値は、参照画像７８及びオリジナル参照画像７８の回転されたコピーに対して計算される。本実施形態において、位置合わせ費用関数は、類似性計測である。類似性計測は、同じモダリティの二つの２Ｄ画像間の類似性を表すのに適当な、任意の類似性計測とすることができる。本実施形態において、位置合わせ費用関数は、回転されたコピーの特徴及びオリジナル参照画像の特徴間のユークリッド距離を表す。位置合わせ費用関数は、「指標値」と言うことも出来る。補足すると、ＣＰＵ２２は、後続の２Ｄ画像のそれぞれに対して、当該後続の２Ｄ画像と第一の２Ｄ画像との間の個別の２Ｄ／２Ｄ位置合わせを実行し、当該後続の２Ｄ画像と当該第一の２Ｄ画像との間のアライメントの大きさを示す指標値を決定するよう構成されてもよい。ここで、第一の２Ｄ画像は、２Ｄ／３Ｄ位置合わせ処置に用いた２Ｄ画像であってもよく、あるいは、当該２Ｄ／３Ｄ位置合わせ処置に用いた２Ｄ画像に代えて、第一のレンダリングされた画像であってもよい。また、条件が満たされたかの決定は、当該指標値が第一のしきい値を超えるかどうかの判定を備えていてもよい。また、「アライメントの大きさ」は、「ミスアライメントの大きさ」と呼んでもよく、あるいは「２Ｄミスアライメントの大きさ」と呼んでもよい。
【００９０】
本実施形態において、位置合わせ費用関数の低い値は、画像同士がよく似ているという結果になり、反対にその高い値は、画像が似ていないという結果になる。
【００９１】
エラーシミュレーション処理は、ミスアライメントの多重事例を備える。ミスアライメントのうちの幾つかは、回転を具備し、またミスアライメントのうちの幾つかは、並進を備える。
【００９２】
位置合わせ費用関数に関する値は、ミスアライメントのそれぞれに対して決定される。評価回路２６は、その後、ミスアライメントのうちの任意のミスアライメントに対して取得された位置合わせ費用関数の最も低い値を選択する。最も低い値を、「最小値」と呼ぶこともできる。評価回路２６は、位置合わせ費用関数の最も低い値を、第一のしきい値に設定する。補足すると、ＣＰＵ２２は、第一の２Ｄ画像について少なくとも一つのミスアライメントを誘発することと、上記誘発されたミスアライメントのそれぞれに対して、個別の指標値を決定することと、当該個別の指標値に基づいて当該第一のしきい値を決定することと、により当該第一のしきい値を決定するよう更に構成されてもよい。また、誘発されたミスアライメントは、回転、並進、拡大縮小のうちの少なくとも一つを備えてもよい。
【００９３】
位置合わせ費用関数の値は、画像の内容（content）に及び／又は画像の画像特性に、非常に依存することがある。従って、エラーシミュレーション処理により決定された第一のしきい値は、同じ対象位置合わせエラーが使用されたとしても、画像によってかなり異なる場合がある。
【００９４】
第一のしきい値は、ミスアライメントの容認可能な量を表すと考えられる類似性計測に対する値を設定する。
【００９５】
しきい値を取得する処理は、２つの同一画像間の人工的に誘発されたミスアライメントを使用するので、「エラーシミュレーション処理」と呼ばれる。
【００９６】
エラーシミュレーション処理は、２Ｄ参照画像の面である単一の面において実行される。ミスアライメントは、２Ｄ参照画像の２Ｄ面における回転及び並進をシミュレートすることにより、シミュレートされる。しかし、第一のしきい値は、面外ミスアライメントがありそうだったかどうかを評価するために、ステージ６４で後程使用される。ミスアライメントがあったかどうかを評価するために第一のしきい値を使用することについて、ステージ６４を参照して下記に更に説明される。
【００９７】
ステージ６０の終わりで、評価回路２６は、第一のしきい値を出力する。係る第一のしきい値は、現在の３Ｄ変換７６が取得された２Ｄ参照画像に特有（specific）である。
【００９８】
ステージ６２で、新たな２Ｄ画像が位置合わせ回路２４へと移される。新たな２Ｄ画像は、Ｘ線スキャナ１５により収集されたＸ線透視フレームのライブストリームの更なるフレームである。
【００９９】
位置合わせ回路２４は、新たな２Ｄ画像を２Ｄ参照画像と位置合わせする、２Ｄ／２Ｄ位置合わせ処理を実行する。任意の２Ｄ／２Ｄ位置合わせ法を使用することができる。例えば、２Ｄ／２Ｄ位置合わせ法は、オプティカルフローを備えることがある。２Ｄ／２Ｄ位置合わせは、例えば相互情報量又はパウエルのアルゴリズムとペアになった相関関係等、従来的な最適化ベースの位置合わせ法を備えることができる。
【０１００】
２Ｄ／２Ｄ位置合わせから、位置合わせ回路２４は、位置合わせ費用関数に関する値を取得する。位置合わせ費用関数は、ステージ６０で使用されたものと同じ位置合わせ費用関数であり、本実施形態においては最小二乗類似性計測である。位置合わせ費用関数に関する値は、「指標値」と呼ぶこともできる。補足すると、ＣＰＵ２２は、後続の２Ｄ画像のそれぞれに対して、後続の２Ｄ画像と第一の２Ｄ画像との間の個別の２Ｄ／２Ｄ位置合わせを実行し、後続の２Ｄ画像と第一の２Ｄ画像との間のアライメントの大きさを示す指標値を決定するよう構成されてもよい。第一の２Ｄ画像については、前述した通りである。
【０１０１】
位置合わせ費用関数に関する値は、新たな２Ｄ画像と２Ｄ参照画像とが一度２Ｄ／２Ｄ位置合わせによって位置合わせされたときの類似性を表す。新たな２Ｄ画像及び参照２Ｄ画像が、上手く位置合わせされることが可能な場合には、位置合わせ費用関数に関する値が低い可能性があり、反対に上手く位置合わせされることが不可能な場合には、位置合わせ費用関数に関する値が高い可能性がある。
【０１０２】
ステージ６４〜６６で、ＣＰＵ２２は、２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定する。ここで、条件は、２Ｄミスアライメントと、最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存している。
【０１０３】
ステージ６４で、評価回路２６は、ステージ６２で取得された位置合わせ費用関数に関する値を、ステージ６０で計算された第一のしきい値と比較することにより、２Ｄ／２Ｄ位置合わせにおけるエラーが過大かを評価する。
【０１０４】
類似性計測に対する値が第一のしきい値よりも高い場合には、図６の方法は、下記に詳細が説明される非同期参照更新ステージ７２へと進む。類似性計測に対する値が第一のしきい値よりも低い場合には、図６の方法は、ステージ６６へと進む。
【０１０５】
ステージ６６で、評価回路２６は、２Ｄ／３Ｄ位置合わせが最後に実行されてから経過した時間の長さを決定する。経過した時間の長さは、時間間隔（例えば１００ｍｓ）として、又はフレーム数（例えば３フレーム）として、定義することができる。
【０１０６】
評価回路２６は、最後の２Ｄ／３Ｄ位置合わせから経過した時間を、「時間しきい値」と呼ぶこともできる第二のしきい値と比較する。第二のしきい値は、数秒のオーダーとなる場合がある。幾つかの実施形態において、第二のしきい値は、例えば２０フレーム等、フレーム数として説明される。また幾つかの実施形態において、第二のしきい値は、ユーザにより変更が可能である。第二のしきい値は、患者に依存することもある。また第二のしきい値は、スキャニング条件及び／又はインターベンションタイプに依存することもある。
【０１０７】
経過した時間に関する値が時間しきい値よりも高い場合には、図６の方法は、非同期参照更新ステージ７２へと進む。経過した時間に関する値が時間しきい値よりも低い場合には、図６の方法は、ステージ６８へと進む。
【０１０８】
ステージ６８で、レンダリング回路２８は、３Ｄデータセットから画像をレンダリングする。レンダリング回路２８は、ステージ６０で取得された３Ｄ変換に基づく画像をレンダリングするために、レンダリング方向を選択する。レンダリング方向は、ステージ６２の２Ｄ／２Ｄ位置合わせの結果に基づく場合もある。
【０１０９】
本実施形態において、レンダリングされた画像は、３Ｄデータセットの２次元投影である。その他の実施形態において、レンダリングされた画像は、適当なレンダリングパラメータを使用するボリュームレンダリングである。例えば、背骨インターベンションの場合に、３Ｄデータセットからレンダリングされた画像は、例えば骨等の高輝度物質に焦点を合わせることができる。その他の場合に、レンダリングは軟組織に焦点を合わせることもできる。幾つかの実施形態において、レンダリングされた画像は、造影強調血管（contrast-enhanced blood）を示す場合がある。また更なる実施形態において、レンダリングされた画像は、ＤＲＲである。
【０１１０】
レンダリングされた画像は、ユーザに対し表示スクリーン１６上に表示される。２Ｄ画像も、係るユーザに対し表示スクリーン１６上に表示される。更なる画像も表示することができる。多重画像がスクリーン又は複数のスクリーン上に表示されることになっている構成を指定する画像配置プロトコル（hanging protocol）に従って、画像を表示することができる。
【０１１１】
レンダリング方向を取得するために２Ｄ／３Ｄ位置合わせから取得された３Ｄ変換を使用することにより、３Ｄデータセットからレンダリングされた画像は、新たな２Ｄ画像とアライメントされる。ユーザがレンダリングされた画像及び新たな２Ｄ画像を観察することにより、２つの画像で共通する位置での、表示された対応する解剖学的特徴を見ることができる。
【０１１２】
更なる実施形態において、レンダリングされた画像は、３Ｄデータセットからのデータが新たな２Ｄ画像からのデータと融合された融合画像（fusion image）を備える。これに伴い、ＣＰＵ２２は、第一のレンダリングされた画像が後続の２Ｄ画像のうちの少なくとも一つと融合された融合画像を生成するよう更に構成されてもよい。
【０１１３】
ステージ６８でレンダリングされた画像のレンダリング及び表示の後、方法は、次の２Ｄ画像７０（「次のフレーム」と呼ぶこともできる）が位置合わせ回路２４により受け取られる、ステージ６２へと戻る。次の２Ｄ画像は、Ｘ線スキャナ１５により収集された更なるライブ２Ｄ  Ｘ線透視画像である。
【０１１４】
ステージ６２で、次の２Ｄ画像７０は、２Ｄ参照画像と位置合わせされる。２Ｄ／２Ｄ位置合わせから、位置合わせ回路２４は、次の２Ｄ画像７０に対する位置合わせ費用関数に関する値を取得する。
【０１１５】
ステージ６４で、評価回路２６は、位置合わせ費用関数に関する値が大きすぎるかを判定する。ステージ６６で、評価回路２６は、最後の２Ｄ／３Ｄ位置合わせから経過した時間が長すぎるかを判定する。ステージ６８で、画像は、３Ｄデータからレンダリングされ、且つ次の２Ｄ画像７０と共に表示される。
【０１１６】
ステージ６２〜６８は、２Ｄ／３Ｄ位置合わせを契機する条件が満たされるまで、繰り返される。本実施形態において、係る条件は、二つの部分を有する。条件の第一部分及び／又は条件の第二部分が満たされた場合には、条件は満たされる。条件の第一部分は、所定のフレームに対する位置合わせ費用関数に関する値が第一のしきい値を超えることである。条件の第二部分は、最後の２Ｄ／３Ｄ位置合わせからの時間が第二のしきい値を超えることである。従って、ステージ６２〜６８は、エラーが高くなりすぎず、且つ過大な時間が経過していない限り繰り返される。
【０１１７】
次に、条件が満たされた場合に、何が起こるかについて検討する。条件が２Ｄ画像に対して満たされた場合に、２Ｄ画像が３Ｄデータと位置合わせされる、新たな２Ｄ／３Ｄ位置合わせが実行される。新たな２Ｄ／３Ｄ位置合わせは、更なる２Ｄ画像の収集と並行して実行される。すなわち、２Ｄ／３Ｄ位置合わせ処置は、２Ｄ画像のストリームの更なる２Ｄ画像の収集と並行して実行される。補足すると、当該条件が満たされた場合には、ＣＰＵ２２は、当該後続の２Ｄ画像のうちの一つを選択する。例えば、当該条件が満たされた場合には、ＣＰＵ２２は、当該後続の２Ｄ画像のうち、当該条件が満たされた判定結果に対応する２Ｄ画像又は当該判定結果の直後の２Ｄ画像を選択する。ここで、当該条件が満たされた判定結果に対応する２Ｄ画像は、当該判定の直前の２Ｄ／２Ｄ位置合わせに用いたフレームである。また、当該判定結果の直後の２Ｄ画像は、ステージ６４又は６６で「はい」と判定された直後に続いたフレームである。また、ＣＰＵ２２は、当該３Ｄ画像及び当該選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第二のレンダリング方向を取得するために上記第一のレンダリング方向をリセットする。言い換えると、ＣＰＵ２２は、当該３Ｄ画像及び当該選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を第二のレンダリング方向に再設定する。さらに、ＣＰＵ２２は、当該第二のレンダリング方向に基づいて当該３Ｄ画像から第二のレンダリングされた画像を再生成する。
【０１１８】
現在の２Ｄ画像に対する位置合わせ費用関数に関する値が第一のしきい値を超えたことを評価回路２６が決定する、ステージ６４の事例について検討する。位置合わせ回路２４は、２Ｄ／３Ｄ位置合わせに関する現在の２Ｄ画像を選択する。現在の２Ｄ画像は、「選択された２Ｄ画像」と呼ぶことができる。また、現在の２Ｄ画像は、条件が満たされた判定結果に対応する２Ｄ画像であり、当該判定の直前の２Ｄ／２Ｄ位置合わせに用いたフレームでもある。
【０１１９】
現在の２Ｄ画像に対する位置合わせ費用関数に関する値が第一のしきい値を超えたとの判定に応答して、図６の方法は、非同期参照更新ステージ７２を始動させる。
【０１２０】
非同期参照更新ステージ７２が実行されている間、ステージ６２〜６８の繰り返し操作が停止されないということに留意されたい。代わりに、画像のストリームの新たに収集された２Ｄ画像の各々に対するステージ６２〜６８の反復は、それらの画像が受け取られる時に従って、進む。非同期参照更新ステージ７２は、並行して実行される。このタイミング及び並行操作は、図８を参照し下記に詳細が説明される。
【０１２１】
非同期参照更新ステージ７２は、２Ｄ／３Ｄ位置合わせ７４を備える。ステージ７４で、位置合わせ回路２４は、３Ｄデータセットを用いて、選択された２Ｄ画像の２Ｄ／３Ｄ位置合わせを実行する。２Ｄ／３Ｄ位置合わせを実行するために位置合わせ回路２４により使用される方法は、図５を参照し上記で説明された通りである。位置合わせ回路２４は繰り返し、３ＤデータセットからＤＲＲを生成し、且つ係るＤＲＲを、マルチモダリティ位置合わせ法を使用して選択された２Ｄ画像と位置合わせする。その他の実施形態において、任意の適切な２Ｄ／３Ｄ位置合わせ法を使用することができる。
【０１２２】
２Ｄ／３Ｄ位置合わせは、過去の２Ｄ／３Ｄ位置合わせから取得された３Ｄ変換を初期位置合わせ変換として使用する場合がある。２Ｄ／３Ｄ位置合わせは、選択された２Ｄ画像と参照２Ｄ画像との２Ｄ／２Ｄ位置合わせに従って、２Ｄで変換された３Ｄ変換のバージョンを、初期位置合わせ変換として使用する場合もある。
【０１２３】
２Ｄ／３Ｄ位置合わせ７４の出力７６は、３Ｄデータセットの座標系を、選択された２Ｄ画像の座標系へと変換する、更新された３Ｄ変換である。
【０１２４】
更新された３Ｄ変換７６は、評価回路２６へと提供される。評価回路２６は、更新された３Ｄ変換及び選択された２Ｄ画像を使用して、初期化ステージ６０を実行する。初期化ステージ６０は、上記で述べた方法を使用して、第一のしきい値に関する更新された値を確立すること（establishing）を備える。
【０１２５】
評価回路２６は、新たな参照画像として、選択された２Ｄ画像を使用する。方法は、現在の２Ｄ画像と新たな参照２Ｄ画像とを位置合わせするために２Ｄ／２Ｄ位置合わせが実行される、ステージ６２へと再び進む。ステージ６２〜６８の処理は、上述した通り参照２Ｄ画像及び更新された３Ｄ変換を使用して、後続の画像に関して実行される。
【０１２６】
図６において、非同期参照更新ステージ７２が２Ｄ画像のストリームと非同期であるということを示すために、破線が使用される。選択された２Ｄ画像が非同期参照更新ステージ７２における３Ｄデータと位置合わせされている間に、一つ又は複数の後続の２Ｄ画像７０が収集され、且つステージ６２でオリジナル参照２Ｄ画像へと位置合わせされ、画像がステージ６８で表示用にレンダリングされる。
【０１２７】
この非同期２Ｄ／３Ｄ位置合わせ処理は、図８の概略的なダイアグラムに更に説明されている。
【０１２８】
図８は、２Ｄ画像８０Ａ〜８０Ｇのストリームを描いている。時間は、横軸８２で表されている。時間軸８２に沿った２Ｄ画像８０Ａ〜８０Ｇのストリームのそれぞれの位置は、各２Ｄ画像が収集及び／又は処理された時間を示す。
【０１２９】
フレームのストリームの連続的なフレームの視点から、図６を参照し、上述した処理について検討する。
【０１３０】
第一のフレーム８０Ａは、２Ｄ参照画像として使用され、「Ｒ」と記される。
【０１３１】
ステージ６２で、第二のフレーム８０Ｂは、矢印８４Ａで示される２Ｄ／２Ｄ位置合わせを実行することにより、第一のフレーム８０Ａに位置合わせされる。ステージ６４で、８０Ｂは、過度のエラーを有さないことが判明する。ステージ６６で、過大な時間が経過していないことも判明する。従って、更なる位置合わせは、第二のフレーム８０Ｂにより始動されない。画像は、ステージ６８で３Ｄデータからレンダリングされ、図６の処理は、ステージ６２へと戻る。
【０１３２】
ステージ６２で、第三のフレーム８０Ｃが、矢印８４Ｂで示される２Ｄ／２Ｄ位置合わせを実行することにより、第一のフレーム８０Ａに位置合わせされる。図８に示される例で、２Ｄ／２Ｄ位置合わせにおけるエラーが第一のしきい値を上回ることが判明する。
【０１３３】
非同期参照更新ステージ７２が、始動される。非同期参照更新ステージ７２の契機は、矢印８６で示される。非同期参照更新ステージ７２は、下記に説明される。
【０１３４】
非同期参照更新ステージ７２と並行して、処理は、経過した時間が第二のしきい値を超えないことが判明する、第三のフレームに対するステージ６６へと進む。幾つかの実施形態において、ステージ６４でのエラーが第一のしきい値を上回ることが判明した場合に、ステージ６６を省略することがある。画像は、ステージ６８で３Ｄデータからレンダリングされる。
【０１３５】
第一の縦線８８は、非同期参照更新ステージ７２が開始する時間を示すために使用される。非同期参照更新ステージ７２は、図５及び６を参照し上述した２Ｄ／３Ｄ位置合わせを備える。２Ｄ／３Ｄ位置合わせは、「ＤＲＲ位置合わせ」又は「ＤＲＲベースの位置合わせ」とも呼ぶことがある。２Ｄ／３Ｄ位置合わせにおいて、複数のＤＲＲは、３Ｄデータから生成され、且つ収束に到達するまで第三のフレーム８０Ｃに位置合わせされる。
【０１３６】
ステージ９０は、２Ｄ／３Ｄ位置合わせ（又は「ＤＲＲベースの位置合わせともいう」）の開始である。ステージ９２は、２Ｄ／３Ｄ位置合わせの完了である。
【０１３７】
ＤＲＲベースの位置合わせは、この場合では第三のフレーム８０Ｃである、参照Ｘ線透視と最も良くマッチするＤＲＲ９４を計算する。図８におけるＤＲＲ９４の位置は、当該ＤＲＲ９４が生成された時間を反映するものではなく、代わりに第三のフレーム８０Ｃへの接近（proximity）を示すために使用されている、ということに留意されたい。非同期参照更新ステージ７２の出力は、３Ｄデータの座標系を第三のフレーム８０Ｃの座標系へと関連付ける更新された変換９６である。
【０１３８】
第二の縦線９８は、非同期参照更新ステージ７２の２Ｄ／３Ｄ位置合わせが完了した時間を示すために使用される。
【０１３９】
一度２Ｄ／３Ｄ位置合わせが完了したら、ＤＲＲ９４を作り出すために使用された投影変換９６は、今後の２Ｄ／２ＤＸ線透視位置合わせに対する初期化として使用される。初期化ステージ６０は、新たな第一のしきい値を取得するために更新された変換９６に対して実行され、評価回路２６は、第三のフレーム８０Ｃを新たな参照画像Ｒ‘として設定する。
【０１４０】
２Ｄ／３Ｄ位置合わせは、第四のフレーム８０Ｄが収集されるまで終わらないことが理解される。
【０１４１】
第四のフレーム８０Ｄが収集された場合に、非同期参照更新ステージ７２は、まだ完了ではない。ステージ６２で、矢印８４Ｃで示される２Ｄ／２Ｄ位置合わせを実行することにより、第四のフレーム８０Ｄが第一のフレーム８０Ａに位置合わせされる。ステージ６４で、評価回路２６は、第四のフレーム８０Ｄに関するエラー値が第一のしきい値を超えるかを判定する。第四のフレーム８０Ｄに関するエラー値は、第三のフレーム８０Ｃに関するエラー値が第一のしきい値を超えたということが与えられて、第一のしきい値を超える場合もある。しかし、評価回路２６は、第三のフレーム８０Ｃに対して２Ｄ／３Ｄ位置合わせが既に進行中の場合に、第四のフレーム８０Ｄに対して実行されている、更なる２Ｄ／３Ｄ位置合わせを防ぐこともある。幾つかの実施形態において、ステージ６４は、同じ参照画像へと位置合わせされた過去のフレームが２Ｄ／３Ｄ位置合わせを既に始動したことが公知の場合には、所定のフレームに対して省略することがある。
【０１４２】
第四のフレームに対するステージ６６で、第二のしきい値が超えなかったと決定されることがある。幾つかの実施形態において、ステージ６６は、省略される場合がある。ステージ６８で、画像は、オリジナル３Ｄ変換を使用して２Ｄデータからレンダリングされる（第一の画像８０Ａ、第二の画像８０Ｂ、第三の画像８０Ｃに対して使用されたのと同じ３Ｄ変換）。新たな３Ｄ変換がまだ利用可能ではないので、オリジナル３Ｄ変換が使用される。
【０１４３】
第四のフレーム８０Ｄが処理されている間、第三のフレーム８０Ｃの非同期２Ｄ／３Ｄ位置合わせは完了しておらず、更新された変換９６もまだ生成されていない。
【０１４４】
第五のフレーム８０Ｅに移る。非同期参照更新ステージ７２が終了した後に、係る第五のフレーム８０Ｅが受け取られる。従って、更新された変換９６は、これで利用可能となる。第三のフレーム８０Ｃは、新たな参照画像Ｒ‘として使用される。
【０１４５】
ステージ６２で、位置合わせ回路２４は、矢印１００Ａで示される２Ｄ／２Ｄ位置合わせを実行することにより、第五のフレーム８０Ｅを第三のフレーム８０Ｃに位置合わせする。ステージ６４で、評価回路２６は、第三のフレーム８０Ｃを伴う第五のフレーム８０Ｅの位置合わせに対する位置合わせ費用関数に関する値が、更新された第一のしきい値を超えるかどうかを判定する。ステージ６６で、評価回路２６は、最後の２Ｄ／３Ｄ位置合わせ（第三のフレーム８０Ｃの非同期位置合わせであった）からの時間が第二のしきい値を超えているかを判定する。例示では、どちらのしきい値も超えられていない。ステージ６８で、レンダリング回路２８は、更新された変換９６を使用して３Ｄデータから画像をレンダリングする。
【０１４６】
例示において、位置合わせ回路２４は、矢印１００Ｂによって示された２Ｄ／２Ｄ位置合わせを実行することにより、第六のフレーム８０Ｆを第三のフレーム８０Ｃに位置合わせする。位置合わせ回路２４は、矢印１００Ｃで示された２Ｄ／２Ｄ位置合わせを実行することにより、第七のフレーム８０Ｇを第三のフレーム８０Ｃに位置合わせする。第六のフレーム８０Ｆ及び第七のフレーム８０Ｇのどちらにも過度のエラーを有さないことが判明し、またそれほど時間が経過していないことも判明する。従って、第五のフレーム８０Ｅ、第六のフレーム８０Ｆ、又は第七のフレーム８０Ｇにより更なる位置合わせは何ら始動されない。
【０１４７】
３Ｄデータと２Ｄ画像のストリームとのアライメントは、針インターベンションを実行する臨床医に対して、ナビゲーション情報を提供するために使用することができる。
【０１４８】
図６及び図８の処理において、術中２Ｄ  Ｘ線透視画像のストリームは、ユーザにナビゲーション情報を提供するために、術前３Ｄ画像データに位置合わせされる。２Ｄ／３Ｄ位置合わせは、ストリームのＸ線透視フレームのうちの幾つかに対してのみ実行される。その他のＸ線透視フレームは、２Ｄ／２Ｄ位置合わせを使用して、うまくアライメントされた２Ｄ画像に位置合わせされる。
【０１４９】
針インターベンションのＸ線透視ベースのライブ誘導は、２Ｄ／３Ｄ及び２Ｄ／２Ｄ位置合わせの混合（mixture）を使用して実行される。２Ｄ／３Ｄ及び２Ｄ／２Ｄ位置合わせを組み合わせることにより、方法の複雑さ及び／又はそのコンピュータ的負荷が、２Ｄ／３Ｄ位置合わせのみを使用する方法と比較した場合に、低減することがある。
【０１５０】
図６及び図８の方法において、各新たなＸ線透視フレームは、上手くアライメントされた２Ｄ画像に位置合わせされる。費用のかかる２Ｄ／３Ｄ位置合わせは、ずっと少ない頻度で計算され、２Ｄ／２Ｄ位置合わせに対する補正の役割を果たすと考えることができる。２Ｄ／３Ｄ位置合わせは、最後の補正から経過した時間によって、又は２Ｄ/２Ｄ位置合わせにおける過度の位置合わせエラーの検出によって、始動される。
【０１５１】
上述した通り、２Ｄ／３Ｄ位置合わせは、時間を多く要する及び／又はコンピュータ的に複雑な場合がある。従って、図６及び図８の方法において、過度のエラー及び／又は過去の２Ｄ／３Ｄ位置合わせから経過した時間により、始動された場合のみ２Ｄ／３Ｄ位置合わせが実行される。これにより、２Ｄ／３Ｄ位置合わせの実行回数を減少できるため、２Ｄ／３Ｄ位置合わせに関し、時間を短縮すること及び／又はコンピュータ的な複雑さを低減することができる。
【０１５２】
２Ｄ／３Ｄ位置合わせが全てのフレームに対して実行される予定の場合に、高いフレームレートは、速い位置合わせを必要とするかもしれない。図６及び図８の方法において、費用のかかるＤＲＲベースの位置合わせは、ずっと少ない頻度で計算され、ライブＸ線透視との同期から外れる。
【０１５３】
フレームのうちの全てではなく、幾つかに対し２Ｄ／３Ｄ位置合わせを実行することにより、計算負荷が減る場合がある。計算負荷の低減は、例えば計算資源が共有されている等、計算機能力が限られている場合には、有用なことがある。状況次第で、実行される２Ｄ／３Ｄ位置合わせの数を減らすことにより、利用可能な資源を用いて実行される予定の、より精確な２Ｄ／３Ｄ位置合わせ及び／又は２Ｄ／２Ｄ位置合わせを可能にすることがある。
【０１５４】
位置合わせの多くが、２Ｄ／２Ｄとして計算される。２Ｄ／２Ｄ位置合わせは、例えば、Ｘ又はＹの並進、Ｘ軸周りの回転、又はＸ方向における動きが原因の縮尺変更など、面における動きを補正するために使用することができる。
【０１５５】
各新たなＸ線透視画像は、上手くアライメントされた２Ｄ画像（参照）に位置合わせされる。２Ｄ／２Ｄ位置合わせにおけるエラーが、類似性計測の値に基づいて確認される。確認が失敗ならば、又は過去のリセットからあまりにも時間が経過した場合には、新たな２Ｄ／３Ｄ  ＤＲＲベースの位置合わせが、バックグラウンド処理として着手される。２Ｄ／３Ｄ位置合わせが実行される間に、２Ｄ／２Ｄ位置合わせが各新たなフレームを用いて計算される。２Ｄ／３Ｄ位置合わせが完了した場合に、結果として生じる変換が位置合わせされた２Ｄフレームへと適用される。そのフレームが新たな参照画像となる。２Ｄ／３Ｄ位置合わせ処理を「非同期参照更新」と呼ぶ場合もあるのは、２Ｄ／２Ｄ参照画像に対する初期変換は、新たな変換が利用可能なときはいつでも更新されるからである。アプリケーションに対する新たな変換のフローにおける一時停止は存在しない。
【０１５６】
面外回転（out of plane rotations）は、２Ｄ／２Ｄ位置合わせに比べて少ない頻度で生じる２Ｄ／３Ｄ位置合わせを用いて補正される。
【０１５７】
第三のフレーム８０Ｃの２Ｄ／３Ｄ位置合わせを更なるフレーム８０Ｄの収集及び処理と並行して実行することにより、２Ｄ／３Ｄ位置合わせは、ユーザに対して表示される画像のストリームの速度を落とすことなく、実行することができる。ライブＸ線透視は、常にディスプレイ上に維持される。
【０１５８】
２Ｄ／３Ｄ位置合わせ法は、フレーム間間隔に比べてより長い期間を占める場合がある。状況次第で、並行した位置合わせの使用によって、計算資源のより効率的な使用を提供することができる。また状況により、並行した位置合わせの使用によって、２Ｄ／３Ｄ位置合わせに対して許可される時間が制限されるような場合に比べて、実行される予定のより精確な２Ｄ／３Ｄ位置合わせを許容することもある。
【０１５９】
上述した実施形態において、２Ｄ／３Ｄ位置合わせが始動された場合にのみ、ＤＲＲはレンダリングされる。２Ｄ／３Ｄ位置合わせは、フレームのストリームの選択されたフレームに対してのみ始動される。ＤＲＲをレンダリングすることは、例えば特に反復位置合わせ処理のステップごとに繰り返された場合には、時間を多く要することがある。限られた数のフレームに対してのみＤＲＲをレンダリングすることにより、使用される計算資源を減らすことができる。計算されるＤＲＲの数を減らす又は最小化することが可能な場合もある。
【０１６０】
処置の間に取得されたライブ画像は、固定された撮像面を使用して取得することができる。しかし、２Ｄ／３Ｄ位置合わせが撮像手順の間中、上手くアライメントされないまま残る場合がやはりある。例えば、被検体が撮像面に対して動くことがある。被検体の解剖学的特徴が歪められる場合がある。例えば、針（又はその他の医用デバイス）の存在が被検体の生体構造を歪めることがある。
【０１６１】
その結果、既存の２Ｄ／３Ｄ位置合わせを補正するために、更なる２Ｄ／３Ｄ位置合わせを使用する可能性がある。
【０１６２】
第一のしきい値は、面内ミスアライメントをシミュレートすることにより計算される。シミュレーションは、良い位置合わせを取り、且つ、類似性スコアがどのように低下するかを見るために、係る良い位置合わせを回転において意図的にオフセットすることを備えることができる。
【０１６３】
シミュレートされた面内ミスアライメントはその場合、面外ミスアライメントに対する代理として使用される。２Ｄ／２Ｄ位置合わせにおける類似性計測に対する値は、位置合わせエラーに対する代替として使用される。局所的な類似性空間は、全ての方向において（三次元で）類似の勾配（slope）を有することが仮定される。またその場合に面内回転（シミュレートされたように）は、面外回転（シミュレートされず）として類似性スコアに類似の効果を有することが仮定される。シミュレートされた面内回転は、面外回転の類似性スコアに関する影響をシミュレートするために使用される。位置合わせエラー確認は、コスト関数が、面内及び面外回転に対して類似するだろうと仮定する。２Ｄ画像を用いての面外回転のシミュレーションは存在しない。
【０１６４】
ステージ６２で取得された、位置合わせ費用関数に関する値は、現在の画像及び参照画像間の２Ｄ／２Ｄ位置合わせがどの程度上手く達成されたかの指標となる場合がある。位置合わせコスト関数に対する値が低い場合には、良い位置合わせが達成されている。反対に位置合わせコスト関数に対する値が高い場合には、良い２Ｄ／２Ｄ位置合わせが達成出来なかったという場合がある。良い２Ｄ／２Ｄ位置合わせが取得されていない一つの理由としては、現在の画像が、参照画像の２Ｄ面から幾分異なる２Ｄ面について取得されているという場合がある。この場合に、２Ｄ／３Ｄ位置合わせは、３Ｄデータを後続の画像とアライメントするために使用することもある。
【０１６５】
上述した実施形態において、第一のしきい値は、新たな２Ｄ／３Ｄ位置合わせが十分であるかを判定するために使用される。第一のしきい値は、控えめに設定されている可能性がある。第一のしきい値は、過度のミスアライメントが起こる前に、２Ｄ／３Ｄ位置合わせが始動されるようにして設定することができる。第一のしきい値は、実行される新たな２Ｄ／３Ｄ位置合わせが過度のミスアライメントという結果にならない場合がある一方で、更なる数のフレーム（例えば、１、２、又は３フレーム）に対するオリジナル３Ｄ変換及び参照画像を引き続き使うようにして、設定することができる。
【０１６６】
上述した実施形態において、各新たな２Ｄ画像は、参照画像として使用される２Ｄ画像のうちの過去のものに位置合わせされる。更なる実施形態において、ＤＲＲは、参照画像として使用することができる。２Ｄ画像のそれぞれは、先行する２Ｄ／３Ｄ画像で生成されたＤＲＲに位置合わせすることができる。２Ｄ画像をＤＲＲに位置合わせするために、任意の適切な２Ｄ／２Ｄ位置合わせ法を使用することができる。
【０１６７】
上述した実施形態において、２Ｄ／３Ｄ位置合わせは、過去のリセットから経過した時間か、又は２Ｄ／２Ｄ位置合わせにおける過度のエラーについて確認するかのどちらかにより、始動される。その他の実施形態において、任意の適切な条件が、２Ｄ／３Ｄ位置合わせを始動させるのに使用することができる。幾つかの実施形態において、２Ｄ／３Ｄ位置合わせは、ハードウェア条件における著しい変化、例えば、線量、被ばく、視野、コリメーション、又はフィルタリング法の変化により、始動される。
【０１６８】
幾つかの実施形態では、２Ｄ／３Ｄ位置合わせは常に、経過した時間により始動され、エラーに基づかない。例えば、２Ｄ／３Ｄ位置合わせは、第二、第三、第四、第五の全フレームに対して実行することができる。また幾つかの実施形態では、２Ｄ／３Ｄ位置合わせは、過度のエラーによってのみ始動される。
【０１６９】
幾つかの実施形態では、２Ｄ／３Ｄ位置合わせは、ユーザにより手動で始動される。ユーザは、任意の恣意的なタイミングで、２Ｄ／３Ｄ位置合わせを実行するよう選択することができる。例えば、ユーザは、ミスアライメントがあるかもしれないと疑った場合には、２Ｄ／３Ｄ位置合わせを実行する選択をすることができる。これらの場合、ユーザは、例えば、再位置合わせに対するユーザ要求を入力してもよい。幾つかの実施形態においては、スイッチが係るユーザに提供されている。係るスイッチは、ハードウェアに及び／又はソフトウェアに提供されることがある。係るユーザが当該スイッチを入れた場合に、新たな２Ｄ／３Ｄ位置合わせが始動される。これに伴い、ＣＰＵ２２は、再位置合わせに対するユーザ要求を受け取り、当該ユーザ要求に応答して３Ｄ画像と２Ｄ画像のストリームのうちの一つとの２Ｄ/３Ｄ位置合わせを実行するよう更に構成されてもよい。
【０１７０】
幾つかの実施形態で、例えばユーザがミスアライメントを疑った場合に、係るユーザは２Ｄ／３Ｄ位置合わせを終わらせることもできる。幾つかの実施形態において、ユーザが２Ｄ／３Ｄ位置合わせを終わらせた場合に、新たな２Ｄ／３Ｄ位置合わせが実行されるまで、３Ｄデータからレンダリングされた画像を表示するのをシステムは停止する。
【０１７１】
幾つかの実施形態で、位置合わせ回路２４は、自動処理が失敗続きの場合には、自動２Ｄ／３Ｄ位置合わせの処理を終わらせるよう構成されている。ユーザインターフェースは、２Ｄ／３Ｄ位置合わせが失敗した場合に、過去の状態へと戻ることもできる。例えば、位置合わせが失敗したら、システムは、画像が上手く位置合わせしていた場合の過去の状況へと戻ることができる。代わりに、位置合わせが失敗した場合に、位置合わせ手順は、初期の位置合わせが提供される必要のある、始まりから再開することもある。
【０１７２】
上述した実施形態において、２Ｄ／３Ｄ位置合わせは、バックグラウンドで実行され、ユーザは、２Ｄ／３Ｄ位置合わせが実行されていることを知らされない。その他の実施形態において、ユーザは、３Ｄデータからレンダリングされた現在のロードマップ画像が、患者の動きのためにリアルタイムＸ線透視画像と一致していないことを知りたい場合がある。システムは、２Ｄ／３Ｄ位置合わせを実行している間、ミスアライメントが検出された（例えば、エラーが第一のしきい値を超えた）ことをユーザに通知する場合もある。ユーザに通知するために、任意の適切な方法を使用することができる。例えば、表示スクリーン１６上にグラフィカルな指摘（graphical indication）を表示することができる。２Ｄ画像に、及び／又は３Ｄデータからレンダリングされた画像に、色又は警告を重ね合わせて表示することができる。補足すると、ＣＰＵ２２は、ａ）条件が満たされた場合のグラフィカルな指摘、ｂ）２Ｄ／３Ｄ位置合わせ処置の進行のグラフィカルな指摘、ｃ）次の２Ｄ／３Ｄ位置合わせ処置までの時間のグラフィカルな指摘、ｄ）指標値のグラフィカルな指摘、ｅ）第一のしきい値及び／又は第二のしきい値のグラフィカルな指摘、のａ）からｅ）までのうちの少なくとも一つを提供するよう更に構成されてもよい。言い換えると、ＣＰＵ２２は、上記ａ）からｅ）までのうちの少なくとも一つを表示スクリーン１６に表示させるよう更に構成されてもよい。また、「グラフィカルな指摘」は、「グラフィカルな指示」又は「グラフィック表示」等と読み替えてもよい。
【０１７３】
その他の実施形態において、ミスアライメントのインジケータが常に表示され、ミスアライメントが２Ｄ／３Ｄ位置合わせを始動させるほど十分に高くない場合でも、係るミスアライメントの度合いに関する情報を、ユーザが有することができる。
【０１７４】
ユーザインターフェースは、ミスアライメントしきい値の変更をユーザに許可する場合がある。例えばユーザは、対象位置合わせエラーを変更することができる。ユーザは、位置合わせされた特徴間の容認可能な距離を変更することもできる。
【０１７５】
ユーザインターフェースは、例えば第二のしきい値を変更することにより、２Ｄ／３Ｄ位置合わせ間の容認可能な時間をユーザが変更することを許可する場合もある。
【０１７６】
幾つかの実施形態において、ユーザインターフェースは、２Ｄ／３Ｄ位置合わせが完了するまで、残り時間のインジケータを表示する。幾つかの実施形態において、ユーザインターフェースは、例えば２Ｄ／３Ｄ位置合わせが経過した時間に基づいて実行された場合に、次に予定される２Ｄ／３Ｄ位置合わせまでの時間を表示する。
【０１７７】
上述した実施形態において、ライブ２Ｄ画像は、表示スクリーン１６上にユーザ（例えば、臨床医）に対して表示される。２Ｄ画像は、２Ｄ／３Ｄ位置合わせにより決定されたレンダリング方向を使用して、３Ｄデータからレンダリングされる。任意の適切なレンダリング方法を使用することができる。典型的に、２Ｄ／３Ｄ位置合わせは、２Ｄ画像のストリームの過去の２Ｄ画像に実行されたものである。
【０１７８】
３Ｄデータからレンダリングされている２Ｄ画像を表示することにより、付加的な情報、例えば異なるモダリティで取得された情報を、ユーザに提供することができる。ユーザは、処置の実行において支援されることがある。例えば、３Ｄ環境についてより多くの情報を有することで、ナビゲーションを支援することができる。時として、例えば器具を椎骨へと差し込む等、非常に繊細な処置が実行されている場合がある。
【０１７９】
幾つかの実施形態において、３Ｄデータからの情報は、２Ｄ画像に融合される。例えば、３Ｄ  ＣＴデータは、ライブＸ線透視データと融合することができる。連続する２Ｄ画像と３Ｄデータからレンダリングされた画像とを融合することにより、融合画像を連続して生成することができる。新たな２Ｄ／３Ｄ位置合わせが実行される場合に、２Ｄ画像は、３Ｄデータからレンダリングされた異なる画像と融合することができ、係る異なる画像は異なるレンダリング方向を使用してレンダリングされている。
【０１８０】
幾つかの実施形態において、画像フュージョンは、医用デバイス（例、針）の位置及び／又は経路を、３Ｄデータからレンダリングされた画像上に描画するために使用される。典型的に、３Ｄデータが収集されたときには、身体に医用デバイスは存在しなかった。医用デバイスの位置は、２Ｄ画像から取得することができる。その他の実施形態において、医用デバイスの位置は、任意の適切な方法、例えば位置検出器を使用して、取得することができる。
【０１８１】
幾つかの実施形態において、画像フュージョンは、２Ｄ画像における、及び／又は、３Ｄデータからレンダリングされた画像における、対象位置を示すために使用される。
【０１８２】
上記実施形態は、針インターベンションに関して説明されている。その他の実施形態において、上記で説明された方法は、術前３Ｄデータが術中２Ｄデータと位置合わせされる任意の処置で使用することができる。処置は、カテーテルベースインターベンション又はプローブベースのインターベンションを備えることができる。処置は、例えば、生検サンプルの取得又は焼灼の実行等を備えることができる。処置は、筋骨格インターベンション、例えば椎体形成術又は人工器官の配置等を備えることができる。処置は、心臓弁修復又は交換インターベンションを備えることもできる。処置は、腹腔鏡検査を備えることができる。
【０１８３】
身体内で誘導されている医用デバイスは、例えば、針、ステント、交換身体部分、人工装具、計測デバイス、外科デバイス、バルブ、心臓弁、撮像デバイス、内視鏡デバイス、カテーテル、インプラント、又は電子デバイス（例えば内視鏡又は超音波プローブ）を具備することができる。
【０１８４】
上述した方法は、腫瘍焼灼及び塞栓、動脈瘤治療、血管インターベンション、又は対象誘導が必要とされる任意のその他のインターベンションに適用することができる。血管インターベンションの場合に、血管の視覚化を可能にするために、特別な臨床プロトコルを使用することができる。まとめると、上記した処置は、Ｘ線透視誘導での針生検、腫瘍焼灼、腫瘍塞栓、動脈瘤治療、血管インターベンション、筋骨格インターベンション、心臓弁の修復又は心臓弁の交換、腹腔鏡検査のうちの少なくとも一つを備えるものとしてもよい。
【０１８５】
処置は、ライブ撮像が実行される任意の手順とすることができる。上記実施形態において、ライブ撮像はＸ線透視撮像である。その他の実施形態において、ライブ撮像は、例えば超音波撮像又はビデオ撮像を具備する場合がある。
【０１８６】
図３の装置を使用して実行されているとして上述した実施形態は、図４の装置を使用して実行することもできる。
【０１８７】
ある実施形態は、
ａ）解剖学的エリアの３Ｄボリュームを収集することと、
ｂ）同じ生体構造の２Ｄ画像の連続的なストリームを収集することと、
ｃ）初期２Ｄ画像を３Ｄボリュームに位置合わせすることと、
ｄ）各新たな２Ｄ画像を位置合わせされた参照２Ｄ画像に位置合わせすることと、
ｅ）ステップ（ｄ）における位置合わせの品質を確認することと、
ｆ）ステップ（ｅ）における確認が失敗した場合には、別の後に収集された２Ｄ画像及び３Ｄボリューム間の、新たな２Ｄ／３Ｄ位置合わせを実行することと、
ｇ）参照２Ｄ画像を、ステップ（ｆ）で位置合わせされたものに更新することと、
ｈ）初期化のためにステップ（ｆ）の結果変換を使用してステップ（ｄ）を繰り返すことと、（ｆ）と（ｇ）はバックグラウンド処理として実行される、
を備える位置合わせ法を提供する。位置合わせ法は医用画像処理方法と呼んでもよい。
【０１８８】
３Ｄボリュームは、ＣＴ、ＭＲ、又はＣＢＣＴとすることができる。２Ｄ画像は、Ｘ線透視、Ｘ線、超音波とすることができる。２Ｄ／３Ｄ位置合わせは、ＤＲＲベースの方法を使用して実行することができる。
【０１８９】
ステップ（ｅ）での確認が成功すれば、ステップ（ｆ）の最後の事例が実行されてからの経過した時間についてバックアップ確認を使用することができる。
【０１９０】
ステップ（ｆ）は、ステップ（ｂ）から来る各新たなフレーム間の時間よりも小さくなるようステップ（ｄ）のランタイムを維持するために、可能な限り頻繁に実行することができ、それにより誘導用のライブアライメントを確保する。
【０１９１】
ステップ（ｄ）において、位置合わせは、３Ｄボリュームに適用することができ、係る３Ｄボリュームを新たな２Ｄ画像へアライメントする。
【０１９２】
ある実施形態は、少なくとも一つの二次元画像を収集し、三次元画像及び上記少なくとも一つの二次元画像に基づいたレンダリング方向を設定し、上記レンダリング方向に基づいて上記三次元画像からレンダリングされた画像を生成し、新たに生成された二次元画像と上記レンダリングされた画像とのミスアライメントを解析し、上記レンダリングされた画像について処理することにより上記ミスアライメントを補正し、上記ミスアライメントについての条件が満たされた場合に上記レンダリング方向をリセットし、上記リセットされたレンダリング方向に基づいて上記レンダリングされた画像を再生成する、よう構成された処理部を具備する医用画像処理装置を提供する。例えば、ある実施形態としては、少なくとも一つの二次元画像を収集し、三次元画像及び上記少なくとも一つの二次元画像に基づいたレンダリング方向を設定し、上記レンダリング方向に基づいて上記三次元画像からレンダリングされた画像を生成し、新たに生成された二次元画像と上記レンダリングされた画像とのミスアライメントを解析し、上記レンダリングされた画像について処理することにより上記ミスアライメントを補正し、上記ミスアライメントについての条件が満たされた場合には、上記新たに生成された二次元画像又は当該二次元画像の直後に生成された二次元画像と、上記三次元画像とに基づいて上記レンダリング方向を再設定し、上記再設定されたレンダリング方向に基づいて上記レンダリングされた画像を再生成する、よう構成された処理部を具備する医用画像処理装置を提供してもよい。
【０１９３】
上記処理部は、上記レンダリングされた画像が上記新たに生成された二次元画像と融合された融合画像を生成するよう更に構成することができる。
【０１９４】
上記ミスアライメントに関する上記条件は、上記新たに生成された二次元画像と上記補正されレンダリングされた画像との間のアライメントの大きさが第一のしきい値を超えることを示している、指標値とすることができる。
【０１９５】
上記処理部は、上記レンダリング方向をリセットする処理と並行して、上記新たに生成された二次元画像と、リセット前に上記レンダリング方向に基づいて生成された上記レンダリングされた画像と、を融合することにより、上記融合画像を連続して生成し、上記レンダリング方向をリセットする処理が完了する場合に、上記新たに生成された二次元画像と、リセット後の上記レンダリング方向に基づいて生成された上記レンダリングされた画像とを融合することにより、上記融合画像を連続して生成するよう更に構成されている。あるいは、ＣＰＵ２２は、３Ｄ画像及び選択された２Ｄ画像の２Ｄ／３Ｄ位置合わせと並行して、更なる２Ｄ画像を第一のレンダリングされた画像と融合することにより、融合画像を連続して生成し、２Ｄ／３Ｄ位置合わせが一度完了したら、更なる２Ｄ画像を第二のレンダリングされた画像と融合することにより、融合画像を連続して生成する、よう構成されてもよい。
【０１９６】
上記処理部は、上記レンダリング方向のリセットから経過した時間が最後に第二のしきい値を超えた場合に、上記レンダリング方向をリセットするよう更に構成することができる。
【０１９７】
三次元画像は、Ｘ線ＣＴ装置、ＭＲＩ装置、又はＸ線診断装置によりキャプチャすることができる。言い換えると、３Ｄ画像は、Ｘ線ＣＴ装置、ＭＲＩ装置、又はＸ線診断装置のうちの少なくとも一つによりキャプチャされたものとしてもよい。
【０１９８】
少なくとも一つの二次元画像及び新たに生成された二次元画像は、Ｘ線診断装置又は超音波診断装置によりキャプチャすることができる。言い換えると、２Ｄ画像のストリームは、Ｘ線診断装置又は超音波診断装置によりキャプチャされたものとしてもよい。
【０１９９】
ある実施形態は、Ｘ線を照射するよう構成されたＸ線管と、上記Ｘ線管から照射されたＸ線を検出するよう構成されたＸ線検出器と、上記Ｘ線検出器による検出結果に基づいた少なくとも一つの二次元Ｘ線画像を収集し、三次元画像及び上記少なくとも一つの二次元Ｘ線画像に基づいたレンダリング方向を設定し、上記レンダリング方向に基づいて上記三次元画像からレンダリングされた画像を生成し、新たに生成された二次元Ｘ線画像と上記レンダリングされた画像とのミスアライメントを解析し、上記レンダリングされた画像について処理することにより上記ミスアライメントを補正し、上記ミスアライメントについての条件が満たされた場合に上記レンダリング方向をリセットし、上記リセットされたレンダリング方向に基づいて上記レンダリングされた画像を再生成するよう構成された処理部と、を具備するＸ線診断装置を提供する。
【０２００】
また、ある実施形態は、Ｘ線を被検体に照射するＸ線管と、当該Ｘ線管により照射されて当該被検体を通過したＸ線を検出するＸ線検出器と、当該Ｘ線検出器による検出結果に関する処理を実行する処理部とを具備するＸ線診断装置を提供する。処理部は、被検体の解剖学的領域を表す三次元（３Ｄ）画像を取得し、Ｘ線検出器による検出結果に基づいた被検体の解剖学的領域を表す二次元（２Ｄ）画像のストリームを収集し、３Ｄ画像及び２Ｄ画像のストリームの２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を設定し、第一のレンダリング方向に基づいて３Ｄ画像から第一のレンダリングされた画像を生成し、２Ｄ画像のストリームの複数の後続の２Ｄ画像のそれぞれに対して、条件が満たされたかを判定する、よう構成されている。ここで、条件は２Ｄミスアライメントと最後の２Ｄ／３Ｄ位置合わせ処置からの時間とのうちの少なくとも一つに依存している。当該条件が満たされた場合には、処理部は、後続の２Ｄ画像のうちの一つを選択し、当該３Ｄ画像及び当該選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第二のレンダリング方向を取得するために第一のレンダリング方向をリセットし、当該第二のレンダリング方向に基づいて当該３Ｄ画像から第二のレンダリングされた画像を再生成する、よう構成されている。例えば処理部は、当該条件が満たされた判定結果に対応する２Ｄ画像又は当該判定結果の直後の２Ｄ画像を選択し、３Ｄ画像及び上記選択された２Ｄ画像について、２Ｄ／３Ｄ位置合わせ処置を実行することにより、第一のレンダリング方向を第二のレンダリング方向に再設定し、第二のレンダリング方向に基づいて３Ｄ画像から第二のレンダリングされた画像を再生成する、よう構成されている。
【０２０１】
ある実施形態は、少なくとも一つの二次元画像を収集し、三次元画像及び上記少なくとも一つの二次元画像に基づいたレンダリング方向を設定し、上記レンダリング方向に基づいて上記三次元画像からレンダリングされた画像を生成し、新たに生成された二次元画像と上記レンダリングされた画像とのミスアライメントを解析し、上記レンダリングされた画像について処理することにより上記ミスアライメントを補正し、上記ミスアライメントについての条件が満たされた場合に上記レンダリング方向をリセットし、上記リセットされたレンダリング方向に基づいて、上記レンダリングされた画像を再生成すること、を具備する医用画像処理方法を提供する。例えば、ある実施形態としては、少なくとも一つの二次元画像を収集し、三次元画像及び上記少なくとも一つの二次元画像に基づいたレンダリング方向を設定し、上記レンダリング方向に基づいて上記三次元画像からレンダリングされた画像を生成し、新たに生成された二次元画像と上記レンダリングされた画像とのミスアライメントを解析し、上記レンダリングされた画像について処理することにより上記ミスアライメントを補正し、上記ミスアライメントについての条件が満たされた場合には、上記新たに生成された二次元画像又は当該二次元画像の直後に生成された二次元画像と、上記三次元画像とに基づいて上記レンダリング方向を再設定し、上記再設定されたレンダリング方向に基づいて上記レンダリングされた画像を再生成すること、を具備する医用画像処理方法を提供してもよい。
【０２０２】
実施形態は、針インターベンションに関して説明されてきた。その他の実施形態では、上述した方法は、任意の適切な医用デバイスのナビゲーションに対して使用することができる。医用デバイスは、任意のヒト又は任意の動物の体の任意の部分へと挿入することができる。上記医用デバイスは、任意の適切な医用又は獣医用の処置で使用することができる。
【０２０３】
本明細書における処理部は、実施形態で述べたＣＰＵ２２によって実現する他にも、ハードウェアのみ、ソフトウェアのみ、あるいはハードウェアとソフトウェアの組み合わせによって同機能を実現するものであっても構わない。ハードウェアとソフトウェアの組み合わせによって処理部を実現する場合、例えば、ＣＰＵ２２がメモリ２０からプログラムを呼び出し、ＣＰＵ２２により当該プログラムを実行することで処理部の機能を実現してもよい。
【０２０４】
本明細書では、特定の回路について説明してきた。代わりの実施形態では、これらの回路の一つ以上の機能は単一の処理資源又は他の構成要素によって提供可能であり、或いは、単一の回路によって提供される機能は、組み合わされた二つ以上の処理資源又は他の構成要素によって提供可能である。単一の回路への言及は、その回路の機能を提供する複数の構成要素が互いに遠隔であるかどうかに関わらず、その様な構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。
【０２０５】
特定の実施形態について説明してきたが、これらの実施形態は、例として提示したに過ぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明する新規な方法及びシステムは様々なその他の形態で実施することができる。その上、本明細書で説明する方法及びシステムの形態における様々な省略、置き換え、及び変更は、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲及びその均等物は、本発明の範囲に含まれるこの様な形態又は変形形態を包含することを意図するものである。
【符号の説明】
【０２０６】
１０  医用画像処理装置
１２  計算装置
１４  ＣＴスキャナ
１５  Ｘ線スキャナ
１６  表示スクリーン
１８  デバイス
２０  メモリ
２２  ＣＰＵ
２４  位置合わせ回路
２６  評価回路
２８  レンダリング回路
３０  Ｘ線診断装置
３２  Ｘ線管
３４  Ｘ線検出器
【図１】
2020054794.tif 000003
【図２】
2020054794.tif 000004
【図３】
2020054794.tif 000005
【図４】
2020054794.tif 000006
【図５】
2020054794.tif 000007
【図６】
2020054794.tif 000008
【図７】
2020054794.tif 000009
【図８】
2020054794.tif 000010