(57)【特許請求の範囲】
【請求項１】
対象物体の医用画像を取得する医用画像取得手段と、
前記医用画像における前記対象物体の表面形状を示す情報を取得する形状取得手段と、
前記対象物体の超音波画像を撮影する超音波プローブの撮影面における前記対象物体との接触部と非接触部とを判別する判別手段と、
前記超音波プローブの撮影時の位置姿勢を示す情報を取得する位置姿勢取得手段と、
前記表面形状を示す情報と前記判別手段による判別結果と前記位置姿勢を示す情報とに基づいて前記対象物体の変形を推定し、前記医用画像と前記超音波画像との位置合わせを行う位置合わせ手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記位置合わせ手段は、前記超音波画像における前記接触部と、当該接触部に対応する前記医用画像の一部とを一致させる位置合わせを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判別手段は、前記超音波プローブの撮影面の各部における前記超音波画像の取得の有無に基づいて、前記接触部と前記非接触部とを判別することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記判別手段は、前記超音波プローブの位置姿勢を示す情報と前記表面形状を示す情報とに基づいて前記接触部と前記非接触部とを判別することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記対象物体に対してレーザ光が照射され、前記超音波プローブは、前記対象物体の内部から発せられる音響信号を受信することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
医用画像取得手段と、形状取得手段と、判別手段と、位置姿勢取得手段と、位置合わせ手段とを備える画像処理装置の制御方法であって、
前記医用画像取得手段が、対象物体の医用画像を取得する医用画像取得工程と、
前記形状取得手段が、前記医用画像における前記対象物体の表面形状を示す情報を取得する形状取得工程と、
前記判別手段が、前記対象物体の超音波画像を撮影する超音波プローブの撮影面における前記対象物体との接触部と非接触部とを判別する判別工程と、
前記位置姿勢取得手段が、前記超音波プローブの撮影時の位置姿勢を示す情報を取得する位置姿勢取得工程と、
前記位置合わせ手段が、前記表面形状を示す情報と前記判別工程による判別結果と前記位置姿勢を示す情報とに基づいて前記対象物体の変形を推定し、前記医用画像と前記超音波画像との位置合わせを行う位置合わせ工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項６に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関し、特に、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、磁気共鳴映像装置（ＭＲＩ）、核医学診断装置（ＳＰＥＣＴ、ＰＥＴ）、超音波画像診断装置など、種々の医用画像収集装置（モダリティ）で撮影した医用画像を処理する画像処理装置、画像処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
医療の分野において、医師は、患者を撮影した医用画像をモニタに表示し、表示された医用画像を読影して、病変部の状態や経時変化を観察する。この種の医用画像を生成する装置としては、Ｘ線撮影装置、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、磁気共鳴映像装置（ＭＲＩ）、核医学診断装置（ＳＰＥＣＴ、ＰＥＴなど）、超音波画像診断装置（ＵＳ）等が挙げられる。このように医用画像を生成する装置から得た画像を使って患者の診断を行う画像診断では、これらの装置の特性の違いを考慮して、診断を行う部位や疾病などの種類から適切な装置を選択して用いる。また、より精度の良い診断を目的として複数の装置から得た複数の画像を利用して、診断を行う場合もある。例えば同一の被検体を超音波画像診断装置とＭＲＩの両方で撮影し、夫々の撮影画像を併用することで、より診断に有効な情報を得ることができる。
【０００３】
超音波画像とＭＲＩ画像とを併用した診断を行うためには、両画像間の対応する部位を対応付けて診断することが効果的であり、そのためには、両画像間の位置合わせが必要となる。しかし、その実現には幾つかの課題がある。第一に超音波画像は、医師や技師が撮影探触子（以下、「プローブ」と称する）を手に持ち、自由に動かしながら撮影を行うため、撮影した画像が被検体を基準とした空間中のどの位置を撮影したものなのかが明らかではない。第二に超音波画像として撮影するのは通常、被検体内部の二次元断層像であり、三次元情報を撮影するＭＲＩとは取得できる情報の空間次元が異なる。
【０００４】
これらの課題に対するアプローチの一つに、外部センサを用いてプローブの位置姿勢を計測する方法がある。特許文献１には、位置姿勢を計測する装置をプローブに取り付け、その計測値に応じて、超音波画像診断装置で撮影している部位に対応するスライス画像を事前に撮影した三次元医用画像から取得し、並べて表示する技術が開示されている。この技術により、二次元断面である超音波画像と、他のモダリティの三次元情報とを対応付けて観察することが可能となる。
【０００５】
一方、超音波画像と三次元医用画像との画像情報を利用して、これら二つのモダリティの位置合わせを行うことが従来から検討されている。非特許文献１に開示されている手法では、事前に取得した三次元医用画像に基づいて、超音波のシミュレーション画像が生成される。そして、実際に超音波画像診断装置で撮影した超音波画像とシミュレーション画像との対応付けが、画像情報に基づいて行われる。
【０００６】
また特許文献２には、三次元医用画像から被検体の表面形状を取得し、その表面形状とプローブの撮影面の位置とに基づき、これらの位置を一致させる条件下で対応付けを行うことで、対応付けの探索範囲を限定し、処理を効率化する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許03871747号公報
【特許文献２】特開2010-131269号公報
【非特許文献】
【０００８】
【非特許文献１】W. Wein, B. Roper, and N. Navab, "Automatic registration and fusion of ultrasound with CT for radiotherapy," Proc. MICCAI 2005, vol.2, pp.303-311, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の技術では、センサの精度が不十分な場合には超音波画像と三次元医用画像との位置合わせを精度良く行うことが困難である。また、高精度な位置姿勢センサを用いたとしても、被検体の体動やプローブの押し当て圧力による撮影部位の変形が生じる場合には、やはり位置合わせを精度良く行うことが困難である。一方、非特許文献１に開示されている技術では、超音波画像とＭＲＩ画像との位置合わせ処理を画像情報に基づいて行うことで上記の変形の補正を含めて高精度な位置合わせが可能である。しかし、非常に多くの計算量を必要とするため、位置合わせを高速に行うことが困難であり、撮影と観察の同期性を損ねてしまうという課題がある。また特許文献２の技術では、プローブの撮影面全体が被検体と接触していると仮定して処理しているため、プローブが被検体の一部にしか接触していないような場合には位置合わせの結果の精度が低下するという課題がある。
【００１０】
上記の課題に鑑み、本発明は、超音波画像と三次元医用画像とを、高精度、高速度で位置合わせを行う技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成する本発明に係る画像処理装置は、
対象物体の医用画像を取得する医用画像取得手段と、
前記医用画像における前記対象物体の表面形状を示す情報を取得する形状取得手段と、
前記対象物体の超音波画像を撮影する超音波プローブの撮影面における前記対象物体との接触部と非接触部とを判別する判別手段と、
前記超音波プローブの撮影時の位置姿勢を示す情報を取得する位置姿勢取得手段と、
前記表面形状を示す情報と前記判別手段による判別結果と前記位置姿勢を示す情報とに基づいて前記対象物体の変形を推定し、前記医用画像と前記超音波画像との位置合わせを行う位置合わせ手段と、
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、超音波画像と三次元医用画像とを、高精度、高速度で位置合わせを行うことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】画像処理システムの機能構成を示す図。
【図２】画像処理システムの装置構成を示す図。
【図３】画像処理装置１００の処理手順を示すフローチャート。
【図４】図３のステップＳ３０２の処理の説明図。
【図５】超音波撮影の説明図。
【図６】超音波撮影の詳細説明図。
【図７】超音波プローブと被検体との接触状態の説明図。
【図８】超音波プローブと被検体との接触状態による超音波画像の説明図。
【図９】超音波プローブと被検体との接触状態による超音波画像の詳細説明図。
【図１０】図３のステップＳ３０７の処理の説明図。
【図１１】図３のステップＳ３０７の処理手順の詳細を示すフローチャート。
【図１２】図１１のステップＳ３０７０の処理の説明図。
【図１３】図１１のステップＳ３０７１の処理の説明図。
【図１４】図３のステップＳ３０８の処理の説明図。
【図１５】図３のステップＳ３０８の処理手順の詳細を示すフローチャート。
【図１６】図１５のステップＳ３０８０の処理の説明図。
【図１７】図１５のステップＳ３０８１の処理の説明図。
【図１８】変形例の説明図。
【発明を実施するための形態】
【００１４】
以下、添付図面に従って本発明に係る画像処理装置及び画像処理装置の制御方法の実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
【００１５】
（第１実施形態）
図１は、本実施形態に係る画像処理システムの機能構成を示す図である。画像処理装置１００は、医用画像撮影装置１１０と、超音波画像撮影装置１２０と、位置姿勢計測装置１３０と接続される。医用画像撮影装置１１０は、例えばＭＲＩであり、被検体の所定の３次元領域を撮影した３次元のＭＲＩ画像を取得する。超音波画像撮影装置１２０は、超音波撮影に使用される超音波を送受信する不図示の超音波プローブを被検体に接触させることで被検体の内部を超音波撮影し、被検体の所定の２次元領域が撮影された２次元のＢモード超音波画像を取得するものとする。
【００１６】
位置姿勢計測装置１３０は、超音波画像撮影装置１２０が有する不図示の超音波プローブの位置と姿勢とを計測する。位置姿勢計測装置１３０は、例えば不図示の磁気送信部と不図示の磁気受信部を備える。磁気送信部は計測を行う空間において固定して設置され、磁気信号を送信する。磁気受信部はその磁気信号を受信する。位置姿勢計測装置１３０は、その磁気受信部が受信した磁気信号を処理することで磁気送信部と磁気受信部の相対的な位置と姿勢の関係を計測する。ここで、磁気受信部をプローブに固定して装着することにより、プローブの位置と姿勢を、磁気送信部を基準とした座標系で計測する。
【００１７】
画像処理装置１００は、医用画像撮影装置１１０が撮影したＭＲＩ画像と、超音波画像撮影装置１２０が撮影した超音波画像と、位置姿勢計測装置１３０が計測したプローブの位置と姿勢とに基づいて、ＭＲＩ画像と超音波画像との位置合わせ処理を行う。
【００１８】
画像処理装置１００は、医用画像取得部１００１と、表面形状取得部１００２と、超音波画像取得部１００３と、接触状態判別部１００４と、位置合わせモード判定部１００５と、位置姿勢計測値取得部１００６と、位置合わせ部１００７と、変形画像生成部１００８と、画像表示部１００９とを備える。
【００１９】
医用画像取得部１００１は、医用画像撮影装置１１０が撮影した被検体のＭＲＩ画像を取得し、表面形状取得部１００２および変形画像生成部１００８へ送信する。表面形状取得部１００２は、ＭＲＩ画像を処理して被検体の表面にあたる各画素の位置を検出し、その形状（表面形状）に関する情報を、ＭＲＩ画像座標系における当該画素の位置座標の集合として生成する。そして、その結果を位置合わせ部１００７へ送信する。
【００２０】
超音波画像取得部１００３は、超音波画像撮影装置１２０が撮影した被検体の超音波画像を取得し、接触状態判別部１００４および変形画像生成部１００８へ送信する。接触状態判別部１００４は、取得した超音波画像を処理することで、プローブ撮影面上における被検体との接触部と非接触部とを判別し、その結果を位置合わせモード判定部１００５および位置合わせ部１００７へ送信する。
【００２１】
位置合わせモード判定部１００５は、接触状態判別部１００４の判別結果に基づき、後述の位置合わせ部１００７が実行する適切な処理モードを判定し、その結果を位置合わせ部１００７へ送信する。
【００２２】
位置姿勢計測値取得部１００６は、位置姿勢計測装置１３０が出力するプローブの位置と姿勢とに関する計測結果を取得し、位置合わせ部１００７へ出力する。位置合わせ部１００７は、表面形状取得部１００２、位置姿勢計測値取得部１００６、および接触状態判別部１００４の夫々から取得された情報に基づいて、ＭＲＩ撮影時と超音波撮影時との間の被検体の変形を推定する。そしてその推定に基づいて、ＭＲＩ画像と超音波画像の位置合わせを行う。そして、その結果を変形画像生成部１００８へ送信する。なお、位置合わせ部１００７の処理は、位置合わせモード判定部１００５の処理結果により異なる複数の処理モードを切り替えて実行される。
【００２３】
変形画像生成部１００８は、医用画像取得部１００１が取得したＭＲＩ画像と、超音波画像取得部１００３が取得した超音波画像とのいずれか一方、もしくは両方を位置合わせ部１００７の処理結果に基づいて変形させた変形画像を生成する。そして、その結果を画像表示部１００９へ送信する。画像表示部１００９は、変形画像生成部１００８が生成した変形画像を表示する処理を実行する。
【００２４】
図２は、第１実施形態に係る画像処理システムの装置構成を示す図である。画像処理システムは、画像処理装置１００と、ローカルエリアネットワーク（ＬＡＮ）２００を介して医用画像撮影装置１１０と、医用画像記録装置２２０と、超音波画像撮影装置１２０と、位置姿勢計測装置１３０とを備える。
【００２５】
画像処理装置１００は、例えばパーソナルコンピュータ（ＰＣ）などで実現することができる。画像処理装置１００は、中央演算処理装置（ＣＰＵ）２１１と、主メモリ２１２と、磁気ディスク２１３と、表示メモリ２１４と、モニタ２１５と、マウス２１６と、キーボード２１７とを有する。
【００２６】
ＣＰＵ２１１は、主として図１を参照して説明した画像処理装置１００の各構成要素の動作を制御する。主メモリ２１２は、ＣＰＵ２１１が実行する制御プログラムを格納したり、ＣＰＵ２１１によるプログラム実行時の作業領域を提供したりする。磁気ディスク２１３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、後述する位置合わせ処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ２１４は、モニタ２１５のための表示用データを一時記憶する。モニタ２１５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２１４からのデータに基づいて画像を表示する。マウス２１６及びキーボード２１７はユーザによるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。これらの各構成要素は共通バス２１８により互いに通信可能に接続されている。
【００２７】
本実施形態において、画像処理装置１００は、ＬＡＮ２００を介して医用画像記録装置２２０から医用画像データ等を読み出して取得することができる。また、ＬＡＮ２００を経由して医用画像撮影装置１１０から直接に医用画像データ等を取得できるようにしてもよい。本発明の形態はこれに限定されず、例えば画像処理装置１００にＵＳＢメモリ等の外部記憶装置を接続し、これらの装置から医用画像データ等を読み込んで取得するようにしても良い。また、これらの装置に本画像処理システムの処理結果を保存するようにしても良い。
【００２８】
また画像処理装置１００は、超音波画像撮影装置１２０と接続されていて、超音波画像撮影装置１２０が撮影した超音波画像を取得することができる。また、超音波画像撮影装置１２０で撮影した超音波画像を医用画像記録装置２２０に記録し、画像処理装置１００が医用画像記録装置２２０から超音波画像を読み出して取得できるようにしても良い。
【００２９】
次に、画像処理装置１００が行う全体の処理動作を、図３のフローチャートを参照して詳しく説明する。本実施形態では、主メモリ２１２に格納されている各部の機能を実現するプログラムをＣＰＵ２１１が実行することにより実現される。
【００３０】
（ステップＳ３０１）：ＭＲＩ画像取得処理
まず、ステップＳ３０１において、医用画像取得部１００１は、医用画像撮影装置１１０によって被検体を撮影したＭＲＩ画像を取得する。本実施形態ではＭＲＩ画像が三次元の画像情報である場合を例として説明し、その画像情報をIMRI(x、y、z)と表記する。ここでIMRI(x、y、z)はＭＲＩ画像座標系における位置座標ベクトル(x、y、z)の位置におけるＭＲＩ画像の輝度値を表すスカラ関数である。取得したＭＲＩ画像IMRI(x、y、z)は、表面形状取得部１００２および、位置合わせ部１００７に送信される。
【００３１】
（ステップＳ３０２）:表面の検出処理
ステップＳ３０２において、表面形状取得部１００２は、ステップＳ３０１で取得された医用画像IMRI(x、y、z)から被検体の表面にあたる各画素の位置（表面位置）を検出し、表面形状を取得する。この処理について図４を参照して説明する。図４（ａ）は、ステップＳ３０１で取得されたＭＲＩ画像IMRI(x、y、z)を、紙面上での説明のために二次元画像として表した模式図である。ＭＲＩ画像４００を構成する画素は、ＭＲＩ画像座標系４０３における位置が定義されているものとする。ＭＲＩ画像４００には、被検体の体内４０１の領域と、被検体の体外４０２の領域との両方の撮影結果が映し出されている。図４（ｂ）は、図４（ａ）のＭＲＩ画像４００から被検体の体内４０１と被検体の体外４０２との境界となる表面位置４１１を検出した表面検出画像４１０であり、例えば被検体の表面の位置とそれ以外の位置とを区別できる２値画像などである。表面形状取得部１００２は、ＭＲＩ画像４００に画像処理を施すことで表面位置４１１を検出し、表面検出画像４１０を生成する。表面位置４１１の検出方法としては様々な方法が考えられるが、例えばＭＲＩ画像４００の輝度値の空間勾配を求め、その空間輝度勾配の大きさに対して閾値処理を施すことで実現することができる。被検体の表面位置４１１を検出する方法は、これに限らず既知のいかなる方法でも良い。表面形状取得部１００２はさらに、表面検出画像４１０を処理することにより、図４（ｃ）に示すように表面位置４１１を構成する画素の中から表面点群４２０を取得する。表面点群４２０の取得は、例えば表面位置４１１を構成する画素の中から所定の間隔で取得してもよいし、表面位置４１１を構成する画素の全てを表面点群４２０として取得するようにしてもよい。
【００３２】
また被検体の表面の位置の取得は、必ずしもＭＲＩ画像４００を処理して自動的に行う必要は無く、例えば、図２に記載のマウス２１６やキーボード２１７などを用いて、ユーザが手動で指定する位置などを取得できるようにしてもよい。
【００３３】
本実施形態では、被検体の表面形状として、表面点群４２０をNS個の点群Si(1≦i≦NS)として取得するものとし、その点群の位置をＭＲＩ画像座標系４０３における３次元の位置座標ベクトルxsiとして記録する。本実施形態ではこれを、xsi=(xsi、ysi、zsi)T 、(1≦i≦NS)と表記する。
【００３４】
（ステップＳ３０３）:超音波画像取得処理
ステップＳ３０３において、超音波画像取得部１００３は、超音波画像撮影装置１２０が被検体を超音波撮影した超音波画像を取得する。この取得は超音波画像撮影装置１２０の撮影と同期して直接取得するようにしてもよいし、超音波画像撮影装置１２０が過去に撮影した画像を、図２に記載の医用画像記録装置２２０に記録し、その超音波画像を読み出して入力するようにしてもよい。超音波画像は二次元画像でも三次元画像でも良く、エラストグラフィなどの超音波画像でも良い。本実施形態では取得する超音波画像が被検体の二次元Ｂモード断層画像である場合を例として説明を行う。  図５は、超音波画像撮影装置１２０が被検体の超音波画像を撮影する様子を示す。図５において、超音波プローブ５００は超音波画像撮影装置１２０からの制御に基づき、プローブ撮影面５０１から超音波ビーム５０２を超音波撮影対象領域５０４に向けて放射し、その反射ビームを受信する。このときプローブ撮影面５０１が被検体の表面５０３と接するように設置されている場合には超音波ビーム５０２が被検体の内部に伝搬し、被検体の内部の超音波撮影が行われる。一方、プローブ撮影面５０１が被検体の表面５０３から離れている場合には、超音波ビーム５０２が被検体の内部に伝搬しないため、被検体の内部の超音波撮影が行われない。
【００３５】
図６は、超音波画像撮影装置１２０が撮影した超音波画像の例を示す。ここで超音波画像を、超音波画像座標系６０３における位置座標ベクトル(x、y、z)の位置における超音波画像の輝度値を表すスカラ関数IUS(x、y、z)として表記する。なお、超音波画像が２次元画像の場合には、その画像座標も２次元座標系となり、位置座標ベクトル(x、y、z)は(x、y)と読み替えられる。ただし、３次元のＭＲＩ画像との位置合わせを行う本実施形態において、超音波画像座標系は便宜上３次元座標系(x、y、z)とし、z=0の平面上に画像情報が存在するものと解釈する。この図において、撮影画像領域６００に対して、図５に示されるような超音波プローブ５００が超音波ビーム５０２を発射する。そして、その反射ビームを受信することによって得られた被検体内部の超音波画像が表示される。プローブ撮影面位置画素群６０１は図５のプローブ撮影面５０１に対応する超音波画像上の座標群である。超音波ビームの放射方向６０２は、プローブ撮影面位置画素群６０１から撮影画像領域６００へと向かう方向であり、ここでは超音波画像座標系６０３における方向ベクトルで表現される。 
（ステップＳ３０４）：撮影位置の取得処理
ステップＳ３０４において、位置姿勢計測値取得部１００６は、位置姿勢計測装置１３０により計測された超音波プローブ５００の位置と姿勢に関する情報を取得する。そして、超音波画像座標系６０３からＭＲＩ画像座標系４０３への変換行列を生成して記録する処理を実行する。位置姿勢計測装置１３０の出力値は、位置姿勢計測装置１３０が定める座標系を基準とした超音波プローブ５００の位置と姿勢の計測値である。位置姿勢計測装置１３０が磁気発生部と磁気受信部を備える本実施形態において、基準とする座標系は磁気発生部に固定された座標系となる。位置姿勢計測装置１３０が基準として定める座標系における超音波画像の各画素の位置は、既知の校正手法により上述の計測値を変換することにより算出できる。また、撮影された超音波画像とＭＲＩ画像とに共通して描出される被検査部位の対応付け等により、位置座標計測装置１３０が基準として定める座標系とＭＲＩ画像座標系４０３との関係を算出できる。上述の変換を夫々得ることにより、超音波画像座標系６０３からＭＲＩ画像座標系４０３への変換を得ることができる。本実施形態では、この変換を変換行列TUS_MRIと表記する。行列TUS_MRIを用いて式（１）の計算を行うことで、超音波画像座標系６０３における位置座標ベクトルxusを、ＭＲＩ画像座標系４０３における対応する位置座標ベクトルxMRIに変換できる。
【００３６】
【数１】
0005685133.tif 000002
【００３７】
ただし、xusおよびxMRIは各座標系における３次元の位置座標を意味するベクトルであり、本実施形態では夫々のベクトルが４次元の拡張ベクトルとして表現されているものとする。また、TUS_MRIは回転・並進・スケーリングによって表現される４行４列の行列であるものとする。
【００３８】
以上の処理を実行するステップＳ３０４において、位置姿勢計測取得部１００６は、位置姿勢計測装置１３０が計測を行った時点において撮影された超音波画像座標系６０３とＭＲＩ画像座標系４０３とを対応付ける座標変換TUS_MRIを取得し、記録する。
【００３９】
（ステップＳ３０５）：接触部位の検出処理
ステップＳ３０５において、接触状態判別部１００４は、取得された超音波画像を処理してプローブ撮影面５０１と被検体の表面５０３との接触部位を検出する（すなわち、プローブ撮影面５０１上における被検体との接触部と非接触部を判別する）処理を実行する。この処理について図７乃至９を参照して詳しく説明する。図７（ａ）乃至図７（ｃ）は、超音波プローブ５００のプローブ撮影面５０１と被検体の表面５０３との接触状態の典型的な例を示すものである。図７（ａ）は、プローブ撮影面５０１の全体が被検体の表面５０３と非接触な状態を表す。図７（ｂ）は、一部が接触している状態を表す。そして図７（ｃ）は、全体が接触している状態を表している。次に図８を参照して、図７（ａ）乃至図７（ｃ）における各接触状態において撮影される超音波画像の特性について説明する。図８（ａ）乃至図８（ｃ）は、図７（ａ）乃至図７（ｃ）に示した各接触状態と、その時に撮影される超音波画像を示す図である。図８（ａ）は、プローブ撮影面５０１の全体が被検体の表面５０３と非接触の状態であり、この場合は超音波プローブ５００が放射する超音波ビームが被検体の内部に到達しないため、撮影される超音波画像には被検体の内部に関する情報が撮影されない。この場合、Ｂモード超音波画像の全体の輝度値は0（黒）またはそれに近い値となる。また、図８（ｂ）に示されるように、プローブ撮影面５０１の一部が被検体の表面５０３と接触している場合には、プローブ撮影面５０１のうち被検体の表面５０３と接触している一部の部位から放射された超音波だけが被検体の内部に到達する。この場合、超音波画像上でプローブ撮影面５０１の接触部位から放射された超音波ビームによって生成される画素だけが被検体の内部を表す画像となり、それ以外の画素は非接触の場合と同様に輝度値が0（黒）になる。また、図８（ｃ）に示されるように、プローブ撮影面５０１の全体が被検体の表面５０３と接触している場合には、超音波画像の全ての領域が被検体の内部を表す画像となる。ステップＳ３０５において、接触状態判別部１００４は、プローブ撮影面５０１から放射される複数の超音波ビームの夫々が被検体の体内に到達しているかどうかを、超音波画像を処理することにより判定する。そして、その判定結果に基づいてプローブ撮影面５０１と被検体の表面５０３との接触の状態を推定する。
【００４０】
図９（ａ）乃至図９（ｃ）は、図７（ａ）乃至図７（ｃ）でも示したプローブ撮影面５０１と被検体の表面５０３との接触の状態のパターンと、夫々の状態において取得した超音波画像をより詳細に説明する図である。本実施形態では、超音波ビーム５０２毎の伝搬する線上（スキャンライン上）の画素値を処理することにより、そのスキャンラインの上端（プローブ撮影面５０１上の１点）における被検体との接触状態を推定する。この推定は、例えばスキャンライン上の画素値の平均輝度値が所定の閾値以上であるか否かによって推定の結果を切り替えるようにできる。この場合、平均輝度値が所定の閾値以上の場合には、当該画素を撮影するために放射された超音波が被検体の体内に到達し、その内部を撮影した画像が現れているものと考えられる。したがって、その超音波を放射しているプローブ撮影面５０１上の点が被検体の表面５０３と接触していると推定できる。一方、平均輝度値が所定の閾値よりも小さい場合には、当該画素を撮影するために放射された超音波が被検体の体内に到達していないものと考えられる。したがって、その超音波を放射しているプローブ撮影面５０１上の点が被検体の表面５０３と接触していない（非接触の状態である）と推定できる。以上の処理を、プローブ撮影面５０１を構成する全ての位置に関して実行することにより、各位置における被検体の表面５０３との接触の有無が推定される。これにより、プローブ撮影面５０１と被検体の表面５０３との接触境界点の位置が分かる。
【００４１】
以上超音波画像の所定の領域における平均輝度値に基づいて、プローブ撮影面５０１と、プローブ撮影面５０１を構成する複数の位置における被検体の表面５０３との接触の有無を推定する方法について説明したが、本発明の実施はこれに限らない。例えば、平均輝度値に代えて輝度値の分散と所定の閾値との大小関係に基づいて接触の有無を推定するようにしても良い。これ以外にも、例えばプローブ撮影面５０１と被検体の表面５０３とが非接触である状態における超音波画像を予め撮影しておき、その画像と、現在撮影されている超音波画像との差分画像を算出し、その差分画像に基づいて接触の有無を推定するようにしても良い。この場合、その差分画像に対して同様に平均輝度値や分散値などを算出して推定するようにできる。本発明の実施はこれらの方法に限らず、プローブ撮影面５０１の各部位における被検体の表面５０３との接触の有無を推定できる方法であればいかなる方法を用いても良い。また、超音波画像に混入した雑音などの影響を除去するためにノイズ除去フィルタを超音波画像に対して施し、その画像を用いてプローブ撮影面５０１と被検体の表面５０３との接触の有無を推定してもよい。また、推定された接触・非接触の結果をさらに処理して、ノイズ等の影響による推定結果のばらつきを抑制する処理を講じても良い。この場合、例えばプローブ撮影面５０１上の各点における接触の有無のうち、隣接する２点と推定結果が異なる孤立点の推定結果を隣接する２点の推定結果に置き換える孤立点除去を施すようにできる。また、隣接する数点の推定結果を多数決処理して当該点の推定結果を決定するなどの方法を講じても良い。以上の方法により、プローブ撮影面５０１を構成するNP個の点群Pj  (1≦j≦NP)の夫々に対する接触の有無を式（２）に示す数値列として記録する。
【００４２】
【数２】
0005685133.tif 000003
【００４３】
（ステップＳ３０６）：接触状態の判定処理
ステップＳ３０６において、位置合わせモード判定部１００５は、プローブ撮影面５０１と被検体の表面５０３との接触の状態に応じて、その後の処理を切り替える処理を行う。すなわち、プローブ撮影面５０１の全体が被検体の表面５０３と非接触の場合にはステップＳ３１０へ進む。また、全体が接触している場合にはステップＳ３０７に進む。そして、一部が接触している場合にはステップＳ３０８へ進む。この分岐処理はステップＳ３０５の処理結果に基づいて実行される。具体的にはステップＳ３０５で取得したプローブ撮影面５０１の接触の有無を記録した変数sj(1≦j≦NP)の全てが0（非接触）の場合にはステップＳ３１０へ進む。また変数sj(1≦j≦NP)の全てが1(接触)の場合にはステップＳ３０７へ進む。そして、それ以外の場合にはステップＳ３０８へ進む。
【００４４】
（ステップＳ３０７）：全体接触の場合の変形推定処理
ステップＳ３０７において、位置合わせ部１００７は、図１０（ａ）および図１０（ｂ）に示されるように、プローブ撮影面５０１とＭＲＩ画像における被検体の表面７００との形状とが一致または略一致するようにＭＲＩ画像を変形させるような変形推定の処理（位置合わせ処理）を実行する。図１０（ａ）は、プローブ撮影面５０１とＭＲＩ撮影時の被検体の表面７００との位置の関係を示す。ステップＳ３０７の処理は、プローブ撮影面５０１の全体が超音波撮影時の被検体の表面５０３と接触していると判定された場合に実行される処理である。そのため、プローブ撮影面５０１はＭＲＩ撮影時の被検体の表面７００の位置よりも体の内側に位置することが想定される。図１０（ｂ）は、プローブ撮影面５０１と超音波撮影時の被検体の表面７０２との位置の関係を説明する図である。図１０（ｂ）に示されるように、超音波撮影時の被検体の表面７０２は超音波プローブ５００の圧迫などによりＭＲＩ撮影時の被検体の表面７００よりも体内側に変形しているものと想定される。そして、その一部はプローブ撮影面５０１と一致した位置と形状となる。ステップＳ３０７では、超音波画像撮影時における被検体の表面７０２がプローブ撮影面５０１の位置と一致または略一致していることを条件とし、超音波撮影時における被検体の変形の状態を推定する。これにより、例えば、被検体の内部に腫瘤が存在するような場合に、ＭＲＩ撮影時の腫瘤７０１から超音波撮影時の腫瘤７０３の位置や形状の変動を推定することができる。
【００４５】
以下、ステップＳ３０７の詳細な処理の手順を図１１のフローチャートを参照して説明する。
【００４６】
（ステップＳ３０７０）：プローブ撮影面の点群と表面点群との対応付け処理
ステップＳ３０７０において、位置合わせ部１００７は、プローブ撮影面５０１を構成するNP個の点群Pj(1≦j≦NP)のそれぞれについて、ステップＳ３０２で得られＭＲＩ撮影時の被検体の表面点群４２０（すなわち点群Si(1≦i≦NS)）との対応付けを行う。この処理の具体例について図１２（ａ）および図１２（ｂ）を参照して説明する。図１２（ａ）において、プローブ撮影面５０１上の点８００は、点群Pjの中の任意の１点である。超音波画像座標系６０３における点８００の座標は既知の値として予め定義されているので、式（１）を用いた変換により、ＭＲＩ画像座標系４０３における点８００の座標（xPjと表記する）を取得できる。このプローブ撮影面５０１上の点８００について、その点から超音波ビームの放射方向を延伸した直線８０２を引き、被検体の表面の形状を表す点群Siの中から、その直線に対して最も近接する点を選択する。以上の処理をPjの夫々について実行する。これにより、図１２（ｂ）に示されるように、プローブ撮影面５０１の点群８０３（Pj）の夫々に対応付けられた表面の点群８０４を取得することができる。本実施形態では、この対応付けられた表面の点群８０４の各点をCj、その座標をxCj(1≦j≦NP)と表記する。これらの点群は、プローブの押し当てによる被検体の表面の変形の前後における対応する点群とみなすことができる。
【００４７】
（ステップＳ３０７１）：変形の推定処理
ステップＳ３０７１において、位置合わせ部１００７は、ステップＳ３０７０で対応付けられた点群Pjと、点群Cj(1≦j≦NP)との位置の関係に基づいて、超音波撮影時における被検体の変形状態の推定に関する処理を実行する。この処理の具体例について図１３（ａ）および図１３（ｂ）を参照して詳しく説明する。
【００４８】
位置合わせ部１００７は、点群８０３、点群８０４、不図示の超音波画像の撮影範囲などに基づいて、ＭＲＩ画像座標系における被検体内の所定の領域に、図１３（ａ）に示されるような変形前のメッシュ９００を生成する。このメッシュは、少なくとも被検体の表面の一部および超音波画像の撮影範囲の一部を含む領域に仮想的に配置する。メッシュを配置する領域は、例えば、対応付けられた表面の点群８０４から被検体の体内側に、予め定めた所定の深さまでの領域としてもよい。またこれ以外にも、例えば超音波画像から被検体の解剖学的な構造（骨や筋肉など）の境界を抽出し、その境界を領域の端面としてもよい。いずれにしても、３次元のＭＲＩ画像と超音波画像とを位置合わせする本実施形態において、変形前のメッシュ９００は所定の３次元領域に６面体や４面体などの立体構造である要素を配置することにより生成される。このメッシュはこれらの要素の頂点によって構成されていると捉えることができる。このメッシュは所定の領域の変位量を表すのに用いられる。メッシュの頂点を変位させると、それに応じて所定の領域に変位の場を生成し、これに基づいて対応付けられた表面の点群８０４の変位を求めることができる。より具体的には、変形前のメッシュ９００を構成する各頂点に対してある変位量を与えると、図１３（ｂ）に示されるように変形後のメッシュ９０１を生成することができる。そして、点群８０４の各点について、その点を内部に含む変形前のメッシュ９００の要素を特定し、変形後のメッシュ９０１における対応する要素の頂点の位置に基づいて点群８０４を変位させた変形後の表面の点群８０５を算出することができる。この計算は、例えば頂点に設定した変位量にB-Splineなどの既知の補間方法を施すことで実行できる。本実施形態では変形後の点群８０５をDj、その座標をxDj(1≦j≦NP)と表記する。そして、Djと夫々に対応するPjとの間の空間距離（すなわち、||xDj-xPj||）を求め、その平均値dを算出する。このdを変形推定に関する評価関数と呼び、変形後のメッシュを生成するために与える各頂点の変位量は、dが小さくなるように最適化される。すなわち、位置合わせ部１００７は、dに基づいてメッシュ９００の各頂点の変位量を算出する。
【００４９】
なお、頂点に与える変位量の最適化の方法は、例えば再急降下法や準ニュートン法、グリーディーアルゴリズムなどの既知の手法によって実行できる。この時、対応付けられた点群８０４を含む要素と関係しない頂点の変位量が不定となるが、例えばそのような頂点の変位量を0とする（固定する）ようにできる。また、頂点の変位量の最適化の評価関数としてDjとPjとの間の空間距離に基づく量だけなく、例えば各頂点の変位に基づき各要素の体積変化量や形状変化量などを求めて、これらの値も評価関数の一部とするようにできる。具体的には空間距離の平均値と各要素の体積変化量および形状変化量を所定の重みで加算した値をdとするようにできる。これによれば、メッシュを配置した空間において、より現実に近い自然な変形を推定することができる。また、メッシュの外端に位置する頂点を変位させない（固定する）ようにすることで、メッシュ全体が剛体変位するなどの非現実的な変動を防ぐことができる。またメッシュの各頂点の適切な変位量を探索的に導く上述の方法以外にも、例えばプローブの押し当てによる被検体の変形を有限要素法などの手法でシミュレーションし、そのシミュレーション結果に基づいて領域の変形を推定しても良い。この時、プローブ押し当てに関する外力や、被検体の内部の硬さなどのパラメータを様々に変化させ、同様にdを最適化するようにできる。
【００５０】
ステップＳ３０７１において、位置合わせ部１００７は、上述の処理を実行することにより、具体的には変形前のメッシュ９００と変形後のメッシュ９０１とを構成する頂点の座標を算出し、その座標を記録する処理を実行する。
【００５１】
以上説明したように、本実施形態におけるステップＳ３０７において、位置合わせ部１００７は、プローブ撮影面５０１の全体が被検体の表面５０３と接触するという拘束下で、超音波撮影時における被検体の変形の状態を推定する処理（位置合わせ処理）を実行する。
【００５２】
（ステップＳ３０８）：部分接触の場合の変形推定処理
ステップＳ３０８において、位置合わせ部１００７は、プローブ撮影面５０１のうち、被検体と接触している部位とＭＲＩ画像における被検体の表面の位置とを一致または略一致させるようにＭＲＩ画像を変形させる処理を実行する。図１４（ａ）は、プローブの位置と被検体の表面の位置との関係を示す。ステップＳ３０８の処理は、プローブ撮影面５０１の一部が被検体の表面と接していると判定された場合に実行される処理である。プローブ撮影面５０１のうち、被検体と接触していると判定された部位は、ステップＳ３０２で検出されたＭＲＩ撮影時における被検体の表面よりも体内側に位置することが想定される。同様に、プローブ撮影面５０１のうち、被検体と非接触であると判定された部位は、ＭＲＩ画像撮影時の被検体の表面よりも体外側に位置することが想定される。この時、超音波撮影時における被検体の表面の形状７０２は図１４（ｂ）に示されるように、プローブの圧迫により体内側に変形しているものと想定される。ステップＳ３０８では、プローブ撮影面５０１上の各部位における被検体との接触／非接触の状態と矛盾しないことを条件として、超音波撮影時における被検体の変形の状態を推定する処理（位置合わせ処理）を実行する。これにより例えば、被検体の内部に腫瘤が存在するような場合には、ＭＲＩ撮影時の腫瘤７０１の位置や形状から、超音波撮影時の腫瘤７０３の位置や形状を推定することができる。
【００５３】
ステップＳ３０８の詳細な処理の手順を図１５のフローチャートを参照して説明する。
【００５４】
（ステップＳ３０８０）：境界点の検出処理
ステップＳ３０８０において、位置合わせ部１００７は、プローブ撮影面５０１上において、被検体との接触／非接触が切り替わる位置である境界点を検出する。この処理はステップＳ３０５の処理結果、すなわちプローブ撮影面５０１を構成する点群Pj  (1≦j≦NP)の夫々に対する接触の有無sj(1≦j≦NP)に基づいて実行される。例えば、接触状態sjが式（３）に示されるような関係にある場合に、当該部位を境界点として検出するようにできる。
【００５５】
【数３】
0005685133.tif 000004
【００５６】
そして、上記の条件を満たす点を境界点として記録する。以後、この境界点の集合をDk(1≦k≦ND)と表記する。また、ＭＲＩ画像座標系におけるDkの座標をxDk(1≦k≦ND)と表記する。ここでNDは境界点の個数を表す。なお、多くの状況下においては、プローブ撮影面５０１上の一点を境界として、その片側の全点が接触、反対側の全点が非接触となるので、ND = 1となる。
【００５７】
（ステップＳ３０８１）：境界点近傍探索処理
ステップＳ３０８１において、位置合わせ部１００７は、境界点Dk (1≦k≦ND)の夫々について、ステップＳ３０２で得られたＭＲＩ撮影時の被検体の表面点群４２０（すなわち点群Si(1≦i≦NS)）との対応付けを行う。図１６（ａ）に示されるように、この対応付けは、例えば各Dkの夫々の位置から最も近接する点を点群Siの中から選択する処理により実行される。そして、境界点Dkの夫々に対応付けられた表面の点をDk'、その座標をxDk'(1≦k≦ND)として記録する。
【００５８】
（ステップＳ３０８２）：剛体補正処理
ステップＳ３０８２において、位置合わせ部１００７は、境界点群Dkとその対応点群Dk'とに基づいて、それらの点を略一致させる剛体変換行列TRIGID'を算出する処理を実行する。そして、算出したTRIGID'を乗算することで、ステップＳ３０４で得られた変換行列TUS_MRIを補正する。
【００５９】
なお、剛体変換行列TRIGID'の算出処理は公知のいかなる方法を用いても良い。図１６（ｂ）に示されるように、ND=1の場合にはTRIGID'は並進を表す剛体変換とすることができ、例えば並進量をxDk'-xDkとすることで、対応点を一致させる剛体変換が得られる。また、NDが2以上の場合には、上記同様の計算を複数の点について夫々行い、それらの平均を並進量として設定できる。また、複数の点の位置関係に基づいて回転を含む剛体変換を求めてもよい。
【００６０】
（ステップＳ３０８３）：表面との対応付け処理
ステップＳ３０８３において、位置合わせ部１００７は、図１６（ｃ）に示されるように、プローブ撮影面５０１上の接触点群９１１（すなわち、sj=1を満たす点群Pj(1≦j≦NP)）の夫々についてステップＳ３０７０と同様の処理を実行し、被検体の表面点群４２０（Si(1≦i≦NS)）との対応付けを行う。ただし、ステップＳ３０７０の処理とは異なり、ＭＲＩ画像座標系４０３における点群Pjの座標xPjは、ステップＳ３０８２で補正した後の変換行列TUS_MRIを用いて算出する。以上の処理により、プローブ撮影面５０１の接触点群９１１（Pj(1≦j≦NP、ただしsj=1)）の夫々と、それに対応付けられた被検体の表面の点群９１０（Cj(1≦j≦NP、ただしsj=1)）が得られる。
【００６１】
（ステップＳ３０８４）：変形推定処理
ステップＳ３０８４において、位置合わせ部１００７は、ステップＳ３０８２で得られた接触点群９１１とその対応点群９１０との位置関係に基づいて、超音波撮影時における被検体の変形状態の推定に関する処理を実行する。この処理の具体例について図１７を参照して詳しく説明する。
【００６２】
位置合わせ部１００７は、ＭＲＩ画像座標系における被検体内の所定の領域に、図１７（ａ）に示されるような変形前のメッシュ９１２を生成する。このメッシュは、少なくともＭＲＩ撮影時の被検体の表面の一部や、超音波撮影領域の一部を含むように決められる。ここで、変形前のメッシュ９１２の頂点に適切な変位量を与えることにより、図１７（ｂ）に示される変形後のメッシュ９１４を算出することができる。この時、対応点群９１０(Cj)をメッシュの頂点に与えられた変位量に基づいて変位させることで、変形後の表面の点群９１３の座標を算出することができる。この算出処理はステップＳ３０７１で説明した方法と同様の方法により実行できる。位置合わせ部１００７は、メッシュの頂点に与える変位量を、プローブ撮影面５０１の接触点群９１１と変形後の表面の点群９１３とが一致または略一致するように、ステップＳ３０７１と同様の方法により評価関数dの値に基づいて算出する。
【００６３】
また位置合わせ部１００７の処理は、これらの方法に限らず、プローブ撮影面５０１の非接触部位と変形後の表面の点群９１３との関係にも基づいて、メッシュの頂点に与える変位量を算出するようにできる。この場合、まずプローブ撮影面５０１を構成する点群Pjのうち被検体と非接触となる点群(Ej(1≦j≦Np、ただしsj=0))も求める。そして、仮定した変形状態における変形後の被検体の表面の点群９１３と、点群Ejとが接している場合、または近接している場合に、変形の推定に関する評価関数ｄにペナルティを課せるようにする。そして、同様に評価関数dの値に基づいてメッシュの頂点に与える変位量を算出する。この方法によれば、超音波撮影時点におけるプローブ撮影面５０１と被検体の表面との接触および非接触の両方の状態を考慮して変形状態を推定することができ、より精度の高い推定結果が得られる効果がある。
【００６４】
ステップＳ３０８４において、位置合わせ部１００７は、上述の処理を実行することにより、具体的には変形前のメッシュ９１２と変形後のメッシュ９１４とを構成する頂点の座標を算出し、その座標を記録する処理を実行する。
【００６５】
以上説明したように、ステップＳ３０８において、位置合わせ部１００７は、プローブ撮影面５０１上で被検体の表面と接触する部位が、変形後の被検体の表面と一致または略一致するという拘束下で、被検体の変形を推定する処理（位置合わせ処理）を実行する。
【００６６】
（ステップＳ３０９）：画像の生成処理
ステップＳ３０９において、変形画像生成部１００８は、ステップＳ３０７またはステップＳ３０８の位置合わせ処理の結果（変形推定の結果）に基づいて、ＭＲＩ画像を変形させた変形ＭＲＩ画像を生成する処理を実行する。この処理は、変形前のメッシュと変形後のメッシュとの夫々を構成する頂点の位置に基づいて実行される。 具体的には変形前のメッシュを構成する各要素と、それに対応する変形後のメッシュを構成する各要素との夫々の頂点の位置関係に基づき、当該要素に含まれる領域における変位に関する３次元の場（変形場）を生成する。この変形場およびＭＲＩ画像に基づいて、変形ＭＲＩ画像を生成する。この時、変形前のメッシュを基準とした領域において変形場を生成し、その変形場によってＭＲＩ画像の各画素の位置を変位させた位置を算出して、変形ＭＲＩ画像の各画素の値を決めるようにしても良い。また、別の方法として、変形後のメッシュを基準とした領域において変形場を生成し、その変形場に基づいて変形ＭＲＩ画像の各画素値を決めるために参照するＭＲＩ画像の画素の位置を求めるようにしても良い。 
なお、上記の説明ではＭＲＩ画像を変形させた変形ＭＲＩ画像を生成する場合を例に説明したが、本発明の実施はこれに限らず、例えば変形推定の結果に基づいて超音波画像を変形させた変形超音波画像を生成するようにしても良い。また変形ＭＲＩ画像と変形超音波画像の両方を生成するようにしても良い。
【００６７】
また、必ずしも変形ＭＲＩ画像や変形超音波画像を具体的に生成しなくても良く、例えば変形場やそれに相当する類の情報を生成する構成も本発明の一実施形態となりうる。
【００６８】
（ステップＳ３１０）：画像の表示処理
ステップＳ３１０において、画像表示部１００９は、ステップＳ３０９で生成された変形ＭＲＩ画像を画像処理装置１００が備えるモニタ２１５に表示する処理を実行する。ただし、ステップＳ３０６で非接触と判定された場合にはステップＳ３０９の処理は行われないので、画像表示部１００９は、変形のないＭＲＩ画像をモニタ２１５に表示する処理を実行する。画像の表示には様々な形態が考えられるが、例えば３次元の画像である変形ＭＲＩ画像から超音波画像が撮影する断面に対応する断面を切り出した２次元画像を生成し、その画像を表示してもよい。対応する断面は、式（１）に示される計算により容易に求めることができる。画像の表示に関する形態は、これ以外にも、例えば、変形ＭＲＩ画像から切り出した２次元画像と、超音波画像とを並べて表示したり、重ねて表示したりすることができる。
【００６９】
以上説明したように、本実施形態における画像処理システムによれば、ＭＲＩ画像と超音波画像の位置合わせを精密かつ高速に行うことが可能となる。超音波プローブ撮影面と被検体の表面との接触状態に基づき適応的に位置合わせの処理を実行することが、本実施形態の最大の特徴である。
【００７０】
（変形例１−１）：ＭＲＩ画像が複数ある場合の変形例
第１実施形態では、一対のＭＲＩ画像と超音波画像との位置合わせを行う場合を例として説明したが、本発明の実施はこれに限らない。例えば、２枚のＭＲＩ画像（第一のＭＲＩ画像と第二のＭＲＩ画像）を予め撮影し、必要な場合にはそれらの画像に適切な座標変換を施しておく。そして、第一のＭＲＩ画像と超音波画像とを対象として、第１実施形態で説明した方法で第一のＭＲＩ画像を変形させた第一のＭＲＩ画像を求める。そして、前述の処理で得られた変形量に基づいて第二のＭＲＩ画像に変形を施し、第二の変形ＭＲＩ画像を求めるようにできる。これによれば、超音波画像に対応付けるべく適切な変形を施した第一の変形ＭＲＩ画像と第二の変形ＭＲＩ画像を効率的な処理により生成することができる効果がある。また、この方法によれば、例えば第二のＭＲＩ画像に被検体の表面が写っていない、または画像が不鮮明などの理由で被検体の表面位置の検出が困難な場合でも、超音波画像と対応付けられる適切な変形処理を施すことができる効果がある。
【００７１】
（変形例１−２）：時系列超音波を用いる変形例
第１実施形態では、ＭＲＩ画像と１枚の超音波画像との位置合わせを行う場合を例として説明したが、本発明の実施はこれに限らない。例えば、超音波画像は時系列に複数毎の画像で構成されていても良く、これらの画像に対して連続的な処理によって位置合わせを行うようにしても良い。例えば、処理を実行する時点で取得した超音波画像をＭＲＩ画像と位置合わせする場合に、それよりも過去に撮影した超音波画像に対して第１実施形態で説明した方法で位置合わせを行った結果を用いることにより、処理を効率化させることができる。具体的には、過去の超音波画像に対する位置合わせの結果を現在の超音波画像の位置合わせ処理の初期値として用いるようにしても良い。この方法によれば、連続する超音波画像の間で撮影位置や被検体の変形の状態が近い場合に、位置合わせを、真値に近い初期値から処理を開始できる。そのため、例えば第１実施形態におけるステップＳ３０７やステップＳ３０８の処理を効率化させることができる効果がある。
【００７２】
また、この処理は撮影した時間の順に対して順方向に処理を行う必要はなく、例えば時系列に超音波画像を蓄積して、撮影順とは逆順に上記の処理を行っても良い。または撮影順に対して順方向と逆方向の両方の処理を行って夫々の結果を比較できるようにしても良い。これによれば、位置合わせ処理の安定化や失敗の検出などを行えるようになる効果がある。
【００７３】
また、プローブの移動を伴う複数時刻の超音波画像を取得して処理することで、被検体の３次元的な超音波画像に基づいて処理を実行するようにしても良い。この場合、本実施形態におけるステップＳ３０３からステップＳ３０５までの処理を繰り返し実行するとともに、それらの処理結果を蓄積する。そして、それらの処理結果を統合することにより、プローブ撮影面５０１と被検体の表面５０３との３次元的な接触状態を推定し、その推定結果に基づいてＭＲＩ画像を変形させるようにできる。これによれば、プローブと被検体との接触に関する情報を３次元的に取得することができるため、より精度の高い変形の推定を行うことができるという効果がある。
【００７４】
また、超音波画像が撮影された複数の時間の間のプローブの移動方向も算出し、その方向によって変形推定の処理を変更するようにしても良い。例えば、プローブの移動方向に基づき、プローブ撮影面５０１と被検体の表面５０３との摩擦力の影響を考慮した変形推定を行ってもよい。例えば、ステップＳ３０７またはステップＳ３０８の処理において、メッシュの頂点に与える変位量を求める際に、プローブの移動方向と同じ方向に所定の変位量を加算してもよい。これ以外にも、複数の時間の夫々について第１実施形態による位置合わせを行い、それらの結果から被検体の動的な変形状態の推移を取得してもよい。そして、この変形の状態の推移に基づいて、隣接する時間における変形状態の推定を行ってもよい。例えば複数の時間における変形状態の推移に基づいて、隣接する時間における変形状態を外挿により推定しておき、その推定結果を当該時間における変形推定の初期値として利用してもよい。これにより、プローブと被検体との間の動的な接触状態に基づく変形推定を行えるため、より精度の高い変形の推定を行うことができるという効果がある。
【００７５】
（変形例１−３）：超音波画像が３次元の場合
第１実施形態では、超音波画像は二次元断層像である場合を例として説明したが、本発明の実施はこれに限らない。例えば、超音波画像撮影装置１２０は撮影対象物体を超音波撮影した三次元画像を取得できる装置であってもよい。この場合、ステップＳ３０５においてプローブ撮影面５０１と被検体の表面５０３との３次元的な接触状態を検出することができる。これにより、ステップＳ３０７およびステップＳ３０８で実行される超音波画像撮影時における被検体の変形状態の推定が、より高い精度で実行できる効果がある。
【００７６】
（変形例１−４）：ＭＲＩと超音波以外の画像の組み合わせの場合
第１実施形態では、ＭＲＩ画像と超音波画像との位置合わせを行う場合を例として説明したが、本発明の実施はこれに限らない。医用画像撮影装置１１０が撮影する画像の種類は、ＭＲＩ画像に限らず被検体の内部を撮影し、被検体の表面の形状が観察できるものであればいかなる画像であっても良い。また医用画像撮影装置１１０が撮影する画像において被検体の表面の形状が観測できなくても、それとは別に被検体の表面の形状を観測した情報を画像処理装置１００が取得できれば良い。また超音波画像撮影装置１２０の代わりに他の類の画像を撮影する装置を用いることもできる。この場合、被検体の表面に対して何らかの拘束を受ける撮影方式による撮影画像であれば良い。例えば、撮影対象物に対してレーザ光を照射して、それに応じて撮影対象物内部から発せられる音響信号をプローブによって受信し、その音響信号に基づいて撮影対象物内部の撮影を行うＰＡＴ（Photo Acoustic Tomography）画像などであってもよい。
【００７７】
（変形例１−５）：リニア型以外のプローブの場合
第１実施形態では、超音波撮影に用いるプローブとして、リニア型のプローブを用いる場合を例として説明したが、本発明の実施はこれに限らない。例えば、プローブはコンベックス型やセクタ型、またはそれ以外のいかなる形状のプローブであってよい。例えばコンベックス型プローブを用いる場合を例として説明する。図１８（a）は、コンベックス型プローブと、そのプローブから放射される超音波ビームの方向を説明する図である。図１８（ａ）に示されるように、コンベックス型プローブ１８０１では、放射される超音波ビーム１８０２毎に、その放射方向が異なる。この場合、コンベックス型プローブ１８０１から放射される超音波ビーム１８０２に沿うライン毎に超音波画像を処理することで、図１８（ｂ）に示されるように、プローブ撮影面５０１における接触／非接触の状態を検出するようにできる。 
（変形例１−６）：プローブに接触センサを用いる場合
第１実施形態におけるステップＳ３０５の処理では、超音波画像の画像処理に基づいてプローブ撮影面５０１と被検体の表面５０３との接触の状態を推定する場合を例として説明したが、本発明の実施はこれに限らない。例えば、プローブ撮影面５０１に被検体との接触の有無を計測する接触センサを装着し、その接触センサの計測結果に基づいてプローブ撮影面５０１と被検体の表面５０３との接触有無の分布を取得できるようにしても良い。また、接触センサは、プローブ撮影面５０１と被検体の表面５０３との接触有無の分布だけでなく、計測時におけるプローブ撮影面５０１の圧力の分布を取得できるものあっても良い。この場合、ステップＳ３０７およびステップＳ３０８の各処理は、取得された圧力の分布にも基づいて行われてもよい。例えば、ステップＳ３０７１およびステップＳ３０８４で実行する変形推定の処理において、メッシュの頂点に与えた変位量に基づき、被検体の表面上で生じ得る圧力推定値を算出する。そして、その圧力推定値と、接触センサで計測した圧力の分布との差異も考慮して評価関数dを構成するようにしても良い。これによれば、現実に被検体の表面に生じている圧力を考慮して、超音波撮影時の変形を推定できるため、より現実に近い変形状態を推定できる効果がある。なお、圧力分布はセンサを用いて計測する場合に限らず、複数時刻における変形推定の結果の推移等に基づいて算出しても良い。
【００７８】
（変形例１−７）：非メッシュの変形手法を用いる場合
第１実施形態におけるステップＳ３０７およびステップＳ３０８の各処理では、被検体の表面を含む所定の領域に仮想的なメッシュを生成し、それを構成する頂点の変位により変形の状態を表す場合を例として説明したが、本発明の実施はこれに限らない。例えば、メッシュの生成を行わず、所定の領域における変位の場を多項式などの基底関数を用いて表すようにできる。一例としては、放射基底関数（RBF : Radial Basis Function）を所定の空間に配置することによって当該空間における変位の場を生成するようにできる。この時、プローブ撮影面５０１の点群の位置と、それに対応付けられた表面の点群の位置との関係に基づいて放射基底関数の中心位置や、その関数に与える変位量を設定するようにできる。この方法によれば、メッシュを生成する処理を必要としないため、より簡易に変形を表すことができる効果がある。また、これ以外にも粒子法などの非メッシュ方式による変形のシミュレーションを用いるような構成も本発明の実施形態の一つとなりうる。
【００７９】
（変形例１−８）：画像の輝度値に基づく位置合わせも行う場合
第１実施形態におけるステップＳ３０７およびステップＳ３０８の各処理では、プローブ撮影面５０１と被検体の表面５０３とに関する情報のみに基づいて変形の推定を行う場合を一例として説明したが、本発明の実施はこれに限らない。例えば、これらの処理に加えて、ＭＲＩ画像と超音波画像との輝度値にも基づいて変形の推定を行うようにできる。例えば、ステップＳ３０７１やステップＳ３０８４の処理において、仮定した変形に基づいてＭＲＩ画像を変形した変形ＭＲＩ画像と超音波画像との輝度値の類似度を算出し、その類似度を変形の評価関数dに反映させるようにできる。これによれば、被検体の表面に関する情報だけでなく、内部の情報にも基づくため、より精度の高い変形推定が行える効果がある。このとき、プローブ撮影面５０１と被検体の表面５０３との接触の状態に基づき、プローブ撮影面５０１が被検体の表面５０３と非接触の状態にある事に起因して被検体の内部が撮影できていない領域を、処理の対象から除外することができる。これによれば、変形の推定処理に悪影響を及ぼす恐れのある画像領域を予め処理対象から除外できるため、より安定した変形の推定処理を実行できる効果がある。
【００８０】
（変形例１−９）
第１実施形態におけるステップＳ３０７およびステップＳ３０８の各処理では、プローブ撮影面５０１とＭＲＩ画像における被検体の表面７００の形状とが一致または略一致するような３次元的な変形を推定する場合を例として説明したが、本発明の実施はこれに限らない。例えば、ステップＳ３０７およびステップＳ３０８の各処理は、プローブ撮影面５０１を含む２次元の断面領域における被検体の表面の形状が、プローブ撮影面５０１と一致または略一致するような、２次元断面領域の変形を推定するようにしても良い。この場合、ステップＳ３０９ではＭＲＩ画像の断面領域に対応する領域だけを処理の対象として、その領域のＭＲＩ画像を変形するようにできる。この方法によれば、プローブ撮影面５０１が被検体に与える圧力による被検体の変形が、断面の面内にほぼ限定できる場合に、より簡易な処理で第１実施形態と同等の結果を得られる効果がある。
【００８１】
（第２実施形態）
本実施形態では、超音波プローブの位置および姿勢の計測結果と、ＭＲＩ画像から検出した被検体の表面形状とに基づいて、超音波プローブと被検体との接触を判定する例を説明する。本実施形態にかかる画像処理システムの構成は第１実施形態の画像処理システムと同様であるため説明は省略するが、接触状態判定部１００４および位置合わせ部１００７が実行する処理が第１実施形態とは異なっている。
【００８２】
ステップＳ３０５において、接触状態判別部１００４は、表面形状取得部１００２が検出する被検体の表面に関する情報（表面形状情報）と、位置姿勢取得処理により位置姿勢計測値取得部１００６が取得する超音波画像の撮影位置・姿勢とに基づいて、プローブ撮影面５０１と被検体の表面５０３との接触状態を検出する。すなわち、プローブ撮影面５０１上における被検体との接触部と非接触部を判別する。例えば図７で説明したプローブ撮影面５０１を構成する点群Pj(1≦j≦NP)の夫々が、表面形状取得部１００２で検出した被検体の表面よりも体内側に存在するか否かにより、点群の夫々が被検体の表面に対して接触しているか否かを決定できる。これによれば、超音波画像を処理することなくプローブ撮影面５０１と被検体の表面５０３との接触状態を推定する処理を実行できるため、計算処理の負荷を低減する効果がある。
【００８３】
また、本実施形態に係る方法により接触状態を検出する方法と、第１実施形態に記載した接触状態の検出方法の両方の処理を実行するようにしても良い。例えばステップＳ３０６およびステップＳ３０８において、位置合わせ部１００７は、この両方の検出結果のどちらを利用するかをユーザの入力操作などにより切り替えて実行するようにできる。これ以外にも、ステップＳ３０５において、例えばプローブ撮影面５０１上の各点が被検体の表面５０３に接触しているか否かを、両方の結果の論理和もしくは論理積により決めるようにしても良い。また、両方の検出結果が大きく異なるような場合に、ユーザに対して警告を提示し、確認を促すようにしても良い。また、これ以外にも例えば以下のような処理を実行しても良い。まず、両方の検出結果のいずれか一方に基づいて第１実施形態に記載のステップＳ３０６およびステップＳ３０７またはステップＳ３０８を実行する。そして、その結果を変形推定の初期値として利用し、他方の検出結果に基づくステップＳ３０６およびステップＳ３０７またはステップＳ３０８の処理を実行する。両方の処理を実行するこれらの方法によれば、位置姿勢計測装置１３０の計測精度や、被検体の移動、超音波画像の画質等に起因して、いずれかの検出結果に誤差が多く含まれるような場合にも、より安定して望ましい結果が得られる効果がある。
【００８４】
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
【００８５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005685133.tif 000005
【図２】
0005685133.tif 000006
【図３】
0005685133.tif 000007
【図４】
0005685133.tif 000008
【図５】
0005685133.tif 000009
【図６】
0005685133.tif 000010
【図７】
0005685133.tif 000011
【図８】
0005685133.tif 000012
【図９】
0005685133.tif 000013
【図１０】
0005685133.tif 000014
【図１１】
0005685133.tif 000015
【図１２】
0005685133.tif 000016
【図１３】
0005685133.tif 000017
【図１４】
0005685133.tif 000018
【図１５】
0005685133.tif 000019
【図１６】
0005685133.tif 000020
【図１７】
0005685133.tif 000021
【図１８】
0005685133.tif 000022