(57)【特許請求の範囲】
【請求項１】
複数の断面画像から構成された第１の画像と複数の断面画像から構成された第２の画像の間の変形を算出する画像処理装置であって、
前記第２の画像を分割した複数の部分領域の算出順序を決定する算出順序決定部と、
前記算出順序決定部により決定された部分領域の算出順序で、前記部分領域ごとに前記第１の画像と前記第２の画像の間の変形を算出する算出部と、
前記算出部により算出された部分領域の変形を基に、前記第１の画像を変形させた変形画像を生成する変形画像生成部と、
前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部と
を有することを特徴とする画像処理装置。
【請求項２】
前記算出部がすべての部分領域の変形の算出を終了する前に、前記変形画像生成部は、前記算出部が変形の算出を終了した一部の前記部分領域に対応する前記第１の画像の変形画像を生成し、前記表示制御部は、前記変形画像生成部により生成された前記一部の部分領域に対応する前記第１の画像の変形画像を前記表示部に表示させることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記算出部がすべての部分領域の変形の算出を終了する前に、前記複数の部分領域の算出順序の変更が指示されると、前記算出部は、前記変形の算出を中断し、前記算出順序決定部は、前記複数の部分領域の算出順序を変更し、前記算出部は、前記変更された算出順序で、前記第１の画像と前記第２の画像の前記部分領域の間の変形を算出することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記表示制御部は、前記変形画像及び前記第２の画像を前記表示部に表示させることを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記第１の画像及び前記第２の画像は、異なる条件で撮像された３次元断層画像であるであることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記表示制御部は、前記変形画像として、前記第１の画像の変形画像の断面画像を前記表示部に表示させることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記部分領域は、前記第２の画像を構成する断面又は断面群であり、
前記表示制御部は、前記算出部が算出済みの断面の範囲を前記表示部に表示させることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記表示制御部が前記表示部に表示させる前記断面画像は着目断面の断面画像であり、
前記表示制御部は、前記着目断面の位置を示す情報と、前記算出済みの断面の範囲を示す情報とを関連付けて前記表示部に表示させることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記部分領域は、前記第２の画像を構成する断面又は断面群であり、
前記第２の画像上の着目断面を取得する着目領域取得部をさらに有し、
前記算出順序決定部は、前記着目断面を含む部分領域を最先にして、前記複数の部分領域の算出順序を決定することを特徴とする請求項５記載の画像処理装置。
【請求項１０】
前記第１の画像上の点と前記第２の画像上の点とを対応付ける対応点を取得する対応点取得部をさらに有し、
前記算出部は、前記対応点に基づいて、前記部分領域ごとに前記第１の画像と前記第２の画像の間の変形を算出することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記第１の画像上の点と前記第２の画像上の点とを対応付ける対応点を取得する対応点取得部をさらに有し、
前記算出順序決定部は、前記複数の部分領域の中で前記対応点の密度が高い部分領域ほど算出順序が早くなるように、複数の部分領域の算出順序を決定することを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記算出順序決定部は、前記複数の部分領域の中でエッジが多い部分領域ほど前記算出順序が早くなるように、複数の部分領域の算出順序を決定することを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記算出順序決定部は、前記複数の部分領域の中で前記第１の画像と前記第２の画像の部分領域の間の類似度が低い部分領域ほど前記算出順序が早くなるように、複数の部分領域の算出順序を決定することを特徴とする請求項１記載の画像処理装置。
【請求項１４】
複数の断面画像から構成された第１の画像と複数の断面画像から構成された第２の画像の間の変形を算出する画像処理装置であって、
前記第２の画像上の着目断面を取得する着目領域取得部と、
前記着目断面を最先にして、算出順序を決定する算出順序決定部と、
前記算出順序決定部により決定された算出順序で、前記第１の画像と前記第２の画像の間の変形を算出する算出部と、
前記算出部により算出された変形を基に、前記第１の画像を変形させた変形画像を生成する変形画像生成部と、
前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部と
を有することを特徴とする画像処理装置。
【請求項１５】
複数の断面画像から構成された第１の画像と複数の断面画像から構成された第２の画像の間の変形を算出する画像処理方法であって、
算出順序決定部により、前記第２の画像を分割した複数の部分領域の算出順序を決定する算出順序決定ステップと、
算出部により、前記算出順序決定ステップで決定された部分領域の算出順序で、前記部分領域ごとに前記第１の画像と前記第２の画像の間の変形を算出する算出ステップと、
変形画像生成部により、前記算出ステップで算出された部分領域の変形を基に、前記第１の画像を変形させた変形画像を生成する変形画像生成ステップと、
表示制御部により、前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップと
を有することを特徴とする画像処理方法。
【請求項１６】
複数の断面画像から構成された第１の画像と複数の断面画像から構成された第２の画像の間の変形を算出する画像処理方法であって、
着目領域取得部により、前記第２の画像上の着目断面を取得する着目領域取得ステップと、
算出順序決定部により、前記着目断面を最先にして、算出順序を決定する算出順序決定ステップと、
算出部により、前記算出順序決定ステップで決定された算出順序で、前記第１の画像と前記第２の画像の間の変形を算出する算出ステップと、
変形画像生成部により、前記算出ステップで算出された変形を基に、前記第１の画像を変形させた変形画像を生成する変形画像生成ステップと、
表示制御部により、前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップと
を有することを特徴とする画像処理方法。
【請求項１７】
複数の断面画像から構成された第１の画像と複数の断面画像から構成された第２の画像の間の変形を算出するプログラムであって、
前記第２の画像を分割した複数の部分領域の算出順序を決定する算出順序決定ステップと、
前記算出順序決定ステップで決定された部分領域の算出順序で、前記部分領域ごとに前記第１の画像と前記第２の画像の間の変形を算出する算出ステップと、
前記算出ステップで算出された部分領域の変形を基に、前記第１の画像を変形させた変形画像を生成する変形画像生成ステップと、
前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップと
をコンピュータに実行させるためのプログラム。
【請求項１８】
複数の断面画像から構成された第１の画像と複数の断面画像から構成された第２の画像の間の変形を算出するプログラムであって、
前記第２の画像上の着目断面を取得する着目領域取得ステップと、
前記着目断面を最先にして、算出順序を決定する算出順序決定ステップと、
前記算出順序決定ステップで決定された算出順序で、前記第１の画像と前記第２の画像の間の変形を算出する算出ステップと、
前記算出ステップで算出された変形を基に、前記第１の画像を変形させた変形画像を生成する変形画像生成ステップと、
前記変形画像生成ステップで生成された変形画像を表示部に表示させる表示制御ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
医療用画像を用いた画像診断において、医師は、複数の撮像装置（モダリティ）等で撮像された画像を対比しながら診断を行う。しかしながら、画像間で被検体の姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数の画像間の位置合わせを行うことが試みられている。複数の画像を位置合わせする方法として、非特許文献１には、２枚の画像の類似度をコスト関数として、繰り返し計算に基づく非線形な最適化を行う技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｄ．Ｒｕｅｃｋｅｒｔ, Ｌ．Ｓｏｎｏｄａ, Ｃ．Ｈａｙｅｓ, Ｄ．Ｈｉｌｌ, Ｍ．Ｌｅａｃｈ，ａｎｄ  Ｄ．Ｈａｗｋｅｓ，"Ｎｏｎｒｉｇｉｄ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｕｓｉｎｇ  ｆｒｅｅ−ｆｏｒｍ  ｄｅｆｏｒｍａｔｉｏｎｓ：  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｂｒｅａｓｔ  ＭＲ  ｉｍａｇｅｓ"，ＩＥＥＥ  ｍｅｄ．  ｉｍａｇ．，ｖｏｌ．１８（８），ｐｐ．７１２−７２１，１９９９．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、繰り返し計算に基づく非線形な最適化を行う位置合わせアルゴリズムは、多大な計算量を要する場合がある。このような計算量が多いアルゴリズムを位置合わせに用いる場合、ユーザが確認したい領域の位置合わせ結果を表示するまでに時間がかかる課題がある。
【０００５】
本発明の目的は、第１の画像と第２の画像の位置合わせにかかる時間を低減することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、複数の断面画像から構成された第１の画像と複数の断面画像から構成された第２の画像の間の変形を算出する画像処理装置であって、前記第２の画像を分割した複数の部分領域の算出順序を決定する算出順序決定部と、前記算出順序決定部により決定された部分領域の算出順序で、前記部分領域ごとに前記第１の画像と前記第２の画像の間の変形を算出する算出部と、前記算出部により算出された部分領域の変形を基に、前記第１の画像を変形させた変形画像を生成する変形画像生成部と、前記変形画像生成部により生成された変形画像を表示部に表示させる表示制御部とを有することを特徴とする。
【発明の効果】
【０００７】
第１の画像と第２の画像の位置合わせにかかる時間を低減することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置の構成例を示す図である。
【図２】第１の実施形態に係る処理手順を示すフローチャートである。
【図３】第１の実施形態に係る入力画像表示時の表示部の画面構成を示す図である。
【図４】ＦＦＤにおける変形表現の性質を示す模式図である。
【図５】ＦＦＤを用いた変位場算出の手順を説明するための模式図である。
【図６】第１の実施形態に係る変形画像表示時の表示部の画面構成を示す図である。
【図７】第２の実施形態に係る画像処理装置の構成例を示す図である。
【図８】第２の実施形態に係る処理手順を示すフローチャートである。
【図９】第２の実施形態に係る入力画像表示時の表示部の画面構成を示す図である。
【図１０】第３の実施形態に係る変位場算出順序決定手順を示す模式図である。
【図１１】変位場算出における着目領域を算出する処理手順を説明する図である。
【図１２】変位場算出対象領域を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
【００１０】
（第１の実施形態）
本発明の第１の実施形態に係る画像処理装置は、２枚の画像間の位置合わせを行うものである。画像処理装置は、第１の変形状態で撮像した画像（以下、第１の画像と呼ぶ）を変形させて第２の変形状態で撮像した画像（以下、第２の画像と呼ぶ）に位置合わせするための変位場（変形）を算出する（すなわち、画像間の変形推定を行う）。画像処理装置は、変位場を算出する算出処理において、画像全体に対して適用される最終的な変位場（以下、最終変位場と呼ぶ）とは異なる、画像の特定の断面に近い領域から順に局所的な変位場を算出する。そして、上記の局所的な変位場によって算出された変形画像を表示する。これにより、最終変位場の算出の最中であっても、ユーザが着目する断面（着目断面）に対しては、変形結果を確認することが可能となる。
【００１１】
本実施形態では、変位場を表現するモデルは「コンパクトサポート」な性質をもつものを採用する。これは、変位場を表現するモデルが多数のパラメータで表現されるときに、夫々のパラメータは画像内のある局所領域の変形にのみ影響を与えるという性質である。このことで、画像内の局所領域ごとに変位場を独立して算出することが可能となる。
【００１２】
本実施形態では、コンパクトサポートな変位場表現モデルとして、ＦＦＤ（Ｆｒｅｅ  ｆｏｒｍ  ｄｅｆｏｒｍａｔｉｏｎ）を用いる。これは、画像空間中にグリッド状に配置される「制御点」に割り当てられた「制御量」を用いてパラメトリックに変形を表現する手法である。ＦＦＤを用いた画像の変形は、例えば非特許文献１等によって公知である。ＦＦＤを用いた変形の表現において重要なのは、ある座標位置の変位を表現するために必要な制御点は、その座標位置周辺の少数の制御点群に限られる、という性質を持つということである。以下では、前記性質を、コンパクトサポートな性質と呼ぶ。
【００１３】
図４は、ＦＦＤにおけるコンパクトサポートな性質を説明するための模式図である。なお、本実施形態では、３次元画像を処理対象としており、変形も３次元空間上で表現されるが、ここでは説明の都合上２次元画像で示す。いま、画像空間中に、３６個の制御点Ｐ＝｛ｐ1，…，ｐ36｝があり、この制御点Ｐを用いて画像上の座標位置ｃs＝（ｘs，ｙs）の変位を表現するとする。ＦＦＤによる変形表現の基底関数として、３次のＢスプライン関数を用いる場合を説明する。その場合、位置ｃsの変位に関与する制御点群Ｐtは、各軸方向におけるｃsの前後２点、すなわちＰt＝｛ｐ8，…，ｐ11，ｐ14，…，ｐ17，ｐ20，…，ｐ23，ｐ26，…，ｐ29｝である。Ｐtに含まれる制御点群を、図４の黒丸で示している。このように、ある座標位置の変位を算出するためには、その座標位置近傍の制御点群のみを考慮すればよく、それ以外の制御点群は無視できる。この性質があるために、ある局所領域の変位場を算出するためには、領域周辺の制御点群のみを考慮すればよいことが分かる。
【００１４】
本実施形態に係る画像処理装置は、ユーザが指定する断面を着目領域（着目断面）として、該着目領域に基づき、第２の画像における全ての領域に対して変位場算出の順序を設定する。画像領域は、「変形に関与する制御点群が同じである」断面の集合を一つの部分領域として、複数の部分領域に分割される。このとき、着目領域が含まれる部分領域（以下、優先部分領域とする）は最も順序が早くなる。そして、着目領域に近い部分領域であればあるほど、早い順序が設定される。そして、着目領域に対する変位場算出が完了すると、算出された変位場をただちに第１の画像に適用して変形させた画像（変形画像）が表示部に表示される。また、変位場算出の途中にユーザの指示によって着目領域を変更した場合には、変更後の着目領域に基づいて変位場算出の順序が再設定される。このようにして、全領域の変位場算出が完了するのを待つことなく、ユーザが指定する着目領域については、どのタイミングでも、最優先で変位場算出処理が行われる。本実施形態に係る画像処理装置は、以上のような特徴的な処理を実行して、２枚の画像間の位置合わせを行う。
【００１５】
ここで、「変位場」とは、第２の画像上のある位置が、第１の画像上のどの位置と対応しているか（すなわち、画像上の夫々の点が画像間でどのように変位しているか）を示すものである。例えば、第２の画像における全ボクセルの座標位置について夫々、第１の画像のどの位置と対応しているかを表したデータの集合として表現される。
【００１６】
変位場算出は、例えば２枚の画像の間の類似度を最大化することを拘束条件として行われるものとする。類似度の算出には、例えばＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｎｃｅ）、相互相関、相互情報量といった種々の公知の方法が利用可能である。以下、図１〜図６を用いて、本実施形態に係る画像処理装置の構成及び処理を説明する。
【００１７】
図１は、本実施形態に係る画像処理システムの構成例を示す図である。画像処理システムは、画像処理装置１００、データサーバ１５０、操作部１６０及び表示部１７０を有する。画像処理装置１００は、データサーバ１５０、操作部１６０、及び表示部１７０に接続されている。
【００１８】
データサーバ１５０が保持する第１の画像及び第２の画像は、異なる条件（異なるモダリティ、撮影モード、日時、体位等）で被検体を予め撮像して得られた３次元断層画像である。３次元断層画像を撮像する画像撮像装置（モダリティ）は、例えば、ＭＲＩ装置、放射線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、陽電子放射断層撮像装置（ＰＥＴ）／単一光子放射断層撮影装置（ＳＰＥＣＴ）、ＯＣＴ装置などであってもよい。
【００１９】
第１の画像及び第２の画像は、例えば、異なるモダリティや異なる撮影モードで同時期に撮像されたものであってもよい。また、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。なお、第１の画像及び第２の画像は、２次元断面画像の集合として構成されており、各２次元断面画像の位置及び姿勢は、基準座標系（被検体を基準とした空間中の座標系）に変換した上でデータサーバ１５０に保持されているものとする。基準座標系で表現された第１の画像及び第２の画像は、データ取得部１０６を介して画像処理装置１００に入力される。
【００２０】
操作部１６０は、ユーザによるマウス・キーボードや表示部１７０が備えるＧＵＩに対する操作を受け付けて、後述する着目領域取得部１０２を介して、画像中のどの断面を着目領域（着目断面）として指定するかを画像処理装置１００に入力する。ここで、着目領域は、第２の画像上で指定するものとする。詳細は後述するが、上記着目領域の取得は、変位場算出の最中であっても可能とする。変位場算出の最中に着目領域が変更された場合、更新後の情報が画像処理装置１００に入力され、変位場算出の順序が再設定される。
【００２１】
表示部１７０は、画像処理装置１００が生成する表示画像や、変位場算出の進捗状況といった各種の情報を表示する。また、表示部１７０には、ユーザからの指示を取得するためのＧＵＩも配置されている。
【００２２】
画像処理装置１００は、着目領域取得部１０２、算出順序決定部１０３、変位場算出部１０４、変形画像生成部１０５、データ取得部１０６、及び表示制御部１０７を有する。データ取得部１０６は、データサーバ１５０から入力される第１の画像及び第２の画像を取得し、第１の画像及び第２の画像を変位場算出部１０４及び表示制御部１０７へ出力する。
【００２３】
着目領域取得部１０２は、操作部１６０から、第２の画像上における着目領域（着目断面）を取得する。着目領域取得部１０２は、例えば、ユーザの指示に従って、第２の画像上における着目領域を取得して、その位置情報を不図示の記憶部に格納し、記憶部に格納されている着目領域の位置情報を、算出順序決定部１０３へ出力する。
【００２４】
算出順序決定部１０３は、着目領域の位置情報に基づいて、第２の画像を分割した複数の部分領域について、変位場の算出順序を決定し、決定された部分領域ごとの変位場算出順序を、変位場算出部１０４へ出力する。
【００２５】
変位場算出部１０４は、算出順序決定部１０３により決定された部分領域の算出順序で、部分領域ごとに第１の画像と第２の画像の間の変位場（変形）を算出する。変位場算出部１０４は、まず、算出順序決定部１０３で決定された変位場算出順序に基づき、変位場算出対象とする部分領域（変位場算出対象領域）を決定する。そして、変位場算出部１０４は、その変位場算出対象領域に対してのみ変位場算出を行い、その算出結果を不図示の記憶部に記憶し、その算出結果を変形画像生成部１０５へ出力する。変位場算出方法の詳細は、図２で示すフローチャートのステップＳ２０４０に対する説明で示す。
【００２６】
変形画像生成部１０５は、変位場算出部１０４により算出された部分領域の変位場を基に、第２の画像の着目断面に対応する第１の画像の部分領域を変形させた、該着目断面の第１の画像における対応断面画像（変形画像）を生成する。そして、変形画像生成部１０５は、その生成した変形画像を表示制御部１０７へ出力する。なお、第２の画像の着目断面の画像と変形画像との差分画像を生成し、これを変形画像の代わりに表示すべき画像として表示制御部１０７へ出力してもよい。
【００２７】
表示制御部１０７は、第２の画像上の着目断面の画像と、変形画像生成部１０５により生成された該着目断面の第１の画像における対応断面画像（変形画像）を、表示部１７０に表示させるための表示制御を行う。
【００２８】
図２は、画像処理装置１００が行う画像処理方法の処理手順を示すフローチャートである。まず、ステップＳ２０００では、データ取得部１０６は、データサーバ１５０から、第１の画像及び第２の画像を取得する。なお、前述の通り、第１の画像と第２の画像は、ともに、複数の断面画像から構成される３次元画像である。なお、夫々の画像が患者情報や診断情報等の付帯情報を備えている場合には、データ取得部１０６は、それらの付帯情報も同時に取得する。
【００２９】
次に、ステップＳ２０１０では、着目領域取得部１０２は、ユーザの指示に従って、操作部１６０から、第２の画像上のどの断面を着目領域（着目断面）として指定するかという情報を取得する。
【００３０】
図３に、着目領域取得時に表示部１７０に表示される表示画面３０１の例を示す。表示制御部１０７は、ユーザの指示に従って、第１の画像と第２の画像から所定の断面画像をそれぞれ生成して、第１の断面画像３０２及び第２の断面画像３０３として、それぞれを表示部１７０の表示画面３０１内に表示させる。表示画面３０１において、ユーザは、着目断面設定スライダ３０４（バー３０６とつまみ３０７で構成される）を操作して、第２の断面画像３０３の表示を切り替え、優先的に変形結果を観察したい断面画像を探す。そして、着目領域取得部１０２は、ユーザによる位置合わせ開始ボタン３０５の押下を受け付けた時に表示中の断面を着目領域（着目断面）として、その位置情報を保存する。そして、画像処理装置１００は、ステップＳ２０２０へ処理を進める。
【００３１】
なお、上記の操作方法は一例であり、３次元画像から特定の断面画像指定を実現する任意の操作方法を用いる構成であってもよい。例えば、スライダを操作する代わりに、第２の断面画像３０３の表示領域上でマウスのホイールを操作することによって断面画像を切り替える方法をとることも可能である。また、表示断面を着目断面とする以外にも、断面の識別子（スライス番号）をユーザが直接指定することによって着目断面を指定してもよい。なお、ステップＳ２０００で取得した第２の画像の付帯情報として、第２の画像上における注目すべき断面の情報が保持されている場合には、当該断面を着目断面として設定してもよい。また、ステップＳ２０００で取得した第２の画像の付帯情報として、腫瘍や解剖学的部位（乳頭など）等の被検体中の注目部位を表す領域や座標の情報が含まれている場合には、当該領域や座標を含む断面を着目断面として設定するようにしてもよい。
【００３２】
ステップＳ２０２０では、算出順序決定部１０３は、ステップＳ２０１０で取得した（あるいはステップＳ２０８０で変更した）着目領域の位置情報に基づき、第２の画像の全領域について、変位場算出の順序を決定する。なお、本ステップの処理を２回目以降に行う場合であって、かつ、前回から着目領域が変更されていない場合には、本ステップの処理を省略できる。
【００３３】
図５は、変位場算出順序決定方法を説明するための模式図である。図５では、第２の画像及びＦＦＤの制御点群を、断面と平行な方向（Ｙ軸方向）からみた２次元模式図で示している。すなわち、２次元画像である各断面（Ｓ1，…，Ｓ8）は、図５では直線として表示されている。また、第２の画像を構成する各断面は、Ｘ・Ｙ平面に平行な画像であるとする。いま、ステップＳ２０１０で選択された着目断面は、Ｓ4であるとする。
【００３４】
算出順序決定部１０３は、まず、ＦＦＤの制御点群が配置されているグリッドに基づいて、「変形に関与する制御点群が同じである」部分領域を算出する。すなわち、算出順序決定部１０３は、第２の画像を複数の部分領域に分割する。この部分領域は、断面の集合である。図５において、部分領域は、灰色で塗りつぶされた領域として示されており、Ω1，…，Ω4が、算出された部分領域である。図５では、部分領域Ω1には断面Ｓ1とＳ2、部分領域Ω2には断面Ｓ3とＳ4、部分領域Ω3には断面Ｓ5とＳ6、部分領域Ω4には断面Ｓ7とＳ8がそれぞれ含まれている。部分領域Ω1〜Ω4は、それぞれ、第２の画像を構成する断面又は断面群を含む。次に、算出順序決定部１０３は、上記の部分領域のそれぞれに対して、変位場算出順序を決定する。特に、算出順序決定部１０３は、着目領域を含む部分領域を最先（第１位）にして、最先に変位場算出を行う部分領域を優先部分領域として設定する。図５では、着目断面Ｓ4が含まれる部分領域Ω2が優先部分領域である。以降、算出順序決定部１０３は、着目断面Ｓ4からの最短距離が近い順に、部分領域の変位場算出の順序を設定する。図５の場合、部分領域Ω3が第２位、部分領域Ω1が第３位、そして部分領域Ω4が第４位である。算出順序決定部１０３は、このようにして設定された順序情報を、不図示の記憶装置に格納する。
【００３５】
なお、上記の記述では、同一の制御点群が変形に関与する領域は、すべて同じ部分領域に属する場合を例に説明したが、部分領域の分割単位をさらに細かくする構成をとることも可能である。この場合、例えば、図５における部分領域Ω1を２分割・３分割といったさらに細かい単位に分割する。この処理方法によると、一度に変位場算出を行う部分領域が小さくなるため、部分領域あたりの変位場算出における計算量を削減することが可能となる。
【００３６】
次に、ステップＳ２０３０では、変位場算出部１０４は、変位場算出に先立って、第２の画像上のどの部分領域を変位場算出の処理を行う対象領域（変位場算出対象領域）Ωtとするかを決定する。変位場算出対象領域Ωtの決定は、以下の手順で行う。まず、第２の画像上のどの部分領域が変位場算出済みで、どの部分領域が変位場未算出であるかという情報が、不図示の記憶装置に格納されているものとする。さらに、ステップＳ２０２０で示した通り、第２の画像のすべての部分領域について、変位場算出の順序が不図示の記憶装置に格納されている。変位場算出部１０４は、これらの情報に基づき、まだ変位場が算出されておらず、かつ変位場算出順序が最も早い部分領域を変位場算出対象領域Ωtとする。
【００３７】
次に、ステップＳ２０４０では、変位場算出部１０４は、ステップＳ２０３０で選択した変位場算出対象領域に対する変位場算出を開始する。ただし、本ステップの処理を２回目以降に行う場合であって、かつ、変位場算出処理中の対象領域が存在する場合には、変位場算出部１０４は、まず、ステップＳ２０３０で選択した変位場算出対象領域Ωtが、変位場算出処理中の対象領域と同一か否かの判定を行う。そして、変位場算出部１０４は、変位場算出対象領域Ωtが同一の場合（優先処理すべき部分領域に変更が無い場合）には、変位場算出処理中の対象領域の変位場算出処理をそのまま継続する。一方、変位場算出対象領域Ωtが同一でない場合（優先処理すべき部分領域に変更がある場合）には、変位場算出処理中の対象領域の変位場算出処理を中断し、新たな変位場算出対象領域Ωtに対する処理を開始する。なお、変位場算出処理を中断する場合、変位場算出部１０４は、その時点までの繰り返し最適化の途中経過で算出された制御量を、いったん不図示の記憶装置に格納する。その一方で、変位場算出部１０４は、該変位場算出対象領域が変位場算出済みかどうかの情報は「未算出」のままとする。その後、ステップＳ２０４０では、再び該変位場算出対象領域が変位場算出対象領域Ωtとして選択された場合、変位場算出部１０４は、不図示の記憶装置に格納されている最適化途中の制御量を読み込み、その制御量を初期値として、変位場算出処理を再開する。
【００３８】
変位場算出部１０４は、第２の画像全体に対して変位場算出を行う場合と比べ、特定の領域のみを変位場算出対象とすることで、計算量を少なく抑えることができる。ここで注意すべき点は、ステップＳ２０４０では、変位場算出が完了するのを待つことなく、次のステップＳ２０５０へと遷移するという点である。これは、変位場算出処理は、バックグラウンドで動作し、変位場算出が行われている間も着目断面切り替えといったユーザによる操作を受け付けることを意味する。バックグラウンドで動作している変位場算出処理が完了したか否かの判定は、後述するステップＳ２０５０で行われる。
【００３９】
以下、［１］変位場算出における前提条件説明、［２］変位場算出処理手順の順で、ステップＳ２０４０の処理内容を詳述する。
【００４０】
変位場算出における前提条件として挙げられるのは、本実施形態で算出される変位場は「逆方向の」変位場（以下、「逆変位場」と呼ぶ）である、という点である。逆変位場とは、「第２の画像から第１の画像へと向かう変位場」を指し、「第２の画像上の全ボクセル座標について、第１の画像のどの座標位置と対応しているか」を表現するものである。変形位置合わせにおいて、算出する変位場が逆変位場であることは一般的である。なぜなら、第１の画像を変形させた変形画像を生成するために必要なのは、「第２の画像におけるあるボクセルと対応する、第１の画像上の位置における輝度値」という、「逆方向の変位情報」だからである。このように、本実施形態で算出される変位場は逆変位場であるため、グリッド状に配置されるＦＦＤの制御点群は、第２の画像上に配置される。このため、変位場算出の間中、第１の画像が変形前の状態から順次変形したとしても、制御点群のグリッドは変化せず、同一である。
【００４１】
ここで、図５を用いて、変位場の算出方法を説明する。いま、図５において、変位場算出対象領域は、Ω2であるとする。そして、第２の画像上には、制御点群Ｐ＝｛ｐ1，…，ｐ20｝が配置されているとする。ここで、ある制御点ｐkにおける制御量ｖkは、次式（１）に示す３次元ベクトルで表される。
【００４２】
【数１】
0006768389.tif 000002
【００４３】
ここで、ｖxk、ｖyk、ｖzkは、それぞれ、Ｘ・Ｙ・Ｚ軸方向の制御量である。変位場算出対象領域Ωtの変形に関与する制御点の集合をＰt、変形に関与しない制御点の集合をＰuとすると、全ての制御点は、Ｐt・Ｐuのいずれかに属することになる。図５の場合、領域Ω2に関するＰt、Ｐuは、それぞれ以下の通りである。
【００４４】
【数２】
0006768389.tif 000003
【００４５】
そして、制御点群Ｐtがもつ制御量を一列に並べたベクトルをｖtとする。変形に関与する制御点群がもつ制御量ｖtを用いて、変位場算出におけるコスト関数は、次式（２）で表される。
【００４６】
【数３】
0006768389.tif 000004
【００４７】
ここで、Ωtは変位場算出対象領域（図５ではΩ2）であり、Ｉm（ｘ）・Ｉf（ｘ）は、それぞれ、第１の画像・第２の画像の座標位置ｘにおける輝度値を取得する関数である。また、Ｄ（ｘ、ｖ）は、制御量ベクトルｖを用いて座標位置ｘの変位先を求める関数である。この式（２）は、第１の画像の変形画像と第２の画像とのＳＳＤ（Ｓｕｍ  ｏｆ  ｓｑｕａｒｅｄ  ｄｉｆｆｅｒｅｎｃｅ）をΩt内で求めることを意味する。変位場算出とは、上記のコスト関数の値が最小となる制御量ｖtを求めることを意味する。すなわち、ステップＳ２０４０において、変位場算出部１０４は、変位場算出対象領域Ωtにおける変位場の算出処理として、式（２）のコスト関数を最小にする制御量ｖtを求める処理を開始する。最適なｖtを算出するために、変位場算出部１０４は、最急降下法や共役勾配法といった公知の最適化手法を用いることが可能である。算出された、制御点群Ｐtのそれぞれの制御点に対する制御量は、不図示の記憶装置に格納される。
【００４８】
変位場算出における特別な場合として、制御量算出対象の制御点群Ｐtの中に、今までに変位場算出に使われたことがあり、既に制御量の値が格納されている制御点が存在する場合がある。例えば、図５において、部分領域Ω2に対する変位場算出が終わった状態で、部分領域Ω3に対する変位場算出を行うとする。部分領域Ω3の変形に関与する制御点群ｐ5〜ｐ20のうち、制御点ｐ5〜ｐ16については、部分領域Ω2に対する変位場算出の段階ですでに制御量が算出済みである。このように、ある制御点が複数の部分領域の変形に関与する場合は、変位場算出部１０４は、変位場算出の順序に応じて、それぞれの断面画像に対して算出される制御量の値を重みづけることで、新しい制御量を算出する。
【００４９】
上記の場合の処理手順を具体的に説明する。いま、第２の画像に、変位場算出順序が早い順に、Ｎ個の部分領域Ω1，…，ΩNの変形に関与する制御点ｐがあるとする。そして、各部分領域の変位場算出順序をそれぞれ、ｊ1，ｊ2，…，ｊN（ｊ1＜ｊ2＜…＜ｊN）とする。このとき、変位場算出部１０４は、調整後の制御点ｐの制御量ｖを次式によって算出する。
【００５０】
【数４】
0006768389.tif 000005
【００５１】
ここで、ｖΩkは、部分領域Ωkに対する変位場算出によって得られた制御量である。すなわち、式（３）は、変位場算出順序に応じて制御量ｖΩ1，…，ｖΩNを加重平均したものを新たな制御量ｖとすることを意味する。変位場算出順序が早ければ、つまり、変位場算出順序ｊの値が小さければ、式（３）における該当する項の係数の値は大きくなり、変位場算出順序が遅ければ係数の値は小さくなる。このように、変位場算出順序に従って重みを与えるので、より変位場算出順序が早い部分領域に対する制御量の値が、より重視される。これにより、ある制御点が複数の断面画像の変形算出に関与する場合であっても、関与する全断面画像における変位場算出結果が反映された制御量を求めることができる。
【００５２】
なお、コスト関数として、変位場算出部１０４は、ＳＳＤに限らず、正規化相互相関、相互情報量といった他の類似度尺度を用いることが可能である。また、２枚の画像間の類似度に限らず、画像から抽出される解剖学的特徴点の位置誤差を評価する尺度を用いることが可能である。
【００５３】
変位場算出部１０４は、変位場算出対象領域Ωtの変形に関与する制御点群に対して制御量が算出された後、それら制御量の値から変位場を算出し、部分領域番号のインデックスとともに不図示の記憶部に格納する。
【００５４】
次に、ステップＳ２０５０では、変位場算出部１０４は、着目領域の変位場が算出済みであるか否かの判定を行う。判定は、不図示の記憶部に、着目領域を含む部分領域（優先部分領域）のインデックスに対応する変位場データが格納されているか否かによって行う。変位場が算出済みであると判定した場合に（Ｓ２０５０のＹｅｓ）、画像処理装置１００は、処理をステップＳ２０６０へ進める。一方、変位場が算出済みでないと判定した場合に（Ｓ２０５０のＮｏ）、画像処理装置１００は、処理をＳ２０８０へ進める。
【００５５】
ステップＳ２０６０では、変形画像生成部１０５は、ステップＳ２０４０で算出された変位場に基づいて、第２の画像の着目断面に対応する第１の画像の部分領域を変形させた変形画像（該着目断面の第１の画像における対応断面画像）を生成する。変形画像についての説明を補足する。ステップＳ２０４０の説明で述べた通り、本実施形態で算出される変位場は、第２の画像から第１の画像へと向かう逆変位場である。第２の画像における着目断面をＳkとしたとき、第１の画像を変形させた変形画像Ｉm'は、次式（４）で表される。
【００５６】
【数５】
0006768389.tif 000006
【００５７】
すなわち、第２の画像の着目断面上の夫々の座標ｘについて、第１の画像上における対応座標Ｄ（ｘ，Ｐt）を求め、その座標の輝度値Ｉm（Ｄ（ｘ，Ｐt））を、生成する変形画像の座標ｘの輝度値Ｉm'（ｘ）とする処理を実行する。
【００５８】
次に、ステップＳ２０７０では、表示制御部１０７は、変形画像生成部１０５によって生成された変形画像を表示部１７０に表示させる。そして、画像処理装置１００は、処理をステップＳ２０８０へ進める。
【００５９】
図６は、変形画像表示時の表示部１７０に表示される表示画面３０１の例である。表示制御部１０７は、着目断面取得時（図３）の場合と同様に、第１の断面画像３０２と第２の断面画像３０３を表示部１７０に表示させる。それとともに、表示制御部１０７は、ステップＳ２０６０で変形画像生成部１０５が生成した変形後の断面画像６０１（変形画像）を表示部１７０に表示させる。それに加えて、表示制御部１０７は、変位場算出部１０４が変位場算出済みの断面の範囲を示す情報を、着目断面の位置を示す情報と関連付けて表示部１７０に表示する。例えば、表示制御部１０７は、着目断面の指定を行う着目断面設定スライダ３０４上に、変位場算出済みの断面群に対応する領域の情報を提示する。例えば、変位場算出済みの断面群に対応するバー３０６上の領域を、一定の色で塗りつぶす処理を行う。この処理は、表示制御部１０７が不図示の記憶部から変位場算出済みの部分領域のインデックスを取得することで行う。図６に示す表示例では、着目断面設定スライダ３０４上に灰色で示されている塗りつぶし領域６０２の領域に存在する断面が、変位場算出済みの断面である。
【００６０】
なお、上記の表示方法は一例であり、変形状態及び変形済みの断面画像を示す任意の表示方法を用いる構成であってもよい。例えば、変形画像の代わりに断面画像中の各ボクセルにおける変位量の強度を輝度値とした「変位場画像」を表示する方法をとることも可能である。
【００６１】
ステップＳ２０８０では、着目領域取得部１０２は、ユーザの操作による着目断面の変更処理を受け付ける。ステップＳ２０４０の説明で述べた通り、画像処理装置１００は、変位場算出対象領域Ωtに対する変位場を算出している最中も、ユーザによって着目領域取得部１０２に入力される操作（第２の断面画像の表示断面を切り替える操作）を受け付けている。着目領域取得部１０２は、表示断面が切り替えられると、該表示断面が新たな着目領域（着目断面）として指定された（着目領域が切り替えられた）と判定して、不図示の記憶装置に格納されている着目領域の位置情報を更新する。
【００６２】
次に、ステップＳ２１１０では、画像処理装置１００は、第２の画像の全部分領域について変位場算出が完了したか否かの判定を行う。全部分領域に対して変位場算出処理が完了したと判定された場合（Ｓ２１１０のＹｅｓ）、画像処理装置１００は、処理をステップＳ２１２０へ進める。完了していないと判定された場合（Ｓ２１１０のＮｏ）、画像処理装置１００は、処理をステップＳ２０２０へ戻す。そして、着目領域が変更されている場合には変形場算出順序の再設定を行い、次の変位場算出順序の部分領域について、変位場算出処理を実行する。
【００６３】
以上のように、変位場算出部１０４がすべての部分領域の変形の算出を終了する前に、ステップＳ２０６０〜Ｓ２０８０の処理が行われる。ステップＳ２０６０では、変形画像生成部１０５は、変位場算出部１０４が変形の算出を終了した一部の部分領域に対応する第１の画像の変形画像を生成する。ステップＳ２０７０では、表示制御部１０７は、変形画像生成部１０５により生成された一部の部分領域に対応する第１の画像の変形画像を表示させる。ステップＳ２０８０では、着目領域取得部１０２は、複数の部分領域の算出順序の変更が指示される。すると、変位場算出部１０４は、変形の算出を中断する。その後のステップＳ２０２０では、算出順序決定部１０３は、複数の部分領域の算出順序を変更する。その後のステップＳ２０４０では、変位場算出部１０４は、その変更された算出順序で、第１の画像と第２の画像の部分領域の間の変形を算出する。
【００６４】
ステップＳ２１２０では、変形画像生成部１０５は、不図示の記憶装置に格納されている、最終的に最適化された全制御点の制御量を用いて第１の画像全体を変形させた３次元の変形画像を生成する。本ステップの処理は、算出対象とするボクセル位置ｘが第２の画像の画像領域全体であり、変形算出に使用する制御量Ｐtが、全制御点の制御量であることを除けば、ステップＳ２０６０における数式（４）で実現される処理内容と同様である。
【００６５】
次に、ステップＳ２１３０では、表示制御部１０７は、ステップＳ２１２０において変形画像生成部１０５によって生成された、最終的な変形画像を表示部１７０に表示させる。本ステップの処理は、ステップＳ２０７０の処理と同様である。変形画像の表示後、操作部１６０が、ユーザの操作によって「変形画像確認の終了」を受け付けた後、画像処理装置１００の処理は終了する。
【００６６】
本実施形態によれば、変位場算出処理に時間がかかるアルゴリズムを採用した場合でも、ユーザは画像全体の変位場算出処理が終わるのを待つことなく、優先する領域の変形結果を確認することが可能となる。
【００６７】
（第１の実施形態の第１の変形例）
上記では、変位場算出（ステップＳ２０４０）で、ある制御点が複数の部分領域の変位場算出に関与する場合において、２つ目以降の部分領域に対する変位場を求める際には、それぞれの部分領域に対して算出した変位場を加重平均する場合を例に説明した。しかし、加重平均を行わずに、単に、すべての制御量を平均した値を新たな制御量とする構成であってもよい。この場合、着目領域の切り替えによって部分領域の算出順位が更新された場合であっても、制御量を再計算する必要がないため、計算量を削減することができる。
【００６８】
（第１の実施形態の第２の変形例）
他にも、加重平均ではなく、式（２）におけるコスト計算対象とする部分領域を順次拡大させながら、制御量を算出する構成であってもよい。この場合、変位場算出部１０４は、まず、変位場算出順序が最も早い部分領域に対して制御量を求める。次に、変位場算出部１０４は、その制御量を初期値とした上で、変位場算出順序が最も早い部分領域と次の変位場算出順序の部分領域の両方を変位場算出対象領域として制御量を求める。変位場算出部１０４は、この処理を順次繰り返してゆき、最終的には、全ての部分領域を同時に評価して制御量算出を行う。これにより、同時に評価すべき部分領域の数が増えることによって計算量は増大するものの、算出される制御量が少なくとも局所的最適解であることが保証されるため、より精度の高い制御量算出が可能になる。
【００６９】
（第１の実施形態の第３の変形例）
他にも、変位場算出部１０４は、ある制御点における制御量を算出する際に、該制御点が関与する全ての部分領域を同時評価する構成であってもよい。図１２は、ある部分領域が変位場算出対象領域Ωtとして選択されたときの、「制御点Ｐtが関与する全ての部分領域」を表す模式図である。図１２は、図５と同様に、第２の画像及びＦＦＤの制御点群を、断面と平行な方向（Ｙ軸方向）からみた２次元模式図で示している。いま、変位場評価対象領域がΩt（図１２の濃い灰色で示された領域）であるとする。このとき、Ωtの変形に関与する制御点群Ｐtは、図１２において黒点で示されている２０点である。このとき、変位場算出部１０４は、上記の制御点群Ｐtが影響を及ぼす領域ΩTを算出する。図１２の場合、ΩTは薄い灰色で示された領域である。そして、変位場算出を行う場合には、変位場算出部１０４は、領域ΩTを式（２）におけるコスト計算対象領域とする。別の部分領域が変位場算出対象領域として選ばれ、変位場算出対象領域の変形に既に制御量が算出済みの制御点が関与している場合、該制御点は最適化対象としない。
【００７０】
第３の変形例では、ある制御点の制御量を算出する際に、該制御点が影響を及ぼす最も広い範囲を同時にコスト計算対象とするため、画像全体を同時に評価した場合と同一の制御量を算出することができる。この場合の制御量算出は、最初から画像全体を評価対象として局所的最適解を算出することに相当する。これは、評価対象範囲を順次拡大してゆく第２の変形例の場合と比較すると、大域的最適解からかけ離れた不適切な局所的最適解に落ち込みづらくなるという効果がある。このように、第３の変形例における実施方法をもちいることで、計算コストは増大するものの、第１及び第２の変形例よりもより精度の高い変位場算出を行うことが可能となる。
【００７１】
（第２の実施形態）
第１の実施形態では、ステップＳ２０４０における変位場算出において、第１の画像と第２の画像の間の類似度をコスト計算に使用する場合を例として説明した。加えて、第１の実施形態では、ユーザができる操作は着目断面を切り替えて変位場算出結果を観察することのみであった。
【００７２】
本発明の第２の実施形態に係る画像処理装置は、第１の画像と第２の画像の間で対応する点の位置情報（対応点情報）を変形推定に用い、それら対応点情報をユーザが対話的に補正する場合に好適な機能を有することを主な特徴とする。対応点情報を用いた位置合わせにおいて、変位場を対話的に補正する場合に、補正後の変位場を、ユーザの着目断面に近い領域から算出し、変形画像を表示する。対応点情報は、手動又は自動で入力される。変位場算出では、コスト関数の一部又は全部がこれら対応点情報に基づいて定義され、変位場算出の間、ユーザによる操作を受け付けて対応点情報の補正を行う。以下、本実施形態に係る画像処理装置について、第１の実施形態との相違部分についてのみ説明する。
【００７３】
図７は、本発明の第２の実施形態に係る画像処理システムの構成例を示す図である。図７の画像処理システムは、図１の画像処理システムに対し、操作部１６０及び画像処理装置１００の代わりに、操作部７６０及び画像処理装置７００が設けられる。画像処理装置７００は、着目領域取得部１０２、算出順序決定部１０３、変形画像生成部１０５及びデータ取得部１０６の他、変位場算出部７０４、表示制御部７０７、対応点取得部７０８及び補正判定部７０９を有する。なお、図７において、図１と同じ部分については、同じ参照番号を付けており、その説明を省略する。
【００７４】
操作部７６０は、第１の実施形態における操作部１６０と同様に、着目断面の情報を画像処理装置７００に入力する。さらに、操作部７６０は、ユーザによるマウスやキーボードの操作を受け付けて、ユーザが指定する対応点を、対応点取得部７０８を介して画像処理装置７００に入力する。また、変位場算出の最中には、操作部７６０は、ユーザによるＧＵＩの操作を受け付けて、補正を行うか否かの判定情報を、補正判定部７０９を介して画像処理装置７００に入力する。
【００７５】
対応点取得部７０８は、操作部７６０から、第１の画像の画像上の点と第２の画像の画像上の点とを対応付ける複数の対応点（対応点群情報）を取得する。対応点取得部７０８は、ユーザの指示に従って、第１の画像及び第２の画像上における対応点を取得して、不図示の記憶部に格納する。また、対応点取得部７０８は、ユーザの指示に従って、記憶部に格納されている対応点群の追加、削除、あるいは位置変更を行う。そして、対応点取得部７０８は、記憶部に格納されている対応点群情報を、変位場算出部７０４へ出力する。
【００７６】
補正判定部７０９は、操作部７６０から入力した判定情報を基に、実行中の変位場算出に介入して対応点群の補正を行うか否かの判定を行う。そして、補正判定部７０９は、補正を行うか否かの判定情報を、変位場算出部７０４へ出力する。
【００７７】
変位場算出部７０４は、第１の実施形態における変位場算出部１０４と同様に、第１の画像と第２の画像の間の変位場（変形）を算出する。ただし、本実施形態では、変位場算出部７０４は、対応点取得部７０８から入力した対応点群情報を拘束条件として変位場算出を行う。また、変位場算出部７０４は、補正判定部７０９から補正を行うか否かの判定情報を受け付けて、補正を行うと判定された場合に、変位場算出を中断する。例えば、補正部（対応点取得部７０８、ＧＵＩ９０６（図９））による補正が完了した後、変位場算出部７０４は、補正された対応点群情報に基づいて、変位場（変形）を算出する処理を再開する。
【００７８】
表示制御部７０７は、第１の実施形態における表示制御部１０７と同様に、第１の画像、第２の画像、そして第１の画像を変形させた変形画像を表示部１７０に表示させる制御を行う。それに加えて、表示制御部７０７は、ユーザから対応点入力や補正に関する指示を取得するためのＧＵＩを表示部１７０に表示させる制御を行う。
【００７９】
図８は、画像処理装置７００が行う全体の処理手順を示すフローチャートである。ステップＳ８０００、Ｓ８０２０〜Ｓ８０４０、Ｓ８０６０〜Ｓ８０９０、Ｓ８１２０〜Ｓ８１４０の処理は、第１の実施形態の図２におけるステップＳ２０００、Ｓ２０１０〜Ｓ２０３０、Ｓ２０５０〜Ｓ２０８０、Ｓ２１１０〜Ｓ２１３０とそれぞれ同様である。
【００８０】
ステップＳ８０００の後、ステップＳ８０１０では、対応点取得部７０８は、ユーザの指示に従って、第１の画像と第２の画像との間の対応点を取得する。図９に、対応点取得時に表示部１７０に表示される表示画面３０１の例を示す。表示制御部７０７は、ユーザの指示に従って第１の画像と第２の画像から所定の断面画像をそれぞれ生成して、第１の断面画像３０２及び第２の断面画像３０３として、それぞれを表示部１７０の表示画面３０１内に表示させる。ユーザは、マウスカーソル９０９を操作し、まず第１の断面画像３０２上で、特徴的な位置をクリックして、注目点として入力する。第１の画像上の対応点９０７が、注目点の一例である。「特徴的な位置」とは、乳腺ＭＲＩ画像を例にとると、例えば、乳頭位置、血管分岐位置、乳腺脂肪境界における突起状の位置などである。
【００８１】
その後、同様に、ユーザは、マウスカーソル９０９を操作して、第２の断面画像３０３において、第１の画像上の対応点９０７と対応する点の位置をクリックする。第２の画像上の対応点９０８が、その点に相当する。このようにして、ユーザは、対応点（両画像で対応する点の対）を入力する。対応点取得部７０８は、このようにしてユーザが入力した対応点の情報（第１の画像と第２の画像において対応する点の座標の組）を取得し、不図示の記憶部が保持する対応点群情報に追加する。そして、ユーザが複数の対応点を入力し終えた後に、画像処理装置７００は、ステップＳ８０２０へ処理を進める。
【００８２】
なお、上記の操作方法は一例であり、対応点の入力を実現する任意の操作方法を用いる構成であってもよい。また、インタレストオペレータ等の画像特徴点抽出処理によって対応点候補を自動抽出し、その中からユーザが対応点を選択する構成であってもよい。
【００８３】
ステップＳ８０４０の後、ステップＳ８０５０では、変位場算出部７０４は、第１の実施形態と同様に、対象領域に対する変位場を表現する制御量ベクトルを算出する。本実施形態が第１の実施形態と異なるのは、コスト関数として画像間類似度でなく、対応点同士の距離値を用いる点である。
変位場算出部７０４の制御量算出のためのコスト関数は、以下の式（５）で表される。
【００８４】
【数６】
0006768389.tif 000007
【００８５】
ここで、Ｎtは、前ステップまでに取得した対応点群のうちの、第２の画像における対応点が変位場算出対象領域Ωtに含まれる対応点の数である。また、ｘ1i、ｘ2iは、それぞれ、上記の条件を満たすＮt個の対応点群の、第１の画像、第２の画像におけるｉ番目の対応点の座標を表す。この計算は、変形後の対応点間の距離値の平均値をコストとすることを意味する。ステップＳ８０５０では、変位場算出部７０４は、変位場算出対象領域Ωtにおける変位場の算出処理として、変位場算出対象領域Ωtの変形に関与する制御点群Ｐtの制御量ｖtを未知パラメータとして、式（５）のコスト関数を最小にする制御量ｖtを求める。なお、コスト関数は、上式（５）に示した以外の、対応点に基づく公知の何れのコスト関数を用いてもよい。例えば、コスト関数は、上式（５）に示すようなデータ項のみをコストとする関数ではなく、変形の滑らかさ等を評価する正則化項をさらに含んだ関数であってもよい。また、コスト関数は、第１の実施形態で用いた画像類似度をさらに含んだ関数であってもよい。
【００８６】
ここで、後述するステップＳ８１００で対応点群が補正された場合、変位場算出部７０４は、その都度補正された情報に基づいて上式（５）で表すコスト関数を更新する。そして、変位場算出部７０４は、その更新したコスト関数に基づいて変位場を算出する。対応点群が更新された結果、変位場算出対象領域Ωt内に含まれる対応点群が変化した場合には、変位場算出部７０４は、対象領域に対する変位場が既に算出されていても、その算出結果は破棄して、再び変位場算出を実行する。その後、画像処理装置７００は、ステップＳ８０６０へ処理を進める。
【００８７】
ステップＳ８０９０の後、ステップＳ８１００では、補正判定部７０９は、図９の位置合わせ中断ボタン９１１の押下の有無に応じて、現在の変位場算出処理を中断して、対応点群の補正を行うか否かの判定を行う。対応点を補正すると判定した場合（Ｓ８１００のＮｏ）、補正判定部７０９は、処理をステップＳ８１１０へ進める。一方、対応点を補正しないと判定した場合（Ｓ８１００のＹｅｓ）、補正判定部７０９は、処理をステップＳ８１２０へ進める。
【００８８】
ステップＳ８１１０では、対応点取得部７０８は、ユーザの指示に従って、不図示の記憶部に格納されている対応点群情報を取得して、対応点群情報を補正する。この処理によって、変位場算出に使用されている対応点群情報が更新される。対応点取得部７０８は、更新した対応点群情報を変位場算出部７０４へ出力する。対応点取得部７０８及び図９のＧＵＩ９０６は、操作入力に基づいて対応点群情報を補正する補正部として機能する。補正部（対応点取得部７０８、ＧＵＩ９０６）が補正を行う際に、変位場算出処理の中断を指示する位置合わせ中断ボタン９１１の操作入力に従って、変位場算出部７０４は変位場（変形）を算出するための算出処理を中断する。また、補正部（対応点取得部７０８、ＧＵＩ９０６）による補正が完了した後、中断した算出処理の再開を指示する位置合わせ再開ボタン９１０の操作入力に従って、変位場算出部７０４は、変位場（変形）を算出する算出処理を再開する。ステップＳ８１１０の後、画像処理装置７００は、ステップＳ８０２０へ処理を進める。
【００８９】
図９は、対応点群の補正を行う場合の表示画面３０１の例を示す図である。ユーザは、まず、対応点補正の方法を選択するためのＧＵＩ９０６を用いて、「Ａｄｄ（追加）」、「Ｄｅｌｅｔｅ（削除）」、「Ｍｏｖｅ（移動）」のうちのどの操作を行おうとしているか、指定する。その後、ユーザは、マウスカーソル９０９を操作して、対応点群の補正を行う。「追加」操作を行う場合、ステップＳ８０１０における操作と同様に、第１の断面画像３０２と第２の断面画像３０３でそれぞれ対応する点の位置を指定する。「削除」操作を行う場合、いずれかの断面画像で削除したい対応点を指定した後、キーボードの操作等で削除処理を実行する。「移動」操作を行う場合、いずれかの断面画像で移動させたい対応点を指定した後、マウスポインタをドラッグさせることで点を移動させる。対応点取得部７０８は、このようにしてユーザが入力した対応点を補正するための情報を対応点情報として取得し、取得した対応点情報に応じて、不図示の記憶部が保持する対応点群情報を修正（追加、削除、変更）する。そして、ユーザが対応点の補正を完了した後に、位置合わせ再開ボタン９１０の押下を受け付けた時、画像処理装置８００は、ステップＳ８０２０へ処理を進める。なお、上記の操作方法はあくまで一例であり、上記の操作を実現する任意の操作方法を用いる構成であってもよい。
【００９０】
本実施形態によれば、画像類似度だけではなく、対応点群情報に基づいて変位場算出を行うことが可能となる。それに加えて、変位場算出の最中であっても、対応点群をインタラクティブに補正することが可能となる。
【００９１】
（第３の実施形態）
第１及び第２の実施形態では、ユーザが設定する着目断面を最優先として、断面の集合を部分領域の単位として変位場算出順序を設定する場合を例として説明した。これに対し、本発明の第３の実施形態に係る画像処理装置は、変位場算出順序を、第１の画像と第２の画像に入力されている対応点情報の密度に応じて決定することを主な特徴とする。密に対応点が入力されている領域は、ユーザが変形結果を確認したい解剖学的特徴が多いと判断できる。そのため、変位場算出の優先度が高いと判断される。一方で、対応点が疎である領域は、変位場算出の優先度が低いと判断される。
【００９２】
以下、本実施形態に係る画像処理装置について、第２の実施形態との相違部分についてのみ説明する。なお、本実施形態における画像処理装置７００の構成は、図７と同様であるが、算出順序決定部１０３の処理のみが異なっている。
【００９３】
算出順序決定部１０３は、対応点取得部７０８から対応点群情報を取得し、その分布に基づいて、部分領域ごとの「対応点密度」を算出する。そして、算出順序決定部１０３は、算出された部分領域ごとの対応点密度に基づき、変位場算出の順序を決定する。第１及び第２の実施形態の場合とは異なり、ユーザが指定した着目領域の情報は考慮しない。そして、算出順序決定部１０３は、決定された部分領域ごとの変位場算出順序を、変位場算出部７０４へ出力する。
【００９４】
本実施形態における画像処理装置７００が行う全体の処理手順は、図８と同様であり、ステップＳ８０３０の処理内容が異なっている。以下、ステップＳ８０３０において算出順序決定部１０３が行う処理について説明する。
【００９５】
ステップＳ８０３０では、算出順序決定部１０３は、対応点取得部７０８から取得された対応点群情報に基づき、部分領域ごとの「対応点密度」を算出する。その後、算出順序決定部１０３は、複数の部分領域の中で対応点の密度の高い部分領域ほど変位場算出順序が早くなるように、複数の部分領域の変位場算出順序を決定する。
【００９６】
図１０は、上記の「対応点密度」の算出方法を具体的に説明するための図であり、図５と同様に、第２の画像をＹ軸方向から見た２次元模式図が示されている。また、第２の画像には、ｃ1，…，ｃ18まで、１８点の対応点が入力されている。各断面画像のＸ・Ｙ軸方向の長さはそれぞれ、ｌx、ｌyであるとする。すなわち、２次元画像である各断面画像の面積はｌx×ｌyである。そして、各部分領域Ω1、Ω2、Ω3、Ω4のＺ軸方向の長さ（スラブ厚）はΔｄであるとする。
【００９７】
上記の前提条件において、各部分領域の対応点密度を算出する。図１０の例において、各部分領域Ω1〜Ω4に含まれている対応点の数を数えると、Ω1が３点、Ω2が４点、Ω3が６点、Ω4が５点である。ここでは、一般化して、部分領域Ωに含まれる対応点の集合をＣΩ、集合ＣΩの要素数を｜ＣΩ｜と表記する。このとき、部分領域Ωの対応点密度Ｍ（Ω）は、以下の式（６）で表される。
【００９８】
【数７】
0006768389.tif 000008
【００９９】
算出順序決定部１０３は、上式（６）に従って、部分領域ごとに対応点密度Ｍ（Ω）を算出する。その後、算出順序決定部１０３は、対応点密度Ｍ（Ω）が高い順に、部分領域の変位場算出順序を設定する。図１０で示す例の場合、上式（６）の分母は、いずれの部分領域でも同一であるため、変位場算出順序は、早い順にΩ3、Ω4、Ω2、Ω1となる。
【０１００】
また、着目領域取得部１０２は、個々の対応点において「重要度」という値を設定し、算出順序決定部１０３は、この重要度に応じて対応点に重み付けをして、対応点密度を算出することが可能である。重要度は、ステップＳ８０１０及びステップＳ８１１０で対応点を取得する際に、ユーザの操作に従って取得する。例えば、ユーザが対応点を指定するためにマウスで画像中の点をクリックする際に、同時にキーボードの特定のキーの押下を受け付けることで、重要度を設定する。例えば、「１」キーを押下しながら対応点を指定した場合、重要度１、「２」キーを押下しながら対応点を指定した場合、重要度２の対応点として取得される。この場合、ユーザがどの対応点をより重視しているかという情報を、算出順序決定に反映させることができる。
【０１０１】
本実施形態によれば、変位場算出における算出順序決定を、入力されている対応点情報に基づいて行うことが可能となる。それにより、密に対応点が入力され、ユーザの関心が高いと考えられる領域の変形結果を、いち早く表示させることが可能となる。
【０１０２】
（第３の実施形態の変形例）
第３の実施形態では、第１の画像と第２の画像に対して入力された対応点情報に基づいて、変位場算出の順序を決定する場合を例に説明した。しかし、対応点情報を利用せずに変位場算出の順序を決定する構成であってもよい。例えば、第２の画像上の全ての部分領域に対して、それぞれの部分領域と対応する第１の画像の部分領域の間の画像類似度を算出し、類似度が低い部分領域から順番に変位場算出するようにしてもよい。算出順序決定部１０３は、複数の部分領域の中で第１の画像と第２の画像の部分領域の間の類似度が低い部分領域ほど変位場算出順序が早くなるように、複数の部分領域の変位場算出順序を決定する。この場合、第１の画像と第２の画像の差異が小さく、変形させてもほとんど結果が変わらない部分領域は後回しにされ、第１の画像と第２の画像の差異が大きく、変位場算出の効果が大きい部分領域は優先的に変位場算出が行われる。これによって、変位場算出を全領域に対して行わなくても、早い段階でおおよその変形結果を確認できるという効果がある。
【０１０３】
他にも、第２の画像の各部分領域に対して、エッジ抽出等の画像処理を施し、それによって得られる画像特徴に応じて変位場算出の順序を決定してもよい。例えば、エッジと判定されるボクセルが多く含まれる部分領域は優先度を高くし、そうでない部分領域は優先度を低くするようにしてもよい。算出順序決定部１０３は、複数の部分領域の中でエッジが多い部分領域ほど変位場算出順序が早くなるように、複数の部分領域の変位場算出順序を決定する。この場合、エッジ等を多く含む特徴的な領域から優先して変位場算出が行われるため、画像類似度に基づく場合と同様に、早い段階でおおよその変形結果を確認できるという効果がある。
【０１０４】
本変形例によれば、ユーザによって入力される対応点情報がなくても、入力される画像の特徴に基づいて変位場算出の順序を決定することが可能となる。
【０１０５】
（第４の実施形態）
第１〜第３の実施形態では、変位場算出順序の決定や、変位場算出処理は、第２の画像における断面の集合（スラブ）を単位として行う場合を例に挙げて説明した。これに対し、本発明の第４の実施形態に係る画像処理装置は、変位場算出を行う部分領域を断面の集合に限定せず、任意の部分領域とすることを主な特徴とする。本実施形態に係る画像処理装置は、ユーザによる操作を受け付けて、第１の実施形態における着目断面の取得の代わりに、最優先で変形結果を確認する「着目領域」を指定する。そして、その着目領域の変位場算出に関与する制御点群の制御量を、最優先で算出する。着目領域に含まれないその他の領域については、着目領域からの距離に応じて、変位場算出の順序を決定する。
【０１０６】
以下、本実施形態に係る画像処理装置について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置１００の構成は、図１と同様であるが、着目領域取得部１０２、算出順序決定部１０３、変位場算出部１０４の処理が異なっている。
【０１０７】
着目領域取得部１０２は、ユーザの指示に従って、第２の画像中で特に優先して変形結果を確認したい着目領域を取得する。そして、着目領域取得部１０２は、その着目領域に含まれる第２の画像のボクセル群の座標値の情報を不図示の記憶部に格納する。そして、着目領域取得部１０２は、記憶部に格納されているボクセル群の座標値を、算出順序決定部１０３へ出力する。
【０１０８】
算出順序決定部１０３は、着目領域の情報に基づいて、第２の画像の全領域について、変位場の算出順序を決定する。そして、算出順序決定部１０３は、決定された変位場算出順序を、変位場算出部１０４へ出力する。
【０１０９】
変位場算出部１０４は、第１の画像と第２の画像との間の変位場（変形）を算出する。変位場算出部１０４は、まず、算出順序決定部１０３で決定された部分領域ごとの変位場算出順序に基づき、変位場算出対象とする部分領域（変位場算出対象領域）を決定する。そして、変位場算出部１０４は、その変位場算出対象領域に対してのみ変位場算出を行い、算出結果を不図示の記憶部に記憶する。また、変位場算出部１０４は、その算出結果を変形画像生成部１０５へ出力する。
【０１１０】
また、本実施形態に係る画像処理装置１００が行う全体の処理手順は、図２と同様であり、ステップＳ２０１０とステップＳ２０２０の処理内容が異なっている。以下、それぞれのステップにおける処理内容について説明する。
【０１１１】
ステップＳ２０１０では、着目領域取得部１０２は、ユーザの指示に従って、第２の画像上のどの領域を着目領域として取得するかという情報を取得する。その後、着目領域取得部１０２は、ＦＦＤの制御点群が配置されているグリッドに基づいて、着目領域を内包する制御点グリッド領域を算出し、その制御点グリッド領域を変位場算出における着目領域として取得する。
【０１１２】
着目領域の指定は、例えば、以下の手順で行われる。まず、着目領域取得部１０２は、ユーザによるマウスやキーボードの操作を受け付けて、着目領域の中心点を取得する。着目領域の中心点とは、例えば、腫瘍領域を含む乳腺ＭＲＩ画像における腫瘍領域の中心位置である。次に、着目領域取得部１０２は、同様に、ユーザによるマウスやキーボードの操作を受け付けて、着目領域の半径の長さを取得する。このようにして、着目領域取得部１０２は、第２の画像において、球状の着目領域を設定することができる。
【０１１３】
なお、上記の操作方法は一例であり、３次元画像から着目領域の指定を実現する任意の操作方法を用いる構成であってもよい。例えば、市販ペイントソフトの機能として公知である、フリーハンドで任意の領域を塗りつぶす機能によって着目領域を指定する方法をとることも可能である。また、ステップＳ２０００で取得した第２の画像の付帯情報として、腫瘍や解剖学的部位（乳頭など）等の注目部位を表す領域や座標の情報が含まれている場合には、当該領域や座標を着目領域として設定するようにしてもよい。
【０１１４】
図１１は、ユーザの操作を受け付けて取得された着目領域から、変位場算出における着目領域を算出する処理手順を説明する模式図である。図１１は、第１の実施形態における図５と同様に、第２の画像及びＦＦＤの制御点群を、断面と平行な方向（Ｙ軸方向）からみた２次元模式図で示している。
【０１１５】
着目領域取得部１０２は、まず、ＦＦＤの制御点群が配置されているグリッドに基づいて、「変形に関与する制御点群が同じである」部分領域を算出する。第１の実施形態の場合と異なり、ここで算出する部分領域は、制御点群のグリッドに囲まれた直方体状の領域である。図１１で、灰色に塗りつぶされている領域Ωa及びΩbが、算出された部分領域の例である。図１１では、Ωa・Ωbのみを部分領域の例として示しているが、実際の処理では、算出順序決定部１０３は、部分領域の算出を画像全体にわたって行い、第２の画像の全領域を直方体状の部分領域に分割する。
【０１１６】
次に、着目領域取得部１０２は、ユーザの操作を受け付けて取得された着目領域を内包する、部分領域の集合を算出する。図１１で、濃い灰色で塗りつぶされた円状の領域が、ステップＳ２０１０で取得する着目領域の例である。算出順序決定部１０３は、この着目領域が一部でも含まれている部分領域を、全てまとめて、新たな着目領域として取得する。図１１で、薄い灰色で塗りつぶされている領域Ωtが取得した着目領域の例である。
【０１１７】
ステップＳ２０２０では、算出順序決定部１０３は、ステップＳ２０１０で得た着目領域の情報に基づき、第２の画像の全領域について、変位場算出の順序を決定する。
【０１１８】
図１１を用いて、変位場算出順序決定方法を説明する。ステップＳ２０１０における着目領域取得部１０２の処理によって、着目領域Ωtが算出されている。このとき、まず、算出順序決定部１０３は、着目領域Ωtを最優先で変位場算出を行う領域として設定する。次に、算出順序決定部１０３は、着目領域Ωt以外の全ての部分領域について、算出順序を決定する。算出順序決定は、部分領域の重心間の距離を比較することで行う。例えば、図１１の部分領域ΩaとΩbの算出順序を比較する場合、ΩtとΩaの重心同士の距離は、ΩtとΩbの重心同士の距離よりも大きい。この場合、算出順序決定部１０３は、領域Ωbの算出順序を領域Ωaの算出順序よりも早い順序に設定する。算出順序決定部１０３は、このようにして第２の画像の部分領域に対して設定された順序情報を、不図示の記憶装置に格納する。
【０１１９】
本実施形態によれば、変位場算出における単位が断面の集合に限定されないため、例えば、いち早く変形を確認したい範囲が多数の断面にまたがっている場合であっても、変形結果を確認できるようになるまでの時間を短縮することが可能となる。
【０１２０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１２１】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１２２】
１００  画像処理装置、１０３  算出順序決定部、１０４  変位場算出部、１０５  変形画像生成部、１０７  表示制御部
【図１】
0006768389.tif 000009
【図２】
0006768389.tif 000010
【図３】
0006768389.tif 000011
【図４】
0006768389.tif 000012
【図５】
0006768389.tif 000013
【図６】
0006768389.tif 000014
【図７】
0006768389.tif 000015
【図８】
0006768389.tif 000016
【図９】
0006768389.tif 000017
【図１０】
0006768389.tif 000018
【図１１】
0006768389.tif 000019
【図１２】
0006768389.tif 000020