(57)【要約】本発明は、物体に含まれる３次元構造の幾何学的変数を、前記物体を表す少なくとも１つの画像から測定する方法であり、形状がパラメータにより記述されることができ、前記構造を記述する可変形状第１モデルの使用のステップと、前記第１モデルを前記画像中の前記構造に調整するステップと、前記第１ステップが前記構造と最適な適合を示すパラメータを決定するステップと、前記第１モデルと形状が一致し、さらに、少なくとも１つの幾何学的変数を含み、前記構造を記述する可変形状第２モデルを使用するステップと、決定された前記パラメータにより前記第２モデルを修正するステップと、前記修正された第２モデルから前記幾何学的変数を導出するステップとを持つ方法に関する。
2005502407.tif 000002
【特許請求の範囲】
【請求項１】
物体に含まれる３次元構造の幾何学的変数を、前記物体を表す少なくとも１つの画像から測定する方法であって、
形状がパラメータにより記述されることができ、前記構造を記述する可変形状第１モデルを使用するステップと、
前記第１モデルを前記画像中の前記構造に調整するステップと、
前記第１モデルが前記構造と最適な適合を示す前記パラメータを決定するステップと、
前記第１モデルと形状が一致し、さらに、少なくとも１つの幾何学的変数を含み、前記構造を記述する可変形状第２モデルを使用するステップと、
前記決定されたパラメータにより前記第２モデルを修正するステップと、
前記修正された第２モデルから前記幾何学的変数を導出するステップと、
を有する方法。
【請求項２】
前記モデルが、前記パラメータを変化させることにより前記構造に調整されることを特徴とする請求項１に記載の方法。
【請求項３】
最も関連する前記パラメータのみが使用されることを特徴とする請求項１に記載の方法。
【請求項４】
前記物体の３次元画像が、少なくとも１つの幾何学的変数を測定するために使用されることを特徴とする請求項１に記載の方法。
【請求項５】
物体に含まれる３次元構造の幾何学的変数を、前記物体を表す少なくとも１つの画像から測定する画像処理装置であり、前記画像を記憶する記憶装置と、形状がパラメータにより記述されることができ、前記構造を記述する可変形状第１モデルと、前記第１モデルと形状が一致し、さらに、少なくとも１つの幾何学的変数を含み、前記構造を記述する可変形状第２モデルとを持つ画像処理装置であって、
前記第１モデルを前記画像中の前記構造に調整するステップと、
前記第１モデルが前記構造と最適な適合を示す前記パラメータを決定するステップと、
前記決定されたパラメータにより第２モデルを修正するステップと、
前記修正された第２モデルから前記幾何学的変数を導出するステップと、により前記画像を処理する画像プロセッサを持つ画像処理装置。
【請求項６】
物体に含まれる３次元構造の幾何学的変数を、前記物体を表す少なくとも１つの画像から測定する画像処理装置のためのコンピュータプログラムであって、
形状がパラメータにより記述されることができ、前記構造を記述する可変形状第１モデルの使用のステップと、
前記第１モデルを前記画像中の前記構造に調整するステップと、
前記第１モデルが前記構造と最適な適合を示す前記パラメータを決定するステップと、
前記第１モデルと形状が一致し、さらに、少なくとも１つの幾何学的変数を含み、前記構造を記述する可変形状第２モデルを使用するステップと、
前記決定されたパラメータにより前記第２モデルを修正するステップと、
前記修正された第２モデルから前記幾何学的変数を導出するステップと、
を有するコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体に含まれる３次元構造の幾何学的変数（ｇｅｏｍｅｔｒｉｃ ｖａｒｉａｂｌｅ）を、前記物体の少なくとも１つの画像から測定する方法に関する。また、本発明は、そのような方法を実施する画像処理装置及びそのような画像処理装置のコンピュータプログラムに関する。
【０００２】
【従来の技術】
医療において、物体内に含まれる３次元構造の幾何学的変数を測定することができることに需要がある。前記構造は、例えば、脊椎、心臓の左心室又は大腿骨上部の上端に位置する大腿骨頭（ｃａｐｕｔ ｆｅｍｏｒｉｓ）でもよい。前記大腿骨頭の場合には、例えば、寛骨に対する大腿骨頚の軸又は大腿骨体の軸の位置及び方向は興味あるものである。
【０００３】
現在、このような場合には、前記幾何学的変数を手動で、大腿骨頭のような構造を含む画像にプロットし、及びこれらの変数を手動で測定することが通常である。この方法は非常に時間がかかり、誤差の影響を受け易く、概して再現可能な結果を供給することができない。
【０００４】
また、大きく自動化された方法は、いわゆる可変形状モデル（ｄｅｆｏｒｍａｂｌｅ ｍｏｄｅｌ）により、前記物体の画像からの、このような構造の分割として、既に知られている。このような方法は、１７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ（ＩＰＭＩ）Ｄａｖｉｓ， ＵＳＡ， ｐｐ．３８０−３８７，２００１のＷｅｅｓｅ ｅｔ ａｌ．による記事に記述されている。この方法において、ユーザは、前記画像中の構造に対してコンピュータモデルの初期配置を設定するにすぎなく、前記モデルの表面は、前記画像中の構造及び変形されたモデル間に最適な適合が得られるまで、繰り返し及び自動的に修正又は変形される。この手段により決定される前記モデルは前記分割された構造を表す。前記モデルは現実の構造に相当正確に一致しているが、このように得られた前記表面の前記幾何学的変数は、原則的に、容易に自動的に数量化されることはできない。
【０００５】
【発明が解決しようとする課題】
大部分は自動的に機能し、並びに信頼できるように及び再現可能なように幾何学的変数を決定する、前記幾何学的変数を測定する方法を規定することが、本発明の目的である。
【０００６】
【課題を解決するための手段】
この目的は、物体に含まれる３次元構造の幾何学的変数を、前記物体を表す少なくとも１つの画像から測定する方法であり、
形状がパラメータにより記述されることができ、前記構造を記述する可変形状第１モデルの使用のステップと、
前記画像中の構造に対する前記第１モデルの調整のステップと、
前記第１モデルが前記構造と最適な適合を示すパラメータを決定するステップと、
形は前記第１モデルと一致し、さらに少なくとも１つの幾何学的変数を含み、前記構造を記述する可変形状第２モデルの使用のステップと、
前記決定されたパラメータによる第２モデルの修正のステップと、
前記修正された第２モデルから前記幾何学的変数の導出のステップと、
を有する方法によって達成される。
【０００７】
従って、本発明の場合には、Ｗｅｅｓｅ ｅｌ ａｌ．による前述の記事に開示されたように、前記画像に含まれる構造に調整された前記第１モデルに加えて、第２モデルが使用される。前記形状又は表面に関しては、前記モデルは前記第１モデルと同一であり、しかしまた追加成分として前記幾何学的変数を含む。前記第１モデルを前記画像に含まれる構造に調整することにより得られる前記モデルは、パラメータのセットにより特徴付けられることができる。もし前記第２モデルがこれらのパラメータによって修正されるならば、その表面及びそれと共に前記幾何学的パラメータは適宜修正される。従って、前記幾何学的変数は、修正された前記第２モデルから導出されることができる。
【０００８】
請求項２に記載された発展において、前記パラメータは前記調整過程から直接結果を得ようとする。また、本発明は、前記調整がある他の手段により行われるどんな方法においても使用されることができる。一度、前記画像に含まれる構造に最適に適合されたモデルが得られると、前記モデルは、その後、前記第２モデルの修正の基準を形成するパラメータにより記述されることができる。
【０００９】
理論的には、モデルを記述することに使われることができるパラメータの数は、前記モデルが導出される、いわゆるトレーニング段階（ｔｒａｉｎｉｎｇ ｐｈａｓｅ）において手動で分割された画像の数より１少ない。請求項３に記載の発展は、対照的に、最も関連するパラメータのみを使用する。これは前記方法を著しく加速する一方、関連性の低いパラメータを無視することによって起こるエラーは小さいままである。
【００１０】
請求項４に記載されるように、決定されるべき前記幾何学的変数を持つ前記構造は、前記構造を含む前記物体の３次元画像、即ち３方向に前記物体を記述するデータ記録から取り込まれる。また、ドイツ特許出願公報１０１１１６６１．６（ＰＨＤＥ０１００６３）に提示されているように、この目的のために、どのような方法でも、交差する平面に前記物体を表す複数の２次元画像を使用することも可能である。
【００１１】
請求項５は、本発明による方法を実行するための画像処理装置を記述し、及び請求項６は対応するコンピュータ・プログラムを記述する。
【００１２】
さらに、本発明は、本発明が制限されることがない図面に示される実施例を参照して記述されるだろう。
【００１３】
【発明の実施の形態】
図１に表される前記画像処理装置は、分析されるべき構造の可変形状モデルが記録されることができ、分析されるべき物体の少なくとも１つの３次元画像を記録することが可能なメモリ２を持つ画像処理及び制御処理装置１を有する。前記画像処理及び制御処理装置１は、バスシステム３により、ＭＲＩ装置又はＣＴ装置のような詳細には表されていない、撮像装置に結合されることができる。本発明による方法により得られた結果は、モニタ４に再現されることができる。前記ユーザはキーボード５により又は前記図面には詳細に表されていない他の入力装置の手段により、前記画像処理装置にアクセスすることができる。
【００１４】
図２は、前記画像処理装置が前記幾何学的変数を決定するコンピュータプログラムのフローチャートを表す。
【００１５】
ステップ１００における初期化の後、分析されるべき構造の第１モデルは、このような構造を持つ物体を表す３次元画像と共に、ステップ１０１においてロードされる。
【００１６】
前記第１モデルは、専門家が（トレーニング過程（ｔｒａｉｎｉｎｇ ｐｒｏｃｅｓｓ）という状況においては、以下「トレーニング構造（ｔｒａｉｎｉｎｇ ｓｔｒｕｃｔｕｒｅ）」と呼ぶ）前記構造を異なる患者のいくつもの３次元画像に手動で分割する、いわゆるトレーニング過程において事前にコンパイルされている。前記過程において、これらの何れのトレーニング構造の表面上の対応するランドマーク（ｌａｎｄｍａｒｋ）も識別される。前記ランドマークは、前記トレーニング構造の表面を再現する、例えば三角形ネットワークのような多角形ネットワークを経由して相互に接続される。ランドマークの数ｓは全てのトレーニング構造について同一で、例えばｓ＝６００である。
【００１７】
各トレーニング構造は、前記トレーニング構造がランドマークの座標を持っているだけ多くの成分を持つベクトルとして３ｓ次元空間に表されることができ、従ってこの場合は３ｓ成分となる。形状ベクトル（ｓｈａｐｅ ｖｅｃｔｏｒ）と呼ぶ前記ベクトルは、前記分割された構造の表面の形状を明確に記述するので、前記座標の原点を、３ｓ次元空間におけるそれぞれ分割された構造に対応する点に接続する。
【００１８】
上述したことに従って、形状ベクトル
【外１】
2005502407.tif 000003
は、
【数１】
2005502407.tif 000004
の関係により与えられ得る。このｖ１ｘｉ、ｖ１ｙｉ、ｖ１ｚｉは前記トレーニング構造の第１ランドマークのｘ、ｙ及びｚ座標、並びにｖｓｘｉ、ｖｓｙｉ、ｖｓｚｉは最後のランドマークの座標を表す。
【００１９】
全てのトレーニング構造は、各々の場合には終点が３ｓ次元空間の一点を記述し、描かれた雲（ｐａｉｎｔ ｃｌｏｕｄ）を形成するような形状ベクトルにより定義されることができる。このことから、形状変化の統計モデルは、前記トレーニング構造の形状ベクトルに主成分分析（ＰＣＡ）を使用することにより生成される（以下、統計形状モデル（ｓｔａｔｉｓｔｉｃａｌ ｓｈａｐｅ−ｍｏｄｅｌ）と称する）。
【００２０】
前記統計形状モデルは、
【数２】
2005502407.tif 000005
の関係により平均形状ベクトル
【外２】
2005502407.tif 000006
を有し、ここでｔは前記モデルから導出されたトレーニング構造の数である。前記平均形状ベクトルにより定義される前記モデルは図３に示されている。
【００２１】
また、前記統計形状モデルは、共分散行列Ｃの互いに直交する固有ベクトルを形成するｔ−１個の固有モード
【外３】
2005502407.tif 000007
を有する。
【数３】
2005502407.tif 000008
ここで（…）Ｔは行ベクトルから列ベクトルへ（及びその逆）の変換を表している。
【００２２】
前記固有ベクトルは、（３ｓ次元空間の）どの方向に前記トレーニング構造が前記平均形状ベクトル
【外４】
2005502407.tif 000009
から離れるのかを示す。主成分分析によって、固有値は各固有ベクトルについて得られる。前記固有値が大きいほど、前記トレーニング構造は対応する固有ベクトルの方向において大きく異なる。下記において、前記固有ベクトル
【外５】
2005502407.tif 000010
は、
【外６】
2005502407.tif 000011
が前記トレーニング構造が最も大きく異なる方向の固有ベクトルを表すように、前記固有値の大きさによって並べられると推測される。
【００２３】
得られた前記統計形状モデルにより、各々の場合において前記ベクトルの方向に測定され、前記対応する形状ベクトル及び前記平均形状ベクトル
【外７】
2005502407.tif 000012
間の距離を示すｔ−１までのパラメータ・セットにより、前記３ｓ次元空間のどんな点、すなわちどんな構造も特徴づけることができる。実際的には、ｕ個の最大の固有値を持つ固有ベクトルのみを考慮し、他の全てを無視することにより、より少ないｕ個のパラメータにより扱うことができる。もし前記統計形状モデルからコンパイルされたトレーニング構造の個数が、例えば４０であるならば、前記個数ｕは５ないし１０であってよい。
【００２４】
ステップ１０１において、前記ユーザは、さらに、前記画像に含まれる構造に関して、前記平均形状ベクトル
【外８】
2005502407.tif 000013
により定義された前記モデルの位置及び大きさを前もって決める。他の全ては自動的に続く。
【００２５】
前記画像に含まれる構造に可能な限り近く一致するように、前記モデルを変化又は変形することに向けて、調整の過程が始まる。この方法は、参照が明白に行われている前述のＷｅｅｓｅ ｅｔ ａｌ．の出版物において詳細に記述されている。前記調整過程はそれゆえ下のようにしか要約されないだろう。
【００２６】
前記平均形状ベクトル
【外９】
2005502407.tif 000014
により定義された前記モデルから進めて、ステップ１０２は、分析されるべき前記構造の前記表面にあり、前記表面に直交する前記画像中の点Ｐ１…Ｐｓを認識しようとする。このように認識された前記点から、前記認識された構造点により特徴付けられた構造、並びに最適に（並進的に）移動され、回転され、及び／又は拡大／縮小されたモデルの違いを数値化する、いわゆるエネルギ関数は、ステップ１０３において最小化される。
【００２７】
前記可変形状モデルから進めて、構造点は、ステップ１０２において再び求められ、ステップ１０３において前記関連したエネルギ関数が最小化される。次に、前記ステップ１０２及び１０３を有するプログラムループは、最適化手段により、前記モデル及び前記構造の間に最適な適合が得られるように前記モデルが変形されるまで繰り返される。
【００２８】
段階１０４において、
【数４】
2005502407.tif 000015
の関係により、この手段において変形された前記モデルの前記形状ベクトル
【外１０】
2005502407.tif 000016
の良い近似を記述するパラメータ・セットｂｊはここで決定される。
【００２９】
ここでＭは、
【数５】
2005502407.tif 000017
の関係に従う、最大固有値を持つ、前記統計形状モデルの前記ｕ個の固有ベクトルを有する行列である。
【００３０】
前記パラメータセットｂｊは
【数６】
2005502407.tif 000018
の関係に従うベクトルであり、それぞれが１つの数値により形成されるｕ個のパラメータｂ１ｊ、ｂ２ｊ…ｂｕｊを有する。（Ｗｅｅｓｅ ｅｔ ａｌ．により記述された方法の場合として）もし前記モデルの前記構造に対する調整が、調整するために前記モデルのパラメータｂ１ｊ…ｂｕｊを変化させることにより、ステップ１０２及び１０３において既に実行されているならば、ステップ１０４において続いて行われる前記パラメータｂｊの決定は、省略されることができる。
【００３１】
ステップ１０５において、ここで第２モデルＭ＊がロードされる。このモデルは、初めのモデルのように同じトレーニング段階の同じトレーニング構造からコンパイルされるが、前記表面についての情報に加えて、前記幾何学的変数の専門知識もまた前記第２モデルに組み込まれる。これらの幾何学的変数は、例えば、大腿骨頭上の仮想的な球１１（図４を参照）の半径、及び／又はこの球の中心でもよい。大腿骨体を通る軸１２又は大腿骨頚を通る軸１３の方向は、他の幾何学的変数として前もって決めることができ、最後にはそれぞれについて、大腿骨頭の関連した軸上にある点が前もって決められることができる。全てのこれらの幾何学的変数は、前記手動で分割されたトレーニング構造の一部となり、前記トレーニング段階において専門家により測定される。前記測定された変数は、幾何学的成分ｇ１…ｇｋとして
【数７】
2005502407.tif 000019
という関係により前記トレーニング構造の前記表面を特徴付けるベクトル
【外１１】
2005502407.tif 000020
に加えられる。
【００３２】
従って、形状／幾何ベクトル（ｓｈａｐｅ／ｇｅｏｍｅｔｒｙ−ｖｅｃｔｏｒ）と呼ばれるこのベクトルは、前記幾何学的変数を表すｋ個の幾何学的成分ｇ１…ｇｋが、問題の前記構造の前記ランドマークを特徴付ける前記３ｓ個の成分に加えられるという点のみで、形状ベクトル
【外１２】
2005502407.tif 000021
（式１を参照）とは異なる。もしこの幾何学的変数が前記構造内または前期構造上の点を表すならば、これには３つの幾何学的成分が必要とされるが、大腿骨頭の半径についてはただ１つの（追加の）幾何学的成分が必要とされる。
【００３３】
このように前記トレーニング構造から構成された前記形状／幾何ベクトルから、今度は
【数８】
2005502407.tif 000022
による平均形状／幾何ベクトル
【外１３】
2005502407.tif 000023
により統計モデルを生成することが可能となり、
【数９】
2005502407.tif 000024
により固有ベクトル
【外１４】
2005502407.tif 000025
から形成される前記モデルについての行列が生成される。
【００３４】
一度第２モデルＭ＊がステップ１０５においてロードされると、これはステップ１０６において、
【数１０】
2005502407.tif 000026
の関係により、以前決定されたパラメータｂｊにより修正される。
【００３５】
前記第２モデルの行列Ｍ＊は（３ｓ＋ｋ， ｕ）行列なので、ｕ個の成分を含むパラメータ・ベクトルｂｊによる乗算の後に、平均形状／幾何ベクトル
【外１５】
2005502407.tif 000027
と同様に、３ｓ＋ｋ個の成分を含むベクトルが得られる。積Ｍ＊ｂｊの結果として生じ、３ｓ＋ｋ個の成分を持つ形状／幾何ベクトル
【外１６】
2005502407.tif 000028
の最後のｋ個の成分は、見つかったベクトルが、平均形状／幾何ベクトル
【外１７】
2005502407.tif 000029
とどれだけ異なるかを示す。従って、前記積の最後のｋ成分は、平均形状／幾何ベクトル
【外１８】
2005502407.tif 000030
の基盤を形成する前記幾何学的変数と比較されたパラメータｂ１ｊ…ｂｕｊにより作られた前記幾何学的変数の変化を記述する。
【００３６】
これらのパラメータが第１モデルＭから導出され、第２モデルＭ＊からではないが、これらの２つのモデルは、そこに記述される形状に関して同一である。画像Ｉｊに含まれる前記構造の前記形状の、平均形状ベクトル
【外１９】
2005502407.tif 000031
により定義される前記表面からの、ｂｊにより定義される偏りは、これらの理由により積Ｍ＊ｂｊにより適切に記述される前記幾何学的変数の変化に帰着する。
【００３７】
一度ベクトル
【外２０】
2005502407.tif 000032
がステップ１０６において式１１により計算されると、これに起因する幾何学的変数ｇ１…ｇｋは、ステップ１０７において数値形式で出力されることができる。また、どのような方法でも、これらの変数を、図４のように、画像Ｉｊ内の前記構造に適合している前記モデルに挿入することが可能である。
【００３８】
上で説明したように、前記第１モデル及び前記第２モデルは、同じトレーニング構造の同じトレーニング段階において生成され、式２及び８が示すように、表面及び／又は形状に関しては同一である。従って、最初から、（ステップ１０５は省略されることができるので、ステップ１００において）前記表面及び前記幾何学的変数を有する前記（第２）モデルのみを使用し、及び前記画像中の前記構造との調整において、式１１により幾何学的変数を決定する前に、初めは前記表面を定義する成分のみを使用することが可能である。また、この理由から、「第１」及び「第２」モデルという用語は、本発明に関して、この意味で解釈されるべきである。
【００３９】
もしこのモデルの調整が、前記パラメータｂ１ｊ…ｂｕｊの変化を通して、さらに実行されるのであれば、式１１からそれぞれの場合において前記幾何学的変数を決定することは、調整中（ステップ１０４は省略されるであろうから、ステップ１０２及び１０３）でさえも、容易に可能である。これは追加の計算を必要とするであろうが、繰り返される調整が、自動的には終了されないが、前記画像中の前記構造及び前記モデルの間に十分な適合があり、前記ユーザにより終了される場合には有利であるかもしれない。
【図面の簡単な説明】
【図１】本発明による方法を実行するのに適した画像処理装置の概要図である。
【図２】本発明による方法のフローチャートを示す。
【図３】構造の第１モデルを示す。
【図４】幾何学的変数を持つ同じ構造の第２モデルを示す。
【国際公開パンフレット】
2005502407.tif 000033
2005502407.tif 000034
2005502407.tif 000035
2005502407.tif 000036
2005502407.tif 000037
2005502407.tif 000038
2005502407.tif 000039
2005502407.tif 000040
2005502407.tif 000041
2005502407.tif 000042
2005502407.tif 000043
2005502407.tif 000044
2005502407.tif 000045
2005502407.tif 000046
【国際公開パンフレット（コレクトバージョン）】
2005502407.tif 000047
2005502407.tif 000048
【国際調査報告】
2005502407.tif 000049