(57)【特許請求の範囲】
【請求項１】
変形可能な画像を固定画像にレジストレーションする方法であって、
前記変形可能な画像を取得するステップと、
前記固定画像を取得するステップと、
前記変形可能な画像のマルチ解像度マルチレベル画像ピラミッドを生成するステップと、
前記固定画像のマルチ解像度マルチレベル画像ピラミッドを生成するステップと、
前記マルチ解像度マルチレベル画像ピラミッドのレベルを低精細から高精細の順に処理するステップ、すなわち、各レベルにおける各変形可能な画像及び各レベルにおける各固定画像について、
前記変形可能な画像を重複ブロックに分割するステップと、
ラベルを用いて各ブロックをラベル付けするステップと、
を含み、前記各ブロックをラベル付けするステップは、
終了条件に達するまで、各ブロックのα拡張内のバイナリー最大フロー問題を反復的かつ並列に解き、前記ブロックの境界融合を実行することと、
前記ラベルに従って各ブロックをレジストレーションして、前記固定画像を形成することと、
を更に含み、前記ステップは、複数のプロセッサにおいて実行される、方法。
【請求項２】
前記画像は２次元画像又は３次元画像である、請求項１に記載の方法。
【請求項３】
前記画像は医療画像である、請求項１に記載の方法。
【請求項４】
前記ラベル付けは、所定の反復回数の間解かれる、請求項１に記載の方法。
【請求項５】
前記ラベル付けは、収束するまで解かれる、請求項１に記載の方法。
【請求項６】
前記ブロックへの分割は、前記変形可能な画像を表す組織境界の識別に従って実行される、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、画像のレジストレーションに関し、より詳細には、変形可能な画像のレジストレーションに関する。
【背景技術】
【０００２】
画像誘導放射線治療、適応放射線治療、磁気共鳴撮像（ＭＲＩ：ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ  ｉｍａｇｉｎｇ）、及びコンピューター体軸断層撮影（ＣＡＴ：ｃｏｍｐｕｔｅｒ  ａｘｉａｌ  ｔｏｍｏｇｒａｐｈｙ）等の多くの医療撮像用途においては、変形可能な画像のレジストレーション（ＤＩＲ：ｄｅｆｏｒｍａｂｌｅ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ）が、器官及び軟部組織の画像の課題である。不連続な変形が、器官及び組織の境界に発生する。例えば、呼吸運動の場合、不連続な変形は、肺と周囲組織との間の境界に沿って発生する。
【０００３】
ＤＩＲレジストレーションの従来技術の方法は、一般に、基となる変形が本来的に滑らかであると仮定する。したがって、それらの方法は、不連続性を考慮することができない。この不連続性問題を回避するために、１つの方法は、各器官をセグメンテーションし、各器官に対してレジストレーションを独立かつ別々に実行する。しかしながら、それには、前処理ステップとして正確なセグメンテーションが必要となり、この正確なセグメンテーションは、特に器官及び組織が絡み合っている場合、医療画像にとって容易な作業ではない。
【０００４】
基となる変形における不連続性は、変形ベクトルがラベル付きベクトルの集合を用いて表される離散最適化手法を用いることによって保存することができる。これについては、例えば、非特許文献１を参照されたい。
【０００５】
変形可能なレジストレーションをラベル付け問題として定式化することの欠点は、基となる変形を正確に近似するのに多くのラベルが必要となるということである。このため、不連続性保存手法は、例えば、（微分同相）デーモン又はＢスプライン等の高密度画像レジストレーションを用いる方法を比べて、より長い最適化時間を必要とする。
【０００６】
ＤＩＲは、連続方法と離散方法とに分類することができる。連続方法は、基となる変形場が滑らかであると仮定するのに対して、離散方法は、変形場における不連続性を明示的に扱う。正確な変形ベクトルを求めるには、大きなラベル集合が必要となり、その結果、計算時間及びメモリが増加する。
【０００７】
グラフカットの並列化は、ＤＩＲの計算速度を改善することができる。並列手法では、解の複数の部分が並列に計算され、その後、単一の解に組み合わされる。
【０００８】
並列化されたグラフカットは、領域ベースのプッシュ再ラベル（ｒｅｇｉｏｎ−ｂａｓｅｄ  ｐｕｓｈ−ｒｅｌａｂｅｌ）手法において適用されてきた。これについては、非特許文献２を参照されたい。大域的にではなく領域上で再ラベル付けヒューリスティックスを再定義することによって、再ラベル付けヒューリスティックスは、局所性及び並列性の双方を達成する。領域の境界ノードは、グラフの大域的整合性を維持するように、整合しているとみなされる。
【０００９】
別の方法は、２段階並列方式を用いる。これについては、非特許文献３を参照されたい。第１段階において、グラフが部分グラフに分割され、これらの部分グラフの増強パスが並列に求められる。第２段階において、部分グラフが、２つのブロックの境界ノード間の容量を回復することによって適応的に融合される。このマージによって、より長い増強パスが得られ、大域的最適解が最終的に見つけられる。
【００１０】
別の方法は、或る重複を有するグラフの分離を用い、その後、複数のコンピューターにわたって分散させる。これについては、非特許文献４を参照されたい。その方法は、重複領域内のノードの整合したラベルを用いてバイナリーラベル付け問題を解く双対分解を定式化している。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Seo and van Baar「Deformable registration with discontinuity preservation using multi-scale MRF」Proceedings of Workshop on Image-Guided Adaptive Radiation Therapy, 2014
【非特許文献２】Boykov他「An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision」IEEE Pattern Analysis and Machine Intelligence 26(9), Sept, 2004
【非特許文献３】Liu他「Parallel graph-cuts by adaptive bottom-up merging」IEEE Computer Vision and Pattern Recognition (CVPR), June, 2010
【非特許文献４】Strandmark他「Parallel and distributed graph cuts by dual decomposition」IEEE Computer Vision and Pattern Recognition (CVPR), June, 2010
【発明の概要】
【００１２】
本発明の実施の形態は、変形可能な画像のレジストレーション（ＤＩＲ）の方法を提供する。本方法は、離散最適化を用いて、変形場における不連続性を正確に再構成する解を得る。一般的なサイズの３Ｄ医療画像が与えられると、グラフカット等の効率的なアルゴリズムを用いても、離散最適化の処理時間は過度に長くなる可能性がある。性能を高めるために、マルチ解像度の方策が用いられる。
【００１３】
画像が、ブロック、２Ｄブロック、又は３Ｄサブボリュームに分割される。これらのブロックのレジストレーション問題が、別々にかつ並列に解かれ、多くのプロセッサを含むハードウェア上での大幅な高速化の機会がもたらされる。１つの問題は、ブロックが分割されたときのブロックの境界に沿った解が整合していないことである。
【００１４】
ブロック境界に沿った整合性を確保するために、各境界付近の小さな領域内の複数の候補解が融合される。分割された画像に関するこれらの結果によって、連続性を保存した変形を含めて、分割されていない場合と同様の精度が達成される。
【図面の簡単な説明】
【００１５】
【図１】変形可能な画像をレジストレーションする方法のブロック図である。
【図２】本発明の実施形態によって用いられるグラフカットの概略図である。
【図３】本発明の実施形態による重複ブロックに分割された画像の概略図である。
【図４】グラフ内のノードをラベル付けする擬似コードのブロック図である。
【発明を実施するための形態】
【００１６】
図１に示すように、本発明の実施形態は、変形可能な画像１１０をレジストレーションする方法を提供する。画像１１０は、医療撮像システム１０２によって取得することができる。これらの画像は、２次元（２Ｄ）画像又は３次元（３Ｄ）画像とすることができる。レジストレーションは一対の画像の間にある。すなわち、変形可能な画像Ｘ  １１０が、固定画像Ｙ  １６１にレジストレーションされる。一対の画像は、ＸのＮ次元画像領域ΩＮにおける各ピクセルｘについて、Ｙにおける解剖学的に正しい対応関係が既知であるときにレジストレーションされる。
【００１７】
固定画像のマルチ解像度画像ピラミッド１２２及び変形可能な画像のマルチ解像度画像ピラミッド１２３が生成され（１２０）、固定画像及び変形可能な画像は、ピラミッド内のレベルの低精細から高精細の順にピラミッド内のレベル１２４及び１２５について処理される（１３０）。現在のレベルにおける各固定画像及び変形可能な画像は、ブロック３００に分割され（１４０）、ラベルが、最も低精細のレベルのブロックから開始して生成される（１５０）。
【００１８】
次に、現在のレベルにおける各ブロックがレジストレーションされ（１６０）、次のレベルが選択され（１８０）、全てのレベルにおける全てのブロックがレジストレーションされるまで繰り返される。
【００１９】
このレジストレーション１６０は、以下で詳細に説明するように、ｎ回の反復の間に、バイナリー問題を並列に解き（１６２）、境界融合を実行する（１６４）。
【００２０】
本方法のステップは、当該技術分野において知られているように、バスによってメモリ及び入力／出力インターフェースに接続された複数のプロセッサ１００において実行することができる。本方法は、例えば患者の変形可能な画像を固定画像に本質的に変換する。
【００２１】
レジストレーションされた一対の画像について、変形ベクトル場
【数１】
0006573569.tif 000002
が存在する。不連続性保存が重要視されるので、本発明者らの方法は、非特許文献１に記載されている方法に基づく。
【００２２】
図２に示すように、本方法は、ＤＩＲをラベル付け問題として定式化し、マルチスケールグラフカットを用いてこの問題を解く。グラフ理論では、カット２１０は、グラフ２００の頂点を、黒色頂点２０１及び白色頂点２０２として示す２つの互いに素な部分集合に分割することである。いずれのカットもカット集合を決定する。このカット集合は、分割の各部分集合に１つの端点を有するエッジの集合である。これらのエッジは、カットを横切ると言われる。接続されたグラフでは、各カット集合は、一意のカットを決定し、幾つかの場合には、カットは、それらの頂点分割ではなくそれらのカット集合を用いて識別される。
【００２３】
マルチレベル画像ピラミッドは、ｎ個のレベルを有する。画像レベルＩｉごとに、ｍ個の低精細から高精細のラベルが生成される（１５０）。最も高い（最も高精細な）画像及びラベル解像度において得られた最終的なラベル付けは、変形ベクトル場に対応する。サブピクセル変形は、多数のラベルを必要とするので、マルチスケール手法であっても、計算集約的である。
【００２４】
図３に示すように、２Ｄ画像１１０は、例えば、２×２ブロック３０１〜３０４（３００）に分割される。他の分割サイズ、例えば、２０×２０又は１０×１０×１０も用いることができることが理解されるべきである。各ブロックは、その隣接ブロックと或る量だけ重複している。ブロック３０１〜３０４は、ノードの集合からなり、このため、重複領域、例えば３１０を表すノードは、２つ以上のブロックに割り当てられる。
【００２５】
並列マルチスケールグラフカット
図４は、ノードをラベル付けする手順の擬似コードを示している。ステップ９（１６２）においてＢｉｎａｒｙＭａｘＦｌｏｗＰａｒａｌｌｅｌが呼び出されると、α拡張内のバイナリー最大フロー問題が、ステップ５において、全てのブロックについて２次擬似ブール最適化（ＱＰＢＯ）を用いて並列に解かれる。これについては、Kolmogorov他「Minimizing nonsubmodular functions with graph cuts - a review」IEEE Pattern Analysis and Machine Intelligence 29(7), July 2007を参照されたい。アルファ拡張の主要なアイデアは、グラフカットを用いて全てのαピクセル及び非αピクセルを連続的にセグメンテーションし、各反復においてαの値を変更することである。この手順は、終了条件に達するまで、αの各可能なラベルに対して反復する。この終了条件は、収束又は所定の反復回数とすることができる。
【００２６】
重複領域を表すノードは、複数のブロックに割り当てられているので、それらのノードは、ブロックごとに異なるラベルを与える可能性がある。これによって、境界に沿った不正確な不連続性が導入される可能性がある。境界に沿った不正確な不連続性が導入されないことを確保するために、境界に沿ってブロックごとに得られる解が解かれる。
【００２７】
ステップ１０（１６４）においてＢｏｕｎｄａｒｙＦｕｓｉｏｎＰａｒａｌｌｅｌが呼び出されると、重複領域内のノードについて得られた異なる解の融合ステップが実行される。これについては、Lempitsky他「Fusion moves for Markov random field optimization」Tech. Rep. MSR-TR-2009-60, May, 2009を参照されたい。融合問題が設定され、各ノードは、ブロックのうちの１つからラベルを取ることもできるし、新たなラベルを取ることもできる。重複領域が含むノードは少数であるので、融合問題を効率的に解くことができる。さらに、融合ステップは並列に実行される。例えば、水平境界及び垂直境界が並列に解かれる。任意選択の最終融合ステップが、４つの全てのブロック間の重複領域を解くことができる。
【００２８】
ブロックサイズ
ブロックの数は、ブロックサイズが減少するにつれて増加し、解の精度は比例して低下する。これによって、ブロックの数に上限が置かれ、このため、高速化率に上限が置かれる。しかしながら、それでも比較的多数のブロックに分割することができる。例えば、１０×１０×１０ブロックに分割された３Ｄ画像のレジストレーションの実行によって、十分に大きな計算クラスターに対して劇的な性能増加が得られる。
【図１】
0006573569.tif 000003
【図２】
0006573569.tif 000004
【図３】
0006573569.tif 000005
【図４】
0006573569.tif 000006