(57)【要約】  本発明は、スライスされた標本からの画像の順序づけられたスタックを整列する分野に関する。この方法及び装置によれば、順序づけられたスタックの少なくとも２つのすでに整列された画像に関して、次に整列されることになる不揃いな画像との個別の不整列を連続して決定し、上記少なくとも２つの整列された画像から、上記不揃いな画像との最小量の不整列を持つ整列された画像を参照画像として選択し、上記選択された参照画像を上記不揃いな画像と整列することにより、画像の順序づけられたスタックが整列される。これは、堅牢で計算的に安価な整列方法及び装置を提供することを目的とする。
2013508849.tif 000002
【特許請求の範囲】
【請求項１】
標本からの画像の順序づけられたスタックを整列する方法において、
前記順序づけられたスタックの少なくとも２つのすでに整列された画像に関して、前記順序づけられたスタックにおける次に整列されることになる不揃いな画像との個別の不整列を決定するステップと、
前記少なくとも２つの整列された画像から、前記不揃いな画像との最小量の不整列を持つ整列された画像を参照画像として選択するステップと、
前記選択された参照画像を前記不揃いな画像と整列するステップとを有する、方法。
【請求項２】
前記個別の不整列は運動推定により決定され、各不整列が、推定された変位場により表される、請求項１に記載の方法。
【請求項３】
前記変位場が、前記選択された参照画像に画像を整列するため、前記整列されるべき画像におけるピクセルをどのようにシフトさせるかを示す少なくとも１つの変位ベクトルを有する、請求項２に記載の方法。
【請求項４】
整列された画像及び前記次に整列される不揃いな画像とが、ブロックに分けられ、前記個別の変位場は、ブロック整合アルゴリズムにより得られる、請求項２に記載の方法。
【請求項５】
前記不整列の個別の量が、前記個別の整列された画像及び前記次に整列される不揃いな画像の間の個別の整合誤差に関して計算され、前記整合誤差は、所定の整合基準に基づき計算され、最小の整合誤差を持つ前記整列された画像が、前記参照画像として選択される、請求項１に記載の方法。
【請求項６】
前記選択された参照画像と前記不揃いな画像とを整列するステップが、前記選択された参照画像との整列を実現するため、前記不揃いな画像がどのように変換されなければならないかを示す変換パラメータに基づき、前記不揃いな画像を変換するステップを有し、各整列ステップに関して、現在整列中の前記個別の不揃いな画像だけが、変換される、請求項１に記載の方法。
【請求項７】
決定された不整列の量の全てが特定の閾値を越える場合、前記次に整列される不揃いな画像が、前記画像の順序づけられたスタックから捨てられ、斯かる場合、前記捨てられた画像は更に、すでに整列された画像の補間により置換されることができる、及び／又は現在の不整列決定ステップにおける不整列の量が、不整列の残りの量と比較して、特定の閾値を越える場合、整列された画像が、更なる追加的な不整列ステップに関して用いられない、請求項１に記載の方法。
【請求項８】
前記個別の不整列を決定する前に、すべての画像が比較可能な信号空間にあるよう、前記画像の少なくとも１つが別の信号空間に変換される、請求項１に記載の方法。
【請求項９】
前記個別の不整列が、対象物認識により決定される、請求項１に記載の方法。
【請求項１０】
各不整列が推定された変位場により表されるよう、前記個別の不整列が運動推定により決定され、大きな量の不整列が反復的に発生する場合、前記不整列は、運動推定の代わりに対象物認識により決定される、請求項１に記載の方法。
【請求項１１】
標本からの画像の順序づけられたスタックを整列する装置であって、
前記順序づけられたスタックの少なくとも２つのすでに整列された画像に関して、前記順序づけられたスタックにおける次に整列されることになる不揃いな画像との個別の不整列を決定する決定部と、
前記少なくとも２つの整列された画像から、前記不揃いな画像との最小量の不整列を持つ整列された画像を参照画像として選択する選択部と、
前記選択された参照画像を前記不揃いな画像と整列する整列部とを有する、装置。
【請求項１２】
各不整列が推定された変位場により表されるよう、前記個別の不整列を運動推定により決定する運動推定器を更に有する、請求項１１に記載の装置。
【請求項１３】
前記装置が、請求項３乃至１０のいずれか一項に記載の方法を実行するよう更に構成される、請求項１１に記載の装置。
【請求項１４】
プロセッサが請求項１に記載の方法を実行することを可能にする、コンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムが格納される、データ担体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標本からの画像の順序づけられたスタックの整列の分野に関し、及びより詳細にはスライスされた標本からの画像の順序づけられたスタックを整列する方法及び装置に関する。
【背景技術】
【０００２】
標本は、解析目的及び教育目的で、スライスされ及びに撮像される。スライスされた標本を表す画像のスタックを用いて、標本の構造及び生体構造を分析するため、その標本の合成図を作成することができる。研究室において、例えばパラフィンブロックから標本を切った後は、スライスされた標本の共通の座標系は失われる。これは、スタックの画像における不整列をもたらす。この喪失は、スタックの画像の間の並進差及び回転差を生じさせる。別の不整列源は、手動で実行されたステップに基づかれるスライスの前処理から生じる可能性がある。並進、スケーリング及び伸縮が発生する可能性がある。更に、例えば伸縮された組織、壊れた組織及び不在の組織といった変形が発見される可能性もある。
【０００３】
デジタル領域（即ち撮像後）において、標本の組織構造スライスを整列するため、共通の座標系の喪失だけでなく、この変形処理の結果を打ち消すことも要求される。整列に関する代表的なソリューションは、前処理の間に標本ブロックに人工基準点として標識を加えることである。これは、例えばパラフィンに標識を埋め込むことにより行われ、この標識は、撮像後検出される。これらの標識の位置は、変換パラメータを計算するのに使用されることができる。しかしながら、斯かる追加的な標識は、追加的な前処理ステップを生じさせる。更に、デジタル化後画像を格納するストレージ空間が増加する。なぜなら、現実の標本と一緒に追加される標識をキャプチャするため、追加的な領域が撮像されるからである。従って、標本ブロックにおける追加的な標識の使用なしに、画像の順序づけられたスタックを整列することが望ましい。
【０００４】
John C. Fiala及びKirsten M. Harrisによる記事「Computer-Based Alignment and Reconstruction of Serial Sections」、Boston University、Microscopy and Analysis、pages 5-7、January 2002は、標本ブロックにおける追加的な標識を加えることなしに、画像のシリーズを整列する方法を記載する。整列のため、画像は、ユーザにより入力されるポイント相関関係のセットから、計算により変換される。画像のシリーズを整列するため、整列処理が繰り返される。そこでは、次に整列される画像が、直前に整列される画像と整列される。
【０００５】
上述の引例に加えて、追加的な参照文献が以下のパラグラフに記載される。
Gerard de Haanらによる「True motion estimation with 3D-recursive search block matching」IEEE transactions on circuits and systems of video technology、volume 3、number 5、October 1993；
米国特許第５，０７２，２９３号；
米国特許出願公開第２００８／０１４４７１６Ａ１号；
David G. Loweによる「Object recognition from local scale-invariant features」International Conference on Computer Vision、1999、pages 1150-1157；及び
David G. Loweによる「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision、2004、pages 91-110がそれである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、標本ブロックにおける追加的な標識の使用なしでは、例えば失われた及び壊れた組織といった様々な局所変形が、スライスされた標本のすべての画像を堅牢に整列することを困難にする。
【０００７】
病理学画像の大きなサイズ、通常６４ｋｘ６４ｋのピクセルを想定すると、自動的な整列に関する計算要件は、致命的なものになる。従って、計算負荷を緩和する高速整列手順が非常に望ましい。
【０００８】
標本からの画像の順序づけられたスタックを整列する方法を実現すること、及び、画像の順序づけられたスタックの堅牢な整列を可能にし、かつ低い計算負荷で高速な整列を可能にすることができる整列装置を実現することが、有利である。
【課題を解決するための手段】
【０００９】
こうした関心事の１つ又は複数により好適に対処するため、本発明の第１の側面において、標本からの画像の順序づけられたスタックを整列する方法が与えられ、この方法は、ａ）上記順序づけられたスタックの少なくとも２つのすでに整列された画像に関して、上記順序づけられたスタックにおける次に整列されることになる不揃いな画像との個別の不整列を決定するステップと、ｂ）上記少なくとも２つの整列された画像から、上記不揃いな画像の不整列の量が最小となるような整列された画像を参照画像として選択するステップと、ｃ）上記選択された参照画像を上記不揃いな画像と整列するステップとを有する。
【００１０】
これらの関心事の１つ又は複数に追加的に対処するため、本発明の第２の側面において、標本からの画像の順序づけられたスタックを整列する装置が与えられ、この装置は、上記順序づけられたスタックの少なくとも２つのすでに整列された画像に関して、上記順序づけられたスタックにおける次に整列されることになる不揃いな画像との個別の不整列を決定する決定部と、上記少なくとも２つの整列された画像から、上記不揃いな画像との最小量の不整列を持つ整列された画像を参照画像として選択する選択部と、上記選択された参照画像を上記不揃いな画像と整列する整列部とを有する。
【００１１】
整列される各画像に関する少なくとも２つの不整列を決定することは、整列の堅牢な態様を提供することができる。整列に関する参照画像として、最小量の不整列を提供する整列画像を選択することも、整列の堅牢な態様を確実にすることができる。選択された参照画像を不揃いな画像に完全に整列すること、これは、不揃いな画像から整列された画像への唯一の計算的に労力を要する変換を意味するが、この完全な整列が、簡略化された計算負荷を与え、更に高速整列を可能にすることができる。
【００１２】
少なくとも１つの実施形態によれば、上記個別の不整列は運動推定により決定され、各不整列が、推定された変位場により表される。これは、個別の不整列を高速に決定することを可能にし、簡略化された計算負担を実現することができる。
【００１３】
少なくとも１つの実施形態によれば、上記変位場が、上記選択された参照画像に画像を整列するため、上記整列されるべき画像におけるピクセルをどのようにシフトさせるかを示す少なくとも１つの変位ベクトルを有する。これも、個別の不整列を高速に決定することを可能にし、簡略化された計算負担を実現することができる。
【００１４】
少なくとも１つの実施形態によれば、整列された画像及び次に整列される上記不揃いな画像とが、ブロックに分けられ、上記個別の変位場は、ブロック整合アルゴリズムにより得られる。これは、整列の堅牢性を更に増加させることができる。
【００１５】
少なくとも１つの実施形態によれば、上記不整列の個別の量が、上記個別の整列された画像及び次に整列される上記不揃いな画像の間の個別の整合誤差に関して計算され、上記整合誤差は、所定の整合基準に基づき計算され、最小の整合誤差を持つ上記整列された画像が、上記参照画像として選択される。この特徴も、個別の不整列を高速に決定することを可能にし、簡略化された計算負担を実現することができる。
【００１６】
少なくとも１つの実施形態によれば、上記選択された参照画像と上記不揃いな画像とを整列するステップが、上記選択された参照画像との整列を実現するため、上記不揃いな画像がどのように変換されなければならないかを示す変換パラメータに基づき、上記不揃いな画像を変換するステップを有し、各整列ステップに関して、現在整列中の上記個別の不揃いな画像が、変換される。この特徴は、選択された参照画像に整列される画像へと不揃いな画像を変換することに関連付けられる計算負担を減らすことを可能にすることができる。
【００１７】
少なくとも１つの実施形態によれば、決定された不整列の量の全てが特定の閾値を越える場合、次に整列される上記不揃いな画像が、画像の上記順序づけられたスタックから捨てられることになり、斯かる場合オプションで、上記捨てられた画像は更に、すでに整列された画像の補間により置換されることができる、及び／又は現在の不整列決定ステップにおける不整列の量が、不整列の残りの量と比較して、特定の閾値を越える場合、整列された画像が、更なる追加的な不整列ステップに関して用いられないことになる。この特徴は、整列の堅牢性を増加させ、局所変形に関する整列の感度を減らすことを可能にすることができる。
【００１８】
少なくとも１つの実施形態によれば、上記個別の不整列を決定する前に、すべての画像が比較可能な信号空間にあるよう、上記画像の少なくとも１つが別の信号空間へと変換される。この特徴は、簡単な整合基準を保つ共に、異なる汚れの画像を整列することを可能にすることができる。この特徴は、不整列の改良された又は更に簡略化された決定を可能にする信号空間を用いることを可能にすることもできる。
【００１９】
少なくとも１つの実施形態によれば、この装置は、運動推定により個別の不整列を決定する運動推定器を有し、各不整列が、推定された変位場により表される。運動推定器は、不整列の量の高速かつ計算的に効率的な決定を可能にすることができる。
【００２０】
少なくとも１つの実施形態によれば、個別の不整列は、対象物認識により決定される。この特徴は、整列処理の堅牢性を更に増加させることを可能にすることができる。
【００２１】
少なくとも１つの実施形態によれば、各不整列が推定された変位場により表されるよう、上記個別の不整列が運動推定により決定され、大きな量の不整列が反復的に発生する場合、上記不整列は、運動推定の代わりに対象物認識により決定される。この特徴は、運動推定に基づかれる高速かつ簡単な不整列決定処理と、対象物認識に基づかれるより複雑で堅牢な不整列決定処理との間の自動的な切り替えを可能にすることができる。その結果、整列に関する堅牢性と計算負担との間のトレードオフが、整列の反復の前に決定される不整列を考慮して最適化される。
【００２２】
上記方法ステップの全ては、自動的に又は少なくとも部分的に自動的に実行されることが意図される。
【００２３】
追加的な実施形態は、それぞれ「少なくとも１つの実施形態による／基づかれる」で始まるパラグラフに記載される個別の特徴の２つ又はこれ以上を結合することで得られる。従って、ある実施形態が、上述される特徴の単一の特徴だけを有することができるものとして、上述のパラグラフが解釈されるべきでない。ある実施形態を表す方法を実行するよう構成される任意の装置が同様に実施形態であるよう、装置の追加的な実施形態が対応して得られる。
【００２４】
更に、本発明は、プロセッサが上述の方法ステップを実行することを可能にするコンピュータプログラムに関し、及び斯かるコンピュータプログラムが格納されるデータ担体にも関する。
【図面の簡単な説明】
【００２５】
【図１】標本からの画像の順序づけられたスタックを連続して整列する処理を示す図である。
【図２】本発明の少なくとも１つの実施形態による、標本からの画像の順序づけられたスタックを整列する方法を示すフローチャートである。
【図３】本発明の実施形態による、標本からの画像の順序づけられたスタックを整列する装置を示す図である。
【発明を実施するための形態】
【００２６】
本発明のこれら及び他の側面が、以下に説明される実施形態から明らかとなり、これらの実施形態を参照して説明されることになる。
【００２７】
以下に、本発明の実施形態が、添付の図面と併せてより詳細に説明される。
【００２８】
図１は、標本（それは、例えばスライスされた標本）からの画像の順序づけられたスタックを連続して整列する処理を示す。図１に示されるように、画像の順序づけられたスタックの整列の前に、スタックは、完全に不揃いであると考えられ、４つの不揃いの画像ｃ０、ｃ１、ｃ２及びｃ３を有する。すでに整列された画像に基づき、まだ不揃いであるスタックにおける画像を連続して又は再帰的に整列することにより、例えばすでに整列された画像ｒ０及びｒ１と、これから整列されることになる画像ｃ２及びｃ３とを示す図１の中央に示されるように、画像の順序づけられたスタックは完全に整列されることができる。その結果、最初は不揃いだったすべての画像ｃ０、ｃ１、ｃ２及びｃ３が、整列された画像ｒ０、ｒ１、ｒ２及びｒ３へと変換される。以下、図１に関して使用される表記が、残りの記載にわたり用いられる。不揃いな画像は参照符号ｃにより表され、すでに整列された画像は参照符号ｒにより表される。順序づけられたスタックにおける画像（不揃いであるか又は整列されるかどうかに関係なく）の個別の位置は、添え字の次数により表される。その結果、図１の中央に例示的に示されるように、例えば整列された画像ｒ１は、整列された画像ｒ０及び不揃いな画像ｃ２により囲まれる。
【００２９】
図２は、本発明の実施形態による、標本から画像の順序づけられたスタックを整列する方法を示すフローチャートである。
【００３０】
少なくとも１つの実施形態による方法の始めに、図２のステップＳ１０において、順序づけられたスタックの１つの不揃いな画像ｃは、整列変換なしに整列された画像ｒであると決定され、ｒ０＝ｃ０が成り立つ。従って、この画像は、順序づけられたスタックの画像を連続して整列するための開始点として選択される。図２のステップＳ１０において、次数０を持つ画像が開始値として選択されるが、本方法はこの初期位置に限定されるものではない。画像の順序づけられたスタックにおける任意の位置、例えばスタックの中間の位置が選択されることができる。更に、手動調整によって不整列の量が最小であると予想される開始点として画像が選択されるよう、初期位置が決定されることができる。これは、例えば、最小の断面を持つ画像とすることができる。なぜなら、変形の絶対量が最小であると予想されることができるからである。しかしながら、他の理由から、これは、スライスされた表面を最も覆う画像とすることもできる。
【００３１】
次にステップＳ２０において、整列された画像ｒ０及び次に整列されるべき画像ｃ１の間の不整列ｓ０が決定される。不整列ｓを決定する適切な態様は後述されることになる。
【００３２】
ステップＳ３０において、画像ｃ１は、決定された不整列ｓ０に基づき、ｒ０と整列される。その結果、整列変換が実行され、
2013508849.tif 000003
をもたらす。以下、表記
2013508849.tif 000004
は、（前者の）不揃いな画像ｃｉが、整列された画像ｒｉに変換されたことを表すために用いられる。
【００３３】
次に、ステップＳ３５において、位置ポインタｉは、本発明の少なくとも１つの実施形態による再帰的方法に関する初期位置を設定するため、０にセットされる。非再帰的に実行されるステップＳ１０に関して上述されたのと同様、位置ポインタｉは、他の任意の適切な値にセットされることもできる。値ｉ＝０は、以下の説明を単純化するためだけに選択される。非再帰的に実行されたステップＳ１０からＳ３５は、少なくとも１つの実施形態による方法に関するオプションであるにすぎない。
【００３４】
以下、画像の順序づけられたスタックを連続して整列する方法における再帰的に実行されたステップが説明されることになる。ステップＳ４０において、整列された画像ｒｉと次に整列されることになる不揃いな画像ｃｉ＋２との間の不整列ｓｉ、及び整列された画像ｒｉ＋１と次に整列されることになる不揃いな画像ｃｉ＋２との間の不整列ｓｉ＋１が決定される。
【００３５】
次のステップＳ５０において、不整列の個別の量ｆ（ｓｉ）及びｆ（ｓｉ＋１）が、不整列ｓｉ及びｓｉ＋１に関してそれぞれ決定される。不整列の量を決定することは、量ｆ（ｓ）が不整列ｓから得られることを意味し、その結果、量ｆ（ｓ）が比較のために用いられることができる。最も単純には、量ｆ（ｓ）は、不整列ｓの絶対的な大きさとして計算される。不整列ｓがベクトルとして表される場合、量ｆはベクトル成分の絶対的な値の和として（これは、合計された絶対的な差（ＳＡＤと略記される）を計算することと同じである。なぜなら、不整列ｓがすでに差分ベクトルだからである。）、又はベクトル成分の値の平均二乗誤差（ＭＳＥ）として代替的に計算されることができる。
【００３６】
ステップＳ７０において、ステップＳ５０において決定された不整列の量ｆ（ｓｉ）及びｆ（ｓｉ＋１）が互いに比較される。ｆ（ｓｉ）がｆ（ｓｉ＋ｉ）より小さい場合、整列された画像ｒｉは、次に整列されるべき画像ｃｉ＋２が、最小量の不整列を持つ画像である。その結果、整列された画像ｒｉは、ステップＳ７４において参照画像ｒｒｅｆとして選択されることになる。ｆ（ｓｉ）がｆ（ｓｉ＋１）以上である場合、整列された画像ｒｉ＋１は、次に整列されるべき画像ｃｉ＋２が、最小量の不整列を持つ画像である。その結果、整列された画像ｒｉ＋１は、ステップＳ７６において参照画像ｒｒｅｆとして選択されることになる。
【００３７】
ステップＳ７４又はステップＳ７６においてｒｒｅｆを選択した後、ステップＳ８０において、次に整列されるべき画像ｃｉ＋２が、ｒｒｅｆと整列される。これは、ｃｉ＋２のｒｉ＋２への整列変換を含み、その結果、
2013508849.tif 000005
となる。この整列変換は、決定された不整列ｓｉ（ｒｒｅｆがステップＳ７４において選択された場合）又は決定された不整列ｓｉ＋ｉ（ｒｒｅｆがステップＳ７６において選択された場合）に基づき実行される。ステップＳ８０における整列変換後、ステップＳ９０において、画像の順序づけられたスタックが完全に整列されるかどうか、即ち不揃いな画像ｃが残されていないかどうかがチェックされる。スタックがまだ完全に整列されていない場合、即ち、整列されるべき静止画像がまたスタックにある場合、位置ポインタｉは、ステップＳ９５において１つ増加され、次の画像を整列するためのステップＳ４０からＳ９０の次の再帰（又は、反復）が実行される。スタックが完全に整列されたことがステップＳ９０において決定される場合、整列方法は完了され、追加的な再帰は実行されない。
【００３８】
本発明の少なくとも１つの実施形態において、個別の不整列ｓｉ、ｓｉ＋ｉが、運動推定により決定され、その結果、各不整列が、推定された変位場で表される。推定された変位場は、選択された参照画像にこの画像を整列するため、例えば整列されるべき画像においてピクセルをどのようにシフトさせるかを説明する変位ベクトルを少なくとも有することができる。変位ベクトルは、例えば並進、回転、スケーリング及びストレッチングといったすべての可能な不整列を説明することができる。斯かる変位ベクトルは、運動ベクトルとも呼ばれる。
【００３９】
変位ベクトル又は運動ベクトルを得るべく運動推定を実行するため、複数のアルゴリズムが提案されてきた。運動推定は、最適化問題と見られることができる。即ち、時に複雑な、しかし、通常は簡単な基準関数が、出力運動ベクトルを見つけるために最小化又は最大化されなければならない。基準関数のグローバル最適解を得ることを確実にするため、所定の範囲において、単純にすべての可能なベクトルを試す力ずくの方法が存在する。また、最も可能性のある運動ベクトルだけをテストする効率的な手法も存在する。この可能性は通常、空間又は時間的近傍により決定され、結果的に、時間及び空間予測ベクトルが、効率的な運動推定アルゴリズムにおいて有益である。これは、Gerard de Haanらよる文書「True motion estimation with 3D- recursive search block matching」、IEEE transactions on circuits and systems of video technology、volume 3、number 5、October 1993にて説明されるように、３Ｄ再帰検索ブロック整合アルゴリズムにより実行されることができる。この文書は、本書において参照により完全に組み込まれる。このアルゴリズムは、例えば８ｘ８ピクセルのブロックにフレームを再分割し、次のフレームにおいてこのブロックの位置を特定しようとする。これらの位置の比較は、各ピクセルブロックに対して運動ベクトルを割り当てることを可能にする。運動ベクトルは、ブロックのピクセル交換の比及び２つのフレームの間の時間を有する。３Ｄ再帰検索は、時空予測から得られる少数のＭＶ（ＭＶ＝運動ベクトル）候補を使用するブロックベースの運動推定アルゴリズムである。３Ｄ再帰検索アルゴリズムは、ブロックが対象より小さいことを設定する。その結果、隣接ブロックからのＭＶは、現在のブロックのＭＶ候補に対する良い推定である。ブロックは、特定の順序で、例えば左から右へ及び上から下に処理される。その結果、ＭＶに関してすでに推定されたいくつかの隣接ブロックが、現在のブロックに関する空間ＭＶ候補を提供することができる。一方、処理されていない他のブロックが、現在のブロックに関する時間的ＭＶ候補を提供するため、参照フレームからＭＶを取る。各ＭＶ候補に対して、運動推定誤差が計算される。最も低い運動推定誤差を持つ候補が、そのブロックに関する出力運動ベクトルとして選択される。このアルゴリズムは、ブロックを調べるため、通常のラスタスキャンの順序を用いる。本発明の実施形態の少なくとも１つは、個別の変位場を得るため、斯かるブロック整合アルゴリズムを使用する。有利には、３Ｄ再帰検索ブロック整合アルゴリズムが、本発明の少なくとも１つの実施形態においてブロック整合アルゴリズムとして用いられる。低コストのリアルタイムパフォーマンスのため、本発明者は、スタックにおける画像を整列するのに用いられる時空コンシステントな変位場を提供する高速再帰運動推定器の使用を提案する。本発明の少なくとも１つの実施形態に関して用いられることができる運動ベクトルの決定に関する追加的な基礎的方法は、米国特許第５，０７２，２９３号及び米国特許出願公開第２００８／０１４４７１６Ａ１号において説明される。これらは共に、参照により完全に本書に組み込まれる。
【００４０】
本発明の少なくとも１つの実施形態において、不整列の個別の量ｆ（ｓ）は、個別の整合誤差、例えばｆ（ｓｉ）、ｆ（ｓｉ＋１）、ｆ（ｍｉ）、ｆ（ｍｉ＋ｉ）に関して計算される。これは、所定の整合基準ｆに基づき計算される。簡単に決定されることができる斯かる整合基準ｆは、合計された絶対差（ＳＡＤ）であり、
2013508849.tif 000006
となる。ここで、
2013508849.tif 000007
は、テスト下の候補ベクトルであり、ベクトル
2013508849.tif 000008
は、ブロック
2013508849.tif 000009
の位置を示し、
2013508849.tif 000010
は、輝度信号であり、ｎは、画像又はフィールド番号である。１ブロックにつき１つのベクトルを出力としてもたらす運動ベクトルは、最も低いＳＡＤ値を与える候補ベクトルである。ＳＡＤに代わる整合基準として、絶対的な差を二乗し、それらを加えることにより、中間二乗誤差（ＭＳＥ）が適用されることができる。同様に、３次オーダーのモーメントが、整合基準ｆとして適用されることができる。
【００４１】
本発明の少なくとも１つの実施形態において、選択された参照画像ｒｒｅｆと不揃いな画像ｃとの整列は、選択された参照画像との整列を実現するため、不揃いな画像がどのように変換されなければならないかを示す変換パラメータｔに基づき、不揃いな画像を変換することを有する。変換パラメータｔは、不揃いな画像及び選択された参照画像の間の決定された不整列から、特に決定された不整列を説明する変位場、変位ベクトル又は運動ベクトルから得られることができる。計算的に労力を要する変換は、整列されるべき画像につき１回だけ実行される。一方、個別の整合誤差の計算的に安価な計算は、整列されるべき画像につき１回以上実行される。
【００４２】
比較される画像は、比較可能な信号空間になければならない。しかしながら、スタックにおける画像が、異なる汚れ（例えばヘマトキシリン及びエオシン（Ｈ＆Ｅ）及び免疫組織化学（ＩＨＣ））のしみをつけられる場合、これはあてはまらない。不整列又は整合誤差を最小化する前に、少なくとも１つ画像を他の画像の信号空間へと又は比較可能な信号空間へと変換することにより、簡単な整合基準に保つ又はこの基準を得ることが可能である。
【００４３】
少なくとも１つの実施形態によれば、決定された不整列ｓの量の全てが特定の閾値を越える場合、次に整列される不揃いな画像は、画像の順序づけられたスタックから捨てられる。特定の閾値は、固定された値とすることができる、又は、適応的に決定されることができる。これは、例えば不整列の以前に決定された量に基づき決定されることができる。捨てられた画像は、整列された画像の補間により生成される補間画像により置換されることができる。補間に関する入力として、順序づけられたスタックにおいて捨てられた画像の次に配置される整列された画像が、選択されることができる。更に、現在の不整列決定ステップにおける不整列の量が特定の閾値を越えるが、不整列の残りの量が特定の閾値以下である場合、整列された画像は、更なる不整列決定ステップに関して用いられることはない。特定の閾値は、固定された値とすることができる、又は、適応的に決定されることができる。これは、例えば不整列の以前に決定された量に基づき決定されることができる。
【００４４】
少なくとも１つの実施形態によれば、個別の不整列は、対象物認識により決定される。ピクセルを整合させるブロック整合アルゴリズムと比べると、対象物認識は、多くの計算労力を必要とする。他方、対象物認識は、例えばＳＡＤより堅牢な高レベル記述子上で機能する。しかしながら、すべての対象物認識技術が、画像の順序づけられたスタックを整列するベースとして適しているわけではない。対象物認識に関する適切な方法は、いわゆる局所スケール不変特徴からの対象物認識である。この方法の１つの種類が、ＳＩＦＴ（スケール不変特徴変換）と呼ばれ、David G. Loweによる「Object recognition from local scale-invariant features」、International Conference on Computer Vision、1999、pages 1150-1157において紹介されている。対象物認識に関するＳＩＦＴ法の非常に総合的な記載は、David G. Loweによる「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision、2004、pages 91-110において説明される。両方の文書は、参照により本書に組み込まれる。ＳＩＦＴ法は、画像スケール及び方向とは独立している座標へと画像の各局所ピースを変換する。局所不変特徴は、任意の回転、スケーリング、輝度及びコントラストの変化、及び他の変換下にある、クラッター（cluttered）画像の小さな部分を効率的に整合させることを可能にする。このアイデアは、変化するサイズの多くの小さな重複するピースへと画像を分けることにある。各ピースは、可能な変換に対して不変の態様で説明される。各部分は、個別に整合されることができ、整合ピースは、整合性に関してチェックされる。画像整合及び認識のため、ＳＩＦＴ特徴が、まず参照画像のセットから抽出され、データベースに格納される。新しい画像は、新しい画像からの各特徴を以前のデータベースと個別に比較して、この特徴ベクトルのユークリッド距離に基づき、候補の整合特徴を見つけることにより、整合される。
【００４５】
少なくとも１つの実施形態によれば、不整列の相対的に大きな量が反復的に発生したとき、個別の不整列が、上述した対象物認識によってのみ決定される。他の態様で、不整列の量が主に特定の閾値以下にとどまる場合、個別の不整列は、高速かつ計算的に簡単な運動推定により決定される。特定の閾値は、固定された値とすることができる、又は、適応的に決定されることができる。これは、例えば不整列の以前に決定された量に基づき決定されることができる。
【００４６】
図３は、少なくとも本発明の実施形態による、スライスされた標本からの画像の順序づけられたスタックを整列する装置を示す。装置１００は、決定部１０、選択部２０及び整列部３０を有する。決定部１０は、２つの運動推定器１１及び１２を含む。運動推定器１１は、整列された画像ｒｉ及び次に整列されるべき画像ｃｉ＋２をその入力で受信する。運動推定器１１は、これらの入力に基づき、不整列ｓｉ及び変位ベクトルｍｉを決定し、それらを出力するよう構成される。同様に、運動推定器１２は、整列された画像ｒｉ＋１及び次に整列されるべき画像ｃｉ＋２をその入力で受信し、これらの入力に基づき、不整列ｓｉ＋１及び変位ベクトルｍｉ＋１を決定し、それらを出力するよう構成される。出力される不整列ｓｉ及びｓｉ＋１は、選択部２０に供給される。出力される不整列ｓｉ及びｓｉ＋１は、対応する変位ベクトルｍｉ及びｍｉ＋１としてそれぞれ出力されることもできる。これらは、選択部２０（この場合ｓｉ＝ｍｉ及びｓｉ＋１＝ｍｉ＋１）に供給される。選択部２０は、運動推定器１１及び１２から受信される不整列ｓｉ及びｓｉ＋１に例えばＳＡＤ、ＭＳＥ又は３次オーダーといった整合基準を適用する。整合基準を適用することは、整合誤差ｆ（ｓｉ）及びｆ（ｓｉ＋１）を計算することを生じさせる。次に、選択部２０は、これらの整合誤差で最小ものを決定し、運動推定器１１及び１２から出力される変位ベクトルｍｉ及びｍｉ＋１から、最小の整合誤差を持つ変位ベクトルを参照変位ベクトルｍｒｅｆとして選択する。この参照変位ベクトルｍｒｅｆにより、不揃いな画像ｃｉ＋２が整列されることになる参照画像ｒｒｅｆが、暗に選択される。選択された参照変位ベクトルｍｒｅｆが、対応する運動推定器から整列部３０に供給される。整列部３０において、参照変位ベクトルｍｒｅｆは、不揃いな画像ｃｉ＋２を変換するため、変換パラメータｔへとコンバータ３２において変換される。整列部３０において、変換パラメータｔは、コンバータ３２から変換部３４に出力される。変換部３４は、不揃いな画像ｃｉ＋２を整列された画像ｒｉ＋２へと変換するのに変換パラメータｔを用いる。その結果、
2013508849.tif 000011
となる。ｃｉ＋２に関する１つの整列の反復の終了後、位置カウンターｉが１つ増加され、次の反復は、ｃｉ＋３に関して開始されることができる。
【００４７】
上述の実施形態の全てが、不揃いな画像を整列するために２つの不整列を決定することに基づかれるが、これは、本発明を２つの不整列だけを決定することに限定するものではない。各整列ステップに関して、２つ以上の不整列が決定されることができる。参照画像は、２つ以上の整列された画像から選択されることができる。
【００４８】
上述される実施形態が、不揃いな画像と不揃いな画像のすぐ前の少なくとも２つの画像との間の少なくとも２つの不整列を決定することに基づかれるが、これは、互いに隣接し、かつ不揃いな画像に隣接する整列された画像から参照画像を選択することに本発明を限定するものではない。
【００４９】
上述した例では、画像の順序づけられたスタックが説明のため４つの画像のみを有するが、スタックサイズは、このサイズに限定されるものではない。画像の順序づけられたスタックは、任意の数の画像を有することができる。本発明の概念において、「決定部」、「選択部」、「整列部」、「運動推定器」は、広く理解されることができ、単独で又は組合せで、例示的な実施形態に限定されることなく、例えば、説明されるような決定、選択、整列、運動推定を実行するよう設計される、任意のピースのハードウェア（斯かる決定部、選択部、整列部、運動推定器）、任意の回路又はサブ回路、決定、選択、整列、運動推定を実行するよう設計又はプログラムされる任意のピースのソフトウェア（コンピュータプログラム又はサブプログラム又はコンピュータプログラムのセット、又はプログラムコード）、そのようなものとして機能するハードウェア及びソフトウェアのピースの任意の組合せを有することができる。
【００５０】
本発明が本書に特に図示及び説明されてきたものにより限定されないことを、当業者であれば理解されたい。本発明は、どの新規な特徴にも存在し、これらの特徴のどの組合せにおいても存在する。請求項における参照数字は、保護範囲を限定するものではない。動詞「有する」及びその活用形の使用は、請求項に記載される以外の要素の存在を除外するものではない。ある要素に先行する「ａ」又は「ａｎ」という冠詞の使用は、斯かる要素が複数存在することを除外するものではない。
【００５１】
本発明が、特定の実施形態に関して説明されたが、これは、発明を説明するためであり、限定するものとして解釈されるべきではない。本発明は、ハードウェア、ファームウェア又はソフトウェアにおいて又はこれらの組合せにおいて実現されることができる。他の実施形態が、以下の請求項の範囲に含まれる。
【図１】
2013508849.tif 000012
【図２】
2013508849.tif 000013
【図３】
2013508849.tif 000014
【国際調査報告】
2013508849.tif 000015
2013508849.tif 000016
2013508849.tif 000017