(57)【要約】  対象物の複数ビューをリアルタイムビデオ出力で得る方法であって、対象物の第１のビュー（３０）を得るステップと、対象物の、第１のビュー（３０）とは異なる第２のビュー（２０）を得るステップと、第１のビュー（３０）の形状及び位置が、第２のビュー（２０）と整合するように、第１及び第２のビュー（３０、２０）間のホモグラフィを用いて、第１のビュー（３０）をワーピングするステップ（３３）とを含み、ワーピングされた第１のビュー（３３）が、ホモグラフィによって計算されたマスクを用いて条件付きコピーを適用することによって、第２のビュー（２０）の上に重ねられる方法。【選択図】  図４
2009528766.tif 000002
【特許請求の範囲】
【請求項１】
対象物の複数ビューをリアルタイムビデオ出力で得る方法であって、
前記対象物の第１のビューを得るステップと、
前記対象物の、前記第１のビューとは異なる第２のビューを得るステップと、
前記第１のビューの形状及び位置が、前記第２のビューと整合するように、前記第１のビューと前記第２のビューとの間の変換を用いて、前記第１のビューをワーピングするステップと
を含み、
前記ワーピングされた第１のビューが、前記変換によって計算されたマスクを用いてコピーを適用することによって、前記第２のビューの上に重ねられる方法。
【請求項２】
前記対象物が、別の対象物によって少なくとも部分的に遮蔽される、請求項１に記載の方法。
【請求項３】
前記変換が、画像間運動を解明し、モザイクを構築することによって得られる、請求項１に記載の方法。
【請求項４】
前記変換がホモグラフィである、請求項１に記載の方法。
【請求項５】
前記ホモグラフィが、式：ＨＺＰＵ＝ＨｓＨｄＨＰＭＨＭｍｏｓＨｍｏｓＵによって得られ、式中、ＨｍｏｓＵは、前記モザイクの基準フレーム原点のどのようなオフセットも補償する単純な平行移動であり、ＨＭｍｏｓは、等長又はスケーリングされたユークリッド変換であり、モザイク座標をモデル空間にあてはめ、ＨＰＭは、前記モデルを斜視ビュー座標系上に投影する射影変換であり、Ｈｄは、デジタルズームにおける原点変更を補償する平行移動であり、Ｈｓは、デジタルズームの倍率であり、ＨＺＰＵは、前記第１の画像における特徴を、前記第２の画像のその正確な位置にあてはめるマトリクス変換である、請求項４に記載の方法。
【請求項６】
前記画像間運動が、少なくとも１つの所定の画像追跡アルゴリズムを用いて解明される、請求項３に記載の方法。
【請求項７】
前記モザイクが、所定の時点を基準として構築される、請求項３に記載の方法であって、
前記モザイクをモデル空間にあてはめる変換を求めるステップと、
前記モデル空間から前記第２のビューへの変換を復元するステップと、
前記所定の時点での前記第１のビューから前記第２のビューへの変換を求めるステップと
を更に含む、方法。
【請求項８】
前記変換が、利用可能な画像データに基づく、請求項７に記載の方法。
【請求項９】
前記モデル空間が、所定のモデル及び前記第２のビューから生成されたモデルのうちの１つである、請求項７に記載の方法。
【請求項１０】
前記所定の時点での前記第１のビューから前記第２のビューへの前記変換が、マトリクス成分によって求められる、請求項７に記載の方法。
【請求項１１】
前記第２のビューがズームされる、請求項１に記載の方法。
【請求項１２】
前記第２のビューのズーム効果を処理する座標変換を更に含む、請求項に１１に記載の方法。
【請求項１３】
前記第２のビューが、前記第１のビューから斜角で得られる、請求項１に記載の方法。
【請求項１４】
前記コピーが、条件付きコピーである、請求項１に記載の方法。
【請求項１５】
前記ワーピングによって視差が生じる場合、前記対象物の影を用いて前記視差が解消される、請求項１に記載の方法。
【請求項１６】
対象物の複数ビューをリアルタイムビデオ出力で得るシステムであって、
前記対象物の第１のビューを得る第１の画像取得装置と、
前記対象物の第２のビューを得る第２の画像取得装置であって、前記第２のビューが前記第１のビューとは異なる画像取得装置と、
前記第１のビューの形状及び位置が、前記第２のビューと整合するように、前記第１のビューと前記第２のビューとの間の変換を用いて、前記第１のビューをワーピングするワーピングモジュールと
を備え、
前記ワーピングされた第１のビューが、前記変換によって計算されたマスクを用いてコピーを適用することによって、前記第２のビューの上に重ねられるシステム。
【請求項１７】
前記画像取得装置が、画像デジタイザ又はフレームグラバである、請求項１６に記載のシステム。
【請求項１８】
前記対象物が、別の対象物によって少なくとも部分的に遮蔽される、請求項１６に記載のシステム。
【請求項１９】
前記変換が、画像間運動を解明し、モザイクを構築することによって得られる、請求項１６に記載のシステム。
【請求項２０】
前記変換がホモグラフィである、請求項１６に記載のシステム。
【請求項２１】
前記ホモグラフィが、式：ＨＺＰＵ＝ＨｓＨｄＨＰＭＨＭｍｏｓＨｍｏｓＵによって得られ、式中、ＨｍｏｓＵは、前記モザイクの基準フレーム原点のどのようなオフセットも補償する単純な平行移動であり、ＨＭｍｏｓは、等長又はスケーリングされたユークリッド変換であり、モザイク座標をモデル空間にあてはめ、ＨＰＭは、前記モデルを斜視ビュー座標系上に投影する射影変換であり、Ｈｄは、デジタルズームにおける原点変更を補償する平行移動であり、Ｈｓは、デジタルズームの倍率であり、ＨＺＰＵは、前記第１の画像における特徴を、前記第２の画像のその正確な位置にあてはめるマトリクス変換である、請求項２０に記載のシステム。
【請求項２２】
前記画像間運動が、少なくとも１つの所定の画像間追跡アルゴリズムを用いて解明される、請求項１９に記載のシステム。
【請求項２３】
前記モザイクが、所定の時点を基準として構築される、請求項１９に記載のシステムであって、
前記モザイクをモデル空間にあてはめる変換を求めるステップと、
前記モデル空間から前記第２のビューへの変換を復元するステップと、
前記所定の時点での前記第１のビューから前記第２のビューへの変換を求めるステップと
を更に含むシステム。
【請求項２４】
前記モデル空間が、所定のモデル又は前記第２のビューから生成されたモデルである、請求項２３に記載のシステム。
【請求項２５】
前記所定の時点での前記第１のビューから前記第２のビューへの前記変換が、マトリクス成分によって求められる、請求項２３に記載のシステム。
【請求項２６】
前記第２のビューがズームされる、請求項１６に記載のシステム。
【請求項２７】
前記第２のビューのズーム効果を処理する座標変換を更に含む、請求項２６に記載のシステム。
【請求項２８】
前記第２のビューが、前記第１のビューから斜角で得られる、請求項１５に記載のシステム。
【請求項２９】
前記第１の画像取得装置が、顕微鏡を介して画像を取得する、請求項１６に記載のシステム。
【請求項３０】
前記コピーが、条件付きコピーである、請求項１６に記載のシステム。
【請求項３１】
前記ワーピングによって視差が生じる場合、前記対象物の影を用いて前記視差が解消される、請求項１６に記載のシステム。
【請求項３２】
前記第１のビュー及び前記第２のビューの少なくとも１つが、前記対象物平面に対して斜角である、請求項２８に記載のシステム。
【発明の詳細な説明】
【発明の分野】
【０００１】
本発明は、対象物の複数ビューをリアルタイムビデオ出力で得る方法及びシステムに関する。
【発明の背景】
【０００２】
顕微鏡は、その装置の光学部品及び１つ（又は複数）の接眼レンズを介して、狭い視野の高倍率画像を提供する。いくつかの顕微鏡は、ズーム及び／又は交換可能なレンズを備え、したがって、使用者は、場面（ｓｃｅｎｅ）の視覚化、又は関心領域（「ＲＯＩ」）付近にある対象物の確認の助けとなるように、より広い視野を得ることができる。いくつかの顕微鏡は、操作者が接眼レンズを介して眺めるように制限されることなく、顕微鏡表示装置と、周囲の装置とを同時に見ることができるように、カメラ及び表示装置を備える。
【０００３】
高解像度の顕微鏡ビューの利点が、より広い視野で得られる場面情報と組み合わされるように、複数のカメラビューを提供するマイクロアセンブリシステムが提案されてきている。あるシステムでは、２つの顕微鏡を、直交する視点で、すなわち、例えば、１つは上部（平面）から、１つは側部（横面）から組み合わせている。走査型電子顕微鏡（ＳＥＭ）等のシステムには、アクセスポートが設けられていることがあり、そのアクセスポートを通じて、試料ステージのカメラビューが可能となる。使用者は、別個のモニタ上でステージの動きを見ることができる。
【０００４】
単一ビュー顕微鏡では、試料ステージの横方向移動と、光学部品を用いたズームアウトとを併せて確認しなければならない、視野以外での細かな作業があることが多く、使用するのに疲れ、且つ非生産的である。モニタ型の表示装置では、操作者は、場面を顕微鏡ビューと共に見ることが可能となるが、応用例の大部分では、関心領域は、肉眼で見るにはあまりに小さい。
【０００５】
複数のカメラは助けとなり得るが、操作者は、複数の画面間で注意を切り替えるか、又は手動でビューを選択する必要がある。複数ビューによって、空間方向感覚が失われることがあり、画像を頭の中で回転させる技能が幾分必要となる。断片的な場面、又は作業距離が制限された光学部品では、第２のカメラがＲＯＩのビューを得ることは、物理的に可能ではないかもしれない。顕微鏡は、非常に浅い被写界深度を有し、ＲＯＩは基本的に平坦である。この場合、平面に対して斜めに傾いた第２のビューでは、場面の焦点を良好に合わせることはできないであろう。
【０００６】
したがって、関心領域の複数ビューを得る改良されたシステムが求められている。
【発明の概要】
【０００７】
第１の好ましい態様では、対象物の複数ビューをリアルタイムビデオ出力で得る方法が提供され、この方法は、
対象物の第１のビューを得るステップと、
対象物の、第１のビューとは異なる第２のビューを得るステップと、
第１のビューの形状及び位置が、第２のビューと整合するように、第１及び第２のビュー間の変換を用いて、第１のビューをワーピングするステップと
を含み、
ワーピングされた第１のビューが、変換によって計算されたマスクを用いてコピーを適用することによって、第２のビューの上に重ねられる。
【０００８】
第２の態様では、対象物の複数ビューをリアルタイムビデオ出力で得るシステムが提供され、このシステムは、
対象物の第１のビューを得る第１の画像取得装置と、
対象物の、第１のビューとは異なる第２のビューを得る第２の画像取得装置と、
第１のビューの形状及び位置が、第２のビューと整合するように、第１及び第２のビュー間のホモグラフィを用いて、第１のビューをワーピングするワーピングモジュールと
を備え、
ワーピングされた第１のビューが、ホモグラフィによって計算されたマスクを用いて条件付きコピーを適用することによって、第２のビューの上に重ねられる。
【０００９】
対象物は、別の対象物によって少なくとも部分的に遮蔽されることがある。
【００１０】
変換は、画像間運動を解明し、モザイクを構築することによって得ることができる。この変換は、ホモグラフィでよい。
【００１１】
ホモグラフィは、式ＨＺＰＵ＝ＨｓＨｄＨＰＭＨＭｍｏｓＨｍｏｓＵによって得ることができ、式中、ＨｍｏｓＵは、モザイクの基準フレーム原点のどのようなオフセットも補償する単純な平行移動であり、ＨＭｍｏｓは、等長又はスケーリングされたユークリッド変換であり、モザイク座標をモデル空間にあてはめ（ｔａｋｅ）、ＨＰＭは、モデルを斜視ビュー座標系上に投影する射影変換であり、Ｈｄは、デジタルズームにおける原点変更を補償する平行移動であり、Ｈｓは、デジタルズームの倍率であり、ＨＺＰＵは、第１の画像における特徴を、第２の画像のその正確な位置にあてはめるマトリクス変換である。
【００１２】
画像間運動は、少なくとも１つの所定の画像間追跡アルゴリズムによって解明することができる。モザイクは、所定の時点を基準として構築することができ、この方法は、
モザイクをモデル空間にあてはめる変換を求めるステップと、
モデル空間から第２のビューへの変換を復元するステップと、
所定の時点での第１のビューから第２のビューへの変換を求めるステップと
を更に含む。
【００１３】
これらの変換は、利用可能な画像データに基づくことができる。モデル空間は、所定のモデルでも、第２のビューから生成されたモデルでもよい。所定の時点での第１のビューから第２のビューへの変換は、マトリクス成分（ｍａｔｒｉｘ  ｃｏｍｐｏｓｉｔｉｏｎ）によって求めることができる。第２のビューは、ズームすることができる。第２のビューのズーム効果を処理するために座標変換を行うことができる。第２のビューは、第１のビューから斜角で得ることができる。第１のビュー及び第２のビューのいずれか、又はどちらとも、対象物の平面に対して斜角で撮影することができる。
【００１４】
画像取得装置は、画像デジタイザ又はフレームグラバでよい。第１の画像取得装置は、顕微鏡を介して画像を取得することができる。コピーは、条件付きコピーでよい。ワーピングによって視差が生じる場合、対象物の影を用いて視差を解消することができる。
【００１５】
本発明は、顕微鏡の操作者が、顕微鏡によって提供されるビューを、３Ｄの周囲構造及び環境、すなわち、例えば、広範囲にわたる試料及び適用ツールに対して視覚化することができる方法を提供する。本発明は、複数の視点から取得された複数の画像からの視覚データを単一の視点上に融合させる。この融合によって、操作者は、視点を切り替える身体的、心理的ストレスを伴わずに、直観的な設定で作業を効率よく見て、制御することが可能となる。この融合技術によって、失われた、又は不明瞭なデータの復元が可能となり、関心領域を遮蔽し得る周囲のツール及びメインの顕微鏡等の対象物を透かして見る能力が提供される。操作者は、高解像度で焦点の合った顕微鏡画像を、斜視視点から見るように眺めることができる。
【００１６】
本発明は、ある視線からのビューを別の斜視ビュー上に投影し、したがって、この投影されたビューには、そのビューでは通常遮蔽されることになる視覚情報（画像）が補われることになる。操作者には、デジタルズーム及びパニングの機能がもたらされ、したがって、最適又は所望の視野と細部解像度とを併せ持った画像を表示することができ、操作者が奥行きの不明確さを解消する助けとなる。
【００１７】
本発明によって、操作者は複数の源からの（実際又は合成の）画像内容を単一ビュー上で見ることが可能となり、複数の解像度データを単一の表示装置上に組み合わせることが可能となる。このことによって、微細な解像度の利点が、広い視野の利点と組み合わされることになる。本発明は、手と目の動きの協調の助けとなり、操作者の疲労を低減させる。本発明では、従来技術によって提案されているようなリアルタイムモデリングは必要ではない。そうではなく、実像を使用し、これらの実像を変換（ワーピング）するだけで、遮蔽された細部を再構築することが可能となる。本発明を実現するのに、従来の知識も、従来のモデル又はモデル再構築も必要ではない。演繹的知識又は堅牢な構成（ｒｉｇｉｄ  ｃｏｎｆｉｇｕｒａｔｉｏｎ）には依存しない。
【００１８】
次に、添付の図面を参照しながら本発明の例を説明する。
【図面に沿っての詳細な説明】
【００１９】
図１及び２を参照すると、操作者が、作業ゾーン（大きく「Ｘ」と記されている）／関心領域（ＲＯＩ）に接近するツール／プローブ５、６の位置を、顕微鏡７を介してＲＯＩを見ながら、３Ｄ空間で眺めようと試みている。図１では、第１の画像２０が取得され、この画像では、プローブ５、６がＲＯＩとどのように相互作用するかを見ることができない。また、プローブ５の先端がＲＯＩにどれだけ接近しているかを判断するには解像度が不十分である。図２では、第２の画像３０が取得され、この画像では、先頭のプローブ５は、平面４からのその垂直方向の変位の感覚は少しも感じられずに見え、第２のプローブ６は見えず、「Ｘ」の範囲を越えた他の細部も見ることができない。
【００２０】
好ましくは、顕微鏡視点からの第２の画像３０が取得され、異なる視点から撮影された第１の画像２０上に投影される。第１の画像２０は、より広い視野を有し、第２の画像３０に対して斜角である。この投影法の利点は、この場合には、操作者が、顕微鏡７によって得られる細部を、３Ｄ空間における構造、及びＲＯＩへの視界を妨げる構造をも含み得る、より広い場面に照らして見ることができる点である。この投影法を実施する方法が提供される。また、異なる解像度の２つのビュー２０、３０間の対応が限られているにもかかわらず、データの正確な投影を生成するために必要となる座標変換を解明する方法が提供される。顕微鏡７の下の試料の平面４からの幾何学的特徴を、第２のビュー２０のこの平面４の投影にあてはめる２Ｄ変換が求められる。この変換が求められると、顕微鏡７からのリアルタイム画像が変換され、第２のビュー２０のライブ画像と混合される。顕微鏡７は、適当などのような寸法、形状、出力、又は形態のものでもよく、走査型電子顕微鏡、Ｘ線ズーム装置等が含まれ得る。第１のビュー２０及び第２のビュー３０のいずれか、又はどちらとも、プローブ５の平面に対して斜角で撮影することができる。
【００２１】
図３では、顕微鏡画像３０のワーピングされたコピーが平面４上に重ねられ、この斜視ビューではこのワーピングコピーが占めている。このワーピング（又は投影）は、操作者に有用となるには精密でなければならない。画像３０は、コンピュータグラフィクスを用いて、失われた細部を再構築することによって補うことができる。画像増補には、リアルタイム画像２０、３０、モザイク画像６０、及びグラフィカルにモデル化されたデータを組み合わせることが含まれ得る。この工程は、リアルタイムで実行される。リアルタイムとは、画像２０、３０が時間的に一致し、操作者にはどのような遅れも知覚されず、許容可能なフレームレートが維持されるように演算が実施され、表示装置が更新されることを意味するものと解釈される。この投影法では、平面４以外の対象物に視差が生じる。したがって、３Ｄ空間を占めるプローブ５の画像は、異なる見え方（ｄｉｆｆｅｒｅｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ）で現れる。視差の程度は、対象物の平面４からの距離に関連し、有利なことに、単一ビューでは失われる情報を操作者に提供する。あたかも、真上にある光源によって投げかけられた対象物の影９が見えているかのように見える。プローブ５の元々の斜視画像２０は、新たな画像４０上に再度描画される。影９は、深度の理解をもたらすので、視差を解消するのに利用することができる。
【００２２】
図４を参照すると、画像２０、３０は、例えば、デジタルカメラ等の２つの画像取得装置２１、３１によってリアルタイムで取得される。クロック５０を用いて、カメラ２１、３１のデジタイザ２２、３２をクロック制御する（ｃｌｏｃｋ）ことができる。これらの画像は、好ましくは幾分同時に取得されるが、これは、必須ではない。或いは、２つ以上の画像取得源から取得すること、好ましくは実質的に同時に取得することが可能なフレームグラバを使用してもよい。斜視ビュー２０には、ＲＯＩに対するデジタルズーム効果が得られるように、任意選択でクロッピングが施され、寸法変更される。ＲＯＩは、顕微鏡ビュー３０の位置の上にその中心が来るように決定することができる。顕微鏡ビュー３０は、斜視ビュー２０と整合するように変換される。顕微鏡画像３０は、その斜視寸法がズームされた斜視ビュー２３と整合するように、例えば、ホモグラフィＨ等の変換を用いてワーピング（投影）される。ホモグラフィの代わりに、射影変換、二次元変換、又は一般的な線形変換を用いてもよい。ワーピングは、ソフトウェア又はハードウェアとして具体化されるワーピングモジュールによって実施することができる。次いで、ワーピングされたビュー３３は、斜視ビュー２０上に重畳されて、融合画像４０が生成される。具体的には、画像２３、３３は共に、同じワーピングホモグラフィＨによって計算されたマスクを用いて条件付きコピーを適用することによって融合される。次いで、合成画像４０を表示装置４１用に表示バッファにコピーすることができる。
【００２３】
図５は、図４に示す工程によって生成された実際の融合画像４０である。この新たな画像４０の中央には、顕微鏡３１からの高解像度画像２３が見られる。この視覚情報は、上方から撮影されているので、完全に２Ｄである。長方形のワーピングビュー３３が、このビュー４０では四辺形に投影されている。周囲のワーピングビュー３３は、斜視ビュー２３がズームされた低解像度画像である。平面４上の円形特徴はまさに整合するが、３Ｄピン構造には視差が生じる。ワーピングされた顕微鏡画像３３を重ねることによって、操作者は、遮蔽しているピンを透かして見ることが可能となる。
【００２４】
図６では、上部の２つの画像２０、３０は、画像デジタイザ（フレームグラバ）から受け取られた生の入力画像であり、中央の２つの画像２３、３３は、変換された画像であり、下部の画像は、融合された画像結果４０である。図６の左上の斜視ビュー画像２０は、その下の画像２３に示された領域までズームされる。このズーム画像２３では、垂直ピンが、基平面４の細部を幾分遮蔽している。右上の顕微鏡画像３０は、必要な変換（ホモグラフィＨ）を用いて、斜視ビューの適正な形状及び位置にワーピングされる。最後に、ワーピング画像３３がズーム画像２３の上に重ねられると、融合画像４０が生成される。融合画像４０上では、ワーピング画像３３とズーム画像２３との間で画像解像度に差がある。操作者は、融合ビュー４０で、ズームインする程度を自由に選択することができ、このズーミングはデジタルであるので、これはほぼ即座に実施される。
【００２５】
図７では、２つのカメラ２１、３１が、異なる２つのビュー２０、３０から、平面４を映している。平面４上の特徴と画像平面８上の特徴には１対１対応がある。したがって、２つの画像平面８に現れる特徴間にも１対１対応がある。物理面４によって、２つの画像間のホモグラフィ対応（２Ｄホモグラフィ「Ｈ」）が誘導される。各カメラ２１、３１から平面４に対するホモグラフィＨｗ１が世界座標系で得られ、したがって、合成によって、第１のカメラ２１から第２のカメラ３１への以下のホモグラフィが得られる。
Ｈ２１＝Ｈｗ１Ｈ２ｗ＝Ｈｗ１（Ｈｗ２）−１
【００２６】
２つのビュー２０、３０間で必要となるホモグラフィＨを求めなければならない。Ｈｉｊの添字は、その意味が明白である場合には便宜上省略してある。このホモグラフィが求められると、一方のビューから他方のビューへと画像をマッピングすることができる。顕微鏡３１からの有用な視覚情報は基本的に平面であり、したがって、平面ホモグラフィの特性を用いて、一方の画像から別の画像にデータを投影することができる。ホモグラフィは、可逆であり、マトリクス成分によって連鎖することができる。２Ｄホモグラフィによって、１つの平面空間からの幾何学的データを別のデータに変換する。例えば、同次座標における２Ｄ点ｘ１＝｛ｘ，ｙ，１｝は、ｘ１→ｘ２＝Ｈ２１ｘ１に変換される。この表記では、ｘの（下側の）添字は座標系を表し、変換Ｈは、上側の添字の座標系から下側の添字の座標系へと進む。
【００２７】
２つのビュー間のホモグラフィＨは、このシステムの物理的パラメータの知識を用いて計算することができる。しかし、これではシステムに誤差や狂いが非常に生じやすくなる。ホモグラフィは、較正対象物を両方のビューに現れるように配置し、適当な誤差関数による最小化によってこの変換の代数係数を解く標準の方式を用いて解くこともできる。これに伴ういくつかの問題には、以下のものが含まれる。
ａ）物理的なセットアップに変更がある度に、すなわち、カメラのわずかな移動、ズーム、更には焦点を合わせ直すだけでも毎回較正を繰り返されなければならなくなる。
ｂ）システムのパラメータは、時間、又は周囲条件の変化と共にずれることがある。
ｃ）両方のビューで較正対象物を見ることは可能ではないかもしれない。
ｄ）２つのビュー間で倍率の差が大きい場合、較正は計測誤差の影響を非常に受けやすくなる。
【００２８】
好ましい実施形態では、明示的な較正（ｅｘｐｌｉｃｉｔ  ｃａｌｉｂｒａｔｉｏｎ）には依存しない。顕微鏡画像３０の動きを追跡し、画像間運動を解明し、モザイク画像６０を生成することよって、堅牢な暗示的較正（ｉｍｐｌｉｃｉｔ  ｃａｌｉｂｒａｔｉｏｎ）が実現される。モザイク６０の使用によって、異なる倍率で撮影されたビュー間での対応を求めることが可能となる。この機能（ｆｕｎｃｔｉｏｎ）は自動であり、システムが通常状態にある間、及び連続して使用状態にある間にも実施することができる。
【００２９】
図８を参照すると、モザイク６０が上部の画像に示され、この画像は、約３０枚の顕微鏡画像３０が綴り合わされたものから構成されている。このモザイク６０を斜視ビュー２０に合わせることによって、画像間ホモグラフィの較正が、どちらのカメラの内因的及び外因的パラメータの何の知識も伴わずに暗示的に解明される。モザイク６０には、斜視ビュー２０で認識可能な特徴があり、したがって、これらの２つの画像空間の間の変換は、直接解明することができる。この変換のための対応の確立は、手作業で、又は自動的に解明することができる。
【００３０】
図９は、完全なループが作られ、両端の特徴が正確に位置合せされた状態を示す。このループ閉鎖の問題は、変換の連鎖で誤差が伝播しやすい追跡及び再構築アルゴリズムを実施する際に考慮すべき主な事柄である。図１０は、追跡アルゴリズムが、例えば、認識可能な特徴がほとんど、又は全くない中央領域、及び金属表面を有する中央領域を横切るとき等、より困難な領域でも成功できることを示す。
【００３１】
図１１のａは、合成連続平面形状（ｓｙｎｔｈｅｔｉｃ  ｓｏｌｉｄ  ｐｌａｎａｒ  ｓｈａｐｅ）を示す。各長方形は、シーケンスの異なる時点での様々な画像フレームを表す。図１１のｂは、このシーケンスが個々のフレームとしてどのように取得されるか、また、これらがそれぞれどのようにモニタ上に現れるかを示す。これらの単純な形状からフレーム間の動きを推定することは、常に可能というわけではない。例えば、画像が円だけを含む場合（フレーム５〜６）、回転量は確定できない。図１１のｃは、運動パラメータの復元を示す。各フレームは、基準フレーム（フレーム１）に対してその正しい位置で描画されている。図１１のｄは、先のステップで復元したフレームに合うように個々の画像を変換することによって再構築された画像を示す。図１１ｅは、最終的なモザイク６０である。この工程によって、それ独自の座標系を有する新たな画像が生成される。
【００３２】
モザイク６０を形成する際に、一般的な動き（ｇｅｎｅｒａｌ  ｍｏｔｉｏｎ）が許容される。これは、運動パラメータを高精度で制御する必要がなく、操作者が試料を手で動かすことさえもできることを意味する。ビューフレームの試料に対する動きは、極めて一般的である。画像間追跡アルゴリズムによって運動パラメータを解明すると、モザイク６０が再構築されることになる。
【００３３】
図１２では、フレーム時点の仮想シーケンスが、顕微鏡ビュー（Ｕ）、モデル空間（Ｍ）、及び斜視ビュー（Ｐ）について６つの箱で示されている。モザイク６０は、選択された時点を基準にして構築される。フレーム時点２が基準時点に選ばれている。モザイク６０は、第２の顕微鏡画像（Ｕ２）に関して構成され、モデル６５は、第２の斜視フレーム（Ｐ２）を基準にして作成される。顕微鏡フレーム２（Ｕ２）から斜視フレーム２（Ｐ２）へのホモグラフィが求められると、そのホモグラフィを他の全てのフレーム対｛Ｕｉ、Ｐｉ｝に適用することができる。
【００３４】
次に、モザイク６０をモデル空間６５にあてはめる変換を求める。モデル６５は、予め既知でも、１つ又は複数の斜視ビュー２０から生成することもできる。次いで、モデル空間６５から基準斜視ビュー画像２０への変換が復元される。マトリクス成分によって、顕微鏡ビュー（Ｕ２）の基準フレームからその同期斜視ビュー（Ｐ２）への変換が求められる。次いで、この変換は、後続の画像対｛Ｕｉ、Ｐｉ｝にも有効なままであると仮定する。最後の座標変換に、どのようなズーム効果も考慮に入れることがあるが、これは図には示されていない。これらの演算はデジタル画像に対するものであるので、クロッピング及び寸法変更と同等の効果があり、したがって、こうした演算は既知であり、単純な平行移動及びスケーリングマトリクスによって表すことができる。したがって、顕微鏡画像（Ｕ２）からズームされた斜視ビュー（Ｐ２）へのホモグラフィは、以下のようにして構成される。
ＨＺＰＵ＝ＨｓＨｄＨＰＭＨＭｍｏｓＨｍｏｓＵ
式中、全てのマトリクスＨは、例えば、３×３でよい。マトリクスは、必要である場合、又は望まれる場合には、例えば、４×４でもよい。
ＨｍｏｓＵは、モザイク画像６０の基準フレーム原点のどのようなオフセットも補償する単純な平行移動であり、
ＨＭｍｏｓは、等長（又はスケーリングされたユークリッド変換）であり、モザイク座標をモデル空間６５にあてはめ、
ＨＰＭは、モデル６５を斜視ビュー座標系上に投影する射影変換であり、
Ｈｄは、デジタルズームにおける原点変更を補償する平行移動であり、
Ｈｓは、デジタルズームの倍率である。
ＨＺＰＵは、任意の顕微鏡画像３０における特徴を、対応するズームされた斜視ビュー２０のその正確な位置にあてはめるマトリクス変換である。
【００３５】
モザイク６０からモデル６５への変換には、スケーリング、回転、及び平行移動を加味することができる。このことによって、Ｈを明示的な顕微鏡ズームでパラメータ化する機会がもたらされる。したがって、Ｈは、変動し得るズームでも、成分変換を全て較正し直す必要なく推定することができる。変換Ｈ（略さずにはＨＺＰＵ）の有効性は、モザイク画像６０の質及び大きさ（ｅｘｔｅｎｔ）に依存する。モデル６５との対応を求めるには、十分な画像を収集しなければならない。より高い顕微鏡倍率では、対応する特徴を求めるにはより多くの画像２０、３０が必要となることは明白である。モザイク６０の質は、良好な画像間変換を求めることに依存する。高質モザイク６０は、実現可能である。
【００３６】
有利なことに、本発明は、通常では可能とならない、多くの視角からの場面のビューを提供する。本明細書に記載の方法及びシステムでは、明示的な、又は精密な較正手順は必要でなく、自続的であり、通常の調整又は再構成を行うのに熟練した操作者を必要としない。本発明によって、リアルタイムビデオ出力が可能となり、焦点又は光学ズームの変更を伴う操作が可能となる。本発明は、既存の顕微鏡検査システム装置を使用でき、高価な構成部品の改変又は追加が最小限に抑えられる。本システムは、操作者の好み又は変更に合うように、操作手順中に容易に再構成することができる。
【００３７】
本方法及びシステムは、運動変換を解明することが可能であるため、運動制御に使用することもできる。例えば、画像座標が十分である場合、タッチスクリーンシステムの入力誘導及びマウス制御に使用することができる。顕微鏡がＸ線ズーム装置である場合、本方法及びシステムは、半導体デバイス誤り検出に使用することができる。
【００３８】
特定の実施形態で示した本発明には、広義に記載された本発明の範囲又は趣旨から逸脱することなく、数多くの変更及び／又は改変を行うことができることが当業者には理解されよう。したがって、本発明の実施形態は、あらゆる点で例示的なものであり、限定的なものではないことを考慮されたい。
【図面の簡単な説明】
【００３９】
【図１】顕微鏡レンズハウジングによって部分的に遮蔽された作業ゾーン（大きく「Ｘ」と記されている）の斜視図である。
【図２】顕微鏡光学部品を介して見た図１の作業ゾーンの図である。
【図３】図１の第１の画像がデジタル的にズームされ、図２の第２の画像が、新たな画像のその対応する位置に投影され、この新たな画像が、第１の画像の上に重ねられて、遮蔽している顕微鏡レンズハウジング構造を透かして見たビューが提供される、本発明の好ましい実施形態を示す図である。
【図４】画像重畳の工程流れ図である。
【図５】図４の工程によって得られる最終結果の画像である。
【図６】電子パッケージシーケンスからの一連のフレーム対の画像である。
【図７】同じ平面を映している２つの画像を示し、これらの画像は、この平面からの細部の投影である。
【図８】解像度の倍率が異なる２つの画像空間の間で対応を確立するモザイク画像である。
【図９】顕微鏡画像を追跡し、運動パラメータを解明することによって形成されたモザイク画像の追加の例である。
【図１０】顕微鏡画像を追跡し、運動パラメータを解明することによって形成されたモザイク画像の追加の例である。
【図１１】諸画像から動きを復元し、次いでその場面をモザイク画像として再構築する工程を示す一連の図である。
【図１２】顕微鏡ビューから、その対応する斜視ビューへのホモグラフィ変換のブロック図であり、この斜視ビューはモザイク空間及びモデル空間を含む他の変換から構成される。
【図１】
2009528766.tif 000003
【図２】
2009528766.tif 000004
【図３】
2009528766.tif 000005
【図４】
2009528766.tif 000006
【図５】
2009528766.tif 000007
【図６】
2009528766.tif 000008
【図７】
2009528766.tif 000009
【図８】
2009528766.tif 000010
【図９】
2009528766.tif 000011
【図１０】
2009528766.tif 000012
【図１１】
2009528766.tif 000013
【図１２】
2009528766.tif 000014
【国際調査報告】
2009528766.tif 000015
2009528766.tif 000016