(57)【要約】改善された撮像方法及びシステムを提供する。特に、ディジタルズームの範囲を拡張するシステム及び方法が提供され、ここでは撮像システムが複数の分離した光路及び複数のディジタルズーム撮像装置上で連続的な倍率を提供する。視野が変化すると共に画像の中心を合わせ、そして不所望な障害物を拡大画像からマスクで除去するシステム及び方法が提供される。
2008519499.tif 000002
【特許請求の範囲】
【請求項１】
範囲を拡張したディジタルズームを有する撮像システムであって、
第１画像を第１ディジタル撮像装置上に第１倍率で投射する第１光路と；
第２画像を第２ディジタル撮像装置上に第２倍率で投射する第２光路と
を具えた撮像システムにおいて：
前記システムが、前記第１光路を用いて前記第１画像を前記第１倍率と前記第２倍率との間でディジタル的にズームし、前記第２光路を用いて前記第２画像を前記第２倍率と第３倍率との間でディジタル的にズームするように構成されていることを特徴とする撮像システム。
【請求項２】
さらに、少なくとも１つの拡大された前記画像を視認用に提示するディスプレイを具えていることを特徴とする請求項１に記載のシステム。
【請求項３】
エンドユーザが、離散したディジタル倍率のレベル及び複数の光路を切り換えることによって、拡大された前記画像の各々の間を連続的にズームすることができるように構成されていることを特徴とする請求項１に記載のシステム。
【請求項４】
拡大された前記画像の各々の中心を、指定ターゲット上または指定位置上に合わせるように構成されていることを特徴とする請求項１に記載のシステム。
【請求項５】
前記第１及び第２撮像装置が、同じ物理的装置内の異なる論理素子で構成されることを特徴とする請求項１に記載のシステム。
【請求項６】
さらに、１つ以上の電子構成部品を具え、前記電子構成部品の各々が、その物理特性に関するデータを記憶するように構成されていることを特徴とする請求項１に記載のシステム。
【請求項７】
前記電子構成部品の各々が、当該電子構成部品の異常性、用法、設定及び構成から成るグループから選択したデータタイプのデータを記憶するように構成されていることを特徴とする請求項６に記載のシステム。
【請求項８】
前記電子構成部品が、次の構成部品：
(a)  光学レンズ；
(b) 照射源；
(c) ディジタル撮像装置
(d) 発光ダイオードのアレイ；
(e) 通信ハブ；
(f) モータ；
(g) プロセッサ；
(h) 機械的マウント；
(i) ビームスプリッタ、導波路、反射器、または他の光学素子；
の１つ以上から成るグループから選択したものであることを特徴とする請求項６に記載のシステム。
【請求項９】
撮像システム内で、拡張されたズーム範囲にわたる連続的な倍率を提供する方法において：
第１画像経路によって拡大した第１画像を提示するステップと；
前記第１画像内を、前記第１画像経路において提供される第１倍率及び第２画像経路において提供される第２倍率とを境界とする範囲内でディジタル的にズームするステップと；
前記ディジタル的にズームした第１画像が前記第２倍率に一致するか前記第２倍率を超えると、前記第２画像経路によって拡大した第２画像を提示するステップと
を具えていることを特徴とする連続倍率の提供方法。
【請求項１０】
さらに、前記第２画像内を、前記第２倍率、及び第３画像経路において提供される第３倍率を境界とする範囲内でディジタル的にズームするステップを具えていることを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１画像及び前記第２画像を同時に提示することを特徴とする請求項９に記載の方法。
【請求項１２】
さらに、複数の画像を同じレベルの倍率または種々のレベルの倍率で提示するステップを具えていることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記第１画像及び前記第２画像の倍率がエンドユーザによって制御可能であることを特徴とする請求項１１に記載の方法。
【請求項１４】
前記画像を提示するステップが、前記画像をエンドユーザに対して表示すること、前記画像を記述するデータをコンピュータシステムに対して出力すること、または前記画像を記述するデータを後の使用のために記憶することを含むことを特徴とする請求項９に記載の方法。
【請求項１５】
さらに、前記拡大した画像の中心を指定ターゲット上または指定位置上に合わせるステップを具えていることを特徴とする請求項９に記載の方法。
【請求項１６】
画像中の障害物を仮想的に除去する方法において：
第１時点Ｔ0において、背景及び障害物の第１画像を記録するステップと；
第２時点Ｔ1において、前記背景及び前記障害物の第２画像を記録するステップと；
前記障害物または前記背景が前記第１時点Ｔ0と前記第２時点Ｔ1との間に移動して、前記背景の異なる部分が現れている場合に、前記障害物の各部分を、Ｔ0またはＴ1のいずれかにおいて現れていた前記背景の対応する部分に置き換えることによって複合画像を作成するステップと
を具えていることを特徴とする画像中の障害物除去方法。
【請求項１７】
画像から障害物を仮想的に除去するように構成されたディジタル画像編集システムにおいて：
第１時点Ｔ0において、背景及び障害物の第１画像を記録するステップと；
第２時点Ｔ1において、前記背景及び前記障害物の第２画像を記録するステップと；
前記障害物または前記背景が前記第１時点Ｔ0と前記第２時点Ｔ1との間に移動して、前記背景の異なる部分が現れている場合に、前記障害物の各部分を、Ｔ0またはＴ1のいずれかにおいて現れていた前記背景の対応する部分に置き換えることによって複合画像を作成するステップと
を実行することによって、画像から障害物を仮想的に除去するように構成されていることを特徴とするディジタル画像編集システム。
【請求項１８】
撮像する物体を照射する光源と；
前記物体の画像を第１ディジタル撮像装置上に第１光学倍率で投射する第１光路と；
前記物体の他の画像を第２ディジタル撮像装置上に第２光学倍率で投射する第２光路と
１つ以上の拡大された前記画像を表示するディスプレイと
を具えたディジタルズーム顕微鏡において：
前記顕微鏡が、前記第１光路を用いて前記物体を前記第１光学倍率と前記第２光学倍率との間でディジタル的にズームイン及びズームアウトし、前記第２光路を用いて前記物体を前記第２光学倍率と第３光学倍率との間でディジタル的にズームイン及びズームアウトするように構成されていることを特徴とするディジタルズーム顕微鏡。
【請求項１９】
プローブと；
ステージと；
少なくとも２つの光路を含み、離散したディジタル倍率のレベル及び前記光路を切り換えることによって、前記ステージ上に配置された物体の拡大画像内の連続的なズームを提供するように構成された撮像システムと
を具えていることを特徴とするディジタル光プローブシステム。
【請求項２０】
前記光路の各々が、前記画像毎に異なる倍率を生成することを特徴とする請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（発明の分野）
本発明は、光学的に強化されたディジタル撮像システムに関するものであり、特にディジタル的にズーム可能な画像を多経路で光学的に拡大するための改善されたシステム及び方法に関するものである。
【０００２】
（発明の背景）
多くの科学的及び光学的応用は、肉眼では見られないアイテムを見て操作することができることを個々のものに要求する。例えば、半導体製造は、種々の基板上に製造されたミクロン及びナノ規模の回路を検査しプローブ測定することができなければならない。同様に、生物学の研究者は、細胞、蛋白質、微小有機体、及び他の微細な要素を研究室内で見て操作することができなければならない。微細かつ計量的な応用は、これらを広める技術者、科学者及び開発者（集合的にエンドユーザと称する）と同じくらい一般化しかつ多様である。しかし、既存のツールはこれらのエンドユーザが望む特徴機能の多くを提供しない。
【０００３】
光学顕微鏡は、エンドユーザが、肉眼で見るには小さすぎる多くの物体を見ることを可能にする。1550年代後期から使用されている複合顕微鏡は一般に、複数のレンズを使用して画像を拡大する。現代の複合顕微鏡は、対物鏡及び接眼鏡内に複数のガラスレンズを使用する。これに加えて、現代の複合顕微鏡は一般に複数の対物レンズを提供し、これらは回転するかさもなければ交換することができ、これにより単一の複合顕微鏡は物体を約1000倍まで、離散した段階（例えば４倍、10倍、400倍、等）で拡大することができる。
【０００４】
現在は、光学ズーム系を顕微鏡内で対物レンズと共に用いて連続的に可変の倍率を提供する。ズーム系は一般に２つ以上の個別レンズから成り、その互いに対する軸位置は何らかの機械的手段によって変化される。個別レンズの動きを促進するためにモータを使用することが多い。
【０００５】
立体（ステレオ）顕微鏡、双眼顕微鏡、または解剖顕微鏡は、２つの接眼鏡（アイピース）（あるいは時として２つの完結した顕微鏡）を使用して少し異なる視角を左右の目に提供すること以外は複合顕微鏡と同様である。このようにして、立体顕微鏡は検査する試料の三次元視覚化を生成する。
【０００６】
近年、ディジタル撮像装置（イメージャ）を複合または立体顕微鏡に結合して、検査中の物体の拡大画像をディジタル化して操作している。広範な応用の大部分では、ディジタルカメラまたは撮像装置を、顕微鏡の接眼アセンブリまたは専用ポートのいずれかに取り付ける。そして撮像装置によって捕捉した画像は一般にコンピュータに供給され、モニタ上に表示されるか、後の使用のために記憶される。これに加えて、近年のディジタル撮像装置は、接眼鏡なしに複合顕微鏡アセンブリに取り付けられ、人間が直接観察する。
【０００７】
（発明の概要）
基になる複合顕微鏡のように、既存のディジタル撮像装置は、エンドユーザが一度に１つの対物レンズを通して物体を見ることを可能にするに過ぎない。従って、エンドユーザは光学拡大モードを手動で切り換えなければならず、例えば４倍、10倍、及び400倍の光学倍率の間を粗く遷移させる。これらの粗い倍率変化により、しばしば対象物体が視野から切り落とされ、時間のかかる物体位置への調整が必要になる。
【０００８】
さらに、光ズーム系を含む顕微鏡は、レンズが平行移動すると共にアライメント（位置合わせ）に誤差が生じる問題がある。系内で動く機械的構成要素は長い間に磨耗し、モータは意図しない画像の振動を生じさせる。
【０００９】
従って、物体を連続的にズームイン（部分拡大）またはズームアウト（広角化）することのできる、ディジタル撮像用の改善されたシステムが必要である。これに加えて、光路内に可動部分を持たない撮像システムの必要性が存在する。最後に、画像が拡大されると共に物体を追跡して、対象アイテムを切り出し（画像の）中心に置くシステム及び方法の必要性が存在する。
【００１０】
これら及び他の必要性を満たすために、本発明の好適例は、複数の光路及びディジタルズーム技術を用いた連続ズームシステム及び方法を提供する。これに加えて、提供されるシステムの好適例は、エンドユーザが複数の画像を種々の倍率で同時に見て操作することを可能にする。さらに、提供されるシステムの好適例は、倍率レベルが変化すると共に画像を自動的に切り出し、拡大縮小（スケーリング）し、画像の中心を合わせる。
【００１１】
本発明の１つの好適例によれば、ディジタルズームの範囲（レンジ）を拡張した撮像システムが提供される。この撮像システムは、第１画像を第１ディジタル撮像装置上に第１倍率で投射する第１光路と、第２画像を第２ディジタル撮像装置上に第２倍率で投射する第２光路とを具えている。この撮像システムは、前記第１光路を用いて第１画像を第１倍率と第２倍率との間でディジタル的にズームし、前記第２光路を用いて第２画像を第２倍率と第３倍率との間でディジタル的にズームするようにも構成されている。この撮像システムは、データを記憶し送信して、エンドユーザまたはコンピュータシステムが自動的に撮像システム内の個別の構成部品に見られるようにする電子構成部品も含むことが好ましい。
【００１２】
本発明の他の好適例によれば、撮像システム内で拡張されたズーム範囲にわたる連続倍率を提供する方法が提供される。この方法は次のステップを含む：第１画像経路（光路）によって拡大された第１画像を提供するステップ；第１画像経路において提供される第１倍率及び第２画像経路において提供される第２倍率を境界とする範囲内で第１画像内をディジタル的にズームするステップ；及び、ディジタル的にズームされた第１画像が第２倍率に一致するか第２倍率を超えると、第２画像経路によって拡大された第２画像を提供するステップ。
【００１３】
第３の好適例によれば、画像中の障害物を仮想的に除去する方法が提供される。この方法は次のステップを含む：背景及び障害物の第１時点Ｔ0における第１画像を記録するステップ；背景及び障害物の第２時点Ｔ1における第２画像を記録するステップ；及び、時点Ｔ0と時点Ｔ1との間に障害物または背景が移動して背景の異なる部分が現れている場合には、障害物の各部分を、Ｔ0またはＴ1のいずれかにおいて現れていた背景の部分に置き換えることによって複合画像を作成するステップ。
【００１４】
第４の好適例によれば、ディジタル画像編集システムが提供される。このディジタル画像編集システムは、次のステップを実行することによって障害物を画像から仮想的に除去するように構成されている：第１時点Ｔ0において、背景及び障害物の第１画像を記録するステップ；第２時点Ｔ1において、背景及び障害物の第２画像を記録するステップ；及び、時点Ｔ0と時点Ｔ1との間に障害物または背景が移動して背景の異なる部分が現れている場合には、障害物の各部分を、Ｔ0またはＴ1のいずれかにおいて現れていた背景の部分に置き換えることによって複合画像を作成するステップ。
【００１５】
第５の好適例によれば、ディジタル的にズームする顕微鏡が提供される。この顕微鏡は、撮像する物体を照射する光源と；この物体の画像を第１光学倍率で第１ディジタル撮像装置上に投射する第１光路と；この物体の他の画像を第２光学倍率で第２ディジタル撮像装置上に投射する第２光路とを具えていることが好ましい。この顕微鏡は、１つ以上の拡大画像を表示するディスプレイも具えていることが好ましい。これに加えて、この顕微鏡は、前記第１光路を用いて物体上を第１倍率と第２倍率との間でズームイン及びズームアウトし、前記第２光路を用いてこの物体を第２倍率と第３倍率との間でズームイン及びズームアウトするように構成されていることが好ましい。
【００１６】
最後の好適例では、ディジタル光プローブシステムが提供される。このプローブシステムは、プローブ、ステージ、及び少なくとも２つの光路を含む撮像システムを具えている。この撮像システムは、ステージ上に置いた物体の拡大画像内で、離散したディジタル倍率のレベル及び複数の光路を切り換えることによって連続的なズームを行うように構成されている。
【００１７】
本発明のこれらの好適例及び他の態様は、以下の図面を参照した実施例の詳細な説明より直ちに明らかになり、これらの実施例は本発明を例示するものであり限定するものではない。
【００１８】
（好適な実施例の詳細な説明）
本発明は、以下の図面を参照した実施例の詳細な説明を通してより完全に理解される。この説明中では、本発明の種々の実施例中の同様の要素を同じ番号で参照する。この詳細な説明中では、請求項に記載の発明を好適な実施例に関して説明する。しかし、本明細書に記載の方法及びシステムは単なる好適例であり、本発明の範囲を逸脱することなしに種々の変形を加え得ることは当業者にとって明らかである。
【００１９】
一般に、本発明は、複数の光学倍率レベルを増加させる連続的なズーム能力を有する多経路（マルチパス）光学撮像システムを具え、
【００２０】
図１は、ディジタル光プローブシステム１００の一実施例を示すブロック図である。ディジタル光プローブシステム１００は、撮像システム１０１、可動ステージ１０４、ターゲット（目標）標本または基板１０２、及びプローブ１０６を具えている。図に示すように、撮像システム１０１は基板１０２の方を向いている。基板１０２は可動ステージ１０４上に配置され、可動ステージは一般に少なくとも３つの自由度を有する。ステージ１０４はｘ，ｙ及びｚ軸に沿って調整可能であり、そしてエンドユーザによって制御可能であることが好ましい。プローブを用いて、ステージ１０４上の基板１０２を操作する。プローブを用いて基板を定位置に保持するか、あるいは基板１０２を非常に少量だけ調整することができる。種々の実施例では、プローブ１０６は、基板１０２を電気的に、光学的に、あるいは化学的に、あるいは種々の近接場磁気的な、または他の原子的な相互作用によってテスト（試験）することができる。他の実施例では、プローブは、基板１０２に粘着する能力または基板１０２への吸着力を出す能力を提供する。撮像システム１０１、プローブ１０６、及びステージ１０４は、コンピュータまたは他の処理装置と電気的に通信することが好ましい。
【００２１】
なお重要なこととして、例示する実施例は基板１０２を撮像する物体として参照するが、他の物体を用いることもできる。例えば、本明細書で用いる技術及びシステムは、生物学的または化学的標本、塗布標本、あるいは培養物を撮像するために用いることができる。代案の実施例では、撮像システム１０１を望遠鏡内で用いて、地上及び天体共に、離れた物体を見ることができる。
【００２２】
図２は、本発明により構成した撮像システム１０１とコンピュータシステム２００との接続を示すブロック図である。好適な実施例では、コンピュータシステム２００が撮像システム１０１を制御する。コンピュータシステム２００はステージ１０４及びプローブ１０６と直接的または間接的のいずれかで通信することもできる。
【００２３】
コンピュータシステム２００は当業者にとって周知である。好適な実施例では、コンピュータシステム２００は種々の入力／出力（Ｉ／Ｏ）装置に接続されている。これらは例えば、キーボード２０２、マウス２０４及びディスプレイ２０６を含むことができる。
【００２４】
コンピュータシステム２００は、ＰＣＩバスまたは他のバス、及び適切なコントローラ・ハードウェアを通して、Ｉ／Ｏ装置、並びに撮像システム１０１、プローブ１０６及びステージ１０４とのインタフェースをとることができる。このコントローラ・ハードウェアは、ビデオカード２０８、撮像装置ＰＣＩインタフェースカード２１０、モータコントローラカード２１２、及びテストインタフェースカード２１４を含む。当業者にとって明らかなように、ビデオカード２０８を用いてディスプレイ２０６を制御することができる。同様に、撮像装置ＰＣＩインタフェースカード２１０は撮像システム１０１を制御し、モータコントローラ・インタフェースカード２１２はステージ１０４の動きを統制することが好ましい。
【００２５】
図に示すように、テストインタフェースカード２１４はコンピュータシステム２００をテスト機器２１６に接続することが好ましい。この実施例では、テスト機器２１６は、基板１０２のテストまたはプローブ１０６の作動を制御する。電気的テストは、微小電気機械系（ＭＥＭＳ：Micro Electro-Mechanical System）のような種々の小型の可動構造を作動させることを意図した電気信号を供給することを含むことができる。種々のプローブを用いることができることは明らかである。例えば、プローブは化学標本のｐＨ、温度、濃度、及び光の強度を測定及び／または意図的に変更することができる。さらに、プローブは基板または基板上の装置の物理的操作用、並びに流体、固体、及び／または気体の基板への搬送用に用いることができる。
【００２６】
図３は、ディジタル光プローブシステム１００のより詳細な図を示す。この実施例では、プローブシステム１００はＰＣＩインタフェースカード２１０及び照明装置３００との電気通信を行う。
【００２７】
照明装置３００は基板１０２用の照射源を具えている。図に示す実施例では、照明装置はＬＥＤドライバ（発光ダイオード駆動回路）３０１、並びに赤色、緑色及び青色のＬＥＤ３０２〜３０６を含む。ＬＥＤドライバ３０１は、ＬＥＤ３０２〜３０６から出力される光の強度、持続時間、及び周波数を制御する。赤色、緑色及び青色のＬＥＤを用いる代わりに、他の可視及び不可視の光源を用いることができることは当業者の認識する所である。例えば白熱電球を用いることができ、赤外光、蛍光、紫外光の光源も用いることができる。さらに、光の偏光及びレンズ３０８の開口数のような波長以外の照明パラメータも変化させることができる。従って、あらゆる事象において、これらのＬＥＤ３０２〜３０６からの光は一連のビームスプリッタ３１０及びレンズ３０８を通過し、そして対物レンズ３１２を通過し、最終的に基板１０２を照射することが好ましい。
【００２８】
対物レンズ３１２は、対物レンズ３１２についての情報を記憶することのできるレンズＩＤユニット３２０に結合されていることが好ましい。レンズＩＤユニット３２０は、レンズの異常、用法、設定、及び較正を含む対物レンズ３１２についての情報を記憶することができるが、これらに限定されない。従って、撮像システム１０１と共に用いる際に、特定の対物レンズ３１２はその属性に関するデータをコンピュータシステム２００に伝えることができる。従って、エンドユーザまたはコンピュータシステム２００のいずれかがこの属性情報を用いて、問題を修正して可能な最良の画像を生成することができる。同様に、エンドユーザまたはコンピュータシステム２００はレンズＩＤユニット３２０にデータを書き込むことができる。
【００２９】
レンズＩＤユニット３２０に対する読出し及び書込みはレンズＩＤリーダ３２２によって促進される。レンズＩＤリーダ３２２は、対物レンズ３１２を撮像システム１０１内に挿入した後にレンズＩＤユニット３２０と電気通信する。使用する各対物レンズはそれ自身の情報を含み、従って、撮像システム１０１は種々の対物レンズを明確に識別してインタフェースをとることができる。この特徴は、撮像システム１０１を挿入された対物レンズ毎に手動で時間をかけて較正することを防ぐ点で有利である。他の種々の実施例では、各電子的構成要素（例えば撮像装置３１６、照明装置３００、レンズ３０８、ビームスプリッタ３１０、等）が自前のＩＤユニット及び／またはリーダを有して、コンピュータ２００は自動的に、撮像システム１０１内の個別の構成要素と見られることができる。
【００３０】
上述したように、対物レンズ３１２のように、各電子的構成要素は、その異常、用法、設定、及び較正を記述するデータを記憶するように構成されていることが好ましい。しかし、電子的構成要素自体は非常に多様なものとすることができ、下記の１つ以上から成るグループから選定することができる：
(a)  光学レンズ
(b) 照射源
(c) ディジタル撮像装置
(d) 発光ダイオードのアレイ
(e) 通信ハブ
(f) モータ
(g) プロセッサ
(h) 機械的マウント（架台、取り付け具）
(i) ビームスプリッタ、導波路、反射器（レフレクタ）、または他の光学素子
【００３１】
対物レンズ３１２の位置は、モータ付きのフォーカス（焦点）微調整ステージ３２４によって制御することが好ましい。モータ付きレンズインタフェース３２６は、ハブからのコマンドに応答してモータ付きフォーカス微調整ステージ３２４を制御する。
【００３２】
動作中には、照明装置３００から放出される光は対物レンズ３１２を通って輝き、基板１０２によって反射されることが好ましい。この時点で、光は再び対物レンズ３１２に入り、撮像システム１０１内に含まれる１つ以上のビームスプリッタ３１０及びレンズ３０８によって方向変更されて拡大される。光は撮像システム１０１内を１つ以上の光路（画像経路）３１４に沿って、１つ以上の撮像装置３１６に達するまで進む。そして光は各撮像装置３１６上で合焦され、これにより基板１０２の画像が生成される。
【００３３】
最終的に各撮像装置３１６上に投射される画像は異なるレベルの倍率を達成する。例えば、画像経路３１４ａは画像経路３１４ｃより長く、従ってより大きい焦点距離を有する。従って、基板１０２の倍率は、画像経路３１４ａに沿った倍率の方が画像経路３１４ｃに沿った倍率より大きくなる。従って、一具体例では、画像経路３１４ｃ、３１４ｂ及び３１４ａはそれぞれ４倍、10倍及び40倍の有効倍率を持つことができる。各画像経路３１４に沿った有効倍率は、各画像経路３１４に沿った異なるレンズ３０８及びビームスプリッタ３１０を通してさらに制御することができる。さらに、図３には画像経路３１４を３つしか例示していないが、２より大きい任意数の画像経路を用いて広範囲の光学的拡大経路を提供することができることは当業者の認識する所である。
【００３４】
撮像装置３１６は、電荷結合素子（ＣＣＤ：Charge Coupled Device）のような固体ディジタル撮像デバイスであることが好ましい。撮像装置３１６は、白黒で、カラーで、あるいは可視スペクトルの範囲を超えて画像を捕捉することができる。これに加えて、撮像装置３１６は独立装置とすることができ、あるいはすべてを同じ装置の論理的区分とすることができる。各撮像装置３１６は、コンピュータシステム２００が、当該撮像装置３１６によって生成された画像内をディジタル的にズームすることができるのに十分な解像度を有することが好ましい。
【００３５】
図４に、複数の画像経路３１４をディジタルズーム撮像装置と組み合わせて、基板１０２の所望の倍率を得る様子を示す。
【００３６】
前に説明したように、既存のシステムでは、エンドユーザは、実際には中間的な視野４０４を望む際にも、広い視野４００か狭い視野４０２かを選定しなければならないことが多かった。既存のシステムは離散した倍率レベルを備え、このためより高い倍率は狭過ぎる視野を生成し、より低い倍率は広過ぎる視野を生成する。
【００３７】
本発明の実施例は、２つの離散した光学倍率レベルの間のディジタルズームを可能にする。従って、一実施例では、プローブシステム１００は、エンドユーザが広い視野４００を提供する光学倍率レベル（即ち画像経路）から所望の視野４０４までズームイン（拡大）することを可能にする。代案の実施例では、プローブシステム１００は、エンドユーザが狭い視野４０２を提供する光学倍率レベルから所望の視野４０４までズームアウト（広角化）することを可能にする。
【００３８】
所望の倍率及び視野４０４を達成するために、プローブシステム１００はまず、第１画像経路３１４ｃによって拡大した第１画像を、好適にはディスプレイ２０６上に提示する。次に、プローブシステム１００は第１画像内を、最短の画像経路３１４ｃによって提供される第１倍率（例えば４倍）と中間長の第２画像経路３１４ｂによって提供される第２倍率（例えば10倍）とを境界とする範囲内でディジタル的にズームする。ディジタル的にズームした第１画像が第２倍率に一致するか第２倍率を超えると、プローブシステム１００は、第２画像経路３１４ｂによって拡大した第２画像を提供する。
【００３９】
このプロセスは第３経路３１４ａでも続けることができる。この例では、プローブシステム１００が第２画像内を、中間長の画像経路３１４ｂによって提供される第２倍率（例えば10倍）と最長の第３画像経路３１４ａによって提供される第３倍率（例えば40倍）とを境界とする範囲内でディジタル的にズームする。ディジタル的にズームした第２画像が第３倍率に一致するか第３倍率を超える際には、プローブシステム１００は、第３画像経路３１４ａによって拡大した第３画像を提供する。
【００４０】
プローブシステム１００は、離散したディジタル倍率のレベル及び複数の光路を切り換えることによって連続的なズームを行うように構成されている。提示された画像のズームアウトは、以上で概説したステップの逆を必要とするに過ぎないことは当業者の認識する所である。
【００４１】
図５に、ビデオ再生からの複数のフレームを通して捕捉した連続的なズームの正味の効果を示す。図に示すように、ビデオ捕捉システムはプローブシステム１００から１２枚のフレームを捕捉する。最初は、倍率は最低であり、（図３に示すように）画像は最短の画像経路３１４ｃを通って第１撮像装置３１６ｃ上に投射される。フレーム１〜４中には、倍率をディジタル的に拡大し、中間長の画像経路３１４ｂによって提供される倍率を超える手前まで行う。フレーム５から始まる、提示する画像は中間長の経路３１４ｂ及び第２撮像装置３１６ｂを通して生成する。フレーム５及び６中には、画像を再びディジタル的にズームし、長い画像経路３１４ａによって提供される倍率を超える手前まで行う。従って、フレーム７から始まる、提示する画像は長い経路３１４ａ及び第３撮像装置３１６ａを通して生成される。その後に、フレーム７〜１２中には、倍率が所望のレベルに達するまで画像をディジタル的に拡大する。
【００４２】
連続的なズームに特有の問題は、エンドユーザが観察を希望し得る物体が画像画像外に切り落とされるまで視野が縮まることである。図６に、エンドユーザが拡大した視野の中心を所望位置上に置くことを可能にする本発明の実施例を示す。
【００４３】
図６に示すように、倍率が増加すると共に、視野は最大視野６００から、より小さい視野６０２を経て最小視野６０４まで縮まる。スクリーン外の物体を見るために、所望領域または視野６０６を捉えるまで、画像を適切な倍率に調整する。このことは、所望画像位置を示すまで視野を論理的にシフトさせることによって達成することが好ましい。代案の実施例では、ソフトウェア・アルゴリズムが、ディジタルズーム、及び所望視野６０６を好適な位置上に置くことを促進する。これに加えて、中心を外した画像または移動する画像を用いて、所望の視野が表示されるまで拡大画像をパン（横流し）することができる。
【００４４】
あるいはまた、ビームスプリッタ３１０及び／またはレンズ３０８を移動または回転させて、所望領域が捕捉されるまで拡大画像をパンすることができる。一実施例では、ジンバル機構によって支持されるミラーの角度を調整することによってこのことを行う、というのは、図３中のいずれの光路の幾何学的配置も、１つ以上のミラーを含めて光路を屈折させることによって変更することができるからである。
【００４５】
ターゲットまたは位置は、倍率が変化すると共に画像毎に同じである必要がないことは当業者の認識する所である。さらに、２つの位置は一般に、平面外（Ｘ／Ｙ）位置または平面外（Ｚ）位置が、あるいは両者が異なる。焦点、倍率、及び撮像装置の設定を変化させることによって、本発明の実施例は、異なる光景を通して種々の平面内または平面外の物体を中心に置くことできる。
【００４６】
一旦、適切な倍率及び視野を検出すると、エンドユーザは画像が静止したままである間に画像を調査することができる。しかし、拡大画像内には観察を複雑にする物体が頻繁に存在する。特に、エンドユーザが観察したい物体は時として、プローブ１０６の端によって、あるいは他の障害物によって隠される。
【００４７】
図７に、拡大画像内で所望の物体が障害物によって隠され得る様子を示す。図に示すように、時刻０（Ｔ0）には、表示された視野７００は、観察中の拡大された３つの物体７０２ａ、７０４ａ、及び７０６ａを示す。Ｔ0には、エンドユーザは、自分が観察したい３つの物体７０２ａ、７０４ａ及び７０６ａの一部分を見ることができる。また、図には画像のいずれかの辺に位置する２つのプローブ７０８も示す。なお、これらのプローブは物体７０２ａ、７０４ａ、及び７０６ａのいずれの光景も妨げていない。
【００４８】
時刻１（Ｔ1）には、物体７０２〜７０６はプローブ７０８及び視野７１０に対して移動している。物体７０２〜７０６が移動したかプローブ７０８が移動したかは重要ではない、というのは、問題になるのはこれらの相対移動であるからである。従って、Ｔ1には、物体７０２ｂ及び７０４ｂはプローブ７０８によって部分的に妨げられる。同様に、物体７０６ｂは視野７１０の底部に向かって移動しており、このため、物体７０６ｂの一部分はもはや見えない。
【００４９】
この問題に応えるために、本発明の実施例は、障害物を所定視野から除去した複合画像を生成する方法及びシステムを提供する。一般に、ターゲットが撮像装置３１６の視野を通って移動すると共に、プローブ、ワイヤ、及び他の障害物によって形成される開口の下で潜在的に、撮像装置３１６は、塞がれ得るかさもなければ後の時点の撮像に利用不可能になり得るターゲットの領域の画像を収集し記憶する。こうして、記憶した画像情報を用いて、表示、分析、あるいは記憶される画像において利用不可能な画像情報を補う。
【００５０】
好適な実施例では、次の方法によって障害物を仮想的に画像から除去する。まず、第１時点Ｔ0において、プローブシステム１００は背景及び障害物の第１画像を記録する。次に、第２時点Ｔ1において、プローブシステム１００は背景及び障害物の第２画像を記録する。時刻Ｔ0とＴ1との間に障害物または背景が移動し、背景の異なる部分が現れた場合には、プローブシステムは、障害物の各部分を、時刻Ｔ0またはＴ1のいずれかにおいて現れていた対応する部分に置き換えることによって複合画像を作成する。
【００５１】
どの画素が移動中の背景に対応しどの画素が障害物に対応するかについての判定はいくつかの方法で達成することができる。一実施例では、エンドユーザはポインティングデバイス（指示装置）及びグラフィカル・ユーザインタフェースを用いてそれぞれの領域を指定する。他の実施例では、傾きに基づくオプティカルフロー（点の移動方向）またはブロックマッチング（ブロック整合）のような動き測定アルゴリズムを、画像列中の多くの小さい対象領域に適用する。この実施例の改良案では、他の情報源からの情報を画像またはユーザ入力情報と組み合わせて、障害物、背景、及び所望物体を正確に追跡する。この時点では、マスク画像を作成して所望画像を障害物から分離することが好ましい。
【００５２】
図８に、マスク画像を作成し使用して所望画像を障害物から分離することを示す。この画像中では、黒色画素がシーン内の動きに対応する。この場合には、これらの画素は、離散した３つの時点において上向きに移動したターゲットの部分に相当する。ターゲットが上方に移動すると共に、画像も上方にパンし中心を再設定して、所望物体を視野内に保つ。ターゲットに対して、プローブは視野内を下向きに移動しているように見える。従って、時刻Ｔ0には、プローブ７０８は視野８００ａ内で高く見える。Ｔ1には、プローブ７０８は視野８００ｂの中央に見える。そしてＴ2には、プローブ７０８は視野８００ｃ内で低く見える。
【００５３】
ターゲットとプローブ７０８との相対運動によりターゲット画像の１つ以上の部分が現れると共に、プローブの１つ以上の部分をマスクから差し引いて現在画像ではない複合画像を生成することができる。時刻Ｔ0には、ターゲットとプローブ７０８との間に相対運動が存在せず、これらはその全体が視野８０２ａ内にあるように見える。Ｔ1には、ターゲットの以前には見えていなかった部分が今度は見えている。従って、プローブの１つ以上の部分を新たに見えた部分に置き換えて、プローブ７０８が減って薄片になった視野８０２ｂを生成することができる。しかし、画像はまだプローブ７０８の薄片によって少し妨げられている。Ｔ2には、ターゲットの十分な動きがあり、これにより時刻Ｔ0とＴ2との間にターゲットのすべてが現れた。３つの時刻全部について、見えていたターゲットの部分を組み合わせることによってプローブが完全に除外された、現在画像ではない複合画像８０２ｃを生成することができる。このようにして、すべての種類の障害物を所望画像から除去することができる。
【００５４】
障害物の画像からの除去について、ここまで画像の重ね合わせを説明してきたが、こうした重ね合わせは他の光学的アーティファクト（歪像）を除去するのにも有用である。例えば、像がレンズの端部（エッジ）または周縁部に生成される際には、レンズは頻繁に不鮮明な像を生成する。この不鮮明さは、不鮮明な端部領域を有する第１画像を捕捉し、不鮮明であった領域が画像フィールドの中心に向けて移動するように対象物を平行移動することによって画像から除去することができる。そして、前に不鮮明であった領域を新たなフィールドの中心に置いて追加的な画像を捕捉して、不鮮明でなく見えるようにする。そして、今度は不鮮明でない端部領域の画像の部分を第１画像と組み合わせて、端部領域の不鮮明な画像を置き換えて端部に不鮮明さのない新たな画像を作成する。
【００５５】
図９Ａに示すように、本発明を用いてより高解像度の画像フィールドを生成することができる。この超画素分解能を生成するために、２つの撮像装置３１６ａ及び３１６ｂが同じ対物レンズ３１７を通して同じ視野の画像を捕捉する。両画像の倍率は同じにすることができる。両方の撮像装置は同じ視野を見るが、光路の差により、各画像は少し、一般に１画素分未満だけずれている。
【００５６】
図９Ｂを参照すれば、２つの画像がオーバラップ（重複）していれば図に示すように見える。図に見られるように、画像４００の画素は画像４１０の画素の一部にオーバラップしている。従って、画像４００のいずれの画素も、画像４１０のより小さい（４分の１の）４つの画素で構成されているように見える。これら２つの画像を数学的に操作することによって、等価なより高解像度の画像が形成される。例えば一実施例では、各「４分の１」画素に、２つの画像からの最寄りの画素どうしの加重平均である値を割り当てることができる。他の方法も当業者にとって既知である。
【００５７】
これに加えて、複数の撮像装置からのディジタル画像を組み合わせて追加的な情報をユーザに提供することができる。これらの撮像装置の各々が、異なる位置において、（光路中に配置した異なる偏光子による）異なる偏光、異なる焦点、（光路中に配置した異なるフィルタによる）異なる色感度、異なるピッチ、異なる倍率、異なる開口数、あるいは異なるディストーション（歪曲）の下で撮像した画像を有することができる。これにより、この追加的情報を用いて撮像装置を所望のように強調または組み合わせることができる。
【００５８】
実施例のさらなる改良は、この合成画像を表示する他のステップを提供する。この表示はさらに、障害物を合成画像と同時に、白黒、赤色のみ、または輪郭線のみ、あるいはグラフィックマーカー（図形的目印）付きのような潜在的に指定された異なる外見で示すことができる。マスク画像の表示をある度合いの透明度で上に重ねて、上に重ねたもの、その下にあるターゲット、及びこれらの幾何学的関係を視覚化することができる。
【００５９】
さらに他の実施例では、画像の焦点の変更によって障害物を除去する。高い開口数及び小さく孤立した障害物を有する撮像システム１０１の場合には、この障害物は十分焦点が外れるとほぼ透明になる。従って、焦点を障害物から十分外して、複合画像を単なるターゲットの画像にすることができる。障害物を静止させつつステージ１０４及び撮像装置の焦点を共に平行移動することは、障害物のみを平行移動することと同様である。
【００６０】
このシステムの柔軟性（フレキシビリティ）は、次の応用において容易に見ることができる。この応用では、システムを用いて半導体ウエハーのパッド上へのプローブの配置を視覚化する。この操作では、ステージ上の半導体ウエハーをシステムによって視覚化する。そして一組のプローブをパッドの上方に持って来てパッド上に下ろす。このことは一般に、これらのプローブが十分な圧力をパッド上に与えて、パッド上のあらゆる酸化物を除去するか「磨いて」良好な電気接触を生成する方法で行う。最初の段階でこれらのプローブがパッドと適切に位置合わせされなければ、このことのすべてが無意味である。
【００６１】
本発明のシステムは、パッドを見て、プローブとパッドとの配置及び接触を検証することを可能にする。この接触検証は複数の方法で行うことができる。まず、画像中でパッドに焦点を合わせ、プローブがパッドに接触すると、これらのプローブにも焦点が合う。プローブに焦点が合うと、プローブの屈曲によって生じるプローブの平面内の動きが、接触がなされたことの指示を提供する。
【００６２】
第２の方法は、異なる焦平面に中心を合わせた複数の撮像装置を利用する。１つの撮像装置はプローブの先端（チップ）に焦点を合わせ、１つの撮像装置は基板上に焦点をあわせることができる。これに加えて、他の撮像装置はある程度の中間レベルに焦点を合わせることができる。すべての撮像装置の視野の平面内の中心が一致すると、これらはプローブと基板との位置合わせ、並びにプローブ及び基板が動いて接触に至る際にこれらを追跡する便利な手段を提供する。
【００６３】
まとめて言えば、改善された撮像の方法及びシステムが提供される。特に、ディジタルズームの範囲を拡張するシステム及び方法が提供され、ここでは撮像システムが、複数の分離した光路及び複数のディジタルズーム撮像装置上で連続的な倍率を提供する。視野が変化すると共に画像の中心を合わせ、そして不所望な障害物を拡大画像からマスクで除去するシステム及び方法が提供される。
【００６４】
当業者は、請求項に記載の本発明の範囲を逸脱せずに、本明細書に記載したものの変形、変更、及び他の実現を生じさせることができる。従って、本発明は、先に述べた例示的な説明によって規定されるものではなく、その代わりに、請求項に記載の範囲によって規定されるべきものである。
【図面の簡単な説明】
【００６５】
【図１】ディジタル光プローブシステムの一実施例を示すブロック図である。
【図２】本発明により構成した撮像システムとコンピュータシステムとの接続を示すブロック図である。
【図３】本発明により構成したディジタル光プローブシステムのより詳細な図である。
【図４】複数の画像経路と、本発明により構成したディジタルズーム撮像装置との組合せを用いた基板の拡大図である。
【図５】ビデオ再生からの複数フレームを通して捕捉した、本発明による連続ズーミングの正味の効果を示す図である。
【図６】本発明の実施例によって提供される、所望位置上の拡大視野の作成を示す図である。
【図７】拡大画像中で所望の物体が障害物によって隠され得る様子を示す図である。
【図８】マスク画像を作成し使用して所望画像を障害物から分離することを示す図である。
【図９Ａ】２つの撮像装置が同じ視野を見るように使用される装置の実施例の図である。
【図９Ｂ】図９Ａの実施例からの画像どうしの重ね合わせの図である。
【図１】
2008519499.tif 000003
【図２】
2008519499.tif 000004
【図３】
2008519499.tif 000005
【図４】
2008519499.tif 000006
【図５】
2008519499.tif 000007
【図６】
2008519499.tif 000008
【図７】
2008519499.tif 000009
【図８】
2008519499.tif 000010
【図９Ａ】
2008519499.tif 000011
【図９Ｂ】
2008519499.tif 000012
【国際調査報告】
2008519499.tif 000013
2008519499.tif 000014
2008519499.tif 000015
2008519499.tif 000016
2008519499.tif 000017