(57)【特許請求の範囲】
【請求項１】
光学装置（６００）を用いて物体（１００）の結果画像（４１０，４１０−１，４１０−２，４１１）を生成する方法であって、
光学装置（６００）の照明装置（３１１）により、少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）を使用して物体（１００）を順次照明するステップと、
少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）のそれぞれについて、それぞれの照明ジオメトリ（１１０−１，１１０−２，１１０−３）による照明中に、光学装置（６００）の検出器（６１２）によって物体（１００）の複数の強度画像（４０１−１〜４０１−６）を取得するステップと、
前記結果画像（４１０，４１０−１，４１０−２，４１１）を生成するために、演算ユニット（６１４）によって前記複数の強度画像（４０１−１〜４０１−６）を合成するステップと、
演算ユニットを用いて最適化を実行するステップと、を含み、
前記合成するステップは、前記結果画像（４１０，４１０−１，４１０−２，４１１）が所定の最適化基準を満たすように実行され、
前記合成するステップは、前記結果画像（４１０，４１０−１，４１０−２，４１１）の第１及び第２の領域を含む様々な領域（５８０）が前記最適化基準を満たすように、前記複数の強度画像のそれぞれが前記様々な領域（５８０）について空間的に分解されて実行され、
前記最適化を実行するステップは前記合成を実行するための組み合わせパラメータを提供し、前記結果画像（４１０，４１０−１，４１０−２，４１１）は、該組み合わせパラメータにより前記所定の最適化基準を満たし、
最適化は、前記強度画像（４０１−１〜４０１−６）の様々な領域（５８０）のために、空間的に分解されて実行され、
前記組み合わせパラメータは、前記様々な領域に対してそれぞれ提供され、
前記合成するステップは、対応する前記組み合わせパラメータに基づき、前記強度画像（４０１−１〜４０１−６）の様々な領域（５８０）のために空間的に分解されて実行され、
強度画像の空間的に分析された合成は、前記強度画像の前記第１の領域内における第１の組み合わせパラメータと、前記強度画像の前記第２の領域内における第２の組み合わせパラメータとに基づくものであり、
前記第１の組合せパラメータは、前記第２の組合せパラメータと異なる、
方法。
【請求項２】
前記少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）を使用する順次照明、及び／又は、対応する前記強度画像（４０１−１〜４０１−６）の取得は、様々な波長のために複数回実行され、
対応する前記強度画像（４０１−１〜４０１−６）を合成するステップは、各場合において、前記様々な波長について関連する結果画像（４１０，４１０−１，４１０−２，４１１）を生成するために実行される、
請求項１に記載の方法。
【請求項３】
前記最適化を実行するステップは、取得された強度画像（４０１−１〜４０１−６）の数、照明ジオメトリ（１１０−１，１１０−２，１１０−３）の数、照明方向（１１１−１，１１１−２）の数、照明立体角（１１２）の数、前記強度画像（４０１−１〜４０１−６）の取得の時間間隔からなるグループから選択される少なくとも１つの境界条件に基づく、
請求項１又は２に記載の方法。
【請求項４】
前記所定の最適化基準は、画像コントラスト、エッジの急峻性、画像の鮮明度、変調伝達関数の品質、空間周波数依存の最適化基準からなるグループから選択される、
請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）は、異なる複数の照明方向（１１１−１，１１１−２）及び／又は異なる複数の照明立体角（１１２）を含む、
請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）のうち少なくとも１つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）は、少なくとも２つの照明方向（１１１−１，１１１−２）を含む、
請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）は、照明のために使用される光について、異なる複数の色及び／又は複数の偏光を有する、
請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）は、異なる複数の干渉パターンを有する、
請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記照明は、前記照明装置（３１１）の構造フィルタを適用することを含む、
請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記強度画像（４０１−１〜４０１−６）を合成するステップの前に、前記強度画像（４０１−１〜４０１−６）を適合させる目的で、前記演算ユニット（６１４）によって、取得された前記強度画像（４０１−１〜４０１−６）に演算子を適用するステップ、をさらに含む、
請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
前記演算子は、重み付け、増幅、減衰、絶対値、自乗、平方根の取得、符号の反転、画素値の平滑化、画素の収差補正、前記強度画像（４０１−１〜４０１−６）のそれぞれの画素値の平均値への正規化、空間フィルタの適用からなるグループから選択される、
請求項１０に記載の方法。
【請求項１２】
前記演算子は、形態学的演算子である、
請求項１０又は１１に記載の方法。
【請求項１３】
前記演算子は、正規化された局所的なコントラスト、正規化された局所的な強度、正規化された強度勾配、拡張、浸食、エッジフィルタ、ノイズフィルタからなるグループから選択される、
請求項１０乃至１２のいずれか一項に記載の方法。
【請求項１４】
前記演算子は、閾値演算子である、
請求項１０乃至１３のいずれか一項に記載の方法。
【請求項１５】
選択された強度画像（４０１−１〜４０１−６）に適合する選択された演算子は、少なくとも１つのさらなる強度画像（４０１−１〜４０１−６）への依存性を表す、
請求項１０乃至１４のいずれか一項に記載の方法。
【請求項１６】
前記少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）は、異なる複数の照明方向（１１１−１，１１１−２）を含み、
前記空間フィルタは、前記各照明方向について、前記照明方向と前記光学装置（６００）の光軸とによって設定される平面内に配置された物体（１００）の構造を、この平面に垂直に配置された構造に対して弱める、
請求項１１に記載の方法。
【請求項１７】
取得された前記強度画像（４０１−１〜４０１−６）に基づく画像データと、前記各照明ジオメトリ（１１０−１，１１０−２，１１０−３）を示す関連の制御データとを不揮発性メモリ内に格納するステップ、をさらに含み、
前記合成するステップは、前記物体（１００）を照明するステップ及び前記強度画像（４０１−１〜４０１−６）を取得するステップを含む画像取得ステップ後の後処理ステップにおいて、格納された画像データ及び制御データに基づいて実行される、
請求項１乃至１６のいずれか一項に記載の方法。
【請求項１８】
物体（１００）の結果画像（４１０，４１０−１，４１０−２，４１１）を生成するように構成された光学装置（６００）であって、
少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）を使用して物体（１００）を順次照明するように構成された照明装置（３１１）と、
前記各照明ジオメトリ（１１０−１，１１０−２，１１０−３）による照明の間に、前記少なくとも２つの照明ジオメトリ（１１０−１，１１０−２，１１０−３）のそれぞれについて物体（１００）の複数の強度画像（４０１−１〜４０１−６）を取得するように構成された検出器（６１２）と、
前記結果画像（４１０，４１０−１，４１０−２，４１１）を生成するために前記複数の強度画像（４０１−１〜４０１−６）を合成するように構成された演算ユニット（６１４）と、を含み、
前記演算ユニットは、最適化を実行するよう構成され、
前記合成は、前記結果画像（４１０，４１０−１，４１０−２，４１１）が所定の最適化基準を満たすように実行され、
前記合成は、前記結果画像（４１０，４１０−１，４１０−２，４１１）の第１及び第２の領域を含む様々な領域（５８０）が前記最適化基準を満たすように、前記複数の強度画像のそれぞれが前記様々な領域（５８０）について空間的に分解されて実行され、
前記最適化は、前記合成を実行するための組み合わせパラメータを提供し、前記結果画像（４１０，４１０−１，４１０−２，４１１）は、該組み合わせパラメータにより前記所定の最適化基準を満たし、
前記最適化は、前記強度画像（４０１−１〜４０１−６）の様々な領域（５８０）のために、空間的に分解されて実行され、
前記組み合わせパラメータは、前記様々な領域に対してそれぞれ提供され、
前記合成は、対応する前記組み合わせパラメータに基づき、前記強度画像（４０１−１〜４０１−６）の様々な領域（５８０）のために空間的に分解されて実行され、
強度画像の空間的に分析された合成は、前記強度画像の前記第１の領域内における第１の組み合わせパラメータと、前記強度画像の前記第２の領域内における第２の組み合わせパラメータとに基づくものであり、
前記第１の組合せパラメータは、前記第２の組合せパラメータと異なる、
光学装置（６００）。
【請求項１９】
前記光学装置（６００）は顕微鏡である、
請求項１８に記載の光学装置（６００）。
【請求項２０】
前記光学装置（６００）は、請求項１乃至１７のいずれか一項に記載の方法を実行するように構成される、
請求項１８に記載の光学装置（６００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の例示的な実施形態は、結果画像を生成する方法及び対応する装置に関する。特に、例示的な実施形態は、所定の最適化基準を満たす物体の結果画像の提供を容易にする技術に関する。
【背景技術】
【０００２】
光学装置を用いて物体を撮像するとき、１つ又は複数の最適化基準を満たす結果画像の提供が望ましいことがよくある。特に、そのような最適化基準は、結果画像の画像コントラストであり得る。可能な限り高い画像コントラストを得ることが望ましい場合があり得る。比較的高い画像コントラストの場合、物体に関して、全く異なる複数の物理的パラメータ及び情報を得ることが可能となり得る。
【０００３】
光学装置の照明装置の適切なハードウェアによって結果画像のそのような最適化を容易にする技術（構造化照明）が知られている。例として、非特許文献１にはそのような技術が記載されている。ここで、照明装置の瞳面内では、例えば構造フィルタを使用することが可能になる。結果として、特に深い情報深度を有する物体、例えば特に振幅物体、を撮像することが可能になる。
【０００４】
しかしながら、そのような技術には一定の制限又は欠点がある。構造フィルタの選択は、典型的には結像される物体に依存するので、マスク交換ユニットによって照明装置内で交換可能な様式で構造フィルタを受け取り、場合によっては、利用可能な複数の異なる構造フィルタを維持する必要があり得る。例えば生物学的試料または未知の非生物学的試料のような様々なタイプの物体に対して、このことは不利となり得る。比較的多数の構造フィルタを利用可能な状態に維持する必要があるからである。それで実際に起こり得ることは、適合する構造フィルタが存在しないことである。さらに、画像捕捉完了後（後処理ステップ）における構造フィルタの事後変更が、不可能となるか、または限定された範囲でのみ可能となる。典型的には、光学装置の複雑さは、追加のハードウェア構成要素を利用可能に維持する結果として増加する。例えば機械的な誤作動、摩損、汚染などを理由とするエラーに対する感受性は、構造フィルタの交換可能な利用可能性によっても増加させられ得る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】独国特許出願第１０２０１４１０１２１９．４号
【非特許文献】
【０００６】
【非特許文献１】Ｈ．グロス(H. Gross)ら、「光学システムハンドブック(Handbook of Optical Systems)」、第２巻、Ｗｉｌｅｙ−ＶＣＨ、２００５
【非特許文献２】Ｈ．シエントントフ(H. Siedentopf)、「顕微鏡画像中のエッジの可視化(Die Sichtbarmachung von Kanten im mikroskopischen Bilde)」、第２５巻、図２〜図５、科学的顕微鏡ジャーナル(Zeitschr. f. wiss. Mikroskopie)、１９０８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これが、所定の最適化基準を満足する結果画像を生成するための改良された技術であって、上述した欠点及び制約の少なくとも一部を解消する技術に対するニーズがある理由である。特に、それぞれの最適化基準を満たす結果画像の正確かつ柔軟な提供を容易にする技術が必要とされている。
【課題を解決するための手段】
【０００８】
１つの態様によれば、本発明は、光学装置を用いて物体の結果画像を生成する方法に関する。この方法は、光学装置の照明装置により、少なくとも２つの照明ジオメトリを使用して物体を順次照明することを含む。この方法はさらに、少なくとも２つの照明ジオメトリのそれぞれについて、それぞれの照明ジオメトリによる照明中に物体の強度画像を取得することを含む。強度画像は、光学装置の検出器によって捕捉される。この方法はさらに、結果画像を生成するために、演算ユニットによって強度画像を合成することを含む。ここで、合成は、結果画像が所定の最適化基準を満たすように実行される。
【０００９】
一例として、物体は振幅物体であってもよい。すなわち、振幅物体は、少なくとも部分的に、透過光の減衰を引き起こす可能性がある。したがって、結果画像は物体を映し出すことができる。一例として、結果画像は、物体を拡大して映し出すことができる。一例として、光学装置は顕微鏡であってもよい。一例として、物体は、特に同一の構成要素の慣例的な監視のために、工業的な物体を含み得るが、生物学的な物体も含み得る。強度画像は、例えば蛍光画像とは対照的に、物体の部分的にコヒーレントな画像に対応することができる。この点で、強度画像は部分的コヒーレント画像とも呼ばれ得る。強度画像は結果画像を形成するために合成されるので、強度画像は部分画像とも呼ばれ得る。
【００１０】
一般に、照明ジオメトリは、光による物体の照明の全く異なる複数の幾何学的パラメータによって特徴付けられ得る。特に、少なくとも２つの照明ジオメトリは、異なる複数の照明方向を含むことができる。一例として、少なくとも２つの照明ジオメトリのうちの少なくとも１つは、１つ以上の照明方向を含むことができる。これは、１つの照明ジオメトリに対して複数の照明方向が組み合わされることを意味する。特に、照明方向を組み合わせることにより高速撮像が実行され得る。
【００１１】
代替的に又は追加的に、少なくとも２つの照明ジオメトリは、異なる複数の照明立体角を備えてもよい。照明方向は、例えば光軸に対して十分に定義された角度から物体を照明することができる。対照的に、照明ジオメトリは、光軸に対して角度の範囲から物体を照明することができる。一例として、照明ジオメトリは、照明ビームが１つの方向又は少なくとも２つの方向で物体に入射することとなるような立体角を定義することができる。照明立体角は、照明方向の組み合わせとも呼ばれる。特に、照明立体角を使用することによって、高速撮像が実現され得る。
【００１２】
一般に、照明ジオメトリの範囲内で使用される異なる照明方向は、相関していなくても相関していてもよい。照明方向は、染みを避けるために組み合わされ得る。これは、例えばレーザ又は単一モードのファイバペンシルのような点光源を使用せず、その代わりに、例えばＬＥＤ又はマルチモードファイバのような拡張光源を使用することによって実現され得る。その結果、立体角からの照明が実現される。
【００１３】
様々な開示のシナリオでは、他の照明ジオメトリも使用され得る。すなわち、互いに関連付けられた複数の照明装置は、空間的に変調された態様で物体を照明し得る。換言すれば、物体は、例えば２つの照明方向からの干渉パターンによって照明され得る。この目的のために、モアレ画像化技術が使用され得る。すなわち、照明ジオメトリはモアレ照明を含み得る。本明細書に開示されたシナリオによれば、空間的に変調された照明ジオメトリは、多数の照明方向の中から、可能な限り最良の最適化基準を満たす照明方向を選択するために使用され得る。
【００１４】
色々な照明方向に対する代替として、又はそれに加えて、少なくとも２つの照明ジオメトリの範囲内で、照明光の他の特性、例えば光の波長、波長分布、又は偏光を変化させることも可能である。一例では、少なくとも２つの照明ジオメトリは３つの照明方向を含むことができ、これらの照明方向のそれぞれは、赤、緑、及び青の３色で輝く３つの発光ダイオード（ＬＥＤ）のそれぞれによって実現される。一例として、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ装置がこの目的のために使用され得る。これに代えて又は加えて、照明方向の偏光を局所的に回転させるように構成された液晶空間光変調器（ＬＣ−ＳＬＭ）のような偏光光学ユニットが使用され得る。
【００１５】
合成プロセスでは、全く異なる複数の技術が使用され得る。一例として、様々な強度画像は、減算され、加算され、乗算され、又は除算され得る。特に、合成プロセスは、重み付けされた形態で実行され得る。異なる強度画像は、合成プロセスの間に、異なる程度まで考慮され得る。これにより、パラメータ空間を最適化し、拡張すること（組み合わせパラメータ）が可能になる。結果画像は、合成プロセスの結果として部分的にコヒーレントとなり得る。
【００１６】
組み合わせパラメータは、合成プロセスの特定の実装を設定し得る。一例として、組み合わせパラメータは、それによって強度画像が合成される算術演算を設定することができる。代替的に又は追加的に、組み合わせパラメータは、例えば、合成プロセス中の様々な強度画像の重み付けを決定し得る。一例として、特定の強度画像は、合成プロセス中に他の強度画像よりも強く又は弱く考慮され得る。これが達成できることは、結果画像が最適化基準を特に良好に満たすということである。一例として、様々な強度画像の重み付けは、この場合に様々な境界条件を満足することができ、例えば、それによって合成プロセス中に様々な強度画像が考慮される複数の重み付けは、それぞれが０より大きく１より小さい値であって、様々な強度画像の重み付けの合計が１に等しくなる値をとる。他の境界条件も可能である。一例として、様々なルーチン問題のために多大な計算量を費やすことなく組み合わせパラメータを用いることができるよう、組み合わせパラメータをメモリ内の制御命令の形式で記憶することとしてもよい。組み合わせパラメータは、物体固有のものであってもよい。
【００１７】
物体を様々な照明ジオメトリで照明したことにより、かつ、対応する強度画像を合成したことの結果として、従来の構造化照明に対応する効果を得ることが可能になる。しかし、ここでは、例えば組み合わせパラメータの適切な選択によって、全く異なる複数の構造フィルタを比較的容易にエミュレートすることが可能である。これは、後処理ステップの範囲内で行うこともできる。特に、組み合わせパラメータの特に適切なセットが、例えば最適化の範囲内で発見され得る。そのような組み合わせパラメータは、最適化基準を特に良好に満足する。特に、構造フィルタの対応するハードウェアを省くことが可能であり、対応する技術は、コンピュータ実装の方法で実施され得る。これは、全く異なる複数の画像化される物体に対して、比較的簡単に良好な結果を得ることを容易化し得る。
【００１８】
一例として、合成プロセスは、結果画像の様々な領域が最適化基準を満たすよう、その強度画像のその様々な領域について空間的に分解されて実行され得る。一例として、その様々な領域は、物体の異なる部分を画像化するものであり得る。物体はまた、複数の部分物体、例えば個々のセルから構成され得る。この場合、様々な領域は、異なる部分物体を画像化するものであり得る。
【００１９】
一例として、強度画像の空間的に分析された合成は、強度画像の第１の領域内における第１の組み合わせパラメータと、強度画像の第２の領域内における第２の組み合わせパラメータとに基づくものであり得る。第１の組合せパラメータは、第２の組合せパラメータと異なり得る。結果として、例えば、様々な領域において異なる光学特性を有する比較的複雑な物体の場合でさえも、最適化基準を局所的規模で比較的良好に満たすことが可能であり得る。そして、結果画像は特に高い品質を有することができる。具体的には、例えば、物体が色々な光学特性を有し、又は、例えば物体が様々な領域において異なる組合せパラメータを必要とする場合でさえも、様々な領域において可視である物体の微細構造を生成することが可能となり得る。このことは特に、従来の構造化された照明と比較して、様々な位置に対して構造が変化する空間依存性の構造フィルタの使用を省くことが可能となり得るという点で、有利である。それにもかかわらず、特に様々な強度画像を合成することから浮かび上がる効果的な照明ジオメトリは、強度画像の様々な領域に対して空間的に分析されたやり方で適応させられ得る。
【００２０】
一例として、照明装置は、複数の調整可能な波長を有する光源を備えることが可能である。一例として、これは、異なる色を有する発光ダイオード（ＬＥＤ）によって実現されてもよく、例えばレーザ交換ユニットによって実現されてもよい。したがって、照明装置は多色光源を含むことが可能であり、同時に、検出器は、強度画像を波長分離方式で取り込むように構成され得る。一例として、このような技術は、いわゆる赤−緑−青電荷結合素子（ＲＧＢ−ＣＣＤ）を使用して実装され得る。そのような場合には、上述した様々な技術が波長依存的な態様で適用され、その結果として改善された多色性の結果画像が生成される、ということが可能となり得る。最適化基準に関連して最適化されるパラメータ空間は、波長を選択することによっても増加させられ得る。
【００２１】
一例として、少なくとも２つの照明ジオメトリによる順次照明は様々な波長のために複数回実行されることができ、それぞれの場合に、対応する強度画像が捕捉され得る。これに代えて、又はこれに加えて、順次照明は、照明装置の多色光源を用いて、及び、様々な波長のために複数回実行される対応する強度画像の捕捉のために、実行され得る。対応する強度画像を合成することは、各場合において、様々な波長について関連する結果画像を生成するために実行され得る。
【００２２】
したがって、このようにして、各結果画像が対応する波長に対応する結果画像のセットを得ることが可能であり得る。一例として、多色結果画像を形成するために様々な結果画像を合成することが可能である。
【００２３】
上記のような波長依存技術を用いることにより、特に高い定性的品質を有する結果画像を生成することが可能となり得る。特に、結果画像は、所定の最適化基準を特に良好に満たし得る。
【００２４】
物体を照らし、強度画像を取得することは、画像取得ステップを定義し得る。一般に、合成プロセスは、画像取得ステップの間にリアルタイムで実行され得る。一例として、この方法はさらに、結果画像をスクリーン上に表示するステップを含み得る。表示は、画像取得ステップ中に実行されてもよい。結果として、定性的に高品質の結果画像を特に迅速に得ることが可能になる。このことは、特に、結果画像に基づいて画像捕捉を制御することを可能にし得る。
【００２５】
特に、上記で説明した合成プロセスがリアルタイムで行われる場合、合成ステップの組み合わせパラメータを少なくとも部分的に事前に決定することが、例えば画像取得ステップの間に組み合わせパラメータの完全な決定を実行することの代わりに、追求する価値のある目標となり得る。
【００２６】
一例として、この方法はさらに、演算ユニットを用いて最適化を実行することを含み得る。最適化を実行することは合成プロセスのための組み合わせパラメータを提供し、結果画像は、この組み合わせパラメータにより所定の最適化基準を満たす。
【００２７】
ここで、組み合わせパラメータは、空間的に分解されて提供され得る。一例として、最適化は、強度画像の様々な領域のために、空間的に分解されて実行され得る。組み合わせパラメータは、各場合において、様々な領域に対して用意され得る。さらに、合成プロセスは、対応する組み合わせパラメータに基づき、強度画像の様々な領域のために空間的に分解されて実行され得る。
【００２８】
最適化を行うことはまた、照明及び／又は検出の様々な波長のために、波長分解された態様で実行され得る。
【００２９】
一例として、最適化を実行することは、画像取得ステップの前に、較正ステップの中で実行され得る。その後、組み合わせパラメータを決定することができ、合成プロセスが画像取得ステップの間にリアルタイムで実行され得る。そのようなシナリオでは、特に、強度画像の様々な領域のために空間的に分解して合成プロセスを実行することが可能となり得る。一例として、最適化対象の組み合わせパラメータ又はさらなるパラメータを空間的に分解して予め決定することが、較正ステップの範囲内で可能であり得る。その後、例えばオブジェクト追跡技術またはランドマーク識別技術を用いて、様々な領域の位置の時間プロファイルを監視することが可能となり得る。このことは、最適化対象の適当な組合せパラメータ又はさらなるパラメータが、各場合において、様々な領域のために使用されることを確実なものとし得る。
【００３０】
しかしながら、最適化を実行することは、画像取得ステップに続く後処理ステップでも実行され得る。一例として、本方法はさらに、画像データの格納を含み得る。画像データは、取り込まれた強度画像に基づくものであり得る。方法はさらに、それぞれの照明ジオメトリを示す関連の制御データを格納することを含み得る。格納は、不揮発性メモリ内で起こり得る。合成プロセスは、画像取得ステップに続く後処理ステップで行われてもよい。合成は、格納された画像データ及び制御データに基づいて実行されてもよい。このようにして、最適化を実行することにより、合成プロセスの基礎となる最適化対象の組み合わせパラメータ又はさらなるパラメータを、時間非臨界的に決定することが特に可能となり得る。このようにして、最適化対象の組み合わせパラメータ又はさらなるパラメータを、比較的高精度に決定することが可能となり得る。その結果、特に高品質の結果画像が実現され得る。すなわち、結果画像が最適化基準を特に良好に満たし得る。
【００３１】
一例として、最適化を行うことは、その原理が前もって知られている様々な技術を用いて達成され得る。一例として、数値技術が使用され得る。進化的最適化アルゴリズムが使用され得る。微分に基づく最適化方法が使用され得る。このような技術の例には、レーベンバーグ−マルクヴァルト(Levenberg-Marquardt)アルゴリズム、ガウシアン(Gaussian)法、又は、いわゆる「最急降下」アルゴリズムとも呼ばれる最急降下の方法が含まれる。シンプレックス最適化のような他の代替最適化方法もまた、使用され得る。
【００３２】
一般に、最適化対象の組み合わせパラメータ又はさらなるパラメータは、例えば物体及び／又は採用された少なくとも２つの照明ジオメトリの様々な特性に基づいて、最適化対象の可能な組み合わせパラメータ又はさらなるパラメータを含む所定のデータベースから選択され得る。一例として、このデータベースは、特定の物体及び／又は特定の照明ジオメトリの場合に結果画像が所定の最適化基準を特に良好に満足することが分かっている組み合わせパラメータを含み得る。このようにして、合成プロセスの特に簡単で迅速な実施が可能となり得る。
【００３３】
上では、最適化に関して全く異なる複数の技術が説明された。ここで、これらの技術は、異なる特定の最適化基準に関連して使用されてもよい。一例として、最適化基準は、画像コントラスト、エッジの急峻性、画像の鮮明度、変調伝達関数（ＭＴＦ）の品質、空間周波数依存の最適化基準からなるグループから選択され得る。最適化基準は、上記の変数のうちの１つ以上について、設定され得る。ここで、最適化基準は、特定の許容範囲又は閾値を含み得る。最適化基準を柔軟に選択することは、結果画像がこのようにして生成されることを可能にし、その結果画像は、特に高品質であるか、又は、検査された物体の種類に特に良く適合するものとなる。
【００３４】
一例として、前述の技術は、ハードウェアベースのフィルタリング技術と組み合わされ得る。一例として、照明することは、照明装置の構造フィルタの適用を含み得る。一例として、照明することは、照明装置の空間フィルタの適用を含み得る。したがって、照明プロセスの間に、光のビーム経路内、例えば光源と物体との間に、適切なフィルタが配置され得る。
【００３５】
強度画像の合成をそのようなハードウェアベースの技術とリンクさせることにより、結果画像を生成するための技術の特に効率的な実装を得ることが可能になる。特に、例えば、その技術を実行するために必要とされる演算能力を削減することが可能となり得る。特に、強度画像は、最適化基準が比較的容易に満足されるように、ハードウェア実装ベースで事前に調整され得る。
【００３６】
代替的に又は追加的に、そのような効果はまた、演算ユニットによる強度画像の対応する後処理によっても得られ得る。この後処理は、画像取得ステップ又は後処理ステップの間に、順次実行され得る。一例として、この方法は、強度画像を合成することの前に、強度画像を適合させる目的で、演算ユニットによって、捕捉された強度画像に演算子を適用することをさらに含み得る。一般に、演算子は、全く異なる複数の方法で選択され得る。例として、演算子は、重み付け、増幅、減衰、絶対値、自乗、平方根の取得、符号の反転、画素値の平滑化、画素の収差補正、各強度画像の画素値の平均値への正規化、空間フィルタの適用からなるグループから選択され得る。
【００３７】
言い換えれば、個々の強度画像は、個々の強度画像が結合される前に、例えば特別なフィルタを用いる計算によって結合され得る。特別な実施形態は、例えばコンピュータ実装の方法で及び／又はハードウェア実装によって、前述の空間フィルタを適用することを含む。ここで、空間フィルタは、照明ジオメトリの各照明方向について、照明方向と光学装置の光軸とによって設定される平面内に配置された物体の構造を、この平面に垂直に配置された構造に対して弱めることができる。その結果、特に高い画像コントラストという効果が達成され得る。これは、典型的には、照明方向が、上述した平面内の構造よりも上述した平面に垂直な構造をより強く引き立たせるためである。この効果は、上述のように、空間フィルタに基づいた選択的な減衰によって増幅し得る。
【００３８】
さらなる態様によれば、本発明は光学装置に関する。光学装置は、物体の結果画像を生成するように構成される。光学装置は照明装置を含む。照明装置は、少なくとも２つの照明ジオメトリを使用して物体を順次照明するように構成される。光学装置はさらに、それぞれの照明ジオメトリによる照明の間に、少なくとも２つの照明ジオメトリのそれぞれについて物体の強度画像を取得するように構成された検出器を備える。光学装置はさらに、演算ユニットを含む。演算ユニットは、結果画像を生成するために強度画像を合成するように構成される。ここで、合成は、結果画像が所定の最適化基準を満たすように実行される。
【００３９】
一例として、現在議論されている態様による光学装置は、本発明のさらなる態様による結果画像を生成する方法を実行するように構成され得る。
【００４０】
現在議論されている態様によるこのような光学装置について、本発明のさらなる態様による結果画像を生成するための方法で得られ得る効果に匹敵する効果が取得され得る。
【００４１】
上記に提示された特徴および以下に記載される特徴は、本発明の保護の範囲から逸脱することなく、対応する明示的に提示された組み合わせだけでなく、さらなる組み合わせまたはそれ自身で使用され得る。
【図面の簡単な説明】
【００４２】
上で説明された本発明の特性、特徴、及び利点、並びに、それらが達成される方法は、図面と併せてより詳細に説明される例示的な実施形態の以下の説明と関連して、より明瞭になり、より容易に理解できるようになる。
【図１】図１は、様々な照明ジオメトリを使用する物体の照明を模式的に示す。
【図２】図２は、図１よりも詳細に、様々な照明ジオメトリを使用する物体の照明を模式的に示す。
【図３】図３は、ＬＥＤアレイを備え、様々な照明ジオメトリを使用して物体を照明するように構成された照明装置を概略的に示す。
【図４Ａ】図４Ａは、物体を映し出す強度画像への演算子の適用と、結果画像を生成する目的のためにこのようにして処理される強度画像の組み合わせとを模式的に示す。
【図４Ｂ】図４Ｂは、結果画像を生成する目的のための、物体を映し出す様々な強度画像の波長分解された合成を模式的に示す。
【図５】図５は、結果画像を生成する目的のための、物体を映し出す様々な強度画像の合成を模式的に示し、合成は空間的に分解された態様で実行される。
【図６】図６は、様々な実施形態による技術を実行するように構成された光学装置を模式的に示す。
【図７】図７は、様々な実施形態による方法のフローチャートである。
【発明を実施するための形態】
【００４３】
本発明は、図面を参照して、好ましい実施形態に基づき、以下でより詳細に説明される。図面において、同じ参照符号は同じ又は類似の要素を示す。図面は、本発明の様々な実施形態の模式的な表現である。図面に描かれた要素は、必ずしも縮尺通りに示されていない。むしろ、図面に描かれた様々な要素は、それらの機能及び目的が当業者に理解可能となるように再現されている。
【００４４】
図面に示されている機能ユニットと要素との間の接続及び結合は、間接的な接続又は結合として実装され得る。接続又は結合は、有線又は無線方式で実装され得る。
【００４５】
様々な照明ジオメトリを使用して物体が照明される技術を以下に示す。ここで、照明ジオメトリは、具体的には、異なる照明方向及び／又は異なる照明立体角に関連し得る。強度画像は、様々な照明ジオメトリについて、それぞれの場合に取り込まれる。種々の強度画像は、結果画像を形成するために、例えば加算によって合成される。合成プロセスの中では、特に、コントラスト又は解像度の増加に寄与する、又は一般に、最適化基準がより良好に満足されることに寄与する強度画像を、選択的又は比較的顕著に考慮することが可能である。結果画像上における様々な強度画像の影響のそのような重み付けは、例えば、合成プロセス内で重み付けを使用することによって達成され得る。合成は、空間的に分解されて行われ得る。そのような組み合わせパラメータの代替として、又はそれに加えて、例えば各強度画像が物体を撮像する波長のような最適化基準に関して最適化されるべき他のパラメータ、又は、合成プロセスの前における各強度画像への演算子の適用を考慮に入れることも可能である。
【００４６】
そのような技術は、部分コヒーレント顕微鏡撮像とも呼ばれ得る。部分コヒーレント顕微鏡撮像は、相関のない光源、すなわち空間的にインコヒーレントな有効光源を用いた照明を使用する撮像を意味するものと理解される。そのような光源の広がり又は形状は、光学撮像システムの入射瞳から逸脱する。照明装置は、様々な開示されたシナリオにおいて適切な実施形態を有し得る。
【００４７】
典型的には、コントラスト伝達関数は、有効光源の形状及びサイズによって影響され得る。原理的には、１と分解能限界との間のコントラスト伝達は、あらゆる目標周波数に対して達成可能である（例えば、非特許文献２を参照）。
【００４８】
正式には、参照実装による部分インコヒーレント撮像は、多くのコヒーレントな個別的又は部分的画像のインコヒーレントな合計として記述されることができ、結果として生ずる合計画像は、参照実装による従来の方法に従ってデジタル的に作成され得る。簡潔に表現すると、このことは、コヒーレントな個々の画像又は強度画像の合計が結果として部分的コヒーレント画像となり、次いで、デジタル的に後処理され得る、と表現され得る。
【００４９】
本明細書に記載された技術によれば、デジタルな後処理は、個々の画像又は強度画像の段階で、例えば半コヒーレントな個々の画像に関して実行されてもよい。その後、デジタル的に後処理された又は適合された強度画像が合成されてもよい。
【００５０】
このような技術は、高い情報深度を有する結果画像の生成を可能にする。別の形で表現すると、結果画像は、オブジェクトを特に良好に又は詳細まで豊かに映し出し得る。結果画像の情報内容は、比較的濃いものである。特に、そのような技術は、従来の構造化照明によって達成され得る結果に匹敵する結果を得ることができる。しかしながら、そのプロセスにおいては、適切なハードウェアの用意をなしで済ますことが可能である。特に、対応する構造フィルタの容易を省略することが可能である。本発明の技術は、特に、画像取得ステップの後の後処理ステップにおいて実行され得る。
【００５１】
対応する技術は、比較的迅速に実施され得る。一例として、合成プロセスは、対応するプロセスの適切なハードウェアコーディングによって実施され得る。これを用いると、本技術は、特にリアルタイムで実行され得る。これは、時間分解撮像のための応用を容易にし得る。これは例えば、細胞形態分析、成長解析、感染解析、及び、物体の自動測定を含む。また、ソフトウェアによって合成プロセスを実現することも可能である。
【００５２】
図１は、異なる照明ジオメトリ１１０−１，１１０−２を使用する物体１００の照明を示す。本明細書に記載の技術によれば、物体１００は、適切な照明装置（図１には示されていない）によって、２つの照明ジオメトリ１１０−１，１１０−２を使用して順次照明される。次に、検出器（図１には示されていない）により、２つの照明ジオメトリ１１０−１，１１０−２のそれぞれについて、照明プロセス中に物体１００の強度画像が捕捉され得る。その後、結果画像を生成するために、強度画像が合成され得る。合成は、結果画像が所定の最適化基準を満たすように実行される。図１はまた、光学装置の光軸１２０を示している。光軸１２０は、それに沿って理想化された光線が偏向を経験しないか、又は、わずかな偏向しか経験しない光学装置の軸を示し得る。
【００５３】
図２は、図１に対応するシナリオを３次元で示す。図２は、２つの照明方向１１１−１，１１１−２を示しており、これにより、２つの照明ジオメトリ１１０−１，１１０−２に従って物体１００が照明され得る。図２に示されていることは、２つの照明方向１１１−１，１１１−２が光軸１２０との間に明確な角度を含むことである。いわゆる照明ベクトルを定義することが可能である。
【００５４】
しかし、様々なシナリオで物体１００を照明する目的のために、明確に定義された照明方向１１１−１，１１１−２を使用しなくてもよい。むしろ、様々な照明ジオメトリ１１０−１，１１０−２は、照明立体角１１２を含み得る。しかし、照明ジオメトリが連続的かつ凸状である必要はない。以下では、照明立体角への参照が部分的になされるが、説明されるすべての例示的実施形態において、照明光線が物体に連続した角度領域及び／又は凸角領域で入射しない照明ジオメトリを使用することも可能である。したがって、特に、連続して配置されていない複数の照明方向の組み合わせが、本明細書で開示される様々なシナリオに存在し得る。
【００５５】
図２は、照明立体角１１２（図２にハッチングで示す）を例示的な方法で示している。この照明立体角は、前述の照明方向１１１−１，１１１−２によって区切られている。別の言い方をすれば、照明立体角１１２はしたがって、多数の異なる照明方向１１１−１，１１１−２を含むことができ、光軸１２０に関して特定の角度範囲にわたって延在し得る。
【００５６】
一般に、様々な照明形状１１０−１，１１０−２を提供するために、全く異なる照明装置が使用され得る。一例として、例えば照明装置の視野絞り面内では、走査ミラーが使用され得る。照明装置の開口絞り又は照明瞳内では、適応構成要素を使用することもできる。一例として、特許文献１に従う照明装置を使用することができる。照明装置３１１はまた、ＬＥＤアレイを含むことができる（図３参照）。一例として、ＬＥＤアレイのＬＥＤ３００−１〜３００−１６は、格子の単位セルが正方形又は長方形の構成を有し得るデカルト格子に従って配置され得る。六角格子などの他の格子もまた、実装され得る。例として、ＬＥＤアレイは、ＬＥＤのリング、又は、ＬＥＤの例えば異なる半径を有する複数のリングを有することも可能である。次に、例えば、光軸に対して特定の距離を有するＬＥＤアレイ中の特定の発光ダイオードを作動させることによって、特定の照明方向を実現することが可能である。
【００５７】
図４Ａは、３つの異なる照明ジオメトリ１１０−１，１１０−２，１１０−３を用いて取り込まれた強度画像４０１−１〜４０１−３の合成を示す。図４Ａの実施形態によれば、様々な輝度画像４０１−１〜４０１−３は、結果画像４１０を形成するために最終的に合成される前に、初期処理される。
【００５８】
一例として、このために、捕捉された強度画像４０１−１〜４０１−３に対して演算子が適用され得る。例として、演算子は、重み付け、増幅、減衰、絶対値、自乗、平方根の取得、符号の反転、画素値の平滑化、画素の収差補正、各強度画像４０１−１〜４０１−６の画素値の平均値への正規化、空間フィルタの適用からなるグループから選択され得る。
【００５９】
したがって、本明細書に記載された技術によれば、光源点ごと、すなわち様々な照明方向ごとに個々の強度画像を記録することができるため、特定の物体のために好ましい照明を総合的に再現することが可能になる。そして、これらの強度画像は、互いに合成され得るか、又は、計算によって互いに合成され得る。画像の純粋な付加は、従来の部分的にコヒーレントな撮像に対応する。選択された画像の重み付けられた選択は、リソグラフィの範囲内のソースマスク最適化（ＳＭＯ）の手順に対応する。原則として、例えばＳＭＯから伝わるもののような、適切な演算子が使用され得る。しかしここで、リソグラフィの範囲内では生成される物体が知られている一方、この場合の物体は、ことによると先験的に未知であることに注意すべきである。したがって、例えば、環状照明、ダイポール照明、ラインベルグ色コントラスト、暗視野位相コントラストなどのような色々な照明を再現する演算子の使用がなされ得る。
【００６０】
正式には、捕捉された強度画像及び強度画像の組み合わせに対する演算子の適用は、次の式によって表現され得る。
【００６１】
【数１】
0006770951.tif 000002
【００６２】
ただし、ｘは空間座標であり、ｑは瞳座標又は照明方向であり、Ｉ（ｘ）は強度画像であり、Ｇ（ｑ）は個々の照明方向に対する演算子関数であり、Ｉ（ｘ，ｑ）は照明方向ｑについての部分画像である。
【００６３】
様々なシナリオにおいて、演算子Ｇは例えば、様々な照明方向の全体的な重み付けに対応することができ、すなわち位置ｘに依存しない。
【００６４】
さらなるシナリオでは、ローカルな演算子、すなわち位置ｘに依存する演算子を使用することができる。１つの例は、比例ローカルコントラスト基準（マイクロコントラスト）である。すなわち、演算子は空間依存性を有するＧ（ｘ、ｑ）であり得る。
【００６５】
したがって、次の式が導かれる。
【００６６】
【数２】
0006770951.tif 000003
【００６７】
Ｇ（ｘ、ｑ）は、位置に依存するとともに照明方向に依存する演算子関数である。すなわち、１つの照明方向のための各演算子は、空間的に依存し得る。
【００６８】
このような演算子を適用することにより、様々な強度画像４０１−１〜４０１−３を、それらが合成の範囲内で特によく扱われ得るように、例えば、それらが比較可能な信号振幅を有するか、及び／又は、既知の収差がタイムリーにそれらから除去されるように処理することが可能となり得る。その結果、結果画像４１０の品質を高めることができる。
【００６９】
演算子の様々な例を以下に説明する。
【００７０】
一例として、乗法演算子が使用され得る。例えば、正規化された局所的なコントラスト、正規化された局所的な強度、及び／又は、正規化された強度勾配を考慮する演算子が使用され得る。一例として、強度画像内の最大強度（式（１））、又は、強度画像内の全体強度（式（２））が、これらの変数のノルムとして使用され得る。他のノルムもまた、可能である。
【００７１】
【数３】
0006770951.tif 000004
【００７２】
以下に示す正規化された勾配は、オペレータに関して上述した例についての一例として示される。
【００７３】
【数４】
0006770951.tif 000005
【００７４】
この演算子によれば、通常、比較的小さい強度勾配又は比較的小さい輝度を有する画像成分が抑制される。したがって、この演算子はフィルタとして機能する。エッジには大きな勾配が存在するため、この演算子はエッジ強調フィルタとして機能します。
【００７５】
対応する関数は、上に例示したように、正規化された勾配に関して、純粋に例示的な方法で演算子として直接使用され得る。或いは、閾値演算子を得るために最初に閾値関数に変換され得る。
【００７６】
【数５】
0006770951.tif 000006
【００７７】
演算子のさらなる例は、形態学的演算子である。ここでは、強度画像の内容は、局所的な基準に従って評価されるだけでなく、他の空間的な点ｘ'に対するグローバルな基準及び／又は周囲の基準が考慮される。一例として、そのような動作は、拡張又は浸食、対応するエッジフィルタ又はノイズ低減フィルタ（ノイズフィルタ）である。これらの演算子は、次の関数で表され得る。
【００７８】
【数６】
0006770951.tif 000007
【００７９】
一般に、演算子は、他の強度画像からの情報も考慮に入れることができる。一例として、ある特定の物体の詳細が、１つの特定の強度画像又はいくつかの特定の強度画像からのフィルタリングによって既に十分に抽出されている場合、残りの強度画像においては、その物体の詳細が抑制され得る。したがって演算子は、個々の強度画像上における関数Ｆ｛...｝と、演算子を記述するＧＦとを用いて次のように記述され得る。
【００８０】
【数７】
0006770951.tif 000008
【００８１】
一例として、エッジは、エッジに対して垂直に整列した照明方向によって特に良好に画像化されることが期待される。次に、他の照明方向からの強度画像は、そのような識別されたエッジに関する演算子によって、局所的に抑制され得る。
【００８２】
重み付け関数Ｇ（ｘ，ｘ'，ｑ，ｑ'）が個々の強度画像において最初に決定され、次いで、ユーザが最適化基準に関して特に良好に画像化された所望の物体の詳細を取得するように全体画像を最適化することによって、さらに改善される。
【００８３】
一般に、演算子を適用の上述の技術によって達成される特定の効果は、適切なハードウェアの使用によっても生み出され得る。一例として、照明が照明方向の空間フィルタの適用を含むことが可能であり得る。ハードウェアで実装された空間フィルタは、ソフトウェアベースの空間フィルタを使用して得られる得るのと同等の効果を得ることができる。同時に、計算コストを削減することが可能である。ソフトウェアベースの空間フィルタは、その適用において、より高い柔軟性を有し得る。
【００８４】
一例として、前述のハードウェア実装及び／又はソフトウェア実装の空間フィルタは、画像コントラストに関する最適化基準を特に良好に満足するために使用され得る。例えば、空間フィルタは特定の方向に沿って作用し得る。一例として、空間フィルタは、強度画像４０１−１〜４０１−３のフーリエ変換の周波数の選択的な増幅／減衰によって作用し得る。このプロセスでは、スペクトルへの対応する寄与の方向を考慮に入れることが可能である。この点に関して、図２を参照する。空間フィルタは、光軸１２０及び各照明方向１１１−１，１１１−２にまたがる平面内にある方向に沿って選択的に作用し得る。一例として、空間フィルタは、この平面に沿って（垂直に）配向された物体１００の構造を増幅（減衰）することができる。このことは、２つの照明方向１１１−１，１１１−２に属する強度画像４０１−１〜４０１−３を用いて得られ得る効果を高める。一例として、第１の照明方向１１１−１を使用する照明に関して取り込まれた強度画像４０１−１〜４０１−３は、光軸１２０及び第１の照明方向１１１−１にまたがる平面内にある物体１００の構造に対して、特に高い画像コントラストを有する。この効果は、空間フィルタによってさらに増幅され得る。結果画像４１０は、画像コントラストに関して規定された対応する最適化基準を特に良好に満足する。
【００８５】
図４Ａに戻ると、処理された強度画像が図４Ａの右側に再現されており、これらは例えば、初期画像４０２−１〜４０２−３と呼ばれ得る。様々な初期画像４０２−１〜４０２−３が結果画像４１０を形成するために合成され得る。ここで、合成は、例えば、複数の初期画像４０２−１〜４０２−３をそれらの間で合計すること、減算すること、除算すること、乗算することによって実行され得る。一例として、様々な初期画像４０２−１〜４０２−３を合成するときに、個々の初期画像４０２−１〜４０２−３に関して重み付け係数を考慮に入れることができる。結果として、様々な初期画像４０２−１〜４０２−３の結果画像４１０への影響が制御され得る。特に、それによって達成され得ることは、結果画像４１０が所定の最適化基準を満たすように合成プロセスが実行されることである。そのようなパラメータ及び結合プロセスのさらなるパラメータは、組み合わせパラメータとも呼ばれ得る。
【００８６】
一般に、組み合わせパラメータは、最適化を実行することによって決定され得る。ここで、最適化は、可能な限り最適化基準を満たす組合せパラメータが決定されるように実行され得る。ここで、実に様々な最適化基準が可能である。一例として、最適化基準は、画像コントラスト及び／又はエッジ急峻度及び／又は画像シャープネス及び／又は変調伝達関数の品質及び／又は空間周波数に依存する最適化基準に関連し得る。
【００８７】
一般に、最適化は、異なる照明方向から個々の強度画像を取り込むこと、及び、個々の強度画像から特定の画像化問題又は最適化基準を特に良好に満たすような物体の結果画像を生成することを提供し得る。このことから、結果画像のこの好ましい生成のためのレシピを決定する制御命令を導出することが可能である。制御命令またはレシピは、物体固有であってもよい。様々なシナリオでは、これらの制御命令は、結果画像が所定の最適化基準を満たすこととなるような組み合わせパラメータを含み得る。
【００８８】
一例として、元々計画されていた照射方向の全てが必要とされるわけではないということ、又は、特定の照明方向がグループに結合されないということ、に最適化が辿り着いた場合、画像化問題はその後、要求されない照明方向を除外することにより、よりターゲットが絞られ、かつ、より高速な方法で実行され得る。このことは、制御命令に格納され得る。
【００８９】
本明細書で開示される様々なシナリオでは、最適化は、照明ジオメトリ又は強度画像の数ができるだけ小さく選択されるように実行され得る。最適化は、強度画像を撮像又は捕捉するのに必要な時間間隔ができるだけ短くなるように実行され得る。最適化は、照明方向及び／又は照明立体角の数ができるだけ小さく選択されるように選択され得る。一例として、最適化に関するこのような特性は、例えば、所定の最適化基準に関連してなおも実行される最適化それ自身を伴う所定の境界条件であり得る。このようにして、物体の画像化は、同時に最適化基準が特に良好に満足されるように、特に迅速に実行され得る。
【００９０】
例えば光学検査のような日常的な手順のケースでは、典型的には物体は実質的に変化しないので、制御命令は、発生した画像化問題に対して繰り返し実行され得る。一般に、強度画像を合成するために又は演算子を適用するために特定のレシピが好ましくは自動的に選択され得るよう、様々な所定の物体のために複数の制御命令をメモリに記憶することも可能である。
【００９１】
一般に合成は、特に最適化を実行することや組み合わせパラメータを決定することと比較して、わりあいに計算強度を必要としない可能性がある。したがって、画像取得ステップに先立ち、較正ステップの範囲内で組み合わせパラメータを決定することは、追求する価値のある目標であり得る。
【００９２】
例えば、画像取得ステップの後に、後処理ステップの範囲内で組み合わせパラメータを決定することもまた可能であろう。一例として、この目的のために、取り込まれた強度画像４０１−１〜４０１−３に基づく画像データと、各照明ジオメトリ１１０−１，１１０−２を示す関連の制御データとが不揮発性メモリに格納され得る。後処理ステップが実行されようとするとき、その不揮発性メモリから様々な画像データと、関連する制御データとを得ることが可能になり得る。その後、格納されていた画像データ及び制御データに基づいて、合成が実行され得る。特に、組み合わせパラメータを決定するための最適化もまた、格納されていた画像データ及び制御データに基づいて実行され得る。
【００９３】
図４Ｂは、様々な強度画像４０１−１〜４０１−６が波長に依存する方法で合成されるシナリオを示す。図４Ｂのシナリオでは、３つの照明ジオメトリ１１０−１〜１１０−３に対して、それぞれ２つの強度画像４０１−１〜４０１−６が取得される。ここで、強度画像４０１−１，４０１−３，４０１−５という第１の強度画像は、物体１００が第１の波長で照射されるときにそれぞれ捕捉され、強度画像４０１−２，４０１−４，４０１−６という第２の強度画像は、物体１００が第１の波長とは異なる第２の波長で照射されるときにそれぞれ捕捉される。次に、様々な照明ジオメトリ１１０−１〜１１０−３のそれぞれについて、第１の波長に割り当てられた強度画像４０１−１，４０１−３，４０１−５と、第２の波長に割り当てられた輝度画像４０１−２，４０１−４，４０１−６とが、それぞれ結果画像４１０−１，４１０−２を形成するために合成される。言い換えれば、少なくとも２つの照明ジオメトリ１１０−１〜１１０−３による順次照明が様々な波長について実行され、この様々な波長に関して、対応する強度画像４０１−１〜４０１−６がそれぞれ関連する結果画像４１０−１を生成するために結合される。オプションで、多色の結果画像４１１を形成するために、２つの結果画像４１０−１，４１０−２を合成することが可能である。
【００９４】
代替的に又は追加的に、単一の結果画像４１０を形成するために様々な波長のすべての強度画像４０１−１〜４０１−６を合成し、そのプロセス内において、最適化基準に関する最適化のパラメータ空間内のさらなるパラメータとして、様々な波長を使用することもまた可能である。
【００９５】
図４Ｂを参照すると、物体１００の照明が様々な波長で順次実行されるシナリオが示されている。しかし、代替的に、多色光源を使用し、様々な結果画像４０１−１〜４０１−６を生成するために波長選択性の検出器を使用することも可能である。
【００９６】
一例として、最適化は、様々な領域５８０に対して空間的に分解された方法で実行され得る。次に、様々な領域５８０について各場合における組み合わせパラメータが提供され得、様々な領域５８０に対し、対応する組み合わせパラメータに基づいて、空間的に分解された方法で合成が実行され得る。したがって、図５に示すように、強度画像４０１−１〜４０１−６の様々な領域５８０について空間的に分解されて、合成プロセスが実行され得る。これが達成できることは、結果画像４１０，４１０−１，４１０−２，４１１の様々な領域５８０がそれぞれ最適化基準を満たすことである。一例として、物体１００の異なる部分は異なる光学特性を有し得る。そうすると、すべての強度画像４０１−１〜４０１−６に対して同じやり方で一体的に組み合わせパラメータを決定するならば、すべての領域５８０に対して平等に比較的厳しい最適化基準を満たすことは、不可能であるか、又は、限られた程度でのみ可能となり得る。これが、空間的に分解された合成プロセスが、局所的に異なる組み合わせパラメータを考慮に入れつつ、様々な領域５８０に対して比較的厳密な最適化基準を特に良好に満たすことを可能にし得る理由である。
【００９７】
図６は、上述の技術を実施するために使用され得る光学装置６００を示す。光学装置６００は、例えばＬＥＤアレイ（図３参照）の形態で照明装置３１１を備える。物体１００は、試料ホルダー６１３を介して、照明装置３１１から検出器６１２への光の光路内に保持される。一例として、透過ジオメトリ又は反射ジオメトリが実装され得る。さらに、光学装置６００は、演算ユニット６１４を備える。演算ユニット６１４は、結果画像４１０，４１０−１，４１０−２，４１１（図４Ａ及び４Ｂ参照）を生成するための様々なステップを実行するように構成される。光学装置６００はさらに、不揮発性のメモリ６１５を備える。このメモリ６１５は、演算ユニット６１４が結果画像４１０，４１０−１，４１０−２を生成するための様々な技術を上述したように実行することができるよう、演算ユニット６１４のための適切な制御情報を含み得る。代替的に又は追加的に、メモリ６１５はまた、強度画像４０１−１〜４０１−６の画像データと、それぞれの照明ジオメトリ１１０−１〜１１０−３を示す関連の制御データとを格納し得る。次に、プロセッサは、後処理ステップにおいてメモリにアクセスすることによって、結果画像４１０，４１０−１，４１０−２，４１１を生成することが可能であり得る。メモリ６１５はまた、最適化基準が満足されるように物体の具体的な画像化を繰り返し実行するために使用される制御命令及び／又は組み合わせパラメータを格納し得る。
【００９８】
図６のシナリオでは、演算ユニット６１４は光学装置に組み込まれている。他のシナリオでは、演算ユニット６１４と例えばメモリ６１５とは、別々にも提供され得る。しかしながら、変更可能な物体の場合においては、例えば、毎回新しい最適化を実行することが追求する価値のある目標である可能性がある。この点で、最適化を実行するように構成された演算ユニット６１４を光学装置６００に統合することが有利であり得る。
【００９９】
図７は、様々な実施形態による結果画像４１０，４１０−１，４１０−２，４１１を生成する方法のフローチャートを示す。ステップＳ７０１において、物体１００は、最初に様々な照明ジオメトリ１１０−１〜１１０−３で順次照明され、それぞれの場合において強度画像４０１−１〜４０１−６が捕捉される。ステップＳ７０１は、画像取得ステップに対応する。
【０１００】
次に、ステップＳ７０２において、結果画像４１０，４１０−１，４１０−２，４１１を生成するため、この結果画像が最適化基準を満たすよう、捕捉された強度画像４０１−１〜４０１−６の合成が実行される。ステップＳ７０２の範囲内で、合成プロセスに先立って強度画像を処理するために、演算子もまた強度画像に適用され得る。
【０１０１】
様々な実施形態において、ステップＳ７０２は、ステップＳ７０１に関連してリアルタイムで実行され得る。そして、結果画像４１０，４１０−１，４１０−２，４１１をリアルタイムでモニタに表示することが可能であり得る。しかしながら、ステップＳ７０２を、画像取得ステップに関して時間的に離れた後処理ステップで実行することもまた、可能であり得る。これは特に、最適化基準に関連する最適化が、合成プロセスのための組み合わせパラメータを提供する最適化とともに、ステップＳ７０２の範囲内で演算ユニット６１４によって実行される場合に、追求する価値のある目標であり得る。これは、そのような最適化の実施が比較的計算集約的であり、その結果、画像取得ステップＳ７０１に関連して、リアルタイムで実行することができないか、又は、リアルタイムでは制限された範囲でのみ実行することができるためである。
【０１０２】
以上、様々な照明形状について捕捉された複数の強度画像に基づいて結果画像を決定する技術を説明した。特に、結果画像は、従来のハードウェアで実装された構造化照明によって達成され得る画像特性に匹敵する画像特性を有することができる。ここで、上述の技術は、従来の構造化照明との関連で様々な利点を有する。例えば、任意の構造化された照明瞳が使用され得る。具体的には、非常に様々な構造フィルタ及び対応するマスク変更ユニットを利用可能に保持する必要がない。画像の様々な部分に対して、様々な照明瞳が実現され得る。別の言葉で言えば、捕捉された強度画像が空間的に分解されて合成され得る。上述した技術は、コンピュータ実装の方法で実行されることができ、かつ、ハードウェアで実装された様々な捕捉された強度画像の事前調整と組み合わされ得る。オフライン後処理が可能である。具体的には、結果画像が特に高品質となるように、種々の組み合わせパラメータを後で最適化することが可能であり得る。
【０１０３】
当然のことながら、上述した実施形態の特徴及び本発明の態様は、互いに組み合わされ得る。具体的には、その特徴は、本発明の分野から逸脱することなく、記載された組み合わせだけでなく、他の組み合わせ又はそれ自身のみで使用され得る。
【図１】
0006770951.tif 000009
【図２】
0006770951.tif 000010
【図３】
0006770951.tif 000011
【図４Ａ】
0006770951.tif 000012
【図４Ｂ】
0006770951.tif 000013
【図５】
0006770951.tif 000014
【図６】
0006770951.tif 000015
【図７】
0006770951.tif 000016