(57)【要約】【課題】  画像全体にピントがあった画像を１度の撮影で取得できるようにする。【解決手段】  ＣＣＤ６１には、ビームスプリッタ６４を透過した光が入射され、ＣＣＤ６２には、ビームスプリッタ６５により反射された光が入射され、ＣＣＤ６３には、ビームスプリッタ６６により反射された光が入射される。ビームスプリッタ６４に供給される光は、レンズ６７を介した光である。ＣＣＤ６１乃至６３は、それぞれ、異なる位置に設置され、被写体の異なる部分に、それぞれピントがあった画像を撮像する。それらの画像を合成することにより、画像全体としてピントが合っている１枚の画像を生成する。本発明は、顕微鏡などに装着されて使われるデジタルカメラに適用できる。【選択図】図３
2005057503.tif 000002
【特許請求の範囲】
【請求項１】
異なる焦点距離毎に設置され、かつ、１の光を分光した光がそれぞれ入射される複数の撮像装置を備える
ことを特徴とする画像処理装置。
【請求項２】
前記撮像装置により撮像された画像毎に、その画像内でピントが合っている部分を抽出し、その抽出された画像を合成することにより１の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
異なる焦点距離毎に設置され、かつ、１の光を分光した光が入射される複数の撮像装置が、同時に撮像処理を実行するように制御し、
前記撮像装置により撮像された画像毎に、その画像内でピントが合っている部分を抽出し、その抽出された画像を合成することにより１の画像を生成する
ことを特徴とする画像処理方法。
【請求項４】
異なる焦点距離毎に設置され、かつ、１の光を分光した光が入射される複数の撮像装置が、同時に撮像処理を実行するように制御し、
前記撮像装置により撮像された画像毎に、その画像内でピントが合っている部分を抽出し、その抽出された画像を合成することにより１の画像を生成する
ことを特徴とする処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、厚みのある被写体の画像を顕微鏡などで撮像する際に用いて好適な画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
マイクロマシン環境における作業として、顕微鏡から得られる画像を用いることがある。例えば、ＬＳＩ（Large Scale Integrated Circuit）製品検査などや、医療分野などで用いられている。また近年は、顕微鏡で得られる画像をＣＣＤ（Charge Coupled Device）カメラなどで撮像して用いることが一般的になってきている。（例えば、特許文献１参照）
【特許文献１】特開平０８−０２４２６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ＬＳＩの製品検査などで、顕微鏡とＣＣＤカメラを組み合わせて用いる際、例えば、ワイヤーボンディングされたチップ表面とボンディング面を同時に観測し、検査したいという要望があった。しかしながら、顕微鏡から得られる画像は、被写体深度が浅い光学系で撮像されたものであるため、所定の奥行きに物体の焦点を合わせると、その部分以外の部分には焦点が合わないことから、全ての部分で焦点があった画像を取得するとなると、異なる焦点距離で、複数枚の画像を撮像し、画像処理を行う必要があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、一度の撮影で、複数枚の焦点が合った画像を取得できるようにし、さらに、画像全体に焦点があった１枚の画像を取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、異なる焦点距離毎に設置され、かつ、１の光を分光した光がそれぞれ入射される複数の撮像装置を備えることを特徴とする。
【０００６】
前記撮像装置により撮像された画像毎に、その画像内でピントが合っている部分を抽出し、その抽出された画像を合成することにより１の画像を生成するようにすることができる。
【０００７】
本発明の画像処理方法は、異なる焦点距離毎に設置され、かつ、１の光を分光した光が入射される複数の撮像装置が、同時に撮像処理を実行するように制御し、撮像装置により撮像された画像毎に、その画像内でピントが合っている部分を抽出し、その抽出された画像を合成することにより１の画像を生成することを特徴とする。
【０００８】
本発明のプログラムは、異なる焦点距離毎に設置され、かつ、１の光を分光した光が入射される複数の撮像装置が、同時に撮像処理を実行するように制御し、撮像装置により撮像された画像毎に、その画像内でピントが合っている部分を抽出し、その抽出された画像を合成することにより１の画像を生成することを特徴とする処理をコンピュータに実行させる。
【０００９】
本発明においては、複数の撮像装置、例えば、ＣＣＤカメラが、異なる焦点距離毎に設置され、それらの撮像装置が同時に１つの被写体を撮像する。そして、それらの撮像装置から得られる画像のうち、ピントが合っている部分の画像が合成されることにより、画像全体にピントがあった画像が生成される。
【発明の効果】
【００１０】
本発明によれば、複数枚の画像を、１度に撮像できる。
【００１１】
本発明によれば、焦点が異なる複数の画像を、１度に撮像し、それらの画像を処理することにより、厚みのある被写体であっても、全体的にピントのあった画像を取得することができる。
【発明を実施するための最良の形態】
【００１２】
以下に本発明の実施の形態を説明するが、請求項に記載の発明特定事項と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中に記載されているが、発明特定事項に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その発明特定事項に対応するものではないことを意味するものではない。逆に、具体例が発明特定事項に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その発明特定事項以外の発明特定事項には対応しないものであることを意味するものではない。
【００１３】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願、補正、国内優先などにより追加される発明の存在を否定するものではない。
【００１４】
本発明の画像処理装置は、異なる焦点距離毎に設置され、かつ、１の光を分光した光がそれぞれ入射される複数の撮像装置（例えば、図３のＣＣＤ６１乃至６３）を備えることを特徴とする。
【００１５】
以下に、本発明の実施の形態について図面を参照して説明する。図１は、本発明を適用した画像処理装置を含むシステムの一実施の形態の構成を示す図である。顕微鏡１で拡大された被写体の画像は、デジタルカメラ２により撮像され、その撮像された被写体の画像データが、ＰＣ（Personal Computer）３に供給される。
【００１６】
顕微鏡１は、一般的な顕微鏡を用いることができ、その顕微鏡１の、例えば、接眼レンズにデジタルカメラ２が装着されることにより、被写体の画像が撮像される。本実施の形態におけるデジタルカメラ２は、後述するような構成とされているため、被写体の画像として、３つの画像を取得し、それぞれに対応する画像データを、ＰＣ３に供給するように構成されている。
【００１７】
ＰＣ３では、供給された３つの画像データに基づく３枚の画像を、ユーザ側に提供することも可能とされているし、３枚の画像を合成した１枚の画像をユーザ側に提供することも可能とされている。
【００１８】
図２は、ＰＣ３の内部構成例を示す図である。ＰＣ３のＣＰＵ（Central Processing Unit）２１は、ＲＯＭ（Read Only Memory）２２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２５は、キーボードやマウスから構成される入力部２６が接続され、入力部２６に入力された信号をＣＰＵ２１に出力する。また、入出力インタフェース２５には、ディスプレイやスピーカなどから構成される出力部７も接続されている。
【００１９】
さらに、入出力インタフェース２５には、ハードディスクなどから構成される記憶部２８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２９も接続されている。ドライブ３０は、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、半導体メモリ４４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【００２０】
デジタルカメラ２は、ＰＣ３の入力部２６としての所定のインタフェースに接続される。または、デジタルカメラ２が無線LANなどを用いた通信を行える構成とされている場合、通信部２９に接続されるように構成し、データの授受が通信で行われるようにしても良い。また、デジタルカメラ２により取得された画像データが、所定の記録媒体に記録され、その記録媒体が、ＰＣ３のドライブ３０から読み出されるような構成としても良い。
【００２１】
上述したように、本実施の形態におけるデジタルカメラ２においては、３つの画像が撮像され、それぞれの画像の画像データが出力されるように構成されている。３つの画像を撮像するために、デジタルカメラ２の内部構成は、図３に示すように、３つのＣＣＤ（Charge Coupled Device）６１乃至６３を備える構成とされている。
【００２２】
ＣＣＤ６１には、ビームスプリッタ６４を透過した光が入射され、ＣＣＤ６２には、ビームスプリッタ６５により反射された光が入射され、ＣＣＤ６３には、ビームスプリッタ６６により反射された光が入射される。ビームスプリッタ６４に供給される光は、レンズ６７を介した光である。
【００２３】
ビームスプリッタ６４は、レンズ６７を介して入射される光のうち、１／３に相当する光をＣＣＤ６１に透過し、残りの２／３に相当する光をビームスプリッタ６５に反射するように構成されている。ビームスプリッタ６５は、供給された２／３に相当する光のうち、１／３（すなわち、供給される光の１／２）に相当する光をＣＣＤ６２に反射し、残りの１／３（供給された光の１／２）に相当する光をビームスプリッタ６６に透過するように構成されている。従って、ビームスプリッタ６５は、ハーフミラーで構成することができる。ビームスプリッタ６６は、供給された光（レンズ６７を介して供給される光の内の１／３に相当する光）を全て、ＣＣＤ６３に反射するように構成されている。従って、ビームスプリッタ６６は、ミラーで構成することができる。
【００２４】
このように、デジタルカメラ２のＣＣＤ６１乃至６３には、レンズ６７を透過した光のうち、１／３に相当する光がそれぞれ供給されるように構成されている。従って、ＣＣＤ６１乃至６３には、それぞれ、同様の光が入射されるため、撮像される画像の明るさにムラが生じるようなことを防ぐことが可能になる。以下に、このような３つのＣＣＤ６１乃至６３により、それぞれ撮像される画像について説明する。
【００２５】
図４は、被写体、レンズ、焦点の位置関係について説明するための図である。図４中、上の３つの図は、被写体の位置をずらしたときの、被写体、レンズおよび焦点の位置関係を示しものであり、一番下の図は、それら３つの図の状態Ａ乃至状態Ｃにおけるそれぞれの被写体、レンズおよび焦点の位置関係をまとめて図示したものである。
【００２６】
状態Ａは、被写体とレンズが、距離Ｌ１だけ離れた位置に位置する場合を示し、状態Ｂは、被写体とレンズが、距離Ｌ２だけ離れた位置に位置する場合を示し、状態Ｃは、被写体とレンズが、距離Ｌ３だけ離れた位置に位置する場合を示している。また、状態Ａのときの焦点距離は焦点距離ｆ１であり、状態Ｂのときの焦点距離は焦点距離ｆ２であり、状態Ｃのときの焦点距離は焦点距離ｆ３であることを示している。
【００２７】
距離Ｌ１と焦点距離ｆ１は、比例関係にある。すなわち、Ｌ１＝ｎ×ｆ１の関係にある。この式において、ｎは比例定数を示す。このような関係は、状態Ｂ、状態Ｃにおいてもなりたち、それぞれ、Ｌ２＝ｎ×ｆ２、Ｌ３＝ｎ×ｆ３の関係を満たす。同一のｎを用いた関係が成り立つことから、Ｌ１：Ｌ２：Ｌ３＝ｆ１：ｆ２：ｆ３の関係を満たす。
【００２８】
ところで、例えば、状態Ａのときに、焦点距離ｆ１のところに、ＣＣＤ６１を設置した場合、距離Ｌ１のところに位置する被写体に対してピントがあった画像を撮像することができる。しかしながら、仮に距離Ｌ２のところに被写体が位置していると、ピントの合った画像を撮像することはできない。このようなことを換言すれば、焦点距離ｆ１のところにＣＣＤ６１を設置した場合、距離Ｌ１のところに位置する被写体にしかピントが合っていない画像しか、ＣＣＤ６１では撮像することができない。よって、厚みのあるような被写体（レンズからの距離が異なるような被写体）を撮像するような場合、その被写体の一部分にしかピントが合っていない画像しか撮像することができない。
【００２９】
図５を参照して、さらに、被写体、レンズ、および焦点の位置関係について説明を加える。図５に示したような厚みを有する被写体を撮像する場合を例に挙げて考える。図５においては、レンズから距離Ｌ１だけ離れた位置に被写体の一部（以下、適宜、上部面と称する）が位置し、レンズから距離Ｌ２だけ離れた位置に被写体の一部（以下、適宜、中部面と称する）が位置し、レンズから距離Ｌ３だけ離れた位置に被写体の一部（以下、適宜、下部面と称する）が位置する状態を示している。
【００３０】
このような状態のとき、レンズから距離Ｌ１だけ離れた位置に存在する上部面を撮像する際には、焦点距離ｆ１のところにＣＣＤの撮像面が位置するように、ＣＣＤが設置されればよい。また、レンズから距離Ｌ２だけ離れた位置に存在する中部面を撮像する際には、焦点距離ｆ１のところにＣＣＤの撮像面が位置するように、ＣＣＤが設置されればよい。さらに、レンズから距離Ｌ３だけ離れた位置に存在する下部面を撮像する際には、焦点距離ｆ１のところにＣＣＤの撮像面が位置するように、ＣＣＤが設置されればよい。
【００３１】
ここで、図３に示したデジタルカメラ２の構成と、図５を参照するに、ＣＣＤ６１を、焦点距離ｆ１の位置に設置すれば、レンズ６７から距離Ｌ１だけ離れた位置に位置する被写体の上部面にピントがあった画像を、ＣＣＤ６１は撮像することができる。同様に、ＣＣＤ６２を、焦点距離ｆ２の位置に設置すれば、レンズ６７から距離Ｌ２だけ離れた位置に位置する被写体の中部面にピントがあった画像を、ＣＣＤ６２は撮像することができる。さらに、ＣＣＤ６３を、焦点距離ｆ３の位置に設置すれば、レンズ６７から距離Ｌ３だけ離れた位置に位置する被写体の下部面にピントがあった画像を、ＣＣＤ６３は撮像することができる。
【００３２】
例えば、ビームスプリッタ６４とビームスプリッタ６５との距離を、距離Ｌ１と距離Ｌ２との差分の距離に相当する距離（焦点距離ｆ１と焦点距離ｆ２の差分の距離）に設定され、ビームスプリッタ６４とビームスプリッタ６６の距離を、距離Ｌ１と距離Ｌ３との差分の距離に相当する距離（焦点距離ｆ１と焦点距離ｆ３の差分の距離）に設定される。
【００３３】
このような位置関係を有するように、ＣＣＤ６１乃至６３が設置されたデジタルカメラにおいては、図５に示したような厚みを有する被写体であっても、１度の撮影で、各部分にピントがあった画像を撮像することができる。換言すれば、この場合、ＣＣＤ６１で前ピンの画像を撮像し、ＣＣＤ６２でジャスピンの画像を撮像し、ＣＣＤ６３で後ピンの画像を撮像することが、１度の撮影において行うことができる。ここで、１度の撮影とは、ＣＣＤ６１乃至６３が、同時にシャッターを切ることを意味し、そのような制御が行われることを意味する。
【００３４】
しかしながら、ＣＣＤ６１乃至６３においては、それぞれ異なる部分にピントがあった画像を撮像しているため、例えば、ＣＣＤ６１において撮像された画像の内の一部分は、ピントが合った画像とされているが、他の部分はピントが合っていない画像であるといった画像が撮像されることになる。そして、そのピントが合っていない部分の画像は、ＣＣＤ６２またはＣＣＤ６３において撮像された画像では、ピントが合った部分として撮像されているという状態になる。そこで、ＰＣ３は、ＣＣＤ６１乃至ＣＣＤ６３により、それぞれ撮像された画像を合成し、画像全体にピントが合っているような画像を生成する。
【００３５】
ＰＣ３は、ＣＣＤ６１により撮像された画像から、ピントが合っていると判断される部分を抽出する。同様に、ＣＣＤ６２により撮像された画像から、ピントが合っていると判断される部分を抽出する。さらに、ＣＣＤ６３により撮像された画像から、ピントが合っていると判断される部分を抽出する。このようにしてそれぞれ抽出された画像を合成することにより、画像全体にピントが合った１枚の画像を生成することができる。
【００３６】
このように、本発明によれば、１度の撮影で、異なる部分にピントがあった画像を撮像することができる。そして、その画像を合成することにより、結果として、画像全体にピントがあった画像を撮像することが可能となる。よって、ユーザは、ピント合わせを複数回行ったり、複数回の撮影を行わなくても良くなり、使い勝手が向上する。
【００３７】
なお、図３に示したデジタルカメラ２の内部構成は１例であり、限定を示すものではなく、適宜変更可能である。例えば、レンズ６７を介した光が、ＣＣＤ６２に供給されるとともに、その光が、ビームスプリッタにより反射され、その反射された光がＣＣＤ６１とＣＣＤ６３に、それぞれ供給されるような構成とされても良い。
【００３８】
また、デジタルカメラ２が、ＣＣＤ６１乃至６３でそれぞれ撮像された画像から、画像全体にピントがあった１枚の画像を生成するような構成とすることも可能であり、そのような画像データのみが、ＰＣ３に供給されるといったような構成とすることも可能である。このような構成は、例えば、デジタルカメラ２内に、ＣＣＤ６１乃至６３で撮像された画像を処理するためのＭＰＵ（Micro Processing Unit）を備える構成とすることにより可能である。
【００３９】
上述した一連の処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００４０】
記録媒体は、図２に示すように、ＰＣ３とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４１（フレキシブルディスクを含む）、光ディスク４２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク４３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ４４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２２や記憶部２８が含まれるハードディスクなどで構成される。
【００４１】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００４２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【００４３】
【図１】本発明を適用したシステムの一実施の形態の構成を示す図である。
【図２】ＰＣの内部構成例を示す図である。
【図３】デジタルカメラの内部構成例を示す図である。
【図４】焦点について説明するための図である。
【図５】焦点についてさらに説明するための図である。
【符号の説明】
【００４４】
１  顕微鏡
２  デジタルカメラ
３  ＰＣ
２１  ＣＰＵ
２２  ＲＯＭ
２３  ＲＡＭ
２４  バス
２５  入出力インタフェース
２６  入力部
２７  出力部
２８  記憶部
２９  通信部
３０  ドライブ
６１，６２，６３  ＣＣＤ
６４，６５，６６  ビームスプリッタ
６７  レンズ
【図１】
2005057503.tif 000003
【図２】
2005057503.tif 000004
【図３】
2005057503.tif 000005
【図４】
2005057503.tif 000006
【図５】
2005057503.tif 000007