(57)【特許請求の範囲】
【請求項１】
多数のスポット光あるいはスリット光を同時並列に物体に投射し、その反射光を同時並列に共焦点検出して共焦点画像を得るマルチビーム共焦点撮像系において、同時並列に共焦点検出する多数の検出器の各検出器に対応するスポット光毎に、あるいはスリット光上の各点毎に投射強度を調節可能な画素単位調光機構を有することを特徴とする能動共焦点撮像装置。
【請求項２】
多数のスポット光あるいはスリット光を同時並列に物体に投射し、その反射光を同時並列に共焦点検出して共焦点画像を得るマルチビーム共焦点撮像系において、同時並列に共焦点検出する多数の検出器の各検出器毎に入射光量を調節可能な画素単位調光機構を有することを特徴とする能動共焦点撮像装置。
【請求項３】
画素単位調光機構は液晶ディスプレイ素子で構成されることを特徴とする請求項１または請求項２記載の能動共焦点撮像装置。
【請求項４】
共焦点撮像系の物体側ピント位置を、前記共焦点撮像系の対物レンズの光軸方向に移動させるピント位置変化機構と、得られた共焦点画像を処理するとともに画素単位調光機構を制御する演算機構とを有することを特徴とする請求項１または請求項２または請求項３記載の能動共焦点撮像装置。
【請求項５】
請求項４記載の能動共焦点撮像装置を用いて物体の形状計測を行う方法であって、全ての検出器への入射光量を小さく設定する低入射光量設定処理と、低入射光量設定処理により全検出器への入射光量を小さくした状態でピント位置変化機構によりピント面を移動させて複数枚のピント位置の異なる共焦点画像を得るピント移動共焦点画像入力処理と、得られた複数枚の共焦点画像の各共通座標の画素どうしの濃度値を比較して、各座標毎に最大濃度を決定する超焦点画像作成処理と、この超焦点画像作成処理により得られた超焦点画像の各画素の濃度情報を用いて、全検出器への入射光量が均一に近づくように画素単位調光機構の調光情報を決定する調光情報演算処理と、得られた調光情報により前記画素単位調光機構により画素単位で調光し計測を行う共焦点計測処理とを備えたことを特徴とする三次元計測方法。
【請求項６】
請求項４記載の能動共焦点撮像装置を用いて物体の形状計測を行う方法であって、全ての検出器への入射光量を大きく設定する高入射光量設定処理と、高入射光量設定処理により全検出器への入射光量を大きくした状態で、ピント位置が明らかに物体からはずれた位置で共焦点画像を得るボケ画像入力処理と、このボケ画像の各画素の濃度情報を用いて、全検出器への入射光量が均一に近づくように画素単位調光機構の調光情報を決定する調光情報演算処理と、得られた調光情報により前記画素単位調光機構により画素単位で調光し計測を行う共焦点計測処理とを備えたことを特徴とする三次元計測方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、主に共焦点画像を得て三次元計測を行う光学装置および方法に関する。
【０００２】
【従来の技術】
共焦点光学系を用いると物体の光軸方向（以下Ｚ方向と呼ぶ）の位置（以下高さと呼ぶ）を精度良く計測することが可能である。従来技術の説明に先立ち共焦点光学系による高さ計測の原理を解説する。共焦点光学系の基本構成を図１０に示す。点光源１０１からでた光は対物レンズ１０３により集光され物体に投影される。物体から反射して再び対物レンズ１０３に入射した光はハーフミラー１０２を介して点光源１０１と光学的に同じ位置にあるピンホール１０４に入射し、ピンホール１０４を通過した光の量が検出器１０５により計測される。これが共焦点光学系の基本的な構造である。このような光学系を用いると物体表面上の点の高さが次のようにして計測できる。物体表面が点光源１０１に共役な位置にある場合、反射光は同じく共役な位置であるピンホール１０４面に収束し多くの反射光がピンホール１０４を通過する。しかし図１０中の点線のように物体表面が点光源に共役な位置から離れるとピンホール１０４を通過する光量は急速に減少する。このことから物体と対物レンズ１０３との距離を変化（以下ではＺ走査と呼ぶ）させて検出器１０５が最大出力を示す点を見つければ物体表面の高さがわかることになる。以上が共焦点光学系による高さ計測の原理である。
【０００３】
共焦点光学系は基本的に物体表面上の１点のみを計測対象としているので、三次元計測のためにはＸＹの走査が必要である。しかし、上で述べたＺ走査を含む１高さ計測毎にＸＹ移動するような計測方法では非常に時間がかかってしまう。そこで、Ｚ走査をしない状態（物体と対物レンズの距離を固定した状態）でレーザー走査あるいはＮｉｐｋｏｗ  ｄｉｓｋと呼ばれる回転円盤を用いて高速にＸＹ走査を行い２次元の共焦点データをとる（以下２次元の共焦点データを共焦点画像と呼び、共焦点画像を得る光学系を共焦点撮像系と呼ぶことにする）ようにして、Ｚ走査は画像単位で行う手法が一般的である。もうすこし具体的に述べれば、まず共焦点画像をとり、つぎにＺ方向へ移動し、また共焦点画像をとる、またＺ方向へ移動するという処理を繰り返してデータ入力を行い、得られたＺ位置の異なる複数の共焦点画像から、各画素毎に（各画像の同一座標の画素の値を比較して）最大値を与えるＺ位置を求めることで三次元計測を行う方法が一般的である
【０００４】
この計測でもっとも重要なのは共焦点撮像系である。以下従来技術として共焦点撮像系について説明する。共焦点撮像系にはレーザー走査型、Ｎｉｐｋｏｗ  ｄｉｓｋ走査型、テーブル走査型などのＸＹ走査型と、共焦点光学系をＸＹ方向に並列に並べた非走査型とがあるが、物体上に同時に投射されるスポットが１点（シングルビーム型）かまたは多点（マルチビーム型）かで分けると、前者がレーザー走査型、テーブル走査型であり後者がＮｉｐｋｏｗ  ｄｉｓｋ走査型および非走査型である。本発明は後者のマルチビーム型に関してのものであるのでこれらに限定して原理を述べる。
【０００５】
図１１（ａ）にＮｉｐｋｏｗ  ｄｉｓｋ走査型の共焦点撮像系の構造を、図１１（ｂ）にＮｉｐｋｏｗ  ｄｉｓｋの概要を示す。レンズ８ａ、レンズ８ｂ、絞り９よりなる対物レンズ８の像面にＮｉｐｋｏｗ  ｄｉｓｋ１１１と呼ばれる円盤が配置されており、モータ１１２によって回転するようになっている。Ｎｉｐｋｏｗ  ｄｉｓｋ１１１は螺旋状に配列されたピンホールを持つもので、一回転するとそのピンホールの像が物体面上でラスタスキャンをするようになっている。もともとＮｉｐｋｏｗ  ｄｉｓｋ１１１はテレビのラスタスキャンを行うために開発されたものである。
【０００６】
このＮｉｐｋｏｗ  ｄｉｓｋ１１１を、光源１、ピンホール２、コリメータレンズ４からなる照明装置により上部から照明すると、螺旋状の多点のスポットが物体Ａに投影されその反射光が同じピンホールを通過することで共焦点の効果が生まれるようになっている。ピンホールを通過した反射光はビームスプリッタ１１３を通って再結像レンズ１１４によって検出器アレイ１１上にピンホールの像を結像するようになっており、Ｎｉｐｋｏｗ  ｄｉｓｋ１１１を回転させることで検出器アレイ１１全体をピンホールの像が通過し、共焦点画像が得られるものである。このＮｉｐｋｏｗ  ｄｉｓｋ１１１を利用した共焦点撮像系を従来技術Ａとする。
【０００７】
次に非走査型の共焦点撮像系について説明する。非走査型はあまり一般的ではないがこれまでに特開平４−２６５９１８号公報および特開平７−１８１０２３号公報および特開平９−２５７４４０号公報として開示されており、また、論文Ｈ．Ｊ．Ｔｉｚｉａｎｉ他著：“Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ａｎａｌｙｓｉｓ  ｂｙ  ａ  ｍｉｃｒｏｌｅｎｓ−ａｒｒａｙ  ｃｏｎｆｏｃａｌ  ａｒｒａｎｇｅｍｅｎｔ”，Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，Ｖｏｌ．３３，Ｎｏ．４，ｐｐ．５６７−５７２（１９９４）にも発表されている。ここでは特開平４−２６５９１８号公報に開示された装置と、本発明者と同一発明者により特開平９−２５７４４０号公報に開示された装置とを非走査型の例として解説する。
【０００８】
まず、特開平４−２６５９１８号公報による装置を図１２を用いて説明する。光源１からでた光をコリメートレンズ４により平行光として、ピンホールアレイ部７に照射する。ここにピンホールアレイ部７はピンホールを多数同一平面に配列したものである。ピンホールアレイ部７の各ピンホールを通過した光は個々が点光源とみなされ、点光源が配列されているのと同等である。ピンホールを通過した光はハーフミラー１２１を透過して後、レンズ８ａと８ｂとテレセントリック絞り９とで構成された対物レンズ８により物体Ａに投影される。物体Ａから反射してきた光は対物レンズ８で集光され、ハーフミラー１２１により光路を偏向させられてピンホールアレイ部７の各ピンホールと一対一に光学的に同一位置に正確に位置あわせされたピンホールをもつ検出器ピンホールアレイ１０上に到達し検出器ピンホールアレイ１０の各ピンホールに各検出器が一対一で結びついた検出器アレイ１１で各ピンホールを通過した光量が検出される。以上の構成はちょうど共焦点光学系を並列に配列したのと同等である。この公報では、検出器部分に一般的には必要となる検出器ピンホールアレイ部を開口率の低い（画素に対する光電変換素子の比率が小さい）ＣＣＤセンサを用いることで不要としているが、より一般的な上記の構成を従来技術Ｂとする。
【０００９】
次に特開平９−２５７４４０号公報による装置を図１３を用いて説明する。光源１よりでた照明光はピンホール２で点光源となりコリメートレンズ４により平行光となって射出される。光路分岐光学素子１３１は偏光ビームスプリッターであり照明光は直線偏光となって通過する。光路分岐光学素子１３１を通過した照明光はマイクロレンズアレイ部１３２に入射し各マイクロレンズの焦点に集光される。マイクロレンズアレイ部１３２の焦点位置にはピンホールアレイ部７が設置され、各マイクロレンズにより集光された照明光の焦点の位置に各ピンホールが存在する形となっている。ピンホールを通過した照明光は対物レンズ８に入射し、対物レンズ８内部に設けた１／４位相差板１３３により円偏光となって、ピンホールの像を物体Ａに投影する。対物レンズ８は、内部にテレセントリック絞り９とレンズ８ａと８ｂとをもつ両側テレセントリックなレンズであり、物体Ａあるいは光学系を光軸方向に移動させても倍率変化が発生しないようになっている。物体Ａからの反射光は、再び対物レンズ８に入射して、１／４位相差板１３３により照明光と直交する直線偏光となり、集光されて再びピンホールアレイ部７に到達する。ピンホールアレイ部７のピンホールを通過した反射光は、マイクロレンズアレイ部１３２により平行光束となって射出される。反射光は照明光とは直交する直線偏光光であるから偏光ビームスプリッターである光路分岐光学素子１３１により偏向されて結像光学部１３４に入射する。結像光学部１３４に入射した反射光は、マイクロレンズアレイ部１３２の面を検出器アレイ１１上に結像させるように集光され、検出器アレイ１１上に到達するようになっている。これにより検出器アレイ１１上には共焦点画像が得られ、検出器アレイ１１により光電変換されて電気信号として出力される。この装置を従来技術Ｃとする。
【００１０】
従来技術Ｂとの大きな違いは照明側のピンホールアレイ部と検出器側のピンホールアレイ部が分かれておらず、一つのピンホールアレイ部が両方を兼ねている点である。この意味で特開平７−１８１０２３号公報に開示されている装置および論文Ｈ．Ｊ．Ｔｉｚｉａｎｉ他著：“Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ａｎａｌｙｓｉｓ  ｂｙ  ａ  ｍｉｃｒｏｌｅｎｓ−ａｒｒａｙ  ｃｏｎｆｏｃａｌ  ａｒｒａｎｇｅｍｅｎｔ”，Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，Ｖｏｌ．３３，Ｎｏ．４，ｐｐ．５６７−５７２（１９９４）に記載の装置もこの従来技術Ｃに含まれるとして、以下説明を続ける。
【００１１】
【発明が解決しようとする課題】
これらの従来技術に共通するのは二次元検出器を用いて同時並列的に多数の点の検出を行うところである。このような共焦点撮像系を用いて三次元計測を行う場合、一視野の中に高反射率の部分と低反射率の部分が混在する、または正反射部分と散乱反射部分が混在すると、その両方を同時に計測することが難しいという問題がある。
【００１２】
先に述べたように共焦点三次元計測では検出器の出力のピークを求める必要がある。そのため検出器の出力が飽和してしまうとピークが分からなくなるため計測不可能となってしまう。また、ピークが小さすぎて、検出器の雑音と変わらないレベルとなってしまっても計測ができない。
【００１３】
計測視野のなかの明るさが一様であるならば、照明光の強さあるいは検出器のシャッター時間を調整することで検出器出力が飽和もせず、かつ雑音にうもれることもないようにすることができるが、上記のように著しく反射率の異なる対象物が視野中に混在すると、反射率の高い部分が飽和する、または反射率の低い部分が雑音に埋もれてしまう結果となる。
【００１４】
反射率の高い部分と低い部分との強度比は極端な場合１０の５乗以上にもなる。しかし、一般的な２次元検出器であるＣＣＤカメラなどではせいぜい１０の３乗程度しかダイナミックレンジが取れないのでどうしても上記の問題が発生してしまう。
【００１５】
この問題は、ダイナミックレンジだけの問題ではない。マルチビーム型の共焦点撮像系の場合、多数の照明スポットが同時に対象物に投影されているため、あるスポットから得られる検出器出力に、他のスポットからの反射光の影響が幾分かは混じってしまう。図１４のビーム３のようにピントが合っておらず、共焦点ピンホールからはずれた位置で焦点を結んだビームは他のピンホールへ入射してしまう。
【００１６】
あるスポットの周辺がほぼ同じ反射率である場合、周辺のスポットのぼけた光が入射しても、ピントが合っているときの光量との間に圧倒的に差があるため特に問題はない。しかし、隣あうスポット間で物体の反射率に著しい違いがある場合は問題が発生する。つまり、反射率の高い点のぼけた光が、反射率の低い点のピンホールに入射すると、反射率の低い点のピントが合ったときの光量より大きくなってしまい、本来のピント位置以外の位置に検出器出力のピークがでてしまうことになり、明らかな誤計測となる。
【００１７】
またマルチビーム型共焦点撮像系に限られることではないが他にも解決すべき課題がある。光学システム内の色々な要因で発生するムラである。例えば精度が高く傷や汚れ等のないミラーを共焦点撮像系で観察した場合、完全なシステムであればミラーに共焦点撮像系のピントが合っている位置（対物レンズには像面湾曲があるのでピントの合う位置は各検出器毎に異なる）での検出器の出力は、全ての検出器で同じ大きさのはずである。ところが実際には完全にはそのようにならない。
【００１８】
例えば照明としてレーザーを用いた場合、単純にビームを拡大してピンホールを照明すると、レーザービームは一般的にガウス分布の強度分布を持つので、ビームの中心（画像の中心部）とビームの周辺（画像の周辺部）とでは照明強度が異なることになる。
【００１９】
また、各ピンホールが完全に同じ大きさでない場合もある。製作時の不良によりカケやバリ等があることもある。また、従来技術Ｃのようにマイクロレンズアレイを有するシステムではマイクロレンズアレイの製造品質も影響することになる。検出器の感度も一様ではない。対物レンズの製造誤差や光線の画角の違いなどによってもムラがでる可能性はある。
【００２０】
本発明は以上のような問題を解決することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的達成のために本発明は、共焦点撮像系の内部に、同時並列に共焦点検出する多数の検出器の各検出器に対応するスポット光毎に、あるいはスリット光上の各点毎に投射強度を調節可能な画素単位調光機構を備える。
【００２２】
または、同時並列に共焦点検出する多数の検出器の各検出器毎に入射光量を調節可能な画素単位調光機構を備える。
【００２３】
そして好ましくは、画素単位調光機構を液晶ディスプレイ素子の調光部分（以下液晶ディスプレイとする）で構成する。
【００２４】
画素単位で照明光の強さあるいは検出器への入射光量を制御することで、高反射率部と低反射率部とを含むような対象物であっても、各部分毎に最適な照明光量とすることが可能となり、精度良く計測データを得ることができる。光学システム内のムラも同時に補正することができる。
【００２５】
また、視野内の明るさをほぼ均一にすることができるので、検出器のダイナミックレンジは大きくなくてもよく、データ処理が簡単になり小型化、高速化ができるなどのメリットがある。
【００２６】
さらに好ましくは、三次元計測のために、共焦点撮像系の物体側ピント位置を、前記共焦点撮像系の対物レンズの光軸方向に移動させるピント位置変化機構と、得られた共焦点画像を処理するとともに画素単位調光機構を制御する演算機構とを備える。
【００２７】
このようなシステム化を施すことにより、汎用的な三次元計測システムとして共焦点撮像系を利用でき、後に述べる計測方法により信頼性の高い計測が可能となる。
【００２８】
以上のような構造の新しい共焦点撮像系を能動共焦点撮像装置とよぶことにする。この装置により、全ての検出器への入射光量を小さく設定する低入射光量設定処理と、低入射光量設定処理により全検出器への入射光量を小さくした状態でピント位置変化機構によりピント面を移動させて複数枚のピント位置の異なる共焦点画像を得るピント移動共焦点画像入力処理と、得られた複数枚の共焦点画像の各共通座標の画素どうしの濃度値を比較して、各座標毎に最大濃度を決定する超焦点画像作成処理と、この超焦点画像作成処理により得られた超焦点画像の各画素の濃度情報を用いて、全検出器への入射光量ができるだけ均一になるように画素単位調光機構の調光情報を決定する調光情報演算処理と、得られた調光情報により前記画素単位調光機構により画素単位で調光し計測を行う共焦点計測処理とを備えたことを特徴とする。
【００２９】
または、全ての検出器への入射光量を大きく設定する高入射光量設定処理と、高入射光量設定処理により全検出器への入射光量を大きくした状態で、ピント位置が明らかに物体からはずれた位置で共焦点画像を得るボケ画像入力処理と、このボケ画像の各画素の濃度情報を用いて、全検出器への入射光量ができるだけ均一になるように画素単位調光機構の調光情報を決定する調光情報演算処理と、得られた調光情報により前記画素単位調光機構により画素単位で調光し計測を行う共焦点計測処理とを備えたことを特徴とする。
【００３０】
能動共焦点撮像装置を用いて、このように計測することで精度が良く、信頼性の高い三次元計測が可能となる。
【００３１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１に本発明の第一の実施の形態を示す。この例の非走査型共焦点撮像系の基本構造は従来技術Ｂと同じものである。重複する説明は避けて、異なる部分についてのみ説明する。光学系部分で異なるのはピンホールアレイ部７の図中上側に設置された画素単位調光機構６である。この画素単位調光機構６は液晶ディスプレイ６ａおよびＬＣＤ駆動機構６ｂで構成され、ピンホールアレイ部７の個々のピンホールと液晶ディスプレイ６ａの個々の画素とが一致するように設置されている。また、検出器アレイ１１からの信号は共焦点画像データとして演算機構１３に入力されるようになっている。そしてピント位置変化機構１２としてＺテーブル１２ａおよびコントローラ１２ｂが配置されており、演算機構１３の制御により物体と共焦点撮像系との位置関係を変化させることができるようになっている。
【００３２】
まず、画素単位調光機構６についてその構造と働きを説明する。画素単位調光機構６を構成する液晶ディスプレイ６ａの構造を図２に示す。この例は薄膜トランジスタ（以下ＴＦＴとよぶ）を用いたアクティブマトリクスディスプレイである。ＴＦＴアクティブマトリクスディスプレイは図２に示すように、上から順に偏光板２１、ガラス基板２２、透明電極２３、液晶２４、Ｘ、Ｙ透明マトリクス電極２５、ＴＦＴ２６、ガラス基板２７、偏光板２８で構成される。動作を説明する。Ｘ電極２５ａに電圧を加えるとＴＦＴ２６が導通状態となり同時にＹ電極２５ｂに信号電圧を加えるとこれらの電極の交点の画素の静電容量（コンデンサ成分）がＴＦＴ２６を通って流れる電流により充電されその画素の液晶２４に電界が加わる。充電が終わるとＴＦＴ２６は非導通となり充電された電荷は次に選択されるまで保持される。つまり次にその画素が選択されて充電されるまでその画素の液晶２４に一定の電界がかけられ続けることになる。１画素ずつ順番にこれを行って（これを走査という）全画素について個々に充電すれば、全液晶画素を独立に任意の電界をかけることができる。
【００３３】
液晶ディスプレイ６ａの個々の画素の動きを図３を用いて説明する。偏光板２１で直線偏光となった光は液晶部分に入射する。液晶はツイストネマティック液晶（以下ＴＮ液晶とする）であり、ＴＮ液晶は液晶２４の対向する透明電極間２３、２５の電界の強さに応じて液晶２４のねじれ量が変化する。液晶２４に入射した光は液晶２４のねじれ量に応じて旋光する（直線偏光の偏光方向が回転する）。偏光板２８は偏光板２１と直交ニコルとなるように設置されており、電界が液晶２４にかかっていないときに、入射直線偏光が９０度旋光して偏光板２８を通過するようになっている。対向する透明電極間２３、２５の電界の強さによって偏光板２８に入射する光の偏光方向が変化することにより偏光板２８を通過する光量を自由に制御することができる。
【００３４】
以上のような動作により液晶ディスプレイ６ａを用いて画素単位で透過光量を制御することができる。つまり液晶ディスプレイ６ａにより画素単位調光機構６が実現できる。液晶ディスプレイ６ａの各液晶画素は、ピンホールアレイ部７のピンホールと一致しているから、結局ピンホールからの射出強度を各ピンホール毎に調整することができることになる。
【００３５】
液晶ディスプレイ６ａはＬＣＤ駆動機構６ｂにより駆動される。演算機構１３から２次元の調光データ（液晶ディスプレイ６ａ各画素の電圧値をしめす一種の画像データ）がＬＣＤ駆動機構６ｂに送られその信号に基づいて液晶ディスプレイ６ａが駆動される。
【００３６】
図４に本発明の実施の形態の第２の例を示す。この例は画素単位調光機構６の液晶ディスプレイ６ａが検出器側ピンホールアレイ部１０にとりつけられているという違い以外は第一の例と全く同じである。迷光をできるだけ減らすという意味からすれば第一の例の方がより好ましいが、基本的にほぼ同様の効果を得ることができる。
【００３７】
図５に本発明の実施の形態の第３の例を示す。この例は従来技術Ｃに画素単位調光機構６を取り付けたものである。この場合は照明側ピンホールアレイと検出器側ピンホールアレイとが共通なのでいわば両方に画素単位調光機構６をとりつけた場合といえる。検出器アレイ１１に到達する光量は画素単位調光機構６の透過率の２乗に比例することになる。
【００３８】
図６に本発明の実施の形態の第４の例を示す。この例は従来技術Ａに画素単位調光機構６を取り付けたものである。第３の例と同様に検出器アレイ１１に到達する光量は画素単位調光機構６の透過率の２乗に比例することになる。この場合ピンホールと画素単位調光機構６の画素とを一致させることはできないが、検出器アレイ１１の各画素に対応する位置に画素単位調光機構６の各画素が配置されていれば他の例と同様の効果を得ることができる。また、検出器アレイ１１の直前に画素単位調光機構６を持ってくることも可能である。
【００３９】
ここでは画素単位調光機構６としてＴＦＴアクティブマトリクスＴＮ液晶ディスプレイを取り上げたが、もちろん本発明はこれに制限されるものではない。マルチビームタイプの共焦点撮像系の各ビームの強度をビーム単位で調光することができれば本発明の範疇である。
【００４０】
次にこれらの実施例で示した装置を用いて実際に三次元計測を行う方法について述べる。これ以降は基本的に第一の実施例として示した装置に基づいて説明する。
【００４１】
共焦点撮像系により三次元計測を行う方法については従来技術の説明のところで述べた。本発明は対象物の反射強度情報を画素毎に求め（画素毎に求められた対象物の反射強度情報を反射強度マップと呼ぶことにする）、その情報をフィードバックして、反射強度マップを均一化するような照明をおこなうことで１視野中に検出器アレイのダイナミックレンジを超えるような高輝度部分と低輝度率部分が混在しないようにすることが主なねらいである。問題は反射強度マップをどのように得るかである。
【００４２】
本発明の実施の形態の第５の例として対象物の反射率情報を得る方法について述べる。基本的に照度ムラのないプレーンな照明を行い、対象物の画像をとればその画像情報がそのまま反射強度マップとなる。しかし、その画像が検出器アレイの飽和光量を超えていれば、正しい反射強度マップを得られることにならない。そこで反射強度マップを得るためのプレーンな照明は検出器アレイの飽和光量を超えないような低光量の照明としなければならない。画素単位調光機構により光学システムが持つムラを補正してプレーンな照明を行いかつ、全体の光量を一様に下げるようにする。または画素単位調光機構を使わずに光源のパワーを変えるような手段を用いても良い。
【００４３】
共焦点光学系ではボケた部分は暗くなってしまうため、画像により反射強度マップを正しく得るためには、画像にボケが無いように、画像内全てにピントがあった画像を得る必要がある。対象物に起伏があって、その起伏が焦点深度を超える場合においても画像全体がピントが合っているような画像を超焦点深度画像と呼ぶが、この超焦点深度画像を得る方法を次に述べる。
【００４４】
基本的に三次元計測の方法と同じである。ピント位置変化機構を用いてピント面を移動させ移動毎に共焦点画像を撮像する。得られる共焦点画像はそれぞれ単独では対象物の一部にピントが合っているだけであるが、ピントのあっている部分を合成して全体にピントのあった画像を得る。合成の方法は各画素毎にピントのあった画像の画素値をとってくる。ピントがあっているかいないかの判断は共焦点画像では非常に簡単に判別できるので、各画素の最大の値の画像を合成することによりピントのあった画像を得る。
【００４５】
ピント位置変化機構による移動の距離単位が比較的荒い場合は以下の補間演算を用いてピントがあった画像を得る。図７に示すように本来の対象物の反射率を表すのは共焦点の軸上応答曲線のピークの値である。図７中の点線で示すように得られる値は、ピント位置変化機構による移動の距離単位が比較的荒いと必ずしもピーク位置とはならない。そこで、最大値とその前後の各一点の計３点を用いて、放物線関数あるいはガウス関数などの山形の関数にフィッティングして正確にピークの値を求める。
【００４６】
もちろんフィッティングするのは３点でなくても何点でも良い。しかし特に高い精度が必要なわけではないから一般的には３点で十分である。
【００４７】
以上のようにして超焦点画像が得られると正しい反射強度マップが得られる。照明光量を低く抑えてあるので、反射強度マップの低反射率の部分の精度は高いものではないが、本来反射率を高精度に求めることが主眼ではなく、より精度の高い三次元計測を行うための照明光量を決定することが目的であるから、高反射率部分と低反射率部分との概略の比が分かれば十分である。
【００４８】
反射強度マップを把握した後、それをできるだけ均一になるように画素単位調光機構により調光する。具体的には、均一にしたい値、例えば２５６階調のデータであれば２００位の値に設定するとして、超焦点画像の全画素を２００で割って正規化する。その逆数倍に画素単位調光機構をコントロールすることでほぼ画像全体を２００に均一化する。物体の反射率が０に近い点を２００まで持っていくためには非常に強力な照明手段が必要となるが、照明の最大光量は制限されているので、このような点は可能な最大光量を（画素単位調光機構を透過率最大）与えればよい。
【００４９】
以上のようにして計測することで、検出器アレイのダイナミックレンジを変えることなく実質的にダイナミックレンジを大幅に向上させることができることになる。単純な計算では、検出器アレイの階調数と画素単位調光機構の階調数との積がダイナミックレンジとなる。それぞれ８ビット（２５６階調）であるとすると１６ビット（６５５３６階調）までダイナミックレンジを向上できることになる。
【００５０】
しかも演算は８ビットで演算できるので演算量は少なくて済む。また、ダイナミックレンジの問題だけでなく、マルチビーム型の共焦点撮像系で問題となる、近傍のビームの影響の問題も解決される。
【００５１】
次に本発明の実施の形態の第６の例を説明する。第５の例で述べた反射強度マップを得る手順は三次元計測の計測手順とほぼ同じであり、補間演算の演算式が異なる程度の違いしかない。だから、基本的に計測時間はトータルで従来の三次元計測時間の約２倍かかることになる。しかし、インライン計測などで三次元計測が利用される場合はこのような時間的な余裕があるとは限らない。第６の実施例は、より高速に計測する手法を具体的な計測サンプルを示して説明する。
【００５２】
計測サンプルはＢＧＡ（Ｂａｌｌ  Ｇｒｉｄ  Ａｒｒａｙ）と呼ばれる半導体パッケージである。形状を図８に示す。パッケージ基板１４１上に半田のボール１４２が多数並んでいるものである。このボール頂点の、基板からの高さを求めると、ボールは比較的鏡面に近いので傾斜が強い部分は反射光が対物レンズに入射しないため計測できず、結果的に図９のようにパッケージ基板１４１とボール１４２の頂点部分のみが計測されることになる。この計測における問題は、半田ボール１４２とパッケージ基板１４１との反射率があまりにも差がありすぎるため、双方を精度良く同時に計測することができないという点にある。つまり、鏡面に近く反射率の高い半田ボール１４２に最適な照明光量を設定すると、パッケージ基板１４１側の光量が十分でなく精度の高い計測ができない。
【００５３】
第６の実施例ではまず、簡単で高速な計測手順により反射強度マップを得る。画素単位調光機構、あるいは照明光量制御手段により十分に強い照明光を物体に照射する。そして全画素のピントが明らかにはずれた位置でボケ画像を入力する。一般に共焦点光学系ではピントがはずれている画像は暗くなり画像化されないとされるが、現実的にはピンホールの大きさがあるため弱いながらも光は検出される。特にマルチビーム型の共焦点撮像系では近傍の画素からの漏れ光が存在するため比較的大きい値となる。検出される値は弱いながらも物体の反射強度に比例した量となることから、反射強度マップが得られることになる。反射強度マップが得られればあとの処理は第５の実施例と同じである。
【００５４】
第５の例との大きな違いは反射強度マップを得るのに一枚の画像しか用いないという点である。演算も必要なく、そのため高速な計測が可能である。
【００５５】
問題はこのようにして得られる反射強度マップは必ずしも高精度なものでなく、ピントがずれるため、得られる画像はぼけてしまうことである。反射強度の高い領域と低い領域の境界（エッジ）位置はマルチビームの隣接ピンホールからの漏れ光の影響でぼけてしまうので、このような境界部分では正しい反射強度は得ることができない。
【００５６】
しかしながらＢＧＡ計測において、このような正しい反射強度が得られない領域はボールのエッジ部分であり、先に述べたようにボール計測ではもともとボールのエッジ部分は傾斜が急である（９０度に近い）から計測できない領域であり、計測する必要もないことから、正しい反射強度を必要としない。ＢＧＡ計測のようなアプリケーションでは上記の問題点は問題とはならない。つまり、このような計測方法で十分に有用な計測が可能となる。
【００５７】
【発明の効果】
本発明によれば、共焦点撮像系を用いた三次元計測において、一視野中に高反射強度の部分と低反射強度の部分が混在する、または正反射部分と散乱反射部分が混在しても、その両方の部分を同時に精度よく正確に計測することができる。つまり、ＣＣＤエリアセンサのような二次元検出器のダイナミックレンジの低さを大幅に補償することができるようになり、精度がよく信頼性の高い共焦点撮像装置と三次元計測方法を提供できる。これにより共焦点三次元計測の適用可能領域が大きく広がり、工業的に大きな効果が期待できる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る能動共焦点撮像装置を示す図である。
【図２】本発明の画素単位調光機構として用いるＴＦＴアクティブマトリックスＴＮ液晶ディスプレイの構造を示す図である。
【図３】本発明の液晶ディスプレイの画素の動作を説明するための図である。
【図４】本発明の第２の実施例に係る能動共焦点撮像装置を示す図である。
【図５】本発明の第３の実施例に係る能動共焦点撮像装置を示す図である。
【図６】本発明の第４の実施例に係る能動共焦点撮像装置を示す図である。
【図７】共焦点光学系の軸上応答曲線を示す図である。
【図８】ＢＧＡを説明するための図である。
【図９】ＢＧＡの計測可能領域を示す図である。
【図１０】共焦点光学系を説明するための図である。
【図１１】従来技術Ａを説明するための図である。
【図１２】従来技術Ｂを説明するための図である。
【図１３】従来技術Ｃを説明するための図である。
【図１４】マルチビーム型共焦点の問題点を説明するための図である。
【符号の説明】
１      光源
２      ピンホール
４      コリメートレンズ
６ａ    液晶ディスプレイ
６ｂ    ＬＣＤ駆動機構
６      画素単位調光機構
７      ピンホールアレイ部
８ａ    レンズ
８ｂ    レンズ
９      テレセントリック絞り
１０    検出器側ピンホールアレイ部
１１    検出器アレイ
１２ａ  Ｚテーブル
１２ｂ  コントローラ
１２    ピント位置変化機構
１３    演算機構
【図１】
0003610569.tif 000002
【図２】
0003610569.tif 000003
【図３】
0003610569.tif 000004
【図４】
0003610569.tif 000005
【図５】
0003610569.tif 000006
【図６】
0003610569.tif 000007
【図７】
0003610569.tif 000008
【図８】
0003610569.tif 000009
【図９】
0003610569.tif 000010
【図１０】
0003610569.tif 000011
【図１１】
0003610569.tif 000012
【図１２】
0003610569.tif 000013
【図１３】
0003610569.tif 000014
【図１４】
0003610569.tif 000015