(57)【特許請求の範囲】
【請求項１】
画像の合焦度に基づいて測定装置の基点から測定対象上の各点までの距離を測定する方法において、合焦度曲線の必要な対称性が保たれる程度の間隔だけ離れた二つの基準距離のそれぞれに焦点合わせを行って取得した測定対象の二つの画像の合焦度を画素毎に比較し、その差の大きさが設定された値より小さい画素を抽出し、抽出画素に対応する測定対象上の点の距離を前記二つの基準距離の中間値とし、比較する基準距離の対の間隔を保ったまま、必要な距離分解能に応じて基準距離の対を一定の間隔で移動していき、順次、前記二つの基準距離の中間値を取得することで、測定対象上の全ての測定点の距離を求めることを特徴とする、合焦度による距離測定方法。
【請求項２】
画像の合焦度に基づいて測定対象までの距離を測定する装置において、撮像レンズの前側焦点もしくは後側焦点に絞りを有し撮像レンズの像側もしくは物体側において主光線が光軸に平行になるように構成された光学系と、撮像用センサと、焦点調節機構とを有し、焦点調節機構を制御して合焦度曲線の必要な対称性が保たれる程度の間隔だけ離れた二つの基準距離のそれぞれに焦点合わせを行って測定対象の二つの画像を取得し、この二つの画像の合焦度を画素毎に比較して合焦度の差が一定の許容範囲内にある画素を抽出し、抽出画素に対応する測定対象上の点の距離を二つの基準距離の中間値として出力し、比較する基準距離の対の間隔を保ったまま、必要な距離分解能に応じて基準距離の対を一定の間隔で移動していき、順次、前記二つの基準距離の中間値を取得することで、測定対象上の全ての測定点の距離を求めることを特徴とする距離測定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、距離測定装置を構成する撮像光学システムから測定対象上の各点までの距離と対象の画像の各点の合焦度との関係を用いて、画像の合焦度から測定対象上の各点の距離を求める距離測定法に関するものである。ここで合焦度とは、焦点の合っている度合いを数量化したもので、通常、画像のコントラストの度合いを数量化し、測定対象上の点に焦点を合わせたときに、すなわち対象までの距離と画像取得（撮像）時の焦点合わせ距離が一致するとき最大の値を示す。しかし、時に、焦点が合っているときに（以下、焦点が合っているという意味で、合焦という語句を使うことがある）、合焦度が最小値をとるように定義している場合があり、その場合は、本発明の記述で最大とあるところを最小と読み替えるものとする。
【０００２】
【従来の技術】
従来の合焦度による物体の距離測定法では、焦点調節機構により撮像光学システムの合焦距離（焦点の合う距離）を段階的に変えながら物体上の各点の画像の合焦度が最大になる合焦距離を求めて、撮像光学システムから物体の各点までの距離を求め、物体の形状を測定していた。このような方法を簡便に行うために、合焦距離の設定を飛び飛びの一定間隔で行い、測定点の画像の合焦度の変化曲線（以下、合焦度曲線と呼ぶ）を二次曲線あるいはガウス曲線で近似し、これを補間曲線として、飛び飛びの少数の合焦度値から、中間の合焦度値を推定して、測定点において最大合焦度を与える合焦距離を算出することが行われている。例えば、石原満宏と佐々木博美の研究論文「合焦法による高速三次元形状計測」（精密工学会誌、６３巻、第１号、頁１２４−１２８、１９９７年に掲載）に代表的な実施例を見ることができる。
【０００３】
【発明が解決しようとする課題】
補間曲線を用いる方法により合焦度の計算量をかなり軽減できたが、全画素について補間計算を行おうとすると、依然、かなりの計算量であることに変わりはない。このため距離計算の速度が遅く、製品の三次元形状計測法としては生産分野への応用が制限されていた。
【０００４】
【課題を解決するための手段】
上記課題を解決するために、本発明においては、測定対象上の各点までの距離を最大合焦度を得る合焦距離として求めるかわりに、合焦度の比較処理により二つの基準合焦距離の中間点として測定点の距離を求める。合焦度曲線への当てはめ計算を行わないため、計算量の一層の低減化により距離計算の高速化を図ることができる。
【０００５】
【発明の実施の形態】
以下、本発明の好ましい実施の形態を、図面を参照して具体的に説明する。
【０００６】
図１は本発明における距離計算法を説明する側面図で、距離測定方向に垂直な方向から見た図である。距離の基点は、図には表示されていない測定装置の一点、例えば撮像レンズの物体側最前面の中心が焦点調節時に不動であればこの点を、あるいは不動のレンズ最前面の中心から一定の間隔をもって設定された光軸上の点、または撮像用センサの受光面の中心にとられるものとする。１は距離測定対象で、２はｉ番目の基準距離ｄｉにある等距離平面、３は等距離平面２から距離ｓだけ遠くにある、基準距離ｄｉ＋ｓにある等距離平面を示す。４は等距離平面２と３の中間に位置する等距離平面を示し、その距離ｄｍは基準距離ｄｉとｄｉ＋ｓの中間値でｄｉ＋（ｓ／２）に等しい。ここで／は除算を示し、以下においても同様である。５は基準距離ｄｉに焦点を合わせたときの前後の距離にある測定対象上の点の距離による合焦度の変化を示す典型的な合焦度曲線で、最大合焦度の近傍では十分な対称性を有しているものとする。６は間隔ｓを隔てた基準距離ｄｉ＋ｓに焦点を合わせたときの合焦度曲線を示す。７は合焦度曲線５と６の交点で、中間距離ｄｍに位置する測定点の、基準距離ｄｉとｄｉ＋ｓにそれぞれ焦点を合せたときに得られる画像中の像の合焦度を示し、互いに等しいことを示している。したがって、基準距離ｄｉとｄｉ＋ｓそれぞれにおいて測定対象の画像を取得し、画像の各画素において合焦度を計算し、二つの画像間で画素毎に合焦度を比較し、合焦度の等しい画素を選択的に抽出すれば、中間距離ｄｍの等距離平面４の上にある対象の測定点の画素を特定することができる。これらの測定点は画像上で等高線を形成する。
【０００７】
図２は、基準距離ｄｉに焦点を合せたときの画像において、中間距離ｄｍにある測定点が形成する等高線４ａを破線で示したものである。２ａは基準距離ｄｉの等高線を示している。同様に、図３は、基準距離ｄｉ＋ｓに焦点を合せたときの画像において、基準距離ｄｉ＋ｓの等高線３ａとともに、中間距離ｄｍにある測定点が形成する等高線４ａを破線で示したものである。合焦距離が異なる二枚の画像を取得し、前記のように合焦度の等しい画素を選択的に抽出することにより、中間距離にある測定点を検出することができる。
【０００８】
対象表面の全ての測定点の距離を求めるには、基準距離ｄｉを測定に必要な距離分解能に応じて、一定の間隔で対象の奥行き方向に移動して行き、対象全体を基準距離平面と中間距離平面で輪切りして行けばよい。
【０００９】
上記説明において、二枚の画像間で合焦度を比較し、合焦度が等しい画素を選択するとしたが、実用上は、合焦度の差は、完全に零の場合から許容される値まで、等しいとみなす範囲を設定することができる。この差の大きさの許容値の上限は、多くの場合、画像の雑音による合焦度の変動幅より大きくする必要があり、また範囲を狭めすぎると距離の測定精度は上がるが、等合焦度条件を満たす画素を検出できず、測定可能な点が極端にまばらになって実用的でないということが生じてくる。したがって、本発明の記載で「合焦度が等しい」という条件を課すとき、許容範囲の設定を認めるものとする。
【００１０】
合焦度の差について一定の許容範囲を設定するとき、測定精度を上げるには基準距離の間隔ｓを狭める必要があるが、その分、測定距離の範囲に設定すべき基準距離が増え、合焦度の計算量が膨大になるという問題が発生する。
【００１１】
一方、画像の輝度は、最大合焦度の近傍で極大点もしくは極小点を有し、合焦度と同様に合焦点を中心に対称性をもって変動する傾向を示す。そこで、この事実を利用して、合焦度を計算する基準距離を合焦度比較間隔ｓごとに設定しておき、その間隔の間を占める基準距離については、画素の輝度について比較処理を行い、輝度の等しい画素を選択することにより、合焦度計算を増加させずに、密に設定された基準距離の中間点として、測定点の距離を高精度に求めることができる。以上を要するに、まず等合焦度の画素を抽出した後、間隔ｓの間に局限された基準距離において、より間隔の狭い隣接する基準距離に焦点合わせされた二画像間の輝度比較を行い、中間距離を示す等輝度の画素を抽出することによって、効率的に合焦度による距離測定の精度向上を図ることができる。ここでも等輝度条件に輝度差の許容範囲を設けることができる。さらにカラー画像においては、輝度信号のかわりに、カラー信号成分について適用することができる。また用いる画像は、測定に適するように、予め必要に応じて、平滑化、鮮鋭化などの前処理を施しておくことができる。
【００１２】
上記本発明による距離測定法を効果的に実施するための具体的な距離測定装置の実施例を図４に示す。
【００１３】
８は測定対象、９は撮像レンズ、１０は偏光ビームスプリッタ、１１は４分の１波長板、１２は焦点距離が可変な凹面鏡、１３は測定対象８の像、１４は撮像用ＣＣＤイメージセンサ、１５は真空ポンプ、１６は電磁弁、１７はパーソナルコンピュータ、１８と１９はそれぞれパーソナルコンピュータ１７に内蔵されている画像処理装置搭載回路基板とディジタル・アナログ変換回路基板である。
【００１４】
測定対象８は撮像レンズ９の前側焦点Ｆ１から距離Ｐの位置にあり、焦点距離が可変な凹面鏡１２は、その頂点を撮像レンズ９の後側焦点Ｆ２に一致させて配置されている。偏光ビームスプリッタ１０と４分の１波長板１１は撮像レンズ９と凹面鏡１２の間に位置し、偏光ビームスプリッタ１０は、測定対象８から到来する入射光のうち、紙面に平行な偏光成分を通過させる。４分の１波長板１１は偏光ビームスプリッタ１０の透過光を直線偏光から円偏光に変換する働きがある。円偏光の透過光は凹面鏡１２により反射され、再び偏光ビームスプリッタ１０に入射する。この途中、凹面鏡１２の反射光は、４分の１波長板１１を再び通過し、円偏光から直線偏光に変化する。ただし、偏光の向きは最初の偏光ビームスプリッタ１０の透過光の偏光の向きと直交しているので、偏光ビームスプリッタ１０中の４５度の傾斜を有する界面で反射し、光路を９０度曲げられ、ＣＣＤイメージセンサ１４の方向に進行し像１３をセンサ１４の受光面に結ぶ。このように偏光ビームスプリッタ１０と４分の１波長板１１は、凹面鏡１２からの反射光が測定対象８の方向に戻らないようにして、そのエネルギーがＣＣＤイメージセンサ１４に有効に届くようにする働きをする。
【００１５】
凹面鏡１２は、その曲率Ｒを変えることにより、焦点距離ｆｍをｆｍ＝Ｒ／２にしたがって変える。図４の実施例では、円筒状の容器の一端を表面を反射性アルミニウム蒸着膜で被覆し鏡面を形成した薄板ガラスにより密閉し、他端から真空ポンプ１５により排気して、容器の外部の大気圧と内部の気圧との間に差圧を作り出し、差圧によって鏡面を内部に球面状に窪ませ、凹面鏡を形成している。差圧の大きさを電磁弁１６により制御し、鏡面の変形を制御して鏡面の曲率半径Ｒを変化させることにより焦点距離ｆｍを変えることができる。
【００１６】
上記光学系の配置において、曲率半径Ｒが無限大、すなわち凹面鏡１２の鏡面が平面になっているとき（平面鏡の状態）、撮像レンズの前側焦点Ｆ１から距離Ｐの位置にある測定対象８の距離測定点に焦点があっているとする。そこで、凹面鏡１２の鏡面の曲率半径Ｒをある有限の値に設定すると、焦点の合う位置がＺ＝２×ｆ×ｆ／Ｒだけ撮像レンズ９の方向に移動する。このとき、像１３の倍率はｆ／Ｐのまま変わらず、一定している。
【００１７】
像１３はＣＣＤイメージセンサ１４により画像信号に変換され、画像処理装置搭載回路基板１８に入力され、画像処理をうけ合焦度の計算が画素ごとに行われる。凹面鏡１２の曲率半径Ｒの設定は、パーソナルコンピュータ１７のプログラム制御の下で、パーソナルコンピュータ１７からディジタル・アナログ変換回路基板１８を経由して送出される制御信号により電磁弁１６を制御して行う。前記本発明に係る距離測定法の適用に際しては、凹面鏡１２の曲率半径Ｒを変えながら、焦点合わせ位置を基準距離ｄｉにしたがって段階的に移動して行き、その都度、焦点合わせ位置の異なる像１３を取得し、画像処理により画素ごとに合焦度を計算する。そしてｉ番目の基準距離ｄｉと距離ｓだけ遠い基準距離ｄｉ＋ｓの画像の合焦度を画素ごとに比較し、合焦度の差の大きさが許容範囲にある画素を距離ｄｉと距離ｄｉ＋ｓの中間距離にある画素として抽出する。比較間隔ｓは、基準距離ｄｉの段階的変化幅の整数倍にしておくと、比較画像の生成を効率的に行うことができる。以上の操作を、測定対象８が存在する距離範囲にわたって、基準距離ｄｉを段階的に変えながら行い、測定対象８の三次元形状情報を等距離線、等高線または等深度線の集合として取得する。
【００１８】
凹面鏡の変形する鏡面を実現する方法としては、空気圧、油圧などの流体圧で薄板状鏡面を球面状に変形させる以外に、静電気力、磁気力、あるいは圧電効果素子による機械的力によって鏡面を変形させる方法を用いることができる。
【００１９】
図４の実施例では、凹面鏡を用いたが、曲率が変わる凸面鏡を用いても同様な動作が期待できる。ただ焦点の合う位置の移動方向が、凹面鏡の場合と違って逆方向で、曲率半径Ｒが小さくなると共に撮像レンズ９とは反対の方向に移動する。
【００２０】
図４の実施例では、本発明にとって本質的な合焦度曲線の対称性について、合焦度曲線が最大合焦度点を中心に前後で、できるだけ完全に近い対称性を有するように構成上の配慮がなされている。すなわち、凹面鏡１２は撮像レンズ９の後側焦点Ｆ２に位置していて、鏡面の直径に等しい直径を有する絞りの働きをしており、主光線が物体側で光軸に平行になるような物体側テレセントリック光学系を構成している。
【００２１】
主光線が光軸に平行になる構成は、撮像レンズの前側焦点に絞りを設けた像側テレセントリック光学系においても実現することができる。この場合、主光線は像側で光軸に平行となって撮像用センサの受光面に入社する。この構成も合焦度曲線に対称性を与えるのに有効である。図５は、本発明に係る他の実施例として、像側テレセントリック光学系の構成を有する距離測定装置の撮像光学系の部分を示す模式図である。
【００２２】
８ａは測定対象、２０は撮像レンズ２１の前側焦点Ｆに配置された絞り、２２は直交する２つの平面鏡からなる固定光路変更器、２３は直交する２つの平面鏡からなる移動光路変更器、２４、２５および２６は光軸に平行な主光線、１３ａは、本図には示されていない撮像用ＣＣＤイメージセンサの受光面の位置Ｓに結像した測定対象８ａの像である。移動光路変更器２３を、図上で上下に移動することにより撮像レンズ２１と受光面の位置Ｓの間の光路長を調節し、合焦距離を変えることができる。
【００２３】
合焦度の計算法は種々の方法が知られている。例えば、エリック・クロツコフの研究論文「フォーカシング」（インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン誌、１巻、頁２２３−頁２３７、１９８７年に掲載、原題：ＥＲＩＣ  ＫＲＯＴＫＯＦ，″Ｆｏｃｕｓｉｎｇ，″Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１，ｐｐ．２２３−２３７（１９８７），Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ）に種々の方法が比較して示されている。一般的には、合焦領域は非合焦領域に比較して明暗変化の大きい高い空間周波数成分を含むことを特徴とする画像領域である。多くの合焦領域抽出法は、このような特徴を反映する画像特徴量を用いて合焦の度合いを示す合焦度を定義し、合焦度の大小により合焦領域を判別している。大別すると、画像領域の空間周波数分布の高周波成分を直接的にフーリエ変換により求め合焦度を評価する方法と、計算処理を高速化するため高周波数成分を間接的に反映する画像特徴量を用いて合焦度を定義する方法がある。後者の方法としては、注目画素の近傍領域において、明暗分布の一次差分の大きさあるいは明暗分布のエッジ強度を近傍領域内の全画素について総和し、その総和量を注目画素の合焦度とするもの、明暗分布の二次差分量の大きさを全近傍画素に渡って総和したものを注目画素の合焦度とするもの、近傍領域の画素の明るさの変動の大きさを表す統計量である、明るさに関する分散を注目画素の合焦度とするものなどがある。この他にも種々の合焦度の評価法があるが、いずれも注目画素の近傍領域における明るさ変動の大きさを評価し、焦点が合っている領域は変動が大きく、焦点が外れている領域は変動が小さいことを利用していて、測定対象の表面の性状と測定の目的に適した、判別能力が高く、求めやすい合焦度が使用され、普及している画像処理の手法の組み合わせによって得られる画像特徴量を用いて定義されている。本発明の実施に当たっても、測定対象と測定の目的に応じて、適切な合焦度を定義して用いれば良い。
【００２４】
【発明の効果】
本発明は、以上説明したような方法と形態で実施されるとき、以下に記載されるような効果を奏する。
【００２５】
合焦度曲線の対称性が認められる間隔だけ互いに離れた２つの基準距離のそれぞれに合焦して得た２枚の画像について合焦度を画素ごとに比較し、合焦度の差が一定値より小さい画素を２つの基準距離の中間の距離にある測定対象上の点の像として検出するだけであるから、計算処理が極めて単純で、合焦度に基づく距離測定の高速化に効果がある。
【００２６】
合焦度曲線の形を予め知る必要がないので、適用が容易で、適用範囲が広い。
【００２７】
広範囲の異なる合焦距離の画像を取得して、それらの合焦度を合焦度曲線に当てはめることを行う必要がなく、最大合焦度近傍で等合焦度の画素を抽出するだけであるので、安定した結果が得られる。
【００２８】
合焦度比較法と同様な画素特徴量の比較法によって、例えば輝度比較により等輝度画素を抽出する方法を後処理として追加することにより、容易に高精度化を図ることができる。
【図面の簡単な説明】
【図１】本発明における距離計算法を説明する側面図で、距離測定方向に垂直な方向から見た図である。
【図２】基準距離ｄｉに焦点を合せたときの画像において、中間距離ｄｍにある測定点が形成する等高線４ａを破線で、基準距離ｄｉの等高線２ａを実線で示した模式図である。
【図３】基準距離ｄｉ＋ｓに焦点を合せたときの画像において、中間距離ｄｍにある測定点が形成する等高線４ａを破線で、基準距離ｄｉ＋ｓの等高線３ａを実線で示した模式図である。
【図４】本発明に係る距離測定法を効果的に実施するための距離測定装置の実施例を示す模式図である。
【図５】本発明に係る距離測定法を効果的に実施するための距離測定装置の他の実施例の撮像光学系の部分を示す模式図である。
【符号の説明】
１  距離測定対象
２  ｉ番目の基準距離ｄｉにある等距離平面
３  等距離平面２から距離ｓだけ遠くにあり、基準距離ｄｉ＋ｓの等距離平面
４  等距離平面２と３の中間に位置する等距離平面
５  基準距離ｄｉに焦点を合わせたときの前後の距離における合焦度の変化を示す典型的な合焦度曲線
６  間隔ｓを隔てた基準距離ｄｉ＋ｓに焦点を合わせたときの合焦度曲線７  合焦度曲線５と６の交点
８  測定対象
９  撮像レンズ
１０  偏光ビームスプリッタ
１１  ４分の１波長板
１２  焦点距離が可変な凹面鏡
１３  測定対象８の像
１４  撮像用ＣＣＤイメージセンサ
１５  真空ポンプ
１６  電磁弁
１７  パーソナルコンピュータ
１８  画像処理装置搭載回路基板
１９  ディジタル・アナログ変換回路基板
８ａ  測定対象
２０  絞り
２１  撮像レンズ２１
２２  直交する２つの平面鏡からなる固定光路変更器
２３  直交する２つの平面鏡からなる移動光路変更器
２４  光軸に平行な主光線
２５  光軸に平行な主光線
２６  光軸に平行な主光線
１３ａ  測定対象８ａの像
【図１】
0004092730.tif 000002
【図２】
0004092730.tif 000003
【図３】
0004092730.tif 000004
【図４】
0004092730.tif 000005
【図５】
0004092730.tif 000006