(57)【要約】【課題】  合焦面を測定断面とし、測定対象の相対移動の結果、測定断面により測定対象を走査して、複数の測定断面の画像から合焦度に基づき輪郭線を順次抽出し、測定対象の三次元形状を測定する方法において、測定対象の相対移動方向が撮像レンズ系の光軸に垂直もしくは交差する方向に設定でき、測定対象の大きさと移動方向の設定の自由度が大きい測定法を得る。【解決手段】  撮像レンズ系を両側テレセントリック光学系として構成し、撮像レンズ系の光軸に対して斜めに設定した測定断面ＡＢが合焦面となるように二次元撮像素子３の受光面ａｂを撮像レンズ系の光軸に対し斜めに設定し、撮像レンズ系の光軸に対し垂直もしくは交差する方向に測定対象１を相対移動させることにより測定断面ＡＢにより測定対象１を走査して、複数の測定断面の画像の合焦度比較により最大合焦度の画素を検出する。【選択図】  図１
2006003335.tif 000002
【特許請求の範囲】
物体の表面形状を物体の画像を用いて非接触で測定する三次元物体形状測定方法であって、撮像レンズの光軸に対して斜めに交差する測定断面にある物点の像が結ぶ面に光電変換素子の二次元配列からなる二次元撮像素子の受光面を設置して物体の画像を取得し、前記物体の画像から焦点の合った合焦画像領域を抽出して、抽出した合焦画像領域から測定断面と物体表面が交差してできる前記物体の輪郭線を検出することにより物体の三次元形状を測定する非接触三次元物体形状測定方法において、前記撮像レンズをテレセントリック光学系の構成となし、物体を撮像レンズの光軸と交差させる方向に相対的に平行移動させ、前記受光面と共役な関係にある前記測定断面より前記物体を走査して、一定の移動距離毎に測定断面に焦点を合せた物体の画像を複数取得し、物体表面の同一点に対応する複数の物体の画像上の画素の合焦度を相互に比較して最大の合焦度を与える物体の移動距離を決定し、当該画素の座標と最大の合焦度を与える物体の移動距離から、物体表面の当該測定点の三次元座標を移動方向の座標軸と、光軸方向の座標軸と、これら二方向に直交する方向の座標軸について求めることを特徴とする三次元物体形状測定方法
【発明の詳細な説明】
【発明の詳細な説明】
【産業上の利用分野】
【０００１】  本発明は、種々の監視システム、交通計測システム、自動走行車、溶接、シーリング等の作業を行うロボット、製品の外観形状を自動検査する装置などの分野で利用されるもので、各システムあるいは各装置が対象とする物体上の各点の三次元位置座標を測定することにより物体の位置、距離あるいは形状を非接触に測定する方法および装置に関するものである。
【背景技術】
【０００２】  従来の代表的な非接触による二次元位置座標あるいは距離の測定方法には、三角測量法と合焦点法がある。前者は測定対象の表面にレーザ光を投射し、対象の表面から生じる反射光を投射方向から一定角度傾けた方向からテレビカメラで受光し、輝点像の位置の変化から三角測量の原理により、カメラに関連して設置された基準座標系における対象の三次元位置座標あるいは基準点からの距離を測定するものである。三角測量法は、板状の投射レーザ光と測定対象の表面とが交差してできる輝線で表される輪郭線を測定するので光切断法とも呼ばれる。後者は、距離を測定すべき対象の表面部分の像をＣＣＤ撮像素子のような光電変換素子の二次元配列からなるテレビカメラの受光面（光電変換面）上に結像させるために、対象あるいは撮像レンズの位置を調整して像の焦点を合わせる焦点調節機構を用いて、焦点調節機構の移動量から距離を測定するものである。対象表面全体の距離を求めるには、焦点調節機構を連続的に動かして、機構の移動位置ごとに焦点の合った表面部分を画像処理により検出し表面の各部の距離を求める。また基準座標系を設定することにより物体表面の各点の二次元位置座標を求めることができる。以下の記述では、各点の三次元位置座標を求めることと、異なる三次元位置座標間の距離を求めることは同じ測定方法によるものとし、技術的には同じ範疇にあるものとして特に両者を区別せずに用いることとする。
【発明が解決しようとする課題】
【０００３】  三角測量法では、原理的に、対象からの反射散乱光を受光するために、受光光学系を測定光投射光学系に対し傾斜して配置する必要がある。このため対象の測定部分に死角が生じるという問題があり、特に、対象が多数の構成要素が密集したものであると、三角測量法は実際上適用不可能であった。また側方からレーザ光を投射するために投射光学系を測定空間に配置する必要があり、測定空間を塞ぐという問題がある。さらに投射光学系が横に張り出すため測定装置が全体として大きくなる傾向があり、視覚センサとしてロボットに搭載する目的には不利となっている。
【０００４】  一方、従来の合焦点法では死角は少ないが、撮像光学系の光軸に沿って、すなわち対象に向かって移動する焦点調節機構を用いているため焦点調節機構の動作に時間を要し、物体までの距離測定を瞬時に行うことができないという欠点があり、また対象は、測定期間中、光軸と垂直の方向、すなわち横方向に移動することができないという制約があった。したがって、長尺の物体の形状測定、工場のコンベヤーベルトにより運ばれてくる製品の連続測定、ロボットの倣い制御に用いる距離センサ、あるいは屋外の移動物体の測定のように、測定期間中、対象が移動する場合の測定には従来の合焦点法は適していなかった。
【０００５】  本発明は、距離および三次元位置測定における死角の問題が少ない合焦点法において、光軸方向の焦点調節機構を必要としない撮像装置を用いることによって、高速の測定と光軸に対し横移動する対象の距離測定、あるいは三次元位置座標測定ができるようにすることを目的とするものである。
【課題を解決するための手段】
【０００６】  上記目的を達成するために、本発明の合焦点法に基づく非接触三次元物体形状測定法においては、撮像装置において、撮像レンズの光軸に対して斜めに交差する測定断面を想定し、撮像レンズによる測定断面の像が結ぶ面にＣＣＤ撮像素子のような光電変換素子を二次元配列した二次元撮像素子の受光面を配置して、斜めに奥行き方向に広がる測定断面と物体表面が交差してできる物体の輪郭線を物体の画像から焦点の合った画像領域として検出し、測定断面により物体表面を横方向に走査して物体表面の異なる位置の輪郭線を連続して検出することにより対象の表面の位置と形状を得るようにする。
【０００７】  そのため本発明の撮像装置では、通常のテレビカメラと異なり、光学像を受け光電変換する撮像素子の受光面を撮像レンズの光軸に垂直に配置することはしないで、測定断面の撮像レンズの光軸に対する傾きに依存して、受光面のレンズの光軸に対する角度を９０°からずらして配置する。その結果、斜め奥行き方向に広がる測定断面の近傍にある対象表面には、レンズの焦点調節をすることなしに、焦点が合うことになり、撮像素子の出力から得られる画像信号の中から画像情報処理により合焦領域を抽出することによって、合焦領域から対象を斜めに切断する断面の輪郭線を求めることができる。
【作用】
【０００８】  上記のような撮像光学系の配置を採ることによって、対象の断面の輪郭形状が光学系の焦点調節をすることなしに画像の取得と同時に得られ高速測定が可能となる。また測定断面による横方向の走査により対象表面を走査するから対象が横移動する場合の測定も可能になる。また対象の横移動を対象表面の走査に積極的に利用することによって、コンベヤーベルト上の製品の形状測定に容易に適用することができる。したがって長尺の対象についても測定が可能となる。
【実施例】
【０００９】  実施例について図面を参照して説明する。図１は本発明にかかる三次元物体形状測定方法を実施した測定装置の基本的な構成を撮像光学系の断面図により示している。１は半球状の測定対象を示す。本発明では、撮像レンズ系は、いわゆる両側テレセントリック光学系を構成していて、２−１は絞り板でその中心部に開口２−２を有し、絞り板２−１の前側にレンズ２−３を、後側にレンズ２−４をそれぞれ後側焦点と前側焦点を開口２−２の中心と一致するように配置して撮像レンズ系を構成する。ここで上記レンズの光軸は一致して図の紙面内にあり、ＣＣＤ撮像素子を例とする光電変換素子を二次元配列した二次元撮像素子３は紙面に垂直に配置され、その受光面ａｂは光軸に対し図示のごとく傾斜し、同じく紙面に垂直な測定断面ＡＢと光学的に共役関係にあり前記両側テレセントリック光学系をなす撮像系の結像面となっている。すなわち測定断面ＡＢは受光面ａｂを結像面とする撮像光学系の合焦面になっていて、受光面ａｂの両端ａ、ｂは、それぞれ測定断面ＡＢの端Ａ、Ｂの像となっている。このとき受光面ａｂおよび測定断面ＡＢの撮像レンズ系の光軸に対する傾斜角度をそれぞれ角度φおよび角度θとすると、測定断面上の測定点に対する横倍率Ｍはレンズ２−３の焦点距離をｆ１、レンズ２−４の焦点距離をｆ２とすると、Ｍ＝ｆ２／ｆ１で与えられ、縦倍率は横倍率Ｍの二乗となる。また受光面ａｂおよび測定断面ＡＢの撮像レンズ系の光軸に対する傾斜角度をそれぞれ角度φおよび角度θとすると、Ｍ＝ｔａｎθ／ｔａｎφと表される。横倍率を１とすると縦倍率も１となり、θ＝φ＝４５°となる。図１の実施例では、簡明なθ＝φ＝４５°について示している。後で述べるように、受光面ａｂ上に得られる測定対象１の画像の各点に測定断面ＡＢ上の三次元空間座標を対応付けることが容易となり、対象の三次元形状を得るための計算処理が簡単となる。従来の三角測量法（光切断法）では、撮像レンズ系の側方、測定断面ＡＢの延長上の位置に、レーザ光を投射するための光学系が配置されるが、本発明では、そのような光学系を側方に配置する必要がないため小形で簡素な構成となっている。なお本実施例では、照明装置は示されていないが、実体顕微鏡におけるように、ＬＥＤ光源等を用いた通常の照明装置を測定対象の表面形状に応じて適宜配置して用いることができる。【００１０】  測定対象１は搬送体４に載せられて光軸に垂直方向にかつ紙面に平行に移動する。図１において、測定断面ＡＢ−１は測定対象１の図示された現在から一定間隔Ｌをおいた前の位置にあったときに、測定対象１を基準として示した測定断面ＡＢの相対位置を示しており、また測定断面ＡＢ＋１は、現在位置から同じ一定間隔Ｌ移動したときの測定対象１を基準として示した測定断面ＡＢの相対位置を示している。このとき測定断面ＡＢ上の左端ＢからＮ番目の列の画素（受光面ａｂにおける画像の画素に対応する測定断面ＡＢ上に想定した画素で、両画素は光学的に共役関係にある）は、Ｐ画素分異なる測定断面ＡＢ−１の左端（測定断面ＡＢの左端Ｂに一致する）からＮ−Ｐ番目の列の画素に、また同様に、測定断面ＡＢ＋１の左端（測定断面ＡＢの左端Ｂに一致する）からＮ−Ｐ番目の列の画素��、同一の測定対象１の測定点に対する画素として対応している。この関係は、画素のピッチをｓとするとき、関係式Ｐｓ＝Ｌ／ｃｏｓ４５°が成り立つように測定断面ＡＢの画像取得間隔Ｌを定めれば成り立つ。その理由は、撮像レンズ系がテレセントリック光学系を構成しているので、絞り開口２−２の中心を通る主光線が測定断面ＡＢ側および受光面ａｂ側において光軸に平行に進むためである。図１には、このような主光線の代表例として、測定断面ＡＢの左端Ｂ、右端Ａ、光軸点Ｃおよび左端ＢからＮ番目の列の測定点に対応する画素を通って、受光面ａｂの左端ａ、右端ｂ、光軸点ｃおよび右端ｂからＮ番目の列の測定点に対応する画素に至る主光線Ａａ、Ｂｂ、ＣｃおよびＮｎが示されている。一つの測定点に対しこのような複数の測定断面の画像を取得して、対応する画素の合焦度を比較すると、測定対象上の測定点に近い測定断面の画素が高い合焦度を示すので、最も高い合焦度を示す測定断面の画像と、その画素上の測定点に対応する画素を検出することにより、測定点の三次元座標を求めることができる。例えば、第一の座標成分は最も高い合焦度を示す測定断面の画像を与える搬送体４の基準点からの移動距離から得られる。光軸方向の第二の座標成分は測定断面ＡＢ上の測定点に対応する画素の測定断面ＡＢの左端Ｂから数えた列番号から画素のピッチと測定断面ＡＢの傾斜角から求めることができる。第三の座標成分は、図１において、紙面に垂直な成分であるから、測定点の対応画素の紙面に垂直な方向に数えた当該画素の行番号から画素のピッチの値を用いて求めることができる。【００１１】  図２は最大合焦度を与える移動距離が、一定間隔Ｌの中間にあると推定される場合において、測定断面の各相対位置において合焦度の値を示したものである。この場合、測定断面ＡＢと測定断面ＡＢ＋１の中間において測定断面が測定点を通過し最大の合焦度を与えるものと推定される。一般に焦点はずれに伴う合焦度の変化はガウス（Ｇａｕｓｓ）関数により良く近似されるので、ガウス（Ｇａｕｓｓ）関数曲線を図２に示すように合焦度データに当てはめ、最大合焦度を与える測定対象のより正確な移動距離と測定断面の相対位置を決定することができる。この場合、測定対象の移動距離と測定点の画素座標値は、整数値ではなく実数値となるが、三次元座標の決定法は整数座標値の場合と同様である。このように、複数の測定断面の画像を比較処理することにより、精度の高い測定が可能となる。【００１２】  合焦度の計算法は種々の方法が知られている。例えば、エリック・クロツコフの研究論文「フォーカシング」（インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン誌、１巻、頁２２３−頁２３７、１９８７年に掲載、原題：ＥＲＩＣ  ＫＲＯＴＫＯＦ，“Ｆｏｃｕｓｉｎｇ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１，ｐｐ．２２３−２３７（１９８７），Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ）に種々の方法が比較して示されている。一般的には、合焦領域は非合焦領域に比較して明暗変化の大きい高い空間周波数成分を含むことを特徴とする画像領域である。多くの合焦領域抽出法は、このような特徴を反映する画像特徴量を用いて合焦の度合いを示す合焦度を定義し、合焦度の大小により合焦領域を判別している。大別すると、画像領域の空間周波数分布の高周波成分を直接的にフーリエ変換により求め合焦度を評価する方法と、計算処理を高速化するため高周波数成分を間接的に反映する画像特徴量を用いて合焦度を定義する方法がある。後者の方法としては、注目画素の近傍領域において、明暗分布の一次差分の大きさあるいは明暗分布のエッジ強度を近傍領域内の全画素について総和し、その総和量を注目画素の合焦度とするもの、明暗分布の二次差分量の大きさを全近傍画素に渡って総和したものを注目画素の合焦度とするもの、近傍領域の画素の明るさ（濃度）の変動の大きさを表す統計量である明るさ（濃度）に関する分散を注目画素の合焦度とするものなどがある。【００１３】  この他にも種々の合焦度の評価法があるが、いずれも注目画素の近傍領域における明るさ（濃度）変動の大きさを評価し、焦点が合っている領域は変動が大きく、焦点が外れている領域は変動が小さいことを利用していて、測定対象の表面の性状と測定の目的に適した、判別能力が高く、求めやすい合焦度が使用され、普及している画像処理の手法の組み合わせによって得られる画像特徴量を用いて定義されている。本発明の実施に当たっても、測定対象と測定の目的に応じて、適切な合焦度を定義して用いれば良い。【００１４】  以上において述べた画像処理手法や処理を高速化するためのハードウエア技術としての画像処理装置の構成については従来技術を適用でき、図１で示した実施例では特に述べていない。また二次元撮像素子を収容して駆動制御し、同素子より生ずる画像信号を適正な電気信号として出力する、いわゆる撮像カメラの全体構成についても本発明内容に直接関係しないので図示していない。さらに画像処理を行う計算機などのデータ処理装置（図示していない）に画像データを入力するために、画像信号を撮像カメラから受け取り、これを適正なディジタル信号に変換する信号変換装置についても従来の技術と知識により容易に構成できるものであり図示していない。さらに搬送体４を駆動制御するための装置、および以上の諸装置を全体として協調して動作させるための制御システムについても本発明の実施例の説明に直接関わらないので図示していないが、従来技術により実施できるものである。
【発明の効果】
【００１５】  本発明は、以上説明したように構成されているので、以下に記載されるような効果を奏する。
従来の合焦法の構成と異なり、合焦面を撮像光学系の光軸に対して斜めに設定し、合焦面を測定断面として、測定対象を測定断面により光軸に垂直にあるいは交差する方向に、横方向に走査することによって測定対象の三次元形状を得る構成となっているので、走査距離が光軸方向の測定空間の大きさに制限されず、長尺の対象でも測定可能で、また測定対象の移動を撮像光学系の光軸方向に制限する必要がないので測定システムの構成の自由度が大きく、製造業における生産ライン、種々の監視システム、交通計測システム、自動走行車、溶接、シーリング等の倣い作業を行うロボットなどに広く適用することができる。また焦点調節機構を必要としないので、測定対象を移動させながら高速に測定することができる。
【００１６】  光切断法のように測定部分に撮像光学系の斜め側方からレーザ光を照射する必要がないので、照射光の陰となる部分に測定不能となる死角が生じない。このため高密度に集積された電子部品などの凹凸のある複雑な測定対象の形状測定において優れている。
【００１７】  また光切断法のように測定部分に撮像光学系の斜め側方からレーザ光を照射するための光投射光学系を必要としないため、測定装置を小形に構成でき、作業経路を倣うための三次元形状測定用視覚センサとしてロボットに搭載するのに適している。
【図面の簡単な説明】
【図１】  測定対象と本発明における撮像光学系の実施例を示す垂直断面図である。
【図２】  測定断面の相対位置と、同相対位置ごとに計算された測定点に対応する画素の合焦度の関係を示す図で、黒丸は合焦度の計算値を、曲線は合焦度データを近似するガウス関数曲線を示す。
【符号の説明】
１        測定対象
２−１    絞り板
２−２    開口
２−３    レンズ
２−４    レンズ
３        二次元撮像素子
４        搬送体
ＡＢ      測定断面
ＡＢ−１  測定断面
ＡＢ＋１  測定断面
ａｂ      受光面
Ａａ      主光線
Ｂｂ      主光線
Ｃｃ      主光線
Ｎｎ      主光線
【図１】
2006003335.tif 000003
【図２】
2006003335.tif 000004