(57)【特許請求の範囲】
【請求項１】
三次元空間に存在する物体の画像を用いて、物体の表面形状を非接触で測定する三次元物体形状測定方法において、撮像レンズの光軸に対して斜めに交差する測定断面の像が結ぶ面に、光電変換素子を互いに近接して、各次元とも大略等ピンチで二次元配列した二次元撮像素子の受光面を設置して物体の画像を取得し、前記物体の画像から焦点の合った合焦画像領域を抽出して、前記合焦画像領域から測定断面と物体表面が交差してできる物体の輪郭線を検出することにより物体の三次元形状を測定することを特徴とする非接触三次元物体形状測定方法
【請求項２】
三次元空間に存在する物体の画像を用いて、物体の表面形状を非接触で測定する三次元物体形状測定装置において、撮像レンズの光軸に対して斜めに交差する測定断面の像が結ぶ面に、光電変換素子を互いに近接して、各次元とも大略等ピッチで二次元配列した二次元撮像素子の受光面を有する撮像装置と、前記測定断面により物体表面を撮像レンズの光軸に対し交差する方向に走査するための走査機構と、測定断面と物体表面が交差してできる物体の輪郭線を物体の画像から検出する画像処理装置とを有することを特徴とする非接触三次元物体形状測定装置
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、種々の監視システム、交通計測システム、自動走行車、溶接、シーリング等の作業を行うロボット、製品の外観形状を自動検査する装置などの分野で利用されるもので、各システムあるいは各装置が対象とする物体上の各点の三次元位置座標を測定することにより物体の位置、距離あるいは形状を非接触に測定する方法および装置に関するものである。
【０００２】
【従来の技術】
従来の代表的な非接触による三次元位置座標あるいは距離の測定方法には、三角測量法と合焦点法がある。前者は測定対象の表面にレーザ光を投射し、対象の表面から生じる反射光を投射方向から一定角度傾けた方向からテレビカメラで受光し、輝点像の位置の変化から三角測量の原理により、カメラに関連して設置された基準座標系における対象の三次元位置座標あるいは基準点からの距離を測定するものである。三角測量法は、板状の投射レーザ光と測定対象の表面とが交差してできる輝線で表される輪郭線を測定するので光切断法とも呼ばれる。後者は、距離を測定すべき対象の表面部分の像をＣＣＤ撮像素子のような光電変換素子の二次元配列からなるテレビカメラの受光面（光電変換面）上に結像させるために、対象あるいは撮像レンズの位置を調整して像の焦点を合わせる焦点調節機構を用いて、焦点調節機構の移動量から距離を測定するものである。対象表面全体の距離を求めるには、焦点調節機構を連続的に動かして、機構の移動位置ごとに焦点の合った表面部分を画像処理により検出し表面の各部の距離を求める。また基準座標系を設定することにより物体表面の各点の三次元位置座標を求めることができる。以下の記述では、各点の三次元位置座標を求めることと、異なる三次元位置座標間の距離を求めることは同じ測定方法によるものとし、技術的には同じ範疇にあるものとして特に両者を区別せずに用いることとする。
【０００３】
【発明が解決しようとする課題】
三角測量法では、原理的に、対象からの反射散乱光を受光するために、受光光学系を測定光投射光学系に対し傾斜して配置する必要がある。このため対象の測定部分に死角が生じるという問題があり、特に、対象が多数の構成要素が密集したものであると、三角測量法は実際上適用不可能であった。また側方からレーザ光を投射するために投射光学系を測定空間に配置する必要があり、測定空間を塞ぐという問題がある。さらに投射光学系が横に張り出すため測定装置が全体として大きくなる傾向があり、視覚センサとしてロボットに搭載する目的には不利となっている。
【０００４】
一方、従来の合焦点法では死角は少ないが、撮像光学系の光軸に沿って、すなわち対象に向かって移動する焦点調節機構を用いているため焦点調節機構の動作に時間を要し、物体までの距離測定を瞬時に行うことができないという欠点があり、また対象は、測定期間中、光軸と垂直の方向、すなわち横方向に移動することができないという制約があった。したがって、長尺の物体の形状測定、工場のコンベヤーベルトにより運ばれてくる製品の連続測定、ロボットの倣い制御に用いる距離センサ、あるいは屋外の移動物体の測定のように、測定期間中、対象が移動する場合の測定には従来の合焦点法は適していなかった。＿
【０００５】
本発明は、距離および三次元位置測定における死角の問題が少ない合焦点法において、光軸方向の焦点調節機構を必要としない撮像装置を用いることによって、高速の測定と光軸に対し横移動する対象の距離測定、あるいは三次元位置座標測定ができるようにすることを目的とするものである。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の合焦点法に基づく非接触三次元物体形状測定法においては、撮像装置において、撮像レンズの光軸に対して斜めに交差する測定断面を想定し、撮像レンズによる測定断面の像が結ぶ面にＣＣＤ撮像素子のような光電変換素子を二次元配列した二次元撮像素子の受光面を配置して、斜めに奥行き方向に広がる測定断面と物体表面が交差してできる物体の輪郭線を物体の画像から焦点の合った画像領域として検出し、測定断面により物体表面を横方向に走査して物体表面の異なる位置の輪郭線を連続して検出することにより対象の表面の位置と形状を得るようにする。
【０００７】
そのため本発明の撮像装置では、通常のテレビカメラと異なり、光学像を受け光電変換する撮像素子の受光面を撮像レンズの光軸に垂直に配置することはしないで、測定断面の撮像レンズの光軸に対する傾きに依存して、受光面のレンズの光軸に対する角度を９０゜からずらして配置する。その結果、斜め奥行き方向に広がる測定断面の近傍にある対象表面には、レンズの焦点調節をすることなしに、焦点が合うことになり、撮像素子の出力から得られる画像信号の中から画像情報処理により合焦領域を抽出することによって、合焦領域から対象を斜めに切断する断面の輪郭線を求めることができる。
【０００８】
【作用】
上記のような撮像光学系の配置を採ることによって、対象の断面の輪郭形状が光学系の焦点調節をすることなしに画像の取得と同時に得られ高速測定が可能となる。また測定断面による横方向の走査により対象表面を走査するから対象が横移動する場合の測定も可能になる。また対象の横移動を対象表面の走査に積極的に利用することによって、コンベヤーベルト上の製品の形状測定に容易に適用することができる。したがって長尺の対象についても測定が可能となる。
【０００９】
【実施例】
実施例について図面を参照して説明すると、図１は本発明にかかる三次元物体形状測定方法を実施した測定装置の基本的な構成を撮像光学系の断面図により示していて、撮像レンズ２の光軸４は断面図の紙面にあり、ＣＣＤ撮像素子を例とする光電変換素子を二次元配列した二次元撮像素子３は紙面に垂直に配置され、その受光面（ａｂ）７は光軸に対し図示のごとく角度φだけ傾斜し、同じく紙面に垂直な測定断面（ＡＢ）８の撮像レンズ２に関する結像面となっている。すなわち測定断面（ＡＢ）８は受光面（ａｂ）７を結像面とする撮像光学系の合焦面になっていて、受光面（ａｂ）７の端ａ、ｂは、それぞれ測定断面ＡＢの端Ａ、Ｂの像となっている。このとき測定断面（ＡＢ）８の撮像レンズの光軸４に対する傾斜角度を図示のごとく角度θとし、撮像レンズ２のレンズ中心（一般的にはレンズの物体側主点）Ｏから測定断面（ＡＢ）８を含む平面に立てた垂線の足をＨとして距離ＯＨを測定断面（ＡＢ）８の撮像レンズ２からの距離ｄとし、さらに撮像レンズ２の焦点距離をｆとすると、これらの諸量の間には、ｄ＝ｆ×ｃｏｓθ×（ｔａｎθ＋ｔａｎφ）の関係式が成立している必要がある。
【００１０】
特に、角度θが４５゜で、ｆ＝ｄ×ｓｉｎθの関係が成り立つように上記諸量を設定すると、角度φも４５゜となり、急傾斜となることが避けられ、受光面（ａｂ）７への像の入射角度が極端に大きくならず（入射光が受光面に平行するように入射せず）、受光条件を悪化させることなく本発明を実施できる構成となる。このとき撮像レンズ２の中心Ｏから測定断面（ＡＢ）８の中心（光軸上の点）までの距離は２ｆとなり、撮像レンズの光軸４の近傍の撮像倍率が１となって、受光面（ａｂ）７と測定断面（ＡＢ）８は全体にわたりほぼ同じ寸法で一対一に対応する。厳密には撮像レンズの光軸４上で倍率が１であり、測定断面（ＡＢ）８の端Ａに近づくにしたがい倍率は１から次第に大きくなり、端Ｂに近づくにっれて倍率は１より小さくなって行く。この変化が無視できる実施条件では測定断面（ＡＢ）８の全体に渡って倍率は１として良く、後で述べるように、受光面（ａｂ）７上に得られる測定対象１の画像の各点に測定断面（ＡＢ）８上の三次元空間座標を対応付けることが容易となり、対象の三次元形状を得るための計算処理が簡単となる。図１は、角度θ、φが、共に４５゜となる実施例について示している。従来の三角測量法（光切断法）では、撮像光学系の側方、測定断面の延長上の位置に、レーザ光を投射するための光学系が配置されるが、本発明では、そのような光学系を側方に配置する必要がないため小形で簡素な構成となっている。
【００１１】
測定対象１の表面と測定断面（ＡＢ）８が交わってできる三次元曲線または直線として、測定対象１の輪郭線９（平行斜線で表示）が決定される。図１において、測定対象１をコンベヤーベルトのような搬送体６に載せて、矢印で示すように（図１と逆方向でも実施可能である）一定の速度で水平方向に、一般的には光軸４に対し垂直あるいは交差する方向に搬送すると、測定対象１の表面が測定断面（ＡＢ）８により一定速度で走査される。円環状光源５（光ファイバーの束で構成される場合はランプハウスと、円環状光源とランプハウスを繋ぐ光ファイバーガイドが必要になるが図には示されていない）により周囲から測定対象１に照明を与えながら、二次元撮像素子３により一定の時間間隔で測定対象１を撮像することによって、一定の間隔で測定対象１の異なる位置における断面の輪郭線９の画像を取り込むことができる。搬送速度が一定でなければ断面の輪郭線９の間隔は不等間隔となることは当然である。輪郭線９の像は、測定断面（ＡＢ）８上にあるから常に焦点が合っていて、二次元撮像素子３の出力として得られる測定対象１の画像から、従来の画像処理技術を適用して、合焦している画像領域として容易に抽出することができる。
【００１２】
図２は、搬送体６上の平面に置かれた測定対象１を測定断面８により走査した時に得られる測定対象１上の異なる位置にあるＮ個の測定断面８をそれぞれ（１）、（２）、（３）、・・・、（Ｎ−２）、（Ｎ−１）、（Ｎ）として、また測定断面８の各々と測定対象１の表面とが交わるところとして検出されるＮ個の輪郭線９をそれぞれ［１］、［２］、［３］、・・・、［Ｎ−２］、［Ｎ−１］、［Ｎ］として、測定対象１の側面図（ａ）と平面図（ｂ）にそれぞれ表示したもので、平面図（ｂ）は輪郭線９の系列により測定対象１の三次元形状を表している。このとき搬送体６上の平面にできる輪郭線９も測定対象１の輪郭線の続きとして表示されている。側面図（ａ）において、（Ｎ−２）番目、（Ｎ−１）番目および（Ｎ）番目の測定断面８の、それぞれＤ１、Ｄ２、Ｄ３で示した測定部位は、従来の光切断法においては測定の死角になる部分で、測定断面８に相当する方向から投射される板状の測定光が届かない部分となる。本発明では、このような測定上の死角は生ぜず、平面図（ｂ）の対応する輪郭線［Ｎ−２］、［Ｎ−１］、［Ｎ］に見られるように欠けることなく測定できる。
【００１３】
合焦領域の抽出法は種々の方法が知られている。例えば、エリック・クロツコフの研究論文「フォーカシング」（インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン誌、１巻、頁２２３−頁２３７、１９８７年に掲載、原題：ＥＲＩＣ  ＫＲＯＴＫＯＦ，”Ｆｏｃｕｓｉｎｇ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１，ｐｐ．２２３−２３７（１９８７），Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ）に種々の方法が比較して示されている。一般的には、合焦領域は非合焦領域に比較して明暗変化の大きい高い空間周波数成分を含むことを特徴とする画像領域である。多くの合焦領域抽出法は、このような特徴を反映する画像特徴量を用いて合焦の度合いを示す合焦度を定義し、合焦度の大小により合焦領域を判別している。大別すると、画像領域の空間周波数分布の高周波成分を直接的にフーリエ変換により求め合焦度を評価する方法と、計算処理を高速化するため高周波数成分を間接的に反映する画像特徴量を用いて合焦度を定義する方法がある。後者の方法としては、注目画素の近傍領域において、明暗分布の一次差分の大きさあるいは明暗分布のエッジ強度を近傍領域内の全画素について総和し、その総和量を注目画素の合焦度とするもの、明暗分布の二次差分量の大きさを全近傍画素に渡って総和したものを注目画素の合焦度とするもの、近傍領域の画素の明るさ（濃度）の変動の大きさを表す統計量である明るさ（濃度）に関する分散を注目画素の合焦度とするものなどがある。
【００１４】
この他にも種々の合焦度の評価法があるが、いずれも注目画素の近傍領域における明るさ（濃度）変動の大きさを評価し、焦点が合っている領域は変動が大きく、焦点が外れている領域は変動が小さいことを利用していて、測定対象の表面の性状と測定の目的に適した、判別能力が高く、求めやすい合焦度が使用され、普及している画像処理の手法の組み合わせによって得られる画像特徴量を用いて定義されている。本発明の実施に当たっても、測定対象と測定の目的に応じて、適切な合焦度を定義して用いれば良い。
【００１５】
抽出された合焦領域は、輪郭線と輪郭線の近傍画素を含むので、一般に帯状を呈し幅があり、より高精度に輪郭線の位置座標を求めるためには、合焦領域の中心を求める必要がある。合焦領域の中心を求める方法としては、画像処理技術において一般に細線化処理として知られている方法や単純に合焦領域を二値化して領域の幅の中心を取る方法や各画素の合焦度の値を重みとして合焦領域の幅方向の重心を求める方法など既存の画像処理手法やその変形、それらの組み合わせによって、画像処理量と得られる結果の精度の兼ね合いで適切な方法を取ることができる。なお輪郭線の検出処理をする前に、抽出された合焦領域に平滑化処理を施したり、孤立雑音を除くなどの雑音の影響を除く処理を行うことも、得られる画像の品質と目的とする測定精度に応じて行うことがある。
【００１６】
以上において述べた画像処理手法や処理を高速化するためのハードウエア技術としての画像処理装置の構成については従来技術を適用でき、図１で示した実施例では特に述べていない。また二次元撮像素子を収容して駆動制御し、同素子より生ずる画像信号を適正な電気信号として出力する、いわゆる撮像カメラの全体構成についても本発明内容に直接関係しないので図示していない。さらに画像処理を行う計算機などのデータ処理装置（図示していない）に画像データを入力するために、画像信号を撮像カメラから受け取り、これを適正なディジタル信号に変換する信号変換装置についても従来の技術と知識により容易に構成できるものであり図示していない。さらに搬送体６を駆動制御するための装置、および以上の諸装置を全体として協調して動作させるための制御システムについても本発明の実施例の説明に直接関わらないので図示していないが、従来技術により実施できるものである。
【００１７】
受光面（ａｂ）３は測定断面（ＡＢ）８の結像面になっているから、受光面３で受ける画像の合焦領域にある各画素は、測定断面８上の各点に一対一に対応する。したがって合焦領域として得られる輪郭線９の像の各画素は、測定断面８上にある輪郭線９の各点と一対一に対応している。このことから、測定断面８上に三次元座標が既知の基準点を格子状に設定し、それらの基準点を撮像して対応する画素の画像上の座標を求め、予め画素座標と対応する三次元座標の変換表を作成しておくことができる。この時、撮像レンズ２の光学収差も同時に補正されている。
【００１８】
具体的には、例えば、基準点として黒の背景をもつ白い円板を測定断面（ＡＢ）８上の格子点に複数個配置してこれらの円板を撮像し、画像処理により円板の二値化像を得て各円板の中心位置を算出する。そしてこれらの中心位置の画像上の座標と測定断面（ＡＢ）８上の基準円板の中心の三次元座標との対応表を先ず作成する。得られた画像上の各円板の中心位置は必ずしも画素の整数座標値あるいは有限桁の二進数で表された座標値（画素の座標の格子点）と一致しないから、先に得た対応表から補間法により画素の整数座標値あるいは有限桁の二進数座標値（画素の座標の格子点）に対する三次元座標値の対応表を改めて作成する。これは輪郭線の像の画素の座標値（ｍ，ｎ）を引数として対応する輪郭線の三次元座標値（ｘ，ｙ，ｚ）を知ることができる座標変換表として働く。予め座標変換表を作成しておくことにより、輪郭線像から測定対象１上の輪郭線９の三次元座標を容易に、かつ高速に得ることができ、測定断面８によって測定対象１を走査することによって、測定対象１の表面形状を表す輪郭線の三次元座標の系列を効率的に得ることができる。この時、輪郭線９上の各点に対応する画素の明るさ（濃度）の値を三次元座標と共に保存しておけば、対象の三次元形状を各種表示装置や印刷物に表示する際、幾何学的形状に加えて対象の表面の明るさ（濃度）情報も同時に表示できるので、臨場感あるいは現実感豊かな表示が可能となる。
【００１９】
前記したように、受光面７と測定断面８の傾斜角を共に撮像レンズの光軸４に対し４５°となるように構成した場合には、測定断面における撮像倍率は光軸で厳密に等倍になり、光軸から離れるにしたがい変化するが、これを無視できる場合、あるいはレンズの結像公式に基づく倍率の理論式により補正することで十分な精度が達成できる場合には、二次元撮像素子３の光電変換素子の配列間隔ｐは既知であるから、基準格子点の撮像を行わなくても、倍率を用いて計算により輪郭線９の画素座標から三次元座標値を求めることができる。
【００２０】
例えば、ここでは説明を簡単化するため二次元撮像素子３の光電変換素子と画素が一対一に対応する場合を扱う。輪郭線９の像の画素座標を（ｍ，ｎ）とし、測定断面８と撮像レンズの光軸４の交点を三次元座標軸の原点とする。ｘ軸は測定断面８による測定対象１の走査方向に垂直に、ｙ軸は走査方向に、ｚ軸は光軸４に沿って取る。さらにｍ軸とｎ軸は、それぞれｘ軸とｙ軸に平行に取り、各座標軸の向きを適正に設定すると、輪郭線９上の各点の三次元座標（ｘ，ｙ，ｚ）は、画素座標（ｍ，ｎ）から計算式ｘ＝ｐ×（ｍ−ｍｏ）｛１＋δ（ｎ−ｎｏ）｝、ｙ＝ｐ×（ｎ−ｎｏ）｛１＋δ（ｎ−ｎｏ）｝×ｓｉｎ４５°、ｚ＝ｐ×（ｎ−ｎｏ）｛１＋δ（ｎ−ｎｏ）｝×ｓｉｎ４５°により求めることができる。ただし、（ｍｏ，ｎｏ）は光軸４の画素座標で、δ（ｎ−ｎｏ）は、光軸４から画素（ｍ，ｎ）が離れるにしたがい、撮像倍率が１から外れる度合いを表す補正量で、レンズの光学収差を除けば、光軸を原点とする画素座標値ｎ−ｎｏの関数としてレンズの結像公式から容易に求めることができるものである。同様に、倍率が等倍でなくても予め光軸点の倍率がわかれば、画素座標から計算により対応する三次元座標を求めることができるのは当然である。なお測定対象１が測定断面８により連続走査され、Ｎ本の輪郭線９が得られるとき、Ｎ本の輪郭線９が測定対象１全体の三次元座標データを表現するようにするためには、例えば、Ｎ本の輪郭線９について、それぞれの前記ｙ座標に輪郭線９の検出順に座標のオフセット値ｎ×Δｙを加えておけば良い。ただし、Δｙは輪郭線９の測定間隔を示す定数、ｎは検出順番号１，２，・・，Ｎ−１，Ｎである。
【００２１】
以上に述べた、本発明の実施例において行われる測定断面の撮像から測定対象の形状測定値を得るまでのデータ処理の流れを図３に示す。
【発明の効果】
【００２２】
本発明は、以上説明したように構成されているので、以下に記載されるような効果を奏する。
【００２３】
従来の合焦法の構成と異なり、合焦面を撮像光学系の光軸に対して斜めに設定し、合焦面を測定断面として、測定対象を測定断面により光軸に垂直にあるいは交差する方向に、横方向に走査することによって測定対象の三次元形状を得る構成となっているので、走査距離が光軸方向の測定空間の大きさに制限されず、長尺の対象でも測定可能で、また測定対象の移動を撮像光学系の光軸方向に制限する必要がないので測定システムの構成の自由度が大きく、製造業における生産ライン、種々の監視システム、交通計測システム、自動走行車、溶接、シーリング等の倣い作業を行うロボットなどに広く適用することができる。また焦点調節機構を必要としないので、測定対象を移動させながら高速に測定することができる。
【００２４】
光切断法のように測定部分に撮像光学系の斜め側方からレーザ光を照射する必要がないので、照射光の陰となる部分に測定不能となる死角が生じない。このため高密度に集積された電子部品などの凹凸のある複雑な測定対象の形状測定において優れている。
【００２５】
また光切断法のように測定部分に撮像光学系の斜め側方からレーザ光を照射するための光投射光学系を必要としないため、測定装置を小形に構成でき、作業経路を倣うための三次元形状測定用視覚センサとしてロボットに搭載するのに適している。
【図面の簡単な説明】
【図１】測定対象と本発明における撮像光学系の実施例を示す垂直断面図である。
【図２】測定対象と測定断面の系列の関係を示す側面図（ａ）と測定対象と検出された輪郭線の系列の関係を示す平面図（ｂ）である。
【図３】測定断面の撮像から測定対象の形状測定値を得るまでのデータ処理の流れを示す流れ図である。
【符号の説明】
１  測定対象
２  撮像レンズ
３  二次元撮像素子
４  撮像レンズの光軸
５  円環状光源
６  搬送体
７  受光面
８  測定断面
９  輪郭線
【図１】
0004406796.tif 000002
【図２】
0004406796.tif 000003
【図３】
0004406796.tif 000004