(57)【要約】【課題】  カメラの光軸に対し傾けた合焦面の回転により測定対象を横走査する合焦点法において、従来の構成では回転軸を合焦面内に設定していた。そのため、合焦面の回転に伴う注目測定点のカメラ画像上での動きが回転角度に対して直線的でなく、最大合焦度が得られる回転位置と、そのときの画像上での像位置の探索が困難で、形状が単純で測定空間に対象が単独で存在する場合に測定を限定せざるを得ないという問題があった。【解決手段】  撮像レンズの前側焦点の位置に絞りを設置して像側テレセントリックレンズの構成にすると共に、絞り、撮像レンズおよび二次元撮像素子を一体として撮像システムを構成し、その回転軸を撮像レンズの前側焦点位置において撮像システムを回転することにより、合焦面により測定対象を回転走査するようにしたものである。その結果、回転角に比例して測定点の像点が移動し、最大合焦度をもつ像点の探索が容易となる。【選択図】  図１
2006242930.tif 000002
【特許請求の範囲】
【請求項１】
物体の表面形状を物体の画像を用いて非接触で測定する三次元物体形状測定方法であって、光電変換素子の二次元配列からなる二次元撮像素子の受光面を撮像レンズの光軸に対して斜めに設置し、受光面と共役な関係にある合焦面を光軸に対する垂直面から傾けて物体の画像を取得し、前記物体の画像から焦点の合った合焦画像領域を抽出して、抽出した合焦画像領域から合焦面と物体面が交差してできる前記物体上の測定点の合焦像を検出することにより物体の三次元形状を測定する非接触三次元物体形状測定方法において、前記撮像レンズの前側焦点の位置に絞り板を設置して撮像レンズを像側テレセントリック光学系の構成となし、回転軸を撮像レンズの前側焦点の位置に撮像素子と平行になるように設置すると共に、絞り板、撮像レンズ、および二次元撮像素子を一体として、前記回転軸の周りに回転し、前記二次元撮像素子の受光面と共役な関係にある前記合焦面により前記物体を回転走査して、一定の回転角度毎に物体の画像を複数取得し、物体表面の同一測定点に対応する複数の物体の画像上の画素の合焦度を相互に比較して物体上の測定点の像が最大合焦度を示す回転角度を決定し、当該画素の座標と最大合焦度を与える回転角から、物体表面の当該測定点の二次元座標を求めることを特徴とする三次元物体形状測定方法
【発明の詳細な説明】
【技術分野】
【０００１】    本発明は、物体上の各点の三次元位置座標を測定することにより物体の位置、距離あるいは形状を非接触に測定する方法に関する。
【背景技術】
【０００２】  三次元の位置座標あるいは距離を求める従来の代表的な非接触測定方法には、三角測量法と合焦点法がある。前者は測定対象の表面にレーザ光を投射し、対象の表面から生じる反射光を投射方向から一定角度傾けた方向からテレビカメラで受光し、三角測量の原理により、カメラに関連して設定された基準座標系において、対象の表面の輝点像の三次元位置座標あるいは基準点からの相対距離を測定して対象表面の形状を測定するものである（例えば、非特許文献１参照。）。以下の記述では、三次元空間の各点の位置座標を求めることと、基準点からの相対距離あるいは異なる三次元位置座標間の距離を求めることは、測定上は同じ範疇にあるものとして、特に両者を区別しないこととする。三角測量法は、多くの場合、板状の投射レーザ光と測定対象の表面とが交差してできる輝線で表される輪郭線を測定するので光切断法とも呼ばれる。後者は、距離を測定すべき対象上の各点の像をＣＣＤ撮像素子のような光電変換素子の二次元配列からなるテレビカメラの受光面（光電変換面）上に結像させるために、対象あるいは撮像レンズの位置を調整して像の焦点を合わせる焦点調節機構を用いて、焦点調節機構の移動量から対象上の各点の距離を測定するものである（例えば、非特許文献２参照。）。対象表面全体の距離を求めるには、焦点調節機構を連続的に動かして、機構の移動位置ごとに焦点の合った表面部分を画像処理により検出し表面の各部の距離を求める。合焦点法では、画像の中で焦点の合った部分を画像処理により抽出する必要があるが、焦点の合った度合いは合焦度として計算される。合焦度の計算法は種々の方法が知られている（例えば、非特許文献３参照。）。一般的には、合焦領域は非合焦領域に比較して明暗変化の大きい高い空間周波数成分を含むことを特徴とする画像領域である。多くの合焦領域抽出法は、このような特徴を反映する画像特徴量を用いて合焦の度合いを示す合焦度を定義し、合焦度の大小により合焦領域を判別している。大別すると、画像領域の空間周波数分布の高周波成分を直接的にフーリエ変換により求め合焦度を評価する方法と、計算処理を高速化するため高周波数成分を間接的に反映する画像特徴量を用いて合焦度を定義する方法がある。後者の方法としては、注目画素の近傍領域において、明暗分布の一次差分の大きさあるいは明暗分布のエッジ強度を近傍領域内の全画素について総和し、その総和量を注目画素の合焦度とするもの、明暗分布の二次差分量の大きさを全近傍画素に渡って総和したものを注目画素の合焦度とするもの、近傍領域の画素の明るさ（濃度）の変動の大きさを表す統計量である明るさ（濃度）に関する分散を注目画素の合焦度とするものなどがある。この他にも種々の合焦度の評価法があるが、いずれも注目画素の近傍領域における明るさ（濃度）変動の大きさを評価し、焦点が合っている領域は変動が大きく、焦点が外れている領域は変動が小さいことを利用していて、測定対象の表面の性状と測定の目的に適した、判別能力が高く、求めやすい合焦度が使用され、普及している画像処理の手法の組み合わせによって得られる画像特徴量を用いて定義されている。測定対象と測定の目的に応じて、適切な合焦度を定義して用いら���る。【０００３】  光切断法と合焦点法のそれぞれの利点を取り入れた測定法として、従来の合焦点法と異なり、測定対象を合焦面で奥行き方向に走査する換わりに、合焦面をカメラの光軸に対して傾け、奥行き方向に直角な方向に対象を走査し合焦面と対象の表面の交線を高合焦度領域として求め、対象の輪郭形状を測定する方法がある（例えば、非特許文献４参照。）。このような走査方法を以下では、横走査法と表現する。この方法は、合焦面が光切断法における板状の投射レーザ光に対応し、合焦面と対象の表面の交線がレーザ光の輝線に対応している。カメラの視野を越える長尺の対象に対しても、対象を傾けた合焦面に対して平行移動することにより測定でき、通常の合焦点法にない利点である。また光切断法では、投射レーザ光の陰になる部分の測定ができず、いわゆる死角が生ずるが、合焦面を傾ける方法ではそのような死角が生じないことが利点である。また横走査方法において、合焦面を対象に対して平行移動する換わりに回転する方法もある（例えば、非特許文献５参照。神永）。回転型横走査法は、平行移動型横走査法に比べ、卓上の局所的な空間を越えた、屋内外の広大な空間を走査するのに適している。【０００４】
【非特許文献１】  井口征士、佐藤宏介著、「三次元画像計測」、頁３６−頁３９、昭晃堂、１９９４年
【非特許文献２】  水嶋伸介、光藤  淳、岡田  隆、石井  明、合焦点法を用いたＣＳＰ／ＢＧＡ外観検査装置、日本機械学会ロボティクス・メカトロニクス講演会’０３講演論文集，２Ｐ１−２Ｆ−Ｅ５，２００３年５月
【非特許文献３】  エリック・クロツコフ、「フォーカシング」、インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン誌、１巻、頁２２３−頁２３７、１９８７年（原題：ＥＲＩＣ  ＫＲＯＴＫＯＦ，Ｆｏｃｕｓｉｎｇ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１，ｐｐ．２２３−２３７，１９８７，Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ）
【非特許文献４】  岡田  隆、藤中夕香、光藤  淳、石井  明、合焦断面形状計測法の高精度化、日本機械学会ロボティクス・メカトロニクス講演会’０４講演論文集、２Ａ１−Ｌ２−１５、２００４年６月
【非特許文献５】  神永曜命、佐藤俊太、石井  明、合焦断面法による輪郭検出を用いた三次元物体形状計測、２００３年度精密工学会春季大会学術講演会講演論文集、Ｐ６７、頁６６５、２００３年３月
【発明の開示】
【発明が解決しようとする課題】
【０００５】  カメラの光軸に対し傾けた合焦面の回転により測定対象を横走査する合焦点法において、従来の構成では回転軸を合焦面内に設定していた。そのため、合焦面の回転に伴う注目測定点のカメラ画像上での動きが回転角度に対して直線的でなく、最大合焦度が得られる回転位置と、そのときの画像上での像位置の探索が困難で、形状が単純で視界の中に対象が単独で存在する場合に測定を限定せざるを得なかった。【０００６】  本発明は、このような従来の構成が有していた問題を解決し、回転型横走査による合焦点法の利点を保ちながら、複雑な構造を有する測定対象に対処でき、しかも複数の測定対象が視野内に存在する場合においても、それぞれの三次元位置座標および形状測定ができるようにすることを目的とするものである。
【課題を解決するための手段】
【０００７】  そして、本発明は上記目的を達成するために、カメラの二次元撮像素子の受光面は、従来の横走査合焦点法と同様に、光軸に対し垂直の位置から傾け、受光面と共役な位置関係にある測定空間の合焦面が光軸に対して垂直な位置から十分傾いて光軸方向に斜めに奥行き方向に広がり、横走査において測定対象の表面と交差してできる合焦線が物体の輪郭線として対象の表面の位置と形状を捉える構成とし、これに加えて、撮像レンズの前側焦点の位置に絞りを設置して像側テレセントリックレンズの構成にすると共に、絞り、撮像レンズおよび像を受けるイメージセンサが一体となった撮像システムを構成し、その回転軸を像面の縦軸に平行になるようにして撮像レンズの前側焦点位置に設定し、撮像システムを前記回転軸の周りに回転することにより、合焦面により測定対象を横走査するようにしたものである。【０００８】  上記の課題解決手段による作用は次の通りである。回転軸を撮像レンズの前側焦点に設定したため、合焦面近傍にある測定点の像は、回転に伴い画像上を横軸に沿って移動し、合焦面を挟んでその前後の微小回転の間、回転角に比例した移動量を示す。したがって、一定の微小回転角が画像の画素ピッチの整数倍になるように予め設定しておけば、測定点の移動を一定の画素間距離で追跡することができる。追跡のための画像処理が安定し追跡が容易となる。そして合焦面が測定点を走査するときの回転角を、画素毎の近傍のコントラストを合焦度の指標として、その変動曲線からその最大値を得る回転角を推定し、測定点の合焦距離を求めることができる。
【発明の効果】
【０００９】  上述したように、測定点の移動を一定の画素間距離で追跡することができるため、追跡のための画像処理が安定し追跡が容易となる。そして合焦面が測定点を走査するときの回転角を、画素毎の近傍のコントラストを合焦度の指標として、その変動曲線からその最大値を得る回転角を推定し、測定点の合焦距離を精度良く求めることができる。また以上の画像処理は、画素単位に独立して行なうことができるから、測定対象が複雑な構造をもつ場合や複数の測定対象が存在する場合でも、画像処理が相互に干渉することはなく、安定した測定が可能となる。
【発明を実施するための最良の形態】
【実施例】
【００１０】  以下、本発明の実施の形態を図１〜図２に基づいて説明する。【００１１】  図１は本発明にかかる三次元物体形状測定方法を実施した測定装置の主要部である撮像光学系の回転軸に垂直な断面図を図式的に示している。１は測定対象を示す。本発明では、撮像光学系は、いわゆる像側テレセントリック光学系を構成していて、２は絞り板でその中心部に開口を有し、撮像レンズ３の前側焦点４と絞り板２の開口の中心とが一致するように撮像レンズ３の記号ＯＯ’で表示した光軸５に垂直に配置してある。ここで撮像レンズ３の光軸５は紙面上に配置されている。６はＣＣＤ撮像素子を例とする光電変換素子を二次元配列した二次元撮像素子の受光面で、記号ａ、ｂでその端部が表わされている。受光面６は紙面に垂直に配置されると共に、図示のごとく、光軸５に対し角度ψをなして傾斜させてある。７は受光面６と共役な関係にある合焦面で、受光面６と同じく紙面に垂直で、その端部が記号Ａ、Ｂで表されている。合焦面７の両端Ａ、Ｂは、それぞれ受光面６の両端ａ、ｂに結像する。このとき合焦面７の撮像レンズの光軸５に対する傾斜角度をθとする。撮像レンズ３の中心、正確には前側主点から合焦面７の延長面ＢＡＨに下ろした垂線の撮像レンズ３の中心から垂線の足Ｈまでの長さを図示のごとくｄとし、撮像レンズ３の焦点距離をｆとすると、次の幾何光学上の理論式
【数１】
が成り立つ。代表的な数値例では、ψが５４°、θが６°、焦点距離ｆが５２ｍｍのとき、ｄは７６．６ｍｍとなる。
【００１２】
【数１】
ｄ＝ｆ  ｃｏｓθ（ｔａｎψ＋ｔａｎθ）
【００１３】  互いに共役な結像関係から、受光面６上に得られる合焦面７の画像の各点には合焦面上の測定点の三次元空間座標が一対一に対応しており、対象表面の二次元位置情報を得るための計算処理が簡単となる。従来の三角測量法（光切断法）では、撮像レンズの側方、合焦面６の延長上の位置に、レーザ光を投射するための光学系が配置されるが、本発明では、そのような光学系を側方に配置する必要がないため小形で簡素な構成となっている。なお本実施例では、照明装置は示されていないが、実体顕微鏡におけるように、ＬＥＤ光源等を用いた通常の照明装置を測定対象の表面形状に応じて適宜配置して用いることができる。
【００１４】  測定対象１を合焦面７により回転走査するために、絞り板２、撮像レンズ３、および二次元撮像素子の受光面６は一体として、撮像レンズ３の前側焦点４を通り光軸５に垂直で、かつ受光面５と合焦面６に平行な、したがって紙面に垂直な回転軸８の周りに回転するように構成されている。また測定点の三次元座標を表示するためのＸＹＺの三軸は、図に示すように、原点を撮像レンズ３の焦点４に設定してＹ座標軸を回転軸８に一致させ、他の直行二軸は、例えばＺ軸は測定対象に向けて設定し、Ｘ軸をこれに直交させれば良い。撮像光学系の回転量ａは、図に示すように、Ｚ軸を基準として光軸５の方位角として表すことができる。図において、９は測定対象１上の測定点を示しており、図は、回転により合焦面７が丁度測定点９を走査しているところを表している。このとき測定点９の位置の方位角は、Ｚ軸を基準として表すことができ、図では符号βで表記されている。また１０は測定点９の像点を表している。１１は撮像レンズの焦点４から測定点９を観測するときの視線であり、方位角βと、座標原点すなわち焦点４から測定点９に至る視線に沿ったＺＸ平面への射影距離Ｌとが決定されれば、測定点９の三次元座標が得られる。ここで方位角βはＺ軸から反時計回りに正、時計回りに負の角度をとるものとする。
【００１５】  図２は、光軸５が反時計回りに回転し、回転角ａの変化によって、測定点９が光軸５に対してなす角度ａ−βが変化し、二次元撮像素子の受光面６より取得される画像の上のｉ行ｊ列の画素座標に位置する測定点９の像点１０の合焦度の変化を示している。画素座標の行方向は回転方向に一致しているため、列番号のみ変化する。このとき像側テレセントリック光学系の性質として、像点１０を形成する主光線は光軸５の回転に伴い受光面６の前面で平行移動するため、像点１０の画素座標上の列番号は一定間隔で移って行く。その移動間隔を記号ｓで示し、像点１０の各列番号毎の合焦度の値を黒丸でプロットしてある。通常、合焦度の変化はガウス関数で近似することができるので、ガウス関数をプロットに当てはめることにより、合焦度が最大になる光軸の回転角ａ＊を求めることができる。図には当てはめたガウス関数を実線により示し、当てはめにより求められた合焦度が最大になる光軸の回転角ａ＊を横軸上に示している。回転角ａ＊は、合焦面７が丁度測定点９を通過するときの角度で、図は、一定間隔の回転により測定される各回転角度における合焦度の値からガウス関数の当てはめにより回転角ａ＊を正確に求められることを概念的に示している。また回転角ａ＊のときの像点１０の位置が列番号ｊ＊で示されていて、一般的には画素ピッチの整数倍でなく、いわゆるサブピクセル解析の結果として、画素ピッチの非整数倍もあり得て、完全な焦点合わせが行われたときの合焦面７の画像における像点の正確な画素座標を与えるものである。
【００１６】  以下、本発明にかかる上記撮像光学系を用いた三次元位置座標測定方法により、測定対象上の測定点の三次元座標を算出する方法を具体的に示す。撮像光学系の光軸５の回転を一定角度Δａ毎に行うものとする。このとき像点が画素間隔ｐの整数（ｓ）倍で一定間隔ｓｐで受光面６上をｊ座標軸方向に移動するように、回転角度の間隔Δａが次の条件式
【数２】
を満たすようにする。
【００１６】
【数２】
ｓ＝ｆ  ｔａｎΔａ（ｐ  ｓｉｎψ）−１
【００１７】  各回転位置で画素毎に合焦度を計算し、図２に示すような合焦度の変化を捉えて、最大の合焦度を与える回転角度ａ＊と、そのときの前後の回転角ａ、ａ＋Δａにおける画像の対応画素の画素座標（ｉ，ｊ）、（ｉ，ｊ＋ｓ）から回転角度ａ＊で取得したと仮想した画像の対応する像点の画素座標（ｉ，ｊ＊）を、次の列番号ｊ＊に関する内挿補間式
【数３】
を適用して求める。
【数３】
ｊ＊＝ｊ＋｛（ａ＊−ａ）／Δａ｝ｓ
【００１８】  光軸５が受光面と交差する位置を画素座標（ｉ０，ｊ０）とすると、合焦面の回転により対応画素座標として特定された測定点の三次元座標は以下のように求められる。まず方位角βは、次式
【数３】
から得られる。
【００１８】
【数３】
ｔａｎ（ａ＊−β）＝Δ×（ｊ＊−ｊ０）ｆ−１ｓｉｎψ
【００１９】  視線のＺＸ面への射影距離Ｌは、次式
【数４】
から得られる
【数４】
Ｌ＝（ｄ−ｆｓｉｎθ）｛ｓｉｎ（θ−（ａ＊−β））｝−１
【００２０】  以上の結果から、測定点の三次元座標（ｘ，ｙ，ｚ）は、それぞれ式
【数５】
、
【数６】
、
【数７】
から求めることができる。
【００２１】
【数５】
ｘ＝Ｌ  ｓｉｎβ
【数６】
ｙ＝（ｚ／ｆ）Δ×（ｉ−ｉ０）
【数７】
ｚ＝Ｌ  ｃｏｓβ
【００２２】
【数３】
、
【数４】
からＬを求める代わりに、予めカメラキャリブレーションを実施し、既知の測定点の位置情報Ｌ、βと（ｊ−ｊ０）との関係を求めておくことができる。また
【数６】
の関係も予めカメラキャリブレーションで求めておくことができる。
【００２３】  以上において述べた画像処理を高速化するためのハードウエア技術としての画像処理装置の構成については従来技術を適用でき、図１で示した実施例では特に述べていない。また二次元撮像素子を収容して駆動制御し、同素子より生ずる画像信号を適正な電気信号として出力する、いわゆる撮像カメラの全体構成についても本発明内容に直接関係しないので図示していない。さらに画像処理を行う計算機などのデータ処理装置（図示していない）に画像データを入力するために、画像信号を撮像カメラから受け取り、これを適正なディジタル信号に変換する信号変換装置についても従来の技術と知識により容易に構成できるものであり図示していない。さらに撮像光学系を回転駆動するための装置、および以上の諸装置を全体として協調して動作させるための制御システムについても本発明の実施例の説明に直接関わらないので図示していないが、従来技術により実施できるものである。
【産業上の利用可能性】
【００２４】    本発明は、合焦面による回転走査によって距離を測定するので、測定空間の大きさに制限されず、長尺の対象でも測定可能で、測定システムの構成の自由度が大きく、製造業の生産ライン、種々の監視システム、交通計測システム、自動走行車、溶接、シーリング等の倣い作業を行うロボットなどに広く利用することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の方法を実施するための撮像光学系の例を示す垂直断面図である。
【図２】合焦面の回転に伴う測定点の像点の画素座標の移動と合焦度の変化を示す図で、黒丸は合焦度の計算値を、曲線は合焦度の値を近似するガウス関数曲線を示す。
【符号の説明】
【００２６】  １  測定対象
２  絞り板
３  撮像レンズ
４  焦点
５  光軸
６  二次元撮像素子の受光面
７  合焦面
８  回転軸（座標軸Ｙ）
９  測定点
１０  測定点９の像点
１１  視線（距離Ｌ）
【図１】
2006242930.tif 000003
【図２】
2006242930.tif 000004