(57)【要約】  この線状物の３次元計測装置は、線状物を撮像するステレオカメラ（１１）と、線状物を挟んでステレオカメラ（１１）の対向に位置する透過光照射部材（５０）と、線状物の３次元形状を取得する演算部と、を有し、ステレオカメラ（１１）は、透過光照射部材（５０）から光が照射された線状物の透過光画像を取得し、演算部は、透過光画像に基づいて線状物の３次元形状を取得する。
2019188198.tif 000002
【特許請求の範囲】
【請求項１】
線状物を撮像するステレオカメラと、
前記線状物を挟んで前記ステレオカメラの対向に位置する透過光照射部材と、
前記線状物の３次元形状を取得する演算部と、
を有し、
前記ステレオカメラは、前記透過光照射部材から光が照射された前記線状物の透過光画像を取得し、
前記演算部は、前記透過光画像に基づいて前記線状物の３次元形状を取得する、
線状物の３次元計測装置。
【請求項２】
前記ステレオカメラは、
前記透過光照射部材から光を照射せずに撮像した前記線状物の反射光画像を取得し、
前記演算部は、前記透過光画像および前記反射光画像に基づいて前記線状物の３次元形状を取得する、
請求項１に記載の線状物の３次元計測装置。
【請求項３】
前記ステレオカメラは、第１カメラ、および、第２カメラを含み、
前記透過光照射部材から光が照射されていない状態で、前記第１カメラを用いて撮像された前記線状物の第１反射光画像、および、前記第２カメラを用いて撮像された前記線状物の第２反射光画像を取得し、
前記透過光照射部材から前記線状物に光が照射された状態で、前記第１カメラを用いて撮像された前記線状物の第１透過光画像、および、前記第２カメラを用いて撮像された前記線状物の第２透過光画像を取得し、
前記演算部は、
前記第１反射光画像および前記第１透過光画像を用いて、第１補完画像を取得し、
前記第２反射光画像および前記第２透過光画像を用いて、第２補完画像を取得し、
前記第１補完画像および前記第２補完画像を用いて、前記線状物の３次元形状を取得する、請求項１または請求項２に記載の線状物の３次元計測装置。
【請求項４】
前記第１カメラおよび前記第２カメラがカラーカメラである、
請求項１から請求項３のいずれか１項に記載の線状物の３次元計測装置。
【請求項５】
前記透過光照射部材は、前記線状物に照射する光の色の変更が可能な機能を有する、
請求項４に記載の線状物の３次元計測装置。
【請求項６】
前記ステレオカメラは、前記透過光照射部材から前記線状物の色と異なる色の光を照射して、前記第１透過光画像および前記第２透過光画像を取得する、
請求項５に記載の線状物の３次元計測装置。
【請求項７】
第１の位置に配置された第１カメラを用いて撮像された線状物の第１反射光画像、および、第１の位置とは異なる第２の位置に配置された第２カメラを用いて撮像された前記線状物の第２反射光画像を取得する工程と、
前記線状物を挟んで、前記第１カメラおよび第２カメラの対向に位置する透過光照射部材より光を前記線状物に照射した状態で、前記第１カメラを用いて撮像された前記線状物の第１透過光画像、および、前記第２カメラを用いて撮像された前記線状物の第２透過光画像を取得する工程と、
前記第１反射光画像および前記第１透過光画像を用いて、第１補完画像を取得する工程と、
前記第２反射光画像および前記第２透過光画像を用いて、第２補完画像を取得する工程と、
前記第１補完画像および前記第２補完画像を用いて、前記線状物の３次元形状を取得する工程と、
を備える、線状物の３次元計測方法。
【請求項８】
前記線状物が複数の線体を有し、
前記透過光照射部材は、前記複数の線体のいずれの色とも異なる色の光を照射する、請求項７に記載の線状物の３次元計測方法。
【請求項９】
前記透過光照射部材は、カラー照明である、
請求項７または請求項８に記載の線状物の３次元計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ワイヤー、ケーブル等の線状物に対して、ステレオ方式で形状を計測する、線状物の３次元計測装置、および、線状物の３次元計測方法に関する。
【背景技術】
【０００２】
２台のカメラの視差を利用して３次元位置を計測する方法としてステレオ方式の３次元計測方法が従来より利用されている。これは、視点の異なる２つの画像上で計測したい点の対応点を求め、各画像上の対応点および２台のカメラの位置関係から３角測量の原理によって、計測点の３次元位置を算出する方法である。このステレオ方式では、各画像上の対応点を見つけるマッチング処理が最も情報処理の負荷が重く、コストがかかるプロセスである。そのため、マッチング処理の改良を目的として、種々の方法が提案されている。【０００３】
特開平５−０２６６４０号公報（特許文献１）には、ステレオ方式による線状物の３次元計測に関して、半導体パッケージの外部リードの形状計測方法として、一方の画像における外部リード像上に計測サンプリング点を取り、他方の画像におけるエピポーラ・ライン（エピポーラ線）と外部リード像の交点を計測サンプリング点の対応点とすることが記載されている。エピポーラ線とは一方の画像の視点と計測点を結ぶ直線を他方の画像上に投影した直線をいい、その計測点は必ず他方の画像上のエピポーラ線上に投影されている。【０００４】
特開平２−３０９２０２号公報（特許文献２）には、多数の線状物を２台のカメラで撮像し、２つの画像中の輝線の傾きと輝線間の距離を特徴として照合することにより、対応点を決定することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−０２６６４０号公報
【特許文献２】特開平２−３０９２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された方法では、同様の線状物が画面内に複数存在した場合、エピポーラ線との交点が複数検出され、対応点を一意に決定できない場合がある。特許文献２に記載された方法では、複数の輝線に対して特徴の不一致度を計算する必要があり高速な処理には向かないことや、特徴が同程度の直線同士を誤認識する可能性がある。【０００７】
さらには、線状物が模様や色むらを有する場合には、反射光で画像が乱れる等し、画像において線状物を正確に認識できない場合がある。【０００８】
本発明は上記を考慮してなされたものであり、線状物に対して、より正確に高速なマッチング処理を実現できる線状物の３次元計測装置、および、線状物の３次元計測方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この線状物の３次元計測装置においては、線状物を撮像するステレオカメラと、上記線状物を挟んで上記ステレオカメラの対向に位置する透過光照射部材と、上記線状物の３次元形状を取得する演算部と、を有し、上記ステレオカメラは、上記透過光照射部材から光が照射された上記線状物の透過光画像を取得し、上記演算部は、上記透過光画像に基づいて上記線状物の３次元形状を取得する。【００１０】
ここで、透過光とは、すなわち線状物に遮蔽されず線状物のない空間を通過してカメラに到達する光（バックライト、または、背面照射光）のことを意味し、必ずしも物体の中を通過する光だけを意味しない。また、透過光画像とは、すなわち上記の光をカメラで撮像した画像（バックライト画像、または、背面照射光画像）のことである。【００１１】
他の形態においては、上記ステレオカメラは、上記透過光照射部材から光を照射せずに撮像した上記線状物の反射光画像を取得し、上記演算部は、上記透過光画像および上記反射光画像に基づいて上記線状物の３次元形状を取得する。【００１２】
他の形態においては、上記ステレオカメラは、第１カメラ、および、第２カメラを含み、上記透過光照射部材から光が照射されていない状態で、上記第１カメラを用いて撮像された上記線状物の第１反射光画像、および、上記第２カメラを用いて撮像された上記線状物の第２反射光画像を取得し、上記透過光照射部材から上記線状物に光が照射された状態で、上記第１カメラを用いて撮像された上記線状物の第１透過光画像、および、上記第２カメラを用いて撮像された上記線状物の第２透過光画像を取得し、上記演算部は、上記第１反射光画像および上記第１透過光画像を用いて、第１補完画像を取得し、上記第２反射光画像および上記第２透過光画像を用いて、第２補完画像を取得し、上記第１補完画像および上記第２補完画像を用いて、上記線状物の３次元形状を取得する。【００１３】
他の形態においては、上記第１カメラおよび上記第２カメラがカラーカメラである。
他の形態においては、上記透過光照射部材は、上記線状物に照射する光の色の変更が可能な機能を有する。【００１４】
他の形態においては、上記ステレオカメラは、上記透過光照射部材から上記線状物の色と異なる色の光を照射して、上記第１透過光画像および上記第２透過光画像を取得する。【００１５】
この線状物の３次元計測方法においては、第１の位置に配置された第１カメラを用いて撮像された線状物の第１反射光画像、および、第１の位置とは異なる第２の位置に配置された第２カメラを用いて撮像された上記線状物の第２反射光画像を取得する工程と、上記線状物を挟んで、上記第１カメラおよび第２カメラの対向に位置する透過光照射部材より光を上記線状物に照射した状態で、上記第１カメラを用いて撮像された上記線状物の第１透過光画像、および、上記第２カメラを用いて撮像された上記線状物の第２透過光画像を取得する工程と、上記第１反射光画像および上記第１透過光画像を用いて、第１補完画像を取得する工程と、上記第２反射光画像および上記第２透過光画像を用いて、第２補完画像を取得する工程と、上記第１補完画像および上記第２補完画像を用いて、上記線状物の３次元形状を取得する工程と、を備える。【００１６】
他の形態においては、上記線状物が複数の線体を有し、上記透過光照射部材は、上記複数の線体のいずれの色とも異なる色の光を照射する。【００１７】
他の形態においては、上記透過光照射部材は、カラー照明である。
【発明の効果】
【００１８】
この発明の線状物の３次元計測装置、および、線状物の３次元計測方法によれば、線状物に対して、より正確に高速なマッチング処理を実現できる線状物の３次元計測装置、および、線状物の３次元計測方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態１の３次元計測装置の機能ブロック図である。
【図２】実施の形態１である３次元計測方法を説明するための第１図である。
【図３】実施の形態１である３次元計測方法を説明するための第２図である。
【図４】実施の形態１である３次元計測方法の工程フロー図である。
【図５】実施の形態１のステレオカメラで撮像された第１反射光画像である。
【図６】実施の形態１のステレオカメラで撮像された第２反射光画像である。
【図７】実施の形態１の３次元計測方法の第１線像抽出工程の操作フロー図である。
【図８】第１線像が抽出された第１反射光画像である。
【図９】第２線像が抽出された第２反射光画像である。
【図１０】着目点が選択された第１反射光画像である。
【図１１】エピポーラ線と第２線像との交点が求められた第２反射光画像である。
【図１２】色テーブルの一例である。
【図１３】実施の形態２の３次元形状（補完３Ｄ画像）を得る工程を示す機能ブロック図である。
【発明を実施するための形態】
【００２０】
本発明に基づいた各実施の形態の線状物の３次元計測方法、および、線状物の３次元計測装置について、以下、図を参照しながら説明する。なお、以下において、線状物の３次元計測方法を単に「計測方法」と、線状物の３次元計測装置を単に「計測装置」ということがある。
【００２１】
以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。図においては、実際の寸法比率では記載しておらず、構造の理解を容易にするために、一部比率を異ならせて記載している。
【００２２】
（実施の形態１）
図１および図２を参照して、本実施の形態の線状物の３次元計測方法、および、線状物の３次元計測装置について説明する。図１は、３次元計測装置の機能ブロック図、図２は、３次元計測方法を説明するための第１図である。
【００２３】
以下の実施の形態では、線状物の一例としてワイヤーハーネスＷを用いる場合について説明する。このワイヤーハーネスＷは、線体として電線２１〜２３を含んでいる。
【００２４】
本実施の形態の計測装置１０は、ステレオカメラ１１、演算部１５、記憶部１６、入出力部１７を備える。演算部１５は、ステレオカメラ１１と別体のパソコンや画像処理装置であってもよいし、ステレオカメラに内蔵されている演算機能を有するハードウェア等でもよい。図２に示すように、ステレオカメラ１１を用いて、ワイヤーハーネスＷに含まれる電線２１〜２３の画像を撮像する。この計測装置１０は、ワイヤーハーネスＷを挟んでステレオカメラ１１とは対向する位置に、透過光照射部材５０が設けられている。この透過光照射部材５０については、実施の形態２において詳細に説明する。
【００２５】
ステレオカメラ１１は、第１カメラ１２、第２カメラ１３、カメラ制御部１４を含む。第１カメラ１２は、カラーの２次元画像である第１反射光画像を撮像するカラーカメラである。第２カメラ１３は、カラーの２次元画像である第２反射光画像を撮像するカラーカメラであって、第１カメラに対する相対位置が固定されている。カメラ制御部１４は、第１カメラおよび第２カメラを制御し、演算部１５との通信を行う。カメラ制御部は、例えば、演算部から撮像指示を受信して第１カメラおよび第２カメラに撮像指示を送信し、第１反射光画像および第２反射光画像を演算部に転送する。
【００２６】
演算部１５は、カメラ制御部１４との通信の他、ステレオカメラ１１から受信した第１反射光画像および第２反射光画像を処理して線状物の３次元位置（３Ｄ画像）を算出する。記憶部１６は、ステレオカメラが撮像した第１反射光画像および第２反射光画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部１７は、作業者からの指令を受け付けたり、作業者に対して計測結果を表示したりする。
【００２７】
図３を参照して、本実施の形態の計測方法では、電線２１〜２３を第１カメラ１２および第２カメラ１３で撮像する。電線２１上のある点Ｐに対して、第１カメラによる第１反射光画像３０への投影点Ｑと、第２カメラによる第２反射光画像４０への投影点Ｒが得られれば、既知である第１カメラ１２および第２カメラ１３の位置情報を利用して、点Ｐの３次元位置を算出することができる。第１カメラ１２および第２カメラ１３の位置情報は、予め２つのカメラをキャリブレーションしておくことで取得できる。
【００２８】
図３は白黒で描かれているが、計測対象である３本の電線２１〜２３は色分けされており、互いに異なる色、例えば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されないが、好ましくは互いに異なる色の線状物であり、さらに好ましくは色分けされた電線や光ファイバー線のケーブルであり、特に好ましくはワイヤーハーネスのケーブルである。
【００２９】
図４に本実施の形態の計測方法のフロー図を示す。以下、各工程について説明する。計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図１２に、電線の種類毎に、その色を赤緑青（ＲＧＢ）の３原色の輝度で表した色テーブルを一例として示す。色テーブルは記憶部１６に記憶される。
【００３０】
計測時には、ステレオカメラ１１で電線２１〜２３を撮像する。電線２１〜２３は第１カメラ１２によって第１反射光画像３０に撮像される。それと同時に、電線２１〜２３は第２カメラ１３によって、第１カメラとは異なる視点から、第２反射光画像４０に撮像される。第１反射光画像および第２反射光画像は演算部１５に転送され、記憶部１６に記憶される。
【００３１】
演算部１５は、ステレオカメラ１１から第１反射光画像３０および第２反射光画像４０を取得する。このとき、図５を参照して、第１反射光画像３０には３本の電線２１〜２３の像３１〜３３が写っている。同様に、図６を参照して、第２反射光画像４０には３本の電線２１〜２３の像４１〜４３が写っている。
【００３２】
演算部１５は、第１反射光画像３０上で、特定の電線２１を第１線像として抽出する。図７を参照して、この第１線像を抽出する工程（第１線像抽出工程）は、色による抽出操作、二値化操作、ノイズ除去操作、細線化操作を含む。
【００３３】
色による抽出操作では、演算部は計測しようとする電線２１の色を色テーブルから取得して、第１反射光画像３０上でその特定の色の線状物２１の像３１だけを第１線像３４として抽出する。具体的には、第１反射光画像３０の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。
【００３４】
色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行うことができる。例えば、電線２１に対応するＲＧＢ値を色テーブルから取得して、第１反射光画像３０の各画素のＲＧＢ値をそれと比較し、ＲＧＢの各値の差が所定の値以下であれば、その画素は電線２１と同じ色であると判断する。所定の値は、ＲＧＢの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。
【００３５】
次に、第１反射光画像３０を二値化する。これは適当な閾値を用いて、各画素の値を０か１に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判断した画素を１とし、異なる色と判断した画素を０とすることで２値化できる。
【００３６】
次に、第１反射光画像３０に対してノイズ除去操作を行う。上記色による抽出操作によって第１線像３４が抽出されたが、第１反射光画像３０にはカメラのショットノイズなどによる孤立した画素が残っている。また、１つの画素に対するＲＧＢ用の撮像素子の位置が実際にはわずかにずれていることから、電線の像３１〜３３の輪郭部など、色が急峻に変化する部分で画像の色が乱れ、やはり孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第１線像３４が得られる。
【００３７】
次に、第１線像３４を細線化する。これは第１線像の連結性を保ちながら線幅を１に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
【００３８】
図８に、得られた第１線像３４を示す。第１線像が抽出された第１反射光画像３０は記憶部１６に記憶される。
【００３９】
図４に戻って、第２反射光画像４０に対しても第１反射光画像３０と同様の操作を行い、第２線像４４を抽出する（第２線像抽出工程）。図９に、得られた第２線像４４を示す。第２線像が抽出された第２反射光画像４０は記憶部１６に記憶される。
【００４０】
図１０を参照して、次に演算部１５は、第１反射光画像３０の第１線像３４上に着目点Ｑを選択する。点Ｑは電線２１の点Ｐ（図２）の第１反射光画像への投影点である。
【００４１】
図１１を参照して、次に演算部１５は、第２反射光画像４０上で、第１反射光画像３０の着目点Ｑに対応するエピポーラ線４５を求める。第２線像４４とエピポーラ線４５との交点Ｒを求め、これを着目点Ｑに対応する点とする。点Ｒは電線２１の点Ｐ（図３）の第２反射光画像への投影点である。
【００４２】
以上の工程により、図３に示した電線２１の点Ｐに対して、第１反射光画像３０への投影点Ｑと、第２反射光画像４０への投影点Ｒが得られたので、演算部は点Ｐの３次元位置を算出する。
【００４３】
次に、第１線像３４上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Ｑをずらしながら、すなわち点Ｐを電線２１上で移動させながら３次元位置を求めることによって、電線２１の３次元計測を行う。
【００４４】
電線２１について必要な情報が得られた時点で、上記繰り返し処理を終了する。これにより、電線２１についての３Ｄ画像が得られる。引き続き他の電線、例えば電線２２の３次元計測を行う場合は、電線２２の色を色テーブルから取得して、第１カメラおよび第２カメラが撮像した当初の第１反射光画像および第２反射光画像に対して、第１線像抽出工程から後の工程を繰り返す。
【００４５】
ここで、色テーブルについて、さらに詳しく説明する。
図１２に例示した色テーブルは、線状物の種類毎に１つのＲＧＢ値が記載されたものであったが、線状物１種類に対して複数のＲＧＢ値を記載しておき、いずれかのＲＧＢ値と同色と判断されれば、当該線状物であると判断してもよい。色はＲＧＢ以外の表色系で記録されていてもよい。例えば、国際照明委員会（ＣＩＥ）が策定したＣＩＥＬＡＢ表色系に基づいてＬ＊、ａ＊、ｂ＊で表現されていてもよい。ステレオカメラ１１からの出力がＲＧＢ値であっても、表色系間の換算は容易である。
【００４６】
上記実施の形態では、画素のＲＧＢ値と色テーブルのＲＧＢ値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、Ｌ＊ａ＊ｂ＊の値で表現されていた方が、光量変化にロバストな閾値範囲を設定しやすく、より好ましい。例えば、Ｌ＊値の閾値範囲を広く取っておき、ａ＊値、ｂ＊値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブルと混同せず同色であるとみなすことができる。
【００４７】
色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第１または第２カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第１および第２反射光画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。
【００４８】
（実施の形態２）
図２に示したように、ステレオカメラ１１を用いて電線２１〜２３の３次元位置（３Ｄ画像）を取得する。ここで、第１反射光画像３０および第２反射光画像４０を取得する場合には、自然光または普通照明装置を用いて電線２１〜２３の画像を取得している。電線２１〜２３の表面には、製造工程で用いられるタルクと呼ばれる白い粉が付着している場合がある。
【００４９】
このタルクを取り除かずに電線２１〜２３の画像を取得しようとした場合には、タルクが付着した白い部分が他の領域よりも強く反射する、第１反射光画像３０および第２反射光画像４０に色むらが生じる場合がある。タルクの付着のみだけでなく、個々の電線の着色に不良があることで、第１反射光画像３０および第２反射光画像４０に色むらが生じる場合がある。
【００５０】
画像に色むらが生じると、色とびが発生し、同じ線状物であるか否かの識別が困難になることが考えられる。
【００５１】
付着しているタルクを取り除く作業、および、電線の着色不良の箇所を修正する作業等の修復作業は煩雑である。特に、ロボットハンドを用いて自動的に、ワイヤーハーネスの位置検出、色検出等の作業を行なう工程においては、上記修復作業は、一連の流れを停止する工程であり、ロボットハンドを用いた自動化の作業効率を著しく低下させる要因になり得る。
【００５２】
そこで、本実施の形態では、図２に示したように、ワイヤーハーネスＷを挟んでステレオカメラ１１とは対向する位置に透過光照射部材５０を設け、この透過光照射部材５０をバックライト（背面照射光照射部材）として用いることで、線状物の輪郭が分かる画像を得ることで、色とび箇所の画像の補正を可能とするものである。
【００５３】
透過光照射部材５０は、線状物のシルエットが撮像できる装置または部材であればよく、照明装置または反射材である。照明装置は、通常の照明であればよく、カメラの視野を均一に照らすことができる面照明が特に好ましい。反射材は、紙、布、樹脂等、表面が拡散反射面である種々の材質を用いることができる。特に、均等に近い拡散反射特性を有する反射板が好ましい。柔軟性を有する反射材であれば、ロール状にし、色を切り替えられる構造としてもよい。使用しない時は、視野範囲外にスライドまたは回転する等して退避可能な構造としてもよい。それ自体が発光しない反射材を用いる場合は、室内照明等の環境光を光源として利用してもよい。反射材に対して光を照射する照明装置を別途備えてもよい。
【００５４】
透過光照射部材から光を照射するとは、透過光照射部材自体が発光する場合も、透過光照射部材が反射板などで間接的に光を照射する場合も両方含む。
【００５５】
図１３を参照して、本実施の形態における線状物の３次元計測方法および装置について説明する。図１３は、本実施の形態の３次元形状（補完３Ｄ画像）を得る工程を示す機能ブロック図である。
【００５６】
上記実施の形態１と同様に、ステレオカメラ１１を用いて、第１反射光画像３０および第２反射光画像４０を取得する。第１反射光画像３０および第２反射光画像４０を取得する際は、室内光や太陽光等の環境光が線状物に対して照射された状態で取得すればよい。より安定して反射光画像を取得するためには、線状物に対して光を照射する反射光照射部材を有するのが好ましい。反射光照射部材にはランプ、ＬＥＤ等の通常の照明を用いることができる。より好ましくは、ステレオカメラ１１と同じ側から線状物に対して均一な光を照射可能な拡散光照明である。
【００５７】
次に、透過光照射部材５０をステレオカメラ１１に向けて照射しバックライト撮影を行なう。これにより、電線の輪郭が明確に表れた第１透過光画像３０ａおよび第２透過光画像４０ａが得られ、記憶部１６に記憶される。
【００５８】
演算部１５では、第１反射光画像３０と第１透過光画像３０ａとを用いて、第１反射光画像３０中における線状物の途切れた領域が第１透過光画像３０ａで補完された、第１補完画像３０Ａが得られる。同様に、第２反射光画像４０と第２透過光画像４０ａとを用いて、第２反射光画像４０中における線状物の途切れた領域が第２透過光画像４０ａで補完され、第２補完画像４０Ａが得られる。このようにして得られた、第１補完画像３０Ａおよび第２補完画像４０Ａを用いて、演算部１５では、線状物の３次元形状６０が算出される。
【００５９】
本実施の形態においては、第１カメラ及び第２カメラはモノクロカメラ又はカラーカメラである。線状物の３次元形状を取得する際に画像の色情報を用いる場合は、カラーカメラを用いることが好ましい。
【００６０】
（透過光照射部材５０）
上記実施の形態においては、ワイヤーハーネスＷを構成する電線２１〜２３が、赤、青、黄の被覆を有する場合には、透過光照射部材５０の光源には、普通の照明光を用いることで、電線２１〜２３のシルエットを得ることができる。しかしながら、例えば、電線が白色の場合には、うまくシルエットを得ることができない場合も考えられる。
【００６１】
そこで、透過光照射部材５０に用いられる光源の色には、電線２１〜２３の被覆に用いられている色以外の色の光を照射するとよい。これにより、明確に電線２１〜２３のシルエットを得ることができる。よって、透過光照射部材５０は、線状物に照射する光の色を変更可能な機能を有しているとよい。
【００６２】
透過光照射部材５０に用いられる光源にＲＧＢ（赤、緑、青）光源を用いてもよい。ＲＧＢ（赤、緑、青）の各色を順次照射することで、明確に電線２１〜２３のシルエットを得ることができる。
【００６３】
たとえば、多色の電線（赤・青色）を束ねたワイヤーハーネスを赤色のバックライト（透過光）を用いて撮像した場合、輝度の差を利用して２値化処理をすることで、青色の電線のみの３次元形状が取得できる。なお、色情報を使わない（モノクロ画像の）場合、エピポーラ線との交点が複数出るので、その中から正しい対応点を幾何情報などから見つけ出す必要がある。対応点を見つけ出す手法は、従来技術を適宜用いることで実現できる。
【００６４】
透過光画像２枚（ステレオカメラ中の２台のカメラで撮像した第１透過光画像および第２透過光画像）だけでも線状物の３次元形状を取得可能である。しかし、透過光照射部材５０からの光の照射加減によっては、線状物の輪郭をはっきりと認識できないことがあるため、これらの透過光画像２枚に加えて第１反射光画像および第２反射光画像を用いて取得した反射光画像を２枚用いた補完画像による三次元計測の方がより精度が高い。
【００６５】
ロボットハンドを用いた電線２１〜２３の把持制御においては、第１反射光画像３０および第２反射光画像４０中には、色むらが生じた箇所が存在したとしても、補完画像を用いることで、色むら箇所にも電線が存在することが明らかとなる。よって、色むら箇所に電線が存在することが明確であれば、その色むら箇所の位置情報に基づき、色むら箇所を把持する制御を行なってもよい。
【００６６】
本実施の形態の計測方法は、ケーブルの他、糸、色鉛筆・ボールペン替え芯等の筆記具、その他種々の線状物に適用可能である。
【００６７】
上記実施の形態における工程や操作は、それが可能である場合には、実行する順序を入れ替えたり、省略してもよい。
【００６８】
本実施の形態の計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測対象物の形状その他の特徴に着目したマッチング方法を併用するメリットがある。
【００６９】
今回開示された各実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７０】
１０  線状物の３次元計測装置、１１  ステレオカメラ、１２  第１カメラ、１３  第２カメラ、１４  カメラ制御部、１５  演算部、１６  記憶部、１７  入出力部、２１〜２３  電線（線状物）、３０  第１反射光画像、３０ａ  第１透過光画像、３０Ａ  第１補完画像、３１〜３３  第１反射光画像上の電線２１〜２３の像、３４  第１線像、４０  第２反射光画像、４０ａ  第２透過光画像、４０Ａ  第２補完画像、４１〜４３  第２反射光画像上の電線２１〜２３の像、４４  第２線像、４５  エピポーラ線、５０  透過光照射部材、６０  ３次元形状（補完３Ｄ画像）、Ｐ  電線２１上の点、Ｑ  点Ｐの第１反射光画像への投影点（着目点）、Ｒ  点Ｐの第２反射光画像への投影点（対応点）。
【図１】
2019188198.tif 000003
【図２】
2019188198.tif 000004
【図３】
2019188198.tif 000005
【図４】
2019188198.tif 000006
【図５】
2019188198.tif 000007
【図６】
2019188198.tif 000008
【図７】
2019188198.tif 000009
【図８】
2019188198.tif 000010
【図９】
2019188198.tif 000011
【図１０】
2019188198.tif 000012
【図１１】
2019188198.tif 000013
【図１２】
2019188198.tif 000014
【図１３】
2019188198.tif 000015
【国際調査報告】
2019188198.tif 000016
2019188198.tif 000017
2019188198.tif 000018
2019188198.tif 000019