(57)【要約】【課題】  ２台のカメラで異なる方向から被測定物を撮像し、カメラ間の視差を利用して被測定物の三次元形状を取得する技術を提供する。【解決手段】  ライン状の照明光を照射する光源と、ライン照明の所定位置内をコネクターピンのピン先が通過するようコネクターを把持して移動させる手段と、ライン照明を通過するピン先を撮像する２台のカメラによって、コネクターの移動方向に対してライン照明の斜め前方及び後方からピン先を撮像する手段を備え、撮像した２枚の画像からピン先の三次元位置を計測することを特徴とするコネクターピン検査装置に関する。【選択図】図１
2011247690.tif 000002
【特許請求の範囲】
【請求項１】
コネクターのピン先にライン状の照明光を照射する照明手段と、
前記照明手段によってライン状の照明光が照射されている範囲内の所定位置をコネクターのピン先が通過するよう該コネクターを把持し移動する移動手段と、
前記コネクターの移動方向に対し前記ライン照明の斜め前方と斜め後方に配置された２台のカメラによって前記ピン先を撮像する撮像手段と、
前記カメラが撮像した２枚の画像から前記コネクターのピン先の三次元位置を算出する位置算出手段と、
を有することを特徴とするコネクターピン検査装置。
【請求項２】
前記カメラはラインセンサーを内蔵し、当該ラインセンサーにおけるセル配列方向が前記ライン照明と平行に配置されたことを特徴とする請求項１に記載のコネクターピン検査装置。
【請求項３】
前記ライン照明は、照明色が異なり並行配置された２本以上のライン照明からなることを特徴とする請求項１または２に記載のコネクターピン検査装置。
【請求項４】
前記位置算出手段は、どちらか一方のカメラで撮像した画像におけるピン先の色と画像中の位置から、他方のカメラ画像のピン先の色と位置を推定し、推定した該位置に最も近い画像中のピン先を対応するピン先と決定することを特徴とする請求項３に記載のコネクターピン検査装置。
【請求項５】
ラインセンサーによる２台のカメラと照明色が異なり並行配置された２本以上のライン照明を有するコネクターピン検査装置に適用する検査方法であって、
ライン状の照明光を照射する照明工程と、
前記ライン照明の所定位置内をコネクターのピン先が通過するよう該コネクターを把持し移動する移動工程と、
前記コネクターの移動方向に対し前記ライン照明の斜め前方と斜め後方に配置された２台のカメラによって前記ピン先を撮像する撮像工程と、
前記カメラが撮像した２枚の画像から前記コネクターのピン先の三次元位置を算出する位置算出工程と、
を有することを特徴とするコネクターピン検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コネクターピンの検査技術に関する。
【背景技術】
【０００２】
計算機装置などの製造工程において、基板にコネクターを挿入する際に、一部のピン先位置にズレがあると、ズレたピンが正しく挿入されないため、装置不良を引き起こす原因となる。そのため、こうしたコネクターのピン先の位置について、高さを含めた三次元位置として計測し、検査することが求められている。
【０００３】
これに対し、物体表面の高さを計測する三次元計測法として視差計測法が提案されている。視差計測法には、レーザーを物体表面を走査し、その反射光を計測する手法や、ライン状の光を対象物に照射し、斜め方向からのライン光に応じて計測される対象物の変化に基づいて物体の高さを特定する手法がある。
【０００４】
例えば、リード形状計測装置に関し、対象物のライン上に存在する仮想線の交点を輪郭画像或いは複数の平行なライン光などから物体の高さを割り出している。
【０００５】
また、例えば、被測定物の移動方向に対し直交配置された１組のラインセンサーとマッチング手段を備え、ベルトコンベア上の被測定物を撮像し、２つのカメラ間の視差を演算して、被測定物の断面の三次元形状を取得している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０５−２６６４０号公報
【特許文献２】特開２００４−１１７１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の視野計測による三次元計測法は、高速なデータ取得が可能となる反面、視差が十分に取れないため計測精度が出ない、対応点探索が困難な対象には利用できない等、大面積を高精度に計測する点において、以下の問題を抱える。
【０００８】
２台のカメラの画像の違いから対象の変位を計測する視差計測法では、大きな視差がある方が、画像の違いが顕著になり、高い計測精度が期待できる。しかし、図１０に示すように、視野内の広い面積でフォーカスの合った画像を撮像するには、２台のカメラは対象面に対して、ほぼ垂直な角度にする必要があり、視差を十分に取ることができない。視野全体でフォーカスが合っていないとカメラで撮像する画像がボケてしまい、それ以上視差を大きく取ると視野全体でフォーカスを合わせることが困難となる。
【０００９】
また、視差計測法では、２台のカメラの画像間で同一の部分（対応点）が映っているときには、この点の奥行き方向の位置が計算できるが、コネクターのピン先のように特徴に乏しい対象が視野内に多数表れた場合、対応点を見つけることが困難である。
【００１０】
そこで、本発明では、視差計測法において視差の拡大と対応点検索の容易化が図れる検査技術を提供する。
【課題を解決するための手段】
【００１１】
発明の一つの態様は、コネクターのピン先にライン状の照明光を照射する照明手段と、前記照明手段によってライン状の照明光が照射されている範囲内の所定位置をコネクターのピン先が通過するよう該コネクターを把持し移動する移動手段と、前記コネクターの移動方向に対し前記ライン照明の斜め前方と斜め後方に配置された２台のカメラによって前記ピン先を撮像する撮像手段と、前記カメラが撮像した２枚の画像から前記コネクターのピン先の三次元位置を算出する位置算出手段と、を有することを特徴とするコネクターピン検査装置に関する。
【発明の効果】
【００１２】
上記本発明によれば、コネクターピンのピン先を三次元位置として、２台のカメラに与える視差は被写界深度の影響を受けず十分な視差を得ることが可能となり、高性能のコネクター検査装置の提供が可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態になるラインセンサーを用いた視差計測法の原理を説明する図である。
【図２】本発明の実施の形態になる視差計測法によるコネクターピン測定の構成例を示す図である。
【図３】コネクターの移動に応じて観察されるピン位置と高さを示す図である。
【図４】コネクターにおけるピンの整列状態とセンサーの出力画像との関係を示す図である。
【図５】センサー画像による近傍ピンの対応点検索を示す図である。
【図６】幅方向にカラー化したライン照明による対応点の検知例を示す図である。
【図７】カラー化ライン照明による対応点探索のルールを示す図である。
【図８】本発明の実施の形態になるコネクターピン検査装置の構成例を示す図である。
【図９】本発明の実施の形態になるコネクターピンの検査手順を示すフロー図である。
【図１０】従来の視差計測による検査方法を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態につき、図面に基づいて説明する。
【００１５】
図１は、ラインセンサーを用いた視差計測法の原理説明図を示す。本発明の視差計測は、直線移動可能な測定対象５に対し、ライン照明４によってライン状の照明光を垂直に照射し、その照射領域の測定対象５を２台のラインセンサーカメラ１によって撮像する構成となっている。本発明では、２台のラインセンサーカメラ１間の視差を大きくとるため、垂直に照射したライン照明４を横切るように測定対象５を移動させ、この様子を順次２台のカメラで撮像することを特徴としている。
【００１６】
２台のラインセンサーカメラ１は、それぞれＣＣＤ（Charge Coupled Device 電荷結合素子）からなるラインセンサー２及び測定対象５からの反射光を集光するレンズ３を有し、ライン照明４と平行に該ライン照明４を前後に挟んで傾斜させて測定対象（コネクターピン）５の照射点（ピン先）に焦点を合わせている。
また、ライン照明４は、幅方向に併置させたカラー光源、ＬＥＤ（Light Emitting Diode; 発光素子）による照明機構を含むライン状の照明光を移動する測定対象（コネクターピン）５に照射するものである。
【００１７】
ここで、以下の記述では、２台のラインセンサーカメラ１は、カメラＡ、カメラＢと表現し、カメラＡ、カメラＢにそれぞれ備わるラインセンサー２は、センサーＡ、センサーＢと表現する。
【００１８】
図１に示すように、照明位置におけるライン照明４を挟んで、一方のカメラＢは測定対象５の移動方向の前方から、他方のカメラＡは後方から測定対象５を撮像する。また、カメラＡ、カメラＢに搭載されたラインセンサー２におけるセルの並びは移動方向に直交させている。そして、ラインセンサー２の各セルは、各時刻に光軸上でライン照明の内側にある測定対象５の表面を撮像する。
【００１９】
上述した本発明の構成により、一度にフォーカスを合わせる必要のある範囲は、ライン光の幅程度とすることが可能となり、２台のラインセンサーカメラ１による視差は、被写界深度の影響をなくすのに十分な視差とすることが可能となる。
【００２０】
図２は、本発明の視差計測法によるコネクターピン測定の構成例を示す。
【００２１】
図２に示すように、ライン照明４は、コネクター６の幅でピンの間隔よりも細いライン状の光となるようにピンを上方から照明し、コネクター６は、ライン照明４を横切るように移動可能としている。２台のラインセンサー２の内、センサーＢはコネクター６の移動方向の前方に配置され、センサーＡはコネクター６の移動方向の後方に配置される。
【００２２】
それぞれのラインセンサー２の光軸Ａ、Ｂは、ライン照明４の中央部で交差し、この交点で焦点が合うように調整する。当該交点を座標系の原点とし、標準的な高さのピンがライン照明４下を通るとき、ピン先がこの交点を通過するものとする。また、ラインセンサー２のセルの並びは、ライン照明４の長手方向と一致させ、ラインセンサー２の並び方向をＸ軸、コネクター６の移動方向をＹ軸とする。
【００２３】
以上、上述した測定構成において、コネクター６の移動速度に対し十分高速にラインセンサー２と水平同期を取ることによって、ライン照明４を横切るピン先をそれぞれのラインセンサー２で撮像することが可能となる。
【００２４】
図３は、コネクターの移動に応じて観察されるピン位置と高さの関係を示す。図は、ラインセンサーの各セルによって、各時刻に各光軸上でライン照明４の内側にある測定対象５の表面が撮像される状態を説明している。図３（ａ）は、ライン照明の後方に配置されたセンサーＡによる検出例を示し、図３（ｂ）は、ライン照明の前方に配置されたセンサーＢによる検出例を示している。
【００２５】
ここで、ピンの高さが同じならば、Ａ、Ｂどちらのセンサーでも移動方向の前方にあるピンから順に早い時刻に撮像される。一方、ピンの面内位置が同じ場合、移動方向に対して後方に置かれたセンサーＡでは、高さの高いピンＡが早い時刻に撮像され、前方に置かれたセンサーＢでは、高さの低いピンＤが早い時刻に撮像される。
【００２６】
図４は、コネクターにおけるピンの整列状態とセンサーの出力画像との関係を示している。図４（ａ）は、高さが同一でライン方向にも整列したピンの状態を示し、（ｂ）は、高さは同一であるがライン方向に整列していないピンの状態を示し、（ｃ）は、ライン方向に整列しているが高さが不揃いのピンの状態を示している。
【００２７】
センサーＡ、Ｂで撮像したセンサー画像は、（ａ）、（ｂ）のようにピンの高さがセンサーの焦点位置にあれば、Ａ、Ｂどちらのセンサーでも同じ時刻にピンが撮像され、ピンの撮像される時刻でピンのＹ方向の位置を知ることができる。
【００２８】
図４（ａ）のように、ライン照明の長手方向に整列したピンでは、全てのピンが同じ時刻に撮像される。（ｂ）のようにピンの位置がばらばらな場合は、ピンの位置に応じて撮像される時刻が異なる。一方、（ｃ）のようにピンの高さが異なる場合は、ピンが整列していても、センサーで撮像される時刻に違いが出る。
【００２９】
２つのセンサーの光軸の交点と高さが一致するピンの場合、２つのセンサーの画像に現れる時刻は一致し、これよりも低いピンはセンサーＡよりセンサーＢに早く現れる。逆に高いピンは、センサーＡに早く現れる。このように、センサーＡとセンサーＢの画像中に現れたピンの像の対応が付けば、ピンの高さが特定できる。
【００３０】
図５は、センサー画像から近傍ピンの対応点検索を説明する図である。図では、２つのセンサー画像中の対応するピンを見つける方法について示している。
【００３１】
Ｙ軸方向のピン間隔が離れている場合、両画像でＸ軸の位置が一致し、最も近いピンの像を探すことで対応が取れる。しかし、ピン間隔が密集してくると、この方法では対応関係を知ることが難しくなる。図５は、単純な方法では２つのセンサー画像間の対応をとることができないことを示している。
【００３２】
センサー画像Ａに映っているピンをセンサー画像Ｂで検索する場合、Ｘ座標が同じで、Ｙ座標が近傍にあるピンを検索するが、最近傍にあるピンが対応するピンとは限らない。図５のような部分画像では、センサーＢに映った２本のピンの内、どちらのピンがセンサーＡのピンに対応しているのかは判別つかない。
【００３３】
ここで、対応点とは、２つのセンサーの画像で、同じ対象物の同じ位置の像が現れる点のことであり、ピン計測では、それぞれのセンサー画像において同じピンの頂点が現れている点が対応点となる。
【００３４】
図５（ａ）のセンサー画像Ａの中央部に現れたピン先の像に対して、センサー画像Ｂには、センサー画像ＡとＸ座標が同じで、ほぼ等距離にある２つのピン先の像が現れている。この場合、図５（ｂ）と（ｃ）の２通りの可能性がある。（ｂ）は、センサーＢ中の２本のピンが両方とも標準より高い場合である。センサーＡのピンの像に対応するセンサーＢの像は（１）であり、センサーＡの像がセンサーＢの像より先に現れている。一方、図５（ｃ）では、逆に２本のピンが標準よりも低い場合で、センサーＡの像に対応するセンサーＢの像は（２）となる。
【００３５】
そこで、２つのラインセンサー２によって対応するピンを簡単に見つけるため、以下のように、ライン照明４を面内で変化させるのが好適となる。
【００３６】
図６は、幅方向にカラー化したライン照明による対応点の検知例を示す。
【００３７】
図６（ａ）は、ライン照明４の色をラインの幅方向で測定対象５の移動に伴って順に変化させるカラー化ライン照明の構成例を示し、図６（ｂ）は、カラー化ライン照明を用いた場合に撮像されるセンサー画像例を示す。
【００３８】
計測すべきピン高さの変化範囲と同じ太さのライン照明４の光源の色を幅方向で変化させる。ライン照明４のライン幅方向に配置させる２色光のピーク間隔として各色の半値幅は計測レンジ（例えば、５００μｍ程度）に合わせる。実施例では、ライン照明４の左側に赤色光源、右側に青色光源を配置させ、測定対象４の移動に伴って、測定面では赤から青へと２色に変わるようにしている。このライン照明４の下で、それぞれのセンサーをカラーラインセンサーとすると、基準面より高いピンはセンサーＡでは赤く、センサーＢでは青く撮像される。この場合、対応する像は、センサーＡよりセンサーＢの方が遅れて撮像される。逆に、基準面よりも低いピンは、センサーＡでは青く、センサーＢでは赤く撮像され、センサーＡよりセンサーＢの方が進んで撮像される。
【００３９】
このように、ライン照明４を色付けることによって、ピンのおよその高低とセンサーＡとセンサーＢに現れる順序が分かるようになり、それぞれのセンサーの画像の中で対応するピンの像を求めることが可能となる。
【００４０】
図７は、カラー化ライン照明による対応点探索のルールを示す。図は、ライン照明の下では、センサーＡとセンサーＢの画像間で対応するピン間の位置と色の組み合わせについて示すものである。
【００４１】
（ａ）ピン高さが基準面を超える場合、センサーＡによって撮像されるピン画像には赤色で出現し、センサーＢによって撮像されるピン画像には青色で出現し、センサーＢよりも早い時刻にセンサーＡに出現する。また、（ｂ）ピン高さが基準面と同レベルの場合、センサーＡ、Ｂの両画像で赤青の中間色で同時刻に出現する。さらに、（ｃ）ピン高さが基準面より低い場合、センサーＡによって撮像されるピン画像には青色で出現し、センサーＢによって撮像されるピン画像には赤色で出現し、センサーＡよりも早い時刻にセンサーＢに出現する。
【００４２】
以上のルールの基に、対応点の判定がなされる。
【００４３】
図８は、本発明のコネクターピン検査装置の構成例を示す。
【００４４】
コネクターピン検査装置は、測定対象５に２色のライン状の照明光を照射するライン照明４とそれを制御する照明制御部１１からなる照明手段と、垂直に照射されるライン照明の所定位置内をコネクター６の測定対象５であるピン先部分が通過するよう該コネクター６を把持し移動させる移動ステージ７とその移動量を制御する移動制御部１３からなる移動手段を有する。
【００４５】
また、コネクターピン検査装置は、移動するコネクター６のピン先を撮像する、コネクター６の移動方向に対しライン照明４の斜め後方に配置したカメラＡと斜め前方に配置したカメラＢと、撮像のタイミングを制御する撮像制御部１２とからなる撮像手段を有する。なお、各カメラはカラーＣＣＤ撮像素子によるラインセンサー２で構成される。
【００４６】
さらに、コネクターピン検査装置は、装置全体を制御する制御装置１０を備え、撮像制御部１２から取得した映像を記憶装置１００に保存し、該映像から２次元のセンサー画像を作成する手段と、２つのカメラが撮像した２枚のセンサー画像からコネクター６のピン先の三次元位置を算出する位置算出手段を有する。
【００４７】
以下に、本発明のコネクターピン検査装置の動作を説明する。
【００４８】
照明光源は、測定対象５のコネクター６を横断するライン状とし、標準の高さとなる基準面上で、幅方向に赤から青など色が測定対象５上で順に変わる設定とするため、２本の色の異なるライン光源を近接させている。それには、ＬＥＤをライン状に配置した光源をレンズ３を用いて基準面上に結像して作ることを前提としているが、ＬＤ（Laser Diode ）などのレーザー光源をスリットに通しライン状の照明を作ってもよい。ラインの幅は、ピンの間隔以下で、かつ計測すべきピンの高さの変化範囲と同程度にする。
【００４９】
ライン照明４の下に検査すべきコネクター６をピン先を上に向けて保持し、移動可能な移動ステージ７を設ける。検査時にはコネクター６がライン照明４を横切るように移動させる。このとき、基準面上のライン照明４の中央を原点とし、ライン照明４の長手方向をＸ軸、コネクターの移動方向をＹ軸と定める。
【００５０】
２つのラインセンサー２は、基準面上のライン照明４を一方は前方から、もう一方は後方から撮像できるように配置される。セルの並びをライン照明の長手方向と平行にし、基準面上のライン照明に焦点を合わせておく。照明後方のセンサーをセンサーＡ、前方のセンサーをセンサーＢとする。また、ライン照明４の落射方向とセンサーＡの光軸とのなす角θa とθｂとは同じにしておく。ラインセンサー２は、明るさと色とが撮像できるようカラーセンサーを適用する。
【００５１】
それぞれのセンサーで撮像した１ラインはライン照明４内をカメラの光軸にそって、基準平面に向かって射影した像となる。コネクター６を移動させつつ撮像したライン像をＸ方向、Ｙ方向のスケール（１画素あたりの長さ）が一致するように一定の時間間隔で２次元に並べ、該画像をそれぞれのセンサー画像とする。画像のＸ方向のスケールは、センサーのセルサイズをカメラレンズの光学倍率で割った値、Ｙ方向のスケールは、コネクター６の移動速度にセンサーの水平同期間隔をかけた値になる。
【００５２】
各センサー画像は、ライン照明４内のセンサー光軸上にピン先が現れたとき、その位置の照明色で明るく撮像され、それ以外のときは暗く撮像される。
＜ピン先位置の算出＞
それぞれのセンサー画像中から同じピンを撮像した対応するピン先の像を求め、ピン先位置を計算する。
【００５３】
まず、センサーＡ画像中に現れるそれぞれのピン先の像について対応するセンサーＢ画像中のピン先の像を見つける。各センサーの画像では、対応するピンの像の間につぎの規則がある（図７参照）。
【００５４】
それぞれのセンサー画像でセンサーセルの並び方向（Ｘ軸）は、必ず一致する。但し、これは、図２のカメラ構成が、設計通り像に歪やズレがないことが前提である。カメラ間に歪やズレがある場合は、チェスボード像などを使い、一般的なカメラキャリブレーション手法によって歪、ズレ量を補正するとよい。
【００５５】
つぎに、センサーＡ画像で赤く見える画像は、基準面の高さ（基準高さ）よりも高いピンであり、センサーＢでは遅れて青く映る。逆に、センサーＡで青く見える画像は、基準高さよりも低いピンであり、センサーＢでは進んで映る。センサーＡで赤と青の中間色に見える画像は、センサーＢでも同じ色で遅れや進み無しに映る。
【００５６】
以上の規則を二つの画像で座標が近いピン先に適用すれば、対応するピン先を一対に決めることができる。
【００５７】
両方のセンサー画像中で対応するピン先を見つけることができれば、それぞれの画像中の座標から、以下の計算によってピン先の３次元位置を求めることができる。センサーＡ画像中に現れたピン先の座標を（Ｘａ，Ｙａ）、これに対応するセンサーＢ画像中のピン先の座標を（Ｘｂ, Ｙｂ）とすると、ピン先の３次元位置（ｘ，ｙ，ｚ）は、以下の式（１）から（３）で表される。
【００５８】
【数１】
2011247690.tif 000003
【００５９】
但し、ライン照明４と各センサの光軸のなす角θは、θ＝θa ＝θｂとしている。
【００６０】
また、Ｘ軸方向とＹ軸方向の同じ距離が、画像中に同じ画素の違いとして撮像されるよう、各センサーの水平、垂直同期と、コネクターの移動速度を調整するものとし、式中のＸａ、Ｙａ、およびＸｂ、Ｙｂは、各センサー画像中にピン先が現れる画素に１画素あたりの長さを乗じて計算した面内の位置であるとする。
【００６１】
以上、図２の構成を使い、両センサー画像中にピン先の像が対応づけできれば、ピン先の３次元位置を求めることができる。
【００６２】
図９は、本発明のコネクターピンの検査手順を示すフロー図である。
【００６３】
まず、移動ステージ７に測定対象５となるコネクター６のピン先を上面に向けてセットし、該ピン先を上面から垂直に照射するライン照明４の位置合わせ、および２つのカメラの光軸と基準面における測定対象５上の焦点位置の調整を行う（ステップＳ１１〜Ｓ１３）。
【００６４】
調整が終わった時点で、ステップＳ１４において、移動制御部１３は、移動ステージ７をＹ軸方向に移動させ、ステップＳ１５において、撮像制御部１２は、コネクタピンの移動に伴い、センサーＡ、Ｂによって撮像し、その撮像されたピンのライン映像を制御装置１０が取得し、記憶装置１００に保存する。
【００６５】
ステップＳ１６において、全ピンの撮像が完了したか否かを判定し、完了していなければ、完了となるまで、ステップＳ１４〜Ｓ１５を繰り返す。
【００６６】
全ピンの撮像が完了した時点で、ステップＳ１７において、制御装置１０は、撮像ライン映像から時系列にＹ軸方向に並べた２次元画像をセンサー画像として作成する。
【００６７】
つぎに、ステップＳ１８において、２つのセンサー画像から対応ピンの３次元位置を式（１）〜（３）に基づいて算出する。
【００６８】
そして、ステップＳ１９において、その算出結果を出力装置に出力する。
【産業上の利用可能性】
【００６９】
本発明は、コネクターピンの自動検査技術の分野に適用される。
【符号の説明】
【００７０】
１  カメラ
２  ラインセンサー
３  レンズ
４  ライン照明
５  測定対象
６  コネクター
７  移動ステージ
１０  制御装置
１１  照明制御部
１２  撮像制御部
１３  移動制御部
１００  記憶装置
【図１】
2011247690.tif 000004
【図２】
2011247690.tif 000005
【図３】
2011247690.tif 000006
【図４】
2011247690.tif 000007
【図５】
2011247690.tif 000008
【図６】
2011247690.tif 000009
【図７】
2011247690.tif 000010
【図８】
2011247690.tif 000011
【図９】
2011247690.tif 000012
【図１０】
2011247690.tif 000013