(57)【要約】【課題】  対象部材に形成された貫通穴の位置、方向などを精度よく検出すること。【解決手段】  所定の厚みを有するワークに形成された貫通穴を撮影して当該貫通穴の内壁面が映るステレオ画像を取得する画像取得装置１Ａと、この取得した画像を処理する画像処理装置２と、を備え、この画像処理装置２が、取得したステレオ画像から内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段１２，１３と、検出した特徴点の三次元位置情報に基づいて貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測手段１４と、位置情報検出手段にて検出した特徴点の分布に基づいて、形状予測手段にて算出された略筒状の三次元形状における端部を特定する端部特定手段１５と、を備えた。【選択図】図１
2006010392.tif 000002
【特許請求の範囲】
【請求項１】
所定の厚みを有するワークに形成された貫通穴を撮影して当該貫通穴の内壁面が映るステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置と、を備え、
この画像処理装置が、
前記取得したステレオ画像から前記内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測手段と、
前記位置情報検出手段にて検出した前記特徴点の分布に基づいて、前記形状予測手段にて算出された略筒状の三次元形状における端部を特定する端部特定手段と、
を備えたことを特徴とする貫通穴計測システム。
【請求項２】
所定の厚みを有するワークに形成された、内壁面に凹凸形状を有する貫通穴を撮影して当該貫通穴の内壁面が映るステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置と、を備え、
この画像処理装置が、
前記取得したステレオ画像から前記内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、当該貫通穴に対応する筒形状を算出する形状予測手段と、
この算出された筒形状の軸方向において、前記位置情報検出手段にて検出した前記特徴点の分布数が最も多い位置を特定し、当該特定された軸方向の位置を前記形状予測手段にて算出された前記筒形状の端部として特定する端部特定手段と、
を備えたことを特徴とする貫通穴計測システム。
【請求項３】
前記画像処理装置の端部特定手段が、前記位置情報検出手段にて検出された特徴点のうち、前記形状予測手段にて算出された前記筒形状から予め定められた距離だけ離れたものを除外して前記筒形状の端部を特定するよう作動する、ことを特徴とする請求項２記載の貫通穴計測システム。
【請求項４】
前記画像処理装置の前記端部特定手段が、前記除外された特徴点の三次元位置情報に基づいて、当該除外された特徴点の数が前記形状予測手段にて前記内壁面に対応した筒形状の軸方向における最も多い位置を特定し、この位置を面取り加工面の端部として特定する、ことを特徴とする請求項３記載の貫通穴計測システム。
【請求項５】
前記画像処理装置が、前記取得したステレオ画像からエッジ検出を行い、このエッジ情報に基づいて前記貫通穴の端部輪郭形状を算出する端部輪郭形状算出手段を備え、
前記画像処理装置の形状予測手段は、前記端部輪郭形状算出手段にて算出した端部輪郭形状を初期端部位置として前記筒形状を予測算出する、
ことを特徴とする請求項２，３又は４記載の貫通穴計測システム。
【請求項６】
前記画像処理装置の位置情報検出手段は、前記ステレオ画像から位相限定相関法を利用して前記内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する、ことを特徴とする請求項２，３，４又は５記載の貫通穴計測システム。
【請求項７】
前記ワークに形成された前記貫通穴の一方の端部側から前記ステレオ画像を取得するよう前記画像取得装置を配設すると共に、前記貫通穴の他方の端部側から前記ワークに対して光を照射する照明手段を配設した、ことを特徴とする請求項２，３，４，５又は６記載の貫通穴計測システム。
【請求項８】
前記画像取得装置を、ステレオ画像をそれぞれ取得する２組の画像取得装置にて構成すると共に、
この２組のステレオ画像装置を、前記貫通穴の内壁面の異なる箇所の画像をそれぞれ取得可能な位置に配置する、ことを特徴とする請求項２，３，４，５，６又は７記載の貫通穴計測システム。
【請求項９】
所定の厚みを有するワークに形成された貫通穴の内壁面が映るステレオ画像を撮影した画像取得装置から取得した当該ステレオ画像を処理して、前記貫通穴の計測を行う貫通穴計測用画像処理装置であって、
前記取得したステレオ画像から前記内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測手段と、
前記位置情報検出手段にて検出した前記特徴点の分布に基づいて、前記形状予測手段にて算出された略筒状の三次元形状における端部を特定する端部特定手段と、
を備えたことを特徴とする貫通穴計測用画像処理装置。
【請求項１０】
所定の厚みを有するワークに形成された内壁面に凹凸形状を有する貫通穴の内壁面が映るステレオ画像を撮影した画像取得装置から取得した当該ステレオ画像を処理して、前記貫通穴の計測を行う貫通穴計測用画像処理装置であって、
前記取得したステレオ画像から前記内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、当該貫通穴に対応する筒形状を算出する形状予測手段と、
この算出された筒形状の軸方向において、前記位置情報検出手段にて検出した前記特徴点の分布数が最も多い位置を特定し、当該特定された軸方向の位置を前記形状予測手段にて算出された前記筒形状の端部として特定する端部特定手段と、
を備えたことを特徴とする貫通穴計測用画像処理装置。
【請求項１１】
所定の厚みを有するワークに形成された貫通穴の内壁面が映るステレオ画像を画像取得装置にて取得し、このステレオ画像を画像処理装置を用いて処理することにより前記貫通穴の計測を行う貫通穴計測方法であって、
前記取得したステレオ画像から前記内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出工程と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測工程と、
前記位置情報検出工程にて検出した前記特徴点の分布に基づいて、前記形状予測工程にて算出された略筒状の三次元形状における端部を特定する端部特定工程と、
を有することを特徴とする貫通穴計測方法。
【請求項１２】
所定の厚みを有するワークに形成された内壁面に凹凸形状を有する貫通穴の内壁面が映るステレオ画像を画像取得装置にて取得し、このステレオ画像を画像処理装置を用いて処理することにより前記貫通穴の計測を行う貫通穴計測方法であって、
前記取得したステレオ画像から前記内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出工程と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、当該貫通穴に対応する筒形状を算出する形状予測工程と、
この算出された筒形状の軸方向において、前記位置情報検出工程にて検出した前記特徴点の分布数が最も多い位置を特定し、当該特定された軸方向の位置を前記形状予測工程にて算出された前記筒形状の端部として特定する端部特定工程と、
を有することを特徴とする貫通穴計測方法。
【請求項１３】
前記端部特定工程が、前記位置情報検出工程にて検出された特徴点のうち、前記形状予測工程にて算出された前記筒形状から予め定められた距離だけ離れたものを除外して前記筒形状の端部を特定するよう作動する、ことを特徴とする請求項１２記載の貫通穴計測方法。
【請求項１４】
前記端部特定工程が、前記除外された特徴点の三次元位置情報に基づいて、当該除外された特徴点の数が前記形状予測工程にて前記内壁面に対応した筒形状の軸方向における最も多い位置を特定し、この位置を面取り加工面の外周として特定する、ことを特徴とする請求項１３記載の貫通穴計測方法。
【請求項１５】
前記形状予測工程の前に、前記取得したステレオ画像からエッジ検出を行い、このエッジ情報に基づいて前記貫通穴の端部輪郭形状を算出する端部輪郭形状算出工程を備え、
前記形状予測工程が、前記端部輪郭形状算出工程にて算出した端部輪郭形状を初期端部位置として前記筒形状を予測算出する、
ことを特徴とする請求項１２，１３又は１４記載の貫通穴計測方法。
【請求項１６】
所定の厚みを有するワークに形成された貫通穴の内壁面が映るステレオ画像を撮影した画像取得装置から取得した当該ステレオ画像を処理して、前記貫通穴の計測を行うコンピュータに、
前記取得したステレオ画像から前記内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測手段と、
前記位置情報検出手段にて検出した前記特徴点の分布に基づいて、前記形状予測手段にて算出された略筒状の三次元形状における端部を特定する端部特定手段と、
を実現するための貫通穴計測用プログラム。
【請求項１７】
所定の厚みを有するワークに形成された内壁面に凹凸形状を有する貫通穴の内壁面が映るステレオ画像を撮影した画像取得装置から取得した当該ステレオ画像を処理して、前記貫通穴の計測を行うコンピュータに、
前記取得したステレオ画像から前記内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した前記特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、当該貫通穴に対応する筒形状を算出する形状予測手段と、
この算出された筒形状の軸方向において、前記位置情報検出手段にて検出した前記特徴点の分布数が最も多い位置を特定し、当該特定された軸方向の位置を前記形状予測手段にて算出された前記筒形状の端部として特定する端部特定手段と、
を実現するための貫通穴計測用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、貫通穴計測システムにかかり、特に、厚みのあるワークに形成された貫通穴の形状を算出することにより、その位置及び貫通方向を計測するシステムに関する。また、貫通穴計測方法、貫通穴計測用プログラムに関する。
【背景技術】
【０００２】
二輪アルミフレームなどの種々の部品が取り付けられる部材には、多くの部品取付用穴が形成されている。例えば、図１１に示すような二輪アルミフレーム１００には、複数の貫通穴Ｈが形成される。しかし、フレームが歪んで形成されてしまうと、その取付用穴の位置や穴の貫通方向が変化してしまい、取付部品が取り付けられないという問題が生じる。従って、これら取付用穴の検査を事前に行うことで、取付可能な許容範囲にあるフレームのみを使用することができ、その後の組み付け作業の迅速化を図ることができる。
【０００３】
そして、対象部材（ワーク）に形成された穴の位置を検査する技術が、特許文献１及び特許文献２に開示されている。この特許文献１記載の計測方法は、レーザ（光学式）測距計の走査により、円形穴の外形である円周上の数点を計測し、穴の中心位置を算出する、というものである。具体的には、図１２（ａ）に示すように、まず板材に形成された貫通穴Ｈ（図１２（ａ）（１））に対してレーザ光を直線Ｌ１，Ｌ２に示すように走査して距離を測定する（図１２（ａ）（２））。なお、レーザ光の走査線である直線Ｌ１，Ｌ２のうち、実線で表した箇所は穴の加工面を測距した箇所を示しており、点線で表した箇所は穴の内部を計測、あるいは、計測不可能であった箇所を示している。このようにレーザ測距することで、測定距離が急激に変化した点Ｄを検出する。図１２（ａ）（２）の例では、４点が計測されたとする。そして、かかる点から貫通穴Ｈの形状を算出し、中心位置Ｃを算出する（図１２（ａ）（３））。
【０００４】
また、特許文献２の計測方法は、スリット光の照射と画像処理により、上記同様に円形穴の外形である円周上の数点を計測し、穴の中心位置を算出する、というものである。具体的には、図１２（ｂ）に示すように、まず板材に形成された貫通穴Ｈ（図１２（ｂ）（１））に対してスリット光を符号Ｌ３，Ｌ４に示すように照射し（図１２（ｂ）（２））、この状態における画像を取得して処理することにより貫通穴Ｈの外形である円周上の点Ｄを計測する（図１２（ｂ）（３））。そして、かかる点から貫通穴Ｈの形状を算出し、中心位置Ｃを算出する（図１２（ｂ）（４））。
【０００５】
【特許文献１】特開平１１−２３２１７号公報
【特許文献２】特開平６−２５８０２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、厚さ１ｃｍ以上を有する板材に形成された貫通穴は、通常面取り加工が施されているため、上記特許文献記載の手法では、検出精度が低下する、という問題が生じる。具体的に図１３乃至図１４を参照して説明する。
【０００７】
まず、図１３を参照して、上記特許文献１に示すレーザ測距計を用いた場合の問題点を説明する。レーザ測距計１０１の走査による場合には、レーザ測距計１０１の角度特性が問題となる。角度特性とは、図１３（ａ）に示すようにレーザ測距計１０１が測距可能なワークＷの面の傾き角度θ１，θ２であり、通常約±３０度以内である。これに対し、面取り加工面は±４５度であるため、図１３（ｂ）の矢印Ｙ１０１方向に走査していくと、貫通穴Ｈ自体の端部Ｈｉ（面取り加工面と貫通穴との境界）ではなく面取り加工面の端部Ｈｏ（面取り加工面とワークＷ表面との境界）で測距不能となり、測定距離が急変したと判断される。これにより、図１３（ｃ）に示すように、面取り加工面の端部Ｈｏ付近で点Ｄを計測してしまうことも生じる。従って、貫通穴Ｈの端部Ｈｉを正確に計測することができず、これにより穴の中心位置の計測精度も低下する。
【０００８】
続いて、図１４を参照して、上記特許文献２に示すスリット光を用いた場合の問題点を説明する。スリット光源からのスリット光の照射による場合には、図１４（ａ），（ｂ）に示すように貫通穴Ｈにスリット光Ｌ３を照射すると、図１４（ａ）の矢印Ｙ１０２に示すように、スリット光は貫通穴の内壁にも照射されることとなる。すると、この照射状態を画像処理にて認識すると、貫通穴Ｈの端部Ｈｉ上ではなく、図１４（ｃ）に示すように、穴の内壁にまで照射された箇所を穴の外周上の点Ｄとして検出してしまうため、やはり上記同様に貫通穴Ｈの外周を正確に計測することができず、穴の中心位置の計測精度も低下する。
【０００９】
このような従来技術の問題点から、上記検査がいぜんとして手作業にて行われている場合もある。具体的には、作業者が検査対象の貫通穴にピンを通して検査している。しかし、このような手作業による検査では、検査対象となる製品数が多いことと、検査箇所となる穴の数が多く、フレームなどの検査対象物が重量物となるとその作業は作業者にとって困難なものとなる。
【００１０】
このため、本発明では、自動的に、対象部材に形成された貫通穴の位置、軸方向などを精度よく検出することができ、容易かつ低コストにて貫通穴の検査を行うことができる貫通穴計測システム、方法、プログラムを提供することをその目的とする。
【課題を解決するための手段】
【００１１】
そこで、本発明の貫通穴計測システムでは、
所定の厚みを有するワークに形成された貫通穴を撮影して当該貫通穴の内壁面が映るステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置と、を備え、
この画像処理装置が、
取得したステレオ画像から内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した特徴点の三次元位置情報に基づいて貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測手段と、
位置情報検出手段にて検出した特徴点の分布に基づいて、形状予測手段にて算出された略筒状の三次元形状における端部を特定する端部特定手段と、
を備えた、という構成を採っている。
【００１２】
このような構成にすることにより、まず、画像取得装置にて貫通穴の軸の斜め方向から画像が取得され、これにより内壁面が映し出されたステレオ画像が取得される。そして、内壁面をステレオ視することにより、当該内壁面上の特徴点の三次元座標を複数検出し、これらに基づいて略筒状である貫通穴の内壁面の三次元形状を予測して算出する。その後、筒状である三次元形状上における内壁面の特徴点の分布を調べ、かかる分布に基づいて筒状となる貫通穴の端部として特定する。これにより、画像取得装置及び画像処理装置のみで貫通穴の形状、中心位置などを精度よく検出することができる。特に、面取り加工を施した貫通穴であっても、面取り加工面の端部、あるいは、その内部に位置する貫通穴自身の端部のいずれかの位置を貫通穴の端部として特定することができ、計測精度の向上を図ることができる。
【００１３】
また、本発明の貫通穴計測システムは、より具体的には、
所定の厚みを有するワークに形成された、内壁面に凹凸形状を有する貫通穴を撮影して当該貫通穴の内壁面が映るステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置と、を備え、
この画像処理装置が、
取得したステレオ画像から内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した特徴点の三次元位置情報に基づいて貫通穴の形状を予測し、当該貫通穴に対応する筒形状を算出する形状予測手段と、
この算出された筒形状の軸方向において、位置情報検出手段にて検出した特徴点の分布数が最も多い位置を特定し、当該特定された軸方向の位置を形状予測手段にて算出された筒形状の端部として特定する端部特定手段と、
を備えた、という構成を採っている。
【００１４】
このような構成にすることにより、上述同様に、まず、画像取得装置にて貫通穴の軸の斜め方向から画像が取得され、これにより内壁面が映し出されたステレオ画像が取得される。そして、凹凸形状を有する内壁面をステレオ視することにより、その凹凸形状が濃淡パターンにて表され、多数の内壁面の特徴点の三次元座標を精度よく検出することができ、これらに基づいて貫通穴に対応する筒形状を予測して算出する。その後、筒形状の軸方向における内壁面の特徴点の分布を調べ、当該軸方向において最も特徴点が多い位置を筒形状の端部として特定する。このとき、内壁面の凹凸により貫通穴が面取り加工されていたとしても、かかる面取り面と内壁面との差別化を図ることができるため、貫通穴の端部位置を確実に検出することができ、これにより、貫通穴の中心位置などをさらに精度よく計測することができる。
【００１５】
そして、本発明ではさらに、上記構成に加え、
画像処理装置の端部特定手段が、位置情報検出手段にて検出された特徴点のうち、形状予測手段にて算出された筒形状から予め定められた距離だけ離れたものを除外して筒形状の端部を特定するよう作動する、
という構成を採っている。
【００１６】
このような構成にすることにより、誤検出した特徴点の影響を排除することができ、より高精度に貫通穴の形状を算出して正確な中心位置などを検出することができる。
【００１７】
また、本発明では、上記構成に加え、
画像処理装置の端部特定手段が、除外された特徴点の三次元位置情報に基づいて、当該除外された特徴点の数が形状予測手段にて内壁面に対応した筒形状の軸方向において最も多い位置を特定し、この位置を面取り加工面の端部として特定する、という構成を採っている。
【００１８】
このような構成にすることにより、貫通穴の内壁面形状である筒形状から外れた特徴点であっても、誤検出ではなく、面取り加工面の端部（面取り加工面とワーク表面との境界）上の特徴点であることもあり、かかる特徴点は誤検出された点の中では軸方向の同じ位置において多く検出されるため、これを検出することで貫通穴の面取り加工面の端部位置を確実に検出することができる。これにより、面取り加工が施された貫通穴の形状や位置をさらに高精度に計測することができる。
【００１９】
さらに、本発明では、
画像処理装置が、取得したステレオ画像からエッジ検出を行い、このエッジ情報に基づいて貫通穴の端部輪郭形状を算出する端部輪郭形状算出手段を備え、
画像処理装置の形状予測手段は、端部輪郭形状算出手段にて算出した端部輪郭形状を初期端部位置として筒形状を予測算出する、
という構成を採っている。
【００２０】
このような構成にすることにより、ステレオ画像からエッジ検出を行い、このエッジ情報から貫通穴の端部輪郭形状の三次元位置を算出する。そして、この端部輪郭形状を筒形状である貫通穴の端部として一時的に定め、これに基づいて貫通穴に対応する筒形状を予測算出する。その後は、上述同様に、特徴点の分布から、さらに正確に端部位置を特定する。このように、形状予測算出処理の際に仮に筒形状の端部を定めているため、筒形状の予測算出処理が容易となり、上述同様に、貫通穴形状の計測精度の向上を図ると共に、計測処理の迅速化を図ることができる。
【００２１】
また、画像処理装置の位置情報検出手段は、ステレオ画像から位相限定相関法を利用して内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する、という構成にすると望ましい。
【００２２】
このような構成にすることにより、位相限定相関法では通常の相関に比べて相関係数の大小が顕著となる特徴がある。このため、カメラ間距離を１０〜１５ｍｍと短く設定しても、内壁の三次元データを高精度に検出することができる。さらには、カメラ間距離を短くしたことにより、円筒内壁の撮像面積を広く取ることができ、内壁の三次元データを多く取得することができる。これにより、これらの多数かつ高精度のデータに基づいて貫通穴の形状を算出することができ、計測精度のさらなる向上を図ることができる。
【００２３】
さらに、上記構成に加えて、
ワークに形成された貫通穴の一方の端部側からステレオ画像を取得するよう画像取得装置を配設すると共に、貫通穴の他方の端部側からワークに対して光を照射する照明手段を配設した、という構成を採っている。
【００２４】
これにより、貫通穴の一方の端部側からワークの画像を取得すると共に、その裏面側から照明手段にて照明されていることとなる。すると、ワークの画像は、貫通穴の貫通部分は裏側から照射されている光が映し出され、貫通穴の端部の周囲は逆光となっているため暗く映し出される。従って、貫通穴の周囲箇所においては特徴点の検出が困難となり、面取り加工面の特徴点の検出数も減少する。一方で、貫通穴の内壁面には照明が照射されるため、当該内壁面の特徴点を多く検出することができる。従って、貫通穴に面取り加工面が形成されていたとしても特徴点を抽出することができないため、当該面取り加工面の外周の位置を端部と認識することを抑制でき、その内周の位置を貫通穴の端部と認識でき、貫通穴の計測精度の向上を図ることができる。
【００２５】
また、画像取得装置を、ステレオ画像をそれぞれ取得する２組の画像取得装置にて構成すると共に、
この２組のステレオ画像装置を、貫通穴の内壁面の異なる箇所の画像をそれぞれ取得可能な位置に配置する、という構成にすると望ましい。
【００２６】
これにより、ステレオ画像にて取得する貫通穴の内壁面の画像情報量が増え、特徴点を多く検出することができ、これにより算出する貫通穴の三次元形状の精度の向上を図ることができ、また、その端部位置も確実に検出することができる。従って、全体として計測精度の向上を図ることができる。
【００２７】
ここで、本発明は、上記貫通穴計測システムを構成する画像処理装置でもあり、
取得したステレオ画像から内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した特徴点の三次元位置情報に基づいて前記貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測手段と、
位置情報検出手段にて検出した特徴点の分布に基づいて、形状予測手段にて算出された略筒状の三次元形状における端部を特定する端部特定手段と、
を備えた、という構成を採っている。
【００２８】
また、本発明の画像処理装置は、さらに具体的には、
取得したステレオ画像から内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出手段と、
検出した特徴点の三次元位置情報に基づいて貫通穴の形状を予測し、当該貫通穴に対応する筒形状を算出する形状予測手段と、
この算出された筒形状の軸方向において、位置情報検出手段にて検出した前記特徴点の分布数が最も多い位置を特定し、当該特定された軸方向の位置を形状予測手段にて算出された筒形状の端部として特定する端部特定手段と、
を備えた、という構成を採っている。
【００２９】
また、本発明では、上記各手段をコンピュータ上で実現するためのプログラムをも提供している。
【００３０】
さらに本発明では、上記システムが作動することにより実現される方法の発明も提供しており、その一の構成として、
所定の厚みを有するワークに形成された貫通穴の内壁面が映るステレオ画像を画像取得装置にて取得し、このステレオ画像を画像処理装置を用いて処理することにより前記貫通穴の計測を行う貫通穴計測方法であって、
取得したステレオ画像から内壁面部分の特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出工程と、
検出した前記特徴点の三次元位置情報に基づいて貫通穴の形状を予測し、略筒状の三次元形状を算出する形状予測工程と、
位置情報検出工程にて検出した前記特徴点の分布に基づいて、形状予測工程にて算出された略筒状の三次元形状における端部を特定する端部特定工程と、
を有する、という構成を採っている。
【００３１】
また、上記貫通穴計測方法は、具体的には、
所定の厚みを有するワークに形成された内壁面に凹凸形状を有する貫通穴の内壁面が映るステレオ画像を画像取得装置にて取得し、このステレオ画像を画像処理装置を用いて処理することにより前記貫通穴の計測を行う貫通穴計測方法であって、
取得したステレオ画像から内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出し、当該特徴点の三次元位置情報を検出する位置情報検出工程と、
検出した特徴点の三次元位置情報に基づいて貫通穴の形状を予測し、当該貫通穴に対応する筒形状を算出する形状予測工程と、
この算出された筒形状の軸方向において、位置情報検出工程にて検出した特徴点の分布数が最も多い位置を特定し、当該特定された軸方向の位置を形状予測工程にて算出された筒形状の端部として特定する端部特定工程と、
を有する、という構成を採っている。
【００３２】
さらに、上記構成に加えて、
端部特定工程が、位置情報検出工程にて検出された特徴点のうち、形状予測工程にて算出された筒形状から予め定められた距離だけ離れたものを除外して筒形状の端部を特定するよう作動する、ようにしてもよい。
【００３３】
また、端部特定工程が、除外された特徴点の三次元位置情報に基づいて、当該除外された特徴点の数が形状予測工程にて内壁面に対応した筒形状の軸方向における最も多い位置を特定し、この位置を面取り加工面の外周として特定する、ようにしてもよい。
【００３４】
さらに、上記構成に加えて、
形状予測工程の前に、取得したステレオ画像からエッジ検出を行い、このエッジ情報に基づいて貫通穴の端部輪郭形状を算出する端部輪郭形状算出工程を備え、
形状予測工程が、端部輪郭形状算出工程にて算出した端部輪郭形状を初期端部位置として筒形状を予測算出する、という構成にしてもよい。
【００３５】
このように、上述した構成の画像処理装置、プログラム、方法であっても、上述した貫通穴計測システムと同様に作動し、上記目的を達成することができる。
【発明の効果】
【００３６】
本発明は、以上のように構成され機能するので、これによると、画像取得装置及び画像処理装置のみで板材に形成された貫通穴の形状、中心位置などを精度よく検出することができる。特に、面取り加工を施した貫通穴であっても、面取り加工の外周、あるいは、内周のいずれかの位置を貫通穴の端部として特定することができ、計測精度の向上を図ることができる、という従来にない優れた効果を有する。
【発明を実施するための最良の形態】
【００３７】
本発明の基本的な構成を以下に説明する。まず、本発明である貫通穴計測システムは、貫通穴の内壁面が映るステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置と、から成る。そして、上記画像処理装置が、取得したステレオ画像から内壁面部分の特徴点を検出して当該特徴点の三次元位置情報を検出する位置情報検出手段と、検出した特徴点の三次元位置情報に基づいて貫通穴の形状を予測して略筒状の三次元形状を算出する形状予測手段と、位置情報検出手段にて検出した特徴点の分布に基づいて形状予測手段にて算出された略筒状の三次元形状における端部を特定する端部特定手段と、を備えた、という構成を採っている。
【００３８】
そして、上記構成のうち、特に、端部特定手段に特徴を有する。この手段の作用により、貫通穴の端部位置が精度よく特定することができるため、これに伴い、貫通穴の中心位置などを高精度に計測することができる。以下、本発明の具体的な構成を各実施例を参照して説明する。
【実施例１】
【００３９】
本発明の第１の実施例を、図１乃至図６を参照して説明する。図１は、本発明の構成の概略を示す図である。図２は、画像処理装置の構成を示す機能ブロック図である。図３乃至図５は、画像処理装置における処理の様子を示す説明図である。図６は、動作を示す説明図である。
【００４０】
＜全体構成＞
図１に示すように、本実施例における貫通穴計測システムは、貫通穴Ｈが形成されたワークＷを撮影してステレオ画像を取得するステレオカメラ１Ａ，１Ｂ（画像取得装置）と、この取得した画像を処理するコンピュータ２（画像処理装置）と、により構成されている。また、ワークＷの画像取得面とは反対側となる裏面側から所定の光を照射して、貫通穴Ｈに光を透過させる照明装置３（照明手段）を備えている。なお、図示しないが、ステレオカメラ１Ａ，１Ｂや透過照明３は、ワークＷ上の貫通穴Ｈの位置に応じて移動制御可能なよう、ロボットアームなどに取り付けられている。以下、各構成について詳述する。
【００４１】
＜ワーク、貫通穴＞
本実施例では、計測対象である貫通穴Ｈは、厚板材であるワークＷに形成された断面円形状の貫通穴Ｈであり、換言すると、略円筒形状（円柱形状）の貫通穴Ｈである。そして、ワークＷには貫通穴Ｈが複数形成されており、後述するように、これら全ての貫通穴が計測対象となる。例えば、上記従来例にて説明した図１１に示すように、二輪自動車のフレーム１００がワークＷであり、これに形成された貫通穴Ｈが計測対象となる。なお、上記貫通穴Ｈは断面が円形状であることに限定されない。
【００４２】
また、ワークＷは固定装置（図示せず）にて固定配置され、その状態でロボットアームなどに備え付けられたステレオカメラ１Ａ，１Ｂにて撮影されることとなる。なお、ワークＷの形状や配置位置、当該ワークＷに形成される設計上の貫通穴Ｈの位置などを表す設計情報が予め用意されていて、後述するようにコンピュータに２に記憶されている。
【００４３】
また、上記ワークＷに形成された貫通穴Ｈの端部は面取り加工が施されている。そして、この面取り加工面は、例えば、従来例を説明した図１３に示すように、貫通穴Ｈから約４５度の角度で形成されている。なお、説明の都合上、ワークＷ表面に位置する面取り加工面の端部を符号Ｈｏで示し（図１や図５（ｃ）を参照）、この面取り加工面の内側に位置する当該面取り加工面と貫通穴Ｈとの境界を貫通穴Ｈの端部として符号Ｈｉにて示す。
【００４４】
さらに、貫通穴Ｈの内壁面には、ドリル加工などによる加工痕が形成されており、その表面は凹凸形状となっている。そして、後述するように、かかる内壁面をカメラにて撮影すると、その画像上には加工痕などの凹凸形状に基づいて濃淡パターンが表れる。その様子については、図３を参照して後述する。
【００４５】
＜ステレオカメラ＞
ステレオカメラ１Ａ，１Ｂは、所定の間隔を設けてロボットアームなどに固定配置されたＣＣＤカメラである。そして、２つのＣＣＤカメラにて１組のステレオ画像を取得する。このとき、ステレオカメラ１Ａ，１Ｂは、貫通穴Ｈの軸方向に対して傾いた方向（例えば３０度）から画像を取得可能なよう配置される。これにより、図３（ａ）に示すように、貫通穴Ｈの内壁部が映し出された画像を取得することができる。
【００４６】
ここで、本実施例では、図１に示すように、２組のステレオカメラ１Ａ，１Ｂが配置されている。そして、２組のステレオカメラ１Ａ，１Ｂは、それぞれステレオ画像を取得するが、このとき、貫通穴Ｈの内壁面の異なる箇所の画像をそれぞれ取得可能な位置に、ステレオカメラ１Ａ，１Ｂは配置されている。なお、貫通穴Ｈの位置はワークＷに対する加工状態やワークＷの変形状態などによって異なるが、設計情報によりほぼある範囲に収まるよう形成されるため、当該設計情報に基づいてロボットアームに取り付けられたカメラの位置を制御する。具体的な配置としては、図１に示すように、一方のステレオカメラ１Ａと他方のステレオカメラ１Ｂとを、設計情報から予想される貫通穴Ｈの軸Ｃ１を挟んでほぼ対象となる位置に配置する。これにより、一方のステレオカメラ１Ａでは貫通穴Ｈの図１において下側に位置する内壁面を撮影でき、他方のステレオカメラ１Ｂでは貫通穴Ｈの図１において上側に位置する内壁面を撮影することができ、２対のステレオ画像を合わせて広範囲の内壁面画像を取得することができる。すると、後述するように、より精度よく貫通穴Ｈの形状や位置を計測することができる。なお、本実施例では、２組のステレオカメラ１Ａ，１Ｂを配設する場合を例示したが、１組のステレオカメラのみであっても構成可能である。
【００４７】
＜照明装置＞
また、上述したように、上記ステレオカメラ１Ａ，１ＢとはワークＷを挟んで反対側、すなわち、ワークＷの裏面側に照明装置３を配置するが、これは貫通穴Ｈの貫通部分を裏側から表側に向かって所定の明るさの光を透過させるためのものである。このようにすることで、表側から取得した画像においては、貫通部分が明るく映し出され、逆に、表側のワークＷの表面は逆光となり暗く映し出される。このとき、貫通穴Ｈの内壁面にも光が照射された状態になっているため、取得したステレオ画像上でも内壁面が明るく映し出され、上述した加工痕などの凹凸形状に基づく濃淡パターンが明確に表された画像を取得することができる。
【００４８】
＜コンピュータ＞
コンピュータ２は、演算部であるＣＰＵ１０と、記憶部であるメモリ２０と、マウスやキーボードなどの入力部３０と、ディスプレイやプリンタなどの出力部４０とを備えた一般的なコンピュータにて構成される。このコンピュータは、パーソナルコンピュータでもよいが、本実施例では、ワークステーションなどの比較的演算処理能力の高いコンピュータである。
【００４９】
そして、ＣＰＵ１０には、主に、以下のような処理を実行する処理部が構築されている。これら処理部は、貫通穴計測用プログラムがコンピュータ２のＣＰＵ１０に読み出されて組み込まれることで実現される。そして、このプログラムは、予めコンピュータ２の記憶部に記憶されていてＣＰＵにて読み出されてもよく、ＣＤ−ＲＯＭなどの可搬媒体に記憶されたものが画像処理装置１に提供されてもよい。さらには、ネットワークを介して他のコンピュータからダウンロードすることにより組み込まれてもよい。
【００５０】
ここで、ＣＰＵ１０に構築される各処理部、及び、メモリ２０に記憶されるデータについて、図２のコンピュータ２の構成を示す機能ブロック図を参照して詳述する。なお、各処理部による処理内容は以下に説明するものに限定されない。各処理部は、もちろん、動作説明時に説明する動作をも実現する。
【００５１】
まず、ＣＰＵ１０には、ステレオカメラ１Ａ，１Ｂの動作を制御してステレオ画像を取得する画像取得処理部１１と、取得したステレオ画像から内壁面の凹凸形状に基づいて画像上に表される濃淡値を用いて特徴点を検出する特徴点検出部１２と、当該特徴点の三次元位置情報を検出する三次元データ算出部１３と、が構築されている。なお、上記特徴点検出部１２と三次元データ算出部１３とは、位置情報検出手段として機能する。
【００５２】
また、ＣＰＵ１０には、検出した特徴点の三次元位置情報に基づいて貫通穴の形状を予測して当該貫通穴に対応する筒形状を算出する形状予測算出部１４（形状予測手段）と、この算出された筒形状の軸方向において特徴点の分布数が最も多い位置を特定して当該特定された軸方向の位置を上記筒形状の端部として特定する端部特定部１５（端部特定手段）と、端部が特定された筒形状から貫通穴の形状・軸方向・中心位置などを算出する貫通穴情報算出部１６と、が構築されている。
【００５３】
上記各処理部について詳述する。まず、画像取得処理部１１は、ステレオカメラ１Ａ，１Ｂの位置を制御するよう、当該ステレオカメラ１Ａ，１Ｂが備えられたロボットアームを制御する機能も備えている。このとき、予めコンピュータ２にはワークＷに対する貫通穴Ｈの設計位置や穴方向を表した設計情報が、入力部３０から入力されて記憶されており（図示せず）、かかる情報に基づいて貫通穴Ｈが形成されていると予想される位置周囲の画像を取得する。
【００５４】
そして、２組のステレオカメラ１Ａ，１Ｂから、それぞれほぼ同時に貫通穴Ｈをその軸方向に対して傾いた角度から撮影するステレオ画像を取得し、メモリ２０などの記憶装置に一時保存する。従って、これに対応して、メモリ２０には画像一時記憶部２１が形成されている。このとき得られたステレオ画像（符号ＰＬ，ＰＲ）の一例を図３（ａ）に示す。なお、この一対のステレオ画像は、１組のステレオカメラ（例えば、符号１Ａ）にて取得したものであって、本実施例のように２組備えている場合には、もう一対のステレオ画像が得られる。
【００５５】
そして、図３（ａ）に示すように、撮影側とは反対側から照明装置３にて光を照射しているので、ワークＷの表面は暗く映し出され、この図の例では黒色に表れる。これにより、貫通穴Ｈの端部に形成された面取り加工面も画像上では黒色に表れる。一方、貫通穴Ｈの内壁面には照明装置３からの光が照射された状態であるため、当該内壁面表面に形成された加工痕などの凹凸形状が濃淡値による縞模様となって画像上に表れる。
【００５６】
そして、上記特徴点検出部１２では、取得したステレオ画像上に表れた濃淡パターンに基づいて、パターンマッチングにより各画像（ＰＬ，ＰＲ）の対応点を検出する。このとき、図３（ｂ）に示すように、各画像を複数の領域に分割し、濃淡パターンが表れている内壁面が映し出された領域を特定する（例えば、領域ｎ１〜ｎｎ）。そして、一方の画像をモデル画像としてその領域（ＰＬ画像）から所定の間隔毎、あるいは、ランダムに特徴点を定め、当該特徴点に対応する対応点を他方の画像（ＰＲ画像）の対応する領域から検索する。この分割領域は、例えば、全体画像が６４０×４８０ピクセルである場合に、各分割領域は、３０×３０ピクセルである。なお、ＰＬ画像からＰＲ画像における対応点を検索する際には、ワークとの距離やステレオカメラ同士の間隔などに基づく視差に応じて、図３（ａ）の白枠及び矢印のように、範囲をずらして対応点の検索を行うとよい。そして、ワークＷの表面は黒色に、貫通穴Ｈの貫通領域は光により白色に表れるのに対し、内壁面のみに濃淡パターンに特徴が表れるため、当該内壁面上にマッチング可能な特徴点を多く検出することができる。
【００５７】
その後は、上記三次元データ算出部１３にて、検出した特徴点の三次元座標をステレオ視の原理を用いて算出し、かかる算出データをメモリ２０に形成された特徴点データ記憶部２２に記憶しておく。そして、上記特徴点検出部１２と三次元データ算出部１３とは、上述同様の処理を、他方のステレオカメラ１Ｂから得られたステレオ画像に対しても行う。
【００５８】
次に、形状予測算出部１４について詳述する。この形状予測算出部１４は、特徴点データ記憶部２２から内壁面から検出した特徴点の三次元座標を全て読み出し、これらの特徴点の分布を円筒形状にあてはめる。このとき、円筒形状のあてはめ処理は、予めメモリ２０の形状予測ルール記憶部２３に記憶された形状予測ルールに基づいて行う。例えば、最小二乗法を用いて三次元データの点群に対して最も距離が小さくなる円筒の方程式を求める。なお、かかる処理手法は既に公知であるためその詳細な説明は省略する。
【００５９】
ここで、円筒形状のあてはめの概念を図４を参照して説明すると、まず、一方のステレオカメラ１Ａによるステレオ画像からの特徴点群Ｄ１と、他方のステレオカメラ１Ｂによるステレオ画像からの特徴点群Ｄ２とを三次元座標上に分布させ（図４（ａ）参照）、これらを含む円筒面を表す円筒形状Ｅを算出する（図４（ｂ）参照）。なお、円筒形状の予測算出を行うには、一対のステレオカメラ１Ａによるステレオ画像から検出した特徴点群Ｄ１のみを用いてもよい。
【００６０】
次に、端部特定部１５について詳述する。端部特定部１５は、まず、図４（ｃ）の黒丸印に示すように（符号Ｄ３にて示す）、特徴点のうち円筒形状から予め定められた距離（しきい値）だけ離れたものを除外する。すなわち、このような点Ｄ３は誤ってステレオ画像から特徴点を検出してしまった誤対応点として判定し、かかる点を除去する。その後、誤対応点Ｄ３を除去した状態で、正常に検出された特徴点Ｄ１，Ｄ２の分布をさらに調べる。具体的には、円筒形状の軸方向に対する位置をパラメータとして、特徴点の分布数や分布密度を調べる。例えば、図５（ａ）に示す円筒形状上における特徴点の分布をもとに、図５（ｂ）に示すように、円筒形状の軸方向の位置を横軸に取り、その位置に応じた特徴点の分布数を縦軸に取る。そして、このうち最も多くの点が密集している位置を特定することで、かかる位置を図５（ｃ）に示すように、貫通穴Ｈの端部Ｈｉとして特定することができる。このとき、特定された端部Ｈｉは、貫通穴Ｈが面取り加工されている場合であっても、その面取り加工面の貫通穴Ｈとの境界である当該貫通穴自体の端部Ｈｉとなる。
【００６１】
このようにして、求めた円筒形状である貫通穴Ｈの形状から、その軸方向、径、中心点Ｃなど、貫通穴Ｈに関する種々の情報を貫通穴情報算出部１６が算出し、出力部４０であるディスプレイを介してユーザに表示したり、貫通穴情報記憶部２４に記憶する。
【００６２】
ここで、上記では、各処理部が一台のコンピュータ２のＣＰＵ１０に構築されている場合を例示したがこれに限定されない。各処理部が、複数のコンピュータ内に構築されていて、全てのコンピュータが協働することにより、以下のように作動するよう構成してもよい。
【００６３】
＜動作＞
次に、本実施例の動作を、図６を参照して説明する。まず、作業者がシステム上にワークＷをセットする（ステップＳ１）。このとき、ワークＷとカメラ１Ａ，１Ｂとの位置関係を、上述したように貫通穴Ｈの内壁面を撮影可能なよう設定する。
【００６４】
続いて、２組のステレオカメラ１Ａ，１Ｂにて、貫通穴Ｈのステレオ画像をそれぞれ取得する（ステップＳ２）。なお、一方のステレオカメラ１Ａで取得した一対のステレオ画像をＰＬａ，ＰＲａと表し、他方のステレオカメラ１Ｂで取得した一対のステレオ画像をＰＬｂ，ＰＲｂと表す。このうち、まず、一方のステレオカメラ１Ａにて取得したステレオ画像ＰＬａ，ＰＲａを処理対象として、以下の処理を行う。
【００６５】
次に、ＰＬａ画像を任意の領域に分割する（ステップＳ３）。このとき、画面を均等に分割してもよいが、各領域がそれぞれ重複する部分を含んでいてもよい。そして、ＰＬａをモデル画像として、このうち内壁面が映し出されている分割領域にｎ１〜ｎｎと番号を付す（ステップＳ４）。なお、内壁面が映し出されている分割領域の特定は、例えば、各領域の濃淡値に基づいて行う。上述したように、ワークＷの表面はほぼ黒で表され、また、貫通穴Ｈの貫通箇所はほぼ白で表れるため、濃淡値が所定の範囲内にある分割領域を内壁面を含む領域であると特定する。そして、ＰＬａ画像の各分割領域毎における特徴点に、対応する対応点がＰＲａ画像中に存在するか、テンプレートマッチングにて検索する（ステップＳ５）。そして、対応点が見つかると、その特徴点の三次元データをステレオ画像ＰＬａ，ＰＲａによる視差情報から算出する（ステップＳ６）。これら算出した特徴点の三次元データは、メモリ２０に格納しておく。
【００６６】
そして、上述同様の内壁面上の特徴点の三次元データ算出処理を、他方のステレオカメラ１Ｂにて取得したステレオ画像ＰＬｂ，ＰＲｂに対しても行い（ステップＳ７〜ステップＳ１０）、算出した三次元データはメモリ２０に格納しておく。
【００６７】
続いて、算出した特徴点の三次元データにあてはまる円筒形状の算出を行う（ステップＳ１１）。そして、求められた円筒形状に対して、今度は逆に当該形状から所定距離離れた点を検出し、これを誤対応点として判定し、特徴点群から除去する（ステップＳ１２）。そして、残った特徴点、すなわち、貫通穴Ｈの内壁面上の点である可能性が高い特徴点の、円筒形状の軸方向に対する分布を求める（ステップＳ１３）。このうち、最も特徴点が多く集まっている軸方向の位置を特定し、かかる位置を円筒形状の端部、すなわち、貫通穴の面取り加工面内側の端部（エッジ）として判定する（ステップＳ１４）。
【００６８】
その後は、円筒形状から貫通穴Ｈの軸方向、中心位置などを算出し、かかるデータをモニタに出力したり、メモリに保存する（ステップＳ１５）。
【００６９】
このようにすることにより、ステレオ画像から貫通穴Ｈの形状を精度よく算出することができ、貫通穴の軸方向や位置などの計測を精度よく行うことができる。従って、算出した値からワークＷ上に形成された貫通穴が、設計通りに正確に形成されているか否かを判断する際に利用することが可能である。特に、面取り加工を施した貫通穴であっても、面取り加工面の内側に位置する貫通穴Ｈ自体の端部Ｈｉを特定することができ、さらに高精度な貫通穴の計測を実現することができる。
【００７０】
ここで、上記ではワークＷの画像取得面とは反対側から照明を当てている場合を説明したが、照明装置３は貫通穴の形状の算出精度を上げるためには必要であるものの、必ずしも必要な構成ではない。また、仮に照明装置を用いず、あるいは、照明を画像取得面側から当てた場合であって、貫通穴Ｈの面取り加工面がはっきりと画像に映し出されている場合には、面取り加工面上において多くの特徴点が検出される場合がある。この場合には、上述のように求められた端部は、面取り加工面の端部Ｈｏということになる。この場合であっても、貫通穴Ｈの端部Ｈｉあるいは面取り加工面の端部Ｈｏのいずれかが正確に特定されることで、貫通穴の中心位置などを正確に算出することができ、上記目的を達成することができる。
【実施例２】
【００７１】
次に、本発明の第２の実施例を、図７乃至図８を参照して説明する。図７は、本実施例の特徴を説明する説明図である。図８は、本実施例における動作を示すフローチャートである。
【００７２】
＜構成＞
本実施例における貫通穴計測システムは、上述した実施例１におけるものとほぼ同様の構成であるが、コンピュータ２に構築される所定の処理部が以下の点で異なる。以下、詳述する。
【００７３】
本実施例におけるコンピュータ２には、上述した各処理部１１〜１６の他に、取得したステレオ画像からエッジ検出を行い、このエッジ情報に基づいて貫通穴Ｈの端部輪郭形状を算出する端部輪郭形状算出部（図示せず）（端部輪郭形状算出手段）が構築されている。具体的に、この端部形状輪郭算出部は、まず、一方のステレオカメラ１Ａで取得したステレオ画像の一方のみＰＬａと、他方のステレオカメラ１Ｂで取得したステレオ画像の一方のみＰＬｂとを、一対のステレオ画像として用いる。そして、各画像ＰＬａ，ＰＬｂにおいて所定の濃淡差を有するエッジ線を検出すると共に、このエッジ画像の三次元データを算出する。これにより、図３（ａ）に示すような画像から貫通穴Ｈの端部（開口部）の輪郭形状を抽出することができる。なお、上述したように、異なるステレオカメラ１Ａ，１Ｂの画像を用いることで、配置間隔が広い各カメラによる視差の大きいステレオ画像を得ることができ、より正確に貫通穴Ｈの端部輪郭形状Ｆを算出することができる。
【００７４】
また、本実施例では、形状予測算出部１４が、上記算出した端部輪郭形状Ｆの三次元データを用いて、具体的には、当該端部輪郭形状Ｆの位置を初期端部位置として円筒形状のあてはめ処理を行う。換言すると、予めあてはめる円筒形状の端部を上記端部輪郭位置に固定して、あてはめ処理を行う。
【００７５】
すると、上述したように、特徴点の分布に対してあてはまる可能性のある円筒形状Ｅ（点線で示す円筒形状）を全てフィッティングしていくと、図７（ａ）に示すように、多くのフィッティング処理をしなければならず、多大な処理負担が生じる。一方で、上述したように、予め暫定的な端部位置Ｆを固定して定めておくことで、あてはめるべき円筒形状Ｅが限られてくるため、当該あてはめ処理の高速化を図ることができる。但し、上述した端部輪郭形状Ｆは、面取り加工面の影響を受けている可能性があり、正確な端部形状ではないおそれがあるため、上述同様にさらに端部特定部１５による処理を経て、正確な端部位置（端部Ｈｉ）を特定する処理を行う必要がある。
【００７６】
＜動作＞
次に、本実施例におけるシステムの動作を、図８のフローチャートを参照して説明する。まず、ステップＳ２１〜ステップＳ３０に示すように、ステレオカメラ１Ａ，１Ｂからステレオ画像を取得し、内壁面の特徴点を検出してその三次元データを算出する。なお、ここまでの処理は上述した図６に示すステップ１〜ステップＳ１０までの動作と同様であるため、その説明は省略する。
【００７７】
続いて、一方のステレオカメラ１Ａの一方のカメラによる画像ＰＬａと、他方のステレオカメラ１Ｂの一方のカメラによる画像ＰＬｂそれぞれに対してエッジ処理を行い、かかるエッジ情報から貫通穴Ｈの端部（開口部）のおおよその輪郭形状Ｆを算出する（ステップＳ３１，Ｓ３２，Ｓ３３）。そして、この端部輪郭形状Ｆを貫通穴Ｈの端部と定め、これに基づいて特徴点群にあてはまる円筒形状を算出する（ステップＳ３４）。
【００７８】
その後は、上述同様に処理し、特徴点の分布からさらに正確な端部位置となる面取り加工面の内側に位置する貫通穴Ｈ自体の端部Ｈｉを特定する（ステップＳ３５〜Ｓ３８）。
【００７９】
このような構成にすることにより、本実施例における貫通穴計測システムでは、予めおおよその円筒形状の端部位置を定め、これに基づいて円筒形状のあてはめ処理を行うため、当該円筒形状のあてはめ処理が容易となり、貫通穴形状の計測精度の向上を図ると共に、計測処理の迅速化を図ることができる。
【実施例３】
【００８０】
次に、本発明の第３の実施例を、図９乃至図１０を参照して説明する。図９は、本実施例の特徴を説明する説明図である。図１０は、本実施例における動作を示すフローチャートである。
【００８１】
＜構成＞
本実施例における貫通穴計測システムは、上述した実施例１におけるものとほぼ同様の構成であるが、コンピュータ２に構築される端部特定部１５が、以下の処理を行うよう構成されている点で異なる。以下、詳述する。
【００８２】
本実施例における端部特定部１５は、基本的には、上述同様に、算出された円筒形状に対して一定距離だけ離れている特徴点を除外して、当該円筒形状の端部を特定する処理を行うが、これら一旦除外された特徴点を用いて以下の処理を行う。すなわち、除外された特徴点の三次元データに基づいて、当該除外された特徴点の数が円筒形状の軸方向において最も多い位置を算出する。具体的には、図９（ａ）に示すように、黒丸で示した点が除外された特徴点であるが、円筒形状の軸方向における分布を図９（ｂ）に示すように調べる。そして、最も多く密集している位置を、貫通穴Ｈの面取り加工面の端部Ｈｏが位置する端部として円筒形状上において特定する。また、端部特定部１５は、上述同様に、面取り加工面の内側に位置する貫通穴Ｈ自身の端部Ｈｉももちろん特定する。
【００８３】
なお、上述のように、誤検出特徴点の分布から面取り加工面の端部Ｈｏを特定する理由は、ステレオ画像上においては照明装置の影響や面取り加工面の加工痕などの影響により、面取り加工面上の点を特徴点として多く検出してしまうこともあり得るからである。
【００８４】
＜動作＞
次に、本実施例におけるシステムの動作を、図１０のフローチャートを参照して説明する。まず、ステップＳ４１〜ステップＳ５２に示すように、ステレオカメラ１Ａ，１Ｂからステレオ画像を取得し、内壁面の特徴点を検出してその三次元データを算出する。そして、これら特徴点にあてはまる円筒形状を算出して、当該円筒形状から所定距離外れている誤対応点を除去する。なお、ここまでの処理は上述した図６に示すステップ１〜ステップＳ１２までの動作と同様であるため、その説明は省略する。
【００８５】
続いて、誤対応点を除去した特徴点の分布から、上述同様に貫通穴Ｈの端部Ｈｉ、すなわち、面取り加工面の内側端部Ｈｉの位置を特定する（ステップＳ５３，Ｓ５４）。また、ほぼ同時に、ステップＳ５２にて検出した誤対応点についても貫通穴Ｈの軸方向の位置における分布を調べ（ステップＳ５５）、最も多くなる位置を面取り加工面の端部Ｈｏの位置として特定する（ステップＳ５６）。
【００８６】
その後は、算出した円筒形状から貫通穴Ｈの軸方向、中心位置などを算出し、かかるデータをモニタに出力したり、メモリに保存する（ステップＳ５７）。
【００８７】
このような構成にすることにより、貫通穴Ｈの内壁面形状である筒形状から外れた特徴点の分布から面取り加工面の端部Ｈｏの位置を確実に検出することができる。これにより、面取り加工が施された貫通穴の形状をさらに精度よく計測することができ、貫通穴Ｈの軸方向や面取り加工面の径、中心などをも正確に計測することができる。
【実施例４】
【００８８】
次に、本発明の第４の実施例を説明する。本実施例における貫通穴計測システムは、上述した実施例におけるものとほぼ同様の構成であるが、コンピュータ２に構築される特徴点検出部１２と三次元データ算出部１３にて構成される位置情報検出処理において、ステレオ画像から特徴点のパターンマッチング（ステレオ画像の対応）を位相限定相関法を利用して行い、これにより、特徴点の三次元位置情報を検出する、という点で異なる。
【００８９】
ここで、位相限定相関法について簡単に説明する。位相限定相関法とは、画像信号をフーリエ変換し、周波数領域での位相信号を得て、これに着目してステレオ画像の相関をとる、というものである。これにより、相関係数の大小が顕著に表れる、という特徴を有する。なお、位相限定相関法については公知であるため、その詳細な説明は省略する。
【００９０】
以上のように、特徴点の三次元データを算出する際に位相限定相関法を用いることで、カメラ間距離を１０〜１５ｍｍと短く設定しても、内壁面の三次元データを高精度に検出することができる。すなわち、上述してきた貫通穴計測システムでは、ステレオカメラにて内壁面の同一箇所を広く撮影する必要があるため、一つのステレオカメラの間隔（ベースライン）を短くする必要があるが、かかる場合であっても高精度に三次元データの計測を行うことができる。特に、奥行き誤差を抑制できる。これにより、さらに詳細な貫通穴の形状を算出することができ、その位置や中心位置などの計測精度のさらなる向上を図ることができる。
【産業上の利用可能性】
【００９１】
本発明である貫通穴計測システム、方法、プログラムは、厚板材に形成され面取り加工がなされた貫通穴の形状、位置、軸方向等を精度よく算出することができるため、かかる算出結果を用いて製品精度の検査を正確に行うことができる。従って、そのような製品の検査装置として利用することができ、産業上の利用可能性を有する。
【図面の簡単な説明】
【００９２】
【図１】本発明である貫通穴計測システムの構成を示す概略図である。
【図２】実施例１における画像処理装置であるコンピュータの構成を示す機能ブロック図である。
【図３】図３は、実施例１における画像処理装置による処理の様子を示す説明図である。図３（ａ）は、取得したステレオ画像の一例を示し、図３（ｂ）は、ステレオ画像の分割の様子を示す。
【図４】図４は、実施例１における画像処理装置による処理の様子を示す説明図である。図４（ａ）は特徴点の分布を示し、図４（ｂ）は円筒形状のあてはめの様子を示す。図４（ｃ）は、円筒形状に対する特徴点の分布の様子を示す。
【図５】図５は、実施例１における画像処理装置による処理の様子を示す説明図である。図５（ａ）は円筒形状に対する特徴点の分布の様子を示し、図５（ｂ）は円筒形状の軸方向における特徴点の分布を示す。図５（ｃ）は、貫通穴の端部を特定したときの様子を示す。
【図６】実施例１における動作を示すフローチャートである。
【図７】図７は、実施例２に画像処理装置による処理の様子を示す説明図である。図７（ａ）は円筒端部の初期位置を特定せずに円筒形状のあてはめ処理を行ったときの様子を示す図であり、図７（ｂ）は円筒端部の初期位置を特定して円筒形状のあてはめ処理を行ったときの様子を示す図である。
【図８】実施例２における動作を示すフローチャートである。
【図９】図９、実施例３における画像処理装置による処理の様子を示す説明図である。図９（ａ）は円筒形状に対する特徴点の分布の様子を示し、図９（ｂ）は円筒形状の軸方向における特徴点の分布を示す。図９（ｃ）は、貫通穴の面取り加工面外周の端部を特定したときの様子を示す。
【図１０】実施例３における動作を示すフローチャートである。
【図１１】ワークに形成された貫通穴の一例を示す図である。
【図１２】図１２（ａ），（ｂ）は、それぞれ従来例における貫通穴の計測手法を示す説明図である。
【図１３】図１３（ａ）〜（ｃ）は、従来例における貫通穴の計測手法における問題点を示す説明図である。
【図１４】図１４（ａ）〜（ｃ）は、従来例における貫通穴の計測手法における問題点を示す説明図である。
【符号の説明】
【００９３】
２  コンピュータ（画像処理装置）
３  照明装置（照明手段）
１１  画像取得処理部
１２  特徴点検出部（位置情報検出手段）
１３  三次元データ算出部（位置情報検出部）
１４  形状予測算出部（形状予測手段）
１５  端部特定部（端部特定手段）
１６  貫通穴形状算出部
１Ａ，１Ｂ  ステレオカメラ（画像取得装置）
Ｗ  ワーク
Ｈ  貫通穴
Ｈｉ  貫通穴端部
Ｈｏ  面取り加工面端部
【図１】
2006010392.tif 000003
【図２】
2006010392.tif 000004
【図４】
2006010392.tif 000005
【図５】
2006010392.tif 000006
【図６】
2006010392.tif 000007
【図７】
2006010392.tif 000008
【図８】
2006010392.tif 000009
【図９】
2006010392.tif 000010
【図１０】
2006010392.tif 000011
【図１１】
2006010392.tif 000012
【図１２】
2006010392.tif 000013
【図１３】
2006010392.tif 000014
【図１４】
2006010392.tif 000015
【図３】
2006010392.tif 000016