(57)【要約】【課題】検査対象物における傷その他の表面状態の判定を効率的に行う。【解決手段】検査対象物の表面状態判定装置は、対象物の予め定めた複数の部位のそれぞれについて、該部位における所定の表面状態を学習したデータマップを記憶する記憶手段と、対象物を撮像する撮像手段と、を備える。該装置は、撮像手段から取得した対象物の画像において、他の領域に対し予め定めたしきい値を超える輝度差を有する要判定領域を含むよう検査領域を設定する。該検査領域から特徴ベクトルを抽出する。対象物の複数の部位のうち、該検査領域が属する部位を判断して、該部位に対応するデータマップを選択する。特徴ベクトルを該選択されたデータマップに入力して、該検査領域が所定の表面状態を含むかどうかを判定する。こうして、個々のデータマップの容量を抑制して、判定時間の増大を防ぐ。【選択図】図１０
2006047098.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物の表面状態を判定する装置であって、
前記対象物の予め定めた複数の部位のそれぞれについて、該部位における所定の表面状態を学習した判定データマップを記憶する記憶手段と、
前記対象物を撮像する撮像手段と、
前記撮像手段から取得した前記対象物の画像において、他の領域に対し予め定めたしきい値を超える輝度差を有する要判定領域を含むよう検査領域を設定する手段と、
前記検査領域から特徴ベクトルを抽出する手段と、
前記複数の部位のうち、前記検査領域が属する部位を判断して、該部位に対応するデータマップを選択する手段と、
前記特徴ベクトルを前記選択されたデータマップに入力して、該検査領域における所定の表面状態を判定する判定手段と、
を備える装置。
【請求項２】
前記記憶手段は、前記検査領域全体にわたって前記対象物が撮像される部位における所定の表面状態を学習したデータマップと、前記検査領域の一部に前記対象物が撮像される部位における所定の表面状態を学習したデータマップと、を記憶する、
請求項１に記載の装置。
【請求項３】
前記対象物はギアであり、前記記憶手段は、前記画像において該ギアが撮影されている領域の中央部分において所定の表面状態を学習したデータマップと、該画像において該ギアが撮影されている領域の端部分において所定の表面状態を学習したデータマップとを記憶する、
請求項１に記載の装置。
【請求項４】
前記対象物の予め定めた複数の部位のそれぞれについて、前記データマップを生成する手段を備えており、該生成する手段は、さらに、
（ａ）前記対象物の複数の部位のそれぞれについて、自己組織化マップを定義する手段と、
（ｂ）前記対象物について、前記検査領域の複数のサンプルを用意し、該複数のサンプルの検査領域のそれぞれについて、
（ｂ−１）該検査領域から特徴ベクトルを抽出し、
（ｂ−２）前記対象物の予め定めた複数の部位のうち、前記検査領域が属する部位を判断して、該部位に対応する自己組織化マップを選択し、
(ｂ−３)前記（ｂ−１）で抽出した特徴ベクトルを、前記選択した自己組織化マップに入力し、学習させる手段と、
（ｃ）前記学習した自己組織化マップにおいて、同じ前記サンプルのそれぞれに対応し、かつ隣接するニューロンをグループ化して、クラスタにする手段と、
（ｄ）前記クラスタのそれぞれを、前記所定の表面状態に対応するものとそうでないものとに分類して、前記データマップを生成する手段と、を備える、
請求項１に記載の装置。
【請求項５】
コンピュータに、検査対象物の表面状態を判定させるプログラムであって、
前記コンピュータは、前記対象物の予め定めた複数の部位のそれぞれについて、該部位における所定の表面状態を学習したデータマップを記憶する記憶装置を備えており、
撮像装置により撮像された前記対象物の画像において、他の領域に対し予め定めたしきい値を超える輝度差を有する要判定領域を含むよう検査領域を設定する機能と、
前記検査領域から特徴ベクトルを抽出する機能と、
前記複数の部位のうち、前記検査領域が属する部位を判断して、該部位に対応するデータマップを選択する機能と、
前記特徴ベクトルを前記選択されたデータマップに入力して、該検査領域における所定の表面状態を判定する機能と、
を実現させるコンピュータ・プログラム。
【請求項６】
前記記憶装置は、前記検査領域全体にわたって前記対象物が撮像される部位における所定の表面状態を学習したデータマップと、前記検査領域の一部に前記対象物が撮像される部位における所定の表面状態を学習したデータマップと、を記憶する、
請求項５に記載のコンピュータ・プログラム。
【請求項７】
前記検査対象物はギアであり、前記記憶装置は、前記画像において該ギアが撮影されている領域の中央部分における所定の表面状態を学習したデータマップと、該画像において該ギアが撮影されている領域の端部分における所定の表面状態を学習したデータマップとを記憶する、
請求項５に記載のコンピュータ・プログラム。
【請求項８】
前記対象物の予め定めた複数の部位のそれぞれについて、前記データマップを生成する機能をさらに備えており、該生成する機能は、さらに、
（ａ）前記対象物の複数の部位のそれぞれについて、自己組織化マップを定義する機能と、
（ｂ）前記対象物について、前記検査領域の複数のサンプルを用意し、該複数のサンプルの検査領域のそれぞれについて、
（ｂ−１）該検査領域から特徴ベクトルを抽出し、
（ｂ−２）前記対象物の予め定めた複数の部位のうち、前記検査領域が属する部位を判断して、該部位に対応する自己組織化マップを選択し、
(ｂ−３)前記（ｂ−１）で抽出した特徴ベクトルを、前記選択した自己組織化マップに入力し、学習させる機能と、
（ｃ）前記学習した自己組織化マップにおいて、同じ前記サンプルのそれぞれに対応し、かつ隣接するニューロンをグループ化して、クラスタにする機能と、
（ｄ）前記クラスタのそれぞれを、前記所定の表面状態に対応するものとそうでないものとに分類して、前記データマップを生成する機能と、を備える、
請求項５に記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検査対象物の表面状態を画像分析により判定する技術に関する。
【背景技術】
【０００２】
ギアその他の加工品の表面の傷その他の表面状態の検査は、目視によって行われることが多いが、作業が単純である反面、集中力を必要とし、困難な作業とされている。このため、目視に依存することなくギアその他の加工品の検査を行うことのできる装置が必要とされている。
【０００３】
特許文献１には、ギア歯面を撮影し、得られた画像の輝度を評価してギア歯面の打痕等の傷の有無を判別する方法が記載されている。１つのギアについて所定の間隔をおいて検査すべきギア歯面およびその歯面と異なるギア歯面を撮影して、異なる歯面に関する実質的に同一方向からの複数の画像を作成し、画像間の輝度の差を表す差分画像を作成する。この差分画像を加算して加算画像を作成し、加算画像の輝度と基準値とを比較することにより、打痕の有無を判別する。
【０００４】
特許文献２には、ニューラルネットワークを用いて対象物の画像から自己組織化マップを作成し、同じ画像に対応するニューロンのクラスタを形成し、このクラスタを用いて対象物の画像の認証を行う手法が記載されている。
【特許文献１】特許出願公開番号昭63-201556
【特許文献２】特許出願公開番号2002-109541
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載される技術では、ギアその他の加工品の表面の色ムラや汚れなど傷ではないが他の画像領域と輝度の異なる領域（以下、過検出、または過検出領域と呼ぶ）を多く検出してしまい、この中から傷その他の表面状態を検出するために相当な目視作業を必要とすることになる。
【０００６】
特許文献２に記載されている技術では、１つの自己組織化マップを用いて検査対象物を認識するので、十分な精度が得られないおそれがある。
【０００７】
検査対象物の部位に依存して、該対象物の画像には、容易に判別することのできる異なる特徴が現れることがある。たとえば、検査対象物の端部分を撮影した画像には、その一部に該対象物とは異なるもの（たとえば、背景）が撮影されるのに対し、該対象物の中央部分を撮影した画像には、その画像領域全体にわたって該対象物が撮影されることがある。背景を含む画像と含まない画像とでは、傷その他の表面状態の有無にかかわらず、画像の特徴が明らかに異なる。このような、容易に判別することのできる異なる特徴を持つ画像に対し、同じ自己組織化マップを適用すると、検査対象物の表面状態を判定する精度が低下するおそれがある。
【０００８】
検査対象物の表面状態を判定する精度を上げるためには、自己組織化マップのニューロンの数を増やすことが考えられる。しかしながら、ニューロンの数の増大は、判定処理に要する時間の増大を招く。
【０００９】
この発明は、目視による判定の労力を軽減させつつ、より効率的に表面状態を判定することのできる手法を提供する。
【課題を解決するための手段】
【００１０】
この発明の表面状態判定装置は、一形態（請求項１）では、検査対象物の予め定めた複数の部位のそれぞれについて、該部位における所定の表面状態を学習したデータマップを記憶する記憶手段と、検査対象物を撮像する撮像手段と、撮像手段から取得した検査対象物の画像において、他の領域に対し予め定めたしきい値を超える輝度差を有する要判定領域を含むよう検査領域を設定する手段と、該検査領域から特徴ベクトルを抽出する手段と、検査対象物の複数の部位のうち、該検査領域が属する部位を判断して、該部位に対応するデータマップを選択する手段と、特徴ベクトルを該選択されたデータマップに入力して、該検査領域における所定の表面状態を判定する判定手段と、を備える。
【００１１】
この発明によると、対象物の部位ごとに、傷、打痕、剥離など所定の表面状態を学習したデータマップを用いて、該部位の表面状態を判定するので、判定に要する時間を増やすことなく、部位ごとの判定を効率良く実施することができる。
【００１２】
この発明の一形態（請求項２）では、記憶手段は、検査領域全体にわたって検査対象物が撮像される部位の所定の表面状態を学習したデータマップと、検査領域の一部に検査対象物が撮像される部位の所定の表面状態を学習したデータマップとを記憶する。検査対象物が全体にわたって撮像されている場合とそうでない場合とでは、所定の表面状態の有無にかかわらず、検査領域の特徴が異なる。このように異なる特徴を持つ検査領域のそれぞれに適合したデータマップを用いることにより、個々のデータマップの容量を抑制することができる。データマップの容量が抑制されるので、判定に要する時間の増大を回避することができる。
【００１３】
この発明の一形態（請求項３）では、検査対象物はギアであり、記憶手段は、画像において該ギアが撮影されている領域の中央部分において所定の表面状態を学習したデータマップと、画像において該ギアが撮影されている領域の端部分において所定の表面状態を学習したデータマップとを記憶する。ギアの端部分を撮像した画像には、該ギアとは異なるものが撮像され、ギアの中央部分を撮像した画像には、該ギアが画像全体にわたって撮像されることがある。ギアの撮影領域の中央部分の表面状態と端部分の表面状態のそれぞれに適合したデータマップを用いることにより、個々のデータマップの容量を抑制することができる。データマップの容量が抑制されるので、判定に要する時間の増大を回避することができる。
【００１４】
この発明の一形態（請求項４）では、検査対象物の複数の部位のそれぞれについて、データマップを生成する手段を備える。該データマップを生成する手段は、さらに、検査対象物の複数の部位のそれぞれについて、（ａ）自己組織化マップを定義する手段と、（ｂ）検査対象物について、検査領域の複数のサンプルを用意し、該複数のサンプルの検査領域のそれぞれについて、１）該検査領域から特徴ベクトルを抽出し、２）検査対象物の複数の部位のうち、該検査領域が属する部位を判断して、該部位に対応する自己組織化マップを選択し、３）該抽出した特徴ベクトルを、該選択した自己組織化マップに入力して学習させる手段と、（ｃ）学習した自己組織化マップにおいて、同じサンプルのそれぞれに対応し、かつ隣接するニューロンをグループ化してクラスタにする手段と、（ｄ）クラスタのそれぞれを、所定の表面状態に対応するものとそうでないものとに分類して、データマップを生成する手段と、を備える。
【００１５】
この発明によると、検査対象物のそれぞれの部位について、所定の表面状態を学習したデータマップが生成されるので、個々のデータマップの容量が抑制され、よって処理時間の増大を招くことなく、判定を実施することができる。特に、部位ごとに明らかに異なる特徴が撮像される対象物については、個々のデータマップの容量を抑制しつつ、部位ごとの判定を効率的に行うことができる。
【発明を実施するための最良の形態】
【００１６】
次に図面を参照して、この発明の実施形態を説明する。図１は、検査の対象物がギア１１であるときの撮像装置の構成を示す。ギア１１は、回転テーブル１５に取り付けられ、台座１７に設けられた図示しないステップモータによってギア歯のピッチでステップ状に回転される。ギア１１は、照明装置１９によって照射されている。CMOSイメージセンサを備えたカメラ２１が、ギア１１の歯面を撮影する。撮影は、ギア１１のステップ状の回転と同期して行われ、一歯回転するたびに、歯面ごとに静止画像が撮影される。一実施例では、照明装置１９は、青色発光ダイオードを用いるが、ランプその他の照明装置を使用することもできる。また、カメラ２１には、測定可能な輝度レンジの広いワイドダイナミックレンジCMOSカメラを用いることにより、傷の判定に適した良好な画像が得られる。対象物によっては、CCDイメージセンサを用いたカメラを使用することもできる。
【００１７】
位置決めセンサ１８は、一般に近接センサと呼ばれるもので、検出コイルにより高周波磁界を発生する。この磁界に金属の検出物体が近づくと電磁誘導により、検出物体に誘導電流（渦電流）が流れる。この電流によって検出コイルのインピーダンスが変化して、高周波の発振が停止することで、検出物体の接近を検出する。この実施例では、ギアの歯の山の接近をこの近接センサによって検出する。位置決めセンサ１８からの信号は、コンピュータ２３（図２）に送られ、タイミング部２４が、該ギアの歯山の検出に応じて、カメラ２１に信号を送る。カメラ２１は、この信号に応答してギアを撮影する。
【００１８】
図２は、カメラ２１で撮影した画像を処理するコンピュータ２３の機能ブロックを示す。コンピュータ２３は、パーソナル・コンピュータ、ワークステーションその他のコンピュータであってよい。コンピュータ２３は、演算を実行するプロセッサ（CPU）、様々なデータおよびプログラムを記憶する記憶装置、ユーザが該プロセッサに処理をさせるためのデータを入力するマウスおよびキーボードなどの入力装置、および該プロセッサによる処理結果を表示する表示装置（ディスプレイ）、および該処理結果を出力するプリンタなどの出力装置を備えることができる。記憶装置は、ＲＯＭおよびＲＡＭなどのメモリおよびディスク装置などの補助記憶装置を含むことができる。図の各機能ブロックによる処理は、プロセッサにより実行される。
【００１９】
画像取得部２５は、カメラ２１から歯面ピッチごとに撮影される画像を受け取り、差分画像生成部２７に渡す。差分画像生成部２７は、今回取得した画像と、前回取得した画像、すなわち１ピッチ前のギア歯面の画像との差分をとる。傷その他の表面状態のないギアの歯面は、どれも実質的に同じであるから、差分をとると、全体的に輝度の小さい画像になる。ギア歯面に打痕および剥離などの傷がついていると、傷の部分の輝度が他の部分と異なるため、差分画像に大きな輝度の部分として現れる。
【００２０】
２つの画像の差分をとると、輝度値が負の値をとる画素があるので、差分の輝度値に中間輝度の128を加算して、すべての画素の輝度値を正の値にする。128を加算することによって輝度値が255を超える画素は、輝度値を255とし、128を加算しても負の値になる画素は、輝度値を0とする。こうして、差分画像の輝度値のレンジを0から255に整える。
【００２１】
図３の（Ａ）を参照すると、検査領域設定部２８は、差分画像からしきい値より大きい輝度の領域を潜在的な傷領域３１として検出し、この領域を囲む領域３３を検査領域として設定する。検査領域３３の形状は、この実施例では四角形であるが、その他の多角形であってもよく、または円形もしくは楕円形であってもよい。その大きさは、潜在的な傷領域３１に応じて、傷領域３１を囲むに十分な大きさに設定される。
【００２２】
検査領域設定部２８は、設定された検査領域３３の位置情報を、コンピュータ２３の記憶装置に記憶する。図４を参照すると、ギアの歯面を撮影した画像４１の例が示されている。符号４２は、該画像４１に撮影されたギアを示す。画像４１には、検査領域３３が設定されている。ギアの歯幅はＷであり、検査領域３３の該歯幅方向に対する位置が、ｗ’により特定されている。このように、検査領域３３の位置情報は、ギアの歯幅方向の位置を含み、これが、コンピュータ２３の記憶装置に記憶される。
【００２３】
特徴抽出部２９は、次の６つのパラメータを抽出する。
【００２４】
（１）潜在的な傷領域３１の面積SA
検査領域を、縦軸をi、横軸をjとする座標で表示し、傷領域３１の境界線の座標を用いた積分演算により面積SAを求める。
【００２５】
（２）傷領域３１を楕円近似したときの歯スジに対する長軸の傾きθA 
ギアに生じることの多い打痕は、楕円近似することができる。図３の（Ｂ）において、図形の近似プログラムを用いて傷領域３１を近似する楕円の近似式を求める。近似式は、既知のプログラムを用いて求めることができる。典型的には、多変量の非線形最小二乗法によるあてはめプログラムを用いて近似式を求める。こうして求めた楕円の長軸３７とギアの歯スジ１３（図１）に平行な直線３５とのなす角度θAを求める。
【００２６】
（３）検査領域３３の輝度値エントロピーentB
潜在的な傷領域３１を含む検査領域３３の輝度値のエントロピーを、次の式により求める。輝度値エントロピーは、輝度値分布の情報量を表し、情報量が大きいことは、輝度値分布の乱雑度が大きいことを表す。
【数１】
2006047098.tif 000003
【００２７】
この実施例では、輝度値エントロピーとして、輝度値0から255までの輝度値分布の乱雑性を用いた。［数１］で、ｐは輝度値、rel[p]は、輝度値ｐの頻度である。
【００２８】
図５は、輝度値ヒストグラムの例を示す。打痕その他の傷を有するギア歯面の場合、その画像の差分の画像に傷が多様な輝度値をもつ画素領域として現れるので、輝度値エントロピーが大きい。図５の（Ａ）は、種々の輝度値を有する画素がランダムに存在する画像の輝度値ヒストグラムである。中間輝度128を中心に広く輝度値が分布しており、エントロピーが大きい。図５の（Ｂ）は、輝度値のばらつきが小さい画像の輝度値ヒストグラムであり、エントロピーが小さい。
【００２９】
（４）検査領域３３の輝度値アニソトロピーansB
検査領域３３の輝度値のアニソトロピーは、次の式で表される。アニソトロピーは、輝度値分布の対称性の度合いを示す。
【数２】
2006047098.tif 000004
【００３０】
この式で、ｋは、出現頻度が最小の輝度値である。つまり、ansBは、検査領域３３における０から最小の輝度値までの輝度値エントロピーを、０から全輝度値のエントロピーで割った値である。輝度値分布が中間輝度値125の左右で対称のとき、ansB = -0.5 となる。ansB が-0.5に近づくほど対称性が高く、アニソトロピーが小さい。ansBが-0.5から離れて0または-1に近づくほど対称性が低く、アニソトロピーが大きい。
【００３１】
図６を参照すると、（Ａ）のような輝度値ヒストグラムは、輝度値が中間値の128を中心として偏りなく分布しているので、対称性が高く、アニソトロピーは小さい。（Ｂ）の輝度値ヒストグラムは、中間値128の左側と右側で輝度値の分布が異なり、対称性が低く、アニソトロピーが大きい。（Ｂ）で出現頻度が最小の輝度値が230であるとすると、ansBが-1に近い値となる。
【００３２】
（５）潜在的傷領域３１の円形度ＣＡ
傷領域３１の円形度ＣＡ  は、次の式で表される。
【数３】
2006047098.tif 000005
【００３３】
この式で、ＳＡ は、傷領域３１の面積、rmax は、傷領域３１の重心から領域３３の端部までの最大距離である。
【００３４】
（６）検査領域３３のエッジ画像の平均輝度edgB
検査領域３３の面積をＳＢで表すと、検査領域３３のエッジ画像の平均輝度edgB は、次の式で求められる。
【数４】
2006047098.tif 000006
【００３５】
ここで、i、j は、画素の座標を示し、P(i,j)は、座標i, j の画素の輝度値を示す。ΔP(i,j) は、P(i,j) の上下（i軸方向）に隣接する２つの画素の輝度値の差分の二乗と、左右（j軸方向）に隣接する２つの画素の輝度値の差分の二乗との和の平方根である。ΔP(i,j)は、隣接する画素の輝度値の差分の大きさを表す。隣接画素の輝度値の差分をとることは、画像において輝度値の変化の大きいエッジ部分を強調した画像、すなわちエッジ画像、を生成することに相当する。edgB は、隣接画素の輝度値の差分の大きさの総和を領域３３の面積で割ったもので、エッジ画像の平均輝度を示す。
【００３６】
こうして求めた６つのパラメータのそれぞれについて、たくさんの検査領域のサンプルについての最大値および最小値を用いて、次の式により正規化する。
【００３７】
正規化＝（得られた値  ―  最小値）/（最大値  ―  最小値）
この正規化により、それぞれのパラメータは、0から１の範囲の値をとる。こうして、潜在的傷領域３１を含む検査領域３３は、６つの特徴パラメータの数値ベクトルで表すことができる。
【００３８】
図７は、こうして得られた特徴ベクトルを示す。図７の（Ａ）は、打痕に対応する特徴ベクトルを示す。図７の（Ｂ）は、ギア歯面の色ムラ（過検出）の特徴ベクトルを示す。潜在的傷領域３１の面積パラメータSA、楕円近似したときの長軸の傾きθA、およびアニソトロピーansB については両者の間に大きな相違はないが、輝度値エントロピーentB 、円形度ＣＡ、およびエッジ画像の平均輝度edgB について大きな相違があることがわかる。
【００３９】
図２に戻ると、特徴抽出部２９は、上述のようにして、検査領域３３から上述の６つのパラメータからなる特徴ベクトルを抽出する。代替実施例では、特徴抽出部２９は、検査領域の輝度値エントロピー、潜在的傷領域の円形度および検査領域のエッジ画像の平均輝度の３つのパラメータからなる特徴ベクトルを抽出する。
【００４０】
判定部３０は、検査領域設定部２８によって設定された検査領域３３の位置情報を、記憶装置から取得する。カメラ２１およびギアが配置される台座１７（図１）が固定されているので、取得画像においてギアが撮影される位置は予め決められており、よって検査領域の該位置情報は、該検査領域がギアのどの部位に属するかを示す。判定部３０は、該位置情報に基づいて、検査領域３３が、ギアのどの部位に属するかを判断し、該検査領域が属する部位に対応する判定データマップを選択する。判定部３０は、選択した判定データマップに、特徴抽出部２９によって抽出された特徴ベクトルを適用して、該検査領域３３について、傷その他の表面状態の判定を行う。
【００４１】
検査領域の分類
図８の（Ａ）を参照して、本願発明の一実施例に従う、検査領域３３がギアのどの部位に属するかを判断する手法を説明する。取得画像６１にはギアが撮影されており、ギアが撮影された画像領域が符号６２によって表されている。取得画像６１のうち、ギア領域６２以外の部分には、背景が撮影されている。図８の（Ｂ）に示されるように、中央領域Ａ（太い黒線により囲まれている）と端領域Ｂ（太い破線により囲まれている）とが画像内に設定される。中央領域Ａは、撮影されるギアの中央部分を示している。符号６３に示されるように、検査領域３３が中央領域Ａに設定される場合には、該検査領域３３全体にわたって、ギアが撮影される。端領域Ｂは、撮影されるギアの端部分（エッジ部分）を示している。傷その他の表面状態または過検出が該ギアの端部分に存在すると、符号６４によって示されるように、検査領域３３が端領域Ｂに設定される。このような検査領域３３には、その一部にのみギアが撮影されており、他の部分には背景が撮影される。
【００４２】
端領域Ｂに設定された検査領域３３は、ギア部分と背景部分とを含み、中央領域Ａに設定された検査領域３３はギア部分のみを含むので、傷その他の表面状態が存在するかどうかにかかわらず、これらの検査領域は明らかに異なる特徴を持つ。この実施例では、中央領域Ａ用には第１の判定データマップが用意されて記憶装置に記憶され、端領域Ｂ用には第２の判定データマップが用意されて記憶装置に記憶される。判定部３０は、検査領域３３の位置情報から、該検査領域３３が中央領域Ａに属すると判断したならば、第１の判定データマップを用いて傷その他の表面状態の判定を行い、検査領域３３が端領域Ｂに属すると判断したならば、第２の判定データマップを用いて傷その他の表面状態の判定を行う。
【００４３】
このように、ギアの部位に従って検査領域に異なる特徴が出現する場合には、該部位ごとの特徴に合わせた判定データマップを用意することにより、ギアの表面状態を判定する精度および効率を向上させることができる。
【００４４】
ギアが撮影される領域６２の画像内における位置は予め決められているので、中央領域Ａおよび端領域Ｂの画像内における位置も予め決めることができる。端領域Ｂの幅Ｗ２は、典型的には、検査領域３３の幅（画像の横方向の長さ）Ｗ１に依存して決められる。図８の（Ｃ）を参照すると、ギアの右側のエッジが撮影された箇所が拡大して示されており、潜在的傷領域３１を囲むよう設定された検査領域３３の２つの例が示されている。潜在的傷領域３１がほぼ中央に位置するよう検査領域３３が設定されるとすると、（ｃ−１）は、設定された検査領域３３の右端がギアのエッジに達する場合であり、（ｃ−２）は、設定された検査領域３３の略中心がギアのエッジ上にある場合である。
【００４５】
検査領域３３が、（ｃ−１）に示す位置よりも右側にずれると、検査領域３３には背景が含まれることとなる。したがって、端領域Ｂは、少なくとも、エッジに対してＷ１の幅をギア側に持ち、（１／２×Ｗ１）の幅を背景側に持つよう設定されるのが好ましい。端領域Ｂの位置が決められると、撮影されているギアの残りの部分が中央領域Ａとして設定される。
【００４６】
検査領域３３が、中央領域Ａと端領域Ｂにまたがる場合には、たとえば、検査領域３３内の潜在的傷領域３１の位置が中央領域Ａと端領域Ｂのいずれに属するかに従い、検査領域３３が属する領域（中央領域Ａまたは端領域Ｂ）を決めてよい。代替的に、検査領域３３において中央領域Ａが占める部分と端領域Ｂが占める部分との割合に応じて、検査領域３３が属する領域を決めてよい。
【００４７】
この実施例では、設定される検査領域に背景が撮影されるかどうかに従って、検査対象物に２つの部位（中央領域Ａおよび端領域Ｂ）を定めた。代替的に、検査対象物の或る部位と他の部位との間に、たとえば構造上の違いから異なる特徴が出現する場合には、これらの部位のそれぞれについて判定データマップを用意し、判定を行うようにするのが好ましい。
【００４８】
上記は、好ましい態様として、検査対象物の部位ごとに異なる特徴が存在する場合に、該部位ごとに判定データマップを用意することについて述べた。しかしながら、本願発明は、部位ごとに異なる特徴が出現しない場合でも、検査対象物の部位ごとに判定データマップを用意して、該部位ごとに判定を行うことを含む点に注意されたい。
【００４９】
第１および第２の判定データマップの作成手法、およびこれらのマップを用いて表面状態を判定する手法については、後述される。
【００５０】
傷その他の表面状態を判定する処理のフロー
図９は、この発明の一実施例におけるギア歯面１枚について、傷その他の表面状態を判定する処理の流れを示すフローチャートであり、ギアのすべての歯面についての該判定が終わるまでこの処理が連続的に実行される。ギア１１を図１の回転テーブルに取り付け、照明装置１９を起動させてから処理に入る。ステップＳ１０１でギア１１のすべてのギア歯面が検査されたかどうかを判定し、未了であればステップＳ１０３に移る。すべてのギア歯面が検査されたかどうかの判定は、ギア１１の歯数をカウンタにセットしておき、１つの歯についての処理が終了するごとにカウンタをデクリメントし、このカウンタの値を点検することによって行う。
【００５１】
ステップＳ１０３では、ギア１１を一歯分、回転させる。位置決めセンサ１８がギア歯を検出し、コンピュータ２３に検出信号を送る。コンピュータ２３のタイミング部２４が、位置決めセンサ１８からの信号に応じてカメラ２１に駆動信号を送る。カメラ２１は、これに応じてステップＳ１０５でギア１１を撮影し、その画像を画像処理用パーソナル・コンピュータ２３に送る。撮影回数が１であるとき(Ｓ１０７)、すなわちギア１１の最初の歯の撮影をしたばかりのときは、差分画像を用いた画像処理ができないので、この画像は保存しておき、次の歯を撮影するため後続のステップをスキップして初回の処理を終わり、再度、スタートから処理に入る。
【００５２】
ステップＳ１０９では、上述したように２つの連続する歯の画像から差分画像を生成し、潜在的傷領域３１（図３）を囲む検査領域３３を設定する。次にステップＳ１１１では、図７に関連して説明したように差分画像から特徴ベクトルを抽出する。ステップＳ１１３では、判定データマップを選択するためのルーチンを実行する。ステップＳ１１５では、選択された判定データマップを用いて、傷その他の表面状態の判定を行う。
【００５３】
図１０は、図９のステップＳ１１３で実施されるルーチンのフローチャートを示す。ステップＳ１２１では、検査領域３３の位置情報を取得する。ステップＳ１２２では、検査領域３３の位置情報に基づき、検査領域３３が中央領域Ａに属するのか、端領域Ｂに属するのかを判別する。中央領域Ａに属する場合には、ステップＳ１２３において、第１の判定データマップを選択する。端領域Ｂに属する場合には、ステップＳ１２４において、第２の判定データマップを選択する。こうして、検査領域３３が中央領域Ａに属する場合には、第１の判定データマップを用いて傷その他の表面状態の判定を実施し、端領域Ｂに属する場合には、第２の判定データマップを用いて傷その他の表面状態の判定を実施する。
【００５４】
判定データマップの生成
次に、ニューラルネットワークを用いた自己組織化学習によって判定データマップを生成する手法、および該判定データマップを用いて傷その他の表面状態を判定する手法を説明する。
【００５５】
この実施例では、40×40 のニューロンを用いて自己組織化マップを生成する。図１１は、３つのニューロンNj-1、Nj、Nj+1を示す。ωj=(ωj0、ωj1、・・・、ωjm )は、ニューロンNjの結合係数ベクトルであり、χ=(χ0、χ1、・・・、χm )は、入力ベクトルである。この実施例での入力ベクトルは、複数のサンプルの検査領域３３について、特徴抽出部２９（図２）により抽出された特徴ベクトルである。
【００５６】
自己組織化マップは、自己組織化特徴マップとも呼ばれ、教師なしアルゴリズムに基づいて生成される。このマップは、入力データ中の隠れた特徴を抽出して自動的に学習を行い、該入力データに対して選択的に反応するマップを生成する。自己組織化マップは、コホーネン(Kohonen)が提案したもので、たとえば産業図書株式会社発行の「ニューロ・ファジイ・遺伝的アルゴリズム」1994年、に解説されている。
【００５７】
この実施例では、第１の判定データマップは、第１の自己組織化マップに基づいて生成され、第２の判定データマップは、第２の自己組織化マップに基づいて生成される。第１の自己組織化マップの生成と第２の自己組織化マップの生成とでは、入力ベクトルが異なる。サンプルの検査領域３３が中央領域Ａに設定されたならば、該検査領域３３の特徴ベクトルは第１の自己組織化マップに入力される。サンプルの検査領域３３が端領域Ｂに設定されたならば、該検査領域３３の特徴ベクトルは第２の自己組織化マップに入力される。しかしながら、第１および第２の自己組織化マップは、以下に示すステップに従い、同じ手法で生成される。したがって、以下の説明において「判定データマップ」というときは、第１および第２の判定データマップのいずれでもよいことを示すものとする。
【００５８】
１）ステップ１：ネットワーク初期化：
ニューロンの結合ベクトルωj=(ωj0、ωj1、・・・、ωjm )をすべてのニューロンについて乱数を用いて決定する。
【００５９】
２）ステップ２：入力ベクトル入力：
入力ベクトルχ=(χ0、χ1、・・・、χm )をそれぞれのニューロンに与える。各ニューロンと入力ベクトルとの関係は図９に示すとおりである。
【００６０】
３）ステップ３：ニューロンの結合係数ベクトルと入力ベクトルの距離計算：
それぞれのニューロンの結合ベクトルと入力ベクトルとの距離を次の式により計算する。
【数５】
2006047098.tif 000007
【００６１】
４）ステップ４：勝者ニューロン決定：
距離dj が最小となるニューロンを選定する。このニューロンを勝者ニューロンと呼び、j*で表す。
【００６２】
５）ステップ５：結合係数ベクトルの学習：
勝者ニューロンとその近傍のニューロンのそれぞれの結合係数（重み）を次の式に従い更新する。
【数６】
2006047098.tif 000008
【００６３】
ηは、正の定数で、この実施例では0.05とする。h(j,j*)は、近傍関数と呼ばれ、次の式で表される。
【数７】
2006047098.tif 000009
【００６４】
σ(t)は学習経過とともに小さくなっていく。したがって、近傍関数の範囲は、図１２に円で示すように学習の初期は広く、学習の進行とともに狭くなっていく。つまり、学習の進行とともに粗調整から微調整へと変化する。このように近傍関数は、マップを効果的に生成させる。図１２は、勝者ニューロンを小さい円９１で示し、これを囲む近傍関数を大きい円９３で表している。
【００６５】
６）ステップ６：ｔ更新、入力ベクトル入力にもどる：
学習回数tをt+1に更新し、ステップ２の入力ベクトルの入力にもどり、ステップ２〜６を繰り返し、結合係数ベクトルの更新を繰り返す。
【００６６】
自己組織化マップでは、勝者ニューロンとその近くのニューロンはすべてその時の入力ベクトルに近づく。学習の初期は、近傍関数によって多くのニューロンが近くとみなされ、おおまかなマップが形成される。学習の進行とともに近傍関数によって勝者ニューロンの近くとみなされるニューロン数が少なくなる。そのため、局所的な微調整が進み、空間的な解像度が上がる。
【００６７】
複数のサンプルについて取得した、傷その他の表面状態または過検出を含む検査領域３３の特徴ベクトルをすべて順番に、またはランダムに選択して自己組織化マップに入力して学習させることで、入力した特徴ベクトルの類似関係を反映した自己組織化マップを生成することができる。すなわち、類似した特徴を持つクラスタが自己組織化マップ上で寄り集まる結果になる。
【００６８】
図１３は、このようにして得られた自己組織化マップを示す。実施例では、40×40のニューロンを用いたが、図１３では簡単のために20×20のマップとして示す。図1３でそれぞれの升目が一つのニューロンに対応する。実線で区切られた(1)、(2)、・・・(28)のブロックは、次のようにして決定されたクラスタを表す。
【００６９】
自己組織化マップのそれぞれのニューロン位置に、その結合係数ベクトルとの距離が最も小さい特徴ベクトルを有する検査領域３３の画像を配置する。この検査領域３３は、自己組織化マップの生成に使用された複数のサンプルのうちの一つである。同じ画像を有する隣接するニューロンを選択してグループ化する。こうして形成されたニューロンのグループをクラスタと呼ぶ。ここでのグループ化は、既存の描画プログラムで使われているグループ化機能と同じで、グループ化されたニューロンは、グループ全体として選択し、プロパティを設定することができる。
【００７０】
次いで、それぞれのクラスタに配置された画像を目視で確認して、この検査領域３３に含まれるのが傷その他の表面状態であるのか、あるいは表面ムラのような過検出であるのかを判定する。この判定結果をクラスタのプロパティとして設定する。具体的には、初期状態としてすべてのクラスタのプロパティ・フィールドに「過検出」が入力されている状態で、コンピュータのディスプレイ上に自己組織化マップを表示し、傷と判定されたクラスタをマウスで右クリックして「傷」に変更入力する。このようにクラスタ単位でニューロンを分類することができるので、作業時間を短縮することができる。
【００７１】
図１４は、こうしてクラスタが分類されたマップ（判定データマップ）を示す。図においてハッチングを施されたクラスタ（１）、（２）、（６）、（１０）、（１１）、（１２）、（１３）、（１５）、（１６）、（２２）、（２７）、（２８）が「傷」に分類されたクラスタであり、ハッチングのないクラスタが「過検出」のクラスタである。この判定データマップをコンピュータ２３（図２）の記憶装置に登録し、これが、判定部３０によって傷の判定に使用される。
【００７２】
この実施例では、第１の自己組織化マップに基づいて第１の判定データマップが生成されてコンピュータ２３の記憶装置に登録され、第２の自己組織化マップに基づいて第２の判定データマップが生成されコンピュータ２３の記憶装置に登録される。第１の判定データマップは、ギアの中央領域に適合したマップであり、第２の判定データマップは、ギアの端領域に適合したマップである。
【００７３】
判定データマップを用いた傷その他の表面状態の判定
判定部３０によって実施される、傷その他の表面状態を判定する具体的手法について説明する。第１および第２の判定データマップのいずれについても、同様の手法に従って判定が実施される。判定部３０は、特徴抽出部２９から受け取った特徴ベクトルと、検査領域３３の位置情報に従って選択された判定データマップの結合係数ベクトルとの距離を求める。この距離は、上に示した［数５］に従って算出される。この距離が小さい順にニューロンを選択し、予め定めた数、たとえば１０個以下のニューロンを選び、これを囲む円または楕円を近傍領域とする。判定データマップの生成過程から明らかなように、結合係数ベクトルが近似したニューロンがクラスタとしてグループ化されているので、上記のようにして距離が小さい順にニューロンを選択すると、互いに隣接したニューロンのかたまりが選択される。このニューロンのかたまりを囲む円または楕円を近傍領域とする。たとえば、図１５を参照すると、円５７が近傍領域を規定している。
【００７４】
円５７は、選択されたニューロンのかたまりの判定データマップ上の配列からこれらのニューロンのかたまりの中心位置を求め、この中心からこのニューロンの固まりの最も遠くにあるニューロンまでの距離を半径とする円として求めることができる。
【００７５】
こうして選ばれた円または楕円で規定される近傍領域に含まれる傷クラスタに属するニューロンの数（K）と近傍領域内のニューロンの総数(S)との比、(K)/(S)に基づいて傷の判定を行う。(K)/(S)≧D  のとき、傷と判定し、(K)/(S)<D のとき、過検出と判定する。Dは予め設定したしきい値であり、たとえば0.5である。このようにして、傷その他の表面状態と過検出とを判別する。図１５の例では、円５７の中に傷クラスタ（１２）に属するニューロンが７個あり、円５７内のニューロンの総数は、１２であるので、(K)/(S) = 8/12 = 0.67 であり、よって、今回の検査領域３３に含まれているのは、傷であると判定される。
【００７６】
自己組織化マップの更新
上述の判定データマップを用いたコンピュータによる自動判定により傷ありと判定されたギアの歯面を目視で検査して、傷を確認する。自動判定により過検出と判定されたギアの歯面についても同様に目視で検査し、確認することができる。こうして、最終的に傷その他の表面状態があると判定されたギア歯面の検査領域の特徴ベクトルを、クラスタ化する前の自己組織化マップに入力して学習させる。このとき、自己組織化マップのニューロンの結合係数ベクトルの初期値は、過去の学習で生成された最新の結合係数ベクトルを用いる。
【００７７】
こうして自己組織化マップを更新し、再度上述のクラスタ化処理を実行する。これによって、既存の種類の傷の検出精度を低下させることなく、新しい種類の傷または過検出に対応したクラスタを生成し、判定データマップを生成することができる。更新された判定データマップを使用することにより、検査精度を向上させることができる。この更新処理には、過去に得られた結合係数ベクトルを用いるので、短い学習時間で判定データマップを更新することができる。
【００７８】
以上この発明を具体的な実施例について説明したが、この発明はこのような実施例に限定されるものではない。
【図面の簡単な説明】
【００７９】
【図１】この発明の一実施例に従う、ギア歯面の撮影装置の全体的構成を示す構成図。
【図２】この発明の一実施例に従う、画像処理コンピュータの全体的構成を示す機能ブロック図。
【図３】この発明の一実施例に従う、潜在的傷領域と検査領域の関係を示す図。
【図４】この発明の一実施例に従う、検査領域の位置情報を示す図。
【図５】この発明の一実施例に従う、エントロピーの異なる輝度値ヒストグラムを示す図。
【図６】この発明の一実施例に従う、アニソトロピーの異なる輝度値ヒストグラムを示す図。
【図７】この発明の一実施例に従う、特徴ベクトルを示す図。
【図８】この発明の一実施例に従う、ギアの中央領域および端領域を示す図。
【図９】この発明の一実施例に従う、ギア歯面の傷を判定する処理の流れを示すフローチャート。
【図１０】この発明の一実施例に従う、判定データマップを選択する処理の流れを示すフローチャート。
【図１１】この発明の一実施例に従う、ニューラルネットワークの部分的な構成を示す図。
【図１２】この発明の一実施例に従う、自己組織化マップの生成過程を示す図。
【図１３】この発明の一実施例に従う、クラスタに区分けした自己組織化マップを示す図。
【図１４】この発明の一実施例に従う、自己組織化マップから生成した判定データマップを示す図。
【図１５】この発明の一実施例に従う、判定データマップを用いた傷判定を説明するための図。
【符号の説明】
【００８０】
１１      ギア
１９      照明装置（ＬＥＤ）
２１      カメラ
２３      コンピュータ
【図１】
2006047098.tif 000010
【図２】
2006047098.tif 000011
【図３】
2006047098.tif 000012
【図４】
2006047098.tif 000013
【図５】
2006047098.tif 000014
【図６】
2006047098.tif 000015
【図７】
2006047098.tif 000016
【図８】
2006047098.tif 000017
【図９】
2006047098.tif 000018
【図１０】
2006047098.tif 000019
【図１１】
2006047098.tif 000020
【図１２】
2006047098.tif 000021
【図１３】
2006047098.tif 000022
【図１４】
2006047098.tif 000023
【図１５】
2006047098.tif 000024