(57)【要約】【課題】異品種の混入に対して高精度かつ安価な異品種混入検査方法および異品種混入検査装置を提供する。【解決手段】被検査対象物の画像を取得し、マスターデータとの比較を行うことにより、前記被検査対象物を正規品種もしくは異品種と判定する異品種混入検査方法であって、前記被検査対象物のパターンから特徴あるパターンを有するマスターデータ領域により、被検査対象物の全画像領域に対して、輝度値を用いたパターンマッチングをして、パターン一致領域を探索し、前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングにより、正規品種もしくは異品種と判定する異品種混入検査方法および異品種混入検査装置を提供する。【選択図】図１
2013072777.tif 000002
【特許請求の範囲】
【請求項１】
被検査対象物の画像を取得し、マスターデータとの比較を行うことにより、前記被検査対象物を正規品種もしくは異品種と判定する異品種混入検査方法であって、
前記被検査対象物のパターンから特徴あるパターンを有するマスターデータ領域により、被検査対象物の全画像領域に対して、輝度値を用いたパターンマッチングをして、パターン一致領域を探索し、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングにより、正規品種もしくは異品種と判定することを特徴とする異品種混入検査方法。
【請求項２】
輝度値を用いたパターンマッチングが、予め取得してある前記マスターデータ輝度値と、正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出を、被検査対象物の全画像領域にわたって行い、最も正規化相関係数の値が大きい領域が前記マスターデータ領域と一致したと判断し、前記正規化相関係数の値が予め設定された閾値以上であった場合、前記最も正規化相関係数の値が大きい領域をパターン一致領域であると判断することによって行われるとともに、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングが、前記パターン一致領域内の平均色相と前記マスターデータ平均色相との差分値を算出し、前記差分値が予め設定された閾値以下の場合は、前記被検査対象物を正規品種と判定し、前記正規化相関係数の値が予め設定された閾値未満であった場合、もしくは前記差分値が閾値以上であった場合、前期被検査対象物を異品種と判定することを特徴とする請求項１記載の異品種混入検査方法。
【請求項３】
前記マスターデータ輝度値が、前記マスターデータ領域の複数の画素の輝度値をマスターデータ輝度値として予め取得したものであり、
正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出が、正規品種もしくは異品種と判定する被検査対象物内の複数の画素の輝度値との正規化相関係数の算出であり、
前記パターン一致領域内の平均色相が、前記パターン一致領域内の複数の画素の輝度値をもとに平均色相を算出したものであり、
前記平均色相と前記マスターデータ輝度値の複数の画素から算出されるマスターデータ平均色相との差分値を算出したものであることを特徴とする請求項２記載の異品種混入検査方法。
【請求項４】
前記パターン一致領域内の前期平均色相を求める際に、画素ごとに彩度を算出し、前記彩度が予め設定された閾値未満だった場合、前記画素の色相値を前記平均色相の算出対象画素から除外することを特徴とする請求項３に記載の異品種混入検査方法。
【請求項５】
前記パターン一致領域内の前記平均色相の値を用いて、前記パターン一致領域内の複数の画素の色相値から求まる色相偏差を算出し、前記色相偏差の値が予め設定した閾値以上の場合、前記正規化相関係数のみを用いて前記被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項２から請求項４何れかに記載の異品種混入検査方法。
【請求項６】
前記平均色相を求める際に、前記パターン一致領域内で前記平均色相の算出対象となる画素の占める割合が、予め設定した閾値以下の場合、前記正規化相関係数のみを用いて前期被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項２から請求項５に記載の異品種混入検査方法。
【請求項７】
前記平均色相を求める際に、前記パターン一致領域内の輝度補正処理を行うことを特徴
とする請求項１から請求項６のいずれかに記載の異品種混入検査方法。
【請求項８】
被検査対象物を撮像する撮像手段と、前記撮像手段により撮像された被検査対象物の画像を請求項１から請求項７のいずれかに記載の異品種混入検査方法を用いて異品種混入の判定を行う画像判定手段により構成されることを特徴とする異品種混入検査装置。
【請求項９】
被検査対象物を撮像する撮像手段が、複数方向から被検査対象物を撮像する撮像手段であり、前記撮像手段により撮像された複数方向からの被検査対象物の画像を合成して被検査対象物の画像とすることを特徴とする請求項８記載の異品種混入検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は異品種の混入検査に関し、被検査対象物の画像を取得し、正規品種との比較を行い、良否判定を行う混入検査方法およびその方法を用いる異品種混入検査装置に関する。
【背景技術】
【０００２】
一般的に、工業製品の生産ラインにおいて最終工程から集積・出荷部の間に、出荷前検査機として異品種混入検査機が設置される場合がある。例えば、円筒容器の生産ラインなどがそのケースに当てはまり、円筒容器の絵柄・文字検査とは別に、異品種の混入検査が行われている。ここで、混入検査が行われているのは、円筒容器の生産工程において異品種の混入が発生すると、円筒容器に表示されている品名と内容物に不一致が生じ、重大な製品事故またはクレームの発生要因となるからである。
【０００３】
従来、混入検査は主に人間の目による目視検査で行われることが多いが、その場合人為的なミスによる異品種の混入が発生する可能性が排除できない。また、一般的に、実際に異品種混入が発生する頻度は極めて低いため、検査員が異品種混入を見逃す可能性も排除できない。そのため、検査装置による自動化が試みられている。
【０００４】
このような、画像の端部を認識することが容易でない円筒状などの被検査対象物の場合の異品種混入の検知のためには、下記の特許文献１や特許文献２に示すような被検査対象物の外周画像の一部もしくは全周を取得し、予め登録しておいた正規品種の画像と比較し、良否判定を行うというものが常套手段となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１６４７０６号公報
【特許文献２】特開２００８−１５１７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目指すところは、安価かつ多品種対応可能な混入検査機を提供することである。まず、検査機専用の搬送機構を必要としない、既存生産ラインでも検査可能となる手法の開発が課題となる。そのためには、ワーク姿勢のばらつきに伴う検査画像中のシェーディングの影響をある程度許容する必要がある。また、近年生産される品種の中には、外周絵柄パターンのうち、印字部分のほとんどは同一で、背景色のみ異なるという品種が存在する。それらの品種を区分するためには、色情報を正確に抽出する手法の開発が必要となる。
【課題を解決するための手段】
【０００７】
上記の課題を解決するための手段として、請求項１に記載の発明は、被検査対象物の画像を取得し、マスターデータとの比較を行うことにより、前記被検査対象物を正規品種もしくは異品種と判定する異品種混入検査方法であって、
前記被検査対象物のパターンから特徴あるパターンを有するマスターデータ領域により、被検査対象物の全画像領域に対して、輝度値を用いたパターンマッチングをして、パターン一致領域を探索し、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングにより、正規品種もしくは異品種と判定することを特徴とする異品種混入検査方法。
【０００８】
請求項２に記載の発明は、輝度値を用いたパターンマッチングが、予め取得してある前
記マスターデータ輝度値と、正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出を、被検査対象物の全画像領域にわたって行い、最も正規化相関係数の値が大きい領域が前記マスターデータ領域と一致したと判断し、前記正規化相関係数の値が予め設定された閾値以上であった場合、前記最も正規化相関係数の値が大きい領域をパターン一致領域であると判断することによって行われるとともに、
前記パターン一致領域内の平均色相と前記マスターデータ平均色相とのマッチングが、前記パターン一致領域内の平均色相と前記マスターデータ平均色相との差分値を算出し、前記差分値が予め設定された閾値以下の場合は、前記被検査対象物を正規品種と判定し、前記正規化相関係数の値が予め設定された閾値未満であった場合、もしくは前記差分値が閾値以上であった場合、前記被検査対象物を異品種と判定することを特徴とする請求項１記載の異品種混入検査方法を提供するものである。
【０００９】
請求項３に記載の発明は、前記マスターデータ輝度値が、前記マスターデータ領域の複数の画素の輝度値をマスターデータ輝度値として予め取得したものであり、
正規品種もしくは異品種と判定する被検査対象物内の輝度値との正規化相関係数の算出が、正規品種もしくは異品種と判定する被検査対象物内の複数の画素の輝度値との正規化相関係数の算出であり、
前記パターン一致領域内の平均色相が、前記パターン一致領域内の複数の画素の輝度値をもとに平均色相を算出したものであり、
前記平均色相と前記マスターデータ輝度値の複数の画素から算出されるマスターデータ平均色相との差分値を算出したものであることを特徴とする請求項２記載の異品種混入検査方法を提供するものである。
【００１０】
請求項４に記載の発明は、前記パターン一致領域内の前期平均色相を求める際に、画素ごとに彩度を算出し、前記彩度が予め設定された閾値未満だった場合、前記画素の色相値を前記平均色相の算出対象画素から除外することを特徴とする請求項３に記載の異品種混入検査方法を提供するものである。
【００１１】
請求項５に記載の発明は、前記パターン一致領域内の前記平均色相の値を用いて、前記パターン一致領域内の複数の画素の色相値から求まる色相偏差を算出し、前記色相偏差の値が予め設定した閾値以上の場合、前記正規化相関係数のみを用いて前記被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項２から請求項４のいずれかに記載の異品種混入検査方法を提供するものである。
【００１２】
請求項６に記載の発明は、前記平均色相を求める際に、前記パターン一致領域内で前記平均色相の算出対象となる画素の占める割合、すなわち色面積比率が、予め設定した閾値以下の場合、前記正規化相関係数のみを用いて前記被検査対象物を正規品種もしくは異品種のいずれかと判定することを特徴とする請求項２から請求項５に記載の異品種混入検査方法を提供するものである。
【００１３】
請求項７に記載の発明は、前記平均色相を求める際に、前記パターン一致領域内の輝度補正処理を行うことを特徴とする請求項１から請求項６のいずれかに記載の異品種混入検査方法を提供するものである。
【００１４】
請求項８に記載の発明は、被検査対象物を撮像する撮像手段と、前記撮像手段により撮像された被検査対象物の画像を請求項１から請求項７のいずれかに記載の異品種混入検査方法を用いて異品種混入の判定を行う画像判定手段により構成されることを特徴とする異品種混入検査装置を提供するものである。
【００１５】
請求項９に記載の発明は、被検査対象物を撮像する撮像手段が、複数方向から被検査対
象物を撮像する撮像手段であり、前記撮像手段により撮像された複数方向からの被検査対象物の画像を合成して被検査対象物の画像とすることを特徴とする請求項８記載の異品種混入検査装置を提供するものである。
【発明の効果】
【００１６】
本発明の異品種混入検査装置により、被検査対象物の姿勢のばらつきの影響を受けずに検査画像中から色情報を抽出し、外周絵柄パターンのうち背景色のみが異なるような品種を含めた多品種での正規品種・異品種の判定を精度よく行うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】異品種混入検査装置の模式図であり、（ａ）は、装置全体を上方から見た模式図で、（ｂ）は、装置全体を側面から見た模式図で被検査対象物と撮像手段、光照射手段の位置関係を示す模式図である。
【図２】被検査対象物の全周画像とマスターデータ領域の設定例である。
【図３】被検査対象物の外周絵柄パターンのうち、背景色のみが異なる品種の組み合わせ例である。
【図４】良否判定を行うフローチャートのうち、色相判定までのフローチャートである。
【図５】良否判定を行うフローチャートのうち、色相判定以降のフローチャートである。
【発明を実施するための形態】
【００１８】
図1は本発明の異品種混入検査装置を模式的に表す図である。図１（ａ）は上方から見た図、図１（ｂ）は側面から見た図である。被検査対象物１は、例えば、円筒型の紙カップであり、周囲に品種固有の絵柄や品名が印字されている。このように、端部が明確に判断できない被検査対象物に本発明は効果的である。
例えば、上流装置にて製造された被検査対象物１はシューター２内を空圧で矢印１２に示される方向に移動し、下流装置へと搬送される。もちろん、本願は検査装置単独でも使用可能である。
本発明の異品種混入検査装置は撮像手段３、光照射手段４、画像判定手段５からなり、撮像手段３にて得られた被検査対象物１の画像データを画像判定手段５に伝送し、被検査対象物１が正規品種もしくは異品種かを判定する。
この実施の形態においては、単純な閾値を用いる例で以下説明する。
なお、他の照明装置などにより十分な光量が得られる場合は、光照射手段は不要である。
【００１９】
本発明では、コストおよび簡便性を考慮して、装置固有の搬送機構を設けず上流、下流の装置間での搬送経路（シューター２）に装置を設置している。被検査対象物１の全周画像を必要とするため、一般には、撮像手段３および光照射手段４は複数配置する必要がある。本実施例では、撮像手段３および光照射手段４を被検査対象物１の周囲に４つ配置した例を示しているが、特にこの配置に限定されるものではなく、被検査対象物１の全周画像を得られる配置であればどのような配置でも良い。
【００２０】
撮像手段３には電荷結合素子（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を用いているが、これに限定されるものではない。ただし、撮像手段３から得られる撮像データを構成するピクセルデータは赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３色の光強度情報を持つことが必要である。各色の光強度分解能は０〜２５５の２５６階調で表現されるが、これに限定されるものではない。色情報の光照射手段４にはＬＥＤ光源のストロボ発光を使用し短時間露光を可能としている。これにより、被検査対象物１が搬送中であっても静止状態の画像を得ることが可能であるが、これに限定されるものではない。
【００２１】
撮像手段３において得られた被検査対象物１からの反射光を電気信号に変換し、画像判定手段５に伝送する。画像判定手段５にて、以下で示すようなデータ処理を行い、被検査対象物１の品種判定を行う。
【００２２】
品種判定は、本実施の形態では、予め登録しておいたマスターデータを用いて被検査対象物１の全周画像中のパターンと比較することで、被検査対象物１を正規品種もしくは異品種混入と判定する。マスターデータはＲＧＢデータをモノクロデータに変換することに得られる。輝度値を用いたパターン形状情報、ＲＧＢデータから求められるパターン色相情報の２種類を使用する。
【００２３】
図２に被検査対象物１の全周画像及びマスターデータ設定領域の例を２例挙げている。図２（ａ）及び図２（ｂ）に示すように、マスターデータは被検査対象物１の全周画像全領域を設定する必要はなく、被検査対象物の特徴あるパターンを含む絵柄領域８をマスターデータ設定領域として選定すればよい。これにより処理負荷が軽減される。また、全周画像６、全周画像８で示された品種の組み合わせではマスターデータ中のパターン形状は異なるが、背景色情報は同一である。そのため、異品種混入検査に有効なのはパターン形状情報のみとなる。
【００２４】
一方、図３にはマスターデータ設定領域中のパターン形状は同一であるが、背景色が異なる品種の組み合わせを示している。この場合、異品種混入検査にはパターン形状情報のみではなく、加えてパターン色相情報も必要となる。以上のような品種の混入検査に対応するため、図４、図５で示すフローチャートのような判定ステップを用いている。以下に、その詳細を説明する。
【００２５】
まず、輝度値を用いたパターンマッチングを行う。本実施の形態では、画像判定手段５に画像データが入力されてきたら（Ｓ１）、画像データとマスターデータの間の正規化相関係数を算出する（Ｓ２）。正規化相関係数は、数１で表される係数であり、マスターデータと検査領域の輝度分布関数間の距離を表している。正規化相関係数の算出を算出位置を移動しながら（Ｓ４）、被検査対象物１の全領域の画像にわたって行い（Ｓ３）、正規化相関係数が最も大きい領域を探索する。
以下に数１の例を示す。
【００２６】
【数１】
2013072777.tif 000003
【００２７】
ここで、
ｒ・・・正規化相関係数
Ｍ・・・マスターデータ輝度
Ｉ・・・検査画像輝度
Ｎ・・・画像サイズ（画素数）である。
【００２８】
ここで、正規化相関係数の算出はＲＧＢデータではなくモノクロデータを用いる。正規化相関係数はマスターパターンの形状サーチに用いるので、ＲＧＢデータよりモノクロデータのほうが取り扱い・計算負荷ともに適しているためである。
【００２９】
Ｓ３により求まった最も高い正規化相関係数が予め設定した閾値を超えるかどうか判定を行う（Ｓ５）。閾値を超える場合は、マスターデータの形状パターンと一致した領域が被検査対象物にありと判定し（Ｓ６）、該当する領域をパターン一致領域と判断し、色相判定ステップ（Ｓ８）に移行する。閾値を超えない場合は、マスターデータの形状パターンと一致する領域がないと判定し、被検査対象物１を異品種混入と判定する。
【００３０】
平均色相を用いたマッチングである、色相判定ステップについて図５のフローチャートを用いて説明する。色相判定とは、パターン一致領域内における平均色相を求め、マスターデータ領域内の平均色相との比較を行うものである。まず、パターン一致領域内の輝度補正処理（Ｓ９）を行う。被検査対象物１は前記したようにシューター２内を空圧のみで搬送されてくるので、ワーク姿勢にかなりの変動が生じているのが一般的である。そのため、撮像画像の明るさ変動が大きく、色相を正しく算出することが出来ない。そのため、輝度補正処理（Ｓ９）により明るさ変動を除去することが多くの場合必要である。
【００３１】
輝度補正処理（Ｓ９）に関しては、数２で示すように、パターン一致領域内の狙い平均輝度値を予め設定しておき、各画素の輝度値を狙い平均輝度値からのオフセット量で補正する処理を行っているが、この方法に限定されるものではない。数２の処理はパターン一致領域内の全画素に渡って、ＲＧＢデータそれぞれに対して実施する。
以下に数２を示す。
【００３２】
【数２】
2013072777.tif 000004
【００３３】
ここで、
Ｉ’・・・補正後輝度値
Ｔ・・・狙い平均輝度値
Ｉ・・・補正前輝度値
Ｖ・・・補正前平均輝度値、である。
【００３４】
次にパターン一致領域内のＲＧＢデータから各画素の彩度・色相を算出する（Ｓ１０）。本発明ではＲＧＢ色空間からＬ*ａ*ｂ*色空間への変換を行った後に、彩度・色相を算出しているが、この方法に限定されるものではない。Ｌ*ａ*ｂ*色空間から彩度および色相は数3で算出される。
以下に数３を示す。
【００３５】
【数３】
2013072777.tif 000005
【００３６】
ここで、
ａ*・・・Ｌ*ａ*ｂ*色空間でのａ*値
ｂ*・・・Ｌ*ａ*ｂ*色空間でのｂ*値
Ｓ・・・彩度
Ｈ・・・色相、である。
【００３７】
次に、パターン一致領域内の平均色相および色相偏差を算出する（Ｓ１１）。その際、算出対象となる画素データを、彩度が予め設定された閾値を超えるもののみに限定する。それと同時に、パターン一致領域内にて、前記算出対象となる画素数をカウントし、パターン一致領域内に占める割合（色面積比率）を算出する。
次に、算出された色相偏差を予め設定された閾値と比較し（Ｓ１２）、閾値以下だった場合は次のステップに進む（Ｓ１３）。閾値を超えた場合は色相判定は実施しない（Ｓ１４）。
次に、算出された色面積比率を予め設定された閾値と比較し（Ｓ１３）、閾値以上だった場合は次のステップに進む（Ｓ１５）。閾値未満だった場合は色相判定は実施しない（Ｓ１４）。以下に、Ｓ１１〜Ｓ１４までの処理について説明する。
【００３８】
一般的に、彩度が弱い場合、数３からも明らかなように、ａ*値・ｂ*値の多少の揺らぎにより色相が大きく変化してしまう。そのため、平均色相を正確に算出するためには、彩度の強い画素のみを対象とするのが好ましい。また、パターン一致領域内に彩度の強い画
素が存在していてもそれらの色相偏差が大きい場合、パターン一致領域内の平均色相を算出してもその領域内の特徴を表すことは容易でない。そのため、色相偏差が大きい場合は色相判定を行わないことが有効である。また、色面積比率が小さい場合、パターン一致領域内の色相情報が少数の画素データでのみ表わされ、全体を正しく表現できない可能性がある。そのため、色面積比率が小さいものも色相判定を行わない。
以上のことから、色相判定を行うためには、パターン一致領域内の色情報において、一定以上の彩度を持つエリアが一定以上の割合を占め、なおかつそのエリア内は単一に近い色相であることが好ましい。
【００３９】
次に、パターン一致領域内の平均色相とマスターデータの平均色相との差分値を算出し（Ｓ１５）、前記差分値を予め設定された閾値と比較し（Ｓ１６）、閾値以下だった場合は被検査対象物１を正規品種と判定し、閾値を超えた場合は被検査対象物１を異品種と判定する。
【００４０】
以上の判定フローにより、被検査対象物の絵柄パターンに依らず、品種判定を行うことが出来る。ただし、色相判定を必要とする品種の場合、Ｓ１４のように色相判定に適さないと判定されたパターン一致領域は色相判定が実施されないので、見逃しが発生する可能性がある。そのため、マスターデータを設定する際に、予め色相判定に適した領域かどうかをマスターデータ内の色情報を参照して見極める必要がある。
以上述べてきた通り、輝度値を用いたパターンマッチングと、平均色相を用いたマッチッグをするだけである程度の効果は得られるが、被検査対象物の画像の特性に応じて適宜カスタマイズを施すと、より精度が向上するか、処理速度が向上する異品種混入検査方法が提供できるとともに、この異品種混入検査の実施に有効な装置を提供できる。
【符号の説明】
【００４１】
１・・・被検査対象物
２・・・シューター
３・・・撮像手段
４・・・光照射手段
５・・・画像判定手段
６・・・被検査対象物の全周画像例１
７・・・被検査対象物の全周画像例２
８・・・マスターデータ設定領域
９・・・被検査対象物の全周画像例３（背景色有り）
１０・・・被検査対象物の全周画像例４（背景色有り）
【図１】
2013072777.tif 000006
【図２】
2013072777.tif 000007
【図３】
2013072777.tif 000008
【図４】
2013072777.tif 000009
【図５】
2013072777.tif 000010