(57)【特許請求の範囲】
【請求項１】
画像検査装置が実行する画像検査方法であって、
検査対象物を撮影して得られた検査対象物画像を取得する取得ステップと、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込ステップと、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出ステップと、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理ステップと、を有しており、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出ステップでは、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状が決定され、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域の形状に関する特徴を表す形状情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域の形状と前記形状情報で表される形状との類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査方法。
【請求項２】
画像検査装置が実行する画像検査方法であって、
検査対象物を撮影して得られた検査対象物画像を取得する取得ステップと、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込ステップと、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出ステップと、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理ステップと、を有しており、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出ステップでは、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状が決定され、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域の大きさに関する特徴を表す大きさ情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域の大きさと前記大きさ情報で表される大きさとの類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査方法。
【請求項３】
画像検査装置が実行する画像検査方法であって、
検査対象物を撮影して得られた検査対象物画像を取得する取得ステップと、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込ステップと、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出ステップと、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理ステップと、を有しており、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出ステップでは、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状が決定され、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域の画像内での位置に関する特徴を表す位置情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域のサンプル画像内での位置と前記位置情報で表される位置との類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査方法。
【請求項４】
画像検査装置が実行する画像検査方法であって、
検査対象物を撮影して得られた検査対象物画像を取得する取得ステップと、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込ステップと、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出ステップと、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理ステップと、を有しており、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出ステップでは、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状が決定され、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域内の画像のテクスチャに関する特徴を表すテクスチャ情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域内の画像のテクスチャと前記テクスチャ情報で表されるテクスチャとの類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査方法。
【請求項５】
前記検査領域定義情報は、パラメタの一つとして、前記ピクセル分離度と前記エッジ重なり度を評価する際の重みを調整するためのバランスパラメタを含む
ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像検査方法。
【請求項６】
前記最適解探索処理では、前景の代表色又は代表輝度に対する候補領域の内側の各ピクセルの色又は輝度の前景らしさを評価した値、或いは、背景の代表色又は代表輝度に対する候補領域の外側の各ピクセルの色又は輝度の背景らしさを評価した値、或いは、その両方の値を総合した値を前記ピクセル分離度として用いる
ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像検査方法。
【請求項７】
前記検査領域定義情報は、パラメタの一つとして、前景若しくは背景若しくはその両方の代表色又は代表輝度の情報を含む
ことを特徴とする請求項６に記載の画像検査方法。
【請求項８】
検査対象物の検査を開始する前に、前記検査領域定義情報を生成して前記記憶装置に格納する検査領域定義情報設定ステップをさらに有し、
前記検査領域定義情報設定ステップは、
検査対象物のサンプルを撮影して得られたサンプル画像を取得するステップと、
ユーザからパラメタの入力を受け付けるステップと、
ユーザからパラメタの入力を受け付ける毎に、入力されたパラメタに基づき拘束条件を更新しながら前記サンプル画像に対して前記最適解探索処理を実行することで、前記サンプル画像において所望の検査領域を得ることのできるパラメタを追い込むステップと、
前記サンプル画像において所望の検査領域を得ることができたときに用いられたパラメタを検査領域定義情報として前記記憶装置に格納するステップと、を有する
ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像検査方法。
【請求項９】
請求項１〜８のうちいずれか１項に記載の画像検査方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
検査対象物を撮影して得られた検査対象物画像を取得する取得手段と、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込手段と、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出手段と、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理手段と、を有する画像検査装置であって、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出手段は、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状を決定するものであり、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域の形状に関する特徴を表す形状情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域の形状と前記形状情報で表される形状との類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査装置。
【請求項１１】
検査対象物を撮影して得られた検査対象物画像を取得する取得手段と、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込手段と、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出手段と、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理手段と、を有する画像検査装置であって、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出手段は、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状を決定するものであり、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域の大きさに関する特徴を表す大きさ情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域の大きさと前記大きさ情報で表される大きさとの類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査装置。
【請求項１２】
検査対象物を撮影して得られた検査対象物画像を取得する取得手段と、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込手段と、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出手段と、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理手段と、を有する画像検査装置であって、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出手段は、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状を決定するものであり、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域の画像内での位置に関する特徴を表す位置情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域のサンプル画像内での位置と前記位置情報で表される位置との類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査装置。
【請求項１３】
検査対象物を撮影して得られた検査対象物画像を取得する取得手段と、
検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込手段と、
前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出手段と、
前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理手段と、を有する画像検査装置であって、
前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、
前記検査領域抽出手段は、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状を決定するものであり、
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であり、
前記検査領域定義情報は、パラメタの一つとして、検査領域内の画像のテクスチャに関する特徴を表すテクスチャ情報を含み、
前記最適解探索処理では、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域内の画像のテクスチャと前記テクスチャ情報で表されるテクスチャとの類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする画像検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像による外観検査を行う画像検査装置に関する。
【背景技術】
【０００２】
生産ラインにおける検査の自動化・省力化のために、画像による外観検査を行う画像検査装置が広く利用されている。外観検査の種類や手法には様々なものが存在するが、基本的な構成は、画像センサ（カメラ）で検査対象物を撮影し、得られた画像から検査領域となる部分を抽出し、その検査領域の部分の画像の特徴を解析・評価することで、目的の検査（例えば、良／不良の判定、仕分け、情報取得など）を行うというものである。
【０００３】
この種の画像検査装置においては、検査処理を開始する前に、検査領域の設定などの準備作業を行う必要がある。一般的な装置では、検査領域を設定するための専用のツールが用意されており、ユーザはそのツールを使用して検査対象物や検査目的などに応じた適切な検査領域を自ら設定できるようになっている。しかしながら、従来のツールは、円・四角形などの単純図形又はその組み合わせで検査領域を定義する機能しか持ってない。したがって、検査対象物の形状が複雑もしくは特殊な場合には、検査対象物の輪郭に検査領域を正確に合わせることができないことがある。また単純図形の組み合わせで検査対象物の輪郭を表現できる場合であっても、組み合わせる図形の数が多くなると検査領域の設定に多大な時間と作業負担を要してしまう。近年では、多品種少量生産での効率向上のために段取り時間をできるだけ短縮したいというニーズが強く、検査領域の設定に手間がかかるのは望ましくない。しかしその一方で、製品形状の複雑化や検査内容の高度化・細分化に対応するため、また検査の精度や信頼性の向上のために、検査の対象とすべき部分のみに検査領域を正確に設定したいというニーズも強い。
【０００４】
また、検査対象物が個体差をもつ場合や位置決めされていない場合には、検査領域の設定はさらに難しくなる。例えば、ベルトコンベア上を搬送される野菜の検査を想定した場合、一つとして同じ形状のものはなく、また正確な位置決めもできないので、画像内での検査領域の位置や向きは検査対象物ごとに違ってくる。そのため、高精度な検査を行おうとすると、検査対象物ごとに毎回検査領域を設定するか、あるいは予め設定した検査領域を毎回修正する必要があり、自動検査ができない。検査対象物に比べて検査領域を十分狭く設定すれば、個体差や位置・向きの変動の影響を受け難くなるので、同じ検査領域を使って自動検査を行うことも可能ではあるが、その方法では検査領域から外れる部分が出てきてしまうため、検査の漏れを生じるおそれがある。
【０００５】
検査領域を自動で設定する手法としては、従来、二値化や色域抽出による検査領域抽出手法が知られている。つまり、画像の中から予め設定された輝度範囲もしくは色域に該当するピクセル群を抽出し、そのピクセル群を検査領域とする手法である。この手法は、検査領域として抽出したい部分（前景）とそれ以外の部分（背景）の輝度もしくは色のコントラストが高い場合には有効であり、上述した複雑な形状への対応、設定作業の簡単化といった課題はある程度解決されるが、依然として下記のような課題が残る。
【０００６】
検査領域として抽出したい前景部分に照明などの影響による陰影があったり、前景部分が様々な輝度もしくは色で構成されていたり、背景の中に前景部分に近い色が存在していたりすると、二値化や色域抽出では前景部分のみを正確に抽出することは困難である。最近では、検査内容の高度化や細分化が進み、例えば成型加工部品における１つの切削面だけを対象とした表面検査を行いたいとか、多数の部品が実装されたプリント基板上の１つの部品だけを検査したいなど、背景と前景の色差がほとんど無いケースも現に多い。また
、二値化や色域抽出は、画像のピクセル毎に行われるので、ノイズや照明変動の影響を受けやすく、抽出した検査領域の中にピクセルの抜けがあったり、逆に背景部分から飛び地のようにピクセルが選択されてしまったりして、検査精度を低下させるという問題もある。
【０００７】
特許文献１には、検査領域の設定方法として、検査対象部品のＣＡＤデータから検査領域の位置や大きさを設定する方法、部品実装前と後の２枚の画像の差分をとることで検査すべき領域を認識する方法などが開示されている。これらの方法を使えば検査領域を自動で設定することが可能であるが、これらの方法は適用できる対象が限られてしまい、汎用性に欠ける。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−５８２８４号公報
【非特許文献】
【０００９】
【非特許文献１】Y. Boykov and M.-P. Jolly: "Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D images”, ICCV2001, 01, p. 105 (2001).
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は上記実情に鑑みてなされたものであり、その目的とするところは、複雑な形状や特殊な形状の対象の場合や、前景と背景の色が紛らわしい場合であっても、簡単かつ高精度に検査領域を設定することを可能にする技術を提供することにある。本発明のさらなる目的は、検査対象物に個体差がある場合や検査対象物の位置・向きが不定の場合であっても、適応的に検査領域を自動設定し、高精度な検査を可能にする技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明では、最適解探索処理において拘束条件として用いられるパラメタを検査領域定義情報として画像検査装置に与える。そして、検査対象物の検査を行う際は、画像検査装置がこの検査領域定義情報を拘束条件として用いて検査対象物画像の中から検査領域の最適解を求めることにより、検査対象物ごとに個別に検査領域の位置及び形状を決定する。
【００１２】
具体的には、本発明は、画像検査装置が実行する画像検査方法であって、検査対象物を撮影して得られた検査対象物画像を取得する取得ステップと、検査領域定義情報を予め記憶している記憶装置から、前記検査領域定義情報を読み込む設定読込ステップと、前記検査領域定義情報に基づいて、前記検査対象物画像から検査領域とする部分を検査領域画像として抽出する検査領域抽出ステップと、前記検査領域画像を解析することにより前記検査対象物の検査を行う検査処理ステップと、を有しており、前記検査領域定義情報は、最適解探索処理において拘束条件として用いられるパラメタであり、前記検査領域抽出ステップでは、前記パラメタを拘束条件として用いて検査対象物画像の中から検査領域の最適解を求める最適解探索処理を行うことによって、各々の検査対象物に対して個別に検査領域の位置及び形状が決定されることを特徴とする。
【００１３】
この構成によれば、最適解探索処理によって検査対象物ごとに検査領域の位置及び形状を求めるので、複雑な形状や特殊な形状をもつ検査対象物に対しても正確な検査領域を自動設定できる。しかも、検査対象物に個体差がある場合や検査対象物の位置・向きが不定
の場合であっても、適応的に検査領域を自動設定できる。そして、検査対象物にあわせて正確な検査領域を設定できるようにしたことで、従来に比べて高精度な検査を行うことが可能となる。
【００１４】
前記最適解探索処理は、前記検査対象物画像における各ピクセルの色又は輝度の情報、及び、前記検査対象物画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記検査対象物画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める処理であることが好ましい。
【００１５】
色・輝度の情報に加えてエッジの情報も用い、検査領域の内側と外側の間での色又は輝度のピクセル分離度と検査領域の輪郭のエッジ重なり度の両方を総合的に評価することで、二値化や色域抽出といった従来手法に比べて、領域の抽出精度を向上することができる。
【００１６】
前記検査領域定義情報は、パラメタの一つとして、前記ピクセル分離度と前記エッジ重なり度を評価する際の重みを調整するためのバランスパラメタを含んでいることが好ましい。検査対象物の種類や撮像環境によって、色や輝度による分離がしやすいケースとエッジ情報による分離がしやすいケースとがある。したがって、上記のようなバランスパラメタを用いることで様々なケースへの適応が容易となり、検査領域の抽出精度、ひいては検査精度の向上を図ることができる。
【００１７】
前記最適解探索処理では、前景の代表色又は代表輝度に対する候補領域の内側の各ピクセルの色又は輝度の前景らしさを評価した値、或いは、背景の代表色又は代表輝度に対する候補領域の外側の各ピクセルの色又は輝度の背景らしさを評価した値、或いは、その両方の値を総合した値を前記ピクセル分離度として用いることが好ましい。
【００１８】
この構成によれば、検査領域内のピクセルの前景らしさが高く、且つ、検査領域外のピクセルの背景らしさが高いほど、ピクセル分離度が高いという評価となる。このように前景や背景の代表となる色・輝度を定め、それらを基準として検査領域の探索を行うことにより、検査領域の抽出精度を高めることができる。なお、前景らしさを評価した値を計算する際には、候補領域の内側の全ピクセルを用いてもよいし、一部のピクセルだけを用いてもよい。同様に、背景らしさを評価した値を計算する際には、候補領域の外側の全ピクセルを用いてもよいし、一部のピクセルだけを用いてもよい。
【００１９】
前記検査領域定義情報は、パラメタの一つとして、前景若しくは背景若しくはその両方の代表色又は代表輝度の情報を含んでいることが好ましい。このようなパラメタを拘束条件として用いることで、検査領域の抽出精度をより一層高めることができる。
【００２０】
パラメタとしては、上述したものの他、検査領域の最適解探索に影響を及ぼし得るものであれば、どのようなパラメタを与えても良い。例えば、検査領域の形状、大きさ、画像内での位置、テクスチャ、トポロジ、隣接要素、内包要素などに関する特徴を表す情報をパラメタとして与え、ピクセル分離度とエッジ重なり度に加え、検査領域の特徴とこれらのパラメタで与えられた特徴との類似度合も高くなるように、検査領域の解探索を行えばよい。このように検査領域の各種特徴を拘束条件とすることで、検査領域の抽出精度をより一層高めることができる。
【００２１】
検査対象物の検査を開始する前に、前記検査領域定義情報を生成して前記記憶装置に格納する処理（設定処理、ティーチング処理とも呼ぶ）が必要となるが、この処理は例えば
以下の検査領域定義情報設定ステップで行うことが好ましい。すなわち、前記検査領域定義情報設定ステップは、検査対象物のサンプルを撮影して得られたサンプル画像を取得するステップと、ユーザからパラメタの入力を受け付けるステップと、ユーザからパラメタの入力を受け付ける毎に、入力されたパラメタに基づき拘束条件を更新しながら前記サンプル画像に対して前記最適解探索処理を実行することで、前記サンプル画像において所望の検査領域を得ることのできるパラメタを追い込むステップと、前記サンプル画像において所望の検査領域を得ることができたときに用いられたパラメタを検査領域定義情報として前記記憶装置に格納するステップと、を有するとよい。
【００２２】
なお、本発明は、上記手段の少なくともいずれかを有する画像検査装置として捉えることもできるし、上記の検査領域設定に関わる手段の少なくともいずれかを有する画像検査装置のための検査領域設定装置として捉えることもできる。また本発明は、上記処理の少なくともいずれかを実行する画像検査方法もしくは検査領域設定方法、または、かかる方法をコンピュータに実行させるためのプログラムやこのプログラムを記録した記憶媒体として捉えることもできる。
【発明の効果】
【００２３】
本発明によれば、複雑な形状や特殊な形状の対象の場合や、前景と背景の色が紛らわしい場合であっても、簡単かつ高精度に検査領域を設定することができる。また、検査対象物に個体差がある場合や検査対象物の位置・向きが不定の場合であっても、適応的に検査領域を自動設定し、高精度な検査を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】画像検査装置の構成を模式的に示す図。
【図２】検査処理の流れを示すフローチャート。
【図３】検査処理における検査領域の抽出過程を説明するための図。
【図４】設定ツール１０３を用いて検査領域を設定する処理の流れを示すフローチャート。
【図５】検査領域設定画面の一例を示す図。
【図６】パラメタ調整により検査領域を追い込んでいく過程の一例を示す図。
【発明を実施するための形態】
【００２５】
以下に図面を参照して本発明の好適な実施の形態について詳しく説明する。
以下に述べる実施形態は、画像による外観検査を行う画像検査装置、並びに、画像検査装置に与える検査領域定義情報を作成する作業を支援するための検査領域設定装置に関するものである。この画像検査装置は、ＦＡの生産ラインなどにおいて多数の物品を自動もしくは半自動で連続的に検査する用途などに好適に利用されるものである。検査対象となる物品の種類は問わないが、本実施形態の画像検査装置では画像センサで撮像された元画像を用いて検査対象物ごとに適応的に検査領域を決定して検査を行うため、元画像中の検査領域の位置・形状が検査対象物ごとに変動するようなケースに特に好ましく適用できる。外観検査の目的や検査項目には様々なものが存在するが、本実施形態の検査領域設定装置はいずれの検査に対しても好適に適用することができる。なお本実施形態では、画像検査装置の一機能（設定ツール）という形で検査領域設定装置が実装されているが、画像検査装置と検査領域設定装置とを別々の構成としてもよい。
【００２６】
＜第１実施形態＞
（画像検査装置）
図１は、画像検査装置の構成を模式的に示している。この画像検査装置１は、搬送路上を搬送される検査対象物２の外観検査を行うシステムである。
【００２７】
図１に示すように、画像検査装置１は、装置本体１０、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４などのハードウエアから構成される。画像センサ１１は、カラー又はモノクロの静止画像あるいは動画像を装置本体１０に取り込むためのデバイスであり、例えばデジタルカメラを好適に用いることができる。ただし、可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたセンサを用いればよい。表示装置１２は、画像センサ１１で取り込まれた画像、検査結果、検査処理や設定処理に関わるＧＵＩ画面を表示するためのデバイスであり、例えば液晶ディスプレイなどを用いることができる。記憶装置１３は、画像検査装置１が検査処理において参照する各種の設定情報（検査領域定義情報、検査ロジックなど）や検査結果などを格納するデバイスであり、例えばＨＤＤ、ＳＳＤ、フラッシュメモリ、ネットワークストレージなどを利用可能である。入力装置１４は、ユーザが装置本体１０に対し指示を入力するために操作するデバイスであり、例えばマウス、キーボード、タッチパネル、専用コンソールなどを利用可能である。
【００２８】
装置本体１０は、ハードウエアとして、ＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置（ＲＯＭ、ＨＤＤ、ＳＳＤなど）を備えたコンピュータで構成することができ、その機能として、検査処理部１０１、検査領域抽出部１０２、設定ツール１０３を有している。検査処理部１０１と検査領域抽出部１０２が検査処理に関わる機能であり、設定ツール１０３は検査処理に必要な設定情報のユーザによる設定作業を支援する機能である。これらの機能は、補助記憶装置又は記憶装置１３に格納されたコンピュータ・プログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで実現される。なお、図１は装置構成の一例を示すものにすぎず、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４の全部又は一部を装置本体１０に一体化してもよい。なお装置本体１０は、パーソナルコンピュータやスレート型端末のようなコンピュータで構成してもよいし、或いは、専用チップやオンボードコンピュータなどで構成することもできる。
【００２９】
（検査処理）
図２及び図３を参照して、画像検査装置１の検査処理に関わる動作を説明する。図２は、検査処理の流れを示すフローチャートであり、図３は、検査処理における検査領域の抽出過程を説明するための図である。ここでは、説明の便宜のため、携帯電話の筐体部品のパネル面の検査（キズ、色ムラの検出）を例に挙げて検査処理の流れを説明する。
【００３０】
ステップＳ２０では、画像センサ１１によって検査対象物２が撮影され、画像データが装置本体１０に取り込まれる。ここで取り込まれた画像（元画像；検査対象物画像）は必要に応じて表示装置１２に表示される。図３の上段は元画像の一例を示している。元画像の中央に検査対象となる筐体部品２が写っており、その左右には搬送路上の隣にある筐体部品の一部が写り込んでいる。
【００３１】
ステップＳ２１では、検査領域抽出部１０２が、記憶装置１３から必要な設定情報を読み込む。設定情報には、少なくとも検査領域定義情報と検査ロジックとが含まれる。検査領域定義情報とは、後段の検査領域探索処理において拘束条件として用いられるいくつかのパラメタを定義する情報である。検査領域定義情報として与えられるパラメタの例については後述する。検査ロジックとは、検査処理の内容を定義する情報であり、例えば、検査に用いる特徴量の種類、判定方法、特徴量抽出や判定処理で用いるパラメタや閾値などが該当する。
【００３２】
ステップＳ２２では、検査領域抽出部１０２は、ステップＳ２１で読み込まれた検査領域定義情報（パラメタ）を用いて、元画像を前景と背景に分離（セグメンテーション）し、その前景部分を検査領域として選ぶ。本実施形態においては、元画像の各ピクセルの色の情報に加えて、元画像に含まれるエッジの情報も用い、検査領域の候補解である複数の
候補領域について、前景と背景の間（つまり候補領域の内側と外側の間）での色の分離の度合い（これをピクセル分離度と呼ぶ）と、前景と背景の境界（つまり候補領域の輪郭）と元画像中のエッジとの重なりの度合い（これをエッジ重なり度と呼ぶ）の両方を総合的に評価し、ピクセル分離度とエッジ重なり度の両方を高くするような最適解を探索する。このような処理により、検査対象物２の個体差や姿勢などに合わせて個別に最適な検査領域が決定される。なお最適解探索処理の詳細については後述する。
【００３３】
ステップＳ２３では、検査領域抽出部１０２が、ステップＳ２２で求められた検査領域にしたがって、元画像から検査領域の部分を抽出する。図３の中段は、ステップＳ２２で求められた検査領域（クロスハッチングで示す）３０を元画像に重ねた様子を示している。検査領域３０がちょうど筐体部品２のパネル面の上に重なっていることがわかる。図３の下段は、元画像から検査領域３０の部分の画像（検査領域画像３１）を抽出した様子を示している。検査領域画像３１では、筐体部品２のまわりに写っていた搬送経路や隣の部品が削除されている。また、表面検査の対象部位から除外される、ヒンジ部分２０やボタン部分２１も削除されている。このようにして得られた検査領域画像３１は検査処理部１０１に引き渡される。
【００３４】
ステップＳ２４では、検査処理部１０１が、検査ロジックにしたがって、検査領域画像３１から必要な特徴量を抽出する。本例では、表面のキズ・色ムラの検査を行うための特徴量として、検査領域画像３１の各ピクセルの色とその平均値が抽出される。
【００３５】
ステップＳ２５では、検査処理部１０１が、検査ロジックにしたがって、キズ・色ムラの有無を判定する。例えば、ステップＳ２４で得られた平均値に対する色差が閾値を超えるピクセル群が検出された場合に、そのピクセル群をキズあるいは色ムラと判定することができる。
【００３６】
ステップＳ２６では、検査処理部１０１が検査結果を表示装置１２に表示したり、記憶装置１３に記録する。以上で、１つの検査対象物２に対する検査処理が完了する。生産ラインにおいては、検査対象物２が画像センサ１１の画角内に搬送されるタイミングと同期して、図２のステップＳ２０〜Ｓ２６の処理が繰り返される。
【００３７】
外観検査においては、検査の対象とすべきピクセルのみを過不足なく検査領域画像３１として切り出すことが望ましい。検査領域画像３１の中に背景部分や余計な部分（図３の例ではヒンジ部分２０やボタン部分２１）が含まれていたりするとそのピクセルがノイズとなり検査精度を低下させるおそれがあるし、逆に、検査領域画像３１が検査の対象とすべき範囲よりも小さいと、検査の漏れを生じるおそれがあるからである。そこで本実施形態の画像検査装置１では、正確な検査領域画像を切り出すための検査領域定義情報を簡単に作成するための設定ツール１０３を用意している。
【００３８】
（検査領域の設定処理）
図４及び図５を参照して、設定ツール１０３の機能及び動作について説明する。図４は、設定ツール１０３を用いて検査領域定義情報を設定する処理の流れを示すフローチャートであり、図５は、検査領域設定画面の一例を示す図である。
【００３９】
設定ツール１０３を起動すると、表示装置１２に図５の設定画面が表示される。この設定画面には、画像ウィンドウ５０、画像取込ボタン５１、前景指定ボタン５２、背景指定ボタン５３、優先度調整スライダ５４、確定ボタン５５が設けられている。ボタンの選択やスライダの移動などの操作は入力装置１４を利用して行うことができる。なおこの設定画面はあくまでも一例にすぎず、以下に述べるパラメタ入力や検査領域の確認などを行うことができればどのようなＵＩを用いてもよい。
【００４０】
画像取込ボタン５１が押されると、設定ツール１０３は画像センサ１１によって検査対象物のサンプルを撮影する（ステップＳ４０）。サンプルとしては良品の検査対象物（上記の例であれば筐体部品）を用い、実際の検査処理の場合と同じ状態（画像センサ１１とサンプルの相対位置、照明など）で撮影を行うとよい。得られたサンプル画像データは装置本体１０に取り込まれる。なお、事前に撮影されたサンプル画像が装置本体１０の補助記憶装置や記憶装置１３の中に存在する場合には、設定ツール１０３は補助記憶装置又は記憶装置１３からサンプル画像のデータを読み込んでもよい。
【００４１】
ステップＳ４０で取得したサンプル画像は、図５に示すように、設定画面の画像ウィンドウ５０に表示される（ステップＳ４１）。
【００４２】
ステップＳ４２では、ユーザが前景と背景の代表色（モノクロ画像の場合は代表輝度）を入力する。前景とは、検査領域として抽出すべき部分を指し、背景とは、検査領域以外の部分を指す。前景の代表色を入力する場合、ユーザは、設定画面の前景指定ボタン５２を押して前景指定モードにした後、画像ウィンドウ５０に表示されたサンプル画像上で前景とすべき部分を指定する。ここでの指定は、前景の代表的な色をピックアップすることが目的なので、図５の例であれば、筐体部品のパネル面の一部のピクセル又はピクセル群を適当に選択すればよい。もし前景の中に模様、陰影、色の大きく異なる部分などが含まれている場合には、それらの色をできるだけ網羅するようにピクセル群を選択することが好ましい。背景の代表色を入力する場合は、背景指定ボタン５３を押して背景指定モードに切り替えた後、同様の操作を行う。なお、前景と背景の代表色の入力は必須ではない。前景と背景のいずれか一方のみを入力してもよいし、代表色が既知の場合や、サンプル画像の色分布などから自動で代表色を算出できる場合には、ステップＳ４２を省略してもよい。
【００４３】
ステップＳ４３では、設定ツール１０３は、ステップＳ４２で指定された前景・背景の代表色に基づいて、サンプル画像を前景と背景に分離（セグメンテーション）し、その前景部分を検査領域として選ぶ。本実施形態においては、サンプル画像の各ピクセルの色の情報に加えて、サンプル画像に含まれるエッジの情報も用い、検査領域の候補解である複数の候補領域について、前景と背景の間（つまり候補領域の内側と外側の間）での色の分離の度合い（ピクセル分離度）と、前景と背景の境界（つまり候補領域の輪郭）とサンプル画像中のエッジとの重なりの度合い（エッジ重なり度）の両方を総合的に評価し、ピクセル分離度とエッジ重なり度の両方を高くするような最適解を探索する。ここでの最適解探索処理は、検査処理における検査領域の決定（ステップＳ２２）で用いられる最適解探索処理と同じアルゴリズムのものが用いられる。
【００４４】
ステップＳ４４では、ステップＳ４３で計算された検査領域を設定画面の画像ウィンドウ５０に表示する。ユーザは設定画面に表示された検査領域を見ることで、所望の領域が検査領域として選ばれているかどうかを確認することができる。このとき、サンプル画像の上に検査領域をオーバーレイ表示すると、検査対象物と検査領域との比較が容易になるので好ましい。
【００４５】
その後、設定ツール１０３は、ユーザからの入力を待つ（ステップＳ４５）。確定ボタン５５が押された場合は、設定ツール１０３は、現在のパラメタについて検査領域定義情報を生成し記憶装置１３に格納する（ステップＳ４６）。ここで記憶装置１３に保存された検査領域定義情報が検査処理で利用される。本実施形態の設定ツール１０３では、前景の代表色、背景の代表色、色情報とエッジ情報の間の優先度（バランスパラメタ）などのパラメタが検査領域定義情報に記述される。なお、前景の代表色や背景の代表色としては、画素値や色ヒストグラムなどの色情報をそのままパラメタとして用いてもよいし、その
ような色情報から加工された情報（色情報をモデル化した情報）をパラメタとして用いることもできる。例えば、ヒストグラムをガウス混合モデルで表したものや、カーネル密度推定を使ってモデル化したものをパラメタとしてもよい。また、検査領域定義情報として与えるパラメタは前景の代表色、背景の代表色、色情報とエッジ情報の間の優先度に限られず、最適解探索処理において拘束条件として作用するものであればどのようなパラメタを与えてもよい。
【００４６】
ところで、最適解探索処理の結果、画面表示された検査領域が適当でない場合は、ユーザは、前景指定ボタン５２、背景指定ボタン５３、優先度調整スライダ５４を操作してパラメタを調整することができる（ステップＳ４７）。前景または背景の代表色を指定しなおすと、前述したピクセル分離度の評価に影響を与える。また優先度調整スライダ５４で色情報とエッジ情報の間の優先度を変更すると、前述したピクセル分離度とエッジ重なり度を評価する際のバランス（重み）を変えることができる。設定ツール１０３は、ユーザからパラメタの入力（変更）を受け付けると、この新たなパラメタを拘束条件として用いて検査領域の最適解を再計算し、再計算後の検査領域を画面表示する（ステップＳ４７→Ｓ４３、Ｓ４４）。このような機能により、パラメタを適宜調整しながら、所望の結果が得られるまで検査領域の計算を繰り返すことができる。
【００４７】
図６は、パラメタを追い込んでいく過程の一例を示している。最初の計算で得られた検査領域３０を上段に示す。最初の計算結果では、筐体部品のヒンジ部分２０やボタン部分２１も検査領域３０に含まれているが、ここではパネル面のキズ・色ムラを検査することが目的のためヒンジ部分２０とボタン部分２１は検査領域から除外したい（図３参照）。そこでまず、ユーザは、背景指定ボタン５３を押して背景指定モードに切り替え、サンプル画像中のボタン部分２１の色を背景の代表色に追加指定する。これにより、中段に示す画像例のように、ボタン部分２１が検査領域３０から除かれる。次に、ヒンジ部分２０に関しては、パネル面との色の差が小さいためバランスパラメタの調整で対処する。すなわち、ヒンジ部分２０とパネル面との間の段差に生じたエッジに着目し、優先度調整スライダ５４でエッジ情報の優先度を高くする。これにより、下段に示す画像例のように、ヒンジ部分２０と部品表面とのエッジに検査領域３０の輪郭が設定され、所望の検査領域３０が形成される。
【００４８】
（最適解探索処理）
検査処理における最適解探索処理（図２のステップＳ２２）と、検査領域設定処理における最適解探索処理（図４のステップＳ４３）は同じアルゴリズムに基づくものである。以下、具体的な計算方法について説明する。
【００４９】
前述のように、本実施形態の最適解探索処理では、前景と背景の間でのピクセル分離度と、前景と背景の境界のエッジ重なり度の両方を総合的に評価することにより、検査領域の候補解の中から最適解を求める。この計算は、色情報に基づくピクセル分離度を評価する関数とエッジ情報に基づくエッジ重なり度を評価する関数とを含む目的関数を最小化（もしくは最大化）する最適化問題として捉えることができる。以下、グラフカットアルゴリズムを用いて検査領域の最適化問題を解く手法について説明する。なお、グラフカットアルゴリズムは公知の手法であるため（非特許文献１参照）、本明細書ではグラフカットアルゴリズムの基本概念の説明は割愛し、以下では本実施形態に特有の部分を中心に説明を行う。
【００５０】
グラフカットアルゴリズムでは、目的関数として下記式のようにエネルギー関数を定義し、Ｉが与えられたときにエネルギーＥを最小化する解Ｌを求める。本例では、Ｉがサンプル画像であり、Ｌが前景か背景かを示すラベル（すなわち検査領域）である。
【数１】
0005929238.tif 000002
ここで、ｉ，ｊはピクセルのインデックスであり、Ωは画像Ｉ中のピクセル群であり、Ｎは画像Ｉにおける隣接ピクセルペア群である。またｌｉ，ｌｊはそれぞれピクセルｉ，ｊの指定ラベルである。前景の場合は「１」、背景の場合は「０」というラベルが与えられるものとする。右辺第１項はデータ項と呼ばれ、対象ピクセルｉに関する拘束条件を与える。右辺第２項は平滑化項と呼ばれ、互いに隣接するピクセルｉ，ｊに関する拘束条件を与える。λは、データ項と平滑化項の重み（バランス）を決定するバランスパラメタである。
【００５１】
データ項は、前述した色情報に基づくピクセル分離度を評価する関数で定義される。例えば、下記式によりデータ項の評価関数Ｕを定義するとよい。
【数２】
0005929238.tif 000003
【００５２】
ここで、−ｌｏｇｐ（Ｉ｜ｌｉ＝１）は、前景代表色に対する前景ピクセル（前景ラベル「１」が付されたピクセル）の前景らしさを表す関数（対数尤度）であり、前景尤度と呼ぶ。前景尤度における確率密度関数は前景代表色から推定したもの（例えば前景代表色の色分布をガウス混合モデルで近似したもの）を用いる。一方、−ｌｏｇｐ（Ｉ｜ｌｉ＝０）は、背景代表色に対する背景ピクセル（背景ラベル「０」が付されたピクセル）の背景らしさを表す関数（対数尤度）であり、背景尤度と呼ぶ。背景尤度における確率密度関数は背景代表色から推定したもの（例えば背景代表色の色分布をガウス混合モデルで近似したもの）を用いる。すなわち、データ項は各前景ピクセルの前景尤度と各背景ピクセルの背景尤度の総和を表しており、前景ピクセルの色が前景代表色に近いほど、また背景ピクセルの色が背景代表色に近いほど、エネルギーが小さくなり、逆に前景ピクセルの色が前景代表色から離れるほど、また背景ピクセルの色が背景代表色から離れるほど、エネルギーが大きくなる。
【００５３】
平滑化項は、前述したエッジ情報に基づくエッジ重なり度を評価する関数で定義される。例えば、下記式により平滑化項の評価関数Ｖを定義することができる。
【数３】
0005929238.tif 000004
ここで、Ｉｉ，Ｉｊはそれぞれピクセルｉ，ｊのピクセル値（色又は輝度）であり、βは係数である。‖Ｉｉ−Ｉｊ‖２は、所定の色空間上でのピクセル値の差分（距離）、すなわちピクセル間のコントラストの高さを表している。
【００５４】
上記式によれば、隣接するピクセルｉ，ｊのラベルが異なっている場合に、ピクセルｉ，ｊのコントラストが低いとエネルギーが大きくなり、コントラストが高いとエネルギーが小さくなる。隣接するピクセルのコントラストが高い部分は、画像中の色又は輝度が大きく変化している部分、つまり画像におけるエッジ部分である。すなわち、上記式は、前景と背景の境界（ラベルが異なっているピクセルペア）が画像中のエッジに重なっているほど、エネルギーが小さくなる。
【００５５】
以上述べたエネルギー関数は、一定の数学的条件（submodularity）が満たされている
場合には、大局的最小解が存在する。また、同様にsubmodularityを満たす項を付け加え
て拘束条件付きで大局的最小解を求めることもできる。なお大局的最小解の効率的な解法については、公知の探索アルゴリズムを利用すればよいので、ここでは詳しい説明は省略する。
【００５６】
前述した設定画面で調整可能なパラメタのうち「前景代表色」と「背景代表色」はデータ項の値に影響を及ぼすものである。また、「色情報とエッジ情報の優先度」は、バランスパラメタλに対応する。つまり、ユーザが色情報の優先度を大きくすると、パラメタλの値を小さくしてデータ項の重みを大きくし、ユーザがエッジ情報の優先度を大きくすると、パラメタλの値を大きくして平滑化項の重みを大きくするのである。なお、パラメタλの値については、計算機（設定ツール１０３）によって自動的に決定することもできる。例えば、設定ツール１０３が前景代表色と背景代表色との差を計算し、その差が大きいときにはパラメタλの値を小さくし、データ項の重みを大きくする。前景と背景の色の差が明確である場合は、データ項の信頼性が高いと推定できるからである。逆に、前景代表色と背景代表色の差が小さいときにはパラメタλの値を大きくし、平滑化項の重みを大きくする。前景と背景の色の差が明確でない場合は、色情報よりもエッジ情報に基づく領域分割のほうがよい結果が得られる傾向にあるからである。このようにバランスパラメタλを自動調整することで、ユーザの補助が無い状態でも妥当な解に到達できる可能性を高めることができる。好ましくは、バランスパラメタλの初期値を上記方法により自動で決定し、それを出発点としてユーザにバランスパラメタλ（色情報とエッジ情報の優先度）を調整させると良い。初期値の妥当性が高いほど、ユーザの試行錯誤の回数を減らすことができ、パラメタ調整にかかる作業負荷を軽減できると期待できるからである。
【００５７】
なお、上述した式（２）では、前景ピクセルの前景らしさ（前景尤度）と背景ピクセルの背景らしさ（背景尤度）の総和をデータ項として用いたが、ピクセル分離度の評価関数はこれに限らない。例えば、前景らしさと背景らしさの積、重み付き和、重み付き積、非線形関数和、非線形関数積などを用いてもよい。なお非線形関数としては単調増加関数を用いるとよい。また、前景らしさと背景らしさの両方を評価するのではなく、前景らしさのみ、或いは、背景らしさのみを評価したものをピクセル分離度として用いることもできる。具体的には、式（２）において、ｌｉ＝０の場合（もしくはｌｉ＝１の場合）にＵ（ｌｉ｜Ｉ）＝０となるような関数を用いることができる。下記式（４）は、前景らしさのみを評価する関数である。
【数４】
0005929238.tif 000005
【００５８】
また、前景らしさの計算には、全ての前景ピクセル（つまり候補領域の内側の全てのピクセル）を用いてもよいし、一部の前景ピクセルだけを用いてもよい。同様に、背景らしさの計算についても、全ての背景ピクセル（つまり候補領域の外側の全てのピクセル）を用いてもよいし、一部の背景ピクセルだけを用いてもよい。例えば、ラベルが確定しているピクセルを計算から除外したり、候補領域の輪郭から所定距離内のピクセルだけを計算に用いたりすることにより、計算時間の短縮を図ることができる。
【００５９】
また、前景らしさもしくは背景らしさを評価する関数は式（２）のものに限られない。例えば、下記式のように前景尤度と背景尤度の比である尤度比を用いることができる。
【数５】
0005929238.tif 000006
【００６０】
ユーザにより前景代表色として指定されたピクセル群のヒストグラムを直接用い（確率密度関数を推定することなく）、その前景代表色ヒストグラムに対する各ピクセルの色の類似度に基づき前景らしさを評価したり、逆に前景代表色ヒストグラムに対する各ピクセルの色の相違度に基づき背景らしさを評価したりしてもよい。同様に、ユーザにより背景代表色として指定されたピクセル群のヒストグラム（背景代表色ヒストグラム）に対する類似度に基づき背景らしさを評価したり、背景代表色ヒストグラムに対する相違度に基づき前景らしさを評価したりしてもよい。或いは、候補領域の前景ピクセル群から求めた前景ヒストグラムや背景ピクセル群から求めた背景ヒストグラムと、上記前景代表色ヒストグラムや背景代表色ヒストグラムとの間の類似度もしくは相違度を、所定の関数や距離指標を用いて計算してもよい。或いは、ピクセル群の色や輝度の情報からヒストグラムを近似したものを計算し、そのヒストグラムを近似したものを用いて類似度や相違度を計算してもよい。
【００６１】
（追加的なパラメタ）
上記例では、前景代表色、背景代表色、色情報とエッジ情報の優先度の３つのパラメタについて説明したが、これらの他にも、検査領域の最適解探索に影響を及ぼし得るものであれば、どのようなパラメタを用いて良い。例えば、外観検査の対象物としては工業製品が主であるため、検査領域となる部分の形状、テクスチャ、トポロジ、検査領域に隣接する要素、検査領域に内包される要素などに特徴があるケースが多い。また画像センサの設置に際し検査対象物がちょうど良く画角に収まるように設定されるため、検査領域となる部分の大きさや画像内での位置はある程度予測できる。それゆえ、このような検査領域の特徴を表す情報をパラメタとしてユーザに入力させ、そのパラメタで与えられた特徴と検査領域の特徴との類似度合を評価する拘束条件を目的関数の中に追加することで、妥当な検査領域が探索される可能性をより一層高めることができる。なお、パラメタを新たに加えた場合には、そのパラメタの値も検査領域定義情報に含める。
【００６２】
検査領域の形状に関する特徴を表す形状情報としては、検査領域の基本形状（円形、四角形、三角形、星形・・・）や、輪郭の特徴（直線的な外形、丸みのある外形、ギザギザが多い・・・）などを用いることができる。形状情報を入力するＵＩとしては、基本形状のテンプレートや輪郭の特徴をリスト表示し、その中から該当するものをユーザに選択させるとよい。基本形状のテンプレートが指定された場合には、例えば、拘束条件として下記式を挿入すればよい。
【数６】
0005929238.tif 000007
ここで、ｌｉはピクセルｉの指定ラベルであり、ｔｉはテンプレート上のピクセルｉに対応する点のラベルである。Ｔ（）はアフィン変換を表す。上記式は、指定されたテンプレートを拡大／縮小、回転、変形等しつつ候補領域に対してテンプレートマッチングを行い、最小スコアを計算する、という操作を表している。すなわち、この拘束条件を加えることにより、ユーザ指定の基本形状に近い形状をもつ領域の方がエネルギーが小さくなり、最適解として優先的に選ばれるようになる。
【００６３】
また、輪郭の特徴としてギザギザ度合いもしくは滑らか度合いが指定された場合には、
例えば、拘束条件として下記式を挿入すればよい。
【数７】
0005929238.tif 000008
ここで、Ｓは前景領域の輪郭上の点、θは輪郭の勾配角度であり、∂θ／∂Ｓは前景領域の輪郭に沿った勾配角度の変化量を表している。また、Ｃはユーザにより指定されたギザギザ度合い（滑らか度合い）を示す定数であり、ギザギザであるほどＣは大きく、滑らかであるほどＣは小さい値となる。上記式は、前景領域の輪郭の勾配角度の変化量の合計値（輪郭のギザギザ度合いを表す）が値Ｃ（指定されたギザギザ度合いを表す）に近いかどうか、を評価する関数である。すなわち、この拘束条件を加えることにより、ユーザ指定のギザギザ度合いに近い輪郭特徴をもつ領域の方が最適解として優先的に選ばれるようになる。
【００６４】
検査領域の大きさに関する特徴を表す大きさ情報としては、検査領域の面積、縦横の長さなどを用いることができる。大きさ情報として面積が入力された場合には、例えば、拘束条件として下記式を挿入すればよい。
【数８】
0005929238.tif 000009
ここで、Ｃはユーザにより指定された前景領域の面積（ピクセル数）である。前景ラベルは１、背景ラベルは０ゆえ、Σｌｉは前景ピクセルの総数、つまり前景領域の面積を表している。したがって、上記式は、前景領域の面積が指定された面積Ｃに近いかどうか、を評価する関数である。この拘束条件を加えることにより、ユーザ指定の面積に近い大きさの領域の方が最適解として優先的に選ばれるようになる。
【００６５】
検査領域の画像内での位置に関する特徴を表す位置情報としては、検査領域の重心座標、検査領域の存在範囲（上、下、右、左、中央・・・）などを用いることができる。位置情報として重心座標が入力された場合には、例えば、拘束条件として下記式を挿入すればよい。
【数９】
0005929238.tif 000010
ここで、ｗは前景領域の重心座標であり、Ｃはユーザにより指定された重心座標である。上記式は、前景領域の重心座標が指定された座標Ｃに近いかどうか、を評価する関数である。この拘束条件を加えることにより、ユーザ指定の座標に近い位置に重心をもつ領域の方が最適解として優先的に選ばれるようになる。
【００６６】
検査領域のテクスチャに関する特徴を表すテクスチャ情報としては、検査領域内の模様、色の濃淡、凹凸、素材などを表す情報を用いることができる。例えば、各種のテクスチャテンプレートをリスト表示し、その中から該当するものをユーザに選択させるとよい。テクスチャテンプレートが入力された場合には、例えば、拘束条件として下記式を挿入すればよい。
【数１０】
0005929238.tif 000011
ここで、Ｉはサンプル画像であり、Ｅはユーザにより指定されたテクスチャテンプレートである。ｈｌ＝１（）は前景ピクセルの色ヒストグラムを表しており、ｆ（）はヒストグラムの類似度を示す関数である。つまり、上記式は、サンプル画像中の前景領域の色ヒストグラムが、指定されたテクスチャの色ヒストグラムに類似するかどうか、を評価する関数である。この拘束条件を加えることにより、ユーザ指定のテクスチャに類似したテクスチャをもつ領域の方が最適解として優先的に選ばれるようになる。
【００６７】
（本実施形態の利点）
本実施形態の画像検査装置１では、サンプル画像から求めた検査領域をそのまま検査処理に利用するのではなく、サンプル画像から検査領域の最適解を求める過程で用いたパラメタ（拘束条件）を画像検査装置１に与えている。検査処理の段階では、画像検査装置１が記憶装置からパラメタを読み込み、そのパラメタを用いて最適解探索処理を実行することで、検査対象物毎に個別に検査領域の位置や形状を決定している。したがって、複雑な形状や特殊な形状をもつ検査対象物に対しても正確な検査領域を自動で設定でき、また検査対象物に個体差がある場合や検査対象物の位置・向きが不定の場合であっても、適応的に正確な検査領域を自動設定できる。さらに、本実施形態では、色・輝度の情報に加えてエッジの情報も用い、ピクセル分離度とエッジ重なり度の両方を総合的に評価するアルゴリズムを採用したので、二値化や色域抽出といった従来手法に比べて、領域の抽出精度を向上することができる。よって、本実施形態の画像検査装置１によれば、検査対象物として取り扱うことのできる幅が広がるとともに、従来に比べて高精度な検査を行うことが可能となる。
【００６８】
また、本実施形態の設定ツール１０３は、設定画面において、色情報とエッジ情報の優先度のいずれを優先させるかをユーザに任意に選ばせることができる。例えば、前景や背景の中に模様が含まれているなど疑似輪郭が多い画像の場合はエッジの情報よりも色・輝度の情報を優先したほうが良い結果が得られる可能性が高く、前景と背景の色が似ている画像の場合はエッジの情報を優先したほうが良い結果が得られる可能性が高い。このような前景と背景の切り分けが困難な画像に対して、完全自動で正解にたどり着くことは非常に困難である。その一方で、いずれを優先させるべきかはヒトであれば画像を見て容易に判断できるし、試行錯誤によりパラメタを追い込むことも容易である。したがって、上記構成のようにバランスパラメタを調整可能としたことにより、簡単に且つ短時間で所望の検査領域が得られる検査領域定義情報を作成できるようになる。
【００６９】
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。例えば、上記実施形態ではカラー画像を想定しているため、画像の色情報を利用したが、モノクロ画像を用いる場合には、色情報の代わりに輝度情報を用いればよい。また、上記実施形態では最適化にグラフカットアルゴリズムを利用したが、レベルセットアルゴリズムなどの他の方法を利用することもできる。他の方法の場合にも、色情報（輝度情報）とエッジ情報を利用することにより検査領域の高精度な算出が可能となる。またこの場合も、色情報（輝度情報）とエッジ情報の優先度をユーザにより変更できるようにすることが好ましい。
【符号の説明】
【００７０】
１：画像検査装置
２：検査対象物（筐体部品）
１０：装置本体、１１：画像センサ、１２：表示装置、１３：記憶装置、１４：入力装置、１０１：検査処理部、１０２：検査領域抽出部、１０３：設定ツール
２０：ヒンジ部分、２１：ボタン部分
３０：検査領域、３１：検査領域画像
５０：画像ウィンドウ、５１：画像取込ボタン、５２：前景指定ボタン、５３：背景指定
ボタン、５４：優先度調整スライダ、５５：確定ボタン
【図１】
0005929238.tif 000012
【図２】
0005929238.tif 000013
【図３】
0005929238.tif 000014
【図４】
0005929238.tif 000015
【図５】
0005929238.tif 000016
【図６】
0005929238.tif 000017