(57)【要約】【課題】抽出色の指定に関するユーザの負担を軽減することで、画像検査の結果のばらつきを小さくすること。【解決手段】画像検査装置は検査対象物のカラー画像を表示し、少なくとも前景領域の指定を受け付け、前景領域と背景領域とからそれぞれ色情報として前景色と背景色とを抽出する。画像検査装置は色空間におけるカラー画像の各画素の色と前景色との距離を算出し、前景距離画像を生成する。同様に画像検査装置は背景距離画像を形成する。画像検査装置は、前景距離画像と背景距離画像とを合成して作成される前景背景画像を用いて検査対象物を検査する。【選択図】  図９
2018189563.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む複数の前景領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記複数の前景領域それぞれについての前景色と前記背景領域についての背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする画像検査装置。
【請求項２】
前記前景画像生成部は、前記複数の前景色について生成された前記複数の距離画像を比較し、各画素において最小の画素値を、前記前景距離画像における各座標の画素値として選択する選択手段を有することを特徴とする請求項１に記載の画像検査装置。
【請求項３】
前記領域指定部は、前記カラー画像において前記背景領域の指定を受け付けることを特徴とする請求項１または２に記載の画像検査装置。
【請求項４】
前記領域指定部は、前記カラー画像において前記複数の前景色のいずれかに対して色空間上で遠い色を含む領域を前記背景領域として決定する決定部を有することを特徴とする請求項１または２に記載の画像検査装置。
【請求項５】
前記背景画像生成部は、複数の背景色について生成された複数の距離画像を比較し、各画素において最小の画素値を、前記背景距離画像における各画素の画素値として選択する選択手段を有することを特徴とする請求項１ないし４のいずれか一項に記載の画像検査装置。
【請求項６】
前記領域指定部は、前記複数の背景色が抽出される複数の背景領域の指定を受け付けるように構成されていることを特徴とする請求項５に記載の画像検査装置。
【請求項７】
検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む第一領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記第一領域における色の分布を含む色情報と、前記第一領域から区別される第二領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記第一領域についての登録色である第一登録色と前記第二領域についての登録色である第二登録色として登録する抽出部と、
前記複数の分光画像における各画素の色と前記第一登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて第一距離画像を生成し、前記複数の分光画像における各画素の色と前記第二登録色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて第二距離画像を生成する画像生成部と、
前記第一距離画像と前記第二距離画像との合成画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする画像検査装置。
【請求項８】
前記領域指定部は、前記表示部に表示されたカラー画像において複数の画素を含む複数の第三領域の指定を受け付け、
前記抽出部は、前記領域指定部により指定された前記第三領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記第三領域についての登録色である第三登録色として登録し、
前記画像生成部は、前記複数の分光画像における各画素の色と前記第三登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて第三距離画像を生成し、
前記検査部は、前記第一距離画像、前記第二距離画像および前記第三距離画像の合成画像を用いて前記検査対象物を検査することを特徴とする請求項７に記載の画像検査装置。
【請求項９】
検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記カラー画像において複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記複数の前景領域それぞれについての前景色と前記背景領域についての背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする画像検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像検査装置に関する。
【背景技術】
【０００２】
商品（ワーク）が設計通りに生産されたかどうかを判定するためにワークを撮像して得られた画像を検査する画像検査装置は非常に有用である。このような画像検査ではワークの形状や寸法、色などが検査される。特許文献１によれば印刷物などの検査対象物を撮像して色情報を取得し、高精度に色検査を実行する色検査装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−１２６８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
色検査装置などの画像検査装置で、ユーザは、表示装置に表示されたワークのカラー画像において抽出対象となる色をクリックするなどして選択する。たとえば、ワークの特定の部位の輪郭を抽出するために、特定の部位（前景）の色情報と、特定の部位の周囲（背景）の色情報とが選択される。画像検査装置は、前景の色情報と背景の色情報を基準としてカラー画像を濃淡画像（グレー画像）に変換する。この濃淡画像において前景の色情報に近い画素ほど淡い色となり、背景の色情報に近い画素ほど濃い色となり、ワークの特定部位のエッジを抽出しやすくなる。
【０００５】
ところで、ワークの特定色の部位の色が一様ではない場合に、ユーザは特定色の部位の色に近い複数の色を選択しなければない。これは背景に関しても同様である。ユーザにとって前景に近い色や背景に近い色を定義することは容易でなないため、画像検査で必要となるすべての色を精度よく抽出してカラー濃淡変換を実行することは困難であった。
【０００６】
そこで、本発明は、抽出色の指定に関するユーザの負担を軽減することで、画像検査の結果のばらつきを小さくすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像検査装置は、たとえば、
検査対象物について複数の分光画像からなるカラー画像を取得する取得部と、
前記取得部により取得されたカラー画像を表示する表示部と、
前記表示部に表示されたカラー画像において複数の画素を含む複数の前景領域の指定を受け付ける領域指定部と、
前記領域指定部により指定された前記複数の前景領域それぞれにおける色の分布を含む色情報と、前記複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出し、抽出された色情報を、前記複数の前景領域それぞれについての前景色と前記背景領域についての背景色として登録する抽出部と、
前記複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、前記生成された複数の距離画像に基づいて前景距離画像を生成する前景画像生成部と、
前記複数の分光画像における各画素の色と前記背景色との前記色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する背景画像生成部と、
前記前景距離画像と前記背景距離画像との差分画像である前景背景画像を用いて前記検査対象物を検査する検査部と
を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、抽出色の指定に関するユーザの負担が軽減され、画像検査の結果のばらつきも小さくなる。
【図面の簡単な説明】
【０００９】
【図１】画像検査装置を示す図
【図２】照明装置を示す図
【図３】照明装置を構成する部品を示す図
【図４】照明装置の電気的な構成を示す図
【図５】画像処理装システムを示す図
【図６】マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図
【図７】抽出色の指定を補助するＵＩを示す図
【図８】抽出色の指定を補助するＵＩを示す図
【図９】抽出色の指定を補助するＵＩを示す図
【図１０】色空間における抽出色の分布を示す図
【図１１】前景背景画像の生成工程の概念を説明する図
【図１２】画像検査を示すフローチャート
【図１３】前景背景画像の一例を示す図
【図１４】画像処理装システムを示す図
【図１５】画像処理装システムを示す図
【図１６】画像処理装システムを示す図
【図１７】抽出色の指定を補助するＵＩを示す図
【図１８】抽出色の指定を補助するＵＩを示す図
【図１９】抽出色の指定を補助するＵＩを示す図
【図２０】抽出色の指定を補助するＵＩを示す図
【図２１】抽出色の指定を補助するＵＩを示す図
【発明を実施するための形態】
【００１０】
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
【００１１】
図１は外観検査システム（画像検査装置８）の一例を示す図である。ライン１は検査対象物であるワーク２を搬送する搬送ベルトなどである。照明装置３は互いに異なる波長の検査光（照明光）を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部の一例である。なお、複数の方向から同時または順番に照明光をワーク２に対して照射するために、複数の同一波長の発光素子が設けられてもよい。カメラ４は照明光により照明された検査対象物からの反射光を受光して輝度画像（分光画像）を生成する撮像手段の一例である。画像処理装置５は、各波長について設定された照明強度で発光素子を順番に点灯させることで画像検査の対象となる検査対象物を照明し、撮像部により取得された複数の検査画像を用いて画像検査を実行する検査部を有する。表示部７は検査に関連する制御パラメータを設定するためのユーザインタフェースや検査画像などを表示する表示装置である。入力部６は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。
【００１２】
＜照明装置の構成＞
図２（Ａ）は照明装置３の斜視図である。図２（Ｂ）は照明装置３の上面図である。図２（Ｃ）は照明装置３の底面図である。図２（Ｄ）は照明装置３の側面図である。照明装置３の筐体は上ケース２１と下ケース２２を有している。下ケース２２の下部には複数の光源（ＬＥＤなどの発光素子）のそれぞれが出力する光を拡散させる光拡散部材２３が配置されている。図２（Ａ）や図２（Ｃ）が示すように上ケース２１や下ケース２２と同様に光拡散部材２３も円環状を成している。図２（Ｂ）や図２（Ｄ）が示すように上ケース２１の上面にはコネクタ２４が設けられている。コネクタ２４には照明装置３に格納されている照明制御基板と画像処理装置５とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置３の外部に照明コントローラとして設けられていてもよい。つまり、照明装置３と画像処理装置５との間には照明コントローラが介在してもよい。
【００１３】
図３（Ａ）は照明装置３に格納されている制御基板３１とＬＥＤ基板３２とを示す側面図である。制御基板３１は点灯制御部が実装された第二基板の一例である。ＬＥＤ基板３２は複数の光源が実装された第一基板の一例である。図３（Ｂ）はＬＥＤ基板３２の上面図である。図３（Ｃ）は照明装置３のうちＬＥＤ３３の付近を拡大した断面図である。図３（Ｄ）はＬＥＤ基板３２の底面図である。図３（Ｅ）はＬＥＤ基板３２のうちＬＥＤ３３の付近を拡大した側面図である。
【００１４】
制御基板３１には照明制御基板やコネクタ２４が配置されている。光源群を構成するＬＥＤなどの発光素子はＬＥＤ基板３２に搭載されている。図３（Ｂ）が示すように、本実施例では四方向から照明光を照射するために四つのＬＥＤ基板３２が設けられている。つまり、一つのＬＥＤ基板３２が一つの照明ブロックを形成している。四方向から照明光を照射可能とすることでフォトメトリックステレオ用の画像を取得できるようになる。つまり、照明装置３はマルチスペクトルイメージング（ＭＳＩ）だけでなく、フォトメトリックステレオのために利用されてもよい。一つのＬＥＤ基板３２には四つのＬＥＤ３３が配置されている場合、光源群は１６個の発光素子により構成される。ただし、より多数の発光素子が設けられてもよい。たとえば、一つのＬＥＤ基板３２には８つのＬＥＤ３３が配置されており、８つのＬＥＤ３３が発光する光の波長はいずれも異なっていてもよい。図３（Ｃ）、図３（Ｄ）および図３（Ｅ）が示すように、複数のＬＥＤ３３のうち隣り合った二つのＬＥＤ３３の間には遮光部材３５が配置されている。多数のＬＥＤ３３を密接に配置すると、隣り合った二つのＬＥＤ３３からそれぞれ照射される照明光が光拡散部材２３の同一の領域を通過することがある。この場合、点灯パターンに応じて一方のＬＥＤ３３を非点灯とし、かつ、他方のＬＥＤ３３を点灯した場合と、他方のＬＥＤ３３を非点灯とし、かつ、一方のＬＥＤ３３を点灯した場合とで、ワーク２の表面には同一の照明方向から同一の光量で照明光が照射されてしまう。これでは高い精度で検査画像を生成することが難しくなる。そこで、隣り合った二つのＬＥＤ３３の間に遮光部材３５を配置することで、隣り合った二つのＬＥＤ３３について光量の均一性と光源の独立性とのバランスを取っている。図３（Ｃ）が示すようにＬＥＤ３３の光の射出方向Ａ１と、主な照明方向Ａ２とは一致していない。そこで、反射鏡３４を配置することでＬＥＤ３３から射出される光を光拡散部材２３の方向へ偏向している。これによりＬＥＤ３３が発光した光を効率よくワーク２へ照射できるようになろう。この例では射出方向Ａ１と反射鏡３４の反射方向とが概ね直交しているが、これは光拡散部材２３の断面形状が円弧を成しており（図３（Ｃ））、円弧に関する角度（中心角）が約９０度になっているからである。このように中心角を大きくすることで、照明装置３をワーク２に対して遠ざけたり、近づけたりしてもワーク２の表面に対してほぼ均一な平行光を照射しやすくなる。以上の図面によれば、複数のＬＥＤ３３が、ある円周上に並べられているが、半径の異なる別の円周上にも複数のＬＥＤ３３が配置されていてもよい。これにより、波長ごとのＬＥＤ３３の数が増えるため、照明光量を増加させることが可能となる。また、第一の円周上にはマルチスペクトルイメージング用のＬＥＤ３３が配置され、第二の円周上には白色ＬＥＤが配置されていてもよい。第一の円周の半径と第二の円周の半径とは異なっている。
【００１５】
＜照明装置の回路構成＞
図４は照明装置３の回路構成の一例を示している。この例では光源群を構成する四つの照明ブロックのうち一つの照明ブロックを示している。四つのＬＥＤ３３ａ〜ＬＥＤ３３ｄは直列に接続されている。電圧が可変の可変電源４１は照明制御基板４０によって指定される電圧値（例：２Ｖ〜２０Ｖ）の電圧を生成して出力する。可変定電流源４２は、照明制御基板４０によって指定される電流値（例：０Ａ〜１Ａ）となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源４２は、可変定電流源４２に印加されている電圧の値を検出して照明制御基板４０にフィードバックし、過電圧から可変定電流源４２を保護している。ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれには並列にスイッチ４３ａ〜スイッチ４３ｄが接続されている。照明制御基板４０の点灯制御部４５はこれらのスイッチ４３ａ〜スイッチ４３ｄを個別に開閉させることで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれに並列にスイッチ４３ａ〜スイッチ４３ｄを接続することで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部４５は可変定電流源４２とグランドとの間に挿入されたメインスイッチ４３ｅのオン／オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部４４は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置５の照明制御部から受信し、点灯制御部４５に渡す。点灯制御部４５は、制御信号に対応する点灯パターンデータ４７を記憶部４６から読み出し、点灯パターンデータ４７に従ってスイッチ４３ａ〜スイッチ４３ｄを制御する。なお、一つの照明ブロックが８つのＬＥＤ３３により構成される場合、８個のスイッチ４３が設けられ、８個のスイッチ４３は点灯制御部４５によって制御される。８つのＬＥＤ３３は、たとえば、ＵＶからＩＲ２までの８つの波長に対応している。ＵＶは紫外線波長の照明光により取得された分光画像を示している。Ｂは青波長の照明光により取得された分光画像を示している。Ｇは緑波長の照明光により取得された分光画像を示している。ＡＭはアンバー波長の照明光により取得された分光画像を示している。ＯＲはオレンジ波長の照明光により取得された分光画像を示している。Ｒは赤波長の照明光により取得された分光画像を示している。ＩＲ１、ＩＲ２はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、ＩＲ１の波長はＩＲ２の波長よりも短い。
【００１６】
＜機能ブロック＞
図５は検査装置のブロック図である。この例では照明装置３、カメラ４および画像処理装置５がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置３は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置３は光源群５０１とこれを制御する照明制御基板４０を備えている。すでに図３に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群５０１が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは３方向以上の照明方向からワーク２に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ波長が異なる照明光を出力する複数の発光素子（ＬＥＤ３３）が設けられている。複数の発光素子には白色ＬＥＤが含まれていてもよい。白色ＬＥＤはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク２の移動補正用の画像を作成するために使用されたりする。図１や図３に示したように照明装置３の外形はリング状をしていてもよい。また、照明装置３は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板４０は、画像処理装置５から受信した制御コマンドに応じて光源群５０１の点灯タイミングや照明パターン（点灯パターン）を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク２に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の波長の照明光が同時に照射されてもよい。照明制御基板４０は照明装置３に内蔵されているものとして説明するが、カメラ４に内蔵されていてもよいし、画像処理装置５に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
【００１７】
照明装置３には記憶装置５０２が内蔵されており、ユーザにより設定された光源群５０１の点灯タイミングや照明パターンが記憶されている。照明制御基板４０は、画像処理装置５からトリガー信号を受け取り、記憶装置５０２に記憶されている内容に応じて、光源群５０１を制御することができる。このような構成により、画像処理装置５は、トリガー信号を送信するだけで照明装置３を制御することができるので、画像処理装置５と照明装置３を接続する信号線の数を少なくすることができ、ケーブルの取り回しがよくなる。
【００１８】
カメラ４は照明装置３により照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置５からの制御コマンドに応じて撮像処理を実行する。カメラ４はワーク２の輝度画像を作成して画像処理装置５に転送してもよいし、カメラ４の撮像素子から得られる輝度信号を画像処理装置５に転送し、画像処理装置５が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。また、カメラ４は、照明装置３が出力する各波長の照明光ごとに対象物からの反射光を受光して対象物の画像（分光画像）を生成する撮像部として機能する。
【００１９】
画像処理装置５は、コンピュータの一種であり、ＣＰＵやＡＳＩＣなどのプロセッサ５１０と、ＲＡＭ、ＲＯＭ、可搬記憶媒体などの記憶装置５２０と、ＡＳＩＣなどの画像処理部５３０と、ネットワークインタフェースなどの通信部５５０とを有している。プロセッサ５１０は検査ツールの設定や、制御パラメータの調整、検査画像の生成などを担当する。とりわけ、ＭＳＩ処理部５１１は、マルチスペクトルイメージング（ＭＳＩ）に従って、カメラ４により取得された複数の輝度画像（分光画像）からワーク２のグレー画像を作成したり、グレー画像から検査画像を作成したりする。グレー画像自体が検査画像であってもよい。ＭＳＩ処理部５１１は、複数の分光画像から一つのカラー画像を作成してもよい。照明制御部５１２は、照明制御基板４０に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミング、照明強度などを制御する。撮像制御部５１３は、撮影条件（露光時間、ゲインなど）に従ってカメラ４を制御する。
【００２０】
ＵＩ管理部５１４は、検査ツールを設定するためのユーザインタフェース（ＵＩ）や検査画像を生成するために必要となるパラメータを設定するためのＵＩなどを表示部７に表示し、入力部６から入力された情報に従って検査ツールやパラメータを設定する。検査ツールには、ワーク２が備える特定の特徴（例：ピン）の長さを計測するツールや特徴の面積を計測するツールや、ある特徴から別の特徴までの距離（例：ピン間隔）を計測するツールや、特定の特徴の数を計測するツールや、特定の特徴に傷が有るか無いかを検査するツールなどが含まれてもよい。とりわけ、ＵＩ管理部５１４は色抽出に関する制御パラメータを設定するためのＵＩを表示部７に表示する。
【００２１】
・画像選択部５１５はＵＩを通じてユーザにより選択された画像の画像データを記憶装置５２０から読み出してＵＩ内の画像表示領域に表示する。たとえば、画像選択部５１５はＵＩを通じて色抽出の対象となるワーク２のカラー画像データ５２１を記憶装置５２０から取得する。
【００２２】
・領域指定部５１６は表示された画像に対して検査ツールの検査領域などの指定をユーザから受け付ける。また、領域指定部５１６は表示されたカラー画像のうち登録色を抽出するための領域であって複数の画素を含む抽出領域の指定を受け付ける。領域指定部５１６は、抽出領域の形状（例：矩形、円、楕円、任意形状）の選択を受け付けて抽出領域を示す枠線の形状をＵＩに反映させてもよい。なお、前景色の抽出領域は前景領域と呼ばれてもよい。背景色の抽出領域は背景領域と呼ばれてもよい。前景色とは、画像検査の対象となる部位（特徴）の色情報である。画像検査の対象となる部位（特徴）は前景とよばれてもよい。背景とは、前景の周囲であって、画像検査の対象とはならない部位である。背景色とは、背景の色情報である。背景色の抽出領域の指定は自動化されてもよい。
【００２３】
・自動領域選択部５１７は色空間における前景色の位置に基づき背景色の抽出領域を選択する。たとえば、自動領域選択部５１７は複数の登録色のうちで前景色から遠い色を背景色として選択してもよい。あるいは、自動領域選択部５１７は一つ以上の前景色の選択が終了すると、選択されたすべての前景色から遠い色を自動的に背景色として選択してもよい。
【００２４】
・ゲイン調整部５１８は検査画像を生成する際に使用される係数であるゲインの調整を受け付ける。
【００２５】
検査画像生成部５６０は検査対象物（ライン１を搬送されるワーク２など）のカラー画像から画像検査用の検査画像を生成する。検査画像生成部５６０は様々な機能を備えている。カラー画像は複数の分光画像から構成されている、分光画像群（マルチチャネル画像）である。
【００２６】
・取得部５６１は、画像選択部５１５を通じてユーザにより指定された画像を記憶装置５２０やカメラ４から取得する。つまり、画像選択部５１５は取得部５６１を通じて画像データを取得する。
【００２７】
・抽出部５６２は前景色や背景色などの登録色を演算する。たとえば、抽出部５６２は領域指定部５１６または自動領域選択部５１７により指定された抽出領域の色情報を抽出する。色情報は、たとえば、平均画素、分散共分散行列、抽出領域に含まれる画素の数などから構成されてもよい。つまり、色情報は領域内の色の分布を示す情報を含んでいる。
【００２８】
・分類部５６３は、抽出部５６２により抽出された各領域の色情報を、ユーザの指示に従って前景グループと背景グループとのいずれかのグループに分類する。前景グループは前景の色情報（前景色）から形成されるグループである。背景グループは背景の色情報（背景色）から形成されるグループである。分類部５６３は、抽出部５６２により抽出された前景色の色情報を前景色データ５２２として記憶装置５２０に記憶させる。また、分類部５６３は、抽出部５６２により抽出された背景色の色情報を背景色データ５２４として記憶装置５２０に記憶させる。
【００２９】
・距離画像生成部５６４は、色空間座標上における登録色に対するカラー画像の各画素の色の距離を演算し、各画素の値を距離に置換することで距離画像を生成する。たとえば、距離画像生成部５６４は一つのカラー画像と九個の前景色とから九個の距離画像を生成する。このように距離画像生成部５６４は距離演算機能を有している。なお、一つのカラー画像は複数の分光画像から形成されている。
【００３０】
・前景画像生成部５６５は複数の前景色から得られた複数の距離画像に基づき一つの前景距離画像（前景画像）を生成する。たとえば、前景画像生成部５６５は、複数の距離画像について各画素の距離を比較し、最小の距離を前景距離画像におけるその画素の値に決定する。このように、前景画像生成部５６５は画像を構成するすべての画素について最小距離を探索することで前景距離画像を生成する。前景画像生成部５６５は前景距離画像を前景画像データ５２５として記憶装置５２０に格納する。
【００３１】
・背景画像生成部５６６は少なくとも一つの背景色から得られた距離画像に基づき一つの背景距離画像（背景画像）を生成する。たとえば、背景画像生成部５６６は、複数の距離画像について各画素の距離を比較し、最小の距離を背景距離画像におけるその画素の値に決定する。このように、背景画像生成部５６６は画像を構成するすべての画素について最小距離を探索することで背景距離画像を生成する。なお、背景色が一つの場合、距離画像も一つであるため、この距離画像はそのまま背景距離画像となる。背景画像生成部５６６は背景距離画像を背景画像データ５２６として記憶装置５２０に格納する。前景画像生成部５６５や背景画像生成部５６６は最小距離探索部として機能する。
・前景背景画像生成部５６７は、前景距離画像と背景距離画像とに基づき検査画像の一種である前景背景画像を生成する。前景背景画像生成部５６７は、前景距離画像と背景距離画像との差分画像を前景背景画像として生成してもよい。つまり、前景背景画像生成部５６７は差分演算機能を有している。前景背景画像生成部５６７は前景背景画像を検査画像データ５２７として記憶装置５２０に格納する。
【００３２】
なお、検査画像生成部５６０は登録色に基づきカラー画像をカラーグレー変換（カラー濃淡変換）することで、検査画像を生成している。つまり、検査画像生成部５６０は検査対象物のカラー画像の各画素の色と抽出色との色空間内での距離に基づいて、検査対象物のカラー画像の各画素の多次元の色情報を、一次元の色情報に変換する変換部として機能する。なお、検査画像生成部５６０のすべてまたは一部はＭＳＩ処理部５１１に含まれていてもよい。
【００３３】
ＵＩ管理部５１４はユーザにより設定されたこれらの制御パラメータを設定情報５２３に保存する。ＵＩ管理部５１４は照明条件や撮像条件を設定する設定部として機能したり、検査ツールを設定する設定部として機能したりしてもよい。
【００３４】
画像処理部５３０は検査画像に対して検査ツールを適用して各種の計測を実行する検査部５３１などを有している。サーチ部５３２は画像検査の前に設定された特徴または画像検査中に動的に設定された特徴を、検査画像に配置されたサーチ領域ＳＷ内でサーチし、見つかった特徴の位置を求める。検査部５３１は、見つかった特徴の位置に応じて検査領域（計測領域）の位置を補正する。画像処理部５３０の機能はプロセッサ５１０に実装されてもよい。あるいは、プロセッサ５１０の機能が画像処理部５３０に実装されてもよい。また、プロセッサ５１０とプロセッサ５１０とが協働して単一または複数の機能を実現してもよい。
【００３５】
判定部５４０は検査画像を用いてワーク２の良否を判定する判定手段として機能する。たとえば、判定部５４０は画像処理部５３０において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件（公差など）を満たしているかどうかを判定する。
【００３６】
記憶装置５２０は、カメラ４によって取得されたカラー画像のデータであるカラー画像データ５２１、検査画像の画像データである検査画像データ５２７や各種の制御パラメータを保持する設定情報５２３を記憶する。また、記憶装置５２０は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置５２０はグレー画像から生成された検査画像なども記憶して保持していてもよい。
【００３７】
図１４ないし図１６は、本発明の画像処理装置に係る他の構成例を示す図である。図１４は照明装置３とカメラ４が一体化され、カメラ４に照明装置３を制御するための照明制御基板４０が設けられている例を示す図である。この構成では照明装置３とカメラ４が一体に設けられているため、照明装置３とカメラ４を設置する際に、位置合わせをする必要がない。また、照明装置３側には光源群５０１を制御するための照明制御基板４０や記憶装置５０２は不要となり、これらを有さない汎用的な照明装置３も利用することができる。ユーザはカメラ４に接続されている照明装置３を取り外し、別の種類の照明装置に交換することができる。例えば、本発明におけるマルチスペクトルイメージングに用いる照明装置３に変えて、白色光のみを照射するリング照明など他の種類の照明装置を適宜に選択できる。カメラ４は接続された照明装置３の種類を認識し、設定ユーザインタフェースに反映することが好ましい。これにより、ユーザは接続されている照明装置３に設定が可能な項目に対応したユーザインタフェース上で、照明の設定を行うことができる。認識の方法としては、照明装置３が照明種別情報を記憶しており、カメラ４がその情報を参照する方法などが考えられる。また、画像処理装置５が有する照明制御部５１２と撮像制御部５１３を、カメラ４の内部に設ける構成とし、撮像・照明系の制御を画像処理装置５とは独立して実行させる構成としてもよい。
【００３８】
図１５は画像処理装置５の一部の機能を、カメラ４側に設けた構成例を示している。カメラ４は分光画像データ５２１、前景色データ５２２、背景色データ５２４、前景画像データ５２５、背景画像データ５２６、検査画像データ５２７、設定情報５２３を記憶する記憶装置５２０を備える。カメラ４の内部でＭＳＩ処理部５１１または検査画像生成部５６０は、分光画像データ５２１や前景色データ５２２から前景画像データ５２２を作成する。カメラ４の内部でＭＳＩ処理部５１１または検査画像生成部５６０は、分光画像データ５２１や背景色データ５２４から背景画像データ５２６を作成する。さらに、検査画像生成部５６０は前景画像データ５２２や背景画像データ５２６から検査画像データ５２７を作成する。照明装置３はカメラ４の照明制御部５１２が制御する。検査設定時に、カメラ４は画像処理装置４に各波長で撮像された分光画像データ５２１、前景色データ５２２、背景色データ５２４、前景画像データ５２５、背景画像データ５２６などを画像処理装置５に送信する。設定時には、各波長の照明強度や、各波長の分光画像データ５２１が検査に必要か否かをユーザが確認するために、画像処理装置５はカメラ４から分光画像データ５２１を取得し、表示部７に表示する。一方、検査運用時には、カメラ４から画像処理装置５への分光画像データ５２１の送信を行わず、検査対象である検査画像データ５２７を画像処理装置５に送信するようにしてもよい。このように、カメラ４に画像処理装置５の一部の機能を負担させることにより、カメラ４と画像処理装置５間の通信負荷が低減され、分散処理により処理が高速化する。
【００３９】
図１６は画像処理装置５の全ての機能をカメラ４に内蔵した構成例である。ユーザはカメラ４と照明装置３のみを設置するだけで良いため、設置時の手間がかからない。たとえば、カメラ４の大型化が許容され、高度な画像演算処理が不要な場合に、この構成は有利であろう。
【００４０】
＜マルチスペクトルイメージング＞
マルチスペクトルイメージングでは点灯色（波長）の異なる照明光が一つずつ順番にワーク２に照射され、各波長ごとの画像が取得される。厳密には波長が異なっている必要はなく、スペクトルが異なっていれば十分である。たとえば、８種類の波長の照明光が照射される場合、８個の画像（分光画像）が取得される。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の波長の四つのＬＥＤ３３が同時に点灯するため、四つの方向から同一波長の照明光がワーク２に照射される。８種類の波長は、たとえば、紫外波長から近赤外波長までの８種類の狭帯域波長である。狭帯域波長とは、白色ＬＥＤが発光する光の波長（広帯域波長）の幅と比較して狭い波長をいう。たとえば、青色ＬＥＤが発光する光の波長の幅は、白色ＬＥＤが発光する光の波長幅よりもずっと狭いため、青色ＬＥＤが発光する光の波長は狭帯域波長である。なお、画像検査の中には８個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な波長の照明光だけがワーク２に照射される。一般に、８個の画像がそのまま画像検査に利用されることは少なく、８個の画像から一個のグレー画像が作成され（カラー濃淡変換）、このグレー画像（カラー濃淡画像）が画像検査に利用される。カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク２における特徴（例：ピン）の位置や寸法（長さや面積）、色がそれぞれ公差の範囲内に収まっているかが検査される。
【００４１】
なお、白色ＬＥＤが発光する白色光により分光画像が生成されてもよい。
【００４２】
図６を用いてカラー濃淡変換の一例を説明する。検査対象物であるワーク２のグレー画像を作成するには、良品（モデル）の登録色が必要となる。グレー画像は、登録色の色情報を基準に８個の分光画像を変換することで作成されるからである。
【００４３】
まず、設定モードにおいて、良品から取得された８個の分光画像においてユーザが指定した画像領域（指定領域）から登録色の色情報が抽出される。たとえば、良品がインスタント食品（例：ラーメン）であり、ある具材（例：海老）の数を画像検査により計数する場合、ユーザは、良品の画像を表示し、良品の画像おいて当該具材が含まれる矩形の指定領域を指定し、指定領域に含まれる画素から登録色の色情報が抽出される。登録色の色情報は、平均画素行列、分散共分散行列および指定領域に含まれる画素の数を含む。なお、色情報は、いわゆるスポイトツールにより抽出されてもよい。スポイトツールのＵＩは領域指定部５１６に実装されてもよい。
【００４４】
次に、検査モードにおいて、検査対象物であるワーク２について８個の分光画像が取得される。各分光画像に含まれるすべての画素について登録色に対する距離ｄ（ｘ）が求められる（ｘは８枚の分光画像の各画素値を要素とした８次元ベクトルである）。さらに、距離ｄ（ｘ）に予め定められたゲインｇを乗算して積を求め、必要に応じてオフセットaを加え、各画素がとりうる最大階調Ｇｍａｘから積を減算することで得られる差Ｇが注目画素ｘのグレー階調となる。これは、Ｇ  ＝  Ｇｍａｘ  −  （ｇ・ｄ（ｘ）  ＋  ａ）と表記される。
【００４５】
なお、複数の登録色が存在する場合は、各登録色を基準として複数のグレー画像が作成されてもよいし、単一のグレー画像が作成されてもよい。
【００４６】
また、ＲＧＢ画像などのカラー画像をグレー画像に変換する際にも上述したカラーグレー変換は採用可能である。この場合にもある登録色（ユーザにより指定された色）を基準として各画素の色情報が濃淡情報に変換されてグレー画像が生成される。また、分散共分散行列は明度を示す行列と色度を示す行列とに分解されてもよい。また、明度行列を調整するための明度スケール（係数Ｓｙ）が明度行列に乗算されてもよい。同様に色度行列を調整するための色度スケール（係数Ｓｚ）が色度行列に乗算されてもよい。これらのスケールは抽出色の分布を調整することで変更されてもよい。
【００４７】
＜色抽出（登録色の指定）＞
ＭＳＩにより生成される画像はマルチチャネル画像である。つまり、各画素がＲＧＢなどの三次元の要素で表現されたり、ＵＶからＩＲ２までの８次元の要素で表現されたりする。一般に、画像検査装置８が備える画像検査ツールが取り扱える画像は一次元の濃淡画像（グレー画像）である。これはカラー濃淡変換が必要であることを意味する。カラー濃淡変換ではユーザにより指定された登録色に対するマハラノビス距離が求められる。したがって、ユーザがどの色を登録色として選択するかに応じて濃淡画像が異なってしまい、画像検査のばらつきが発生する。特にワーク２の表面のうち測定対象となる部位の色が一様ではなく、多数の色で構成されている場合に、この問題が顕在化する。部位を構成するすべての画素の色情報を保持すればこの問題は解決される。しかし、すべての色情報を保持して演算するには大量のメモリが必要となるだけでなく、多大な演算能力も必要となってしまう。したがって、登録色としては数色が選択されるべきであろう。
【００４８】
ところで、部位が複数の色を有している場合であっても各色は似ていることが多い。これは複数の色の発生原因が塗装ムラや色素のムラなどにあるからである。また、人間の目には一色に見えても実際には複数の色であることがある。よって、特定部位の一画素を指定することで登録色を抽出しただけでは、ユーザごとに、画像検査のばらつきが発生してしまう。したがって、本実施例では、測定対象となる部位を構成する複数の色情報を指定領域から抽出することで画像検査のばらつきを削減する。また、必要に応じて色情報を前景グループと背景グループとにグルーピングすることで、前景を背景から精度よく分離することが可能となる。
【００４９】
●ユーザインタフェース
図７、図８、図９は登録色の抽出を行うためのＵＩ７００を示している。ＵＩ７００は、画像表示領域７０１と各種の設定を行うための設定タブを有している。画像表示領域７０１には、画像選択部５１５によって選択され取得部５６１により取得されたカラー画像がＵＩ管理部５１４によって表示される。図示は省略されているが、ＵＩ７００には画像表示領域７０１に表示される画像を選択するためのプルダウンメニューなどが設けられてもよい。このようなプルダウンメニューは、記憶装置５２０に記憶されているカラー画像やカメラ４により取得されたカラー画像などを指定するためのＵＩである。プルダウンメニューに登録されていない画像はプルダウンメニュー内の"参照"を選択することにより、指定可能とされてもよい。画像選択部５１５はプルダウンメニューにより選択された画像を画像表示領域７０１に表示する。図７において画像表示領域７０１にはそれぞれ色の異なる３本のケーブルｆ１、ｆ２、ｆ３を含むワーク２の画像が表示されている。たとえば、ケーブルｆ１の色は人間の目に赤色と認識される色である。ケーブルｆ２の色は人間の目に緑色と認識される色である。ケーブルｆ３の色は人間の目に青色と認識される色である。また、各ケーブルの色には色むらが存在しており、厳密には同一色ではない。
【００５０】
抽出タブ７１０は登録色を抽出するためのＵＩである。ユーザはポインタ７０６により、プルダウンメニュー７１１を操作し、色抽出手法として「前景背景抽出」を選択している。前景背景抽出とは、ワーク２のカラー画像から、測定対象となる特徴（前景）についての複数の色（前景色）と、測定対象の周囲（背景）についての複数の色（背景色）とをそれぞれ登録色として抽出することをいう。複数の前景色の色情報は前景グループを形成する。複数の背景色の色情報は背景グループを形成する。前景グループ表示領域７１４は前景グループに属する登録色を表示する領域である。背景グループ表示領域７１５は背景グループに属する登録色（前景色）を表示する領域である。前景グループ表示領域７１４と背景グループ表示領域７１５はそれぞれ複数のラジオボタン７１２と複数の登録色表示領域７１３とを有している。ラジオボタン７１２は複数の前景色や複数の背景色のうちどの色を登録するかを指定するためのボタンである。この例では、前景グループ表示領域７１４に九個のラジオボタン７１２が存在するため、最大で九個の前景色が登録可能となっている。また、背景グループ表示領域７１５に三個のラジオボタン７１２が存在するため、最大で三個の背景色が登録可能となっている。ラジオボタン７１２の数は一例に過ぎない。極端な例をあげれば、背景グループのためのラジオボタン７１２の数は一個であってもよい。ユーザは登録したい色に対応するラジオボタン７１２をポインタ７０６により選択し、次に、ポインタ７０６をワーク２の画像のうち登録したい色の位置まで移動させる。ユーザはポインタ７０６をドラッグすることで抽出領域７０２を指定してもよい。より詳しく説明すると、領域指定部５１６はポインタ７０６のドラッグ開始位置と終了位置を検知し、開始位置と終了位置とを結ぶ線を対角線とする矩形の抽出領域７０２を描画する。このようにして領域指定部５１６は抽出領域７０２の指定を受け付ける。抽出部５６２は、抽出領域７０２内に存在する複数の画素の色情報を演算し、抽出領域７０２内の色分布における代表色（平均色）を登録色表示領域７１３に表示する。ＭＳＩに関して説明したように、抽出領域７０２内の複数の画素の色はある分布を有している。よって、代表色は、抽出領域７０２内の色の分布の中心座標（平均色）であってもよい。これにより登録色のばらつきが減少する。
【００５１】
図８が示すように、ユーザは前景グループに属する二つ目の登録色を指定するために二つ目のラジオボタン７１２をクリックする。さらに、ユーザは、ワーク２の画像のうち登録したい色の位置までポインタ７０６を移動し、さらにポインタ７０６をドラッグすることで二つ目の抽出領域７０２を指定する。抽出部５６２は、二つ目の抽出領域７０２の代表色を演算し、二つ目の登録色表示領域７１３に二つ目の代表色を表示する。ユーザはこの作業を前景グループと背景グループについてそれぞれユーザが希望する回数だけ繰り返す。
【００５２】
図９はＵＩ７００において九個の前景色と三個の背景色とが登録色として抽出されたことを示している。上述したように登録色の色情報は抽出領域７０２における平均画素、分散共分散行列、画素数により構成されており、記憶装置５２０に記憶される。なお、分類部５６３は、領域指定部５１６により抽出領域７０２が受け付けられたときにオンにされているラジオボタン７１２の位置に応じて抽出領域７０２から抽出された登録色を前景グループと背景グループとに分類する。たとえば、分類部５６３は、領域指定部５１６により抽出領域７０２が受け付けられたときにオンにされているラジオボタン７１２が前景グループのためのラジオボタン７１２であれば、その抽出領域７０２から抽出された登録色を前景グループに分類する。同様に、分類部５６３は、領域指定部５１６により抽出領域７０２が受け付けられたときにオンにされているラジオボタン７１２が背景グループのためのラジオボタン７１２であれば、その抽出領域７０２から抽出された登録色を背景グループに分類する。チェックボックス７１６は背景色として前景色の近傍色を自動的に選択することを有効にするためのチェックボックスである。
【００５３】
自動領域選択部５１７は、チェックボックス７１６にチェックが付与されると、前景色の周囲に存在する色を背景色として抽出する。たとえば、自動領域選択部５１７は、ワーク２の画像内を、予め指定された数の色にクラスタリングする。領域指定部５１６は、生成した複数のクラスタのうちいくつかのクラスタの代表色を、ユーザにより指定された前景色として受け付ける。この場合に、自動領域選択部５１７は、前景色として指定されてない残りのクラスタの代表色のうち、色空間において、前景色に対して遠い代表色を有するクラスタ複数を背景色として決定し、選択（登録）する。確定ボタン７１７は、色抽出結果の確定を指示するボタンである。キャンセルボタン７１８は、色抽出結果を破棄するボタンである。
【００５４】
図７などにおいて調整タブ７２０は前景背景画像を求めるために利用される係数（例：ゲイン）などを指定するためのタブである。検査タブ７３０は画像検査結果を表示するタブである。
【００５５】
●前景色と背景色の分布
図１０は前景グループＦＧに属する前景色ＦＣ１〜ＦＣ９の各分布と背景グループＢＧに属する背景色ＢＣ１〜ＢＣ３の各分布を示している。ここでは説明を簡明化するために、多次元の色空間が二次元の色空間に投影されている。各色の分布は正規分布などに近似されてもよい。各色の分布の中心に位置する色が代表色（その位置が代表座標）となる。よって、登録色に対するカラー画像の各画素の距離は、登録色の分布に対するカラー画像の各画素のマハラノビス距離を求めることになる。
【００５６】
図１０（Ａ）が示すように、前景グループＦＧの分布と背景グループＢＧの分布だけであるとその境界部分が大きく重なってしまう。
【００５７】
しかし、ユーザが前景色ＦＣ１〜ＦＣ９の色情報と、背景色ＢＣ１〜ＢＣ３の色情報とをそれぞれ登録することで、図１０（Ｂ）が示すように、前景グループＦＧの分布と背景グループＢＧの分布をよりフレキシブルに表現することができる。このように前景グループを形成する複数の前景色と背景グループを形成する複数の背景色とを登録する作業は、分類処理やグループ化処理と呼ばれてもよい。
【００５８】
●前景背景画像の作成工程
図１１は検査画像の一種である前景背景画像ＦＢｉｍｇの作成工程を示している。検査画像生成部５６０は前景グループＦＧに属する前景色ＦＣ１〜ＦＣ９それぞれとワーク２のカラー画像の各画素の色との距離（マハラノビス距離）を演算し、前景色ＦＣ１〜ＦＣ９に対応する九個の距離画像を作成する。なお、カラー画像はマルチチャネル画像であり、つまり、複数の分光画像から構成されているものとする。
【００５９】
まず、検査画像生成部５６０の距離画像生成部５６４は前景色ＦＣ１とワーク２について取得された複数の分光画像の各画素の色との距離を演算し、前景色ＦＣ１に対応する１個の距離画像を作成する。同様に、距離画像生成部５６４は前景色ＦＣ２とワーク２について取得された複数の分光画像の各画素の色との距離を演算し、前景色ＦＣ２に対応する１個の距離画像を作成する。距離画像生成部５６４は残りの前景色ＦＣ３〜ＦＣ９についてもそれぞれ距離画像を作成する。さらに、距離画像生成部５６４は、背景グループＢＧに属する背景色ＢＣ１〜ＢＣ３それぞれとワーク２について取得された複数の分光画像の各画素の色との距離（マハラノビス距離）を演算し、背景色ＢＣ１〜ＢＣ３に対応する三個の距離画像を作成する。上述したように距離画像を構成する各画素の値は距離である。また、前景色や背景色などの登録色に対する距離は、登録色の分布における代表色（分布の中心座標）を基準とした距離である。
【００６０】
検査画像生成部５６０の前景画像生成部５６５は、前景色ＦＣ１〜ＦＣ９に対応する九個の距離画像を比較し、各座標についての九個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる前景距離画像Ｆｉｍｇを作成する。たとえば、九個の距離画像から注目座標（ｘｉ，ｙｉ）の距離を読み出し、読み出された九個の距離のうちで最小の距離が、前景距離画像Ｆｉｍｇにおける注目座標（ｘｉ，ｙｉ）の画素の値に採用される。同様に、背景画像生成部５６６は、背景色ＢＣ１〜ＢＣ３に対応する三個の距離画像を比較し、各座標についての三個の距離のうちで最小距離を求め、各座標の代表距離として最小距離を採用し、最小距離からなる背景距離画像Ｂｉｍｇを作成する。
【００６１】
検査画像生成部５６０の前景背景画像生成部５６７は、前景距離画像Ｆｉｍｇと背景距離画像Ｂｉｍｇとの差分演算を実行して前景背景画像ＦＢｉｍｇを作成する。たとえば、前景背景画像ＦＢｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値をＧ（ｘｉ，ｙｉ）は次式から演算される。
Ｇ（ｘｉ，ｙｉ）＝ｇ（ｄｂ（ｘｉ，ｙｉ）−ｄｆ（ｘｉ，ｙｉ））＋Ｇｍｉｄ    ・・・（１）
ここでｇは調整タブ７２０においてユーザにより調整されるゲインである。ｄｂ（ｘｉ，ｙｉ）は背景距離画像Ｂｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値である。ｄｆ（ｘｉ，ｙｉ）は前景距離画像Ｆｉｍｇにおける注目座標（ｘｉ，ｙｉ）における画素の値である。Ｇｍｉｄは中間階調である。たとえば、最大階調が２５５であれば、Ｇｍｉｄは１２８である。ただし、（１）式は例示にすぎず、Ｇｍｉｄの値は０であってもよい。
【００６２】
●フローチャート
図１２は登録色の抽出処理と検査画像の作成処理とを含む画像検査方法を示すフローチャートである。なお、Ｓ１２０２からＳ１２０９までの各工程の順番は、技術的に矛盾が生じない限りにおいて、変更可能である。
【００６３】
Ｓ１２０１でプロセッサ５１０（取得部５６１）はワーク２のカラー画像を記憶装置５２０などから取得する。
【００６４】
Ｓ１２０２でプロセッサ５１０（領域指定部５１６）は前景グループに所属することになる前景色が抽出される抽出領域７０２の指定を受け付ける。カラー画像における抽出領域７０２の位置と、その抽出領域７０２が属するグループの識別情報は設定情報５２３に格納される。
【００６５】
Ｓ１２０３でプロセッサ５１０（抽出部５６２）は前景グループについてユーザにより指定された抽出領域７０２のそれぞれの前景色の色情報を決定する。抽出部５６２は、前景グループに属する一つ一つの抽出領域７０２について前景色の色情報を演算する。色情報には抽出領域７０２における平均画素、分散共分散行列、画素数などが含まれる。前景グループについて九個の抽出領域７０２が設定された場合、抽出部５６２は、九個の前景色ＦＣ１〜ＦＣ９を決定する。前景色ＦＣ１〜ＦＣ９の色情報は前景色データ５２２として記憶装置５２０に格納される。
【００６６】
Ｓ１２０４でプロセッサ５１０（領域指定部５１６）は背景グループに所属することになる背景色が抽出される抽出領域７０２の指定を受け付ける。カラー画像における抽出領域７０２の位置と、その抽出領域７０２が属するグループの識別情報は設定情報５２３に格納される。
【００６７】
Ｓ１２０５でプロセッサ５１０（抽出部５６２）は背景グループについてユーザにより指定された抽出領域７０２のそれぞれの背景色の色情報を決定する。抽出部５６２は、背景グループに属する一つ一つの抽出領域７０２について背景色の色情報を演算する。色情報には抽出領域７０２における平均画素、分散共分散行列、画素数などが含まれる。背景グループについて３個の抽出領域７０２が設定された場合、抽出部５６２は、３個の背景色ＢＣ１〜ＢＣ３を決定する。背景色ＢＣ１〜ＢＣ９の色情報は背景色データ５２４として記憶装置５２０に格納される。
【００６８】
Ｓ１２０６でプロセッサ５１０（距離画像生成部５６４）は前景グループに属する各前景色について距離画像を作成する。距離画像生成部５６４は、色空間座標上におけるカラー画像の各画素の座標と、前景色の代表座標とのマハラノビス距離を算出し、当該距離を画素値とする距離画像を作成する。たとえば、距離画像生成部５６４は、カラー画像の各画素と前景色ＦＣ１とのマハラノビス距離を算出することで、カラー画像における各画素の値をマハラノビス距離に置換する。これにより前景色ＦＣ１についての距離画像が作成される。距離画像は前景グループに属するすべて前景色について生成される。
【００６９】
Ｓ１２０７でプロセッサ５１０（前景画像生成部５６５）は前景グループについての距離画像を合成して前景距離画像（前景画像）Ｆｉｍｇを作成する。たとえば、前景画像生成部５６５は、前景グループに属する複数の距離画像を比較し、各座標において最小の画素値を、前景距離画像Ｆｉｍｇにおける各座標の画素値として選択する。たとえば、座標（x，y）の画素について、前景色ＦＣ１の画素値（距離）が他の前景色ＦＣ２〜ＦＣ９の画素値よりも小さければ、前景距離画像Ｆｉｍｇにおける座標（x，y）の画素の画素値として、前景色ＦＣ１の画素値が選択される。この選択処理をすべての座標（画素）について実行することで、前景距離画像Ｆｉｍｇが完成する。前景距離画像Ｆｉｍｇは前景画像データ５２５として記憶装置５２０に格納される。
【００７０】
Ｓ１２０８でプロセッサ５１０（距離画像生成部５６４）は背景グループに属する各背景色について距離画像を作成する。距離画像生成部５６４は、色空間座標上におけるカラー画像の各画素の座標と、背景色の代表座標とのマハラノビス距離を算出し、当該距離を画素値とする距離画像を作成する。たとえば、距離画像生成部５６４は、カラー画像の各画素と背景色ＢＣ１とのマハラノビス距離を算出することで、カラー画像における各画素の値をマハラノビス距離に置換する。これにより背景色ＢＣ１についての距離画像が作成される。距離画像は背景グループに属するすべて背景色について生成される。
【００７１】
Ｓ１２０９でプロセッサ５１０（背景画像生成部５６６）は背景グループについての距離画像を合成して背景距離画像（背景画像）Ｂｉｍｇを作成する。たとえば、背景画像生成部５６６は、背景グループに属する複数の距離画像を比較し、各座標において最小の画素値を、背景距離画像Ｂｉｍｇにおける各座標の画素値として選択する。たとえば、座標（１，１）の画素について、背景色ＢＣ１の画素値（距離）が他の背景色ＢＣ２、ＢＣ３の画素値よりも小さければ、背景距離画像Ｂｉｍｇにおける座標（x，y）の画素の画素値として、背景色ＢＣ１の画素値が選択される。この選択処理をすべての座標（画素）について実行することで、背景距離画像Ｂｉｍｇが完成する。背景距離画像Ｂｉｍｇは背景画像データ５２６として記憶装置５２０に格納される。なお、背景色が一つしか存在しない場合、距離画像はそのまま背景距離画像Ｂｉｍｇとして採用される。
【００７２】
Ｓ１２１０でプロセッサ５１０（前景背景画像生成部５６７）は前景距離画像Ｆｉｍｇと背景距離画像Ｂｉｍｇの差分画像を求めることで、前景背景画像を作成する。前景背景画像は、たとえば、（１）式を用いて作成される。前景背景画像は検査画像データ５２７として記憶装置５２０に保持される。
【００７３】
Ｓ１２１１でプロセッサ５１０は前景背景画像を用いて画像検査を実行する。プロセッサ５１０は検査部５３１に対して前景背景画像について所定の画像検査を実行するよう指示する。検査部５３１は、前景背景画像の検査画像データ５２７を記憶装置５２０から読み出し、ユーザにより指定された検査ツールを用いて画像検査を実行する。たとえば、検査部５３１は、前景背景画像から検査対象部位のエッジを抽出し検査対象部位の寸法を計測したり、二値化処理し面積（エリア）を算出したりする。判定部５４０は、検査部５３１により取得された検査結果と閾値（公差など）を比較し、ワーク２が合格品かどうかを判定する。
【００７４】
図１３は前景背景画像ＦＢｉｍｇの一例を示している。ケーブルｆ１、ｆ２、ｆ３はそれぞれ異なる色をしているが、それぞれ前景として背景から区別して抽出されている。これにより、ケーブルｆ１、ｆ２、ｆ３の寸法を正確に計測することが可能となる。
【００７５】
＜まとめ＞
取得部５６１やカメラ４などは、検査対象物を前景とし、当該検査対象物の周囲を背景としたカラー画像であって、各画素が多次元の色情報を有するカラー画像を取得する取得部の一例である。とりわけ、取得部５６１やカメラ４などは検査対象物について複数の分光画像からなるカラー画像を取得する取得部の一例である。表示部７は、取得部５６１により取得されたカラー画像を表示する表示部の一例である。領域指定部５１６は表示部７に表示されたカラー画像において複数の画素を含む領域の指定を受け付ける領域指定部の一例である。とりわけ、領域指定部５１６は表示部７に表示されたカラー画像において一つまたは複数の画素を含む複数の前景領域の指定を受け付ける。色情報がスポイトにより抽出される場合、領域は一つの画素により構成されることになろう。背景領域の指定はオプションである。抽出部５６２は領域指定部５１６により指定された各領域の色情報を抽出する抽出部の一例である。とりわけ、抽出部５６２は領域指定部５１６により指定された複数の前景領域それぞれにおける色の分布を含む色情報と、複数の前景領域から区別される背景領域における色の分布を含む色情報を抽出する。さらに、抽出部５６２は、複数の前景領域からそれぞれ抽出された色情報を前景色として登録するとともに、背景領域から抽出された色情報を背景色として登録する。なお、複数の前景色は前景グループを形成し、一つまたは複数の背景色は背景グループを形成する。前景画像生成部５６５は複数の分光画像における各画素の色と複数の前景色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、生成された複数の距離画像に基づいて前景距離画像を生成する。なお、距離画像の生成は距離画像生成部５６４が担当してもよい。背景画像生成部５６６は複数の分光画像における各画素の色と背景色との色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景距離画像を生成する。距離画像の生成は距離画像生成部５６４が担当してもよい。検査部５３１は前景距離画像と背景距離画像との差分画像を用いて検査対象物を検査する検査部の一例である。このように、本実施例によれば、ユーザが少なくとも前景領域を指定することで、抽出色である前景色や背景色を容易に抽出できるようになる。よって、抽出色の指定に関するユーザの負担が軽減され、画像検査の結果のばらつきも小さくなろう。また、前景グループを形成する複数の前景色と、背景グループを形成する少なくとも一つの背景色についても、検査対象物のカラー画像を見ながら各グループを形成する領域を設定することで容易に定義可能となる。そのため、複数の前景領域が存在するケースにおいても安定的に各前景領域の色を抽出可能となる。
【００７６】
図１１に関して説明したように、前景画像生成部５６５は、複数の前景色について生成された複数の距離画像を比較し、各画素において最小の画素値を、前景距離画像における各座標の画素値として選択する選択手段を有しているか、選択手段として機能してもよい。なお、選択手段は上述した最小距離探索機能として実装されうる。複数の前景が存在する場合に、いずれかの前景の色に近い色の画素は前景として抽出されることになる。図９に示したように、赤、緑、青といった三本のケーブルｆ１、ｆ２、ｆ３が存在するケースでは、カラー画像において、九個ある前景色のうちいずれかの前景色に近い色は、前景距離画像において前景として分離されやすくなる。たとえば、海老などの海産物は一見すると同じ色に見えるが、実際には個体ごとに色が異なっている。しかし、画像検査においては、微妙に色の異なる複数の海老を同様の海老として背景から分離しなければならない。したがって、様々な色の海老に抽出領域７０２を設定して複数の前景色を抽出し、前景グループを形成することで、前景背景画像において前景である複数の海老を背景から分離することが可能となる。
【００７７】
図７ないし図９に示したように、領域指定部５１６は、カラー画像において背景領域の指定を受け付けてもよい。領域指定部５１６は、それぞれ背景色が抽出される複数の背景領域の指定を受け付けてもよい。同様に、領域指定部５１６は、それぞれ前景色が抽出される複数の前景領域の指定を受け付けてもよい。
【００７８】
領域指定部５１６は、カラー画像において複数の前景色のいずれかに対して色空間上で近い色を含む領域を背景領域として決定する決定部を有していてもよい。上述した自動領域選択部５１７は決定部の一例である。自動領域選択部５１７は領域指定部５１６の一機能として実装されてもよい。つまり、チェックボックス７１６にチェックが付与されると、領域指定部５１６は、自動領域選択部５１７に背景色を抽出するための抽出領域７０２を決定させ、決定された抽出領域７０２を示す枠線を画像表示領域７０１に表示してもよい。これによりユーザが背景色を抽出するための抽出領域７０２を指定する負担が軽減される。
【００７９】
背景画像生成部５６６は、色空間座標上における画像の各画素の座標と、背景グループに属する複数の色情報それぞれの代表座標との距離を算出し、複数の色情報それぞれについて当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて背景画像を生成する。このように、背景グループに複数の背景色が属してもよい。ワーク２において背景色が一色でなく、様々な色で構成されていることがある。たとえば、インスタント食品において背景である乾麺と海藻から前景である海老を分離する場合に、乾麺の色と海藻の色とを抽出する必要がある。このようなケースでは複数の背景色を抽出し、複数の距離画像を生成し、複数の距離画像から単一の背景距離画像を生成することが有利であろう。
【００８０】
背景画像生成部５６６は、複数の背景色について生成された複数の距離画像を比較し、各画素において最小の画素値を、背景距離画像における各画素の画素値として選択する選択手段を有しているか、選択手段として機能してもよい。これにより、カラー画像に存在する複数の背景色のうちいずれかの背景色に近い色は、背景の色として分離されるようになる。たとえば、乾麺の一部から抽出された背景色に近い色を有する乾麺の他の部分は背景として抽出される。また、海藻の一部から抽出された背景色に近い色を有する他の海藻の色も背景として抽出される。これにより、前景である海老と背景である乾麺や海藻とを色情報を使って分離しやすくなる。
【００８１】
上述の実施例では前景グループと背景グループとが一例として取り上げられているが、グループの数は三つ以上であってもよい。領域指定部５１６は、表示部７に表示されたカラー画像において複数の画素を含む第一領域の指定を受け付ける。なお、領域指定部５１６は表示部７に表示されたカラー画像において複数の画素を含む第二領域の指定を受け付けてもよい。
【００８２】
また、前景領域と背景領域と同様に、第二領域は第一領域に基づいて自動的に決定されてもよい。抽出部５６２は、領域指定部５１６により指定された第一領域における色の分布を含む色情報と、第一領域から区別される第二領域における色の分布を含む色情報を抽出し、抽出された色情報を、第一領域についての登録色である第一登録色と第二領域についての登録色である第二登録色として登録する。距離画像生成部５６４、前景画像生成部５６５および背景画像生成部５６６は画像生成部の一例である。つなわち、画像生成部は、複数の分光画像における各画素の色と第一登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、生成された複数の距離画像に基づいて第一距離画像を生成し、複数の分光画像における各画素の色と第二登録色との色空間座標上における距離を算出し、当該距離を画素値とする距離画像を生成し、生成された複数の距離画像に基づいて第二距離画像を生成する。検査部５３１は、第一距離画像と第二距離画像との合成画像を用いて検査対象物を検査する。
【００８３】
領域指定部５１６は、表示部７に表示されたカラー画像において複数の画素を含む複数の第三領域の指定を受け付けてもよい。この場合に、抽出部５６２は、領域指定部５１６により指定された第三領域における色の分布を含む色情報を抽出し、抽出された色情報を、第三領域についての登録色である第三登録色として登録する。画像生成部は、複数の分光画像における各画素の色と第三登録色との色空間座標上における距離を算出し、当該距離を画素値とする複数の距離画像を生成し、生成された複数の距離画像に基づいて第三距離画像を生成する。また、画像生成部は、第一距離画像、第二距離画像および第三距離画像を合成して合成画像を生成してもよい。検査部５３１は、第一距離画像、第二距離画像および第三距離画像の合成画像を用いて検査対象物を検査する。このように、一つ以上の第一領域による第一グループ、一つ以上の第二領域による第二グループ、一つ以上の第三領域による第三グループが形成される場合にも本実施例を適用可能である。
【００８４】
合成方法は最小の距離画像の階調として採用されたグループのＩＤを画素値としたインデックス画像を作成することで実現できる。インデックス画像を構成している各画素の階調には最初０が設定されている。色グループのＩＤは１から割り当てられる。距離画像において画素が属しているグループのＩＤがその画素の階調として代入される。距離画像の階調がどのグループの距離画像でも最大である場合は、インデックス画像の階調は０に維持され、どのグループにも属さない画素となる。
【００８５】
図７などに示したＵＩ７００は一例に過ぎない。たとえば、ＵＩ７００は、前景色の抽出を指示する前景色抽出ボタンと、背景色の抽出を指示する背景色抽出ボタンを有していてもよい。ＵＩ管理部５１４は、前景色抽出ボタンまたは背景色抽出ボタンの操作を検知すると、色抽出のためのオブジェクトとしてスポイトを表示してもよい。抽出部５６２は、スポイトにより指定された抽出領域７０２（一画素）の色情報を抽出する。このようにして前景色や背景色が抽出されてもよい。また、これらのボタンが押されたときに、上述した色クラスタリングが適用されて、前景色や背景色が選択されてもよい。
【００８６】
背景色の自動選択として次のような手法が採用されてもよい。前景色の選択が完了すると、ＭＳＩ処理部５１１などが計測領域内または画像全体を対象に色に関してクラスタリング処理を実行する。すべての前景色から遠い色が背景色として選択される。このように前景色から明らかに遠い色が背景色として選択されることになろう。
【００８７】
前景色に対して近傍色となる背景色が比較色として選択されてもよい。これは個別に前景色の色調整を行う際に有用であろう。たとえば、複数の前景色の中から選択された個別色調整対象の前景色に対して、複数の背景色の中からもっとも色空間上で近い色が比較色とし選択されて表示部７に表示されてもよい。
【００８８】
図１７はＵＩ７００の他の例を示している。この例では３つ以上のグループのそれぞれに一つ以上の計測対象の色が登録されるものとする。ＵＩ管理部５１４は、グループ追加ボタン１７０１が押されたことを検知すると、グループを追加する。この例ではグループ追加ボタン１７０１が三回押されたため、三つのグループが存在する。色追加ボタン１７０２は、各グループに登録色を追加する際に押される。ＵＩ管理部５１４は、いずれかのグループの色追加ボタン１７０２が押されると、スポイトツールなどを起動して、画像表示領域７０１に表示されているワークの画像から、ユーザにより指定された領域の色を抽出し、ユーザにより選択されたグループに登録する。この例ではグループ００、０１には二つの色が登録されている。グループ０２には一つの色が登録されている。インデックス色表示部１７０３には各グループのインデックス色が表示される。
【００８９】
図１８は色抽出結果の一例を示す図である。この例ではワークの画像のうちユーザにより指定された指定領域内の画像にクラスタリングが適用されて、色抽出画像が生成され、画像表示領域７０１に表示されている。検査画像生成部５６０は、指定領域内の画像を構成している各画素の色が、どのグループの色に近いかを判定することで、一つのグループを特定する。たとえば、検査画像生成部５６０は、指定領域内の画像を構成している各画素の色が各グループの代表色のうちどの代表色に近いかを計算する。検査画像生成部５６０は、指定領域内の画像を構成している各画素の色を、特定されたグループのインデックス色に置換することで、色抽出結果（検査画像）を生成する。なお、検査画像生成部５６０は、どのグループからも遠い色については画素値を０に置換し、どのグループにも分類しなくてもよい。図１８では、１番と１２番の色領域がグループ０２のインデックス色に置換されている。７番と８番の色領域がグループ００のインデックス色に置換されている。５番と６番の色領域がグループ０１のインデックス色に置換されている。
【００９０】
図１９は検査設定を実行するためのＵＩ１９００を示している。ＵＩ管理部５１４は、ＵＩ１９００を通じて検査画像に対する検査設定を受け付けてもよい。この例では各色に分類された領域の面積の計測値が公差を満たしているかどうかが検査されるものとする。判定条件設定部１９０１では、複数のグループのそれぞれについて公差の下限値の入力を受け付ける下限値入力部１９０３、公差の上限値の入力を受け付ける上限値入力部１９０２、検査画像が計測された面積の計測値を表示する計測値表示部１９０４が設けられている。ＵＩ管理部５１４は判定条件設定部１９０１を通じて設定された検査設定を設定情報５２３に格納する。検査部５３１は各グループの計測値を求める。たとえば、グループ０２であれば、検査部５３１は１番と１２番の領域の面積をカウントして計測値を求める。ＵＩ管理部５１４はこの計測値を受け取って計測値表示部１９０４に表示する。
【００９１】
図２０は検査結果を示すＵＩ２０００の一例を示している。判定結果表示部２００１は、三つのグループのすべての計測値が公差内であれば合格（ＯＫ）と表示する。一方、判定結果表示部２００１は、三つのグループのうち一つのグループの計測値が公差外であれば不合格（ＮＧ）と表示する。この例では、グループ００、０２の各計測値は公差内であるが、グループ０１の計測結果が公差外である。そのため、判定部５４０は、総合判定を不合格と決定している。
図２１は前景背景の抽出設定用のＵＩ２１００の一例を示している。色指定部２１０１は前景色を登録するためのＵＩである。色指定部２１０２は背景色（除外色）を登録するためのＵＩである。前景色や背景色は画像表示領域７０１に表示されているワークの画像が抽出されて登録される。検査画像表示部２１０３は、前景色から求められた前景画像と、背景色から求められた背景画像との差分画像を表示している。分離度表示部２１０４は、色空間における前景色と背景色との分離度合を表示する三次元グラフである。色分布２１１１は前景色の色分布を示している。色分布２１１２は背景色の色分布を示している。この例では、前景色の色分布と背景色の色分布とが十分に離れているため、検査画像において検査対象の色の領域（３番）が背景から綺麗に分離されている。つまり、ユーザは三次元グラフを見ることで前景色と背景色とが精度よく登録されていることを理解できる。
【符号の説明】
【００９２】
２...ワーク、３...照明装置、４...カメラ、５...画像処理装置、５１０...プロセッサ、５１１...ＭＳＩ処理部、５１２...照明制御部、５１３...撮像制御部、５１４...ＵＩ管理部、５３１...検査部、５６０...検査画像生成部
【図１】
2018189563.tif 000003
【図２】
2018189563.tif 000004
【図３】
2018189563.tif 000005
【図４】
2018189563.tif 000006
【図５】
2018189563.tif 000007
【図６】
2018189563.tif 000008
【図７】
2018189563.tif 000009
【図８】
2018189563.tif 000010
【図９】
2018189563.tif 000011
【図１０】
2018189563.tif 000012
【図１１】
2018189563.tif 000013
【図１２】
2018189563.tif 000014
【図１３】
2018189563.tif 000015
【図１４】
2018189563.tif 000016
【図１５】
2018189563.tif 000017
【図１６】
2018189563.tif 000018
【図１７】
2018189563.tif 000019
【図１８】
2018189563.tif 000020
【図１９】
2018189563.tif 000021
【図２０】
2018189563.tif 000022
【図２１】
2018189563.tif 000023