(57)【特許請求の範囲】
【請求項１】
検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を時系列に沿って並べることにより画素が二次元配置された二次元画像を生成する画像生成部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、
前記制御部は、前記エリア画像内において前記検査対象物の移動方向と交差する方向に互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記記憶部は、前記抽出領域ごとに前記部分画像を記憶し、前記画像生成部は、前記抽出領域ごとに前記二次元画像を生成することを特徴とする画像処理装置。
【請求項２】
前記抽出領域はライン状であって、前記部分画像はライン画像を構成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記エリア画像内に矩形状の領域が指定領域として前記操作装置にて複数指定されることにより、前記指定領域ごとに対応した前記二次元画像を構成する前記部分画像を取り込むための前記設定データを自動的に決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記カメラから取り込んだ前記エリア画像を設定画面として表示装置に表示する表示部をさらに備え、
前記制御部は、前記設定画面上に表示される前記指定領域の位置および範囲を前記操作装置からの入力に従って調節することにより、前記指定領域を指定することを特徴とする請求項３に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象物の画像の検査に用いられる画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、工業製品の製造、組立、検査等の工程において、撮像された検査対象物の画像を検査員が目視で確認する方法では検査精度が悪く効率もよくないため、画像処理によって良品・不良品を自動的に判定する画像処理装置が用いられている。この種の画像処理装置としては、ライン状の固体撮像素子を用いたラインセンサに接続され、画素が一列に並んだ一次元の画像（以下、「ライン画像」という）を取り込む装置がある。
【０００３】
この画像処理装置は、検査対象物をラインセンサに対して相対的に移動させながらライン画像を複数取り込み、取り込んだ複数のライン画像を時系列に並べることにより画素が二次元配置された二次元画像を生成する。この二次元画像は、たとえば検査対象物の良品・不良品の検査に用いられる。
【０００４】
ところで、エリアセンサを用い、特定の走査ラインのデータのみを取り込むことによりライン画像を取得する技術が提案されている（たとえば特許文献１参照）。この技術を用いれば、画像処理装置は、カメラにて画素が二次元配置された二次元画像、ライン画像のどちらでも取得することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０８８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した画像処理装置は、１回の撮像につき１ライン分のライン画像をカメラから取得するので、たとえば検査対象物の複数箇所の画像を用いた検査を行うためには、検査対象物を複数回撮像する必要があり検査時間が長くなる。あるいは、画像処理装置は、１回の撮像で検査対象物の複数箇所の画像を取得するためには、複数台のカメラ（またはラインセンサ）が必要になる。
【０００７】
本発明は上記事由に鑑みて為されており、１台のカメラで検査対象物の複数箇所の画像を取得しながらも、検査時間の短縮が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を時系列に沿って並べることにより画素が二次元配置された二次元画像を生成する画像生成部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、前記制御部は、前記エリア画像内において前記検査対象物の移動方向と交差する方向に互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記記憶部は、前記抽出領域ごとに前記部分画像を記憶し、前記画像生成部は、前記抽出領域ごとに前記二次元画像を生成することを特徴とする。
【０００９】
この画像処理装置において、前記抽出領域はライン状であって、前記部分画像はライン画像を構成することが望ましい。
【００１０】
この画像処理装置において、前記制御部は、前記エリア画像内に矩形状の領域が指定領域として前記操作装置にて複数指定されることにより、前記指定領域ごとに対応した前記二次元画像を構成する前記部分画像を取り込むための前記設定データを自動的に決定することが望ましい。
【００１１】
この画像処理装置において、前記カメラから取り込んだ前記エリア画像を設定画面として表示装置に表示する表示部をさらに備え、前記制御部は、前記設定画面上に表示される前記指定領域の位置および範囲を前記操作装置からの入力に従って調節することにより、前記指定領域を指定することがより望ましい。
【発明の効果】
【００１４】
本発明は、１台のカメラで検査対象物の複数箇所の画像を取得しながらも、検査時間の短縮が可能になるという利点がある。
【図面の簡単な説明】
【００１５】
【図１】実施形態１に係る画像処理装置の構成を示す概略ブロック図である。
【図２】実施形態１に係る画像処理装置の動作説明図である。
【図３】実施形態１に係る画像処理装置の設定画面の説明図である。
【図４】実施形態１に係る画像処理装置の動作説明図である。
【図５】実施形態１に係る画像処理装置の動作説明図である。
【図６】実施形態１に係る画像処理装置の動作説明図である。
【図７】実施形態１に係る画像処理装置の動作説明図である。
【図８】実施形態１に係る画像処理装置の動作説明図である。
【図９】実施形態１に係る画像処理装置の動作説明図である。
【図１０】実施形態１に係る画像処理装置の動作説明図である。
【図１１】実施形態１に係る画像処理装置を用いた検査システムの概略構成図である。
【図１２】実施形態１に係る画像処理装置を用いた検査システムの配置図である。
【図１３】実施形態１に係る画像処理装置を用いた検査システムの動作説明図である。
【図１４】実施形態２に係る画像処理装置の動作説明図である。
【発明を実施するための形態】
【００１６】
（実施形態１）
本実施形態の画像処理装置は、検査対象物の画像を撮像するカメラに接続されており、検査対象物の良品・不良品の判定に用いられる。
【００１７】
画像処理装置１は、図１に示すように、カメラ２に接続される前置処理部１１を具備し、カメラ２から画像を取り込む画像取込部１１１と、画像取込部１１１で取り込まれた画像を記憶する記憶部１１２とを前置処理部１１に備えている。さらに、画像処理装置１は、前置処理部１１で取り込んだ画像に対して画像処理を実行する主処理部１２と、各種パラメータを記憶する設定記憶部１３と、表示装置（図示せず）へ出力を行う表示部１４と、各部位を制御する制御部１５とを備えている。
【００１８】
ここでは、画像処理装置１は、ＣＰＵやメモリを備えたコンピュータからなり、カメラ２のほか、専用のキーパッドやマウス等の操作装置（図示せず）および表示装置を具備するコンソール３や、後述のエンコーダ等からなる外部装置４を接続可能に構成されている。
【００１９】
カメラ２は、画素が二次元配置された二次元の画像（以下、「エリア画像」という）を撮像可能なエリアイメージセンサが撮像素子に用いられている。本実施形態では、カメラ２の撮像素子にはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられるが、これに限らずたとえばＣＣＤ（Charge Coupled Devices）等の他の固体撮像素子が用いられていてもよい。なお、カメラ２はカラー画像を撮像するカラーカメラとするが、濃淡値を画素値とする濃淡画像を撮像するカメラであってもよい。
【００２０】
このカメラ２は、エリア画像を出力する機能だけでなく、撮像素子の所定範囲の画素のみから映像信号（画素値）を取り込むことにより、エリア画像内に設定された抽出領域の画像（以下、「部分画像」という）を出力する機能も有している。ここで、抽出領域は所定幅のライン状に設定されており、部分画像は１ないし複数の画素幅で画素が直線状に並んだライン画像を構成する。すなわち、カメラ２は、通常のエリア画像全体を出力するエリア撮像モードと、エリア画像の一部であるライン状の部分画像を出力する部分撮像モードとの２つの動作モードを切替可能な制御回路（図示せず）を有している。
【００２１】
制御回路は、画像処理装置１からの信号に応じて動作モードの切り替えを行う。また、カメラ２は、部分撮像モードにおいて、映像信号を取り込む画素の指定を画像処理装置１からの信号に応じて行う。つまり、カメラ２は、エリア画像のうち部分画像として画像を取り込む抽出領域の設定を、画像処理装置１からの信号に応じて行う。具体的には、画像取込部１１１が、制御部１５からの指示を受けてカメラ２の動作モード（エリア撮像モード・部分撮像モード）の切り替えを指示する信号をカメラ２に対して送信する。
【００２２】
本実施形態の画像処理装置１は、基本的に部分撮像モードでカメラ２を動作させるので、以下では、特に断りがない限りカメラ２は部分撮像モードで動作していると仮定する。
【００２３】
画像処理装置１の制御部１５は、画像処理装置１に接続される外部装置４またはコンソール３から、検査開始の指示を受けると、前置処理部１１へ画像を取得するように指示する。制御部１５は、前置処理部１１で画像が取得されたことを認識すると、取得された画像に対する画像処理を主処理部１２に指示する。主処理部１２は、検査パラメータに準じて画像の特徴量（たとえば欠陥部分の面積）を抽出して数値化し、検査対象物の良否を自動的に判定して、その結果を表示部１４または制御部１５から、外部装置４あるいはコンソール３に出力する。
【００２４】
設定記憶部１３は、前置処理部１１での画像取得時に用いられる撮像条件パラメータや、主処理部１２での画像処理に用いられる検査パラメータ、主処理部１２での画像処理結果に対する動作パラメータなど、画像処理装置１の動作に必要な情報を記憶している。ここでいう撮像条件パラメータは、エリア画像内での抽出領域の位置および範囲を示すデータであって画像取込部１１１における部分画像の取込条件を決める設定データを少なくとも含んでいる。
【００２５】
前置処理部１１は、画像取込部１１１および記憶部１１２の他、図１に示すように同期処理部１１３と、画像生成部１１４と、画像記憶部１１５と、最適化処理部１１６とを備えている。
【００２６】
画像取込部１１１は、検査対象物とカメラ２との相対的な位置関係が時間経過に伴い変化する状態で、抽出領域の画像を部分画像として順次取り込む。つまり、検査対象物とカメラ２との少なくとも一方を移動させながら、画像取込部１１１は、抽出領域の画像を部分画像として順次取り込み、記憶部１１２に書き込んでいく。
【００２７】
このとき、画像取込部１１１は、設定記憶部１３内の設定データにより決まる取込条件の下で、カメラ２から部分画像の取り込みを行う。具体的には、画像取込部１１１はカメラ２との通信機能を有しており、設定記憶部１３内の設定データに従って、エリア画像のどの位置および範囲の領域を抽出領域とするのかをカメラ２に対して指示する。これにより、カメラ２は、設定記憶部１３内の設定データに従い、抽出領域として指定された領域の画像を部分画像として画像処理装置１に出力する。なお、設定記憶部１３はカメラ２内に設けられていてもよい。
【００２８】
同期処理部１１３は、画像取込部１１１が画像（部分画像）を取り込むタイミングを決定するためのトリガ信号を生成する。同期処理部１１３は、コンソール３や外部装置４からの信号を受け、これらの信号に同期して画像取込部１１１での部分画像の取り込みが可能となるように画像取込部１１１にトリガ信号を出力する。ここでは、同期処理部１１３は、先頭トリガと部分トリガとの２種類のトリガ信号を生成しており、部分トリガによって画像取込部１１１での部分画像の取込タイミングを決定する。つまり、画像取込部１１１は、同期処理部１１３で生成されたトリガ信号（部分トリガ）をカメラ２に対して送信し、このトリガ信号（部分トリガ）を受けてカメラ２から出力される部分画像の画像データを記憶部１１２に記憶する。
【００２９】
画像生成部１１４は、記憶部１１２に記憶された複数の部分画像を時系列に沿って並べることにより、これら複数の部分画像を連結して、画素が二次元配置された二次元画像を生成する。具体的には、画像生成部１１４は、同期処理部１１３で生成される先頭トリガと部分トリガとを監視しており、先頭トリガを検知すると、部分画像を書き込むための画像記憶部１１５の書込アドレスを初期アドレスに設定する。
【００３０】
その後、画像生成部１１４は、部分トリガを検知すると、記憶部１１２に保存されている部分画像の画像データを読み出して、書込アドレスに従って画像記憶部１１５へ書き込みを行い、書込アドレスを部分画像の画像サイズの分だけシフトさせる。それから、画像生成部１１４は、部分トリガを検知する度に、画像記憶部１１５への部分画像の書き込みと、書込アドレスをシフトさせる処理とを繰り返し実行し、画像記憶部１１５内に部分画像を並べて、画像記憶部１１５内に二次元画像を生成する。画像生成部１１４は、画像記憶部１１５内の二次元画像が、予め設定されている画像サイズに達すると、同期処理部１１３へ信号を出力して二次元画像の生成完了を通知する。
【００３１】
なお、設定記憶部１３には、二次元画像を構成する部分画像の数、部分画像の画像サイズ、画像記憶部１１５の書込領域を表す初期アドレス、二次元画像のサイズ等の情報が予め登録されており、画像生成部１１４は、これらの情報を用いて二次元画像を生成する。二次元画像を構成する部分画像の数は、取込数として設定記憶部１３内の設定データにて指定されており、画像生成部１１４は、取込数分の部分画像により二次元画像を生成する。同期処理部１１３は、取込数分の部分トリガを出力する度に、先頭トリガを出力する。
【００３２】
最適化処理部１１６は、画像取込部１１１で取り込まれた部分画像に対し、設定に応じてサイズ変更やノイズ除去などの各種の変換処理を施すことにより、主処理部１２での画像処理に適した部分画像を生成する最適化処理を行う。最適化処理は必ずしも必要ではないが、最適化処理部１１６で最適化処理が行われる場合には、画像生成部１１４は、最適化処理後の部分画像を用いて二次元画像を生成する。つまり、画像生成部１１４は、記憶部１１２にてバッファリングされた部分画像の画像データを、最適化処理部１１６で最適化処理が行われた後、画像記憶部１１５の書込アドレスに転送することで二次元画像を生成する。
【００３３】
このように、前置処理部１１は、カメラ２から取り込んだ部分画像を用いて、二次元画像を再構成する。前置処理部１１の各部（画像取込部１１１、同期処理部１１３、画像生成部１１４、最適化処理部１１６）の具体的な動作は、設定記憶部１３に記憶されている撮像条件パラメータにより決定され、検査対象物の検査条件ごとに切り替えられる。同期処理部１１３、画像生成部１１４、最適化処理部１１６の具体的な動作については後述する。
【００３４】
なお、前置処理部１１は、画像生成部１１４で生成された二次元画像に対し、部分画像の長手方向（水平方向）における輝度むらを抑えるようにシェーディング補正を施すシェーディング補正部（図示せず）をさらに備えていてもよい。要するに、カメラ２で撮像される部分画像には、撮像素子の特性やレンズ収差などの影響により、長手方向において輝度にばらつきが生じることがあるので、シェーディング補正部は、この輝度のばらつきを補正し輝度むらを抑えることができる。
【００３５】
ところで、本実施形態においては、抽出領域は１つのエリア画像内における複数箇所に設定されており、画像取込部１１１は、これら複数の抽出領域の全てについて部分画像を取り込み、抽出領域ごとに記憶部１１２に記憶する。そのため、記憶部１１２には、各抽出領域について、時間経過に伴って取り込まれた複数の部分画像が記憶されることになる。
【００３６】
また、画像生成部１１４は、エリア画像内に複数設定された抽出領域ごとに、上述したように複数の部分画像を時系列に沿って並べて二次元画像を生成する処理を行う。そのため、画像記憶部１１５には、部分画像を時系列に沿って並べることにより再構成された二次元画像が、抽出領域ごとに記憶されることになる。
【００３７】
結果的に、前置処理部１１では複数の画像（二次元画像）が取得されるので、主処理部１２での画像処理についても、二次元画像ごとに実行されることになる。つまり、主処理部１２は、どのような画像処理を施すかが抽出領域ごとに対応付けられており、前置処理部１１で抽出領域ごとに取得された各二次元画像について、それぞれ対応する画像処理を実行する。
【００３８】
次に、図２（ａ）に示すように、エリア画像１００において第１領域１０１と第２領域１０２との２つの領域が抽出領域として設定されている場合を例に、前置処理部１１の動作について説明する。図２の例では、第１領域１０１と第２領域１０２とは、いずれもエリア画像１００の上端寄りの位置に、エリア画像１００の水平ライン（水平走査線）に沿って設定されている。これら第１領域１０１と第２領域１０２とは、エリア画像１００内において水平方向に互いに離間している。
【００３９】
この場合、前置処理部１１は、画像取込部１１１における画像取込のタイミングを同期処理部１１３にて決定し、このタイミングで取り込まれた複数の部分画像を使って画像生成部１１４にて二次元画像を再構成する。ここでは、検査対象物はカメラ２に対して図２（ａ）の上方に向かって搬送されており、同期処理部１１３は、カメラ２に対して検査対象物が所定量移動する度に部分トリガを発生する。そのため、前置処理部１１は、図２（ｂ）に示すように、第１領域１０１と第２領域１０２との２箇所の抽出領域の部分画像を検査対象物の移動に同期して順次取り込み、抽出領域ごとに区分して部分画像を記憶部１１２に記憶する。
【００４０】
さらに、前置処理部１１は、画像生成部１１４にて第１領域１０１と第２領域１０２とを区別して、抽出領域ごとに画像記憶部１１５への部分画像の書き込みを繰り返すことにより、抽出領域ごとに二次元画像を生成する。要するに、前置処理部１１は、図２（ｃ）に示すように、第１領域１０１の部分画像を連結した第１の二次元画像１０３と、第２領域１０２の部分画像を連結した第２の二次元画像１０４との２つの二次元画像を生成する。なお、図２（ｃ）では、複数の部分画像（図中、破線で区切られた範囲）が垂直方向（図の上下方向）に並べられることにより、二次元画像１０３，１０４を構成している。
【００４１】
このように、前置処理部１１は、検査対象物が移動する間に画像取込部１１１にて取り込んだ複数の部分画像を、抽出領域ごとに時系列に並べて二次元画像１０３，１０４を生成する。その結果、前置処理部１１は、エリア画像１００中の矩形状の指定領域１０５，１０６（図２（ａ）参照）に対応した二次元画像１０３，１０４を得ることができる。
【００４２】
ここにおいて、画像取込部１１は、カメラ２から部分画像のみを取り込むことにより、エリア画像全体を取り込む場合に比べて、１回の撮像ごとにカメラ２から画像処理装置１へのデータ転送に要する時間を短縮できる。要するに、たとえば面積Ｓのエリア画像に対して、面積Ｓａの第１領域と面積Ｓｂの第２領域とが抽出領域として設定されている場合（Ｓ＞Ｓａ＋Ｓｂ）、画像処理装置１は、部分画像のみ取り込むことで画像データの取込時間を短縮できる。具体的には、エリア画像全体のデータ転送に要する時間Ｔｓと、第１領域および第２領域の部分画像のデータ転送に要する時間ＴａおよびＴｂとの関係は、上記面積を用いて「Ｓ：Ｓａ＋Ｓｂ≒Ｔｓ：Ｔａ＋Ｔｂ」の関係で表される。したがって、画像処理装置１は、部分画像のみを取り込むことにより、エリア画像全体を取り込む場合に比べて、エリア画像と部分画像の面積比の分だけ高速のサンプリングが可能になる。
【００４３】
ところで、本実施形態の画像処理装置１は、エリア画像内での抽出領域の位置および範囲をユーザが任意に設定できるように、つまり部分画像の取込条件を決める設定データをユーザが任意に設定できるように、以下の構成を採用している。
【００４４】
すなわち、設定記憶部１３に記憶されている撮像条件パラメータ、検査パラメータ、動作パラメータの情報は、画像処理装置１に接続されるコンソール（操作装置）３を用いてユーザが入力し、制御部１５を介して設定記憶部１３に登録される。言い換えれば、制御部１５は、コンソール３の操作装置からの入力に従って設定データ等を決定し、設定記憶部１３に書き込む機能を有している。
【００４５】
本実施形態では、上述したように抽出領域は１つのエリア画像内における複数箇所に設定されるので、制御部１５は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定する。
【００４６】
ここで、画像処理装置１は、カメラ２から画像（部分画像）を取り込む検査モードと、設定データの設定が行われる設定モードとの２つの動作モードを有しており、コンソール３からの入力に応じて動作モードの切り替えを行う。
【００４７】
設定モードにおいては、制御部１５は、カメラ２の動作モードをエリア撮像モードに切り替えるように画像取込部１１１に指示し、カメラ２の動作モードをエリア撮像モードに切り替える。この状態で、制御部１５は、前置処理部１１にてカメラ２から取り込んだ検査対象物のエリア画像を設定画面としてコンソール３の表示装置に表示するよう表示部１４を制御する。このとき、表示部１４は、設定画面上に抽出領域として選択中の領域を設定画面上に表示する。つまり、表示装置は、図３に示すようにエリア画像を設定画面１０７として表示し、この設定画面１０７上に抽出領域（図中の斜線部）の候補として第１領域１０１および第２領域１０２を表示する。
【００４８】
さらに、制御部１５は、コンソール３からの入力に従って、設定画面１０７上で第１領域１０１および第２領域１０２の位置並びに範囲を調節する。つまり、制御部１５は、コンソール３に対するユーザの操作を受けて、設定画面１０７における第１領域１０１および第２領域１０２について、座標位置並びに縦方向、横方向の幅寸法を調節することにより、各抽出領域の位置および範囲を調節する。このとき、制御部１５は、第１領域１０１、第２領域１０２のうち、設定の対象としている側の領域をたとえば点滅表示させ、ユーザによるコンソール３の操作に応じて設定の対象とする領域を切り替える。
【００４９】
制御部１５は、このようにして調節された抽出領域（第１領域１０１、第２領域１０２）の位置および範囲を、設定データとして設定記憶部１３に登録する。これにより、設定画面１０７上で調節された抽出領域（第１領域１０１、第２領域１０２）の位置が、設定記憶部１３内の設定データに反映される。
【００５０】
ここにおいて、本実施形態では検査対象物は複数種類（複数品種）あって、設定記憶部１３は、設定データ（抽出領域の位置および範囲）を検査対象物の種類ごとに記憶する。検査モードにおいては、前置処理部１１は、コンソール３からの入力に従って検査対象物の種類を特定し、この種類に対応する設定データを設定記憶部１３から読み出すことにより、検査対象物の種類に応じた設定データを適用する。
【００５１】
以下、上述した構成の画像処理装置１において、ユーザが設定データを設定する方法について簡単に説明する。
【００５２】
まず、ユーザは、コンソール３を操作して画像処理装置１の動作モードを設定モードに切り替える。これにより、表示装置にはたとえば図３に示すような設定画面１０７が表示される。この状態で、ユーザはコンソール３を操作して、設定画面１０７上での第１領域１０１と第２領域１０２との各々を個別に移動させ、抽出領域の位置を調節する。抽出領域の位置が決まれば、ユーザは操作装置３を操作して抽出領域の範囲を設定し、その後、制御部１５は、調節された第１領域１０１および第２領域１０２の位置および範囲を設定データとして設定記憶部１３に登録する。
【００５３】
以上説明した本実施形態の画像処理装置１によれば、制御部１５は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定するので、１回の撮像につきエリア画像内の複数箇所の部分画像をカメラ２から取得することができる。さらに、記憶部１１２は、抽出領域ごとに部分画像を記憶し、画像生成部１１４は、抽出領域ごとに二次元画像を生成するので、主処理部１２は、個々の抽出領域に対応する画像処理を抽出領域ごとに実行することができる。したがって、画像処理装置１は、１台のカメラ２で検査対象物の複数箇所の画像を取得しながらも、１回の撮像で検査対象物の複数箇所の画像を取得できるので、検査時間の短縮が可能である。
【００５４】
また、制御部１５は、操作装置（コンソール３）からの入力に従って、抽出領域の位置および範囲を示す設定データを決定するので、部分画像は、１画素幅のライン画像に限らず、複数画素分の幅を持つ矩形状の画像であってもよい。つまり、抽出領域はライン状に限らず、たとえば矩形状などであってもよい。部分画像がある程度の幅を持つことにより、カメラ２と検査対象物との相対位置が連続的に変化する場合にも、画像処理装置１は、検査対象物の全体について部分画像を抜けなく取り込むことができ、検査対象物の全体についての検査が可能になる。
【００５５】
ところで、制御部１５は、エリア画像内に矩形状の領域が指定領域としてコンソール３の操作装置にて複数指定されることにより、指定領域ごとに対応した二次元画像を構成する部分画像を取り込むための設定データを自動的に決定してもよい。この場合、制御部１５は、抽出領域の位置および範囲が直接指定される代わりに、二次元画像を取得すべき領域が指定領域として指定されることにより、その二次元画像を構成するのに必要な部分画像を取り込むための抽出領域の位置および範囲を決定する。
【００５６】
たとえば、図２（ａ）のエリア画像１００において、左半分に対応する指定領域１０５が指定され、右半分に対応する指定領域１０６が指定された場合、制御部１５は、これら指定領域１０５，１０６の二次元画像を再構成できるように設定データを決定する。つまり、制御部１５は、一方の指定領域１０５を構成する部分画像を取得するための第１領域１０１と、他方の指定領域１０６を構成する部分画像を取得するための第２領域１０２とを抽出領域とするように、設定データを決定する。これにより、前置処理部１１は、最終的に、エリア画像１００中の矩形状の指定領域１０５，１０６に対応した二次元画像１０３，１０４を得ることができる。
【００５７】
このように矩形状の指定領域によって設定データを決定する場合、制御部１５は、抽出領域として選択中の領域に代えて、矩形状の指定領域が設定画面上に表示されるように、表示部１４を制御する。この場合、制御部１５は、設定画面上に表示される指定領域の位置および範囲をコンソール３からの入力に従って調節することにより、指定領域を決定する。
【００５８】
この構成によれば、ユーザは、二次元画像の取得範囲を指定領域として指定することにより、所望の二次元画像を検査対象とすることができる。すなわち、ユーザは、抽出領域の位置および範囲を直接的に決めなくても、指定領域を指定することで抽出領域の位置および範囲を間接的に決めることができ、設定データの設定が簡単になるという利点がある。
【００５９】
以下、同期処理部１１３、画像生成部１１４、最適化処理部１１６の具体的な動作について説明する。
【００６０】
同期処理部１１３の動作は、検査対象物の形態や、検査対象物の搬送速度などにより異なる。
【００６１】
まず、流体や帯状のように、個々の検査対象物の区切りがなく、連続的な検査を必要とする検査対象物を検査する場合について説明する。この場合、画像取込部１１１は、図４に示すように、外部装置４またはコンソール３から与えられる開始信号と終了信号との間の期間に、カメラ２から検査対象物５の画像を取得する。
【００６２】
ここで、検査対象物が等速で搬送されていると、同期処理部１１３は、図５（ａ）に示すように、部分画像を取り込むタイミングを決定する部分トリガを一定の時間間隔Ｔで発生する。画像取込部１１１は、部分トリガの立ち上がりを検出しカメラ２に対してトリガ信号（部分トリガ）を出力しており、カメラ２は、画像取込部１１１からトリガ信号を受けると所定の露光時間に亘って撮像を行う。ここで、部分トリガの時間間隔Ｔは、少なくとも部分画像を取り込むのに要する時間ｔよりも長くなるように、設定記憶部１３の撮像条件パラメータにて設定されている。これにより、画像取込部１１１は部分画像を抜けなく取り込むことができる。
【００６３】
また、検査対象物の搬送速度が加減速する場合、検査対象物を搬送する搬送装置（図示せず）に設けられ検査対象物の搬送速度と同期するパルス信号を発生するエンコーダの出力に基づいて、同期処理部１１３は部分トリガを発生する。つまり、同期処理部１１３は、外部装置４としてのエンコーダの出力するパルスをカウントし、図５（ｂ）に示すように、パルスのカウント値が規定値Ｃに達する度に、部分トリガを発生する。ここで、規定値Ｃは、搬送速度が最大のときにカウント値が規定値Ｃに達する周期ＣＴが、少なくとも部分画像を取り込むのに要する時間ｔよりも長くなるように設定されている。
【００６４】
なお、連続的な検査を必要とする検査対象物の場合、部分画像の取込数を、たとえば検査対象物が単位長さだけ移動する間に取り込まれる部分画像の数、あるいは単位時間当たりに取り込まれる部分画像の数とすることにより、検査対象物の情報を管理しやすくなる。
【００６５】
また、同期処理部１１３は、連続する検査対象物を抜けなく撮像するため、２回目以降の先頭トリガについては、画像生成部１１４による二次元画像の生成処理を監視し、二次元画像の生成完了を検出したタイミングで先頭トリガを発生する。これにより、同期処理部１１３は、画像処理装置１の外部から別の信号を入力することなく、連続した検査を行うことが可能になる。
【００６６】
前置処理部１１は、外部装置４またはコンソール３から終了信号を受けると、同期処理部１１３によるトリガの生成を停止して、カメラ２からの画像（部分画像）の取り込みを終了する。
【００６７】
次に、ランダムに搬送されるパネルや電子部品など、互いに独立した不連続の検査対象物を検査する場合について説明する。この場合、検査対象物を検知するセンサ（図示せず）を搬送装置に設け、同期処理部１１３は、図６に示すように、このセンサからの信号を外部トリガ信号として用い、外部トリガ信号に合わせて先頭トリガを発生する。なお、検査対象物の移動が搬送装置のエンコーダの出力と同期しており、エンコーダの１回転ごとに１個の検査対象物が撮像される場合、同期処理部１１３は、センサの代わりにエンコーダの１回転ごとに発生するＺ相のパルスを用いて検査対象物を検知してもよい。
【００６８】
ただし、同期処理部１１３が、センサからの外部トリガ信号を直接、先頭トリガとして用いると、センサの設置位置によって、二次元画像を構成する部分画像の取込開始タイミングが固定されることになる。これにより、画像生成部１１４は、たとえば図７（ａ）に示すように、検査対象物５の全体が含まれず、検査対象物５の一部が欠損した二次元画像を生成してしまうことがある。
【００６９】
このような問題を回避するため、同期処理部１１３は、センサからの信号を検知したタイミングから遅延時間だけ遅れて先頭トリガを生成するタイミングを生成するオフセット機能を有している。オフセット量（遅延時間）は、検査対象物が等速で搬送されている場合には一定時間に設定され、検査対象物の搬送速度が加減速されている場合にはエンコーダのパルス数にて設定される。このオフセット機能により、前置処理部１１は、図７（ｂ）に示すように、二次元画像の先頭位置を任意に調整でき、検査対象物５の全体を含む二次元画像を生成することができる。
【００７０】
なお、同期処理部１１３が部分トリガを発生する動作については、独立した検査対象物の場合でも、連続的な検査を必要とする検査対象物の場合と同じである。すなわち、検査対象物が等速で搬送されていると、同期処理部１１３は、先頭トリガから一定の時間間隔で部分トリガを発生する。また、検査対象物の搬送速度が加減速する場合、同期処理部１１３は、搬送装置のエンコーダの出力に基づいて部分トリガを発生する。
【００７１】
また、連続的な検査を必要とする検査対象物の場合、画像生成部１１４は、二次元画像を生成するタイミングによっては、生成される二次元画像において欠陥（特徴点）が分断されてしまう可能性がある。たとえば、図８に示すように、帯状の検査対象物５の表面の汚れ５０を欠陥として検出する場合、汚れ５０が２つの二次元画像１０３に分割されることにより、各々の二次元画像１０３から検出される汚れ５０のサイズは、本来の汚れ５０のサイズの半分程度になる。
【００７２】
そこで、この問題を回避するため、画像生成部１１４は、先頭トリガを受けてフレームを更新する際、直前に生成した二次元画像の末尾部分（最後に取り込んだ部分画像）を、更新後の二次元画像の先頭部分にコピーする。これにより、図９に示すように、連続して生成される２つの二次元画像１０３のいずれか一方には、必ず欠陥（ここでは「汚れ５０」）が分断されることなく含まれ、主処理部１２は、欠陥の正確なサイズを求めることが可能になる。
【００７３】
また、最適化処理部１１６は、複数種類の最適化処理を実行可能であって、検査対象物の検査条件に応じて設定された検査パラメータに準じて最適化処理を実行する。本実施形態においては、最適化処理部１１６は、縮小処理（圧縮処理）、拡大処理、分割処理の３種類の処理を最適化処理として実行可能である。
【００７４】
縮小処理は、Ｍ×Ｎサイズの部分画像に対して、予め設定されているｍ×ｎサイズのブロック内で画素値（輝度値）の平均値や中央値、最大値や最小値を求める処理であり、求まった値を配列し直すことにより、部分画像のサイズを縮小する処理である。つまり、最適化処理部１１６は、たとえば部分画像に対して検査対象物の搬送方向に並ぶｎ画素についての輝度値の中央値をとることにより、検査対象物の搬送方向においてノイズ成分を除去することができる。この場合、部分画像は検査対象物の搬送方向におけるサイズが１／ｎに縮小される。
【００７５】
拡大処理は、部分画像を構成する各画素について、注目画素の周囲の画素の輝度値を用いて新たに画素値を求める処理であり、求まった画素値を配列し直すことにより、部分画像のサイズを拡大する処理である。つまり、最適化処理部１１６は、たとえば図１０（ａ）に示すようにカラーカメラから取り込んだベイヤ配列の部分画像について、注目画素の周囲の画素の輝度値を用いて新たな画素値を求めることにより、図１０（ｂ）に示すＲＧＢデータに変換することができる。この場合、部分画像はサイズが３倍に拡大されることになる。
【００７６】
分割処理は、部分画像に何らかのフィルタ処理を施すことにより、１つの部分画像から、別々のフィルタ処理が施された複数の部分画像、あるいはフィルタ処理が施されていない部分画像と施された部分画像とを生成する処理である。つまり、最適化処理部１１６は、たとえば部分画像に対してＳｏｂｅｌフィルタにて微分処理を施し、この部分画像を、微分画像と元の部分画像との２つの画像に分割する。なお、ここでいうフィルタ処理は、画像処理技術におけるフィルタ処理であって、画素値の微分値（変化量）を抽出する微分フィルタや、方向微分値を抽出する方向微分フィルタなどを含む。
【００７７】
次に、本実施形態の画像処理装置１を用いて検査対象物の検査を行う検査システムについて説明する。ここでは、検査対象物が建築板などのパネルであって、パネル表面の傷（凹凸）の有無と、パネルにおける白濁や色むらの有無とを検査項目とする検査システムを例示する。
【００７８】
検査システムは、図１１に示すように画像処理装置１およびカメラ２の他、検査対象物５を搬送する搬送装置６と、搬送装置６の上方から検査対象物５を照明する照明装置７とを備えている。
【００７９】
搬送装置６は、たとえばローラコンベアからなり、インダクションモータ６１によって駆動され、搬送面６０（図１２参照）に載置された検査対象物５を一方向（図１１では右方向）に搬送する。この搬送装置６は、搬送面６０の上方に配置され検査対象物５を検知するセンサ６２と、ローラの回転軸に取り付けられ検査対象物５の移動量を検出するエンコーダ６３とを有している。これらセンサ６２およびエンコーダ６３の出力信号が画像処理装置１に入力されるように、搬送装置６は画像処理装置１に接続されている（図１１では接続線の図示を省略する）。
【００８０】
搬送装置６は、インダクションモータ６１に電力供給するインバータ（図示せず）の制御により、最大速度Ｖｍａｘ（ｍ／ｍｉｎ）以下の範囲で検査対象物５の移動速度が調整される。搬送装置６のエンコーダ６３は、検査対象物５の移動量Ｌ（ｍｍ）に対してＰ（ｐｕｌｓｅ）の信号を出力する。
【００８１】
この検査システムでは、図１２に示すように、カメラ２は搬送装置６の搬送面６０の上方において、光軸が搬送面６０の法線と平行になるように固定されている。これにより、カメラ２は、搬送装置６の搬送面６０上においてカメラ２の真下を中心とした一定範囲を検査領域とし、この検査領域の画像をエリア画像として撮像する。このようにして撮像されるエリア画像は、搬送装置６の上流側を上方とし、左上の隅をカメラ座標の原点、つまり座標位置（Ｈ，Ｖ）＝（０，０）とする（Ｈは水平軸の座標値、Ｖは垂直軸の座標値）。
【００８２】
照明装置７は、それぞれ搬送面６０に沿う面内で搬送方向と直交する方向に延長された直線形状（ライン状）の発光面を持つ第１の照明７１と第２の照明７２とを有している。第１の照明７１は、カメラ２よりも搬送方向の下流側であって、且つカメラ２よりも搬送面６０からの高さが低い位置に配置されている。第１の照明７１は、カメラ２の視野（検査領域）のうち主に搬送方向の下流側半分を照明するように、搬送面６０に向けて拡散光を照射する。
【００８３】
一方、第２の照明７２は、カメラ２の略真下であって、且つ第１の照明７１よりもさらに搬送面６０からの高さが低くなる位置に配置されている。第２の照明７２は、光軸と搬送面６０とが成す角度θが鋭角となるように搬送面６０に対して傾けられ、カメラ２の視野（検査領域）のうち主に搬送方向の上流側を照明するように、搬送面６０に向けて比較的指向性の強い光を照射する。
【００８４】
上記構成によれば、第１の照明７１から照射され検査対象物５で反射された光を受けてカメラ２が撮像した画像（主にエリア画像の下半分）は、検査対象物５の白濁や色むらに対してコントラストの高い画像となる。一方、第２の照明７２から照射され検査対象物５で反射された光を受けてカメラ２が撮像した画像（主にエリア画像の上半分）は、検査対象物５表面の傷（凹凸）に対してコントラストの高い画像となる。すなわち、カメラ２がエリア撮像モードで検査対象物５を撮像すると、上半分は検査対象物５表面の傷に対してコントラストが高く、下半分は検査対象物５の白濁や色むらに対してコントラストの高いエリア画像が得られることになる。
【００８５】
このようにして得られるエリア画像は、垂直方向（搬送方向）にグラデーションを持つ画像となり、垂直方向の一部において、上述した欠陥（表面の傷、白濁や色むら）に対するコントラストが最も高くなる。そこで、検査対象物５の検査を高精度で安定して行うため、画像処理装置１は、図１３に示すように、エリア画像１００のうち欠陥に対するコントラストが最も高い領域を抽出領域として設定する。具体的には、第２領域１０２は、エリア画像１００の上半分の中で欠陥（検査対象物５表面の傷）に対するコントラストが最も高い水平ライン上に設定される。第１領域１０１は、エリア画像１００の下半分の中で欠陥（白濁や色むら）に対するコントラストが最も高い水平ライン上に設定される。
【００８６】
画像生成部１１４は、第２領域１０２の部分画像からは、検査対象物５表面の傷の検査を行うための二次元画像を生成し、第１領域１０１の部分画像からは、白濁や色むらの検査を行うための二次元画像を生成する。主処理部１２は、これらの二次元画像を用いて、検査対象物５の欠陥（表面の傷、白濁や色むら）の有無を検査することができる。
【００８７】
ここにおいて、同期処理部１１３は、エンコーダ６３の出力するパルスをカウントし、パルスのカウント値が規定値Ｃに達した時点で、第１領域１０１および第２領域１０２の各部分画像を取り込むための部分トリガを発生する。なお、搬送速度が最大のときにエンコーダ６３が１パルスを発生する周期（最大速度Ｖｍａｘ、検査対象物５の移動量Ｌ、パルス数Ｐで表される）の規定値Ｃ倍が、１つの部分画像を取り込むのに要する時間よりも長くなるように、規定値Ｃが設定される。本実施形態では、部分画像の１画素の実空間上でのピクセルアスペクト比が１：１になるように、カメラ２の分解能に応じて規定値Ｃが設定されている。
【００８８】
このようにして取得される第１領域１０１の部分画像に関しては、欠陥（白濁や色むら）の大きさを計測できるように、最適化処理部１１６は何の処理も施さない。一方、第２領域１０２の部分画像に関しては、欠陥（表面の傷）の連続性が明瞭になるように、最適化処理部１１６は、検査対象物の搬送方向（垂直方向）における最大輝度値を求める縮小処理を実施する。
【００８９】
画像生成部１１４は、第１領域１０１の部分画像を複数結合してなる二次元画像と、最適化処理（縮小処理）後の第２領域１０２の部分画像を複数結合してなる二次元画像とを生成する。主処理部１２は、これら抽出領域ごとに取得された各二次元画像について、それぞれ対応する画像処理を実行する。
【００９０】
なお、カメラ２がエリア撮像モードである場合、画像取込部１１１は、制御部１５から画像取得の指示を受けてカメラ２に対してトリガ信号を出力し、トリガ信号を受けてカメラ２から出力される画像データを記憶部１１２に記憶する。画像生成部１１４は、記憶部１１２にてバッファリングされた画像データを画像記憶部１１５の書込アドレスに転送し、エリア画像を生成する。カメラ２がベイヤ配列のカラーカメラの場合、画像生成部１１４は、バッファリングされたベイヤ配列の画像データを最適化処理部１１６にてＲＧＢデータに変換した後、画像記憶部１１５の書込アドレスに順次転送してエリア画像を生成する。
【００９１】
また、本実施形態では、エリア画像において第１領域と第２領域との２つの領域が抽出領域として設定されている場合を例に説明したが、この例に限らず、１つのエリア画像に対して３つ以上の領域が抽出領域として設定されていてもよい。
【００９２】
（実施形態２）
本実施形態の画像処理装置１は、最適化処理部１１６が異なる抽出領域の部分画像同士を結合して結合画像を生成する結合処理部として機能する点で、実施形態１の画像処理装置１と相違する。以下、実施形態１と同様の構成については、共通の符号を付して説明を適宜省略する。
【００９３】
すなわち、実施形態１においては、画像生成部１１４は、抽出領域ごとに複数の部分画像を並べることにより二次元画像を生成しているが、本実施形態では、画像生成部１１４で二次元画像が生成される前に、異なる抽出領域の部分画像同士が結合されることになる。
【００９４】
本実施形態における最適化処理部１１６は、最適化処理として、記憶部１１２内に記憶されている異なる抽出領域の部分画像を結合して結合画像を生成する結合処理を実行する。これにより、検査対象物の互いに離れた部位を撮像した部分画像同士が、１つの画像（結合画像）に統合されることになる。
【００９５】
画像処理装置１は、たとえば図１４に示すように検査対象物５の幅寸法（図１４（ａ）における左右方向の寸法）の計測に用いられる場合、幅寸法を計測するために必要な最小限の画像を部分画像として画像取込部１１１で取り込む。すなわち、検査対象物５の幅寸法を計測するためには、検査対象物５の幅方向の一端縁を含む第１領域１０１の部分画像と、幅方向の他端縁を含む第２領域１０２の部分画像とが必要であるので、画像取込部１１１はこれら２箇所の部分画像を取り込む。
【００９６】
ここで、検査対象物５の幅方向がエリア画像１００の水平方向（図１４（ａ）における左右方向）となり、且つ検査対象物５の幅方向の全長がエリア画像１００内に収まるようにカメラ２の向きおよび視野が設定されている。図１４の例では、第１領域１０１はエリア画像１００の左端から複数画素の範囲に設定され、第２領域１０２はエリア画像の右端から複数画素の範囲に設定されている。
【００９７】
これら第１領域１０１および第２領域１０２の各部分画像１０８，１０９は、エリア画像内の同一の水平走査線（水平走査に係るライン）上に設定されており、図１４（ｂ）に示すようにエリア画像１００の垂直方向に１画素分の幅を有している。第１領域１０１および第２領域１０２の長さは、両者の和がエリア画像１００の水平方向の寸法よりも小さく設定され、これにより、第１領域１０１および第２領域１０２は、エリア画像１００上において連続せず水平方向に離れて設定されることになる。また、抽出領域（第１領域１０１、第２領域１０２）はエリア画像１００における決まった位置に設定されるので、水平方向における第１領域１０１と第２領域１０２との間隔Ｗ０は既知である。
【００９８】
最適化処理部１１６は、カメラ２から取り込まれた第１領域１０１の部分画像１０８と第２領域１０２の部分画像１０９とを、水平方向に隙間なく並べることにより、図１４（ｃ）に示すように両部分画像１０８，１０９を１つに結合して結合画像を得る。このようにして得られる結合画像は、検査対象物５のうち幅方向における両端部の状態を表す画像である。
【００９９】
主処理部１２は、結合画像において検査対象物５の幅方向の一端縁から他端縁までの寸法Ｗ１を計測し、この寸法Ｗ１をエリア画像１００における第１領域１０１と第２領域１０２との間隔Ｗ０（既知）に加算することにより、検査対象物５の幅寸法を計測できる。この場合、画像処理装置１は、検査対象物５の幅寸法の計測に必要な部分画像のみを取り込んで幅寸法を計測できるので、計測処理の処理速度を向上することができる。
【０１００】
なお、本実施形態においては、画像生成部１１４は、最適化処理部１１６で結合処理が施された複数の結合画像を時系列に並べることにより二次元画像を生成する。
【０１０１】
以上説明した本実施形態の画像処理装置１によれば、画像処理に必要な最小限の画像を部分画像として取り込んで、且つ異なる抽出領域の部分画像同士を結合して結合画像を生成するので、画像処理に必要な部分の画像の対比が容易になる。
【０１０２】
その他の構成および機能は実施形態１と同様である。
【符号の説明】
【０１０３】
１  画像処理装置
２  カメラ
３  コンソール（操作装置、表示装置）
１１１  画像取込部
１１２  記憶部
１１４  画像生成部
１１５  画像記憶部
１１６  最適化処理部（結合処理部）
１３  設定記憶部
１４  表示部
１５  制御部
【図１】
0005824278.tif 000002
【図２】
0005824278.tif 000003
【図３】
0005824278.tif 000004
【図４】
0005824278.tif 000005
【図５】
0005824278.tif 000006
【図６】
0005824278.tif 000007
【図７】
0005824278.tif 000008
【図８】
0005824278.tif 000009
【図９】
0005824278.tif 000010
【図１０】
0005824278.tif 000011
【図１１】
0005824278.tif 000012
【図１２】
0005824278.tif 000013
【図１４】
0005824278.tif 000014
【図１３】
0005824278.tif 000015