(57)【要約】【課題】異常の検出や検出された異常に基づく処理の実行等をより高速化しやすい画像処理システムおよび画像処理方法を得る。【解決手段】実施形態の画像処理システムは、画像データから輝度値あるいは輝度値分布に応じて第一の画素と第二の画素とが区分された区分データを生成する第一の演算処理部を有した、第一の装置と、第一の演算処理部で生成された区分データから特定領域を決定する第二の演算処理部と、特定領域を示す情報に基づいて所定の処理を実行する処理実行制御部と、を有した第二の装置と、を備える。【選択図】図２
2015130074.tif 000002
【特許請求の範囲】
【請求項１】
画像データから輝度値あるいは輝度値分布に応じて第一の画素と第二の画素とが区分された区分データを生成する第一の演算処理部を有した、第一の装置と、
前記第一の演算処理部で生成された前記区分データから特定領域を決定する第二の演算処理部と、前記特定領域を示す情報に基づいて所定の処理を実行する処理実行制御部と、を有した第二の装置と、
を備えた、画像処理システム。
【請求項２】
前記第一の装置は、さらに、検査対象領域と非検査対象領域とを特定する第三の演算処理部を有した、請求項１に記載の画像処理システム。
【請求項３】
前記第二の装置は、さらに、前記第一の装置から得た前記画像データと前記第二の演算処理部で特定された特定領域を示す画像データとを合成する第四の演算処理部を有した、請求項１または２に記載の画像処理システム。
【請求項４】
前記第一の装置はプログラマブルロジックデバイスを含み、前記第二の装置はコンピュータプログラムにしたがって動作するデバイスを含む、請求項１〜３のうちいずれか一つに記載の画像処理システム。
【請求項５】
第一の装置と第二の装置とを有した画像処理システムによる画像処理方法であって、
前記第一の装置が、輝度値あるいは輝度値分布に応じて第一の画素と第二の画素とが区分された区分データを生成し、
前記第二の装置が、前記区分データから特定領域を決定し、前記特定領域を示す情報に基づいて所定の処理を実行する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理システムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、撮像された画像データから画像処理によって欠陥や異常等を検出する画像処理システムが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２７７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種の画像処理システムでは、異常の検出や、検出された異常の表示、検出された異常に基づく処理の実行等に遅れが生じるのが好ましくない場合がある。すなわち、異常の検出や検出された異常に基づく処理の実行等をより高速化しやすい画像処理システムおよび画像処理方法を得ることができれば有意義である。
【課題を解決するための手段】
【０００５】
実施形態の画像処理システムは、画像データから輝度値あるいは輝度値分布に応じて第一の画素と第二の画素とが区分された区分データを生成する第一の演算処理部を有した、第一の装置と、第一の演算処理部で生成された区分データから特定領域を決定する第二の演算処理部と、特定領域を示す情報に基づいて所定の処理を実行する処理実行制御部と、を有した第二の装置と、を備える。
【発明の効果】
【０００６】
実施形態によれば、一例としては、異常の検出や検出された異常に基づく処理の実行等をより高速化しやすい画像処理システムおよび画像処理方法を得ることができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態にかかる画像処理システムの一例の撮像部による撮像の様子が示された模式図である。
【図２】図２は、実施形態にかかる画像処理システムの一例のブロック図である。
【図３】図３は、実施形態にかかる画像処理システムでの処理手順の一例のフローチャートである。
【図４】図４は、実施形態にかかる画像処理システムで撮像され処理される前の画像データの一部の一例が示された模式図である。
【図５】図５は、実施形態にかかる画像処理システムによるフィルタリングの一例が示された模式図である。
【図６】図６は、実施形態にかかる画像処理システムで得られた特定領域を示す画像の一例が示された模式図である。
【図７】図７は、実施形態にかかる画像処理システムで出力される画像データの一例が示された模式図である。
【発明を実施するための形態】
【０００８】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成や制御、ならびに当該構成や制御によってもたらされる作用および結果（効果）は、あくまで一例である。本発明は、以下の実施形態に開示される構成や制御以外によっても実現可能であるとともに、基本的な構成や制御によって得られる種々の効果（派生的な効果も含む）を得ることが可能である。
【０００９】
本実施形態では、図１に示されるように、画像処理システム１は、撮像部２で撮像された検査対象物１００の検査対象面１０１の二次元の画像データを画像処理することで、検査対象面１０１の検査を行う。検査対象物１００は、一例としては、シート（紙、フィルム、膜、板等）であるが、撮像部２の撮像によって画像データが得られるものであれば、何でもよい。図１の例では、ローラ１０３（搬送機構の一部）によって搬送ベルト１０２が搬送され、搬送ベルト１０２上には、その長手方向に沿って、複数のシート状の検査対象物１００が並べて配置されている。撮像部２は、移動する搬送ベルト１０２の異なる位置を、所定の（非常に短い）時間間隔で次々に撮像する。撮像部２が取得した画像には、検査対象物１００の検査対象面１０１と、搬送ベルト１０２とが含まれている。検査対象面１０１は、検査対象領域の一例であり、搬送ベルト１０２は、非検査対象領域の一例である。
【００１０】
撮像部２は、例えば、二次元に配列された光電変換素子（光電変換部）を有したエリアセンサ（固体撮像素子、例えば、ＣＣＤ（charge  coupled  device）イメージセンサや、ＣＭＯＳ（complementary  metal  oxide  semiconductor）イメージセンサ等）である。あるいは、画像処理システム１は、複数の一次元の画像データを組み合わせて構成された二次元の画像データや、複数の二次元の画像データを組み合わせて構成されたより広い二次元の画像データについて、検査対象面１０１（検査対象物１００）の検査を行うことができる。すなわち、撮像部２は、一次元の画像データを取得するラインセンサ（ラインカメラ、イメージセンサ）であってもよいし、二次元の画像データを取得するエリアセンサであってもよい。二次元の画像データには、二次元配列された複数の画素の輝度値のデータ（以下、画素データとも称する）が含まれている。
【００１１】
また、本実施形態では、一例として、図２に示されるように、画像処理システム１は、第一の装置３と第二の装置４とを備えている。第一の装置３は、例えば、複数の論理回路が集積された集積回路、一例としては、プログラマブルロジックデバイス（ＰＬＤ：programmable  logic  device、例えば、ＦＰＧＡ（field-programmable  gate  array）や、ＣＰＬＤ（complex  programmable  logic  device）等）や、ＡＳＩＣ（application  specific  integrated  circuit）等を含むことができる。第一の装置３は、並列で比較的（第二の装置４より）高速な演算処理が可能である。第一の装置３がプログラマブルロジックデバイスを含む場合、第一の装置３の製造後に論理回路の書き換えが可能であるため、便利であるとともに、検査対象物１００や、撮像環境、装置スペック等に合わせて論理回路を変更することで、演算（検査）の精度や速度等がより向上されやすい。
【００１２】
また、第二の装置４は、例えば、コンピュータプログラム（ソフトウエアプログラム）にしたがって演算（逐次処理）を実行するデバイス（制御部４１、一例としては、ＣＰＵ（central  processing  unit）や、ＤＳＰ（digital  signal  processor）等）を含むことができる。第二の装置４は、記憶部４２（例えば、ＲＡＭ（random  access  memory）や、ＲＯＭ（read  only  memory）、フラッシュメモリ、ＨＤＤ（hard  disk  drive）、ＳＳＤ（solid    state  drive）等）を含み、所謂コンピュータとして構成されうる。コンピュータプログラムは、記憶部４２の一部（不揮発性の記憶部）にインストールされる（記憶される）。また、第二の装置４で演算された結果は、表示部５で表示される。表示部５は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electro-luminescent  display）等である。
【００１３】
図２に示されるように、第一の装置３は、前処理部３１や、記憶部３２、背景識別部３３、分配部３４、区分処理部３５、合成部３６、圧縮部３７等を備える。また、第二の装置４は、制御部４１や、記憶部４２等を備える。制御部４１は、良否判定部４３や、合成部４４、表示制御部４５等を有する。
【００１４】
以下、第一の装置３および第二の装置４の構成例ならびに動作例が説明される。図３には、第一の装置３および第二の装置４による処理の手順の一例が示されている。まずは、撮像部２で撮像が行われ、二次元の画素データ（撮像部２で撮像された画像Ｉｍ、以下単に画像Ｉｍと称される、図４参照）が得られる（Ｓ１）。
【００１５】
次に、前処理部３１は、必要に応じて、画像Ｉｍについて、前処理を実行する（Ｓ２）。このＳ２では、画像処理の一般的な前処理（フィルタリングや、平滑化等）の他、公知のベイヤ配列パターンにおける補間処理等が実行されうる。ベイヤ配列パターンとは、撮像部２の各画素に対応する素子（図示されず）がＲ（赤）、Ｇ（緑）、またはＢ（青）のうち一色の画素データ（輝度値）を取得する配列パターンである。撮像部２の素子がベイヤ配列パターンで配列されている場合、前処理部３１は、他の色の画素データを、他の複数の画素（周囲の画素）の画素データを用いて補間することができる。記憶部３２には、各画素の各色の画素データ（前処理された画素データ）が記憶されうる。
【００１６】
前処理部３１で前処理された画素データは、記憶部３２に記憶される（Ｓ３）。記憶部３２は、例えば、不揮発性の書換可能な記憶部３２（例えば、補助記憶装置）である。
【００１７】
次に、背景識別部３３は、記憶部３２に記憶された検査対象面１０１の画素データ（前処理部３１での演算処理済みのデータ、前処理済みの画像Ｉｍ）から背景に対応する領域（非検出対象領域、図１の例では、搬送ベルト１０２）を識別する（Ｓ４）。Ｓ４では、画像Ｉｍ中における背景の画像ＩｍＢは、例えば、以下の（１）〜（３）の三つの手法で識別されうる。
【００１８】
（１）画像Ｉｍ中の位置による識別
図４の例では、搬送方向（移動方向）が下方向であるが、この場合、背景識別部３３は、左端（あるいは右端）の既知の略一定幅の領域を、背景の画像ＩｍＢと識別することができる。また、検査対象面１０１（検査対象物１００、検査対象領域）の画像ＩｍＳのタイミング（すなわち、搬送ベルト１０２における検査対象物１００の位置）が既知であるような場合、画像Ｉｍの幅方向（図４の左右方向）に一定幅で伸びた領域を、背景の画像ＩｍＢと判別することができる。
【００１９】
（２）各画素の輝度値の大きさによる識別
図４の例では、輝度値が閾値より低い画素や、輝度値が閾値の範囲内に含まれる画素を、背景の画像ＩｍＢ（に含まれる画素）と判別することができる。
【００２０】
（３）各画素と当該画素に隣接するあるいは周囲の画素との輝度値の合計値による識別
図４の例では、背景の画像ＩｍＢでは、検査対象面１０１の画像ＩｍＳと比較して、当該合計値が低くなる。よって、合計値と対応する閾値との比較で、例えば、合計値が閾値より低い画素を、背景の画素ＩｍＢと決定することができる。なお、Ｓ４では、背景の画像ＩｍＢの少なくとも一部を識別できれば良い。背景識別部３３は、第三の演算処理部の一例である。
【００２１】
図３のＳ６の区分処理は、図２に示されるように並列に設けられた複数（図２の例では、一例として二つ）の区分処理部３５のうちいずれかが、順次交替で実行する。分配部３４は、区分処理部３５の割り当て（次にＳ６の区分処理を実行する区分処理部３５）を決定する（Ｓ５）。
【００２２】
分配部３４によって処理の実行が割り当てられた区分処理部３５は、画像Ｉｍから、第一の画素と第二の画素とが区分された区分データを生成する（区分処理を実行する、Ｓ６）。Ｓ６で、区分処理部３５は、例えば、各画素の画素データの閾値に対する大小によって、所謂二値化処理を実行することができる。この場合、区分処理部３５は、例えば、輝度値が閾値より低い画素を第一の画素（不良推定画素）とし、輝度値が閾値以上である画素を第二の画素（良好推定画素）として、前者（不良推定画素、第一の画素）を「１」、後者（良好推定画素、第二の画素）を「０」と区分した、区分データを生成する。第一の画素は、後の第二の装置４での演算処理で用いる必要画素の一例であり、第二の画素は、後の第二の装置４での演算処理で用いられない不要画素の一例である。図４の例では、例えば、区分処理部３５は、画像Ｉｍ内の画像Ｉｍ１，Ｉｍ２，Ｉｍ３中の画素の区分データを「１」（不良推定画素、必要画素）と決定し、それ以外の領域（図４中の白色領域）の画像ＩｍＳ中の画素の区分データを「０」（良好推定画素、不要画素）と決定する。この例では、画像データの輝度値は、例えば「０」〜「２５５」の２５６階調であるのに対し、区分データの値は、「０」または「１」の２階調である。よって、本実施形態によれば、一例としては、第一の装置３から第二の装置４へ各画素の輝度値（画素データ）が送られる場合に比べて、第一の装置３から第二の装置４へ送られるデータ（区分データ）のサイズが小さくなり、第一の装置３から第二の装置４へのデータの転送速度や第二の装置４での演算処理速度がより高速化されやすい。よって、画像処理システム１において、より遅延の少ない演算処理が実現されやすい。区分処理部３５は、輝度値に応じて区分データを生成する第一の演算処理部の一例である。
【００２３】
また、Ｓ６で、区分処理部３５は、Ｓ４で背景の画像ＩｍＢと識別された画素の区分データを、上述した良好推定画素と同じ（上述した例では「０」）にすることができる。背景の画像ＩｍＢ中の画素データは、検査対象面１０１内の良好推定画素とともに、第二の装置４の良否判定部４３での不良判定の対象とならないからである。なお、背景の画像ＩｍＢ中の画素のデータは、検査対象面１０１内の画素に割り当てた「０」または「１」とは別の値（例えば「２」等）を割り当ててもよい。ただし、この場合、第一の装置３から第二の装置４へ転送される区分データのサイズは、２ビットとなり、「０」か「１」の１ビットの区分データの場合に比べて、大きくなりやすい。
【００２４】
さらに、Ｓ６で、区分処理部３５は、図５に示されるような、ノイズ除去処理あるいは穴埋め処理（フィルタリング）を実行することができる。図５では（図６も同様）、縦横の破線で囲まれた四角形が画素Ｐである。区分処理部３５は、中心の画素Ｐ１に隣接した領域Ｆ内の各画素Ｐの区分データ（または輝度値）の合計値と対応する閾値とを比較して、画素Ｐ１の値を決定する（変更する）。例えば、図５に例示されるように、中央の画素Ｐ１の輝度値が低く（区分データの値：「１」）、当該画素Ｐ１に隣接した領域Ｆ内の全ての画素Ｐの輝度値が高い（区分データの値：「０」）場合、領域Ｆ内の画素Ｐの区分データ（または輝度値）の合計値は「０」（または輝度値の低い値）となる。したがって、この例では、合計値と対応する閾値との比較によって、合計値が対応する閾値より低い場合に、画素Ｐ１の区分データの値を「０」に決定する（変更する）ことができる。逆に、領域Ｆ内の画素Ｐの輝度値がいずれも低い場合にも、合計値とこの場合に対応して設定された閾値との比較によって、合計値が対応する閾値より高い場合に、画素Ｐ１の区分データの値を「１」に決定することができる。なお、領域Ｆは、中央の画素Ｐ１を含んでも良いし、含まなくてもよい。また、ここで説明された処理は、前処理部３１がＳ２で実行することができる。また、区分処理部３５は、輝度値分布に応じて区分データを生成する第一の演算処理部の一例である。
【００２５】
合成部３６は、複数の区分処理部３５で処理された区分データを当初の順番どおりに繋げて合成する（Ｓ７）。Ｓ７で合成部３６が合成した区分データが、第二の装置４へ送られる。
【００２６】
Ｓ２、Ｓ４、ならびにＳ６では、例えば、全ての画素のそれぞれについて同一の演算処理など、複数の論理回路が集積された集積回路によって比較的高速に並列演算しやすい処理が、実行される。そして、第一の装置３での処理によって、第一の装置３から第二の装置４へ送られ、第二の装置４で処理されるデータの、サイズが小さくなるため、第一の装置３から第二の装置４へのデータの転送速度、ならびに第二の装置４でのデータの処理速度が、より高くなりやすい。
【００２７】
良否判定部４３は、区分データに基づいて、画像処理を実行し、良否判定を行う（Ｓ８）。Ｓ８で、良否判定部４３は、例えば、参照データとのパターンマッチングによって、良否判定を実行することができる。また、良否判定部４３は、例えば、不良推定画素（区分データが「１」の画素）のグルーピング、ラベリング、領域の大きさの算出、当該大きさの閾値との比較等によって、同じグループ（群）と決定された画素群（画像）の大きさが所定の閾値と同じかあるいはより大きい場合に、当該画素群（画像）を特定領域（不良（異常）箇所）として決定することができる。良否判定部４３は、第二の演算処理部の一例である。
【００２８】
また、良否判定部４３は、特定領域と決定した画素群について、特定領域であることを表示するための情報を生成することができる。例えば、図６に例示されるように、良否判定部４３は、特定領域と決定した画像Ｉｍ３について、その重心Ｃと、重心Ｃを基準位置とした形状Ｓ（画像ＩｍＭ）を算出しておくことができる。図６の例では、形状Ｓは、重心Ｃを中心として画像Ｉｍ３を取り囲む大きさの（楕円または円）として算出される。形状Ｓの画像ＩｍＭは、特定領域を示す画像の一例である。
【００２９】
合成部４４は、第一の装置３の記憶部３２から圧縮部３７を経て得た画像Ｉｍのデータと、良否判定部４３から得た特定領域を示す画像ＩｍＭのデータとを合成する（Ｓ９）。このＳ９で、第一の装置３から得られる画像Ｉｍのデータは、圧縮部３７での圧縮処理等によってサイズが小さくされたデータである。圧縮部３７は、公知の画像圧縮処理や、間引き処理等を実行することができる。合成部４４は、第四の演算処理部の一例である。
【００３０】
表示制御部４５は、図７に示されるように、合成部４４で合成された画像が表示されるよう、表示部５を制御する（Ｓ１０）。表示制御部４５は、処理実行制御部の一例である。なお、処理実行制御部は、警報が発せられるよう表示部５や音声出力部（図示されず）を制御する警報制御部や、検査ラインや製造ラインを停止する停止制御部等であってもよい。
【００３１】
以上のように、本実施形態では、一例として、区分処理部３５（第一の演算処理部）を有した第一の装置３と、良否判定部４３（第二の演算処理部）と表示制御部４５（処理実行制御部）とを有した第二の装置４と、を備える。よって、本実施形態によれば、一例としては、区分処理部３５での処理によってデータサイズを小さくできるので、一例としては、第一の装置３から第二の装置４へのデータの転送速度あるいは第二の装置４でのデータの処理速度が高まりやすい。
【００３２】
また、本実施形態では、一例として、背景識別部３３（第三の演算処理部）が背景（非検査対象領域）を除去することができる。よって、一例としては、背景を含む画像データに対して区分処理部３５が処理を実行する場合に比べて、処理実行時間がより短くなりやすい。
【００３３】
また、本実施形態では、一例として、合成部４４（第四の演算処理部）は、第一の装置３から得た画像データＩｍＭと、良否判定部４３（第二の演算処理部）で特定された特定領域を示す画像データＩｍとを合成する。よって、一例としては、表示部５で、良否判定結果がよりわかりやすい画像が表示されやすい。
【００３４】
さらに、本実施形態では、一例として、第一の装置３はプログラマブルロジックデバイスを含み、第二の装置４はコンピュータプログラムにしたがって動作する制御部４１（デバイス）を含む。第二の装置４の良否判定部４３によるＳ８での演算処理は、バリエーションや場合分けが多くなるため、並列演算には向かない。一方、第一の装置３の各部によるＳ２，Ｓ４，Ｓ６では、複数の画素について論理ゲートによる並列演算が可能である。すなわち、本実施形態では、第一の装置３で並列演算を実行するとともに、第二の装置４で並列演算に向かない演算を実行することで、本実施形態にかかる画像処理をより高速化することができる。これにより、一例としては、異常の検出や検出された異常に基づく処理の実行等の周期をより短くすることができ、ひいては、効率の向上や、製品のスループットの向上等に資する。
【００３５】
また、本実施形態では、一例として、第一の装置３は、プログラマブルロジックデバイスを含むことができる。よって、本実施形態によれば、一例としては、検査対象物や、検査対象領域、検査環境、要求される精度や周期等に応じて第一の装置３のスペックを変更して、より不都合が少ない状態で演算処理（検査）が実行されやすい。
【００３６】
以上、本発明の実施形態を例示したが、上記実施形態はあくまで一例である。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態の構成や形状は、部分的に他の構成や形状と入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、角度、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。
【符号の説明】
【００３７】
１…画像処理システム、３…第一の装置（プログラマブルロジックデバイス）、４…第二の装置、３３…背景識別部（第三の演算処理部）、３５…区分処理部（第一の演算処理部）、４１…制御部（デバイス）、４３…良否判定部（第二の演算処理部）、４４…合成部（第四の演算処理部）、４５…表示制御部（処理実行制御部）、Ｉｍ２，Ｉｍ３…（特定領域の）画像、ＩｍＢ…（背景、非検査対象領域の）画像、ＩｍＳ…（検査対象領域の）画像。
【図１】
2015130074.tif 000003
【図２】
2015130074.tif 000004
【図３】
2015130074.tif 000005
【図４】
2015130074.tif 000006
【図５】
2015130074.tif 000007
【図６】
2015130074.tif 000008
【図７】
2015130074.tif 000009