(57)【要約】【課題】  物体表面上の有色疵や変色を確実に検出するとともに、疵判定ロジックの調整・再作成を容易にする。【解決手段】  撮像部１００は、検査対象の表面をカラー撮影してＲＧＢ信号を得る。信号変換部２００は、ＲＧＢ信号を均等色空間の信号に変換する。疵検出部３００は、得られた検査画像の各画素について、均等色空間の色域（色相又は彩度）を分割した分割領域の成分を含むか否かで、分割領域の色相又は彩度に対応した２値化画像を得て、これに基づいて表面の有色疵を検出する。【選択図】      図１
2005233826.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の表面を撮像してＲＧＢ信号を得る撮像部と、
前記ＲＧＢ信号を均等色空間の信号に変換する信号変換部と、
前記信号変換部により変換された信号のうち色に関する信号により構成される画像に基づいて、検査対象の表面の疵を検出する疵検出部と、
を備えた表面検査装置。
【請求項２】
前記疵検出部は、前記均等色空間の信号に変換された画像から、均等色空間の色域を分割した所定の分割領域の情報に基づいて２値化画像を構成して、検査対象の表面の疵を検出する請求項１に記載の表面検査装置。
【請求項３】
前記２値化画像は、前記均等色空間の信号に変換された画像から、前記所定の分割領域に含まれる画素を抽出して構成される請求項２に記載の表面検査装置。
【請求項４】
前記色に関する信号は、色相及び彩度に関連する信号である請求項１〜３のいずれか１項に記載の表面検査装置。
【請求項５】
前記疵検出部は、前記色に関する信号により構成される画像と明度に関する信号により構成される画像に基づいて、検査対象の表面の疵を検出する請求項１〜４のいずれか１項に記載の表面検査装置。
【請求項６】
前記信号変換部は、前記ＲＧＢ信号を標準色に基づく補正情報を用いて変換した信号を、均等色空間の信号に変換する請求項１〜５のいずれか１項に記載の表面検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表面検査装置に関し、特に表面の有色疵や変色等を検出する表面検査装置に関する。
【背景技術】
【０００２】
例えば鋼板製造工程における鋼板表面の疵の検査装置においては、撮像用に白黒のＣＣＤカメラが用いられているが、色のついた疵や広い範囲にわたるコーティング材の変色（以下、変色等も含めて「疵」という。）を検出するためにはカラーカメラを使用することが望ましい。従来から、カラー画像を有効に利用するために、撮像の結果得られたＲＧＢ信号に対して各種の処理を行うことが提案されている。例えば、得られたＲＧＢ信号を個別に使用することによって疵を検出する方法があり、またＲＧＢ信号のうちＲとＧ信号を用い、Ｒ信号とＧ信号及びこれらの信号の和及び積を処理して疵を検出する方法がある（特許文献１及び２参照）。
【０００３】
しかしながら、ＲＧＢ信号及びこれらを合成（和や積）した信号を用いた場合、各信号には、人間の色感覚との直接的な対応がないため、疵を判定するためのロジックの調整が容易ではない。また、判定ロジックを構築した後そのロジックの解釈が困難で、ロジックの再構築が難しい。したがって、新たな疵に対応するロジックを構築するためには、最初から作り直す必要があった。
【０００４】
【特許文献１】特許第２６９８６９６号公報
【０００５】
【特許文献２】特許第２６９８６９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、有色疵や変色等を正確に検出するとともに、疵判定ロジックを構築・調整することが容易な表面検査装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するために、カラー撮像部と、信号変換部と、疵検出部とを備える表面検査装置であって、カラー撮像部から得られるＲＧＢ信号を均等色空間に変換して疵を検出するようにした。
【０００８】
また、本発明では、疵検出部においては、均等色空間の信号に変換された画像から、均等色空間の色域を分割した分割領域の情報に基づいて２値化画像を構成し、これに基づいて疵を検出するようにしてもよく、さらに、２値化画像は、均等色空間の信号に変換された画像から、分割領域に含まれる信号成分を有する画素を抽出して構成するようにしてもよい。
【０００９】
ここで、色に関する信号は、色相及び彩度の信号を採用するようにしてもよい。
【００１０】
さらに、疵検出部は、明度の信号により構成される画像を加味して疵を検出するようにもできる。
【００１１】
さらに、信号変換部は、ＲＧＢ信号を標準色に基づく補正情報により変換した信号を用いて均等色空間の信号に変換するようにしてもよい。
【発明の効果】
【００１２】
本発明では、均等色空間に変換した色に関する信号を用いるので、有色疵や変色を正確に検出することができ、均等色空間の信号は色相又は彩度という人間が感じる色感覚と直接的な関連があるので、疵の色あるいは色の濃さなどとの対応付けが容易にできる。
【００１３】
人間が感じる２色の色差は、均等色空間では２色すなわち空間内の２点のユークリッド距離で表すことができ、疵の色差に基づくロジックが色覚的に正確に数値で表せる。
【００１４】
色相及び彩度は、明度とは異なりシェーディングの影響をほとんど受けることがないので、シェーディング補正の必要がない。したがって、シェーディング補正の結果大面積の変色や疵が消失して、このような疵が検出できないということがなくなる。
【００１５】
キャリブレーション機能を備え、照明色温度やカメラのカラーバランスを補償すると、標準光源下での色情報の基づいた検出処理が可能となる。このため別途用意した標準色からどれくらい離れているかというロジックの記述も可能となる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態を説明する前に理解を容易にするため、図１を参照して本発明の概略を説明する。本発明の表面検査装置は、撮像部１００、信号変換部２００、疵検出部３００を備える。撮像部１００は、検査対象の表面をカラー撮影してＲＧＢ信号を得る。信号変換部２００は、ＲＧＢ信号を均等色空間の信号に変換する。疵検出部３００では、均等色空間の色に関する信号により構成される画像から変色や有色疵のような疵を検出する。本発明の一態様では、信号変換部２００は、ＲＧＢ信号をまず補正情報により変換して、その信号を均等色空間の信号に変換する。また、他の一態様では、疵検出部３００は、均等色空間の色域を分割した分割領域の情報を用いて、分割領域に対応した２値化画像を構成して、これに基づいて疵判定を行うようにしてもよい。さらに、この２値化画像は、均等色空間の信号に変換された画像から、所定の分割領域に含まれる画素を抽出して構成することができる。
【００１７】
以下、図２〜６を参照して本発明の実施の形態を説明する。図２には、本発明の一実施形態の表面検査装置の撮像部の概略を示す。
【００１８】
ここでは、鋼板の疵検出装置を例として説明する。鋼板１は、製造工程中にあって図の矢印方向に通板している。蛍光灯２は、鋼板１の表面を照明するように配置され、通常鋼板の幅より広い幅Ｗを照明可能である。カラーＣＣＤカメラ３は、蛍光灯２により照明された鋼板１表面を撮像可能に配置される。蛍光灯２及びカラーＣＣＤカメラ３は適宜に配置できるが、本例では、蛍光灯２は、鋼板１表面に近接して、２４０ｃｍの幅を照明するように配置し、カラーＣＣＤカメラ３は、鋼板１に垂直な面から２０度の角度θをもって、鋼板１から２００ｃｍの距離Ｌに配置する。カラーＣＣＤカメラ３は、流れてくる鋼板１表面のカラー画像をＲＧＢ信号としてパーソナルコンピュータのような信号処理装置（図示せず）に入力する。本発明では、以下に詳細に説明するように、このＲＧＢ信号を均等色空間の信号に変換して疵判定を行う。本例の場合、ＣＣＤカラーカメラ３はカラーのＣＣＤラインセンサを使用している。
【００１９】
図３に、本実施形態の疵判定フローを示す。
ステップＳ１では、カラーカメラからのＲＧＢ信号を信号処理装置であるパーソナルコンピュータのボードを介して信号処理装置のメモリに読み込む。
【００２０】
ステップＳ２では、読み込まれたＲＧＢ信号に対して、次の（１）式のように事前に求めておいた３×３の変換行列Ｍを用いて線形補正を行い、Ｒ’Ｇ’Ｂ’信号を得る。この補正は、撮像時の照明色温度やカメラのカラーバランスの相違を補償するためのものである。
【００２１】
【数１】
2005233826.tif 000003
【００２２】
なお、ここで使用する変換行列Ｍは、市販の標準色チャート（２４色のパッチをもつ）を用いて行うキャリブレーションの結果によって求める。すなわち、実際の疵検査と同じ照明で、同じカメラを用いて標準色チャートを撮像し、得られた各パッチの色が、測色計で予め測っておいた色になるように変換する補正情報である変換行列Ｍ（３×３行列）を求める。具体的には以下の２４次元連立方程式に最小二乗法を適用する。
【００２３】
【数２】
2005233826.tif 000004
【００２４】
ステップＳ３では、得られたＲ’Ｇ’Ｂ’信号からＸＹＺおよび均等色空間の一例であるＣＩＥ−Ｌａｂ表色系を経由してＬＣＨ表色系に変換する。ここで、ＸＹＺ、ＣＩＥ−Ｌａｂ及びＬＣＨ表色系はいずれもＣＩＥ（国際照明委員会）で標準化されているもので、ＬＣＨはＣＩＥ−Ｌａｂを極座標変換したものである。次の式（２）は、Ｒ’Ｇ’Ｂ’信号からＸＹＺ表色系への変換を表すもので、式（３）は、ＸＹＺ表色系からＣＩＥ−Ｌａｂ表色系への変換を表す式である。
【００２５】
【数３】
2005233826.tif 000005
【００２６】
【数４】
2005233826.tif 000006
【００２７】
ここで、均等色空間を図３を参照して説明する。
図４は、均等色空間の一例であるＣＩＥ−Ｌａｂ表色系及びＬＣＨ表色系の概念図である。ＣＩＥ−Ｌａｂ表色系は、Ｌ，ａ，ｂの直交３軸からなり、Ｌ軸は、縦軸であって明度の軸であり、ａ軸は赤（＋ａ）と緑（−ａ）の軸であり、ｃ軸は黄（＋ｂ）と青（−ｂ）の軸である。ａ−ｂ平面では、円周方向に色相が変化し、半径方向に彩度が変化する。彩度は、半径の大きさ（絶対値）が増すと彩度が増すように構成されている。ＬＣＨ表色系は、この均等色空間を直交座標から円筒座標に変換して、明度と彩度と色相により色を指定できるようにしたもので、Ｌはそのまま明度の軸とし、彩度（Ｃ）と色相（Ｈ）について、極座標を用いている。すなわち彩度（Ｃ）は（ａ２＋ｂ２）１／２（Ｌ軸からの距離）、色相（Ｈ）はｔａｎ−１（ｂ／ａ）（ａ軸からの偏角）と表現される。なお、この空間のすべての点に色が対応しているものではないことはいうまでもない。
【００２８】
このように、ステップ３（図２）でＬＣＨ表色系に変換した後、明度、彩度、色相について、それぞれ疵検出のための信号処理を行う。
【００２９】
まず、明度（Ｌ）については、本発明に必須のものではないが、色のついていない疵を発見しようとする場合には必要で、従来と同様の処理を行う。
【００３０】
すなわち、ステップＳ４では、シェーディング補正を行う。シェーディングとは、カメラを使用して物体を撮影した場合、レンズの周辺部では光量がコサイン４乗則等に従って落ち、画像の中央部から左右に離れるに従って画像が暗くなることをいい、これを補正するには、元画像の低周波成分で元画像を除算又は減算すればよい。
【００３１】
ステップＳ５では、明度に関して、シェーディング補正後の画像を予め決められた閾値で２値化しラベリングして、疵候補とする。
【００３２】
ステップＳ６では、ラベリングで抽出された明度に関する疵候補に対して、それぞれの特徴量を計算する。
【００３３】
以下、彩度と色相についての疵検出処理を説明するが、その前に彩度と色相については、明度についての疵検出処理で必要であったシェーディング補正は必要がないことを説明する。図５（ａ）〜（ｃ）は、均一な鋼板の表面を撮像し、鋼板の横幅方向に亘ってＬａｂの各々の大きさをプロットしたものである。（ａ）がＬ値、（ｂ）がａ値、（ｃ）がｂ値を示す。図から明らかなように、明度（Ｌ）では、中央が最も明度が高く、周辺にいくに従い暗くなり、シェーディングがはっきり見られる。しかしながら、ａ値及びｂ値では、中央部と周辺部との差はほとんど見られない。彩度と色相はａ値及びｂ値から変換して得るものであるから、シェーディングの影響はほとんどない。したがって、シェーディング補正を行う必要はない。これは、色相や彩度を利用して疵を検出する際の利点となる。有色の疵が大面積に広がっている場合、大面積の疵は一般に低周波成分が多く、シェーディング補正は、元画像の低周波成分で元画像を除算（減算）するものであるから、明度だけを利用して疵を検出すると、シェーディング補正の結果大面積疵が消失することがあった。しかしながら、彩度及び色相の情報を利用すると、シェーディング補正を行わないのでこのようなことはなくなる。
【００３４】
色相についての疵検出処理については、ステップＳ７で、均等色空間の色域（色相の場合は色相領域）を分割した分割領域に基づいて画像の２値化及びラベリング処理を行う。色相の分割領域に基づく画像の２値化とは、所定の分割領域の色相成分を、検査画像の画素が含んでいるか否かを基準に２値化するもので、色相を分割しておくことは、色相に関する２値化を行う前提として必要なものである。分割領域の大きさ、形状、数等は、検査対象に応じて決定することができる。
【００３５】
これを、図６を参照して説明する。図６の中央に色相分割の一例を示した。分割方法及び分割数は適宜選択できるが、本例では、全色相領域（０°〜３６０°）を４５°づつ８等分する。
【００３６】
図６の中央の円は、図４に示したａ−ｂ平面にあり、横軸の＋ａは赤、−ａは緑、縦軸の＋ｂは黄、−ｂは青である。＋ａ軸から３６０°を８等分して領域１〜８とする。領域１、８は赤色系、領域２、３は、黄色系、領域４，５は、緑色系、領域６，７は青色系の領域である。実際には、隣接した領域は、若干の重複すなわちオーバーラップを持たせて分割している。
【００３７】
ステップＳ７では、各色相領域１〜８に対して、均等色空間に変換された画像の画素ごとに、各色相領域１〜８に含まれる色相を有するか否かを判定し、該画素を抽出して各領域に対応して２値化画像を構成する。例えば、色相領域１に対応して、色相領域１に含まれる色相を有する画素を画像から抽出することにより、２値化画像を構成する。この２値化画像は、領域１に含まれる信号成分を有する画素と領域１に含まれる信号成分を含まない画素とに２値化したものである。これを領域２〜８に対しても行い、それぞれ２値化画像を得る。
【００３８】
図６に、変色した鋼板を撮像した画像から抽出された２値化画像１〜８の例を示す。前述のように、２値化画像１〜８は、色相領域１〜８に含まれる画素を有するか否かで抽出され構成された２値化画像である。なお、２値化した画像に対しては通常のようにラベリング処理を行っている。図５に示した各色相領域１〜８に対応する８枚の２値化画像は、ラベリング処理を終了したものである。
【００３９】
図６において、色相領域１の横に示した２値化画像１は、撮像され、均等色空間に変換された画像中に色相領域１に含まれる画素が存在するか否かで２値化したものであるから、色相領域１に含まれる画素が存在する部分（図の斜線部）には赤色系の色相が存在することを示し、その他の部分には色相領域１に含まれる赤色系の色相は存在しないことを示す。このことは、他の領域２〜８に対応する２値化画像についてもいえる。例えば、色相領域７に対応する２値化画像７は、当該画像の色相領域７に含まれる色相すなわち青色系を含む画素からなる部分（図の斜線部）と色相領域７に含まれる色相を含まない部分とに分けられていることになる。
【００４０】
この例の鋼板の色は赤色系であることから、例えば、２値化画像１，８に現れている広い面積の部分は、鋼板の地色を示し、２値化画像４〜７に現れている部分は、青又は緑を含む色に変色した領域であると分析できる。
【００４１】
ステップＳ８では、ラベリングで抽出された色相に関する疵候補に対して、それぞれの特徴量を計算する。
【００４２】
彩度については、色相と同様に、ステップＳ９で領域を分割する。分割対象の全彩度領域としては０〜１００程度を考慮すればよく、実際にどの程度の大きさまで含んで分割する領域を構成するかは、検出対象等に応じて適宜決定される。決められた全彩度範囲を本例では、色相と同じ８個の領域に分割する。彩度は、図３に示すように、ａ−ｂ平面の半径方向に変化するので、本例では、半径方向に等間隔に８個の領域に分割する。分割された領域は８個の同心円で区切られた円環状の領域となる。
【００４３】
ステップＳ１０では、色相と同様に、分割して得られた８個の彩度領域に対応して、各彩度領域に含まれる彩度成分を有する画素があるか否かで２値化して８枚の２値化画像を得る。この各領域に対応した２値化画像についてラベリング処理する。
【００４４】
ステップＳ１１では、ラベリングで抽出された彩度に関する疵候補に対して、それぞれの特徴量を計算する。
【００４５】
ステップＳ６、Ｓ８及びＳ１１において計算される特徴量としては、（１）疵候補の外接長方形の幅・長さと、その面積すなわち画素数と、（２）明度、彩度、色相の各場合に応じて、平均明度、最大及び最小明度、明度分散、あるいは平均彩度、最大及び最小彩度、彩度分散、あるいは平均色相、最大色相最小色相、色相分散、（３）標準色（例えば鋼板であれば鋼種により標準色が決まっている）からの距離等がある。
【００４６】
ステップＳ１３では、明度、色相及び彩度に関して得られた各疵候補について算出された特徴量から、ロジックテーブルを使用して、疵か否か、疵の有害度、疵種を判定する。ロジックテーブルは本例ではif-thenルールで構成されている。
【００４７】
なお、本実施形態では、均等色空間として、ＬＣＨ表色系を用いたが、Ｌｕｖ表色系など他の均等色空間を採用してもよく、また彩度及び色相についても、明度情報を持たず彩度及び色相に変換できる情報であれば、どのような信号の形態でも使用できる。
【図面の簡単な説明】
【００４８】
【図１】本発明の表面検査装置の概略を示す図である。
【図２】本発明の一実施形態で使用する表面検査装置の撮像部の概略を示す図である。
【図３】本発明の一実施形態の動作フローを示す図である。
【図４】本発明の一実施形態の均等色空間の概略を示す図である。
【図５】シェーディング補正の必要性を説明する図である。
【図６】本発明の一実施形態における色相の分割領域及び２値化画像を示す図である。
【符号の説明】
【００４９】
１…鋼板
２…蛍光灯
３…ＣＣＤカラーカメラ
【図１】
2005233826.tif 000007
【図２】
2005233826.tif 000008
【図３】
2005233826.tif 000009
【図４】
2005233826.tif 000010
【図５】
2005233826.tif 000011
【図６】
2005233826.tif 000012