(57)【要約】【課題】カラー画像に現れるエッジ点について、色彩変化の方向を正しく反映した角度データを取得できるようにする。【解決手段】カラー画像を構成する各画素に順に着目しつつ、着目画素につき、その画素を中心とするマスク内の画像データを用いてＸ，Ｙの方向毎に色差Ｃｘ，Ｃｙを求める。さらにこの色差の総和が所定値以上の画素について、その画素を通り、ＸＹ座標系の第１象限および第２象限に対応する２方向Ｅ１，Ｅ２毎に色差を求め、色差の大きい方の方向に色彩の変化が生じていると判別する。そしてこの判別結果および前記色差Ｃｘ，Ｃｙの値に基づき、色彩変化が生じている方向を示す角度（エッジコード）を算出する。【選択図】図５
2007128373.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像において、色彩の異なる領域間の境界に位置する点を抽出するための画像処理方法であって、
処理対象のカラー画像を構成する各画素について、その画素を中心とする所定大きさの処理対象領域を設定するステップＡと、
前記処理対象領域内の中心の画素について、この領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求めるステップＢと、
前記ステップＢで求めたＸおよびＹの各方向の色差の変化の大きさに基づき、前記処理対象領域内の中心の画素が抽出すべき点に相当するか否かを判別するステップＣと、
前記処理対象領域内の各画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、前記ステップＣで抽出すべき点に相当すると判別された画素に対応する色パラメータの変化の方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するか判別するステップＤと、
前記ステップＤでの判別結果と前記ステップＢで求められたＸおよびＹ方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を特定するステップＥとを実行することを特徴とする画像処理方法。
【請求項２】
前記ステップＤでは、前記色パラメータの変化の方向を示すベクトルについて、第３象限に対応するベクトルをその方向を反転させた第１象限に対応するベクトルとして判別するか、もしくは、第１象限に対応するベクトルをその方向を反転させた第３象限に対応するベクトルとして判別する一方、第４象限に対応するベクトルをその方向を反転させた第２象限に対応するベクトルとして判別するか、もしくは、第２象限に対応するベクトルをその方向を反転させた第４象限に対応するベクトルとして判別する請求項１に記載された画像処理方法。
【請求項３】
前記ステップＤでは、前記処理対象領域内の画素配列に前記直交する２方向Ｘ，Ｙにより規定される座標系を対応づけた場合に、その座標系の第１象限と第３象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点と、前記座標系の第２象限と第４象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点とについて、それぞれ２点間における前記色パラメータの値の差を抽出し、この差の値が大きい方の２点を結ぶベクトルに対応する象限を、前記色パラメータの変化の方向を示すベクトルに対応する象限として判別する請求項１に記載された画像処理方法。
【請求項４】
前記ステップＤでは、抽出すべき点に相当すると判別された画素に対応する前記処理対象領域の画素のデータを用いて、Ｘ，Ｙの方向毎にその方向における各色パラメータの値の変化量を成分とするベクトルを設定した場合の各ベクトルの内積に相当する判定用パラメータを求め、この判定用パラメータの値に基づき前記色パラメータの変化の方向を示すベクトルに対応する象限を判別する請求項１に記載された画像処理方法。
【請求項５】
カラー画像の処理が可能なコンピュータに、前記カラー画像上で色彩の異なる領域間の境界に位置する点を抽出する機能を設定するためのプログラムであって、
前記カラー画像を構成する各画素に順に着目して、この着目画素を中心に所定大きさの処理対象領域を設定する領域設定手段；
前記着目画素について、前記処理対象領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求める色差算出手段；
前記色差算出手段が求めた各方向の色差の変化の大きさに基づき、前記着目画素が抽出すべき点に相当するか否かを判別する第１の判別手段；
前記抽出すべき点に相当すると判別された画素に対応する前記処理対象領域内の各画素のデータを用いて、これらの画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、前記抽出すべき点に対応する色パラメータの変化の方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別する第２の判別手段；
前記抽出すべき点に相当すると判別された画素について、前記第２の判別手段による判別結果と前記色差算出手段により求められたＸ，Ｙの各方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を表す情報を求める方向特定手段；
の各手段として、前記コンピュータを機能させるためのプログラムが含まれている画像処理用のプログラム。
【請求項６】
請求項５に記載されたカラー画像処理用のプログラムが格納されたプログラムの記憶媒体。
【請求項７】
カラー画像の処理が可能な画像処理装置であって、
前記カラー画像を構成する各画素に順に着目して、この着目画素を中心に所定大きさの処理対象領域を設定する領域設定手段；
前記着目画素について、前記処理対象領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求める色差算出手段；
前記色差算出手段が求めた各方向の色差の変化の大きさに基づき、前記着目画素が抽出すべき点に相当するか否かを判別する第１の判別手段；
前記抽出すべき点に相当すると判別された画素に対応する前記処理対象領域内の各画素のデータを用いて、これらの画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、前記抽出すべき点に対応する色パラメータの変化の方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別する第２の判別手段；
前記抽出すべき点に相当すると判別された画素について、前記第２の判別手段による判別結果と前記色差算出手段により求められたＸ，Ｙの各方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を表す情報を求める方向特定手段；
の各手段を具備する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カラー画像を対象とする画像処理技術に関する。特に、この発明は、色彩の異なる領域間の境界に位置する点を認識するための画像処理方法、その方法を実行する機能をコンピュータに設定するためのプログラム、および前記方法を実行する機能を有する画像処理装置に関する。
【背景技術】
【０００２】
従来のモノクロの濃淡画像処理で測定対象の物体を検出する際には、エッジ抽出処理が行われることが多い。さらに、近年、出願人により、高精度の処理を行うために、画像上のエッジを構成する点（以下、「エッジ点」という。）毎に、水平方向および垂直方向における濃度差に基づき、濃度勾配方向を表す角度データ（以下、「エッジコード」という。）を求めることが提案されている。
【０００３】
たとえば、所定の輪郭形状を有する対象物を抽出する場合には、あらかじめ対象物のモデルの画像を用いて前記エッジコードの基準の分布パターンを登録しておき、処理対象の画像において、前記基準の分布パターンに近い状態でエッジコードが分布している領域を抽出する（特許文献１参照。）。また線状の対象物を検出する場合には、エッジコードを用いて前記対象物の輪郭を構成するエッジ点を特定した後、そのエッジコードの方向に直交する方向に沿って線分を設定する（特許文献２参照）。
【０００４】
【特許文献１】特開２００２−２３０５４９  公報
【特許文献２】特開２００４−１３３８１１  公報
【０００５】
一方、カラー画像は、一般に、Ｒ，Ｇ，Ｂの画像データを組み合わせた構成をとるので、エッジコードを用いた処理を行う場合には、カラー画像データをモノクロの濃淡画像データに変換する必要があった。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、色彩の変化の方向をエッジコードに正しく反映させるには、各種の色彩がそれぞれ異なる濃度で表わされるような変換処理を行う必要があるため、変換のための演算が複雑になり、処理に時間がかかるという問題がある。
このため、モノクロ画像におけるエッジコードの算出方法をカラー画像に適用するための方法を考える必要がある。
【０００７】
モノクロの濃淡画像におけるエッジコードは、濃度が変化する方向（濃度勾配方向）を表すものであるが、カラー画像では、色彩の大きな変化によってエッジが生じるから、その色彩の変化の方向をエッジコードとするのが適切であると考えられる。すなわち、モノクロ濃淡画像の処理では、水平方向および垂直方向についてそれぞれ濃度の変化量を求め、これらの変化量からエッジコードを算出していたが、カラー画像の処理では、濃度の変化量に代えて、水平、垂直の各方向における色彩の変化量（色差）を求めるべきであると考えられる。
【０００８】
ここで、色差の算出方法について、具体例を用いて説明する。
たとえばＲ，Ｇ，Ｂの三原色のパラメータ（以下、これらを「色パラメータ」という。）によって色彩が表わされている場合には、各色彩は、前記各色パラメータを軸とするユークリッド空間（以下、「色空間」という。）内の１点にプロットされる。また色差は、この色空間における２点間の距離として表される。
【０００９】
たとえば、図９に示すように、水平方向をＸ軸、垂直方向をＹ軸とするＸＹ座標系が設定された画像において、隣り合う２つの画素の画像データを、それぞれ（Ｒａ，Ｇａ，Ｂａ）（Ｒｂ，Ｇｂ，Ｂｂ）とすると、これらの色彩は、色空間の前記画像データに対応する点Ａ，Ｂにプロットされる。この場合、各画素間における色差ＣＤは、下記の［１］式により求められる。
【００１０】
【数１】
2007128373.tif 000003
【００１１】
上記によれば、カラー画像においては、Ｘ，Ｙの各方向毎に、濃度差に代えて、上記の［１］式を用いて色差を求めれば良いように思われる。しかし、上記の［１］式で求められる値は常に正の値であるため、算出されるエッジコードは、色彩の変化を正しく反映しないものとなる。
【００１２】
上記問題を図１０，１１を用いて説明する。まず図１０は、色彩変化の方向を特定するための座標系を示す。
従来のモノクロ濃淡画像の処理では、Ｘ，Ｙのいずれの方向でも、正または負の値を持つ濃度差が得られるため、この座標系の原点Ｏをエッジ点に対応させて、前記Ｘ，Ｙの各方向における濃度差によるベクトルの合成ベクトルを設定することにより、エッジ点を境に濃度が変化している方向を正しく表すことができる。すなわち、モノクロ濃淡画像から求められるエッジコードは、図１０のＸＹ座標系のすべての象限に分布すると考えられる。これに対し、カラー画像の場合の色差は、０または正の値となるから、エッジコードは第１象限の範囲に限定されてしまう。
【００１３】
図１１は、２種類の色彩が現れている局所領域（５画素×５画素）において、領域の中央に位置する画素を境に色彩が変化している方向を示す。
図示例において、画像Ｇ１とＧ２とでは、２つの色彩領域（塗りつぶしの領域と白地の領域）の位置が反転しているが、各領域の境界線の位置や傾きは一致している。色彩間には正負の関係はないので、画像Ｇ１，Ｇ２における色彩の変化の方向は同一であり、ともに左下から右上に向かう方向に沿って色彩が変化していると考えられる。
【００１４】
一方、画像Ｇ３では、色彩領域間の境界線の傾きが画像Ｇ１，Ｇ２とは異なる方向を向いているため、色彩の変化の方向も、画像Ｇ１，Ｇ２とは異なるものになる。
しかしながら、画像Ｇ３では、画像Ｇ１，Ｇ２と同じ値の色差が得られるだけであるので、上記の色彩変化の方向の違いを反映するようなエッジコードを得ることはできない。
【００１５】
この発明は上記の問題に着目してなされたもので、カラー画像上で色彩の異なる領域の境界に位置する点をエッジ点として抽出する場合に、そのエッジ点における色彩の変化の方向を正しく特定できるようにすることを目的とする。
【課題を解決するための手段】
【００１６】
この発明にかかる画像処理方法は、カラー画像において、色彩の異なる領域間の境界に位置するエッジ点を抽出するためのものである。この方法では、処理対象のカラー画像を構成する各画素について、その画素を中心とする所定大きさの処理対象領域を設定するステップＡと、前記処理対象領域内の中心の画素について、この領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求めるステップＢと、前記ステップＢで求めたＸおよびＹの各方向の色差の変化の大きさに基づき、前記処理対象画像内の中心の画素が抽出すべき点に相当するか否かを判別するステップＣと、前記処理対象領域内の各画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、前記ステップＣで抽出すべき点に相当すると判別された画素に対応する色パラメータの変化の方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別するステップＤと、前記ステップＤでの判別結果と前記ステップＢで求められたＸおよびＹ方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を特定するステップＥとを実行する。
なお、この方法では、画像の水平方向をＸ方向とし、垂直方向をＹ方向としてもよいが、Ｘ，Ｙの方向の設定は、これに限定されるものではない。
【００１７】
ここで色差とは、色彩を３つの独立した色パラメータにより表し、ある色と他の色との色の違いをその色パラメータによって規定される数値の差として表したものをいう。「色差の変化の大きさ」には、特定画素間の色差の大きさや、画素間の色差の大きさを当該画素間の画面上の距離もしくはそれに相当する値で割って勾配を求める場合の算出値が含まれる。また３つの独立した色パラメータを３次元座標として得られる色空間内で、ある色と他の色とをプロットし、それらの間の距離を色差としてもよい。色パラメータには、ＲＧＢ表示、ＸＹＺ表示系、Ｌ＊ａ＊ｂ＊表色系、Ｌ＊Ｃ＊Ｈ＊表色系、ＨＳＶ表示系など、種々の表示系に応じた色パラメータを用いることができる。
【００１８】
また、処理対象領域内の中心の画素について、領域内の各画素のデータを用いて直交する２方向Ｘ，Ｙ毎に色差の変化の大きさを求める処理には、処理対象領域内の画素を、中心にある画素に対するＸ，Ｙ座標上の相対的な位置関係に基づいて重み付けして色差の変化の大きさを求める場合が含まれる。
【００１９】
ステップＡでは、たとえば着目対象の画素を中心にして、Ｘ，Ｙの各方向における画素数が同一になるような処理対象領域を設定する。ステップＢでは、上記の処理対象領域において、たとえば、前記３つの独立した色パラメータ（たとえばＲ，Ｇ，Ｂ）の画像毎に、上記の概念に基づきＸ，Ｙの各方向における色差の変化の大きさを求める。ステップＣでは、たとえば、Ｘ，Ｙ毎の色差の変化の大きさの加算値または各大きさの二乗和を所定のしきい値と比較することによって、前記処理対象領域の中心の画素がエッジ点に相当するか否かを判別する。
【００２０】
ステップＤにおいて、「処理対象領域内の各画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、抽出すべき点に相当すると判別された画素に対応する色パラメータの変化の方向を求める」処理には、１つの色パラメータの数値を用いる場合や、３つの色パラメータのうちの２つもしくは３つの数値をそのまま比較して最も変化の大きい色パラメータの方向を抽出する場合や、３つの色パラメータのうちの２つもしくは３つの数値をそれぞれ変化の大きさを重み付けして合成して得られる方向を抽出する場合が含まれる。
【００２１】
またステップＤでは、処理対象領域における色彩の変化の方向を示すベクトルが、前記図１０に示した第１〜第４の各象限のいずれの範囲に対応するかを判別しても良いが、これに限らず、判別の範囲を第１象限および第２象限に限定してもよい。前記したように、色彩の間には正負の関係がないため、前記図１１の画像Ｇ１，Ｇ２のように、色彩が反転している場合の色彩変化の方向を同一方向とすれば、第３象限に対応する方向は第１象限に対応し、第４象限に対応する方向は第２象限に対応すると、考えられるからである。
【００２２】
このようにステップＢにおいて、Ｘ，Ｙの方向毎に色差の変化の大きさを求め、ステップＤにおいて、色彩変化の方向がいずれの象限に対応するかを具体的に認識することができる。よって、ステップＥでは、ステップＤで判別された象限に含まれ、かつＸ，Ｙの各色差の変化に対応する方向について、たとえば、Ｘの正方向に対する角度を求めることができる。
なお、ステップＥでは、色彩変化の方向を示す角度を特定するのが望ましいが、これに限らず、たとえば、Ｘ，Ｙの各方向における色差の比に、＋，−の符号（ステップＤで判別された象限に対応する。）を付したものを求めてもよい。
【００２３】
さらに、上記の画像処理方法で処理対象となるカラー画像は、撮像装置により生成された全体画像であってもよいし、全体画像の一部を構成する画像であってもよい。
またステップＡ，Ｂ，Ｃは、前記処理対象のカラー画像を構成する全ての画素について実行されるが、ステップＤ，Ｅは、ステップＣで抽出すべき点に相当すると判別された画素について実行すればよい。この場合、たとえば、前記カラー画像の構成画素に順に着目し、着目画素について、ステップＡ，Ｂ，Ｃを実行した後に、その着目画素が抽出すべき点に相当すると判別された場合にのみステップＤ，Ｅを実行し、その後に着目画素を変更してもよい。または、カラー画像を構成する全ての画素について、ステップＡ，Ｂ，Ｃを実行した後に、抽出すべき点に相当すると判別された画素のみを対象として、ステップＤ，Ｅを実行するようにしてもよい。
【００２４】
上記の画像処理方法における好ましい一態様では、前記色パラメータの変化の方向を示すベクトルについて、第３象限に対応するベクトルをその方向を反転させた第１象限に対応するベクトルとして判別するか、もしくは、第１象限に対応するベクトルをその方向を反転させた第３象限に対応するベクトルとして判別する一方、第４象限に対応するベクトルをその方向を反転させた第２象限に対応するベクトルとして判別するか、もしくは、第２象限に対応するベクトルをその方向を反転させた第４象限に対応するベクトルとして判別する。よって、色パラメータの変化の方向について、Ｘ，Ｙの符号が同一の象限（第１象限または第３象限）およびＸ，Ｙの符号が異なる象限（第２象限または第４象限）の２種類を対象とした判別処理を行うことができる。
【００２５】
上記の画像処理方法における他の好ましい態様では、前記ステップＤでは、前記処理対象領域内の画素配列に前記直交する２方向Ｘ，Ｙにより規定される座標系を対応づけた場合に、その座標系の第１象限と第３象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点と、前記座標系の第２象限と第４象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点とについて、それぞれ２点間における前記色パラメータの値の差を抽出し、この差の値が大きい方の２点を結ぶベクトルに対応する象限を、前記色パラメータの変化の方向を示すベクトルに対応する象限として判別する。
【００２６】
たとえば、処理対象領域の２つの対角線について、それぞれその線上の２点間の色パラメータの値の差を求め、各差の値を比較することができる。ただし、色パラメータの値の差の算出対象は対角線に限らず、処理対象領域を通過する直線であって、一方が第１象限と第３象限とを結ぶ所定の直線に平行になり、他方が第２象限と第４象限とを結ぶ所定の直線に平行になるような２直線であればよい。
【００２７】
上記の画像処理方法における他の好ましい態様では、ステップＤでは、抽出すべき点に相当すると判別された画素に対応する前記処理対象領域の画素のデータを用いて、Ｘ，Ｙの方向毎にその方向における各色パラメータの値の変化量を成分とするベクトルを設定した場合の各ベクトルの内積に相当する判定用パラメータを求め、この判定用パラメータの値に基づき前記色パラメータの変化の方向を示すベクトルに対応する象限を判別する。
【００２８】
たとえば、Ｘ方向における各色パラメータの値の変化量をＲｘ，Ｇｘ，Ｂｘとし、Ｙ方向における各色パラメータの値の量をＲｙ，Ｇｙ，Ｂｙとすると、Ｘ，Ｙの各方向毎のベクトルＸ＊，Ｙ＊は、それぞれＸ＊＝（Ｒｘ，Ｇｘ，Ｂｘ）、Ｙ＊＝（Ｒｙ，Ｇｙ，Ｂｙ）となる。
【００２９】
よって、前記判定用パラメータをＥｄとすると、Ｅｄは下記の［２］式により求められる。
Ｅｄ＝Ｒｘ・Ｒｙ＋Ｇｘ・Ｇｙ＋Ｂｘ・Ｂｙ  ・・・［２］
【００３０】
ここで色彩の変化は、Ｒ，Ｇ，Ｂのうちの少なくとも１つのパラメータが変化することによって生じると考えられる。この変化がＸ，Ｙとも正の方向に沿って生じた場合、またはＸ，Ｙとも負の方向に沿って生じた場合には、その変化したパラメータ（たとえばＲ）の成分の積（たとえばＲｘ・Ｒｙ）が正の値をとるため、判定用パラメータＥｄも正になると考えられる。
一方、前記変化がＸ，Ｙのうちの一方では正の方向に沿って生じ、他方では負の方向に沿って生じた場合には、変化したパラメータの成分の積が負の値をとるため、判定用パラメータＥｄも負の値をとると考えられる。
【００３１】
よって、判定用パラメータＥｄが正の値をとる場合には、色彩変化が生じる方向に対応するのは第１象限であり、判定用パラメータＥｄが負の値をとる場合には、色彩変化が生じる方向に対応するのは第２象限であると、判別することができる。
【００３２】
この発明にかかる画像処理方法によれば、カラー画像において大きな色彩の変化が生じている画素をエッジ点として抽出するとともに、抽出されたエッジ点について、色彩変化の方向を正しく特定することができる。よって、この画像処理方法によってエッジ点におけるエッジコードを求めた後、前出の特許文献１，２のような測定処理を実施することが可能になり、モノクロの濃淡画像の場合と同様に、高精度の測定処理を行うことができる。
【００３３】
つぎに、この発明にかかる画像処理用のプログラムは、カラー画像の処理が可能なコンピュータに、前記カラー画像上で色彩の異なる領域間の境界に位置する点を抽出する機能を設定するためのもので、領域設定手段、色差算出手段、第１、第２の判別手段、方向特定手段、の各手段として前記コンピュータを機能させるためのプログラムが含まれる。
【００３４】
前記領域設定手段は、処理対象のカラー画像を構成する各画素に順に着目して、この着目画素を中心に所定大きさの処理対象領域を設定する。色差算出手段は、前記着目画素について、前記処理対象領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求める。
【００３５】
第１の判別手段は、前記色差算出手段が求めた各方向の色差の変化の大きさに基づき、前記着目画素が抽出すべき点に相当するか否かを判別する。第２の判別手段は、前記抽出すべき点に相当すると判別された画素に対応する前記処理対象領域内の各画素のデータを用いて、これらの画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、前記抽出すべき点に対応する色パラメータの変化の方向を求め、その変化の方向を示すベクトルがＸ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別する。
【００３６】
方向特定手段は、前記抽出すべき点に相当すると判別された画素について、前記第２の判別手段による判別結果と前記色差算出手段により求められたＸ，Ｙの各方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を表す情報を求める。
【００３７】
上記のプログラムの構成によれば、領域設定手段、色差算出手段、第１の判別手段によって、処理対象のカラー画像を構成する各画素について、前記ステップＡ，Ｂ，Ｃを実行することができる。さらに、抽出すべき点に相当すると判別された画像に対し、第２の判別手段および角度特定手段によってステップＤおよびＥを実行することができる。
【００３８】
なお、上記のプログラムには、さらに、方向特定手段により求められた情報を用いて所定の計測処理を行うためのプログラムを含めてもよい。
【００３９】
さらに、この発明にかかる記憶媒体には、上記の画像処理用のプログラムが格納される。また、この発明にかかる画像処理装置は、前記領域設定手段、色差算出手段、第１、第２の判別手段、方向特定手段を具備するものとなる。
【発明の効果】
【００４０】
この発明によれば、カラー画像に現れるエッジ点について、色彩の変化の方向を正しく反映した角度データを取得することが可能になるので、この角度データを用いて詳細な計測処理や判別処理を行うことができる。
【発明を実施するための最良の形態】
【００４１】
（１）画像処理装置の構成
図１は、この発明が適用された画像処理装置の設置例を示す。
この実施例の画像処理装置は、カメラ１、コントローラ２、モニタ３、コンソール４などにより構成されており、工場の検査ラインＬにおいて、搬送されてくるワークＷを順に撮像してカラー画像を生成し、その画像を処理することによって、前記ワークＷ上の計測対象物７（マーク、文字、欠陥など）の位置、姿勢、大きさなどの適否を判別する。
【００４２】
図２は、前記画像処理装置の電気構成を示す。
前記コントローラ２は、ＣＰＵ２１を制御主体として、フラッシュメモリ２２、ＲＡＭ２３、グラフィックコントローラ２４、カメラ用インターフェース２５、入力用インターフェース２６、外部用インターフェース２７などを具備する。
【００４３】
フラッシュメモリ２２には、プログラムや処理に必要なパラメータなどが格納され、ＲＡＭ２３には、画像データや途中の演算結果などが一時保存される。
カメラ用インターフェース２５には、前記カメラ１の駆動回路や、Ｒ，Ｇ，Ｂの各画像信号を受け付けるためのバッファ、Ａ／Ｄ変換回路（いずれも図示せず。）などが含まれる。入力用インターフェース２６は、前記コンソール４からの信号を受け付けるためのものである。外部用インターフェース２７は、図示しない外部機器（パーソナルコンピュータ、ＰＬＣなど）と通信する際に使用される。グラフィックコントローラ２４は、前記モニタに対する表示制御を実行する。
【００４４】
前記ＣＰＵ２１には、ワーク検出用のセンサ５（光電スイッチ、近接スイッチなど）が接続されている。ＣＰＵ２１は、このセンサ５からワークＷを検出した旨を示す信号を入力すると、カメラ用インターフェース２５を用いてカメラ１を駆動し、前記ワークＷを撮像させる。そして前記ワークＷのカラー画像（以下、「処理対象画像」という。）が生成され、ＲＡＭ２３に保存されると、ＣＰＵ２１は、前記フラッシュメモリ２２に記憶されたプログラムに基づき、前記計測対象物７を抽出する処理や、抽出された計測対象物７に対する計測処理を実行し、さらにその計測結果に基づき、計測対象物の良否を判定する。
【００４５】
なお、上記図１，２に示したコントローラ２は、画像処理専用に開発された装置であるが、これに限らず、たとえば、画像処理用のプログラムがインストールされたパーソナルコンピュータを使用してもよい。この場合のプログラムは、ＣＤ−ＲＯＭなどの記憶媒体または通信回線を介してパーソナルコンピュータに提供される。
【００４６】
（２）画像処理について
上記のコントローラ２のＣＰＵ２１は、前記処理対象画像上で色彩間の境界に位置する点（エッジ点）を抽出する。さらに抽出されたエッジ点について、色彩の変化の方向を表す角度データを求め、その抽出結果を用いて前記計測対象物を抽出する。
以下、処理対象画像上の色彩変化の方向を表す角度データを「エッジコード」と呼び、前記ＣＰＵ２１によるエッジ点の抽出処理およびエッジコードを算出する処理について、詳細に説明する。
【００４７】
（２）−１エッジ点の抽出処理
カラー画像では、色彩に大きな変化が生じた部分がエッジになると考えられる。そこでこの実施例では、処理対象画像の構成画素に順に着目しつつ、画素毎に、周囲近傍の画素に対する色差を求め、その値が所定のしきい値を上回る画素をエッジ点として認定するようにしている。
色差の算出はＸ，Ｙの方向毎に行われる。以下、Ｘ方向の色差をＣｘ、Ｙ方向の色差をＣｙとして、その算出方法を詳細に説明する。
【００４８】
色差Ｃｘ，Ｃｙは、いずれも、Ｒ，Ｇ，Ｂを軸とする色空間における距離として表される。具体的には、Ｃｘは、Ｘ方向における各色パラメータ毎の濃度変化量Ｒｘ，Ｇｘ，Ｂｘを用いた［３］式により求められ、Ｃｙは、Ｙ方向における各色パラメータ毎の濃度変化量Ｒｙ，Ｇｙ，Ｂｙを用いた［４］式により求められる。なお、これらの式のＲｘ，Ｒｙは、前記［１］式の（Ｒａ−Ｒｂ）に相当し、Ｇｘ，Ｇｙは［１］式の（Ｇａ−Ｇｂ）に相当し、Ｂｘ，Ｂｙは［１］式の（Ｂａ−Ｂｂ）に相当すると、考えることができる。
【００４９】
【数２】
2007128373.tif 000004
【数３】
2007128373.tif 000005
【００５０】
［３］［４］式を実行するには、まず各濃度変化量Ｒｘ，Ｇｘ，Ｂｘ，Ｒｙ，Ｇｙ，Ｂｙを求める必要がある。これらの濃度変化量は、モノクロ濃淡画像のエッジ抽出処理の場合と同様に、着目画素を中心とするマスク内の画像データをエッジ抽出フィルタにより処理する方法によって、求めることができる。
【００５１】
図３（１）〜（３）は、着目画素を中心に３画素×３画素のマスクを設定する場合のＲ，Ｇ，Ｂ毎の画像データを模式的に示したものである。また図４（１）（２）では、前記マスクに対するエッジ抽出フィルタとして、ソーベルオペレータを適用したフィルタを示している。なお、エッジ抽出フィルタはソーベルオペレータによるものに限らず、その他の構成のフィルタを使用することも可能である。
【００５２】
Ｘ方向における濃度変化量Ｒｘ，Ｇｘ，Ｂｘは、図３に示した各画像データに対し、それぞれ図４（１）のフィルタによる加重加算演算を行うことによって求めることができる。また、Ｙ方向における濃度変化量Ｒｙ，Ｇｙ，Ｂｙは、各画像データに対し、それぞれ図４（２）のフィルタによる加重加算演算を行うことによって求めることができる。
【００５３】
よって、処理対象のカラー画像に前記マスクを走査しながら、走査位置毎に前記エッジ抽出フィルタを用いて各濃度変化量Ｒｘ，Ｇｘ，Ｂｘ，Ｒｙ，Ｇｙ，Ｂｙを求め、さらにこれらの濃度変化量を用いて前記［３］［４］式を実行することにより、前記カラー画像の構成画素毎に、Ｘ，Ｙの各方向における色差Ｃｘ，Ｃｙを求めることができる。さらにこの実施例では、前記色差Ｃｘ，Ｃｙの和ＣＩが所定のしきい値を超える画素を、エッジ点に相当するものとしている。
【００５４】
（２）−２エッジコードの算出
上記の［３］［４］式によれば、Ｃｘ，Ｃｙの値は常に０以上となるが、実際の色彩変化は、正の方向に限らず、負の方向に現れる場合もある。ただし、前記図１１の画像Ｇ１，Ｇ２のように、色彩が反転しているだけの関係にある場合には、色彩の変化の方向は同じとみなしても差し支えない。したがって、少なくとも、第１象限（Ｘ＞０，Ｙ＞０）から第２象限（Ｘ＜０，Ｙ＞０）にかかる範囲（Ｘ＝０またはＹ＝０の場合も含む。）で色彩変化の方向を特定できればよい。
そこでこの実施例では、Ｘ軸の正の方向に対して色彩変化の方向がなす角度をエッジコードＥＣとして、０〜１８０°の範囲でエッジコードを特定するようにしている。
【００５５】
具体的には、色彩変化の方向が第１象限に現れている場合には、
ＥＣ＝ａｔａｎ（Ｃｙ／Ｃｘ）となり、
色彩の変化の方向が第２象限に現れている場合には、
ＥＣ＝１８０°−ａｔａｎ（Ｃｙ／Ｃｘ）となる。
またＣｘ＝０、Ｃｙ＞０のときには、ＥＣ＝９０°となる。
【００５６】
ここで、色彩変化の方向を判別するための方法として、２つの例を説明する。なお、この判別処理でも、着目画素を中心とするマスク内の画像データを処理するが、ここでは、エッジ点に相当すると判別された画素にのみ着目する。また、前記の濃度変化量の演算については、説明を簡単にするために、マスクのサイズを３画素×３画素としたが、以下の実施例におけるマスクのサイズは５画素×５画素とする。ただし、実際の処理では、両処理に共通のマスクを設定するのが望ましい。
【００５７】
＜方法１＞
図５は、色彩変化の方向を判別するための第１の方法を示す。
この方法では、マスク内の中央の画素Ｃ（エッジ点に相当すると判別された画素）を通り、第１象限および第２象限に対応する２方向、具体的にはマスクの２本の対角線を通る２方向Ｅ１，Ｅ２についてそれぞれ色差を求め、色差が大きかった方の方向に対応する象限が色彩変化の方向に対応すると判断する。
【００５８】
Ｘ，Ｙともに正方向に向かう方向Ｅ１は、第１象限に対応する。この方向Ｅ１については、マスクの左下頂点および右上頂点にあたる各画素の画像データ（Ｒ００，Ｇ００，Ｂ００）（Ｒ４４，Ｇ４４，Ｂ４４）を用いて、これらの画素間の色差を求める。
一方、Ｘが負方向に向かい、Ｙが正方向に向かっている方向Ｅ２は、第２象限に対応する。この方向Ｅ２については、マスクの右下頂点および左上頂点にあたる画素の画像データ（Ｒ４０，Ｇ４０，Ｂ４０）（Ｒ０４，Ｇ０４，Ｂ０４）を用いて、これらの画素間の色差を求める。
図５の例の場合には、方向Ｅ２における変化の方が大きくなるから、色彩の変化は第２象限に表れていると判別される。
【００５９】
このように、マスク内の４頂点の画像データを用いて簡単に色彩の変化の方向を求めることができる。ただし、方向Ｅ１，Ｅ２における変化が等しくなる場合は例外となる。たとえば、Ｒ，Ｇ，Ｂの各画像データを２５６階調で表す場合に、前記マスク内に図６に示すような色彩分布が現れた場合には、方向Ｅ１，Ｅ２の色差が等しいため、色彩変化の方向を特定できない状態となる。したがって、このような場合には、着目画素をエッジコードの算出対象からはずすようにしている。
【００６０】
＜方法２＞
色彩変化の方向を判別するための第２の方法では、前記エッジ点の抽出に使用したＲ，Ｇ，Ｂ毎の濃度変化量Ｒｘ，Ｇｘ，Ｂｘ，Ｒｙ，Ｇｙ，Ｂｙを前記した［２］式（下記に再度記載する。）にあてはめることにより、判定用パラメータＥｄを求める。そして、Ｅｄが正であれば、色彩変化の方向は第１象限に生じていると判別し、Ｅｄが負であれば、色彩変化の方向は第２象限に生じていると判別する。
Ｅｄ＝Ｒｘ・Ｒｙ＋Ｇｘ・Ｇｙ＋Ｂｘ・Ｂｙ  ・・・［２］
【００６１】
一般に、色彩の変化は、Ｒ，Ｇ，Ｂのうちの少なくとも１つの変化に伴って生じると考えられる。また２つ以上の色パラメータが変化する場合でも、殆どの場合は同じ方向に沿って変化し、異なる方向に変化が生じる場合でも、より大きな変化が生じた色パラメータの変化の方向が色彩変化の方向に対応すると考えられる。したがって、上記［２］式のＥｄに付く符号（＋，−）は、Ｒ，Ｇ，Ｂの各濃度変化のうちの最も優勢な変化によって決められると考えられる。
【００６２】
たとえば、Ｇ，Ｂは殆ど変化せず、Ｒのみに大きな変化が生じているとすると、その変化の方向が第１象限または第３象限に生じている場合（Ｒｘ＞０，Ｒｙ＞０またはＲｘ＜０，Ｒｙ＜０の場合）には、Ｒｘ・Ｒｙ＞０となり、これを反映してＥｄの符号も正になる。
一方、Ｒの変化の方向が第２象限または第４象限に生じている場合（Ｒｘ＜０，Ｒｙ＞０またはＲｘ＞０，Ｒｙ＜０の場合）には、Ｒｘ・Ｒｙ＜０となり、これを反映してＥｄの符号も負になる。
【００６３】
また、Ｘ方向における各濃度変化量（Ｒｘ，Ｇｘ，Ｂｘ）は、色空間のベクトルＸ＊に相当し、Ｙ方向における各濃度変化量（Ｒｙ，Ｇｙ，Ｂｙ）は色空間のベクトルＹ＊に相当するから、上記Ｅｄは、これらのベクトルの内積を表すことになる。したがって、Ｅｄ＞０の場合には、色空間においてベクトルＸ＊，Ｙ＊がなす角度は９０°より小さくなるのに対し、Ｅｄ＜０の場合には、色空間においてベクトルＸ＊，Ｙ＊のなす角度は９０°より大きくなる。
【００６４】
色空間においてベクトルＸ＊，Ｙ＊のなす角度は、Ｘ，Ｙの各方向における色彩の変化が正の方向または負の方向の一方に統一されている場合の方が、一方の変化が正の向きに生じ、他方の変化が負の向きに生じる場合よりも小さくなると考えられる。
上記Ｅｄの値はこの考察を裏付けるものとなる。このような点からも、前記Ｅｄのとる符号によって、色彩変化の方向に対応する象限を正しく判別できると考えることができる。
【００６５】
また上記の第２の方法では、エッジ点の抽出処理時に求めた濃度変化量Ｒｘ，Ｇｘ，Ｂｘ，Ｒｙ，Ｇｙ，Ｂｙを用いて判定用パラメータＥｄを求めることができるから、演算時間がわずかで済み、処理を高速化することができる。
【００６６】
（３）画像処理の流れについて
図７および図８は、前記カメラ１により生成された１枚分のカラー画像データに対するエッジ点の抽出処理およびエッジコードを求める処理の手順を示す。なお、この例では、色彩変化の方向に対応する象限を、前記判定用パラメータＥｄを用いて判別している。また、着目対象の画素の座標を（Ｘ，Ｙ）とし、前記したＣｘ，Ｃｙ，ＥＣなどを、前記座標（Ｘ，Ｙ）を引数とする関数として設定している。
【００６７】
まず最初のＳＴ１（ＳＴは「ＳＴＥＰ（ステップ）」の略である。以下も同じ。）において、前記カメラ１およびカメラ用インターフェース２５により生成されたカラー画像データ（Ｒ，Ｇ，Ｂの各画像データの組み合わせ）をＲＡＭ２３内に入力する。つぎのＳＴ２では、あらかじめ定めた設定データに基づき、前記カラー画像に計測対象領域を設定する。
【００６８】
ＳＴ３では、計測対象領域中でＸＹ座標系の原点に最も近い座標（Ｘ１，Ｙ１）を、前記着目画素の座標（Ｘ，Ｙ）の初期値に設定する。
ＳＴ４では、前記（Ｘ，Ｙ）を中心に所定大きさのマスクを設定する。続くＳＴ５では、前記したエッジ抽出フィルタを用いて、Ｘ，Ｙの方向毎に、Ｒ，Ｇ，Ｂの濃度変化量Ｒｘ（Ｘ，Ｙ）、Ｇｘ（Ｘ，Ｙ）、Ｂｘ（Ｘ，Ｙ）、Ｒｙ（Ｘ，Ｙ）、Ｇｙ（Ｘ，Ｙ）、Ｂｙ（Ｘ，Ｙ）を算出する。
【００６９】
ＳＴ６では、算出された各濃度変化量を前記［２］［３］式にあてはめて、Ｘ，Ｙの各方向における色差Ｃｘ（Ｘ，Ｙ）、Ｃｙ（Ｘ，Ｙ）を算出する。ＳＴ７では、これらの色差Ｃｘ（Ｘ，Ｙ）、Ｃｙ（Ｘ，Ｙ）を加算し、その加算値をＣＩ（Ｘ，Ｙ）とする。ここで、ＣＩ（Ｘ，Ｙ）が所定のしきい値を下回る場合には、ＳＴ８が「ＮＯ」となり、着目画素に対する処理を終了する。
【００７０】
一方、ＣＩ（Ｘ，Ｙ）が前記しきい値ＴＨ以上であれば、ＳＴ８が「ＹＥＳ」となる。この場合にはＳＴ１３に進んで、Ｃｘ（Ｘ，Ｙ）の値をチェックする。ここで、Ｃｘ（Ｘ，Ｙ）≠０であれば、ＳＴ１４に進み、前記ＳＴ５で求めた色パラメータ毎の濃度変化量Ｒｘ（Ｘ，Ｙ）、Ｇｘ（Ｘ，Ｙ）、Ｂｘ（Ｘ，Ｙ）、Ｒｙ（Ｘ，Ｙ）、Ｇｙ（Ｘ，Ｙ）、Ｂｙ（Ｘ，Ｙ）を［２］式にあてはめて、判定用パラメータＥｄを算出する。
【００７１】
つぎに、ＳＴ１５，１６において、前記判定用パラメータＥｄの値をチェックする。この結果、Ｅｄ＞０であればＳＴ１７において、Ｅｄ＜０であればＳＴ１８において、それぞれ前記Ｃｘ（Ｘ，Ｙ）、Ｃｙ（Ｘ，Ｙ）を用いたエッジコードＥＣ（Ｘ，Ｙ）の算出処理が行われる。
一方、先のＳＴ１３において、Ｃｘ（Ｘ，Ｙ）＝０であると判断した場合には、ＳＴ１９に進み、ＥＣ（Ｘ，Ｙ）を９０°に設定する。
【００７２】
上記のようにしてＥＣ（Ｘ，Ｙ）の値が定められると、ＳＴ２０に進み、ＥＣ（Ｘ，Ｙ）の値をＲＡＭ２３に保存する。
なお、マスク内に前記図６のような色彩分布が生じた場合には、前記判定用パラメータＥｄは０となる。この場合には、色彩変化の方向を特定できないため、ＳＴ１５，１６がともに「ＮＯ」となり、エッジコードＥＣ（Ｘ，Ｙ）を算出せずに着目画素に対する処理を終了する。
【００７３】
以下、ＳＴ９〜１２において、（Ｘ，Ｙ）の値を順に更新しながら、上記と同様の処理を実行することにより、前記計測領域内のエッジ点を抽出するとともに、各エッジ点につきエッジコードＥＣ（Ｘ，Ｙ）を算出する。
【００７４】
計測領域内の最後の座標（Ｘ２，Ｙ２）に対する処理が終了すると、ＳＴ１２が「ＹＥＳ」となり、図示された処理は完了する。この後は、ＲＡＭ２３内に格納されたエッジコードＥＣ（Ｘ，Ｙ）を用いて、計測対象物の抽出処理を実行し、さらにその対象物に対し、詳細な計測処理を実行する。
【００７５】
計測対象物の抽出処理では、従来のモノクロ濃淡画像に対するのと同様の処理を行うことができる。
たとえば、あらかじめ登録されたモデルと同形状のパターンを抽出する場合には、上記の処理により得たエッジコードＥＣ（Ｘ，Ｙ）の分布パターンを、前記モデルに対応する基準パターンと照合する（詳しくは、前出の特許文献１を参照されたい。）。
【００７６】
また円状のパターンを抽出する場合には、エッジ点毎に、そのエッジコードＥＣ（Ｘ，Ｙ）の方向に沿って線分を設定し、所定数の線分の交点を円状パターンの中心点として抽出する。
また直線状のパターンを抽出する場合には、エッジ点毎に、そのエッジコードＥＣ（Ｘ，Ｙ）の方向に沿って、着目中のエッジ点に対向するエッジ点を検索し、対向するエッジ点が見つかった場合には、前記エッジコードＥＣ（Ｘ，Ｙ）に直交する方向に沿って所定長さの線分を設定する。そして、最終的に所定数の線分が重なり合う領域を計測対象物として抽出する（詳しくは、前出の特許文献２を参照されたい。）。
【００７７】
なお、円状パターンの抽出処理では、エッジコードＥＣ（Ｘ，Ｙ）の方向およびこれに反転する方向の双方に線分を設定するのが望ましい。直線状パターンを抽出する場合にも、対向するエッジ点の検索は、着目中のエッジコードＥＣ（Ｘ，Ｙ）の方向およびこれに反転する方向の双方において行うのが望ましい。これは、抽出対象のパターンと背景との間の色彩が反転した場合にも対応できるようにする必要があるからである。
たとえば、円状パターンの抽出において、背景が青色で抽出対象のパターンが赤色の場合、青から赤に向かう方向が色彩変化の方向に設定されている場合には、背景から円の中心に向かう方向と色彩変化の方向とが一致するため、円の中心点を抽出することができる。これに対し、赤から青に向かう方向が色彩変化の方向に設定されている場合には、背景から円の中心に向かう方向は色彩変化の方向の反対方向になるため、エッジコードＥＣ（Ｘ，Ｙ）の方向に反転する方向に線分を設定しないと、円の中心点を抽出できなくなる。
【００７８】
このように、エッジコードＥＣ（Ｘ，Ｙ）を求めた後の処理において、若干の考慮を払う必要はあるが、画像上の色彩変化の方向を正しく認識することができるので、濃淡画像を処理する場合のアルゴリズムを適用して、物体の認識や計測を高い精度で行うことができる。
【００７９】
なお、この実施例では、色彩変化の方向を角度情報として求めたが、これに代えて、前記色差Ｃｘ，Ｃｙの比（Ｃｙ／Ｃｘ）と正負の符号との組み合わせとして特定してもよい。この場合、前記色彩変化の方向が第１象限に対応する場合の情報は、＋（Ｃｙ／Ｃｘ）となり、色彩変化の方向が第２象限に対応する場合の情報は、−（Ｃｙ／Ｃｘ）となる。
【図面の簡単な説明】
【００８０】
【図１】この発明が適用された画像処理装置の設置例を示す説明図である。
【図２】画像処理装置のブロック図である。
【図３】マスク内の画像データの構成を示す説明図である。
【図４】図３のマスクに対するエッジ抽出用フィルタの例を示す説明図である。
【図５】色彩変化の方向を判別するための第１の方法を説明する図である。
【図６】色彩変化の方向を特定できない例を示す説明図である。
【図７】エッジ点およびエッジコードの抽出にかかる処理の流れを示すフローチャートである。
【図８】図７の続きのフローチャートである。
【図９】カラー画像上の色彩と色空間との関係を示す説明図である。
【図１０】色彩変化の向きを表す座標系を示す説明図である。
【図１１】局所領域内における色彩の分布状態と色彩変化の方向との関係を示す説明図である。
【符号の説明】
【００８１】
１  画像処理装置
２  コントローラ
７  計測対象物
２１  ＣＰＵ
２２  フラッシュメモリ
Ｗ  ワーク
【図１】
2007128373.tif 000006
【図２】
2007128373.tif 000007
【図３】
2007128373.tif 000008
【図４】
2007128373.tif 000009
【図５】
2007128373.tif 000010
【図６】
2007128373.tif 000011
【図７】
2007128373.tif 000012
【図８】
2007128373.tif 000013
【図９】
2007128373.tif 000014
【図１０】
2007128373.tif 000015
【図１１】
2007128373.tif 000016
【手続補正書】
【提出日】平成18年10月4日(2006.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カラー画像において、色彩の異なる領域間の境界に位置する点を抽出するための画像処理方法であって、
処理対象のカラー画像を構成する各画素について、その画素を中心とする所定大きさの処理対象領域を設定するステップＡと、
前記処理対象領域内の中心の画素について、この領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求めるステップＢと、
前記ステップＢで求めたＸおよびＹの各方向の色差の変化の大きさが、前記色彩の異なる領域間の境界で認められる色差の変化の大きさに相当する処理対象領域について、領域内の各画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、領域の中心の画素を境に色パラメータが変化している方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別するステップＣと、
前記ステップＣが実行された処理対象領域の中心の画素について、ステップＣでの判別結果と前記ステップＢで求められたＸおよびＹ方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を特定するステップＤとを実行することを特徴とする画像処理方法。
【請求項２】
前記ステップＣでは、前記色パラメータの変化の方向を示すベクトルについて、第３象限に対応するベクトルをその方向を反転させた第１象限に対応するベクトルとして判別するか、もしくは、第１象限に対応するベクトルをその方向を反転させた第３象限に対応するベクトルとして判別する一方、第４象限に対応するベクトルをその方向を反転させた第２象限に対応するベクトルとして判別するか、もしくは、第２象限に対応するベクトルをその方向を反転させた第４象限に対応するベクトルとして判別する請求項１に記載された画像処理方法。
【請求項３】
前記ステップＣでは、前記処理対象領域内の画素配列に前記直交する２方向Ｘ，Ｙにより規定される座標系を対応づけた場合に、その座標系の第１象限と第３象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点と、前記座標系の第２象限と第４象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点とについて、それぞれ２点間における前記色パラメータの値の差を抽出し、この差の値が大きい方の２点を結ぶベクトルに対応する象限を、前記色パラメータの変化の方向を示すベクトルに対応する象限として判別する請求項１に記載された画像処理方法。
【請求項４】
前記ステップＣでは、前記処理対象領域の画素のデータを用いて、Ｘ，Ｙの方向毎にその方向における各色パラメータの値の変化量を成分とするベクトルを設定した場合の各ベクトルの内積に相当する判定用パラメータを求め、この判定用パラメータの値に基づき前記色パラメータの変化の方向を示すベクトルに対応する象限を判別する請求項１に記載された画像処理方法。
【請求項５】
カラー画像の処理が可能なコンピュータに、前記カラー画像上で色彩の異なる領域間の境界に位置する点を抽出する機能を設定するためのプログラムであって、
前記カラー画像を構成する各画素に順に着目して、この着目画素を中心に所定大きさの処理対象領域を設定する領域設定手段；
前記着目画素について、前記処理対象領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求める色差算出手段；
前記色差算出手段が求めた各方向の色差の変化の大きさが前記色彩の異なる領域間の境界で認められる色差の変化の大きさに相当する処理対象領域について、領域内の各画素のデータを用いて、これらの画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、領域の中心の画素を境に色パラメータが変化する方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別する判別手段；
前記判別手段の判別対象とされた処理対象領域の中心の画素について、前記判別結果と前記色差算出手段により求められたＸ，Ｙの各方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を表す情報を求める方向特定手段；
の各手段として、前記コンピュータを機能させるためのプログラムが含まれている画像処理用のプログラム。
【請求項６】
請求項５に記載されたカラー画像処理用のプログラムが格納されたプログラムの記憶媒体。
【請求項７】
カラー画像の処理が可能な画像処理装置であって、
前記カラー画像を構成する各画素に順に着目して、この着目画素を中心に所定大きさの処理対象領域を設定する領域設定手段；
前記着目画素について、前記処理対象領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求める色差算出手段；
前記色差算出手段が求めた各方向の色差の変化の大きさが前記色彩の異なる領域間の境界で認められる色差の変化の大きさに相当する処理対象領域について、領域内の各画素のデータを用いて、これらの画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、領域の中心の画素を境に色パラメータが変化する方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別する判別手段；
前記判別手段の判別対象とされた処理対象領域の中心の画素について、前記判別結果と前記色差算出手段により求められたＸ，Ｙの各方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を表す情報を求める方向特定手段；
の各手段を具備する画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
この発明にかかる画像処理方法は、カラー画像において、色彩の異なる領域間の境界に位置するエッジ点を抽出するためのものである。この方法では、処理対象のカラー画像を構成する各画素について、その画素を中心とする所定大きさの処理対象領域を設定するステップＡと、前記処理対象領域内の中心の画素について、この領域内の各画素のデータを用いて、直交する２方向Ｘ，Ｙ毎に、当該方向における色差の変化の大きさを求めるステップＢと、前記ステップＢで求めたＸおよびＹの各方向の色差の変化の大きさが、色彩の異なる領域間の境界で認められる色差の変化の大きさに相当する処理対象領域について、領域内の各画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、領域の中心の画素を境に色パラメータが変化している方向を求め、その変化の方向を示すベクトルが前記Ｘ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別するステップＣと、ステップＣが実行された処理対象領域の中心の画素について、ステップＣでの判別結果と前記ステップＢで求められたＸおよびＹ方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を特定するステップＤとを実行する。
なお、この方法では、画像の水平方向をＸ方向とし、垂直方向をＹ方向としてもよいが、Ｘ，Ｙの方向の設定は、これに限定されるものではない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
ステップＡでは、たとえば着目対象の画素を中心にして、Ｘ，Ｙの各方向における画素数が同一になるような処理対象領域を設定する。ステップＢでは、上記の処理対象領域において、たとえば、前記３つの独立した色パラメータ（たとえばＲ，Ｇ，Ｂ）の画像毎に、上記の概念に基づきＸ，Ｙの各方向における色差の変化の大きさを求める。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
ステップＣにおいて、「処理対象領域内の各画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、領域の中心の画素を境に色パラメータが変化している方向を求める」処理には、１つの色パラメータの数値を用いる場合や、３つの色パラメータのうちの２つもしくは３つの数値をそのまま比較して最も変化の大きい色パラメータの方向を抽出する場合や、３つの色パラメータのうちの２つもしくは３つの数値をそれぞれ変化の大きさを重み付けして合成して得られる方向を抽出する場合が含まれる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
またステップＣでは、処理対象領域における色彩の変化の方向を示すベクトルが、前記図１０に示した第１〜第４の各象限のいずれの範囲に対応するかを判別しても良いが、これに限らず、判別の範囲を第１象限および第２象限に限定してもよい。前記したように、色彩の間には正負の関係がないため、前記図１１の画像Ｇ１，Ｇ２のように、色彩が反転している場合の色彩変化の方向を同一方向とすれば、第３象限に対応する方向は第１象限に対応し、第４象限に対応する方向は第２象限に対応すると、考えられるからである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
このようにステップＢにおいて、Ｘ，Ｙの方向毎に色差の変化の大きさを求め、ステップＣにおいて、色彩変化の方向がいずれの象限に対応するかを具体的に認識することができる。よって、ステップＤでは、ステップＣで判別された象限に含まれ、かつＸ，Ｙの各色差の変化に対応する方向について、たとえば、Ｘの正方向に対する角度を求めることができる。
なお、ステップＤでは、色彩変化の方向を示す角度を特定するのが望ましいが、これに限らず、たとえば、Ｘ，Ｙの各方向における色差の比に、＋，−の符号（ステップＣで判別された象限に対応する。）を付したものを求めてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
さらに、上記の画像処理方法で処理対象となるカラー画像は、撮像装置により生成された全体画像であってもよいし、全体画像の一部を構成する画像であってもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
上記の画像処理方法における好ましい一態様では、ステップＣにおいて、前記色パラメータの変化の方向を示すベクトルについて、第３象限に対応するベクトルをその方向を反転させた第１象限に対応するベクトルとして判別するか、もしくは、第１象限に対応するベクトルをその方向を反転させた第３象限に対応するベクトルとして判別する一方、第４象限に対応するベクトルをその方向を反転させた第２象限に対応するベクトルとして判別するか、もしくは、第２象限に対応するベクトルをその方向を反転させた第４象限に対応するベクトルとして判別する。よって、色パラメータの変化の方向について、Ｘ，Ｙの符号が同一の象限（第１象限または第３象限）およびＸ，Ｙの符号が異なる象限（第２象限または第４象限）の２種類を対象とした判別処理を行うことができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
上記の画像処理方法における他の好ましい態様では、前記ステップＣにおいて、前記処理対象領域内の画素配列に前記直交する２方向Ｘ，Ｙにより規定される座標系を対応づけた場合に、その座標系の第１象限と第３象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点と、前記座標系の第２象限と第４象限とを結ぶ直線群のいずれかの直線に平行な直線上の２点とについて、それぞれ２点間における前記色パラメータの値の差を抽出し、この差の値が大きい方の２点を結ぶベクトルに対応する象限を、前記色パラメータの変化の方向を示すベクトルに対応する象限として判別する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
上記の画像処理方法における他の好ましい態様では、ステップＣにおいて、前記処理対象領域の画素のデータを用いて、Ｘ，Ｙの方向毎にその方向における各色パラメータの値の変化量を成分とするベクトルを設定した場合の各ベクトルの内積に相当する判定用パラメータを求め、この判定用パラメータの値に基づき前記色パラメータの変化の方向を示すベクトルに対応する象限を判別する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
つぎに、この発明にかかる画像処理用のプログラムは、カラー画像の処理が可能なコンピュータに、前記カラー画像上で色彩の異なる領域間の境界に位置する点を抽出する機能を設定するためのもので、領域設定手段、色差算出手段、判別手段、方向特定手段、の各手段として前記コンピュータを機能させるためのプログラムが含まれる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
判別手段は、前記色差算出手段が求めた各方向の色差の変化の大きさが色彩の異なる領域間の境界で認められる色差の変化の大きさに相当する処理対象領域について、領域内の各画素のデータを用いて、これらの画素が有する色情報を３つの独立した色パラメータで表したときの少なくとも１つの色パラメータの値に基づき、領域の中心の画素を境に色パラメータが変化する方向を求め、その変化の方向を示すベクトルがＸ，Ｙの各方向により規定される座標系のいずれの象限に対応するかを判別する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
方向特定手段は、判別手段の判別対象とされた処理対象領域の中心の画素について、判別結果と前記色差算出手段により求められたＸ，Ｙの各方向における色差の変化の大きさとを用いて、前記色彩の変化が生じている方向を表す情報を求める。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
上記のプログラムの構成によれば、領域設定手段によってステップＡを、色差算出手段によってステップＢを、判別手段によってステップＣを、方向特定手段によってステップＤを、それぞれ実行することができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
さらに、この発明にかかる記憶媒体には、上記の画像処理用のプログラムが格納される。また、この発明にかかる画像処理装置は、前記領域設定手段、色差算出手段、判別手段、方向特定手段を具備するものとなる。