(57)【要約】【課題】  画像データのラベリングを行う際に、エッジ作成のルールによって結果が異なってしまうようなこともなく、微細な構造も正確に反映する。【解決手段】  本発明は、各画素が多値画像データを有する対象画像に対して、閾値よりも大きく変動する不連続部分をエッジ点とする解析をし、該エッジ点に基づき画素の属性が連続とみなせる領域群に分割するラベリング処理をおこなう。この対象画像を横方向及び縦方向にそれぞれ倍サイズにしたエッジ画像用の二次元配列を作成する。対象画像において横方向或いは縦方向に隣接する二点の値がエッジを発生させる条件を満たしていれば、該二点に対応するエッジ画像における両点の間の点をエッジ点とすることにより、対象画像の数値に従ってエッジ点をエッジ画像上に付与する。このエッジ画像をラベリングして、第１のラベル画像を作成する。対象画像と同じ大きさの第２のラベル画像を用意し、対象画像とエッジ画像の対応関係を適用して前記第１のラベル画像の領域情報を複写する。【選択図】図１
2005332016.tif 000002
【特許請求の範囲】
【請求項１】
各画素が多値画像データを有する対象画像に対して、閾値よりも大きく変動する不連続部分をエッジ点とする解析をし、該エッジ点に基づき画素の属性が連続とみなせる領域群に分割するラベリング処理をおこなう画像処理方法において、
前記対象画像を横方向及び縦方向に幅及び高さをそれぞれ倍サイズにしたエッジ画像用の二次元配列を作成し、
前記対象画像において横方向或いは縦方向に隣接する二点の値がエッジを発生させる条件を満たしていれば、該二点に対応するエッジ画像における両点の間の点をエッジ点とすることにより、対象画像の数値に従ってエッジ点をエッジ画像上に付与し、
エッジ点を付与したエッジ画像をラベリングして、第１のラベル画像を作成し、
前記対象画像と同じ大きさの第２のラベル画像を用意し、対象画像とエッジ画像の対応関係を適用して前記第１のラベル画像の領域情報を複写する、
ことから成る画像処理方法。
【請求項２】
前記エッジ画像上に付与される前記エッジ点に加えて、その下或いは上、及び右或いは左の点をエッジ点とする請求項１に記載の画像処理方法。
【請求項３】
前記エッジ画像上に付与される前記エッジ点に加えて、対象画像の対応点と斜めに隣接する全ての点に無条件にエッジを付与する請求項１に記載の画像処理方法。
【請求項４】
前記エッジ画像上に付与される前記エッジ点に加えて、エッジ画像の外周の点を全てエッジ点とする請求項１に記載の画像処理方法。
【請求項５】
各画素が多値画像データを有する対象画像に対して、閾値よりも大きく変動する不連続部分をエッジ点とする解析をし、該エッジ点に基づき画素の属性が連続とみなせる領域群に分割するラベリング処理をおこなう画像処理システムにおいて、
前記対象画像を横方向及び縦方向に幅及び高さをそれぞれ倍サイズにしたエッジ画像用の二次元配列を作成する手段と、
前記対象画像において横方向或いは縦方向に隣接する二点の値がエッジを発生させる条件を満たしていれば、該二点に対応するエッジ画像における両点の間の点をエッジ点とすることにより、対象画像の数値に従ってエッジ点をエッジ画像上に付与する手段と、
エッジ点を付与したエッジ画像をラベリングして、第１のラベル画像を作成する手段と、
前記対象画像と同じ大きさの第２のラベル画像を用意し、対象画像とエッジ画像の対応関係を適用して前記第１のラベル画像の領域情報を複写する手段と、
とから成る画像処理システム。
【請求項６】
各画素が多値画像データを有する対象画像に対して、閾値よりも大きく変動する不連続部分をエッジ点とする解析をし、該エッジ点に基づき画素の属性が連続とみなせる領域群に分割するラベリング処理をおこなう画像処理方法プログラムにおいて、
前記対象画像を横方向及び縦方向に幅及び高さをそれぞれ倍サイズにしたエッジ画像用の二次元配列を作成し、
前記対象画像において横方向或いは縦方向に隣接する二点の値がエッジを発生させる条件を満たしていれば、該二点に対応するエッジ画像における両点の間の点をエッジ点とすることにより、対象画像の数値に従ってエッジ点をエッジ画像上に付与し、
エッジ点を付与したエッジ画像をラベリングして、第１のラベル画像を作成し、
前記対象画像と同じ大きさの第２のラベル画像を用意し、対象画像とエッジ画像の対応関係を適用して前記第１のラベル画像の領域情報を複写する、
各手順を実行することから成る画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多値画像をラベリングして領域分割をおこなう画像処理方法およびシステム、並びにプログラムに関する。本発明は、物品検査、ロボットの視覚、個人認証、監視カメラ、衛星画像解析、医療画像解析、顕微鏡画像解析などに利用できる。
【背景技術】
【０００２】
ラベリングは、画像データを解析し、ある指定された評価関数に基づいて画素の属性が連続とみなせる領域群に分割し、出力として各領域に固有の番号（ラベル）をつけた画像を生成する処理である。画像は格子状に並んだデータ点の配列であればよく、一般的に画像として呼ばれる濃淡画像やカラー画像のほかに、各データ点が三次元座標である距離画像や各画素がより複雑な構造体であるような配列なども対象となる。以下で画像として呼ぶ場合には、この広い意味の画像を示す。
【０００３】
手順としては、画像の各画素の近傍で評価関数に基づく評価を行い、閾値よりも大きく変動する不連続部分を１（エッジ点）、そうでない部分を０とする二値画像（エッジ画像）を中間データとして生成する。これにより評価関数値が連続する部分と不連続な部分が明確になる。対象画像がどのような形式であっても、評価関数による連続性が示されたエッジ画像が生成できれば、その後の処理は二値画像を対象にしたラベル付け処理になり、同じ手続きで実行が可能である。
【０００４】
エッジ画像は、従来の方法では、対象画像と同じサイズ（縦横とも）である。対象画像に不連続な点がみつかると、あらかじめ決めたルールに従って、その不連続な点が存在する位置にマークする。図１0にその一例を示す。この例では、各画素は１−４までの値を持っている。「ある画素の上または左の画素と異なる場合にエッジ点とする」というルールによってエッジ画像を作成すると、図10aの対象画像から図１0ｂのエッジ画像が生成される。画像は連続な値を持つ閉領域に分割される。なお、エッジ画像自体は上に記したように二値画像であるが、対象画像との対応がわかりやすいように、以下の図ではエッジ画像上に対応する対象画像の値を数値で記してある。実際のエッジ画像の値を示すものは、黒地のものが１、それ以外が０である。
【０００５】
しかし、このようにして作成した領域の形状は必ずしも対象画像の形状を忠実に反映していない。たとえば、図の中央部の値1を持つ小さな領域は、対象画像では漢字の凸の形をしているが、エッジ画像によって分割された領域は、Lの形になってしまっている。また、図の左下の値４を持つ領域は対象画像では鍵のような形をしているが、エッジ画像によって分割された領域は、正方形になっている。
エッジ画像生成ルールを変えると違う結果も得られる。図１0ｃ、図１0ｄ、図１0eは、それぞれルールを「右または下の画素と不連続ならエッジ点とする」、「隣接する画素の値が小さければエッジ点にする」、「隣接する画素の値が大きければエッジ点にする」などとした場合を示す。図10ｂと図10ｃの結果は処理の空間的な方向性、図10ｄと図10eは画素の値の方向性が異なっている。このことから、以上述べた従来方法においては、空間的方向、評価値方向で非対称であり、同じ図形であっても再現性が保証されない方法であることがわかる。
【０００６】
この結果得られたラベル画像をあとの画像処理で用いる際に同一画像による再現性が保証されないと、安定した処理が期待できない。たとえば、領域中の画素数を領域の面積として定義し、閾値より面積が小さな領域は雑音として除くような処理を考える。同じ形の図形が処理のたびに異なる面積になると、ある姿勢のときには閾値より低く除去されるが、別の姿勢では除去されないような場合が出てくる。
【特許文献１】特公平５−７０７８４号公報
【特許文献２】特開２００４−３８７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、従来技術の問題点を解決して画像データのラベリングを行う際に、エッジ作成のルールによって結果が異なってしまうようなこともなく、微細な構造も正確に反映することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の画像処理方法及びシステム、並びにプログラムは、各画素が多値画像データを有する対象画像に対して、閾値よりも大きく変動する不連続部分をエッジ点とする解析をし、該エッジ点に基づき画素の属性が連続とみなせる領域群に分割するラベリング処理をおこなう。この対象画像を横方向及び縦方向に幅及び高さをそれぞれ倍サイズにしたエッジ画像用の二次元配列を作成する。対象画像において横方向或いは縦方向に隣接する二点の値がエッジを発生させる条件を満たしていれば、該二点に対応するエッジ画像における両点の間の点をエッジ点とすることにより、対象画像の数値に従ってエッジ点をエッジ画像上に付与する。エッジ点を付与したエッジ画像をラベリングして、第１のラベル画像を作成する。対象画像と同じ大きさの第２のラベル画像を用意し、対象画像とエッジ画像の対応関係を適用して第１のラベル画像の領域情報を複写する。
【発明の効果】
【０００９】
本発明では、エッジ画像を対象画像の画素と同じ位置に記録するのではなく、画素と画素の間にエッジの情報を記録する。これを簡単に実現するために、倍サイズのエッジ画像を使用する。従来のエッジ画像をもとにするラベリングでは、微細な構造が正確に反映されず、その結果として、エッジ作成のルールによって結果が異なってしまうことになるが、本発明は、このような問題を解決することが可能になった。
【発明を実施するための最良の形態】
【００１０】
本発明では、対象画像からエッジ画像を生成する際に、従来方法のように対象画像の画素と同じ位置にエッジ情報を記録するのではなく、画素と画素の間にエッジ情報を記録する。本来、対象画像上の隣接する二つの画素の間に評価関数による不連続性が認められる場合には、その不連続性は画素の間に存在するので、この方が理にかなっているといえる。画素間にエッジ情報を記録しても、それをラベリングしようとするときに従来のラベリング方法が使えないと不便であるので、エッジ画像は二値画像である必要がある。これを実現するために、対象画像の縦横ともに倍のサイズのエッジ画像を用い、対象画像の画素に対応するエッジ画像上の画素の間に、対象画像の画素間に相当する画素が挟まれるような構造にする。
【００１１】
図１は、本発明を具体化する画像処理システムを説明する図である。まず、各画素が多値画像データを有する対象画像を用意する。そして、エッジ画像用の二次元配列を用意する。エッジ画像は、幅及び高さの両方が対象画像の倍サイズである。
このエッジ画像に対して、画素と画素の間にエッジ情報を記録する。対象画像の画素に対応するエッジ画像上の画素の間に、対象画像の画素間に相当する画素が挟まれるような構造にする。このエッジ画像上に、対象画像の数値に従ってエッジ点を付与する。
【００１２】
エッジ点を付与した処理の結果のエッジ画像をラベリングし、ラベル画像IIとする。次に、対象画像と同じ大きさのラベル画像Iを用意し、対象画像とエッジ画像の対応関係を適用してラベル画像IIの領域情報を複写する。
以下、本発明について、さらに詳細に説明する。以下では、エッジ画像中のエッジなしの画素を白、エッジありの画素を黒で表す。エッジ画像中の数値や文字は、対象画像との対応関係をわかりやすくしたものであり、エッジ画像の値には関係ない。
【００１３】
図8では、対象画像およびエッジ画像の関係、およびエッジの与え方が図示されている。図8(a)は、部分的な範囲において、対象画像と倍サイズのエッジ画像との画素の対応関係を示している。対象画像において隣接するａ、ｂ、ｃおよび ｄ に対応するエッジ画像上の点は、それぞれエッジ画像において Ａ、Ｂ、Ｃ および Ｄ となる。Ａ〜Ｄの画素の間にあるＰ〜Ｔの画素は、対象画像上に対応する画素がない。しいていえば、これらの画素は対象画像の罫線や罫線の交点に対応している。ａおよびｂが与えられた評価関数によって不連続な条件を満たしている場合、これら画素に対応するエッジ画像上の画素ＡＢの間の画素Ｐにエッジ情報を記録する(図8(b))。また、同様に、ｃとｄの間にも不連続姓が認められるならば、図にあるようにＣＤ間の画素Ｔもエッジとなる。この操作は、図8(b)の対象画像において太線で示した画素間の位置にエッジを与えたことと等しい。
【００１４】
さらに、単に対象画像の画素に対応した点の間にエッジを作成するだけではエッジ画像上でエッジ点がつながらないため、生成したエッジ点の隣の、点Ｒにもエッジ点を与える必要がある（図8(c)）。これは、エッジ画像がラベリング可能な連続したエッジ点となるための便宜的な手続きである。点Ｒをエッジ点にすることは、対象画像において黒丸で示した罫線の交点部分をエッジとすることと等価である。
【００１５】
以下に例を使って処理の過程を示す。処理の対象とするのは、図10ａの画像である。なお、対象画像における横方向の座標値を i (0 ≦i ≦W-1)、縦方向の座標値を j (0 ≦ j ≦ H-1)で表す。i、ｊは右方向及び下方向に増加する。全体の処理は図９にフローチャートで示す。
第一に、エッジ画像用の二次元配列を用意する。対象画像の幅をＷ,高さをＨとするとき、エッジ画像の幅は ２Ｗ＋１  高さは  ２Ｈ＋１となる。図10ａの例では、幅２０、高さ２０であるので、エッジ画像は幅４１、高さ４１となる。なお、本明細書において、「倍サイズ画像」なる表現は、このように、幅及び高さの両方が倍サイズになった画像を意味する用語として用いている。
【００１６】
第二に、エッジ画像の全画素をクリア（エッジのない状態）にする。図2にこの初期状態の倍サイズエッジ画像が示されている。なお、以下のエッジ画像では、数値で対象画像とエッジ画像の対応関係が表されている。対象画像において(i,j) の座標に対応する点のエッジ画像における座標は( 2 i+1, 2 j+1)になる。図のように、対象画像に対応している点は全体の1/4の点になる。対象画像に対応がある点はグレイで、エッジ点は黒で表す。この図では、対象画像との対応関係をわかりやすくするために、図の左と上に対象画像およびエッジ画像における座標を付記してある。
【００１７】
第三に、対象画像の数値に従ってエッジ点をエッジ画像上に付与する。このとき、対象画像において横方向に隣接する二点A(i,j),B(i+1,j) の値がエッジを発生させる条件を満たしていれば、エッジ画像におけるA,B両点の対応点A'(2i+1,2j+1),B'(2i+3,2j+1)の間の点(2i+2,2j+1)をエッジ点とする。同様に、対象画像において縦方向に隣接する二点C(i', j'),D(i',j'+1) の値がエッジを発生させる条件を満たしていれば、エッジ画像におけるC,D両点の対応点C'(2i'+1,2j'+1), D'(2i'+1,2j'+3) の間の点(2i'+1, 2j'+2) をエッジ点とする。また、画像の外周の全ての点をエッジ点とする。図３にこの処理の結果を示す。
【００１８】
第四に、第三の処理の過程で横方向の隣接点に起因したエッジ点(2i+2, 2j+1)があったとき、その下の点(2i+2,2j+2)をエッジ点とする。同様に、第三の処理の過程で縦方向の隣接点に起因したエッジ点(2i'+1,2j'+2)があったとき、その右の点(2i'+2,2j'+2)をエッジ点とする。図4にこの処理の結果を示す。
【００１９】
第五に、第四の処理の結果のエッジ画像をラベリングし、その結果をラベル画像IIとする。図５にその結果を示す。ここでは数値の表示を省略している。第三、第四の過程で付与されたエッジ点は、(0,j),(2W,j),(i,0),(i,2H),(2i+1,2j+2)(2i+2,2j+1) (2i+2,2j+2)のいずれかの形式であり、横座標と縦座標のいずれかが偶数である。一方、対象画像に対応する点は(2i+1,2j+1)の形式の座標値をもっているおり、どちらの数値も奇数である。従って、明らかに対象画像に対応するエッジ画像上の点は絶対にエッジを与えられず、ラベリング処理の結果、必ずいずれかの領域に属する。
【００２０】
第六に、対象画像と同じ大きさのラベル画像Iを用意し、対象画像とエッジ画像の対応関係を適用してラベル画像IIの領域情報を複写する。すなわち、ラベル画像IIにおいて(2 i +1, 2 j + 1) の座標のラベリングによる領域番号をラベル画像Iの(i, j)の位置に複写する。この結果が、図6である。ここでは、領域の境界がわかりやすいように太線で示してある。
【００２１】
以上は本発明を具体化する一つの例であるが、他の実現方法もありえる。まず、エッジ画像のサイズを (2 W+1)*(2H+1)にし、外周の点を全てエッジ点にしたのは、本発明において本質的な要素ではない。この工夫によって、エッジ画像においてエッジのない点は必ず上下左右の４近傍に画像内の点が存在することが保証され、ラベリング処理の過程で隣接点が画像の外周上にあるかどうかの判定をはぶくことが可能になる。ラベリングの際に画像端のチェックを行うことを厭わなければエッジ画像は(2W-1,2H-1)とし、外周のエッジ点は不要となる。その際には、対象画像の画素(i,j)に対応するエッジ画像上の点の座標値は、(2i,2j)となり、上記の手順において、エッジ画像の座標値はすべて横、縦座標とも１減ずることで対応できる。
【００２２】
また、第四の、第三の処理過程で付与したエッジ点の隣をエッジ点とする過程で、上記例では下または右の隣をエッジ点としているが、横方向の隣接点に起因するエッジであれば上側、縦方向の隣接点に起因するエッジであれば左側であっても実現が可能である。また、この例で行ったように第三の処理過程で付与したエッジ点に依存した形ではなく、図７においてグレーの画素で示すように、対象画像の対応点と斜めに隣接する全ての点に無条件にエッジを与えてしまう方法もありうる。これでも、連続領域に対するラベリングは可能である。ただし、いくつかのラベリング手法では、領域内にたくさんの孤立したエッジ点が多く存在すると、処理が遅くなるため、条件的な処理の方が高速になる可能性がある。また、ラベリング処理自体は二値画像を領域分割するものであればその手法は問わない。
【産業上の利用可能性】
【００２３】
画像処理において、領域分割に伴うラベリングは頻繁に行われる処理であるため、産業上はあらゆる画像処理の応用分野において利用することが可能である。すなわち、工場における部品組立て、製品検査等はもとより、個人認証、監視カメラ、自動車の自動運転、衛星画像解析、医療画像解析、顕微鏡画像解析、ロボットの視覚などの多方面にわたる。
【図面の簡単な説明】
【００２４】
【図１】本発明を具体化する画像処理システムを説明する図である。
【図２】倍サイズエッジ画像の初期状態を例示する図である。
【図３】対象画像の数値に従ってエッジ点をエッジ画像上に付与した結果を例示する図である。
【図４】エッジ画像にエッジ点を付与した別の結果を例示する図である。
【図５】エッジ画像をラベリングしたラベル画像IIを例示する図である。
【図６】ラベル画像IIの領域情報を複写した対象画像と同じ大きさのラベル画像Iを例示する図である。
【図７】対象画像の対応点と斜めに隣接する全ての点に無条件にエッジを与える例を示す図である。
【図８】対象画像およびエッジ画像の関係、およびエッジの与え方を示す図である。
【図９】全体の処理を示すフローチャートである。
【図１０】対象画像例、及び従来技術によるエッジ画像例を示す図である。
【図１】
2005332016.tif 000003
【図２】
2005332016.tif 000004
【図３】
2005332016.tif 000005
【図４】
2005332016.tif 000006
【図５】
2005332016.tif 000007
【図６】
2005332016.tif 000008
【図７】
2005332016.tif 000009
【図８】
2005332016.tif 000010
【図９】
2005332016.tif 000011
【図１０】
2005332016.tif 000012