(57)【特許請求の範囲】
【請求項１】
入力画像を二値化して二値画像を生成する二値化手段と、
前記二値画像を逐次的に走査して所定論理の塊を領域別に統合する統合手段とを備え、
前記統合手段は、
既に統合化された領域（塊）ごとに方向別射影座標の最小、最大、平均、標準偏差を持ち、
領域Ｌにおいて、ある点（x, y）の各射影軸方向d（d=0,1,2,3）に対する射影座標をｒdとし、ｒdの平均をμd(L)、標準偏差をσd(L)、最小値をＭＮd(L)、最大値をＭＸd(L)、領域周辺の所定の幅をλとしたとき、
新しい所定論理の部分が、ある塊Ｌのすべての射影軸方向に対して、ＭＮd(L)−λ≦ｒd≦ＭＸd(L)＋λによって求まる八角形と、μd(L)−２σd(L)−λ≦ｒd≦μd(L)＋２σd(L)＋λによって求まる八角形との共通部分として求まる多角形に属しているという条件が成立したとき、前記新しい所定論理の部分を前記塊Ｌに統合する一方、どの塊とも統合されない所定論理の部分を新しい塊として登録することにより分離抽出し、
且つ、全ての走査が終了したのち、塊間で前記条件が成立する塊同士を統合する、
ことを特徴とする画像セグメンテーション装置。
【請求項２】
入力画像を二値化して二値画像を生成する二値化工程と、
前記二値画像を逐次的に走査して所定論理の塊を領域別に統合する統合工程とを備え、
前記統合工程は、
既に統合化された領域（塊）ごとに方向別射影座標の最小、最大、平均、標準偏差を持ち、
領域Ｌにおいて、ある点（x, y）の各射影軸方向d（d=0,1,2,3）に対する射影座標をｒdとし、ｒdの平均をμd(L)、標準偏差をσd(L)、最小値をＭＮd(L)、最大値をＭＸd(L)、領域周辺の所定の幅をλとしたとき、
新しい所定論理の部分が、ある塊Ｌのすべての射影軸方向に対して、ＭＮd(L)−λ≦ｒd≦ＭＸd(L)＋λによって求まる八角形と、μd(L)−２σd(L)−λ≦ｒd≦μd(L)＋２σd(L)＋λによって求まる八角形との共通部分として求まる多角形に属しているという条件が成立したとき、前記新しい所定論理の部分を前記塊Ｌに統合する一方、どの塊とも統合されない所定論理の部分を新しい塊として登録することにより分離抽出し、
且つ、全ての走査が終了したのち、塊間で前記条件が成立する塊同士を統合する、
ことを特徴とする画像セグメンテーション方法。
【請求項３】
コンピュータに、
入力画像を二値化して二値画像を生成する二値化手段と、
前記二値画像を逐次的に走査して所定論理の塊を領域別に統合する統合手段とを実現させるためのプログラムであって、
前記統合手段は、
既に統合化された領域（塊）ごとに方向別射影座標の最小、最大、平均、標準偏差を持ち、
領域Ｌにおいて、ある点（x, y）の各射影軸方向d（d=0,1,2,3）に対する射影座標をｒdとし、ｒdの平均をμd(L)、標準偏差をσd(L)、最小値をＭＮd(L)、最大値をＭＸd(L)、領域周辺の所定の幅をλとしたとき、
新しい所定論理の部分が、ある塊Ｌのすべての射影軸方向に対して、ＭＮd(L)−λ≦ｒd≦ＭＸd(L)＋λによって求まる八角形と、μd(L)−２σd(L)−λ≦ｒd≦μd(L)＋２σd(L)＋λによって求まる八角形との共通部分として求まる多角形に属しているという条件が成立したとき、前記新しい所定論理の部分を前記塊Ｌに統合する一方、どの塊とも統合されない所定論理の部分を新しい塊として登録することにより分離抽出し、
且つ、全ての走査が終了したのち、塊間で前記条件が成立する塊同士を統合する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像セグメンテーション装置、画像セグメンテーション方法及びプログラムに関する。
【背景技術】
【０００２】
画像セグメンテーションとは、画像の中から所定論理の画素の集まり（以下、“塊”という。）を抽出する技術であり、一般的には、背景を「論理０」、処理対象を所定論理の「論理１」として２値化された画像に対し、「論理１」の塊を分離・統合して抽出する技術のことをいう。画像セグメンテーションは、ロボットの目や産業応用、医用応用など多くの分野で多用されている。
【０００３】
画像セグメンテーションの従来技術としては、以下のものが知られている。
＜矩形枠／多角形枠法（非特許文献１参照）＞
図５は、矩形枠／多角形枠法の概念図である。この図において、画像１に含まれる処理対象（塊）は、たとえば、人物２であり、この人物２を囲むように二種類の抽出枠（矩形枠３と多角形枠４）が設定されている。矩形枠３は形が単純であるため処理が簡単なものの、処理対象の形が（たとえば、人物２のように）複雑な場合に処理対象以外の余計な部分を抽出してしまうという欠点がある。一方、多角形枠４は、処理対象を無駄なく囲むことができるため、矩形枠３に比べて余計な部分の抽出は少ないが、それでも完全になくすことはできないから、程度の差こそあれ、やはり矩形枠３と同様の欠点がある。
【０００４】
＜連結成分法（非特許文献２参照）＞
図６は、連結成分法の概念図である。この図において、画像５に含まれる処理対象（塊）は、ここでは、第１の塊６と第２の塊７が例示されており、第１の塊６は内部で二つに分離している。以下、分離した一方の塊を第１Ａの塊６ａ、分離した他方の塊を第１Ｂの塊６ｂということにする。また、第２の塊７は二つの円形状部位７ａ、７ｂと、それら二つの円形状部位７ａ、７ｂの間を連結する連結部７ｃとからなっているものとする。連結成分法によれば、第１の塊６の各部（第１Ａの塊６ａと第１Ｂの塊６ｂ）を分離して抽出することができ、また、互いが連結関係にある３つの部分（円形状部位７ａ、７ｂ及び連結部７ｃ）からなる第２の塊７を一体として抽出することができる。
【０００５】
【非特許文献１】G.Nasy andN.Tuong, Normalization techniques for handprint numerals, CACM, Vol.13, No.8,pp.475-481, 1970.
【非特許文献２】A.Rosenfeld and J.L.Pfaltz, Sequential operations in digital Processing, JACM,Vol.13, No.4, pp.471-494, Apr., 1967.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、図６の第１の塊６は一つの塊が分離したものとみるのが自然であり、また、第２の塊７は二つの塊（円形状部位７ａ、７ｂ）がたまたま繋がってしまったものと見るのが自然であろう。このことは人が見たときの話であるが、コンピュータや装置で塊を抽出する場合も同じであり、人間が見て塊と感じるものを一つの塊と捉えておく方が、それを利用して処理を続けるときに処理がスムーズに行える。
【０００７】
そこで、本発明の目的は、互いが連結していなくても一つの塊として抽出すべき領域は一つの塊として統合抽出し、互いが連結関係にある複数の部分からなる処理対象の各部を分離抽出できる画像セグメンテーション装置、画像セグメンテーション方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
請求項１記載の発明は、入力画像を二値化して二値画像を生成する二値化手段と、前記二値画像を逐次的に走査して所定論理の塊を領域別に統合する統合手段とを備え、前記統合手段は、既に統合化された領域（塊）ごとに方向別射影の最小、最大、平均、標準偏差を持ち、新しい所定論理の部分が、ある塊の全ての方向に対する所定の条件に満足すればその塊に統合する一方、どの塊とも統合されない所定論理の部分を新しい塊として登録することにより分離抽出し、且つ、全ての走査が終了したのち、塊間の最小、最大、平均、標準偏差の前記条件が合う塊同士を統合する、ことを特徴とする画像セグメンテーション装置である。
請求項２記載の発明は、入力画像を二値化して二値画像を生成する二値化工程と、前記二値画像を逐次的に走査して所定論理の塊を領域別に統合する統合工程とを含み、前記統合工程は、既に統合化された領域（塊）ごとに方向別射影の最小、最大、平均、標準偏差を持ち、新しい所定論理の部分が、ある塊の全ての方向に対する所定の条件に満足すればその塊に統合する一方、どの塊とも統合されない所定論理の部分を新しい塊として登録することにより分離抽出し、且つ、全ての走査が終了したのち、塊間の最小、最大、平均、標準偏差の前記条件が合う塊同士を統合する、ことを特徴とする画像セグメンテーション方法である。
請求項３記載の発明は、コンピュータに、入力画像を二値化して二値画像を生成する二値化手段と、前記二値画像を逐次的に走査して所定論理の塊を領域別に統合する統合手段とを実現させるためのプログラムであって、前記統合手段は、既に統合化された領域（塊）ごとに方向別射影の最小、最大、平均、標準偏差を持ち、新しい所定論理の部分が、ある塊の全ての方向に対する所定の条件に満足すればその塊に統合する一方、どの塊とも統合されない所定論理の部分を新しい塊として登録することにより分離抽出し、且つ、全ての走査が終了したのち、塊間の最小、最大、平均、標準偏差の前記条件が合う塊同士を統合する、ことを特徴とするプログラムである。
【発明の効果】
【０００９】
本発明によれば、互いが連結していなくても一つの塊として抽出すべき領域は一つの塊として統合抽出し、互いが連結関係にある複数の部分からなる処理対象の各部を分離抽出できる画像セグメンテーション装置、画像セグメンテーション方法及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を説明する。
図１は、実施形態に係る画像セグメンテーション装置の概念ブロック図である。図示の画像セグメンテーション装置１０は、カメラで撮影された静止画像（以下、単に画像という。）から所定論理（ここでは論理１）の画素の集まり（“塊”）を抽出する、領域統合部として機能するものであり、このセグメンテーション装置１０は、二値化部１１、逐次走査部１２、及び、最終統合部１３といった主要な機能ブロックを含み、さらに、逐次走査部１２は、射影座標演算部１４と、特徴量更新部１５と、走査統合部１６とを含む。なお、これらのブロックは、たとえば、コンピュータプログラムによって実現されてもよいし、あるいは、ハードロジックで実現されてもよい。
【００１１】
図２は、本実施形態における逐次走査処理の概念図であり、詳細には、円形状の「１」の塊１７に対し左上から逐次走査により処理を進め、ほぼ中ほどまで処理が進んだ時点の、処理が終了した半円状の塊１８の最小・最大の４方向への射影の図である。４つの山形の図形（ｄ＝０，１，２，３の図形）は、「１」を方向軸に射影して点の数を棒グラフにしたヒストグラムであるが、最小・最大値は、この形状そのものを用いるのではなく、この山形形状の最小の位置（ＭＩＮ）と最大の位置（ＭＡＸ）を利用するものである。半円状の塊１８に接する四角形図形１９および菱形状の四角形図形２０は、最小・最大値から決まる、塊１８の抽出枠である。更に言うと、四角形図形１９の左右の縦辺はｄ＝０のＭＩＮ，ＭＡＸに対応し、上辺はｄ＝２のＭＩＮ、下辺はｄ＝２のＭＡＸである。菱形状の四角形図形２０については、右上・右下の斜辺はそれぞれｄ＝３のＭＩＮ，ＭＡＸで決まり、左上・右下の斜辺はｄ＝１のＭＩＮ，ＭＡＸで決まる。四角形図形１９と菱形状の四角形図形２０の共通部分として決まる八角形図形２１がＭＩＮ／ＭＡＸ型で領域内か領域外を判定する基準となる形である。
【００１２】
図３は、本実施形態における平均・標準偏差処理の概念図であり、詳細には、図２と同じ対象・同じ状況に対して、平均・標準偏差（μ0、σ0）を求めることを説明する図である。平均・標準偏差とは各方向に射影されたヒストグラム（ｄ＝０，１，２，３の各山形形状）の平均値・標準偏差を意味する。最小・最大値から決まる抽出枠（図２の八角形図形２１参照）は元の半円状形状（塊１８）に接するが、平均±２×標準偏差で決まる八角形図形２２の場合は、元の半円状形状（塊１８）に接するとは限らない。例えば、ｄ＝３に対する射影ではヒストグラムの山が右に歪んでいるため、右上の斜め線は元の半円から外に外れるが、左下の斜め線は半円の内側に食い込む。
【００１３】
図４は、本実施形態における統合処理の概念図であり、詳細には、図２の最大・最小で決まる八角形図形２１と、図３の平均・標準偏差で決まる八角形図形２２とを合わせて表示したものである。本手法では、図２で決まる八角形図形２１と図３で決まる八角形図形２２の共通部分として決まる多角形図形（の周辺に幅λの枠をつけたもの）に入るかどうかで点の統合の可否を決めるものである。
【００１４】
各ブロックの詳細を説明する。
まず、二値化部１１は、入力画像を構成する各画素の情報を所定論理である論理１と、その逆論理の論理０とに二値化する。論理０は背景、論理１は処理対象である。二値化された画像のことを二値画像ということにする。二値画像の座標系（ｘ，ｙ）は、画像の右方向および下方向を正とする座標系とし、方向ｄを時計回りにとるものとする。具体的には、横（ｘ）方向（ｄ＝０）、右下方向（ｄ＝１）、縦（ｙ）方向（ｄ＝２）、左下方向（ｄ＝３）とする。
【００１５】
逐次走査部１２は、二値画像を走査（ここではテレビジョン放送の走査方式と同様に左上から右下に向けて線順次で走査するものとする。）しながら、走査が完了した（すなわち、図２〜図４の例で言えば左上から処理を進め、ほぼ中ほどまで処理が進んだ時点の）「論理１」の各点に対し、領域名（ラベル）Ｌ（＝１，２，３、・・・・のいずれか）を割り振る。図２〜図４の例で言えば、今まで処理が終わった半円状の各点に同じラベルの値が割り振られている。なぜならば、これらの点は同じ領域に属するとしてここまで処理が進められてきているからである。各ラベルＬは、領域に属する点の数Ｎ(L)の他、各方向軸ｄに対する射影値の和Ｓd(L)、二乗和ＳＱd(L)、平均値μd(L)、標準偏差σd(L)、最小値ＭＮd(L)、及び、最大値ＭＸd(L)を持つ。
【００１６】
射影座標演算部１４は、逐次走査部１２の中で使われるものであり、この射影座標演算部１４では、新しい「ｆ（ｘ，ｙ）＝１」の点において、（ｘ，ｙ）のｄ方向の軸に対する射影座標ｒdを、次式（１）により演算する。
【００１７】
ｒ0＝ｘ，
ｒ1＝（ｘ＋ｙ）／√２，
ｒ2＝ｙ，
ｒ3＝（−ｘ＋ｙ）／√２
・・・・（１）
【００１８】
特徴量更新部１５も、同じく逐次走査部１２の中で使われるものであり、この特徴量更新部１５では、点（ｘ，ｙ）が、既存のラベルＬ（点ｘ，ｙ以前に生成された領域）に吸収されるかを、Ｌ＝１，２，３，４，・・・・の順に、次の条件で判定する。
【００１９】
＜条件＞
すべてのｄ＝０，１，２，３に対し、
μd(L)−２σd(L)−λ≦ｒd≦μd(L)＋２σd(L)＋λ（分散型）
且つ
ＭＮd(L)−λ≦ｒd≦ＭＸd(L)＋λ（ＭＩＮ−ＭＡＸ型）
ならば、点（ｘ，ｙ）はラベルＬに属すものとし、Ｌの特徴量を、次式（２）〜（８）で更新する。
【００２０】
Ｎ(L)＝Ｎ(L)＋１    ・・・・（２）
ＭＮd(L)＝ｍｉｎ（ＭＮd(L)，ｒd）    ・・・・（３）
ＭＸd(L)＝ｍａｘ（ＭＸd(L)，ｒd）    ・・・・（４）
Ｓd(L)＝Ｓd(L)＋ｒd    ・・・・（５）
ＳＱd(L)＝ＳＱd(L)＋ｒd2    ・・・・（６）
μd(L)＝Ｓd(L)／Ｎ(L)     ・・・・（７）
σd(L)＝√｛ＳＱd(L)／Ｎ(L)−（μd(L)）2｝    ・・・・（８）
【００２１】
走査統合部１６は、逐次走査部１２の１点に対する処理の最後段階を行うブロックであり、この走査統合部１６では、一つの「論理１」の点ｆ（ｘ，ｙ）に対し、複数の領域（例えばＬとＬ´）が条件を満足する場合、ＬとＬ´の統合を行う。ＮL≧ＮL’の場合は、次式（９）〜（１５）により、Ｌ´をＬに統合した上、Ｌ´を消去する。
【００２２】
Ｎ(L)＝Ｎ(L)＋Ｎ(L’)     ・・・・（９）
ＭＮd(L)＝ｍｉｎ（ＭＮd(L)，ＭＮd(L’)）    ・・・・（１０）
ＭＸd(L)＝ｍａｘ（ＭＸd(L)，ＭＸd(L’)）    ・・・・（１１）
Ｓd(L)＝Ｓd(L)＋Ｓd(L’)     ・・・・（１２）
ＳＱd(L)＝ＳＱd(L)＋ＳＱd(L’)     ・・・・（１３）
μd(L)  ＝Ｓd(L)／Ｎ(L’)     ・・・・（１４）
σd(L)  ＝√｛ＳＱd(L)／Ｎ(L)−（μd(L)）2｝    ・・・・（１５）
【００２３】
そして、すべてのＬ＝１，２，３，４，・・・・に対して、統合が起こらなければ、次式（１６）〜（２２）により、Ｌ＝Ｌ＋１なる新たな領域Ｌを発生する。
【００２４】
Ｎ(L)＝１    ・・・・（１６）
ＭＮd(L)＝ｒd    ・・・・（１７）
ＭＸd(L)＝ｒd    ・・・・（１８）
Ｓd(L)＝ｒd  ・・・・（１９）
ＳＱd(L)＝ｒd2    ・・・・（２０）
μd(L)＝ｒd    ・・・・（２１）
σd(L)＝０    ・・・・（２２）
【００２５】
逐次走査部１２では、この処理を左上から順に全点について行う。以上の走査・処理が終了した後、最終統合部１３において、全てのＬとＬ´の対について統合可能かチェックし、可能ならば一つの「論理１」に対し、複数の領域が対応する場合と同様な式で、ＬとＬ´の統合を行う。
【００２６】
このように、本実施形態は、二値化画像を走査して「論理１」の塊を領域別に統合してゆく処理としたので、詳細には、既に統合化された領域（塊）ごとに方向別射影の最小、最大、平均、標準偏差を持ち、且つ、新しい「論理１」が、ある塊の全ての方向に対する条件に満足すればその塊に統合する一方、どの塊とも統合されない「論理１」は新しい塊として登録するとともに、全画面の走査が終了したのち、塊間の最小、最大、平均、標準偏差の条件が合う塊同士を統合するようにしたので、冒頭で説明した従来技術（矩形枠／多角形枠法や連結成分法）の欠点を解消することができる。
【００２７】
すなわち、矩形枠／多角形枠法や連結成分法は、元々、連結している塊の分離が不可能であるという欠点があるが、本実施形態の手法では、たとえば、二つの円が細い線でつながっている場合（図６の第２の塊７参照）など、連結性はあるが複数の塊で構成されるものの分離が可能であるという特有の効果を奏する。
【図面の簡単な説明】
【００２８】
【図１】実施形態に係る画像セグメンテーション装置の概念ブロック図である。
【図２】本実施形態における逐次走査処理の概念図である。
【図３】本実施形態における平均・標準偏差処理の概念図である。
【図４】本実施形態における統合処理の概念図である。
【図５】矩形枠／多角形枠法の概念図である。
【図６】連結成分法の概念図である。
【符号の説明】
【００２９】
１０  画像セグメンテーション装置
１１  二値化部（二値化手段）
１２  逐次走査部（統合手段）
１３  最終統合部（統合手段）
【図１】
0004956706.tif 000002
【図２】
0004956706.tif 000003
【図３】
0004956706.tif 000004
【図４】
0004956706.tif 000005
【図５】
0004956706.tif 000006
【図６】
0004956706.tif 000007