(57)【要約】  画像処理装置は、画像を画素の集合であるクラスタに分割する画像分割処理部を有する。その画像分割処理部は、画像に含まれる各画素をそれぞれ着目画素として、着目画素に隣接する画素の中で、特徴量が着目画素に最も近い画素と同一のクラスタとすることにより、画像を分割する。閾値処理を行っていないため、画像データから物体をロバストに抽出することが可能な画像処理装置を提供することが可能になる。
2012005242.tif 000002
【特許請求の範囲】
【請求項１】
画像を画素の集合であるクラスタに分割する画像分割処理部を有し、
前記画像分割処理部は、画像に含まれる各画素をそれぞれ着目画素として、前記着目画素に隣接する画素の中で、特徴量が前記着目画素に最も近い画素と同一のクラスタとすることにより、画像を分割することを特徴とする画像処理装置。
【請求項２】
前記特徴量は、色情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとしたとき、
前記色情報は、３つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇからなるベクトルにより表されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとし、αをある係数としたとき、
前記特徴量は、４つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇ、α（Ｒ＋Ｇ＋Ｂ）からなるベクトルにより表されることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像分割処理部で形成したクラスタの境界を抽出する輪郭抽出部をさらに有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
画像を画素の集合であるクラスタに分割する画像分割方法であって、
前記画像に含まれる画素のうち一の画素を着目画素として前記着目画素と隣接する画素の中で、特徴量が前記着目画素に最も近い画素を選択する隣接画素選択ステップと、
前記着目画素を前記隣接画素選択ステップで選択された画素と同一のクラスタとする隣接画素間同一クラスタ化ステップと、
を含み、前記隣接画素選択ステップと、前記隣接画素間同一クラスタ化ステップと、を前記画像に含まれる各画素を前記着目画素として繰り返すことを特徴とする画像分割方法。
【請求項７】
前記特徴量は、色情報であることを特徴とする請求項６に記載の画像分割方法。
【請求項８】
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとしたとき、
前記色情報は、３つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇからなるベクトルにより表されることを特徴とする請求項７に記載の画像分割方法。
【請求項９】
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとし、αをある係数としたとき、
前記特徴量は、４つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇ、α（Ｒ＋Ｇ＋Ｂ）からなるベクトルにより表されることを特徴とする請求項６に記載の画像分割方法。
【請求項１０】
前記クラスタの境界を抽出するステップをさらに含むことを特徴とする請求項６乃至９のいずれか１項に記載の画像分割方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の記載］
本発明は、日本国特許出願：特願２０１０−１５２８６９号（２０１０年７月５日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像処理装置及び画像分割方法に関する。特に、映っている物体の内容がわかっていない画像から、物体を抽出するための画像処理装置及び画像分割方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを認識する一般物体認識への期待が高まっている。一般物体認識は、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索、さらには動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取る再編集など、様々な用途に応用できる可能性を有している。【０００３】
物体認識に関する技術は、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきたが、これらはすべて特殊な用途に限定されていた。ある一つの対象に特化した認識技術は、別の用途に利用しようとした際に、途端に認識率が下がるなどの問題が指摘されており、一般的な物体の認識を行う技術の開発が期待されている。一般物体への認識技術として、非特許文献１に示される、画像の局所的な強度勾配を集積したヒストグラムを用いたＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）という特徴量が知られている。本技術を利用することによって、幾何変換や遮蔽を伴う同一画像を、同一であると認識することが可能である。しかしながら、本技術は二つの画像が同一であるか否かを判断するためのものであり、認識したいものが予め用意されていないと機能しない。つまり、画像の中に予めデータベースに用意されていない物が映っていた場合、認識することはできないという課題を有している。【０００４】
その他に、非特許文献２に示される、画像輪郭を段階的に平滑化し、それぞれでの輪郭の変曲点の位置を用いて表現したＣＳＳ（Ｃｕｒｖａｔｕｒｅ  Ｓｃａｌｅ  Ｓｐａｃｅ）という表現方法を用いた認識が知られている。本技術を利用することによって、幾何変換を伴う同一画像や、輪郭が類似する画像を、同一である、または類似すると認識することが可能である。しかしながら、本技術は、物体の輪郭が抽出されていることが前提となっている。【０００５】
一方、画像中に何が映っているかわからないときに、物体と思われるものの輪郭を抽出することは非常に難しい。以下に、代表的な物体の輪郭抽出に関わる技術を説明する。最も一般的な輪郭抽出技術は、エッジ抽出である。これは、画素間の輝度、色などの変化が大きい位置をエッジとして抽出し、それが物体の輪郭であろうと推定する技術である。現在、優秀なエッジ抽出法の一つとして、キャニー法が知られている。エッジは、物体の輪郭と相関している量なので、合理的な方法と思われるが、この方法には幾つか欠点がある。エッジ抽出の第１の問題は、エッジと捕らえる変化の閾値の設定である。この閾値の設定次第で、抽出されるエッジの数は非常に大きく影響を受ける。したがって、実際にエッジ抽出を行なう場合、閾値を振って、適当と思われる閾値を探さなくてはいけない。これは非常に大きな計算負荷であり、エッジ抽出の問題である。画像の場合、同一被写体であっても、撮像された画像により、光の加減が変わることは当たり前なので、閾値を固定化すると、エッジ抽出の性能に問題が生じる。【０００６】
また、エッジ抽出の第２の問題は、エッジは微妙な光の加減で、発生したり、消失したりするので、輪郭の途中でエッジが無くなったり、物体の輪郭とは関係ないところに誤差エッジが出現したりすることである。したがって、途切れた輪郭を推定するアルゴリズムや、誤差エッジを無視するアルゴリズムを考える必要がある。これも非常に大きな問題である。【０００７】
そして、エッジ抽出の第３の問題は、エッジ抽出後は、物体の存在に関する情報が消失してしまうことである。エッジ抽出をかけた後の画像は、エッジのみの画像になってしまい、どの領域が物体として同一なのかに関する情報が無くなってしまう。エッジのみを頼りに物体を特定するのは非常に難しい。さらに、前述のように、途切れた輪郭が頻繁に発生する状態の中で行わなければいけないので、なおさら困難である。このように、エッジ抽出は簡便な方法でよく用いられているが、非常に多くの問題を有した方法であると言える。【０００８】
ところで、物体と思われるものを抽出しようとした場合、本来、物体がありそうな位置を特定し、その後に輪郭を抽出するほうが自然である。これは、エッジ抽出とは逆の考え方であるが、このような考え方は従来から存在し、セグメンテーション、クラスタリングあるいはラベリングという技術がそれに当たる。このセグメンテーションという技術は、ある特徴量を用いて、その特徴量に設定する閾値により、画素をクラスタ化していくものである。ここで、クラスタとは、画素の集合のことを言う。この技術を使えば、画像に映った個々の物体をクラスタ化して分けることも可能に思えるが、生成されるクラスタは閾値の設定に大きく依存するため、閾値の設定次第で満足できる結果が得られないというのが現状である。但し、物体がありそうな位置はクラスタとして表現されているので、エッジ抽出よりは物体のありそうな位置を特定しやすいという利点を持っている。【０００９】
セグメンテーションに関しては、さらに、色に関する問題もある。基本的に、白黒の濃淡でセグメンテーションする技術は非常に多いが、画像が多色だった場合、どのようにクラスタ化するかに関しては非常に困難である。なぜならば、白黒画像の場合、濃淡という一次元の指標があるので、濃度をヒストグラム化し、ヒストグラムの山がうまく２分割、３分割できる値に閾値を設定すれば、クラスタ化は可能であるが、多色の場合、どのようにヒストグラムを作るべきか判然としない。したがって、多色の画像に関して、有効なセグメンテーションを提供するのは、白黒の場合に比べて難しい。【００１０】
特許文献１には、画像テンプレートマッチングを行う方法が開示されている。この方法では、画像に、ＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ  Ｏｆ  Ｇａｕｓｓｉａｎ）フィルタをかけた後、２つの閾値ｔｈ１、ｔｈ２を設定し、ＤＯＧ出力が、ｔｈ２より小さい場合を−１に、ｔｈ２〜ｔｈ１の場合を０に、ｔｈ１より大きい場合を＋１に、３値化する処理を行った後、パターンマッチングを行っている。しかしながら、このような処理方法の場合、処理結果は、閾値ｔｈ１、ｔｈ２の設定によって変化する。【００１１】
特許文献２には、画像から抽出したい被写体領域に大まかな指示を与え、被写体を抽出する処理方法について開示されている。この方法では、指示した領域から初期核を設定し、初期核の代表色を抽出する。その後、領域成長の閾値を更新しながら、被写体の輪郭線を抽出し、その内部領域画像を切り出している。しかしながら、この方法の場合も、代表色の基準の設定や、領域成長の閾値により、処理結果は変化する。【００１２】
特許文献３は、画像データから得られた複数の特徴量に基づいて、領域分割を行う方法について開示されている。この方法では、複数の特徴量として、例えば、輝度色情報とテクスチャ情報を求めて、各々の領域分割結果の組み合わせに対して、領域統合処理を行っている。この方法の中で、微小領域の統合という処理が行われているが、ここでは、ある閾値を設定し、その閾値よりも小さい場合には、微小領域と判断し、他の領域に統合するという処理を行っている。しかしながら、この方法の場合も、微小領域を判別するのに用いられる閾値により、処理結果は変化する。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開平０６−０７６０６２号公報
【特許文献２】特開２００１−０４３３７６号公報
【特許文献３】特開２００４−２５８７５２号公報
【非特許文献】
【００１４】
【非特許文献１】David G.Lowe, "Object Recognition from Local Scale-Invariant Features", Proc. of IEEE International Conference on Computer Vision, pp.1150-1157
【非特許文献２】Farzin Mokhtarian and Alan Mackworth, "Scale-Based Description and Recognition of Planar Curves and Two-dimensional Shapes", IEEE Transactions on Pattern Analysis and Machine Intelligence Vol.8, No.1 pp.34-43
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上記特許文献及び非特許文献の全開示内容はその引用をもって本書に繰り込み記載する。以下の分析は、本発明によって与えられたものである。【００１６】
前述のように、特許文献１、２、３の場合、いずれも、閾値または基準値の設定により、処理結果が変わるという問題がある。ところで、一般に、被写体の内容や撮影条件が限定されている場合には、閾値の設定を最適化することによって、被写体抽出、輪郭抽出の性能を確保することができる可能性はある。しかしながら、何が映っているか分からない画像や撮影条件が様々な画像から、物体を特定したり、輪郭を抽出したりすることは非常に困難である。被写体の内容が限定されておらず、撮影条件も様々な画像に対して、同じ閾値設定で処理したのでは、満足のいく処理結果が得られないケースが多く発生するからである。特に、光の加減により撮影された画像の明るさが変わった場合、同一被写体であっても、従来の方法では、安定して、同じ抽出結果を得ることが難しい傾向がある。【００１７】
即ち、従来技術は、被写体の内容が限定されておらず、撮影条件も様々である撮影画像に対して、被写体抽出や輪郭抽出を処理したとき、処理結果が、閾値の設定に依存して変わり、ロバストな処理結果が得られないという問題点がある。【００１８】
本発明は、閾値設定を必要としない画像分割方法を提供することにより、画像データから物体をロバストに抽出することを可能にすることを目的とする。
【課題を解決するための手段】
【００１９】
本発明の第１の視点によれば、画像を画素の集合であるクラスタに分割する画像分割処理部を有し、前記画像分割処理部は、画像に含まれる各画素をそれぞれ着目画素として、前記着目画素に隣接する画素の中で、特徴量が前記着目画素に最も近い画素と同一のクラスタとすることにより、画像を分割する画像処理装置が提供される。【００２０】
本発明の第２の視点によれば、画像を画素の集合であるクラスタに分割する画像分割方法であって、前記画像に含まれる画素のうち一の画素を着目画素として前記着目画素と隣接する画素の中で、特徴量が前記着目画素に最も近い画素を選択する隣接画素選択ステップと、前記着目画素を前記隣接画素選択ステップで選択された画素と同一のクラスタとする隣接画素間同一クラスタ化ステップと、を含み、前記隣接画素選択ステップと、前記隣接画素間同一クラスタ化ステップと、を前記画像に含まれる各画素を前記着目画素として繰り返す画像分割方法が提供される。
【発明の効果】
【００２１】
本発明の第１の視点によれば、画像データから物体をロバストに抽出することが可能な画像処理装置を提供することが可能になる。その理由は、着目画素を、隣接する画素の中で特徴量が最も近い画素と同一のクラスタとすることにより画像分割するようにし、閾値処理を行っていないため、ロバストに画像分割処理ができるようになったからである。【００２２】
本発明の第２の視点によれば、画像データから物体をロバストに抽出することが可能な画像分割方法を提供することが可能になる。その理由は、着目画素と隣接する画素の中で特徴量が最も近い画素を選択し、着目画素のクラスタを選択された画素と同一のクラスタとするようにして画像分割を行い、閾値処理を行っていないため、ロバストに画像分割処理ができるようになったからである。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例１の画像処理装置全体のブロック図である。
【図２】本発明の画像分割処理の原理を説明する図である。
【図３】本発明の画像分割方法を示すフローチャートである。
【図４】本発明を実施した画像処理結果を説明する図である。
【図５】本発明を実施例１で実施した画像の一例である。
【図６】本発明の実施例１を説明するためのフローチャートである。
【図７】本発明の実施例１の画像処理結果を説明する図である。
【図８】本発明の実施例１の画像処理結果を説明する図である。
【図９】本発明の実施例１の画像処理結果を説明する図である。
【図１０】本発明の実施例１で実施した画像の一例である。
【図１１】本発明の実施例１の画像処理結果を説明する図である。
【図１２】本発明の実施例２の画像処理装置全体のブロック図である。
【図１３】本発明を実施例２で実施した画像の一例である。
【図１４】本発明の実施例２を説明するためのフローチャートである。
【図１５】本発明の実施例２の画像処理結果を説明する図である。
【発明を実施するための形態】
【００２４】
本発明の実施形態の概要について説明する。なお、この概要に付記した図面参照符号は専ら理解を助けるための例示であり、図示の態様に限定することを意図するものではない。
【００２５】
本発明において下記の形態が可能である。
［形態１］
第１の視点のとおり、画像を画素の集合であるクラスタに分割する画像分割処理部を有し、前記画像分割処理部は、画像に含まれる各画素をそれぞれ着目画素として、前記着目画素に隣接する画素の中で、特徴量が前記着目画素に最も近い画素と同一のクラスタとすることにより、画像を分割する画像処理装置が提供される。形態１において、着目画素を、隣接する画素の中で特徴量が最も近い画素と同一のクラスタとすることにより画像分割するように構成することで、閾値処理を行っていないため、画像データから物体をロバストに抽出することが可能な画像処理装置を提供することが可能になる。
［形態２］
前記特徴量は、色情報であることが好ましい。
［形態３］
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとしたとき、前記色情報は、３つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇからなるベクトルにより表されることが好ましい。
［形態４］
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとし、αをある係数としたとき、前記特徴量は、４つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇ、α（Ｒ＋Ｇ＋Ｂ）からなるベクトルにより表されることが好ましい。
［形態５］
前記画像分割処理部で形成したクラスタの境界を抽出する輪郭抽出部をさらに有することが好ましい。
［形態６］
第２の視点のとおり、画像を画素の集合であるクラスタに分割する画像分割方法であって、前記画像に含まれる画素のうち一の画素を着目画素として前記着目画素と隣接する画素の中で、特徴量が前記着目画素に最も近い画素を選択する隣接画素選択ステップと、前記着目画素を前記隣接画素選択ステップで選択された画素と同一のクラスタとする隣接画素間同一クラスタ化ステップと、を含み、前記隣接画素選択ステップと、前記隣接画素間同一クラスタ化ステップと、を前記画像に含まれる各画素を前記着目画素として繰り返す画像分割方法が提供される。
［形態７］
前記特徴量は、色情報であることが好ましい。
［形態８］
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとしたとき、前記色情報は、３つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇからなるベクトルにより表されることが好ましい。
［形態９］
前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとし、αをある係数としたとき、前記特徴量は、４つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇ、α（Ｒ＋Ｇ＋Ｂ）からなるベクトルにより表されることが好ましい。
［形態１０］
前記クラスタの境界を抽出するステップをさらに含むことが好ましい。
【００２６】
以下に具体的な実施の形態について、図面を参照して説明する。本発明の第１の実施形態の画像処理装置８は、図１に示すように、画像を画素の集合であるクラスタに分割する画像分割処理部２を有し、画像分割処理部２は、画像に含まれる各画素をそれぞれ着目画素として、着目画素に隣接する画素の中で、特徴量が着目画素に最も近い画素と同一のクラスタとすることにより、画像を分割する。
【００２７】
本発明の第２の実施形態の画像分割方法は、図３に示すように、画像を画素の集合であるクラスタに分割する画像分割方法であって、画像に含まれる画素のうち一の画素を着目画素として着目画素と隣接する画素の中で、特徴量が着目画素に最も近い画素を選択する隣接画素選択ステップＳ１３と、着目画素を隣接画素選択ステップＳ１３で選択された画素と同一のクラスタとする隣接画素間同一クラスタ化ステップＳ１４と、を含み、隣接画素選択ステップと、隣接画素間同一クラスタ化ステップと、を画像に含まれる各画素を着目画素として繰り返す。
【００２８】
ここで、本発明の第１の実施形態及び第２の実施形態における特徴量について、説明する。特徴量は画像の性質を表すものであれば何でも適用可能であるが、特徴量の最適例としては、色情報が考えられる。その理由は、被写体に当たる光量の加減や、シャッター速度、露出、センサー感度などの撮影条件により、撮影された画像の明るさ情報は、変化するが、色情報は、それらの影響を受けにくく、同じ状態を維持している傾向にあるため、被写体抽出をロバストに行うのに適したパラメータであるからである。但し、色情報だけでは、色情報が同じで、反射率の異なる被写体の違いを区別することができない場合があるので、明るさ情報も適宜加味することが望ましい。
【００２９】
次に、色情報を表現するのに適した方式として、従来から広く行われている色の表現方法であるＲＧＢ方式、ＨＳＶ方式について、それぞれの特徴と問題点について分析する。まず、ＲＧＢ方式は、光の３原色の出力で色を表現したものである。この表現は、デバイスの出力にダイレクトに相当していることから色の表現としては非常に便利である。また、人間の色覚の検出器の構造にも近い。しかしながら、ＲＧＢ方式には、色と色の差異が色相、彩度、明度のどれに対応しているのかが、わからないという欠点がある。
【００３０】
一方、ＨＳＶ方式は、その問題を解決している。ＨＳＶ方式では、色を色相Ｈ、彩度Ｓ、明度Ｖの３つのパラメータで色を表現する。ＲＧＢ方式からＨＳＶ方式への変換は、以下の式（１）、（２）、（３）で表される。
【００３１】
【数１】
2012005242.tif 000003
【００３２】
【数２】
2012005242.tif 000004
【００３３】
【数３】
2012005242.tif 000005
【００３４】
しかしながら、式（１）から、ＭＡＸ＝ＭＩＮのときには色相Ｈは定義できない。また、式（２）から、ＭＡＸ＝０のときには、彩度Ｓは定義できない。また、色相Ｈは、一様に連続になっていない。このように、ＨＳＶ方式を実際に使用する場合には、特異点や連続性を考慮しなければならず、複雑な処理を行わなければならないという問題がある。本発明では、そのような状況を鑑みて、ＨＳＶに比べて簡便な色情報の表現方法を考案した。それは、式（４）の３次元ベクトル、または、式（５）の４次元ベクトルを使用するものである。
【００３５】
【数４】
2012005242.tif 000006
【００３６】
【数５】
2012005242.tif 000007
【００３７】
式（４）、式（５）では、デバイスの出力にダイレクトに対応しているＲＧＢ出力の簡便性、利便性を重視し、かつ、ＨＳＶ方式における色相Ｈ、彩度Ｓに相当する特性が、線形で連続に表現できるようにした。式（４）、式（５）で定義されたベクトルを、本明細書では、色ベクトルと呼ぶ。
【００３８】
式（４）、式（５）の色ベクトルにおける各要素の順番は任意であり、交換可能である。すなわち、要素を入れ替えて定義しても、同じ処理結果が得られる。また、式（４）は、色情報のみを表しているが、式（５）は、式（４）に対して、明るさ情報を表す第４の成分を追加している。ここで、式（５）におけるαは係数である。色情報のみを用いる場合には、式（４）を使用すればよいが、明るさ情報に関する情報も考慮したい場合には、式（５）を用いればよい。また、色情報と明るさ情報の重み付けは、係数αで調整すればよい。αを大きな値に設定すれば、明るさ情報の寄与率は増加し、αを小さな値にすれば、明るさ情報の寄与率は減少する。
【００３９】
以下に実施例について詳述する。
【実施例１】
【００４０】
［実施例１の構成］
図１に本発明の実施例１の画像処理装置全体のブロック図を示す。まず、画像取得部１が画像を取得する。画像は画像処理装置がＣＣＤを内蔵し取得しても良いし、外部に保存されている画像を取り出して、画像取得部１に供給しても良い。画像取得部１で取得された画像は、画像分割処理部２に入力され、画像分割処理部２の画像分割処理により、クラスタに分割される。次に、画像分割処理部２でクラスタに分割された結果は、輪郭抽出部３に入力され、クラスタの輪郭が抽出される。次に、クラスタの輪郭は、輪郭認識部４に入力される。輪郭認識部４では、予め、多くの輪郭と、物体情報の関係が保存されている輪郭データ保存部５のデータを参照することによって、輪郭抽出部３で得られた輪郭データから、物体の認識結果を出力する。【００４１】
［実施例１の動作］
次に、実施例１の動作について、図６を参照しながら説明する。図６は、実施例１を説明するためのフローチャートである。まず、ステップＳ２１で、画像を取得する。次に、ステップＳ２２で、画素間またはクラスタ間のどちらで処理するかを決定する。次に、ステップＳ２２において画素間で処理すると決定された場合は、ステップＳ２３の隣接画素間同一クラスタ化による画像分割を行い、一方、クラスタ間で処理すると決定された場合は、ステップＳ２８の隣接クラスタ間同一クラスタ化による画像分割を行う。次に、ステップＳ２４で、クラスタ化された結果に対し、輪郭抽出部３の輪郭抽出処理を行う。次に、ステップＳ２５で、輪郭認識部４の輪郭認識処理を行う。ここでは、予め、輪郭データ保存部５に保存してある輪郭データベースとのマッチング処理を行い、物体の認識結果を出力する。次に、ステップＳ２６で、認識結果に満足かどうかの判別を行い、Ｎｏと判別された場合は、ステップＳ２９で、輪郭認識ができたクラスタを処理対象からはずし、ステップＳ２２に戻り、残った処理対象のクラスタに対して、ステップＳ２２以降の処理を繰り返す。一方、Ｙｅｓと判別された場合は、処理を終了する。ここで、ステップＳ２２では、通常、繰り返し処理の１回目では、画素間の処理を選択し、繰り返し処理の２回目以降では、クラスタ間の処理を選択する。【００４２】
次に、図３は、図６のステップＳ２３で行われる隣接画素間同一クラスタ化による画像分割の詳細を示すフローチャートである。まず、ステップＳ１１で、処理する画素を選択する。本明細書では、処理する画素のことを着目画素と呼ぶ。【００４３】
次に、図３のステップＳ１２で、隣接画素との色差計算を行う。以下に、ステップＳ１２について、詳細に説明する。本発明の実施例１では、画像分割処理部２のクラスタリングに用いる特徴量として、式（５）で示した色ベクトルを用いている。図２に示す着目画素と、着目画素に隣接する８つの画素における色ベクトルを算出する。ここで、着目画素の色ベクトルをＥＶ０とし、着目画素に隣接する８つの画素の色ベクトルを、各々、ＥＶ１、ＥＶ２、ＥＶ３、ＥＶ４、ＥＶ５、ＥＶ６、ＥＶ７、ＥＶ８とする。次に、式（６）により、着目画素と８つの隣接画素の色ベクトルの差、すなわち色差ΔＥＶｉ（ｉ＝１、２、．．．．．、８）を算出する。ここで、ΔＥＶｉも、４次元ベクトルである。次に、色差ΔＥＶｉのノルムΔＥＶｉ＿ＮＯＲＭをさらに計算する。ここで、ノルムは、ベクトルの大きさであり、４つの成分の二乗和平方根である。【００４４】
【数６】
2012005242.tif 000008
【００４５】
次に、図３のステップＳ１３について説明する。ステップＳ１３は、隣接画素選択ステップである。ステップＳ１３では、まず、ステップＳ１２で計算された８つのノルムΔＥＶｉ＿ＮＯＲＭの中で、最も小さい値となる方向をサーチし、ｉ＿ｍｉｎとする。これにより、着目画素が、ｉ＿ｍｉｎの方向の隣接画素と連続しているとみなされる。図２を参照するとわかるように、ｉ＿ｍｉｎ＝１の場合には、着目画素は右の画素と連続しているとみなされ、ｉ＿ｍｉｎ＝２の場合には、着目画素は右上の画素と連続しているとみなされ、ｉ＿ｍｉｎ＝３の場合には、着目画素は上の画素と連続しているとみなされ、ｉ＿ｍｉｎ＝４の場合には、着目画素は左上の画素と連続しているとみなされ、ｉ＿ｍｉｎ＝５の場合には、着目画素は左の画素と連続しているとみなされ、ｉ＿ｍｉｎ＝６の場合には、着目画素は左下の画素と連続しているとみなされ、ｉ＿ｍｉｎ＝７の場合には、着目画素は下の画素と連続しているとみなされ、ｉ＿ｍｉｎ＝８の場合には、着目画素は右下の画素と連続しているとみなされる。【００４６】
次に、図３のステップＳ１４について説明する。ステップＳ１４は、隣接画素間同一クラスタ化ステップである。着目画素のクラスタを、ステップＳ１３で得られた最も色差が小さい隣接画素の方向ｉ＿ｍｉｎの画素と同一のクラスタに置き換える。もし、最も色差が小さくなるのが複数の画素となった場合は、それらすべてを同一クラスタに属する画素としても良いし、その中からどれかを選ぶようにしても良い。【００４７】
次に、図３のステップＳ１５で、全ての画素に対して処理をしたかどうかを判定し、ＮＯの場合には、ステップＳ１１に戻り、処理を繰り返す。一方、ＹＥＳに判定された場合には、処理を終了する。以上のようにして、１つの画像に対し、クラスタリングが行われ、幾つかのクラスタからなる領域に分割される。【００４８】
以上のように、実施例１の動作を、図６のフローチャートで説明し、図６の中のステップＳ２３の画像分割処理部の動作を、図３のフローチャートで、より詳細に説明した。【００４９】
図４は、図３のフローチャートに示す方法で、画像分割処理を行った結果の例を示している。図４で、各画素に記載された番号は、クラスタの番号であり、同じクラスタは同じ番号を持つ。図４の物体Ｂの領域は、同じ１つのクラスタにならなければいけないが、クラスタ３とクラスタ４に分かれてしまっている。すなわち、クラスタ３とクラスタ４の間では、同一クラスタ化が、不十分な状態になっている。この原因は、あるクラスタの画素が、同じクラスタの画素を相手に選んでしまったことにより発生する。このような場合には、画素間で行ったクラスタリング処理で良好な結果が得られたクラスタを処理対象からはずした後、残った処理対象のクラスタに対して、クラスタ間でのクラスタリングを行えばよい。すると、図４のクラスタ３、クラスタ４は結合し、物体ごとに綺麗に分割されたクラスタリングが実現できる。図６に示したフローチャートを参照すると、ステップＳ２２は、１回目の処理では、画素間の処理を選択し、２回目の処理では、クラスタ間の処理を選択することにより、図４で示した問題を解決している。【００５０】
ここで、クラスタ間のクラスタリング処理を示す図６のステップＳ２８の隣接クラスタ間同一クラスタ化による画像分割は、図３の画素間の処理をクラスタ間の処理に置き換えたものである。図３において、クラスタ間の処理の場合には、図３のステップＳ１３は、隣接クラスタ選択ステップとなり、ステップＳ１４は、隣接クラスタ間同一クラスタ化ステップとなる。また、図３のステップＳ１２における隣接クラスタの数は、８とは限らず、着目クラスタが隣接している数になる。【００５１】
本発明の有効な点の１つは、クラスタに分けるときに閾値を用いないことである。各画素、各クラスタは隣接する画素またはクラスタのうち最も近い色差のものと結合していくだけなので、光の加減が変わっても相対的な関係が変わらない。つまり、光の加減が変わっても同じようにクラスタ化されていくのである。これは従来のセグメンテーション技術にない有効な特徴であり、従来のように何度も閾値を変えてセグメンテーションする必要がない。すなわち、光の加減に非常にロバストな手法ということができる。【００５２】
次に、画像処理の具体例を示すにより、実施例１の動作をさらに説明する。図５の画像は、丸い物体Ｄと、三角の物体Ｅと、背景の３つの領域から構成され、３つの領域は、各々異なる色情報及び明るさ情報を持っている。図５の画像のすべての画素に対して、画像分割処理部２で画像分割処理を実施すると、画像は色別にクラスタリングされる。図７にクラスタリングされた状態を示す。画素に記載された番号はクラスタの番号であり、同じクラスタは同じ番号を持つ。三角の物体Ｅの領域は同じ色であるにもかかわらず、違うクラスタ番号のクラスタが存在している。【００５３】
この段階で、次の輪郭抽出部３にデータを送付する。輪郭抽出部３は、画像分割処理部２がクラスタリングした各クラスタの境界部を輪郭として抽出する。抽出された輪郭情報は、輪郭認識部４に送られる。輪郭認識部４では、輪郭データ保存部５に保存してある認識用の輪郭データベースと、輪郭抽出部３で抽出された輪郭情報をマッチングし、物体を特定する。【００５４】
ここまでの処理で物体の認識は一旦完了するが、物体として特定できなかったクラスタもまだ残る場合がある。特に、図７に示したように、同じ色なのに、違うクラスタになってしまった部分は物体として特定される可能性は低い。図７に示すように、クラスタ２に関しては円形の輪郭が抽出され、輪郭認識部４で、丸い物体が認識される。しかしながら、クラスタ３、クラスタ４に分割された領域では、輪郭データベースとマッチングするものが見つかっていない状態である。そこで、輪郭認識部４で、認識できたクラスタ２を処理対象からはずし、残ったクラスタを処理対象として、再度、クラスタ化の処理に戻る。ここで、今度は画素同士のクラスタリングではなく、クラスタ同士のクラスタリングを選択し、クラスタ間でクラスタリングによるクラスタの結合を行う。その際、隣接するクラスタのうち最も色差が少ないクラスタと結合する。クラスタリング間の結合を行った結果を図８に示す。同じ色のクラスタがひとつのクラスタに結合されていることがわかる。その後の処理は、画素のときと同じで、輪郭抽出部、輪郭認識部が順次処理をし、物体を特定していく。今度は、三角の物体も認識できる。図９に、輪郭抽出された結果を示す。最終的に、丸い物体、三角の物体が認識され、特定されているのがわかる。このようにして、本発明により、閾値の設定を必要とせずに、画像は自律的に分割され、その後、非常に簡便に、物体を特定することができる。【００５５】
図１０は、暗い中で、図５と同じ被写体を撮影した画像である。図１０の画像を画像分割処理部２で処理した場合の結果を図１１に示す。暗い中にある物体でも容易に認識することができていることがわかる。これは本発明が閾値設定を必要とせず、光の加減に関わらずにロバストに動作できることに起因している。以上より、本発明が非常に簡便で、ロバストに物体の特定、輪郭の抽出、物体の認識が可能であることがわかった。
【実施例２】
【００５６】
［実施例２の構成］
図１２は、本発明の実施例２の画像処理全体のブロック図である。実施例２は、実施例１に対して、クラスタ結合部６、クラスタ結合用データ保存部７をさらに含んでいる。クラスタ結合部６は、画像分割処理部２と、輪郭抽出部３の間に配置され、画像分割処理部２によるクラスタリング結果を、クラスタ結合用データ保存部７に保存されているデータに基づいて、結合処理するように、構成されている。【００５７】
［実施例２の動作］
図１４は、本発明の実施例２を説明するためのフローチャートである。図１４は、実施例１の動作を示す図６に対して、ステップＳ２７が追加されている。ステップＳ２７は、ステップＳ２３、ステップＳ２８でクラスタリング処理した結果に対して、クラスタ間の結合関係等を利用し、クラスタを結合する処理を行っている。【００５８】
以上のように、実施例２では、最終的な物体の特定、輪郭の抽出は、クラスタ間の接続関係、包含関係を利用し、色の異なるクラスタも結合することを行っている。結合されたクラスタの周辺部を取り出すことで輪郭が抽出できる。抽出された輪郭は、画像処理装置が保有する輪郭の辞書とマッチングし、物体が何であるかを認識する。クラスタ間の接続、包含は多少の組み合わせ問題になるが、本発明の色別クラスタリングでは、物体の塊としての情報が保存されているので、処理は、複雑にはならない。この方法は、物体の塊としての情報が保存されないエッジから物体を特定したり、閾値を変えて何度もセグメンテーションをやりながら物体を特定したりする従来の方法に比べて簡便である。以上、本発明により、非常に簡便かつ有効に物体を特定したり、物体の輪郭を抽出したりすることができる。【００５９】
図１３は、人型の物体を示し、顔、腕（右）、腕（左）、Ｔシャツ、ズボン（右）、ズボン（左）、背景の７つの領域からなる画像である。ここで、腕（左）と腕（右）は、同じ色情報、明るさ情報を持ち、ズボン（左）とズボン（右）は、同じ色情報、明るさ情報を持っている。図１３を実施例２で、実施する画像とする。まず、ステップＳ２３の処理で、クラスタリング処理が行われて、顔がクラスタ２に、腕（右）がクラスタ３に、腕（左）がクラスタ４に、Ｔシャツがクラスタ５に、ズボン（右）がクラスタ６に、ズボン（左）がクラスタ７に、背景がクラスタ１に、クラスタリングされる。【００６０】
次に、クラスタ結合部６により、ステップＳ２７の処理が行われ、図１５に示すように、６つのクラスタ２、クラスタ３、クラスタ４、クラスタ５、クラスタ６、クラスタ７は統合されて、クラスタ２に纏められる。ここで、ステップＳ２７のクラスタを結合する処理は、色差などの物理量の差だけでクラスタを結合するのではなく、クラスタ間の接続関係や内包関係を利用して、クラスタを結合している。例えば、楕円形のものに、長方形状のものが接続し、その長方形状のものから、さらに細い長方形状のものが伸びていた場合、それらは、顔に胴体が接続し、胴体から手足が出ているという人体形状の特徴を表しているから、これらの領域を同一のものと判定し、結合する。このように、物体の特徴を満たすクラスタ間の関係を見つけたら、クラスタを結合していく。様々な物体の特徴は、予め、クラスタ結合用データ保存部７に保存しておき、そこから取得する。このようにしてクラスタを結合すると、各部分は異なる色や物理量で形成されていても同一の物体である場合、その物体の輪郭も抽出することが可能になる。図１４のステップＳ２４では、結合されたクラスタから輪郭抽出を行っている。図１５の処理結果をみると、結合されたクラスタ２の境界部が、輪郭抽出ができていることがわかる。【００６１】
次に、ステップＳ２５で、輪郭認識を行う。ここでは、輪郭抽出された結果を輪郭データ保存部のデータベースと参照して、マッチング処理を行い、抽出された輪郭が、人間であるという認識結果を出力する。以上により、いくつかの色別のセグメントからなる物体の認識に関しても、本発明が有効であることがわかった。また、実施例２においても、実施例１と同様、光の加減にロバストな認識が可能である。【００６２】
実施例１、２では、主に色情報を使用してクラスタリングを行ったが、その他の特徴量として、テクスチャなどを使用してもよい。また、実施例では、単純な画像で認識を行ったが、もっと複雑な形状の物体や、多くの物体が含まれている画像に対しても本発明は有効である。【００６３】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。【００６４】
（付記１）画像を画素の集合であるクラスタに分割する画像分割処理部を有し、
前記画像分割処理部は、画像に含まれる各画素をそれぞれ着目画素として、前記着目画素に隣接する画素の中で、特徴量が前記着目画素に最も近い画素と同一のクラスタとすることにより、画像を分割することを特徴とする画像処理装置。【００６５】
（付記２）前記特徴量は、色情報であることを特徴とする付記１に記載の画像処理装置。【００６６】
（付記３）前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとしたとき、
前記色情報は、３つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇからなるベクトルにより表されることを特徴とする付記２に記載の画像処理装置。【００６７】
（付記４）前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとし、αをある係数としたとき、
前記特徴量は、４つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇ、α（Ｒ＋Ｇ＋Ｂ）からなるベクトルにより表されることを特徴とする付記１に記載の画像処理装置。【００６８】
（付記５）前記画像分割処理部で形成したクラスタの境界を抽出する輪郭抽出部をさらに有することを特徴とする付記１乃至４のいずれか１に記載の画像処理装置。【００６９】
（付記６）前記輪郭抽出部による輪郭抽出結果に基づいて輪郭認識を行う輪郭認識部をさらに有し、前記輪郭認識部で認識できたクラスタを処理対象からはずした後、前記画像に含まれる残りの処理対象の各クラスタをそれぞれ着目クラスタとして、前記着目クラスタを前記着目クラスタに隣接するクラスタの中で、特徴量が前記クラスタに最も近いクラスタと同一のクラスタとすることにより、クラスタ間の結合をさらに行うことを特徴とする付記５に記載の画像処理装置。【００７０】
（付記７）画像を画素の集合であるクラスタに分割する画像分割方法であって、
前記画像に含まれる画素のうち一の画素を着目画素として前記着目画素と隣接する画素の中で、特徴量が前記着目画素に最も近い画素を選択する隣接画素選択ステップと、
前記着目画素を前記隣接画素選択ステップで選択された画素と同一のクラスタとする隣接画素間同一クラスタ化ステップと、を含み、前記隣接画素選択ステップと、前記隣接画素間同一クラスタ化ステップと、を前記画像に含まれる各画素を前記着目画素として繰り返すことを特徴とする画像分割方法。【００７１】
（付記８）前記特徴量は、色情報であることを特徴とする付記７に記載の画像分割方法。【００７２】
（付記９）前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとしたとき、
前記色情報は、３つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇからなるベクトルにより表されることを特徴とする付記８に記載の画像分割方法。【００７３】
（付記１０）前記画像のＲＧＢ表色系による成分を、Ｒ、Ｇ、Ｂとし、αをある係数としたとき、
前記特徴量は、４つの成分が、２Ｒ−Ｇ−Ｂ、２Ｇ−Ｒ−Ｂ、２Ｂ−Ｒ−Ｇ、α（Ｒ＋Ｇ＋Ｂ）からなるベクトルにより表されることを特徴とする付記７に記載の画像分割方法。【００７４】
（付記１１）前記クラスタの境界を抽出するステップをさらに含むことを特徴とする付記７乃至１０のいずれか１に記載の画像分割方法。【００７５】
（付記１２）前記クラスタの境界を抽出するステップにより得られた輪郭抽出結果に基づいて、輪郭を認識する輪郭認識ステップと、前記輪郭認識ステップで認識できたクラスタを処理対象からはずすステップと、前記処理対象からはずされた残りの各クラスタをそれぞれ着目クラスタとして、前記着目クラスタを前記着目クラスタに隣接するクラスタの中で、特徴量が前記クラスタに最も近いクラスタを選択する隣接クラスタ選択ステップと、前記着目クラスタを前記隣接クラスタ選択ステップで選択されたクラスタと同一のクラスタとする隣接クラスタ間同一クラスタ化ステップと、をさらに含むことを特徴とする付記１１に記載の画像分割方法。
【産業上の利用可能性】
【００７６】
本発明の画像分割方法により、デジタル映像機器で撮像された画像に映っている被写体を認識することができるので、撮像された画像データを被写体ごとに分類したり、画像データベースの中からある被写体のシーンを検索したりすることなどに適用することが可能である。【００７７】
本発明の全開示（請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施例ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【符号の説明】
【００７８】
１      画像取得部
２      画像分割処理部
３      輪郭抽出部
４      輪郭認識部
５      輪郭データ保存部
６      クラスタ結合部
７      クラスタ結合用データ保存部
８、９  画像処理装置
【図１】
2012005242.tif 000009
【図２】
2012005242.tif 000010
【図３】
2012005242.tif 000011
【図４】
2012005242.tif 000012
【図５】
2012005242.tif 000013
【図６】
2012005242.tif 000014
【図７】
2012005242.tif 000015
【図８】
2012005242.tif 000016
【図９】
2012005242.tif 000017
【図１０】
2012005242.tif 000018
【図１１】
2012005242.tif 000019
【図１２】
2012005242.tif 000020
【図１３】
2012005242.tif 000021
【図１４】
2012005242.tif 000022
【図１５】
2012005242.tif 000023
【国際調査報告】
2012005242.tif 000024
2012005242.tif 000025
2012005242.tif 000026
2012005242.tif 000027