(57)【要約】【課題】人の手作業による領域設定などをすることなく、検出対象物を確実に検出することができる画像処理方法および画像処理装置を提供する。【解決手段】色範囲初期値記憶部１５に記憶された肌色範囲に基づいて、画像中における画素中の肌色領域を検出する。肌色領域を検出したら、測定基準領域を設定し、その測定基準領域における肌色領域の色分布を測定する。色分布を測定したら、この色分布を正規分布で表し、この正規分布に基づいて、顔色範囲を再設定する。【選択図】  図２
2004152144.tif 000002
【特許請求の範囲】
【請求項１】
画像中の画素に対して、検出対象であると判断する特徴量の範囲を検出対象特徴量範囲として予め設定しておき、
画像中における画素の特徴量を検出し、
前記検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて、前記検出対象特徴量範囲を再設定することを特徴とする画像処理方法。
【請求項２】
前記再設定された検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて、検出対象特徴量範囲をさらに再設定する請求項１に記載の画像処理方法。
【請求項３】
再設定する検出対象特徴量範囲を、前記検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量の平均および分散に基づいて設定する請求項１または請求項２に記載の画像処理方法。
【請求項４】
再設定する検出対象特徴量範囲を、前記検出対象特徴量範囲に収まる画素を含む所定の画素のうち、前記画像中における影響がもっとも大きい大影響領域を形成する画素を求め、
前記大影響領域を形成する画素の特徴量に基づいて、検出対象特徴量範囲を再設定する請求項１または請求項２に記載の画像処理方法。
【請求項５】
画像中の画素に対して、検出対象であると判断する特徴量の範囲を検出対象特徴量範囲として設定された検出対象特徴量記憶手段と、
画像中における画素の特徴量を検出する特徴量検出手段と、
前記検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて、前記検出対象特徴量を再設定する検出対象特徴量再設定手段と、
を備えることを特徴とする画像処理装置。
【請求項６】
前記検出対象量再設定手段が、再設定する検出対象特徴量範囲を、前記検出対象特徴量範囲に収まる画素を含む所定の画素の特徴量の平均および分散に基づいて設定する請求項５に記載の画像処理装置。
【請求項７】
前記検出対象量再設定手段が、再設定する検出対象特徴量範囲を、前記検出対象特徴量範囲に収まる画素を含む所定の画素のうち、前記画像中における影響がもっとも大きい大影響領域を形成する画素を求め、
前記大影響領域を形成する画素の特徴量に基づいて、検出対象特徴量範囲を再設定する請求項５または請求項６に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
カメラで撮影した画像から顔などの検出対象物を検出するにあたり、顔を同系統色で構成されていると仮定し、同系統色で形成されている物体を検出対象物と判断する技術がある。同系統色からなる物体を画像から検出する際、同系統色というのは唯一つの色ではないため、それを特定の範囲の画素値をもつ色と定義することから始める。たとえば、「赤色」をＲＧＢ空間で表現した場合、０．８＜＝ｒ＜＝１かつ０＜＝ｇ＜＝０．２かつ０＜＝ｂ＜＝０．２のように定義することとする。ｒ，ｇ，ｂはそれぞれ、画素のＲＧＢ値であり、定義域を０＜＝ｒ，ｇ，ｂ＜＝１とする。「赤色」を上記のように定義したら、画像中の各画素について、定義した赤色の条件を満たしている領域を抽出して、画像の赤色を領域とそれ以外に分割する。そして、抽出された領域について隣接している画素を連結して一まとめにし、ラベル番号を与えることで、シーン中の赤色の物体を検出することができる。
【０００３】
ところが、色をある特定の範囲で定義して物体を検出する方法は、同一の物体でも個体差によって色のばらつきがある場合等に問題になる。たとえば、「りんごの赤」をある色の範囲として定義したとすると、その範囲では通常より赤みの薄い緑がかったりんごは検出されないかもしれない。平均的な色から外れた色の個体でも検出できるように色の範囲を広くすると、今度は逆にりんご以外に他の赤みがかった物体を検出してしまう可能性が高くなるという問題がある。
【０００４】
このような問題を回避するため、検出したい物体をマウスやペンなどの位置指定手段を用いて指定することで、その画像における当該物体の色の範囲を定めて物体を検出するというものがある（たとえば、特許文献１参照）。この手法によれば、指定された物体のまさにその画像中での色の範囲を求めるため、目的の物体が検出されないことや、誤って他の物体が検出されるということを少なくすることができる。
【０００５】
【特許文献１】
特開平１１−１５４９７号公報
【０００６】
【発明が解決しようとする課題】
しかし、上記公報に開示された発明では、位置の指定を手作業で行うことが前提となっており、操作上の煩わしさがあるばかりか、そもそも手作業での指定が難しいような場合、たとえば自動車の運転中のようなシーンでは適用が難しい。また、これを動画像に適用した場合、すべてのフレームを手作業で指定できたとしても、後続のフレームで物体の見える角度や照明が変化するなどで物体の見かけ上の色が変わった場合には、検出できなくなってしまうという問題がある。
【０００７】
そこで、本発明の課題は、たとえば人の手作業による領域設定などをすることなく、検出対象物を確実に検出することができる画像処理方法および画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決した本発明の係る画像処理方法は、画像中の画素に対して、検出対象であると判断する特徴量の範囲を検出対象特徴量範囲として予め設定しておき、画像中における画素の特徴量を検出し、検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて、検出対象特徴量範囲を再設定するものである。
【０００９】
本発明に係る画像処理方法では、画像中における画素の特徴量を検出し、前記検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて、前記検出対象特徴量範囲を再設定するものである。このため、人の手作業による領域設定などをする必要はなくなり、しかも検出対象物を確実に検出することができる。
【００１０】
ここで、前記再設定された検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて、検出対象特徴量範囲をさらに再設定するのが好適である。
【００１１】
このように、検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて検出対象特徴量範囲の再設定を行うことにより、検出対象物を精度よく検出することができる。さらに続けて再設定を繰り返して続けることにより、さらに精度よく検出対象物を検出することができる。
【００１２】
また、再設定する検出対象特徴量範囲を、検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量の平均および分散に基づいて設定するのが好適である。
【００１３】
再設定する検出対象特徴量範囲を、検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量の平均および分散に基づいて設定することにより、検出対象物をさらに精度よく検出することができる。
【００１４】
あるいは、再設定する検出対象特徴量範囲を、検出対象特徴量範囲に収まる画素を含む所定の画素のうち、画像中における影響がもっとも大きい大影響領域を形成する画素を求め、大影響領域を形成する画素の特徴量に基づいて、検出対象特徴量範囲を再設定する態様とすることもできる。
【００１５】
このような大影響領域形成する画素から検出対象特徴量を再設定することにより、さらに精度よく検出対象を検出することができる。
【００１６】
また、上記課題を解決した本発明に係る画像処理装置は、画像中の画素に対して、検出対象であると判断する特徴量の範囲を検出対象特徴量範囲として設定された検出対象特徴量記憶手段と、画像中における画素の特徴量を検出する特徴量検出手段と、検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量に基づいて、検出対象特徴量を再設定する検出対象特徴量再設定手段と、を備えるものである。
【００１７】
ここで、検出対象量再設定手段が、再設定する検出対象特徴量範囲を、検出対象特徴量範囲に収まる画素を含む所定の画素の特徴量の平均および分散に基づいて設定するのが好適である。
【００１８】
あるいは、検出対象量再設定手段が、再設定する検出対象特徴量範囲を、検出対象特徴量範囲に収まる画素を含む所定の画素のうち、画像中における影響がもっとも大きい大影響領域を形成する画素を求め、大影響領域を形成する画素の特徴量に基づいて、検出対象特徴量範囲を再設定するのが好適である。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００２０】
図１は、本発明の第１の実施形態に係る画像処理装置のブロック構成図である。なお、本実施形態では、検出対象物が人の顔として決まっている例について説明する。
【００２１】
図１に示すように、本実施形態に係る画像処理装置１は、画像取得手段、たとえばＣＣＤカメラからなるカメラ２および結果出力手段、たとえばモニタ３に接続されている。この画像処理装置１は、画像記憶手段となる画像記憶部１１、色領域検出部１２、色分布測定部１３、色範囲決定部１４、色範囲初期値記憶部１５、物体識別部１６、および終了判定部１７を備えている。
【００２２】
カメラ２は、検出対象物、本実施形態では、顔を含む周囲の環境を撮影するものである。このカメラ２は、画像処理装置１における画像記憶部１１に接続されている。画像記憶部１１は、カメラ２によって撮影された画像をＡ／Ｄ変換してデジタル画像として記憶しておく。また、画像記憶部１１は、色領域検出部１２に接続されており、記憶していたデジタル画像を適宜色領域検出部１２に出力する。色領域検出部１２は、画像記憶部１１のほか、色分布測定部１３に接続されている。色領域検出部１２では、画像記憶部１１から出力された画像のうち、本発明の特徴量である色度を判定し、その色度が肌色と判断される範囲内にある色を有する画素（以下、「肌色画素」という）を検出する。本実施形態では、色度を判定するために、ＨＳＩ系の色空間における色相Ｈと彩度Ｓとを用いている。このように、色相Ｈと彩度Ｓとを採用して明度Ｉを除いていることにより、照明条件の変化に対するロバスト性を向上させることができる。さらに、本実施形態では、色範囲を０＜＝ｈ（ｐ）＜＝１かつ０＜＝ｓ（ｐ）＜＝０．５とする。ただし、ｈ（ｐ）は画素ｐの色相を表し、定義域は−π＜＝ｈ＜＝π、ｓ（ｐ）は画素ｐの彩度を表し、定義域は０＜＝ｓ＜＝１とする。
【００２３】
また、色領域検出部１２は、色分布測定部１３に接続されている。色分布測定部１３では、肌色画像をそれぞれの色度に基づいて分類し、その色分布を測定する。この色分布測定部１３は、色範囲決定部１４に接続されている。色範囲決定部１４では、色分布測定部１３で測定された色分布に基づいて、本発明の検出対象特徴量範囲である１つの顔と判断する色の範囲（以下「顔色範囲」という）を決定し、終了判定部１７を経て色領域検出部１２に出力する。
【００２４】
さらに、色領域検出部１２には、色範囲初期値記憶部１５および物体識別部１６が接続されている。色範囲初期値記憶部１５には、人の顔とみなす画素の色度の範囲である顔色範囲の初期値（以下「肌色範囲」という）が記憶されている。物体識別部１６には、たとえば顔のテンプレートが記憶されている。他方、色範囲決定部１４と色領域検出部１２は、それぞれ終了判定部１７に接続されている。終了判定部１７では、色範囲決定部１４によって決定された顔色範囲と、色分布測定部１３で測定された色分布とから、画像処理を終了するか否かを判断し、終了と判断した場合には、終了信号を色領域検出部１２に出力する。さらに、色領域検出部１２は、モニタ３に接続されており、終了判定部１７から終了信号が出力された時点で、顔色範囲に含まれる肌色画素を含む画像中の領域を適宜の形状で切り取り、信号化してモニタ３に出力する。
【００２５】
以上の構成を有する本実施形態に係る画像処理装置における画像処理方法について、主に図１および図２を参照して説明する。図２は本実施形態に係る画像処理方法を示すフローチャートである。
【００２６】
画像処理を開始する前に、画像処理装置１における色範囲初期値記憶部１５には、顔色範囲となる初期値となる肌色範囲を予め設定しておく。人の顔は、一般に肌色を呈しているが、肌色といってもこれが同一の色度を有するものではなく、たとえば図３に示すように、人物Ａと人物Ｂとではその色度が異なる。なお、同系統色で構成されている顔は、一般に正規分布に従うことから、人物Ａ，Ｂそれぞれの顔の色度を正規分布で示している。このように、肌色といってもその色には個人差があることから、人の顔として判断する顔色範囲を狭く設定してしまうと、人物Ａの顔を検出することはできるものの、人物Ｂの顔を検出することができなくなってしまう。さりとて、顔色範囲を広く設定すると、今度は、顔肌以外で肌色に近い色の物体をも検出してしまい、検出精度に問題が生じることが考えられる。
【００２７】
そこで、本実施形態では、種々の人の顔色を検出できるように、まず広い範囲の顔色範囲を肌色範囲として予め設定しておく。具体的には、図４に示すように、サンプルとなる複数の人が有する顔の色度の分布を手作業で調べる。この作業は、既存の画像編集ツールなどを用いて行うことができる。また、サンプルとなる人のデータは、様々な条件で撮影した様々な人のデータを数多く用意するのが好適である。そして、調べられた顔の色度の平均μと分散σ２を算出し、その平均と分散とから、複数人物の色度の分布を合成して、その正規分布を求める。人物が異なれば肌色の分布も異なる可能性が高いので、複数の人物について分布を求めておき、それらのすべてを合成した分布としておく。なお、この合成された分布は、各人物での分布に比べてばらつきは大きくなる。このように、求めた色度の分正規布における、たとえば９５％点の範囲内を肌色範囲とすることができる。もちろん、この作業は、初期の設定時のみに行えばよく、後の処理では設定された肌色範囲をそのまま利用することができる。
【００２８】
画像処理装置１による画像処理を行うにあたり、カメラ２は、画像処理の対象となる画像を撮影する。カメラ２は、撮影した画像を画像処理装置１における画像記憶部１１に出力する。画像処理装置１では、画像記憶部１１においてカメラ２から出力された画像を取得する（Ｓ１）。画像記憶部１１は、取得した画像をＡ／Ｄ変換してデジタル画像とし、このデジタル画像を信号化して色領域検出部１２に出力する。
【００２９】
色領域検出部１２では、画像記憶部１１から出力されたデジタル画像中における肌色領域を検出する（Ｓ２）。肌色領域を検出する際には、まず、デジタル画像におけるすべての画素が肌色画素であるか非肌色画素であるかを判断する。肌色画素か非肌色画素かの判断は、デジタル画像中の全画素について行われ、その画素が有する色度が、色範囲初期値記憶部１５に記憶された肌色範囲に含まれているか否かによって行われる。そして、色度が肌色範囲内にある場合にはその画素を肌色画素とみなして検出し、肌色範囲を外れる場合にはその画素を非肌色画素とする。ただし、このままでは多くのノイズ成分を含んでいるので、膨張、収縮処理などを施して、ノイズ除去を行う。その後、肌色画素のうち連結する画素をひとまとまりの領域としてラベル付けすることにより、肌色を呈する物体を構成する肌色領域を検出することができる。
【００３０】
肌色領域を検出したら、色分布測定部１３において、この画像における肌色領域の色分布を求める。この肌色領域の色分布を測定するために、肌色領域の分布を求めるための基準となる測定基準領域を設定する（Ｓ３）。この測定基準領域は、その目的等に応じて適宜設定することができる。たとえば、肌色領域を含む矩形の領域であって、その画素数が画面中における画素の総数に対する所定のしきい値、たとえば１％以上ある場合に、その領域を測定基準領域とすることができる。あるいは、検出された肌色画素が連結された領域を含む矩形領域を設定し、その矩形領域に対して所定のマージンをとった位置関係を有する形状部分、たとえば楕円形状部分を設定し、この楕円形状部分を、測定基準領域とすることもできる。
【００３１】
こうして、測定基準領域を設定したら、この測定基準領域に応じて、肌色領域の色分布を測定する（Ｓ４）。そして、測定して得られた色分布を適宜の方法で表現する。肌色領域の色分布の表現には様々な方法が考えられるが、たとえば測定基準領域内における肌色画素の色度の平均と分散から得られる正規確率密度関数に基づいて求められる正規分布とすることができる。ただし、このような正規分布に限定されるものではなく、適宜目的に応じて変えることもできる。測定基準領域内における肌色画素の色度の平均と分散から得られる正規分布は、通常、肌色範囲を規定する正規分布よりも小さくなる傾向にある。
【００３２】
肌色領域の色分布が測定され、色分布が正規分布で表現されたら、色範囲決定部１４において、顔色範囲を再設定する（Ｓ５）。顔色範囲を再設定する際には、初期顔色範囲である肌色範囲を設定する場合と同様に、ここで求めた正規分布の９５％点の範囲内を顔色範囲として再設定する。ただし、顔色範囲を求めるには、適宜他の方法を利用することもできる。
【００３３】
こうして、顔色範囲を再設定したら、終了判定部１７において、所定の終了条件を満たすか否かを判断する（Ｓ６）。その結果、終了条件を満たさないと判断した場合には、ステップＳ２に戻って肌色領域の検出を行う。ここで、ステップＳ２では、顔色範囲の初期値である肌色範囲に変えて、ステップＳ５で求めた顔色範囲に基づいて、肌色領域を検出する。いま、ステップＳ５で求められた顔色範囲は、肌色範囲と比べて、検出を試みようとしている顔の色度に近づいており、このステップＳ２〜ステップＳ６の工程を繰り返すことにより、検出を試みる顔の色度により近づいていく。
【００３４】
たとえば画像に２つの肌色領域があり、一方が顔で他方が他の肌色の物体、たとえば肌色の衣服であったとする。ここで、図２に示すフローにしたがって、測定基準領域の色分布を測定すると、図５（ａ）に示すように、予め求められた正規分布Ｒ１の９５％点の範囲内に設定されている肌色範囲Ｔ１内に、２つの塊が生じる。これは、１つの物体は同系統色で構成されており、通常、２つの物体の系統色は異なることによるものである。２つの塊のうち、数が多く、支配的であるのが、顔を写す肌色領域における肌色画素の色分布である顔範囲Ｕ１であり、他方が、衣服を写す肌色領域における肌色画素の色分布である他物体範囲Ｕ２である。本実施形態では、この顔範囲Ｕ１が本発明の「検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量」の範囲に相当する。
【００３５】
なお、本実施形態において、これらの顔範囲Ｕ１および他物体範囲Ｕ２の色度を有する画素が、本発明の検出対象特徴量範囲に収まる画素を含む所定の画素に相当する。また、顔範囲Ｕ１の色度を有する画素が、本発明の画像中における影響がもっとも大きい大影響領域を形成する画素に相当する。複数の画素により構成される範囲のうち、どの範囲を大影響領域とするかは、その範囲を構成する画素の数の大小で決定することができ、もっとも画素の数が多い範囲を大影響領域とすることができる。画素の数が多いということは、画像中において占める面積の割合が高いことを意味するものである。
【００３６】
これらの色分布に基づいて、顔範囲Ｕ１と他物体範囲Ｕ２における画素の色度の平均μと分散σ２とを求め、図５（ｂ）に示す正規分布Ｒ２を求める。この正規分布Ｒ２の９５％点の範囲内となる顔色範囲Ｔ２を再設定すると、顔色範囲Ｔ２は、初期の顔色範囲である肌色範囲Ｔ１よりも狭い範囲となる。しかもその位置は、画面の中で支配的となる顔範囲Ｕ１を示す範囲に近づいてくる。
【００３７】
そして、終了条件が満たされない場合には、さらに顔色範囲Ｔ２内における顔範囲Ｕ１およぶ他物体範囲Ｕ２の色分布に基づいて、各色領域における画素の色度の平均μと分散σ２を求め、図５（ｃ）に示すように、その正規分布Ｒ３を求める。この正規分布Ｒ３の９５％点の範囲内となる顔色範囲Ｔ３を再設定すると、顔色範囲Ｔ３は、図５（ｂ）に示す顔色範囲Ｔ２よりも狭く、顔範囲Ｕ１により近くなり、他物体範囲Ｕ２からは離れていく。このように、図２におけるステップＳ２〜ステップＳ６を繰り返すことにより、顔色範囲を検出しようとする対象となる顔の顔範囲Ｕ１により近づけることができる。
【００３８】
また、図６（ａ）に示すように、画像中に肌色範囲Ｔ１内に１つの肌色領域しかなく、その肌色領域の一部の画素が、肌色範囲を外れている場合でも、同様の処理を繰り返すことにより、顔色範囲を顔範囲に近づけることができる。いま、図６（ａ）では、画像中における画素の色度を求めた結果、色分布が顔範囲Ｕ３範囲となる顔が検出されたとする。この例では、顔範囲Ｕ３が本発明の「検出対象特徴量範囲に収まる特徴量を有する画素を含む所定の画素の特徴量」の範囲に相当する。
【００３９】
このときに、図２に示すフローのステップＳ２〜ステップＳ６を行うと、図６（ａ）内の肌色範囲Ｔ１内における顔範囲Ｕ３にある画素の色度の平均μと分散σ２とを計算すると、図６（ｂ）に示す正規分布Ｒ４が求められる。この正規分布Ｒ４の９５％点の範囲内となる顔色範囲Ｔ４を再設定すると、顔色範囲Ｔ４は肌色範囲Ｔ１よりも狭くなるとともに、顔範囲Ｕ３に近づいてくる。さらに顔色範囲Ｔ４内における顔範囲Ｕ３の色分布に基づいて、その画素の色度の平均μと分散σ２を求め、図６（ｃ）に示す正規分布Ｒ５を求める。この正規分布Ｒ５の９５％点の範囲内となる顔色範囲Ｔ５を再設定すると、顔色範囲Ｔ５は、図６（ｂ）に示す顔色範囲Ｔ４よりも狭く、顔範囲Ｕ３により近くなる。このようにして、同様の処理を繰り返すことにより、顔色範囲をより検出しようとする対象となる顔の顔範囲Ｕ３に近づけることができる。
【００４０】
そして、ステップＳ２〜ステップＳ６の工程を数回経て、ステップＳ６で終了条件を満たすと判断されたら、色領域検出部１２から、検出対象物を含む画像を信号化してモニタ３に出力する（Ｓ７）。ステップＳ６で終了したと判断するための条件は、適宜設定することができる。たとえば、ステップＳ２〜ステップＳ６の工程を繰り返し、正規分布より求められる顔色範囲と、１つ前の顔色範囲との変化量が少なく、所定のしきい値以下であった場合に終了すると判断することができる。そのほか、たとえば肌色領域を構成する画素が、顔色範囲に所定の割合以上含まれたときに、終了と判断することもできる。その他、ステップＳ２〜ステップＳ６を繰り返す回数を予め決めておき、その回数に到達した時点で終了と判断することができる。
【００４１】
また、終了と判断された後、色領域検出部１２では、モニタ３に出力する画像領域を決定する。この画像領域は、たとえば最後に求められた顔色範囲に含まれる色度を有する画素をすべて含む矩形状に切り取った領域をモニタ３に出力する画像領域とすることができる。そして、モニタ３には、検出対象の顔が含まれる画像が表示される。
【００４２】
このように、本実施形態に係る画像処理方法では、人の顔と判断する肌色領域の初期値を広めに設定しているので、様々な顔色を持つ人の顔であっても、それらを人の顔として判断することができる。また、人の顔の色に近い色の物体があった場合でも、人の顔の色に近い範囲に顔色範囲を狭めていく処理をしているので、人の手作業による領域設定などをすることなく、人の顔を確実に検出することができる。
【００４３】
さらに、本実施形態に係る画像処理装置では、検出した肌色領域が顔であるか否かを判断する態様とすることもできる。この場合、色領域検出部１２で検出された領域を物体識別部１６におけるテンプレートをあてはめることなどにより、顔であるか否か判定し、その結果、顔であると判定された肌色領域のみ、色分布測定用の測定基準領域として設定するようにする。こうすることにより、人の顔の検出精度をさらに高いものとすることができる。
【００４４】
次に、本発明の第２の実施形態について説明する。
【００４５】
本実施形態において用いられる画像処理装置は、上記第１の実施形態で用いられた画像処理装置１と実質的に同一の構成を有している。ただし、この画像処理装置１には、カメラ２に代えて、動画取得手段となるビデオカメラが接続されている。このビデオカメラにおける動画フレーム間数は、通常のビデオカメラの動画フレーム間数である３０フレーム／秒に設定されている。また、ビデオカメラで撮像される画像のうち、最初のフレームにおける画像を第１画像、次のフレームにおける画像を第２画像という。
【００４６】
続いて、本実施形態に係る画像処理装置における画像処理方法について、図１および主に図７を参照して説明する。図７は、本実施形態に係る画像処理方法を示すフローチャートである。
【００４７】
図７に示すように、本実施形態に係る画像処理方法では、図２に示す上記第１の実施形態に係る画像処理方法と、最初のステップＳ１〜ステップＳ６は同様の工程を繰り返す。すなわち、ビデオカメラから出力されたデジタル画像（第１画像）を取得したら（Ｓ１１）、その第１画像中における肌色領域を検出する（Ｓ１２）。続いて、肌色領域の分布を求めるための基準となる測定基準領域を設定し（Ｓ１３）、続いて、測定基準領域に応じて、肌色領域の色分布を測定する（Ｓ１４）。それから、色分布を測定し、正規分布で表現されたら、この正規分布に基づいて顔色範囲を再設定する（Ｓ１５）。そして、終了条件を満たすか否かを判断し（Ｓ１６）、終了条件を満たさないと判断した場合、上記第１の実施形態では、ステップＳ２に戻って肌色領域を検出するが、本実施形態では、ステップＳ１１に戻って画像（第２画像）を取得しなおす。ここまでのステップＳ１１〜ステップＳ１６における処理は、上記第１の実施形態におけるステップＳ１〜ステップＳ６と同様にして行われる。また、このステップＳ１１〜ステップＳ１６の工程を、ビデオカメラの１フレームが変わる時間と同調するように設定しておく。
【００４８】
本実施形態では、動画を対象としているので、ステップＳ１１〜ステップＳ１６の工程を経ると、ビデオカメラから出力される画像が第１画像から第２画像に変化している。そこで、本実施形態では、ステップＳ１６で終了条件を満たさない場合には、ステップＳ１に戻ってビデオカメラから出力される画像（第２画像）を取得する。そして、再びステップＳ１１〜ステップＳ１６の工程を繰り返すことにより、検出対象である顔を追従しながら、その検出対象を明確にすることができる。
【００４９】
ところで、ステップＳ１１〜ステップＳ１６の工程を経る間に、ビデオカメラで撮影される第１画像と第２画像との間に大きな変化がある場合、検出対象を的確に追従できないことが考えられる。ところが、本実施形態で用いられるビデオカメラにおける動画フレーム間数は３０フレーム／秒である。このため、画面に映っている物体が移動、回転あるいは照明条件が変化したとしても、隣り合うフレーム間での見かけ上の色の変化はわずかである。このため、第１画像での色分布を次の第２画像に適用したとしても、２つのフレーム間では色分布にはほとんど違いがないはずである。そこで、第２画像における色分布に第１画像における色分布を用いても異なる検出対象を検出してしまうことはほとんどない。したがって、ステップＳ１１〜ステップＳ１６の工程を繰り返すことにより、検出対象物における見かけ上の色分布の変化を吸収しつつ、検出対象物を検出しつつ、追跡することができる。
【００５０】
いま、図８（ａ）は第１画面における検出対象物である顔の色分布を表した顔範囲Ｗ１および正規分布Ｒ４に基づく初期の顔色範囲である顔色範囲Ｔ６を示している。正規分布Ｒ６は、上記第１の実施形態における図５（ａ）に示す正規分布Ｒ１と同様にして予め求められたものである。この正規分布Ｒ６内における顔範囲Ｗ１の画素の平均μと分散σ２とを求め、図８（ｂ）に示す正規分布Ｒ７を求める。この正規分布Ｒ７の９５％点の範囲内となる顔色範囲Ｔ７を再設定すると、顔色範囲Ｔ７は、肌色範囲Ｔ６よりも狭い範囲となる。しかもその位置は、第１画像の画面の中で支配的となる顔範囲Ｗ１を示す範囲に近づいてくる。そして、第２画像を取得した後（Ｓ１１）、ステップＳ１２において顔範囲Ｗ２を求める。
【００５１】
ところで、第１画像に基づいて算出された顔色範囲Ｔ７を用いて第２画像に用いていることから、顔色範囲Ｔ７から顔範囲Ｗ２が外れやすくなることが懸念される。ところが、ビデオカメラにおける動画フレーム間数である３０フレーム／秒に設定されている。このため、第１画像と第２画像の間での変化は小さなものとなるので、検出対象物である顔における見かけ上の色分布の変化を吸収することができる。しかも、顔が移動した場合には、その移動に追従して顔色範囲Ｔ５が移動することになるので、その変化を追跡することができる。
【００５２】
さらに、ステップＳ１６で終了条件を満たさない場合には、ステップＳ１１に戻って、ビデオカメラから第３画像を取得する（Ｓ１１）。そして、同様の処理を繰り返すことにより、第２画像から求めた顔色範囲Ｔ７内における顔範囲Ｗ２の画素の平均μと分散σ２とを求め、図８（ｃ）に示す正規分布Ｒ８を求める。この正規分布Ｒ８の９５％点の範囲内となる顔色範囲Ｔ８を再設定すると、顔色範囲Ｔ８は、第２画像における顔色範囲Ｔ７よりも狭い範囲となる。しかもその位置は、画面の中で支配的となる顔範囲Ｗ２を示す範囲にさらに近づいてくる。そして、顔範囲Ｗ３を求めて同様のステップＳ１１〜ステップＳ１６を繰り返し、ステップＳ１６で終了条件を満たすと判断した場合には、上記第１の実施形態と同様にして、検出対象物を含む画像を信号化してモニタ３に出力する（Ｓ１７）。終了したと判断するための条件は、上記第１の実施形態と同様とすることができる。
【００５３】
このように、本実施形態に係る画像処理方法においては、動画を撮影することにより検出対象物の移動に伴い、顔色範囲を随時求めているので、画像の変化に伴う顔色の変化があった場合でも、適切にその顔を検出することができる。また、顔色の変化に伴って顔色範囲を設定しなおしていることから、たとえば顔色範囲の初期値から外れてしまった場合でも、顔を適切に検出することができる。
【００５４】
他方、本実施形態においても、上記第１の実施形態と同様、検出した肌色領域が顔であるか否かを判断する態様とすることもできる。この場合、色領域検出部１２で検出された領域を物体識別部１６におけるテンプレートをあてはめることなどにより、顔であるか否か判定し、その結果、顔であると判定された肌色領域のみ、色分布測定用の測定基準領域として設定するようにする。こうすることにより、人の顔の検出精度をさらに高いものとすることができる。
【００５５】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態においては、検出対象を人の顔としているが、これに限定されるものではなく、種々のものとすることができ、その検出対象に応じて検出対象特徴量を適宜設定することができる。たとえば、上記従来例で説明したように、検出対象をりんごとした場合には、検出対象特徴量として赤色を有する色度の範囲を設定することができる。また、検出対象物は人の顔と決まっていたが、検出対象物が具体的に定められていない場合にも、本発明に係る画像処理方法を適用することができる。
【００５６】
また、上記実施形態では色度を判定するためにＨＳＩ系の色度を用いているが、これに限らず、たとえばＲＧＢ系の色度など適宜他の指標を用いることもできる。さらに、検出対象特徴量は色度に限らず、たとえば輝度や明度などを用いることもできる。また、顔範囲Ｕ１および他物体範囲Ｕ２のすべてに含まれる色度を有する画素の色度に基づいて、顔色範囲を設定しているが、顔範囲に含まれる画素の色度のみに基づいて、顔色範囲を設定する態様とすることもできる。このように、大影響領域を形成する画素の特徴量である顔範囲Ｕ１の特徴量のみで顔色範囲を設定することにより、より正確に顔色範囲を設定することができる。
【００５７】
さらに、上記実施形態においては、検出した顔をモニタに表示するようにしていいるが、モニタ表示することなく、他の用途に用いることもできる。たとえば、自動車を運転するドライバの目を検出する前処理として顔を検出したり、家庭用ロボットが人に話し掛ける際の相手を確認するために顔を検出したりする態様に用いることができる。
【００５８】
【発明の効果】
以上のとおり、本発明によれば、たとえば人の手作業による領域設定などをすることなく、検出対象物を確実に検出することができる画像処理方法および画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る画像処理装置のブロック構成図である。
【図２】第１の実施形態に係る画像処理方法を示すフローチャートである。
【図３】人物Ａと人物Ｂにおける顔の色度分布の例を示すグラフである。
【図４】多数の人における顔の色度分布の例およびその正規分布を示すグラフである。
【図５】（ａ）〜（ｃ）とも、求められる顔色範囲の変化を示すグラフである。
【図６】（ａ）〜（ｃ）とも、求められる顔色範囲の変化の他の例を示すグラフのである。
【図７】第２の実施形態に係る画像処理方法を示すフローチャートである。
【図８】（ａ）〜（ｃ）とも、求められる顔色範囲の変化を示すグラフである。
【符号の説明】
１…画像処理装置、２…カメラ、３…モニタ、１１…画像記憶部、１２…色領域検出部、１３…色分布測定部、１４…色範囲決定部、１５…色範囲初期値記憶部、１６…物体識別部、１７…終了判定部、Ｒ１〜Ｒ６…正規分布、Ｔ１，Ｔ６…肌色範囲、Ｔ２〜Ｔ５，Ｔ７，Ｔ８…顔色範囲、Ｕ１，Ｕ３，Ｗ１〜Ｗ３…顔範囲、Ｕ２…他物体範囲。
【図１】
2004152144.tif 000003
【図２】
2004152144.tif 000004
【図３】
2004152144.tif 000005
【図４】
2004152144.tif 000006
【図５】
2004152144.tif 000007
【図６】
2004152144.tif 000008
【図７】
2004152144.tif 000009
【図８】
2004152144.tif 000010