(57)【要約】【課題】  照明条件が変動したり、肌の色合が変化した場合でも、誤検出を低くおさえることができると同時に、未検出も低減させることができる対象物体検出方法を提供する。【解決手段】  色合写像記憶部１には複数の色合写像が予め記憶されている。色合写像部２は一組の（Ｕ，Ｖ）チャネルの画像に対して、色合写像記憶部１に記憶されている各写像画像を用いて写像画像を生成する。形状テンプレート記憶部３には形状テンプレートが予め記憶されている。テンプレートマッチング部４は色合写像部２で生成された画像に対して全ての形状テンプレートを用いてずらしマッチングを施し、生成画像において最大相関値を計算する。相関値比較部５は、最大相関値が所定の値よりも大きい場合、手の領域が検出されたと判断する。【選択図】  図１
2005157546.tif 000002
【特許請求の範囲】
【請求項１】
入力された色合画像の色合ベクトルを、色合写像記憶手段に予め記憶されている色合写像を用いてスカラーに変換する色合写像段階と、
前記スカラーに変換された画像である生成画像に対して、形状テンプレート記憶手段に予め記憶されている全ての形状テンプレートを用いてずらしマッチングを施し、最大相関値となる生成画像、形状テンプレート、相関値が最大となるマッチング位置を求めるテンプレートマッチング段階と、
前記最大相関値を閾値と比較し、該閾値よりも大きい場合、該最大相関値に対応する生成画像を検出領域と判定する相関値比較段階と、
を有する対象物検出方法。
【請求項２】
前記色合写像段階では色合ベクトルを２値のスカラー値に変換する、請求項１に記載の対象物検出方法。
【請求項３】
前記色合写像段階では色合ベクトルを０と、０以外の値の２値スカラーに変換し、前記テンプレートマッチング段階は、前記形状テンプレートを用いて相関値を計算する際に、対象画像の輝度値の２乗の加算の代りに有輝度値のカウントを行う、請求項２に記載の対象物検出方法。
【請求項４】
複数の色合写像を予め記憶している色合写像記憶手段と、
色合画像を入力し、該色合画像の色合ベクトルを、前記色合写像記憶手段に記憶されている色合写像を用いてスカラーに変換する色合写像手段と、
複数のテンプレート形状を予め記憶している形状テンプレート記憶手段と、
前記スカラーに変換された画像である生成画像に対して、前記形状テンプレート記憶手段に記憶されている全ての形状テンプレートを用いてずらしマッチングを施し、最大相関値となる生成画像、形状テンプレート、相関値が最大となるマッチング位置を求めるテンプレートマッチング手段と、
前記最大相関値を閾値と比較し、該閾値よりも大きい場合、該最大相関値に対応する生成画像を検出領域と判定する相関値比較手段と
を有する対象物検出装置。
【請求項５】
前記色合写像手段は色合ベクトルを２値のスカラー値に変換する、請求項４に記載の対象物検出装置。
【請求項６】
前記色合写像手段は色合ベクトルを０と、０以外の値の２値スカラーに変換し、前記テンプレートマッチング手段は、前記形状テンプレートを用いて相関値を計算する際に、対象画像の輝度値の２乗の加算の代りに有輝度値のカウントを行う、請求項５に記載の対象物検出装置。
【請求項７】
請求項１から３に記載の対象物検出方法をコンピュータに実行させるための対象物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者を撮像したカラー画像から、顔の向きや表情から操作者の意図を検出したり、手振りなどから操作者の意図を検出するために必要な、顔や手などの形状や位置姿勢を検出する対象物検出方法および装置に関する。
【背景技術】
【０００２】
従来技術として特許文献１は所定の色条件の下に検出された対象物の暫定領域について、その形状に対して簡単な解析を適用することにより、その領域が対象の領域か否かを判断していた。また、特許文献２は、利用シーンごとに照明条件が異なることなどにより画像における肌領域の色あいが変わってしまうことに対処するために、適宜、照明の状況を計測し、肌領域の色あい情報を補正している。
【特許文献１】特開２００１−０１６６０６号公報
【特許文献２】特許３４３２８１６号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前者は、必ずしも対象物の領域が検出できる訳ではない。換言すれば、検出率をおさえることで誤検出を低減させる方法であり、高検出率と低誤検出率との両立が困難であった。
【０００４】
また、後者は、肌領域の色あい情報をダイナミックに補正していないため、色白の肌や日焼けした肌などへの幅広い即時対応ができないという問題があり、また、この理由から、照明の変動にも即時対応ができないという問題がある。
【０００５】
本発明の目的は、照明条件が変動したり、肌の色合が変化した場合でも、誤検出を低くおさえることができると同時に、未検出も低減させることができる対象物検出方法、装置、および、プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の対象物体検出装置は、
複数の色合写像画像を予め記憶している色合写像記憶手段と、
色合画像を入力し、該色合画像の色合ベクトルを、前記色合写像記憶手段に記憶されている色合写像を用いてスカラーに変換する色合写像手段と、
複数のテンプレート形状を予め記憶している形状テンプレート記憶手段と、
前記スカラーに変換された画像である生成画像に対して、前記形状テンプレート記憶手段に記憶されている全ての形状テンプレートを用いてずらしマッチングを施し、最大相関値となる生成画像、形状テンプレート、相関値が最大となるマッチング位置を求めるテンプレートマッチング手段と、
前記最大相関値を閾値と比較し、該閾値よりも大きい場合、該最大相関値に対応する生成画像を検出領域と判定する相関値比較手段と
を有する。
【０００７】
本発明は、検出された暫定領域の形状に対してテンプレートマッチングによる形状解析を行うことに加え、複数の色合写像により対象物領域の検出を行う。
【発明の効果】
【０００８】
本発明によれば、検出された肌色領域の形状に対してテンプレートマッチングによる形状解析を行うことに加え、複数の色合写像により肌色領域の検出を行うため、照明条件が変動したり、肌の色合が変化した場合でも、誤検出を低く抑えることができると同時に、未検出も低減させることができる。すなわち、従来は困難であった高検出率と低誤検出率との両立が可能となる。
【発明を実施するための最良の形態】
【０００９】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施形態］
【００１０】
図１は本発明の第１の実施形態の対象物検出装置のブロック図である。
【００１１】
本実施形態は、例えばジャンケンのチョキなど、特定の範囲の手をカラーカメラで撮像し、その画像から手先の領域を検出するものである。
【００１２】
色合写像記憶部１には、図３に示すような複数の色合写像が予め記憶されている。色合写像は、Ｕチャネルの値とＶチャネルの値とからなるベクトル（Ｕ，Ｖ）を濃淡スカラー値に写像するためのものである。図３は、何種類かの写像を関数曲線で示したものである。それぞれ、例えばＩ＝ＦA（Ｕ、Ｖ）、Ｉ＝ＦB（Ｕ、Ｖ）、Ｉ＝ＦC（Ｕ、Ｖ）等である。
【００１３】
色合写像部２は、本実施形態では、カラーカメラから出力されるＹ，Ｕ，Ｖチャネルの画像のうちＵ，Ｖチャネルの画像を入力する。図２（１）（２）に一組の（Ｕ，Ｖ）チャネルの画像を示す。色合写像部２はこの一組の（Ｕ，Ｖ）チャネルの画像に対して、色合写像記憶部１に記憶されている各色合写像を用いて写像画像を生成する。したがって、写像画像の数は色合写像の数と同じである。図４（Ａ）、（Ｂ）、（Ｃ）はそれぞれ図３（Ａ）、（Ｂ）、（Ｃ）の色合写像を用いて生成された画像を示している。前述の関数を用いて、図４の画像を表現すると、
ＩK（ｘ、ｙ）＝ＦK（Ｕ（ｘ、ｙ）、Ｖ（ｘ、ｙ））となる。Ｋは、図３および図４のＡ、Ｂ、Ｃのいずれかである。Ｕ（ｘ、ｙ）、Ｖ（ｘ、ｙ）は、図２の画像のある画素の値である。ＩK（ｘ、ｙ）は、図４の画像（Ｋ）のある画素の値である。図３（Ａ）、（Ｂ）、および（Ｃ）の各色合写像によって生成される画像は、実際は、いずれも濃淡画像となるが、図４（Ａ）、（Ｂ）、および（Ｃ）では、便宜上、濃淡値が大きくなる主要な部分の輪郭によって、生成された写真画像（以下、生成画像）を模式的に表している。
【００１４】
テンプレートマッチング部４は、これらの全ての生成画像に対して、形状テンプレート記憶部３に予め記憶されている全ての形状テンプレートを用いてずらしマッチングを施し、最大相関値となる生成画像と形状テンプレートとを特定し、最大相関値となる生成画像、形状テンプレート、相関値が最大となるマッチング位置を求める。
【００１５】
相関値比較部５はこの計算の結果得られた最大相関値が所定の値より大きな場合に、手の領域が検出されたと判断する。同時に、その最大相関値に対応する色合写像を検出された手の肌色の、その照明条件などの環境下における色合に対して最適な色合写像として記憶しておく。
【００１６】
テンプレートマッチング部４と相関値比較部５の処理の詳細は次のとおりである。生成画像として、図４のＡ、Ｂ、Ｃを用いて、テンプレートとして、図５の図をａ〜ｚとして用いて説明する。Ａに対してテンプレートａを適用し、ずらしマッチングで最大相関値Ｃｒ（Ａ、ａ）を求める。このとき同時に、相関値が最大となる位置ｘ（Ａ、ａ）およびｙ（Ａ、ａ）も記憶しておく。同時に、テンプレートｂを適用し、ずらしマッチングで最大相関値Ｃｒ（Ａ、ｂ）を求める。同様に、ＢおよびＣに対して、Ｃｒ（Ｂ、ａ）〜Ｃｒ（Ｂ、ｚ）とＣｒ（Ｃ、ａ）〜Ｃｒ（Ｃ、ｚ）を求める。Ｃｒ（Ｋ、ｋ）が最大となる（Ｋ、ｋ）を求め、位置は、ｘ（Ｋ、ｋ）およびｙ（Ｋ、ｋ）となる。
【００１７】
なお、本実施形態では、カメラからの出力画像として、（Ｕ，Ｖ）の各チャネル値を用いたが、（Ｙ，Ｕ，Ｖ）の各チャネル値、（Ｃｒ，Ｃｂ）の各チャネル値、（Ｙ，Ｃｒ，Ｃｂ）の各チャネル値、もしくは、色度値を用いることも可能である。
【００１８】
図７は本実施形態の動作を示すフローチャートである。まず、対象物が正しく検出できた否かを示すフラグＦＬＧを０に、相関値の最大値Ｒmaxを０．０に、色合写像の個数ｉを０に設定する（ステップ１０１，１０２，１０３）。ｉを色合写像記憶部１中の色合写像の個数ＮMと等しいかどうか比較する（ステップ１０４）。等しくなければ、色合画像（ｉ）を用いて写像画像（ｉ）を生成する（ステップ１０５）。テンプレートの個数ｊ＝０とする（ステップ１０６）。ｊが形状テンプレート記憶部３中のテンプレートの個数ＮTと等しいかどうか比較する（ステップ１０７）。等しければｉを＋１して（ステップ１０８）、ステップ１０４に戻る。ステップ１０７において、ｊがＮTと等しくなければ、写像画像（ｉ）の全ての部分領域にテンプレート（ｊ）を適用し、最大相関値Ｒを求める（ステップ１０９）。ＲとＲmaxを比較する（ステップ１１０）。Ｒmax＜Ｒであれば、ＲをＲmaxとし（ステップ１１１）、ｉをＩmaxとする（ステップ１１２）。ｊを＋１して（ステップ１１３）、ステップ１０７に戻る。ステップ１０４で、ｉがＮMに等しいと、写像画像の生成とテンプレートマッチングが終了したことになり、Ｒmaxと相関値の閾値ＲTを比較する（ステップ１１４）。ＲT＜Ｒmaxであれば、色合画像（Ｉmax）を最適な色合画像とし（ステップ１１５）、最適な画像が求まったのでＦＬＧを１とする（ステップ１１６）。
［第２の実施形態］
【００１９】
第１の実施形態では、色合写像として、Ｕチャネルの値とＶチャネルの値とからなる色合ベクトルを濃淡スカラー値に写像するものであったが、本実施形態では、このような写像の代わりに、色合ベクトルを２値スカラー値に写像する色合写像を用いる。
【００２０】
色合写像の例としては、図３に示す色合写像を所定の濃淡値を所定の閾値に基づき、０および１に２値化した色合写像が考えられる。
【００２１】
この色合写像により生成される生成画像は、０と１の２値であるため、ずらしマッチングを行う前に、まずラベリング処理を行い、得られた領域のうち最大面積の領域を手領域の候補とした後に、その領域に限定してずらしマッチングを行う。図６に、生成画像に対してラベリング処理した後に、最大面積領域のみ抽出した画像の例を示す。
【００２２】
また、最大相関値を求める繰返し計算の途中であっても、所定の値より大きな相関値が算出された時点で繰返し計算を打ち切ることで、計算コストのさらなる削減が実現される。
［第３の実施形態］
【００２３】
第２の実施形態における２値色合写像では、生成画像が０もしくは１の２値画像であるため、ずらしマッチングの際の相関値を計算する際に、式（１）に示すような、通常の相関値計算で必要となる輝度値の２乗和の計算は不要で、式（２）に示すように、テンプレートの輝度値が１である画素の個数をカウントするだけでよいので、計算コストを大幅に削減できる。式（１）において、Ｒはテンプレートを適用する領域である。式（２）において、Ｑはテンプレートの輝度値が１である領域であり、ｎは、テンプレートの輝度値が１である画素の個数である。
【００２４】
【数１】
2005157546.tif 000003
［第４の実施形態］
【００２５】
第１から第３の実施形態において、一旦最適であると決定された色合写像を固定的に用いた場合、環境照明の変動や操作者が変ることなどにより肌の色合が変化すると、肌領域を正しく検出できなくなることがあり、再度、最適である色合写像を決定するための計算を行わなければならない。
【００２６】
本実施形態では、この再計算のコストを低減するための方法を説明する。まず、図８中の最適色合写像記憶部６に一旦最適であると決定された色合写像を記憶しておき、第２の実施形態における２値色合写像に対して、全ての色合写像どうしのペアの相関を予め計算し、これらの計算値を各ペア間の距離として、色合写像間距離記憶部７に記憶しておく。再計算の際には、最適色合写像記憶部６に記憶されている色合写像との距離が近い順番で色合写像を選択することにより、再計算のコストを低減することができる。
【００２７】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態による対象物体検出装置のブロック図である。
【図２】カラーカメラから出力された色合チャネルのそれぞれの画像の例を示す図である。
【図３】色合写像記憶部１に予め記憶されている複数の色合写像の例を示す図である。
【図４】図３の色合写像を用いて生成された画像を示す図である。
【図５】ずらしマッチングで用いる形状テンプレートの例を示す図である。
【図６】生成画像に対してラベリング処理した後に、最大面積領域のみ抽出した画像を示す図である。
【図７】図１の対象物検出装置の動作を示すフローチャートである。
【図８】本発明の他の実施形態の対象物体検出装置のブロック図である。
【符号の説明】
【００２９】
１    色合写像記憶部
２    色合写像部
３    形状テンプレート記憶部
４    テンプレートマッチング部
５    相関値比較部
６    最適色合写像記憶部
７    色合写像間距離記憶部
１０１〜１１４    ステップ
【図１】
2005157546.tif 000004
【図２】
2005157546.tif 000005
【図３】
2005157546.tif 000006
【図４】
2005157546.tif 000007
【図５】
2005157546.tif 000008
【図６】
2005157546.tif 000009
【図７】
2005157546.tif 000010
【図８】
2005157546.tif 000011