(57)【要約】【課題】顔領域の認識性能の向上を図る。【解決手段】複数のフレームデータの各々から、色相に基づいて肌色領域を抽出する第１の抽出手段１２−２と、複数の肌色領域の第１の重複部分を抽出する第２の抽出手段１２−３と、第１の重複部分の横幅を算出する第１の横幅算出手段１２−４と、複数のフレームデータの各々から、所定の色パラメータに基づいて第１の重複部分より下方の領域内における胴体候補領域を抽出する第３の抽出手段１２−５と、複数の胴体候補領域の第２の重複部分を抽出する第４の抽出手段１２−６と、第２の重複部分の横幅を算出する第２の横幅算出手段１２−７と、第１の重複部分と前記第２の重複部分の横幅を比較する比較手段１２−８と、比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識する認識手段１２−９と、を備える。【選択図】図２
2008287518.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置であって、
前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出する第１の抽出手段と、
前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出する第２の抽出手段と、
前記第１の重複部分の横幅を算出する第１の横幅算出手段と、
前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出する第３の抽出手段と、
前記複数のフレームデータのそれぞれから抽出された複数の前記胴体候補領域の第２の重複部分を抽出する第４の抽出手段と、
前記第２の重複部分の横幅を算出する第２の横幅算出手段と、
前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較する比較手段と、
前記比較手段にて得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識する認識手段と、を備える、画像処理装置。
【請求項２】
前記比較手段は、前記第１の重複部分の横幅と前記第２の重複部分の横幅との比率を計算して、前記比率が予め定められた範囲内にあるか否かを判断し、
前記認識手段は、前記比率が予め定められた範囲内にあると判断された場合に前記肌色領域を顔領域として認識する、請求項１に記載の画像処理装置。
【請求項３】
前記比較手段は、前記比率が１．４〜１．６の範囲内にあるか否かを判断し、
前記認識手段は、前記比率が１．４〜１．６の範囲内にあると判断された場合に前記肌色領域を顔領域として認識する、請求項２に記載の画像処理装置。
【請求項４】
前記所定の色パラメータは、前記フレームデータにおける画素毎の輝度値である、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数のフレームデータの各々を縮小する画像縮小手段をさらに備える、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像縮小手段は、前記複数のフレームデータの各々を１／２n（ｎ：整数）倍に縮小する、請求項５に記載の画像処理装置。
【請求項７】
前記第１の抽出手段は、前記複数のフレームデータの各々から、前記肌色領域または前記肌色領域以外の領域を示す２値のフレームデータを生成し、
前記第２の抽出手段は、前記２値のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出する、請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
コンピュータに複数のフレームデータからなる動画像から人物の顔領域を認識させるための画像処理プログラムであって、
前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出するステップと、
前記第１の重複部分の横幅を算出するステップと、
前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された複数の前記胴体候補領域の第２の重複部分を抽出するステップと、
前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較するステップと、
得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識するステップと、をコンピュータに行わせるための画像処理プログラム。
【請求項９】
コンピュータに複数のフレームデータからなる動画像から人物の顔領域を認識させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出するステップと、
前記第１の重複部分の横幅を算出するステップと、
前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、
前記第２の重複部分の横幅を算出するステップと、
前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較するステップと、
得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識するステップと、をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１０】
複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置を使用した画像処理方法であって、
前記画像処理装置は、
前記動画像から抽出された前記複数のフレームデータを記憶する記憶部と、
前記記憶部に記憶された前記複数のフレームデータに基づいて、前記フレームデータにおける人物の顔領域を認識する制御部と、を備え、
前記画像処理方法は、
前記制御部が、前記記憶部に記憶された前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、
前記制御部が、前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出するステップと、
前記制御部が、前記第１の重複部分の横幅を算出するステップと、
前記制御部が、前記記憶部に記憶された前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を所定の色パラメータに基づいて抽出するステップと、
前記制御部が、前記複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、
前記制御部が、前記第２の重複部分の横幅を算出するステップと、
前記制御部が、前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較するステップと、
前記制御部が、得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識するステップと、を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置、画像処理プログラム、記録媒体、および画像処理方法に関する。
【背景技術】
【０００２】
従来より、画像処理装置による人物の顔領域抽出技術が提案されている。たとえば、特開２０００−３５４２４７号公報（特許文献１）に記載されているように、動き領域を検出することによって動き物体を認識し、更に検出した動き領域内から人物の顔部分の特徴である肌色領域を抽出することによって顔領域を抽出する技術がある。
【０００３】
また、二次元的なパターンマッチングを用いて目や鼻などの領域を検出することによって、人物の特徴を精密に抽出し、人物の顔領域を認識する方法がある。
【特許文献１】特開２０００−３５４２４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特開２０００−３５４２４７号公報（特許文献１）に記載されているような、動き領域の検出と肌色領域の検出とを組み合わせた方法においては、動き要素判定による動き領域の抽出と肌色要素判定による肌色領域の抽出とを行うためのアルゴリズムから生じる問題がある。すなわち、人物の顔部分以外の、動き成分や肌色成分を有する物体を、誤って人物の顔領域として抽出してしまう、という問題点があった。
【０００５】
また、特徴部の抽出にパターンマッチングを用いる方法においては、そもそも前記パターンマッチングを行うためにある程度の精度が必要となるため、前記パターンマッチングをソフトウェアによって実現する場合には、装置全体のパフォーマンスが低下してしまう、という問題点があった。
【０００６】
本発明は上記のような問題点を解決するためになされたものであって、本発明の主たる目的は、顔領域の認識性能の向上を図ることにある。
【課題を解決するための手段】
【０００７】
この発明のある局面に従えば、複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置であって、複数のフレームデータの各々から、色相に基づいて肌色領域を抽出する第１の抽出手段と、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出する第２の抽出手段と、第１の重複部分の横幅を算出する第１の横幅算出手段と、複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出する第３の抽出手段と、複数のフレームデータのそれぞれから抽出された複数の胴体候補領域の第２の重複部分を抽出する第４の抽出手段と、第２の重複部分の横幅を算出する第２の横幅算出手段と、第１の重複部分の横幅と第２の重複部分の横幅とを比較する比較手段と、比較手段にて得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識する認識手段と、を備える。
【０００８】
この局面によれば、第１の重複領域（たとえば、顔候補の動き領域）と第２の重複領域（たとえば、肩候補の動き領域）との横幅に基づいて、肌色領域を人物の顔領域として認識するか否か判断するため、人物の形状をも考慮した精緻な判断を行うことができるようになり、その結果、顔領域の認識性能の向上を実現することができる。
【０００９】
好ましくは、比較手段は、第１の重複部分の横幅と第２の重複部分の横幅との比率を計算して、比率が予め定められた範囲内にあるか否かを判断し、認識手段は、比率が予め定められた範囲内にあると判断された場合に肌色領域を顔領域として認識する。
【００１０】
好ましくは、比較手段は、比率が１．４〜１．６の範囲内にあるか否かを判断し、認識手段は、比率が１．４〜１．６の範囲内にあると判断された場合に肌色領域を顔領域として認識する。
【００１１】
好ましくは、所定の色パラメータは、フレームデータにおける画素毎の輝度値である。
好ましくは、複数のフレームデータの各々を縮小する画像縮小手段をさらに備える。
【００１２】
好ましくは、画像縮小手段は、複数のフレームデータの各々を１／２n（ｎ：整数）倍に縮小する。
【００１３】
好ましくは、第１の抽出手段は、複数のフレームデータの各々から、肌色領域または肌色領域以外の領域を示す２値のフレームデータを生成し、第２の抽出手段は、２値のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出する。
【００１４】
この発明の別の局面に従えば、コンピュータに複数のフレームデータからなる動画像から人物の顔領域を認識させるための画像処理プログラムであって、複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出するステップと、第１の重複部分の横幅を算出するステップと、複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、複数のフレームデータのそれぞれから抽出された複数の胴体候補領域の第２の重複部分を抽出するステップと、第１の重複部分の横幅と第２の重複部分の横幅とを比較するステップと、得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識するステップと、をコンピュータに行わせる。
【００１５】
この発明の別の局面に従えば、コンピュータに複数のフレームデータからなる動画像から人物の顔領域を認識させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出するステップと、第１の重複部分の横幅を算出するステップと、複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、第２の重複部分の横幅を算出するステップと、第１の重複部分の横幅と第２の重複部分の横幅とを比較するステップと、得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識するステップと、をコンピュータに実行させるための画像処理プログラムを記録した。
【００１６】
この発明の別の局面に従えば、複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置を使用した画像処理方法であって、画像処理装置は、動画像から抽出された複数のフレームデータを記憶する記憶部と、記憶部に記憶された複数のフレームデータに基づいて、フレームデータにおける人物の顔領域を認識する制御部と、を備え、画像処理方法は、制御部が、記憶部に記憶された複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、制御部が、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出するステップと、制御部が、第１の重複部分の横幅を算出するステップと、制御部が、記憶部に記憶された複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を所定の色パラメータに基づいて抽出するステップと、制御部が、複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、制御部が、第２の重複部分の横幅を算出するステップと、制御部が、第１の重複部分の横幅と第２の重複部分の横幅とを比較するステップと、制御部が、得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識するステップと、を備える。
【発明の効果】
【００１７】
以上に述べたように、本発明によって、顔領域の認識性能の向上が実現される。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について説明する。ただし、本発明は以下で説明する実施の形態に限定されるものではない。また、以下の説明では、同一の部品については同一の符号を付すものとし、前記部品の名称や機能が同一である場合には、前記部品についての詳細な説明は繰り返さない。
【００１９】
＜画像処理装置の全体構成＞
まず、本実施の形態に係る画像処理装置１０の全体構成について説明する。本実施の形態に係る画像処理装置１０は、複数のフレームデータからなる動画像の各種画像処理を行うための装置である。画像処理装置１０は、特に動画像符号化技術を使用した、テレビモニター付きインターフォン、監視カメラ、カメラ付き携帯電話、などのように対象画像内に人物が含まれることが想定される画像を処理するための機器に利用されるものである。画像処理装置１０よって行われる画像処理用の機能は、たとえば、パーソナルコンピュータまたはワークステーションなどのコンピュータ上で実行されるソフトウェアによって実現され得る。
【００２０】
ただし、本実施の形態においては、後述するように、各種の画像処理機能がパーソナルコンピュータまたはワークステーションなどのコンピュータ上で実行されるソフトウェアによって実現される構成としているが、各ブロックの機能や各ステップの処理をソフトウェアによって実現する代わりに、各々を専用のハードウェア回路等によって実現してもよい。
【００２１】
図１は本実施の形態に係る画像処理装置１０のハードウェア構成を示す図である。図１に示すように、本実施の形態に係る画像処理装置１０は、内部バス１１と、ＣＰＵ（画像処理プロセッサ）１２と、メモリ（主記憶装置）１３と、固定ディスク（外部記憶装置）１４と、通信インターフェース１５と、入力装置１６と、出力装置１７と、ＦＤ（Flexible Disk）駆動装置１８と、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１９と、を備える。そして、画像処理装置１０には、複数のフレームデータから構成される動画像を入力するための撮像装置２１と、当該動画像をユーザ等へ表示するためのディスプレイ２０とが接続されている。
【００２２】
一般的に、前記ソフトウェアはＦＤ２８やＣＤ−ＲＯＭ２９などの記録媒体に格納されて、もしくはネットワークなどを介すことによって流通する。そして、前記ソフトウェアは、ＦＤ駆動装置１８やＣＤ−ＲＯＭ駆動装置１９などによって前記記録媒体から読取られて、もしくは通信インターフェース１５にて受信されて、固定ディスク１４に格納される。そして、固定ディスク１４からメモリ１３に読み出されてから、ＣＰＵ１２により実行される。つまり、図１に示すような画像処理装置１０のハードウェア自体は、一般的なコンピュータによって実現可能である。
【００２３】
撮像装置２１は、小型カメラやイメージセンサやＣＣＤなどの撮像手段であって、動画像を形成するフレームデータを画像処理装置１０へと順次入力するものである。撮像装置２１は、たとえば、住宅の玄関に配置されて、住宅への訪問者を撮像するものである。
【００２４】
ディスプレイ２０は、液晶パネルやＣＲＴから構成されるものであって、ＣＰＵ１２が出力した画像等の情報を表示する。
【００２５】
ＣＰＵ１２は、画像処理装置１０の各要素を制御するものであって、各種の演算を実施する装置である。また、ＣＰＵ１２は、後述するように、画像縮小処理と、肌色領域抽出処理と、肌色動き領域抽出処理（第１の重複部分抽出処理）と、顔候補位置検出処理（第１の横幅算出処理）と、肩候補領域抽出処理と、肩候補動き領域抽出処理（第２の重複部分抽出処理）と、肩候補位置検出処理（第２の横幅算出処理）と、横幅比較処理と、顔領域判断処理等を行うものであって、当該判断結果を内部バス１１を介して出力装置１７やディスプレイ２０に出力する。ＣＰＵ１２は、各種の画像処理機能を実現することが出来るプログラム処理が実行可能な装置であればよく、たとえば専用の画像エンジン等であってもよい。
【００２６】
そして、本実施の形態に係る画像処理装置１０においては、顔部分が認識された際に、撮像装置２１に人物が撮像されている旨を、ＣＰＵ１２が出力装置１７に出力させる構成とすることができる。また、ＣＰＵ１２により、顔領域であると判断された画素の解像度や表示色を増加させる構成にすることも可能である。
【００２７】
後述する各種の画像処理は、たとえば、固定ディスク１４に格納された各種処理手順（各種の画像処理用のアルゴリズム）に関するプログラムが一旦メモリ１３へと読み出され、読み出された前記プログラムがＣＰＵ１２上で実行されることによって、実現されるものである。また、ＣＰＵ１２は、内部バス１１を介してＣＰＵ１２に接続される撮像装置２１と、メモリ１３と、固定ディスク１４等との間でデータの授受を行ないながら、各種の画像処理を実行する。
【００２８】
メモリ１３は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）等の揮発性の半導体メモリデバイスから構成される主記憶装置である。
【００２９】
固定ディスク（外部記憶装置）１４は、例えば、ハードディスクドライブやフレキシブルディスク等の不揮発性の磁気記録媒体、もしくはフラッシュメモリ等の不揮発性の半導体メモリデバイスから構成されており、各種の画像処理をＣＰＵ１２に実行させるためのコンピュータプログラムを記憶している。
【００３０】
但し、内部バス１１と通信インターフェース１５を介して有線または無線で接続されたネットワーク２２を介すことによって、他のネットワーク機器２３の記憶装置等を画像処理装置１０の外部記憶装置として用いることもできる。また、上記コンピュータプログラムを、ＦＤ２８や、ＣＤ−ＲＯＭ２９や、ＤＶＤや、ハードディスクや、光ディスクや、光磁気ディスクや、磁気テープや、不揮発性のメモリカードや、その他の不揮発性メモリ等のような可搬型の記録媒体に格納しておく形態であってもよい。そして、当該記録媒体を画像処理装置１０に装着することによって、画像処理装置１０が当該記録媒体に格納されたプログラムコードを読み出し、メモリ１３に当該プログラムをロードしてからＣＰＵ１２が実行する形態としても構わない。また、当該記録媒体として高速アクセス可能な半導体メモリ等を利用して、当該記録媒体に格納されたプログラムコードを直接読み出しながらＣＰＵ１２が実行する形態であっても構わない。
【００３１】
入力装置１６は、たとえば、クリックされたりやスライドされることによってユーザから情報を受付けるマウスや、キー入力によりユーザから情報を受付ける前記キーボードから構成される。
【００３２】
出力装置１７は、撮像装置２１から入力された入力動画像を表示するための、画像処理装置１０に直接備えられたディスプレイやプリンタであってもよいし、ＣＰＵ１２にて算出された位置情報を電気信号として外部装置（外部のディスプレイ２０）に出力するだけのものであってもよい。また、出力装置１７は、ＣＰＵ１２にて判断された顔領域と認識された顔領域を示す情報とを前記入力動画像に重ねて表示してもよいし、顔領域が認識されたと判断された時にライトを点灯させる形態であってもよい。ただし、前述したように、画像処理装置１０の外部装置（たとえば外部のディスプレイ２０等）に、ＣＰＵ１２による判断結果や、撮像装置２１にて撮像され入力された入力動画像に関する映像データや音声データを出力する構成であってもよい。
【００３３】
通信インターフェース１５は、前記ＣＰＵ１２が出力した情報を電気信号へと変換するものであって、ＣＰＵ１２が出力した情報をその他の装置が利用できる信号へと変換する装置である。また、通信インターフェース１５は、本実施の形態に係るコンピュータの外部から入力された情報を受信して、ＣＰＵ１２が利用できる情報に変換する装置でもある。
【００３４】
つまり、ＣＰＵ１２で求めた判断結果を、内部バス１１と通信インターフェース１５とを介して有線または無線で接続されたネットワーク２２に出力し、他のネットワーク機器２３に接続されている外部装置（表示装置）に出力することも可能である。逆に、内部バス１１と直接つながっていない撮像装置が撮像した動画像に関する映像信号を、他のネットワーク機器２３からネットワーク２２を介して受信することによって、通信インターフェース１５と内部バス１１とを介してＣＰＵ１２に入力し、当該映像信号を入力動画像データとして入力可能な構成としてもよい。
【００３５】
本実施の形態に係る画像処理装置１０は、外部のディスプレイ２０や撮像装置２１にアクセス可能に構成されているが、このような形態に限定するものではない。つまり、前述したように、画像処理装置１０が、ディスプレイ２０等の動画像の表示装置を装備しており、ＣＰＵ１２とディスプレイ２０とが内部バス１１によって接続される構成であってもよい。また、画像処理装置１０が、撮像装置２１等の動画像の入力装置を装備しており、ＣＰＵ１２と撮像装置２１とが内部バス１１によって接続される構成であってもよい。
【００３６】
＜画像処理装置の機能構成＞
図２は画像処理装置１０の機能構成を示す機能ブロック図である。図２に示すように、本実施の形態に係る画像処理装置１０は、記憶部１３−１と、画像縮小部１２−１と、肌色領域抽出部（第１の抽出手段）１２−２と、肌色動き領域抽出部（第２の抽出手段）１２−３と、顔候補位置検出部（第１の横幅算出手段）１２−４と、肩候補領域抽出部（第３の抽出手段）１２−５と、肩候補動き領域抽出部（第４の抽出手段）１２−６と、肩候補位置検出部（第２の横幅算出手段）１２−７と、横幅比較部（比較手段）１２−８と、顔領域判断部（認識手段）１２−９と、出力部１７−１と、を備えて構成されている。
【００３７】
そして、本実施の形態に係る画像処理装置１０は、たとえば撮像装置２１と接続されており、撮像装置２１が撮像した動画像を構成するフレームデータが順次メモリ１３に格納されてから、順次画像縮小部１２−１に入力されるように構成されている。また、画像処理装置１０は、たとえばディスプレイ２０に接続されており、ＣＰＵ１２にて判定された結果が、出力部１７−１からディスプレイ２０に出力されるように構成されている。
【００３８】
＜各機能の説明＞
以下、各機能について説明する。まず、画像縮小部１２−１は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。つまり、固定ディスク１４に記憶されたプログラムが一旦メモリ１３へと読み出されて、ＣＰＵ１２がメモリ１３から前記プログラムを読み出しながら順次実行することによって、以下の画像縮小処理機能が実現される。以上のようにして、画像縮小部１２−１は、撮像装置２１から入力された動画像を構成する前記複数のフレームデータの各々を縮小する。
【００３９】
本実施の形態に係る画像処理装置１０においては、肌色動き領域や肩候補動き領域を抽出する際に、時間の異なる２枚のフレームデータの差異を利用する。その際にノイズが発生すると、当該ノイズを動き領域（成分）と誤認する場合がある。ＣＰＵ１２が各々のフレームデータの画像を一旦縮小してから動き領域を抽出する構成にすることによって、上記のような誤認を減らすことができるようになり、ノイズ等の差異を減少させることができる。言い換えれば、ノイズ等の差異が発生してしまった場合であっても、ノイズ等の差異を動き領域と誤認し難くなる。また、画像縮小処理を施すことによって、それぞれのフレームデータのデータ量が減り、ＣＰＵ１２による演算量を低減することができる。
【００４０】
画像縮小処理には様々な方法があるが、必要なデータを残しつつ最低限の計算量にてノイズ成分のみを減少させるために、本実施の形態においては画像の縮小率を２n（ｎ：２以上の整数）としている。つまり、前記画像縮小部１２−１は、前記複数のフレームデータの各々を１／２n（ｎ：整数）倍に縮小する機能を有する。本実施の形態においては、縮小されたフレームデータの各々を生成するための演算は、縮小前のフレームデータの各々のデータ値を平均することによって行う。
【００４１】
例えば、縮小率２（ｎ＝１）のとき、縮小前の座標（ｘ，ｙ）の画素データをｇ（ｘ，ｙ）、縮小後の画素データをｆ（ｘ，ｙ）とすれば、縮小後の画素データｆ（ｘ，ｙ）は次式により求めることが出来る。より詳細には、ＣＰＵ１２が、４つの画素データを平均して、１つの画度データとして出力するのである。
【００４２】
【数１】
2008287518.tif 000003
【００４３】
シフト演算機能を有するプロセッサ（ＣＰＵ１２）を備える画像処理装置１０においては、２n（ｎ：整数）で表せる整数による除算（あるいは乗算）は、前記プロセッサによる１回のシフト演算のみにて為し得ることができるため、前記プロセッサによる演算処理を最低限に抑えることが出来る。
【００４４】
肌色領域抽出部（第１の抽出手段）１２−２は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肌色領域抽出部１２−２は、画像縮小部１２−１によって縮小した複数のフレームデータの各々から、色相に基づいて肌色領域（肌色成分）を抽出する。ただし、色相のみに基づいて肌色領域を抽出する構成に限定するものではなく、画像処理装置１０は、他の方法を組み合わせて肌色領域を抽出する構成であってもよい。
【００４５】
本実施の形態においては、肌色領域抽出処理を色相計算に基づいて行っている。色相とは色空間のＨＳＶ（Hue, Saturation, Value）モデルの中の一つのパラメータであり、色相（Ｈｕｅ）は、０度〜３６０度で表現され、光の波長（例えば、赤色と黄色との間の区別）によって識別される色の種類を示す。一般的に、コンピュータで扱う画像データはＲ，Ｇ，Ｂフォーマットであり、たとえば入力された画像がＲ，Ｇ，Ｂの３成分から成り立っている場合、次式に示す式から色相Ｈｕを求めることができる。但し、次式中のＲ，Ｇ，Ｂは０〜１の範囲の数値であり、次式中のＭＡＸはＲ，Ｇ，Ｂの値の最大値であり、ＭＩＮはＲ，Ｇ，Ｂ値の最小値である。
【００４６】
【数２】
2008287518.tif 000004
【００４７】
これまでの実験により、Ｈｕの値が６〜３８の範囲にあれば肌色とみなせることが判っている。但し、本実施の形態に係る画像処理装置１０は、人物の顔画像を認識するための他の判断手段も有しているため、Ｈｕの値を広めに設定してもよい。たとえば、Ｈｕの値が０〜４５の範囲内にあれば肌色とみなす構成としてもよい。
【００４８】
図３は動画像から抽出された１つのフレームデータを示した概念図である。図４は動画像から抽出された２つのフレームデータを重ねて示した概念図である。図５は動画像から抽出された２つのフレームデータの肌色領域３０１ａを重ねて示した概念図である。図３〜図５に示すように、本実施の形態においては、肌色領域抽出部１２−２は、各々のフレームデータにおいてそれぞれの画素毎に、前記色相（Ｈｕ）の値が６〜３８の範囲である場合に「１」を設定し（図４および図５における領域３０１ａ）、前記色相（Ｈｕ）の値が６〜３８の範囲にない場合に「０」を設定することによって（図４および図５における領域３０１ａ以外の領域）、２値のフレームデータを生成する。つまり、本実施の形態においては、肌色領域抽出部１２−２が肌色領域を「１」とする２値のフレームデータを生成することによって、肌色領域を抽出する。
【００４９】
本実施の形態においては、前述したように、動き領域の抽出を行う際には、現フレームデータと現フレームデータより１つ以上前のフレームデータとの差異を求めるための演算をおこなうが、予めこれら対象となる２枚のフレームデータから必要な色成分を持つ領域を示す２値画像（２値のフレームデータ）を生成しておき、必要なエリアのみにおいて差異の違いを求める演算を行う。
【００５０】
この場合には、一旦、動画像を構成するそれぞれのフレームデータを２値のフレームデータに変換にすることにより、２つのフレームデータの差異を求める処理がＡＮＤ演算もしくはＯＲ演算のみを行うことによって実現できるため、ＣＰＵ１２による演算量を減らすことが出来る。
【００５１】
肌色動き領域抽出部１２−３は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肌色動き領域抽出部１２−３は、前記複数のフレームデータのそれぞれから抽出された肌色領域（図５における領域３０１ａ）の第１の重複部分（図５における領域３０１ｂ）を抽出する。
【００５２】
図４および図５に示すように、肌色動き領域抽出部１２−３は、肌色領域抽出部１２−２により求められた肌色領域を「１」とした２値のフレームデータのうち、最新のフレームデータと当該フレームデータよりも過去のフレームデータとの２枚フレームデータを用いて、それらのフレームデータにＡＮＤ処理を施すことによって、肌色動き領域（図５における領域３０１ｂ）を抽出する。前述したように、肌色領域抽出部１２−２によって生成されたフレームデータでは色相計算に基づいて肌色部分の画素には「１」が、肌色ではない部分の画素には「０」が設定されており、それらのフレームデータを用いて「１」が重複する領域を演算することによって肌色動き領域３０１ｂを抽出することができる。
【００５３】
つまり、本実施の形態に係る画像処理装置１０においては、肌色領域抽出部１２−２は、前記複数のフレームデータの各々から、前記肌色領域３０１ａと前記肌色領域３０１ａ以外の領域とからなる２値のフレームデータを生成することによって、肌色領域３０１ａを抽出し、肌色動き領域抽出部１２−３は、前記２値のフレームデータのそれぞれから抽出された肌色領域３０１ａの第１の重複部分３０１ｂを抽出する構成になっている。
【００５４】
顔候補位置検出部（第１の横幅算出部）１２−４は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。図２〜図５に示すように、顔候補位置検出部（第１の横幅算出部）１２−４は、肌色動き領域抽出部１２−３にて抽出した肌色動き領域（図３および図５の領域３０１ｂ）に基づいて、擬似的に矩形領域（図３および図５の領域３０２）を求め、その位置情報と当該矩形領域の横幅Ｗfを求める。つまり、顔候補位置検出部１２−４は、前記肌色動き領域３０１ｂの横幅Ｗfを算出する。
【００５５】
ここで、横幅Ｗfとは、肌色動き領域３０１ｂの、撮像装置２１によって撮像された際における実際の水平方向の長さをいい、表示された際や、画像処理を行う際の方向を指定しているものではない。言い換えれば、横幅とは、撮像対象である人物の顔や胴体の水平方向の長さ（横幅）をいうものとし、撮像装置２１から出力されるフレームデータの水平方向や垂直方向には関わりがない。
【００５６】
擬似的に肌色動き領域３０１ｂを含む矩形領域（図３および図５の領域３０２）を求める方法は以下のようになる。まず、２枚の２値のフレームデータから求めた肌色動き領域３０１ｂにおいて、その肌色動き領域３０１ｂの水平方向の最大位置Ｘfmaxと垂直方向の最大位置Ｙfmaxから求められる座標Ｓ（Ｘfmax，Ｙfmax）を定義し、水平方向の最小位置Ｘfminと垂直方向の最小位置Ｙfminから求められる座標Ｔ（Ｘfmin，Ｙfmin）を定義する。そして、近似的に矩形領域３０２の横幅Ｗfを次式によって計算する。
【００５７】
【数３】
2008287518.tif 000005
【００５８】
一方、近似的に矩形領域３０２の縦幅Ｈfを次式によって計算する。
【００５９】
【数４】
2008287518.tif 000006
【００６０】
ここで、ノイズなどの影響を受けにくくするために、矩形領域３０２の重心（Ｘfg，Ｙfg）と、肌色動き領域３０１ｂの水平方向および垂直方向の最大位置（Ｘfmax，Ｙfmax）と、水平方向および垂直方向の最小位置（Ｘfmin，Ｙfmin）とを求めることによって、求める矩形領域３０２の中心位置を肌色動き領域３０１ｂの重心（Ｘfg，Ｙfg）としてもよい。この場合は、求める矩形領域３０２の横幅Ｗfを次式のように計算する。
【００６１】
【数５】
2008287518.tif 000007
【００６２】
ここでのＭＩＮは、与えられた２つの引数のうち小さい方の引数の値を返す関数のことである。この場合は、位置情報としての長方形の対角の２点の座標をＵ（Ｘfg＋Ｗf／２，Ｙfg＋Ｈf／２），Ｖ（Ｘfg−Ｗf／２，Ｙfg−Ｈf／２）と定義する。
【００６３】
縦幅Ｈfについても、（数５）と同様に、重心を介して算出する方法を採用することが好ましい。
【００６４】
このように、横幅Ｗfと縦幅Ｈfとを重心を基準として求めることによって、抽出された肌色動き領域３０１ｂが、ノイズなどの影響などにより正しい肌色動き領域３０１ｂより遠くに検出された場合であっても、遠くに検出された成分による影響を低減することができ、その結果として映像上のノイズなどの影響を受け難くすることが出来るようになる。
【００６５】
より詳細には、たとえば、フレームデータ（動画像）の一方の端に肌色とみなせるようなノイズが発生したときに、上記のような単純に矩形領域３０２の中心を求める構成の場合には、肌色動き領域３０１ｂの中心が前記ノイズが発生した方向へ移動してしまうという不具合が生じる。しかし、本実施の形態に係る画像処理装置１０においては、横幅Ｗfを（数６）に基づいて算出するため、ＸfmaxとＸfminのどちらかにノイズが入ったとしてもＷfの値の変化を低減することができる。つまり、一般的に、位置を求める場合には、重心を採用する方法の方が、最大値と最小値の平均値を採用する方法よりも、ノイズの影響を小さくすることができる。
【００６６】
肩候補領域抽出部１２−５は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肩候補領域抽出部１２−５は、前記複数のフレームデータの各々から、前記肌色動き領域（第１の重複領域）３０１ｂより下方の領域内における肩候補抽出対象エリア（図４における領域３０３）を設定する。
【００６７】
これによって、後述する肩候補動き領域抽出部１２−６が、画像縮小部１２−１が縮小して生成したフレームデータのうち、顔候補位置検出部（顔候補横幅算出部）１２−４によって得られた位置情報に基づいて定められる、前記肌色動き領域３０１ｂより下方にある特定の大きさの矩形領域（肩候補抽出対象エリア）の中のみにおいて、肩候補領域３０６ａおよび肩候補動き領域３０６ｂの抽出処理を行うことができる。
【００６８】
これは、直立姿勢で前を向いている人物の場合、その人物の肩は、その人物の顔の下方に位置する所定の領域（本実施の形態においては、図３および図４の領域３０３）の中にあると予想されるからである。つまり、肌色動き領域抽出部１２−３にて得られた肌色動き領域（図３および図５の領域３０１ｂ）に人物の顔部分が存在する場合には、通常、その人物の肩部分は前記顔部分の下方に位置するからである。また、肩領域の大きさは顔領域の大きさに基づいてある程度の大きさに限定されるからである。
【００６９】
図６は肩候補領域３０６ａを抽出するための抽出対象エリア３０３を示す概念図である。図７は抽出された肩候補領域３０６ａを示す概念図である。図６に示すように、本実施の形態においては、肩候補動き領域３０６ｂを抽出するために肩候補領域３０６ａを抽出する際において、当該肩候補動き領域３０６ｂを抽出するための抽出対象エリア３０３をある程度まで限定することができ、当該限定によってＣＰＵ１２による演算量を低減することが出来る。
【００７０】
より詳細には、肩候補領域抽出部１２−５は、前記顔候補位置検出部１２−４にて算出されたＳ（Ｘfmax，Ｙfmax）とＴ（Ｘfmin，Ｙfmin）との座標値に基づいて、あるいはＴ（Ｘfmin，Ｙfmin）の座標値と横幅Ｗfの値とに基づいて、肌色動き領域３０１ｂの下方に抽出対象エリア３０３を設定するのである。
【００７１】
図６に示すように、本実施の形態においては、抽出対象エリア３０３は、肌色動き領域３０１ｂの下方に肌色動き領域３０１ｂに隣接して位置するものとして、肌色動き領域３０１ｂの左右中心と同じ左右中心を有するエリアとしている。そして、抽出対象エリア３０３の縦幅は肌色動き領域３０１ｂの縦幅Ｈfに所定の係数Ｂ（たとえば、Ｂ＝１）を乗じた値とし、抽出対象エリア３０３の横幅は肌色動き領域３０１ｂの横幅Ｗfに所定の係数Ｃ（たとえば、Ｃ＝２．２）を乗じた値としている。
【００７２】
より詳細には、肩候補領域抽出部１２−５は、抽出対象エリア３０３のＸ方向の最大値Ｘsmaxを以下の式に基づいて算出する。
【００７３】
【数６】
2008287518.tif 000008
【００７４】
そして、肩候補領域抽出部１２−５は、抽出対象エリアのＸ方向の最小値Ｘsminを以下の式に基づいて算出する。
【００７５】
【数７】
2008287518.tif 000009
【００７６】
そして、肩候補領域抽出部１２−５は、抽出対象エリアのＹ方向の最大値Ｙsmaxを以下の式に基づいて算出する。
【００７７】
【数８】
2008287518.tif 000010
【００７８】
そして、肩候補領域抽出部１２−５は、抽出対象エリアのＹ方向の最小値Ｙsmaxを以下の式に基づいて算出する。
【００７９】
【数９】
2008287518.tif 000011
【００８０】
また、肩候補領域抽出部１２−５は、前記複数のフレームデータの各々から、所定の色パラメータに基づいて肌色動き領域（第１の重複部分）３０１ｂより下方の領域（抽出対象エリア３０３）内における肩候補領域３０６ａを抽出する。すなわち、ＣＰＵ１２が、それぞれのフレームデータを一旦２値のフレームデータに変換する。前記２値のフレームデータとは、あるレベルの輝度値（しきい値）より高いものを「１」、低いものを「０」としたデータをいう。すなわち、本実施の形態においては、前記所定の色パラメータは、前記フレームデータの各々における画素毎の輝度値としている。
【００８１】
図８は各々のフレームデータにおけるそれぞれの画素に対応する輝度値と当該輝度値が設定されている画素数との分布を示した概念図である。前記しきい値は、たとえば以下のようにして設定される。即ち、図３に示すような撮像画像が入力されている場合には、抽出対象エリア３０３に人物の肩部分とその背景の部分（肩以外の部分）とが含まれているため、当該フレームデータにおける輝度値と画素数との分布は、図８に示すような形状になると予想される。そこで、本実施の形態においては、当該分布の谷の部分に相当する輝度値をしきい値として設定する。
【００８２】
上記のように、ＣＰＵ１２は、フレームデータの各々を、それぞれの画素の輝度値としきい値とに基づいて、２値のフレームデータに変換する。各々のフレームデータにおいては、肩候補領域３０６ａの画素に対して「１」が、それ以外の領域の画素に対して「０」が出力される。本実施の形態においては、肩候補領域３０６ａを求める際には、前述したように、抽出対象エリア３０３内のみにおいて演算を行う。
【００８３】
そして、肩候補動き領域抽出部１２−６は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肩候補動き領域抽出部１２−６は、肩候補領域抽出部１２−５にて設定した抽出対象エリア３０３において肩候補動き領域３０６ｂを求めるものであって、前記複数のフレームデータのそれぞれから抽出された肩候補領域３０６ａから肩候補動き領域３０６ｂ（第２の重複部分）を抽出する。
【００８４】
ここで、肩候補動き領域３０６ｂの算出方法について説明する。肩候補動き領域３０６ｂの抽出には、時間の異なる２枚のフレームデータの差異を利用する。撮像対象に動きがあると２枚のフレームデータ上に差異が生じるが、本実施の形態においては、肌色動き領域抽出処理において説明したように、ＣＰＵ１２による演算量を低減させるべく、ＣＰＵ１２が、それぞれのフレームデータを一旦２値のフレームデータに変換してから、２枚のフレームデータ間の差異の計算を行う。
【００８５】
図９は撮像対象に動きがある場合の２枚の２値のフレームデータを重ねた概念図である。つまり、図９は時間の異なるフレームデータを２枚を重ねたイメージ図であって、図４および図５にも示したように、撮像時間が異なる２枚のフレームデータにおいては、撮像対象の画像がずれて撮像されている。前述したように、本実施の形態においては、肩候補動き領域３０６ｂを求める際には、抽出対象エリア３０３内のみにおいてフレームデータ間の差異を求める演算を行う。
【００８６】
より詳細には、ＣＰＵ１２は、両フレームデータの論理積（ａｎｄ）を演算する。これによって、演算後のデータとしては肩候補領域３０６ａの重複部分３０６ｂのみが「１」として出力される（図９におけるドット領域）。ただし、論理積（ａｎｄ）を使う代わりに排他論理和（ｅｘ−ｏｒ）を用いてもよい。
【００８７】
肩候補動き領域３０６ｂの求め方は、肌色動き領域３０１ｂの求め方と比べて、２値のフレームデータに変換する方法において、（数２）に示すような色相Ｈｕｅを用いるのではなく、輝度値を用いる点において異なる。本実施の形態における所定の色パラメータは、前記フレームデータの各々における画素毎の輝度値としているため、撮像する周辺環境によって前記しきい値を変化させることが好ましい。
【００８８】
肩候補位置検出部１２−７は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肩候補位置検出部１２−７は、擬似的に肩候補動き領域３０６ｂが囲まれる矩形領域（図３および図９の領域３０５）を求め、その矩形領域の位置と横幅Ｗsとを求めるものである。つまり、肩候補位置検出部１２−７は、前記肩候補動き領域３０６ｂ（第２の重複部分）の横幅Ｗsを算出する。本実施の形態においては、肩候補動き領域抽出処理の演算後の肩候補動き領域３０６ｂの一番左端の部分（図４における線Ｄ）と右端の部分（図４における線Ｅ）との距離が、肩候補動き領域３０６ｂの横幅Ｗsとなる。横幅Ｗsの算出方法は、肌色動き領域３０１ｂの横幅Ｗfの算出方法（（数３）を参照。）と同様であるので、ここでは説明を繰り返さない。
【００８９】
より詳細には、横幅Ｗsを算出する際には、図４に示すように、左右の動き量Δｄを考慮する必要があるが、ΔｄはＷsと比較して小さな数値であるため、本実施の形態においてはΔｄ＝０としている。ただし、２枚のフレームデータの時間間隔を大きく設定して、フレームデータ間の重複部分を求める場合には、Δｄの値が無視できなくなるため、算出されたＷsの値を補正することが好ましい。
【００９０】
横幅比較部（比較手段）１２−８は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。横幅比較部１２−８は、肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗsと肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗfとを比較する。言い換えれば、横幅比較部１２−８は、顔候補位置検出部１２−４にて算出した肌色動き領域３０１ｂの横幅（図３および図５の顔候補の横幅Ｗf）と肩候補位置検出部１２−７にて算出された肩候補動き領域３０６ｂの横幅（図３および図９の横幅Ｗs）に基づいて比較値を求める。
【００９１】
本実施の形態においては、前記比較値として、肩候補位置検出部１２−７で求めた肩候補動き領域３０６ｂの横幅Ｗsを、顔候補位置検出部１２−４にて求めた肌色動き領域３０１の横幅Ｗfによって割り算することにより算出した、比較値Ｗs／Ｗfを用いる。
【００９２】
顔領域判断部（認識手段）１２−９は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。顔領域判断部１２−９は、横幅比較部１２−８にて得られた比較値（比較結果）Ｗs／Ｗfが所定の条件を満たす場合に、前記肌色領域３０１ａを顔領域として認識する。すなわち、顔領域判断部１２−９は、横幅比較部１２−８にて求めた比較値Ｗs／Ｗfが予め設定された範囲内であれば、顔候補位置検出部（第１の横幅算出部）１２−４にて求めた位置（図３の領域３０１ｂが含まれる領域３０２）が人物の顔が存在する位置であると判断する。同時に、肩候補位置検出部１２−７にて求めた位置（図３における領域３０６ｂが囲まれる領域３０５）が肩が存在する位置であると判断する。
【００９３】
本実施の形態においては、比較値Ｗs／Ｗfが１．４〜１．６の範囲に入っているときに、ＣＰＵ１２は、比較値（比較結果）Ｗs／Ｗfが所定の条件を満たしていると判断し、肌色領域３０１ａを人物の顔領域として認識する構成としている。但し、このＷs／Ｗfの１．４〜１．６の範囲はある実験環境によって求められたものであり、必ずしもこの範囲があらゆる状況においても適しているわけではないということは言うまでもない。
【００９４】
ここで、顔領域判断部１２−９が、前記肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗfと前記肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗsとに基づいて、前記肌色領域３０１ａを顔領域として認識するか否かを判断する構成であってもよい。より詳細には、顔領域判断部１２−９が、前記肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗfと前記肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗsとの比率Ｗs／Ｗfを計算し、前記比率Ｗs／Ｗfが予め定められた範囲内にあるか否かを判断し、前記比率Ｗs／Ｗfが予め定められた範囲内にあると判断された場合に前記肌色領域３０１ａを顔領域として認識する構成であってもよい。
【００９５】
本実施の形態においては、顔領域判断部１２−９は、前記肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗsを肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗfで除することによって前記比率Ｗs／Ｗfを計算し、前記比率Ｗs／Ｗfが１．４〜１．６の範囲内にあると判断された場合に前記肌色領域３０１ａを顔領域として認識する。
【００９６】
また、顔候補位置検出部１２−４と肩候補位置検出部１２−７とによって得られた肌色動き領域３０１ｂと肩候補動き領域３０６ｂの横幅Ｗs，Ｗfを比較する横幅比較処理および顔領域判断処理において、過去一回以上の顔肌色動き領域３０１ｂと肩候補動き領域３０６ｂの横幅Ｗs，Ｗfの平均値を算出してから、比較値Ｗs／Ｗfを求める構成にしてもよい。この場合にも、平均値から算出された当該比較値Ｗs／Ｗfが１．４〜１．６の範囲内にある場合に、肌色領域３０１ａを顔領域と判断したり、撮像装置２１によって人物が撮像されていると判断する構成にすることができる。
【００９７】
例えば、過去二回の平均Ａ2を求める場合において、動画像のｎ番目のフレームデータと（ｎ＋１）番目のフレームデータとを評価したときの肌色動き領域３０１ｂの横幅、肩補動き領域３０６ｂの横幅をそれぞれＷf（ｎ），Ｗs（ｎ）とすると、平均値に基づく前記比較値は、ＣＰＵ１２によって次式から算出される。
【００９８】
【数１０】
2008287518.tif 000012
【００９９】
同様に、過去ｍ回の平均を求める場合（ｍは２より大きい整数とする。）において、平均値に基づく前記比較値は、ＣＰＵ１２によって次式により算出される。
【０１００】
【数１１】
2008287518.tif 000013
【０１０１】
これにより、ノイズなどによる検出ミスを最低限に抑えることが出来る。
上記のような比較値を算出するための式（数１０）および（数１１）は、動画像中の連続するフレームデータに基づいて平均値を算出してから比較値を算出するものであるが、先に比較値を計算してから当該比較値の平均値を算出する構成であってもよい。
【０１０２】
また、たとえば、１フレーム飛ばし、または２フレーム飛ばしなどの飛び飛びのフレームデータを用いて平均値を算出してから比較値を算出する方法であってもよい。これらは、撮像装置２１のフレームレートの性能や、ＣＰＵ１２の性能などのハードウェア環境に応じて変化する、上記各種処理を行うために最適なフレームレートの間隔（１フレーム飛ばし、２フレーム飛ばしなど）に応じて、選択することが好ましい。
【０１０３】
尚、本実施の形態に係る画像処理装置１０においては、上述したように、肌色動き領域３０１ｂが含まれる矩形領域３０２に対して、横幅が２．２倍、縦幅が１．０倍となる矩形領域を抽出対象エリア３０３として定義しているが、抽出対象エリア３０３は、肌色動き領域３０１ｂの下方にある領域であればよい。そして、抽出対象エリア３０３は、通常の肩幅より大きい幅を有する領域に設定することが好ましい。
【０１０４】
本実施の形態に係る画像処理装置１０では、顔部分の下方に存在するはずの肩部分によって、肌色領域３０１ａが顔領域であるか否かを判断する形態としているが、肩部分に限定するものではなく、顔部分の下方に存在するはずの胴体の一部分によって、肌色領域３０１ａが顔領域であるか否かを判断する形態としてもよい。
【０１０５】
ここで、撮像対象となる人物等が首部分を露出していると、当該首部分が肌色領域３０１ａおよび肌色動き領域３０１ｂに含まれるため、抽出対象エリア３０３や肩候補動き領域３０６ｂの位置も下方へ下がる。しかし、抽出対象エリア３０３が下方へ下がっても、肩候補動き領域３０６ｂの横幅Ｗsの値の変化は小さいため、顔領域の判断への影響は少ない。また、後述するように、重心を介して肌色動き領域３０１ｂを抽出する方法を採用する場合には、首部分の面積は顔部分の面積に比べて小さいため、首部分が肌色であっても抽出対象エリア３０３や肩候補動き領域３０６ｂが下方へ下がる程度を低減することができ、首部分による影響をさらに低減することができる。
【０１０６】
＜顔領域認識処理＞
以下、本実施の形態に係る顔領域認識処理について説明する。図１０は顔領域認識処理を示すフローチャートである。図１１は顔領域認識処理の流れを概念的に示すイメージ図である。
【０１０７】
図１０に示すように、まず、撮像装置２１から画像処理装置１０へ、動画像を構成するフレームデータＦ（ｎ）が入力され、ＣＰＵ１２は当該フレームデータＦ（ｎ）を順次メモリ１３に記憶する（ステップ１００、以下ステップをＳと略す。）。次に、ＣＰＵ１２等によって実現される画像縮小部１２−１が、メモリ１３に記憶されているフレームデータＦ（ｎ）を読み出して縮小処理を施し、縮小されたフレームデータＦ（ｎ）を再度メモリ１３に記憶する（Ｓ１０２）。
【０１０８】
次に、図１１（ａ）に示すように、肌色領域抽出部１２−２が、縮小されたフレームデータＦ（ｎ）を２値のフレームデータに変換して、肌色領域３０１ａを抽出する（Ｓ１０４）。肌色動き領域抽出部１２−３が、肌色領域３０１ａの重複部分（肌色動き領域）３０１ｂ）を抽出する（Ｓ１０６）。図１１（ｃ）に示すように、顔候補位置検出部（第１の横幅算出部）１２−４が、肌色動き領域３０１ｂを含む矩形領域３０２を抽出して、当該矩形領域３０２のＸ，Ｙ方向の最大値と最小値とを算出する（Ｓ１０８）。顔候補位置検出部１２−４は、算出されたＸ，Ｙ方向の最大値と最小値とに基づいて、肌色動き領域３０１ｂの横幅Ｗfと高さＨfとを算出する（Ｓ１１０）。
【０１０９】
次に、図１１（ｂ）に示すように、肩候補領域抽出部１２−５が、肌色動き領域３０１ｂのＸ，Ｙ方向の前記最大値と最小値とに基づいて、抽出対象エリア３０３（Ｆx（ｎ））を設定する（Ｓ１１２）。肩候補領域抽出部１２−５は、輝度値と画素数とからしきい値を算出し、もしくは予め固定ディスク１４等に記憶されているしきい値を読み出して、肩候補領域３０６ａを抽出すべく２値のフレームデータを生成する（Ｓ１１４）。肩候補動き領域１２−６は、肩候補領域３０６ａの重複部分（肩候補動き領域３０６ｂ）を抽出する（Ｓ１１６）。図１１（ｃ）に示すように、肩候補位置検出部１２−７が、肩候補動き領域３０６ｂを含む矩形領域３０５を抽出して、当該矩形領域３０５のＸ方向の最大値と最小値を算出して（Ｓ１１８）、肩候補動き領域３０６ｂの幅Ｗsを算出する（Ｓ１２０）。
【０１１０】
次に、図１１（ｄ）に示すように、顔領域判断部１２−９が、肌色動き領域３０１ｂの横幅Ｗsと肩候補動き領域３０６の横幅Ｗfとの比率（比較値）Ｗs／Ｗfが、予め設定された範囲（たとえばＰ1〜Ｐ2の間；本実施の形態においては１．４〜１．６の間）内に属するか否かを判断する（Ｓ１２２）。そして、前記比率Ｗs／Ｗfが前記範囲内に属する場合、すなわちＰ1＜（Ｗs／Ｗf）＜Ｐ2の場合（Ｓ１２２においてＹＥＳの場合）、肌色領域３０１ａを人物の顔領域と判断する（Ｓ１２４）。逆に、前記比率Ｗs／Ｗfが前記範囲内に属しない場合（Ｓ１２２においてＮＯの場合）、前記肌色領域３０１ａを人物の顔領域ではないと判断する（言い換えれば、顔領域であるとは判断しない）（Ｓ１２６）。
【０１１１】
最後に、ＣＰＵ１２は、前記判断結果を出力部１７−１に出力し、出力部１７−１は判断結果を外部のユーザに向けて表示したり、判断結果を信号に変換して外部のディスプレイ２０やプリンタ等に出力する（Ｓ１２８）。
【０１１２】
図１２は撮像装置２１に人物の顔が撮像された場合と人物の掌が撮像された場合のフレームデータを示したイメージ図である。図１２（ａ）に示すように、本実施の形態に係る画像処理装置１０は、顔候補領域の横幅Ｗfと肩候補領域の横幅Ｗsとの比率Ｗs／Ｗfが１．４＜Ｗs／Ｗf＜１．６の場合に、肌色動き領域を人物の顔領域であると判断するものである。たとえば、図１２（ｂ）に示すように撮像装置２１が人物の顔部分を撮像した場合には、Ｗs／Ｗf＝１．５となるので図１２（ｂ）の肌色動き領域は顔領域であると判断される（Ｓ１２４）。一方、図１２（ｃ）に示すように撮像装置２１が人物の手の平部分を撮像した場合には、Ｗs／Ｗf＝０．９５となるので図１２（ｃ）の肌色動き領域は顔領域ではないと判断される（Ｓ１２６）。
【０１１３】
つまり、本実施の形態に係る画像処理装置１０は、人物の顔部分以外の、たとえば掌のような動き成分や肌色成分を有する物体を、誤って人物の顔領域として抽出してしまう可能性を低減することが可能となり、その結果、顔領域の認識性能が向上する。
【０１１４】
上記各種の画像処理機能を有したプログラムは、それをコンピュータが読み取り可能な記録媒体、たとえば、フレキシブルディスク、メモリカード、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＭＯディスク（Magneto Optical Disk）、リムーバブルディスクなどに記録して提供したり、配布することが可能である。これにより、上記記録媒体、または、ネットワークを介して、本システムと互換のあるコンピュータや、同等の機能のプロセッサや画像エンジンを持つシステムに、上記本発明に係るコンピュータプログラムをインストールすることによって、上記特徴の本発明に係る機器制御方法の人検出装置を該コンピュータまたは該システム上で実行することができる。
【０１１５】
前記開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内においてのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１１６】
【図１】本実施の形態に係る画像処理装置のハードウェア構成を示す図である。
【図２】画像処理装置の機能構成を示す機能ブロック図である。
【図３】動画像から抽出された１つのフレームデータを示した概念図である。
【図４】動画像から抽出された２つのフレームデータを重ねて示した概念図である。
【図５】動画像から抽出された２つのフレームデータの肌色領域を重ねて示した概念図である。
【図６】肩候補領域を抽出するための抽出対象エリアを示す概念図である。
【図７】抽出された肩候補領域を示す概念図である。
【図８】フレームデータにおける輝度値と当該輝度値が設定されている画素数との分布を示した概念図である。
【図９】撮像対象に動きがある場合の２枚の２値のフレームデータを重ねた概念図である。
【図１０】顔領域認識処理を示すフローチャートである。
【図１１】顔領域認識処理の流れを概念的に示すイメージ図である。
【図１２】撮像装置に人物の顔が撮像された場合と人物の手の平が撮像された場合のフレームデータを示したイメージ図である。
【符号の説明】
【０１１７】
１０  画像処理装置、１２  ＣＰＵ、１２−１  画像縮小部、１２−２  第１の抽出手段（肌色領域抽出部）、１２−３  第２の抽出手段（肌色動き領域抽出部）、１２−４  第１の横幅算出部（顔候補位置検出部）、１２−５  第３の抽出手段（肩候補領域抽出部）、１２−６  第４の抽出手段（肩候補動き領域抽出部）、１２−７  第２の横幅算出部（肩候補位置検出部）、１２−８  横幅比較部、１２−９  （判断手段）顔領域判断部、１３  メモリ、１４  固定ディスク、１５  通信インターフェース、１６  入力装置、１７  出力装置、２１  撮像装置、３０１ａ  肌色領域、３０１ｂ 第１の重複部分（肌色動き領域）、３０３  抽出対象エリア、３０６ａ  胴体候補領域（肩候補領域）、３０６ｂ  第２の重複部分（肩候補動き領域）。
【図１】
2008287518.tif 000014
【図２】
2008287518.tif 000015
【図３】
2008287518.tif 000016
【図４】
2008287518.tif 000017
【図５】
2008287518.tif 000018
【図６】
2008287518.tif 000019
【図７】
2008287518.tif 000020
【図８】
2008287518.tif 000021
【図９】
2008287518.tif 000022
【図１０】
2008287518.tif 000023
【図１１】
2008287518.tif 000024
【図１２】
2008287518.tif 000025