(57)【特許請求の範囲】
【請求項１】
顔の方向の検出のための画像処理装置であって、
複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成手段と、
前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔３次元モデルを生成する平均顔３次元モデル作成手段と、
前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記平均顔画像を平滑化処理する平滑化処理手段を備え、
前記平均顔３次元モデル作成手段は、平滑化処理された前記平均顔画像をマッピングすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
顔の方向の検出のための画像処理装置であって、
入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、
複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別手段と
を備えることを特徴とする画像処理装置。
【請求項４】
顔の方向の検出のための画像処理装置であって、
入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、
複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成手段と、
前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別手段と
を備えることを特徴とする画像処理装置。
【請求項５】
顔の方向の検出のための画像処理方法であって、
複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成過程と、
この平均顔データ作成過程で生成された前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔モデルを生成する平均顔３次元モデル作成過程と、
この平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成過程と
を有することを特徴とする画像処理方法。
【請求項６】
前記平均顔画像を平滑化処理する平滑化処理過程を有し、
前記平均顔３次元モデル作成過程においては、前記平滑化処理過程で平滑化処理された前記平均顔画像を標準顔形状モデルにマッピングすることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
顔の方向の検出のための画像処理方法であって、
入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、
複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記平滑化処理過程で生成された前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程と
を有することを特徴とする画像処理方法。
【請求項８】
顔の方向の検出のための画像処理方法であって、
入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、
複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成過程と、
前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程と
を備えることを特徴とする画像処理方法。
【請求項９】
複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成過程と、
この平均顔データ作成過程で生成された前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔３次元モデルを生成する平均顔３次元モデル作成過程と、
この平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成過程と
をコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１０】
前記平均顔画像を平滑化処理する平滑化処理過程をコンピュータに実行させ、
前記平均顔３次元モデル作成過程においては、前記平滑化処理過程で平滑化処理された前記平均顔画像をマッピングする処理をコンピュータに実行させることを特徴とするプログラムを記録した請求項９に記載のコンピュータ読み取り可能な記録媒体。
【請求項１１】
入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、
複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記平滑化処理過程で生成された前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程と
をコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、
複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成過程と、
前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程と
をコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
物品の方向の検出のための画像処理装置であって、
複数のサンプル物品画像を基に平均物品画像を生成する平均物品データ作成手段と、
前記平均物品画像を、物品の形状を表す標準物品形状モデルにマッピングすることにより平均物品３次元モデルを生成する平均物品３次元モデル作成手段と、
前記平均物品３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均物品３次元モデルを見たときの角度別平均物品画像とを関連付けて生成するデータベース作成手段と
を備えることを特徴とする画像処理装置。
【請求項１４】
物品の方向の検出のための画像処理装置であって、
入力された入力物品画像を平滑化処理することによって低周波入力物品画像を生成する平滑化処理手段と、
複数のサンプル物品画像の平均物品画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均物品画像と、前記低周波入力物品画像との比較により、前記入力物品画像における物品の向きの角度を決定する物品方向判別手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像データを基に顔や物品の方向を検出する画像処理装置およびその方法ならびにプログラム記録媒体に関する。
【０００２】
【従来の技術】
顔の画像を基に認識処理を行って人を識別したり表情を読み取ったりするためには、顔の方向を検出することが重要となるが、自律移動ロボット等が人間環境内を移動する場合や人間環境内に据え付けられたカメラで人間の顔を撮像する場合などには、入力画像上の顔の初期方向がわからないという問題がある。この問題を解決するため、入力される画像を基に顔の方向を検出する技術が求められている。
【０００３】
図４は、従来技術による顔方向検出のためのデータの流れを示すデータ構成図である。この従来技術においては、まず予め認識対象個人の顔画像データを取得し、加工して、蓄積しておく。図４において、符号９１は、入力手段によって入力された認識対象個人の正面顔画像データである。また、９２は正面顔画像データ９１を基に抽出される特徴点データである。特徴点データ９２は、目や鼻や耳や口や眉毛などといった顔の構成要素の形状や配置を表すデータである。また、９３は正面顔画像データ９１をモザイク処理することによって得られる低周波正面顔画像データである。
【０００４】
また、９４は予め用意されている標準顔形状モデルデータであり、この標準顔形状モデルデータ９４は標準的な顔の３次元形状を表している。そして９５は顔モデルデータであり、この顔モデルデータ９５は、標準顔形状モデルデータ９４が表す顔上に特徴点データ９２または低周波正面顔画像データ９３を用いてテクスチャマッピング処理を行うことによって得られる。よって、顔モデルデータ９５には、標準顔形状モデルデータ９４から受け継いだ３次元形状の情報が含まれている。次に、９６は角度別顔画像データであり、この角度別顔画像データ９６は、顔モデルデータ９５が表す３次元顔を任意の向きに回転させて投影することによって得られる。
【０００５】
一方、９７は入力手段によって新規に入力される上記認識対象個人の入力顔画像データであり、この入力顔画像データ９７における顔の向きは未知である。そして、この入力顔画像データ９７を複数の角度別顔画像データ９６と比較し、最も相関度の高い角度別顔画像データ９６を決定することによって新規に入力された顔の方向を検出する。
【０００６】
【発明が解決しようとする課題】
上述した従来手法では、予め認識対象個人の正面顔画像を取得しておくことを前提としている。また、予め画像を取得した個人と新規に画像入力される個人とが異なる場合、両者間の顔の特徴の違いから、新規入力された画像の顔方向を検出できない可能性あるいは方向検出精度が落ちる可能性がある。上記のような前提条件は、顔認識装置の利用範囲を狭くしてしまうという問題がある。
【０００７】
本発明は、このような事情を考慮してなされたものであり、予め顔画像データを取得してなくとも、入力される不特定個人の顔画像からその顔方向を検出することのできる画像処理装置およびその方法ならびにプログラム記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、顔の方向の検出のための画像処理装置であって、複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成手段と、前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔３次元モデルを生成する平均顔３次元モデル作成手段と、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成手段とを備えることを特徴とする画像処理装置を要旨とする。
【０００９】
また、請求項２に記載の発明においては、前記平均顔画像を平滑化処理する平滑化処理手段を備え、前記平均顔３次元モデル作成手段は、平滑化処理された前記平均顔画像をマッピングすることを特徴とする。
なお、ここで「平滑化処理」とは、画像をぼかすことにより画像の特徴を緩和する処理を言う。この平滑化処理の具体例としては、複数の隣接領域画像繋ぎ合わせるモザイク処理や、メジアン（median）フィルタや、局所平均フィルタなどを挙げることができるが、これらに限定されない。
【００１０】
また、請求項３に記載の発明は、顔の方向の検出のための画像処理装置であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別手段とを備えることを特徴とする画像処理装置を要旨とする。
なお、ここで「低周波顔画像」とは、モザイク処理や、メジアンフィルタなどの各種平滑化処理や、フーリエ変換による高周波成分除去などにより平滑化された画像を言う。
【００１１】
また、請求項４に記載の発明は、顔の方向の検出のための画像処理装置であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成手段と、前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別手段とを備えることを特徴とする画像処理装置を要旨とする。
【００１２】
また、請求項５に記載の発明は、顔の方向の検出のための画像処理方法であって、複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成過程と、この平均顔データ作成過程で生成された前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔モデルを生成する平均顔３次元モデル作成過程と、この平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成過程とを有することを特徴とする画像処理方法を要旨とする。
【００１３】
また、請求項６に記載の発明では、前記平均顔画像を平滑化処理する平滑化処理過程を有し、前記平均顔３次元モデル作成過程においては、前記平滑化処理過程で平滑化処理された前記平均顔画像を標準顔形状モデルにマッピングすることを特徴とする。
【００１４】
また、請求項７に記載の発明は、顔の方向の検出のための画像処理方法であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記平滑化処理過程で生成された前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とを有することを特徴とする画像処理方法を要旨とする。
【００１５】
また、請求項８に記載の発明は、顔の方向の検出のための画像処理方法であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成過程と、前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とを備えることを特徴とする画像処理方法を要旨とする。
【００１６】
また、請求項９に記載の発明は、複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成過程と、この平均顔データ作成過程で生成された前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔３次元モデルを生成する平均顔３次元モデル作成過程と、この平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成過程とをコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００１７】
また、請求項１０に記載の発明では、前記平均顔画像を平滑化処理する平滑化処理過程をコンピュータに実行させ、前記平均顔３次元モデル作成過程においては、前記平滑化処理過程で平滑化処理された前記平均顔画像をマッピングする処理をコンピュータに実行させることを特徴とする。
【００１８】
また、請求項１１に記載の発明は、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記平滑化処理過程で生成された前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とをコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００１９】
また、請求項１２に記載の発明は、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成過程と、前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とをコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００２０】
また、請求項１３に記載の発明は、物品の方向の検出のための画像処理装置であって、複数のサンプル物品画像を基に平均物品画像を生成する平均物品データ作成手段と、前記平均物品画像を、物品の形状を表す標準物品形状モデルにマッピングすることにより平均物品３次元モデルを生成する平均物品３次元モデル作成手段と、前記平均物品３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均物品３次元モデルを見たときの角度別平均物品画像とを関連付けて生成するデータベース作成手段とを備えることを特徴とする画像処理装置を要旨とする。
【００２１】
また、請求項１４に記載の発明は、物品の方向の検出のための画像処理装置であって、入力された入力物品画像を平滑化処理することによって低周波入力物品画像を生成する平滑化処理手段と、複数のサンプル物品画像の平均物品画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均物品画像と、前記低周波入力物品画像との比較により、前記入力物品画像における物品の向きの角度を決定する物品方向判別手段とを備えることを特徴とする画像処理装置を要旨とする。
【００２２】
【発明の実施の形態】
以下、図面を参照しこの発明の一実施形態について説明する。図１は、同実施形態による画像処理装置の機能構成を示すブロック図である。図１において、符号２０は顔画像入力手段、２１はモザイク処理手段（平滑化処理手段）、２２は顔方向判別手段である。また、１１は平均顔データ作成手段、１２はモザイク処理手段（平滑化処理手段）、１３は３次元顔モデル作成手段、１４は３次元マッピング手段（平均顔３次元モデル作成手段）、１５は平均顔３次元モデル任意方向回転手段、１６は２次元データベース作成手段（データベース作成手段）である。
【００２３】
図２は、同画像処理装置におけるデータの流れを示すデータ構成図である。図２において、符号３１は複数の個人の正面顔をサンプルとして撮像して得られたサンプル正面顔画像データ、３２はサンプル正面顔画像データ３１を基にモザイク処理等を経て生成された平均正面顔画像データ、３３は平均正面顔画像データ３２を基に生成された低周波平均正面顔画像データである。
【００２４】
また、３４は予め用意されている標準顔形状モデルデータであり、この標準顔形状モデルデータ３４は標準的な顔の３次元形状を表している。そして３５は平均顔３次元モデルデータであり、この平均顔３次元モデルデータ３５は、標準顔形状モデルデータ３４が表す顔上に平均正面顔画像データ３２または低周波平均正面顔画像データ３３を用いてテクスチャマッピング処理を行うことによって得られる。よって、平均顔３次元モデルデータ３５には、標準顔形状モデルデータ３４から受け継いだ３次元形状の情報が含まれている。次に、３６は角度別平均顔画像データであり、この角度別顔画像データ３６は、平均顔３次元モデルデータ３５が表す３次元モデルを所定の角度毎に回転させて投影することによって得られる。また４１は新規に入力される入力顔画像データであり、４２は入力顔画像データ４１を基にモザイク処理等を経て生成される低周波入力顔画像データである。具体的には、入力画像は、自動車に搭載されてドライバーを撮影するカメラや、自律移動型ロボットに搭載されたカメラにより得られた未知の顔の画像データである。
【００２５】
次に、本画像処理装置におけるデータベース生成過程および顔方向検出過程それぞれの処理の流れについて図１および図２をもとに説明する。
【００２６】
（１）データベース作成過程
まず平均顔データ作成手段１１が、複数のサンプル正面顔画像データ３１を基に画像の正規化を行う。ここで画像の正規化とは、複数の画像のサイズを揃え、画像上の顔の位置を揃える、あるいは照明条件による画像のばらつきを抑えるための明度の正規化などといった処理である。ここでは、正規化後のサンプル画像数をＭ、それぞれのサンプル画像のサイズを縦横それぞれｉピクセルおよびｊピクセルとする。そして、Ｍ個のサンプル画像をそれぞれ
【数１】
0004476424.tif 000002
で表し（但し、ｍはサンプル番号であり、１≦ｍ≦Ｍ）、各々のサンプル画像
【数２】
0004476424.tif 000003
の（ｉ×ｊ）個のピクセル値を
【数３】
0004476424.tif 000004
と表すものとする。ここで、ピクセル値としては各ピクセルの輝度（濃度）値を用いる。あるいは、輝度値の代わりに色情報（例えばＲＧＢ３原色の値）を用いても良い。なお、この正規化の段階でサンプル画像の顔領域以外の背景色を揃える処理を行っても良い。
【００２７】
そして、平均顔データ作成手段１１は正規化された複数の画像を平均化する処理を行い、平均正面顔画像データ３２を生成する。ここで平均化とは、上記Ｍ個のサンプル画像を基に平均画像を生成する処理であり、平均画像
【数４】
0004476424.tif 000005
の定義は、次式で表される。
【数５】
0004476424.tif 000006
次いで、モザイク処理手段１２は、この平均正面顔画像データ３２に、必要に応じてモザイク処理を施し、低周波平均正面顔画像データ３３を生成する。
【００２８】
次に、３次元マッピング手段１４は、上記の平均正面顔画像データ３２または低周波平均正面顔画像データ３３を、予め３次元顔モデル作成手段１３によって作成された標準顔形状モデルデータ３４が表す３次元モデルの表面に貼り付けるテクスチャマッピング処理を行い、平均顔３次元モデルデータ３５を生成する。なおこの際、後頭部に相当する部分にマッピングするテクスチャデータとしては、サンプル正面顔画像データ３１の撮像時に同時に撮像した後頭部画像を平均化したものを用いても良いし、予め用意した標準的な後頭部画像を用いても良い。
【００２９】
最後に、平均顔３次元モデル任意方向回転手段１５は、上記の平均顔３次元モデルデータ３５が表す３次元顔モデルを所定角度ステップで回転させ各々のステップにおいて一定方向から投射して得られる角度別平均顔画像データ３６を、２次元データベース作成手段１６がデータベースに格納する。なお、ここで回転軸は１種類に限らず、複数の回転軸それぞれについての回転を複合させ各々の軸毎の所定角度ステップの組み合わせで角度別平均顔画像データを作成しても良い。また、回転の方向は、水平方向、前後方向、左右方向等、任意である。
【００３０】
（２）顔方向検出過程
この顔方向検出過程においては、まず、顔画像入力手段２０から取り込まれた未知の画像を基に、エッジ抽出処理によって得られる物体エッジ形状情報や色情報等を利用して顔領域を抽出し、また顔領域画像のサイズを正規化することによって入力顔画像データ４１を得る。なおこの際、データベース作成過程における場合と同様に、背景色を揃える処理を行っても良い。
【００３１】
次に、モザイク処理手段２１は、上記入力顔画像データ４１にモザイク処理を施して、低周波入力顔画像データ４２を出力する。そして、顔方向判別手段２２は、低周波入力顔画像データ４２と前述の角度別平均顔画像データ３６における各角度のデータとを比較し、最も相関度の高い画像データを決定することにより、入力された顔画像の方向を判別する。
【００３２】
なお、相関度算出方法の一例は、次の通りである。低周波入力顔画像データ４２の各ピクセルｆ（ｘ，ｙ）と、角度別平均顔画像データ３６における任意角度の画像の各ピクセルｔ（ｘ，ｙ）について画像間の非類似度を求める。非類似度は、次の数式のいずれかなどによって求めることができる。
【数６】
0004476424.tif 000007
【数７】
0004476424.tif 000008
【数８】
0004476424.tif 000009
非類似度の値が小さいほど、２つの画像の相関度が高くなる。本実施例では、あらゆる方向に対して一定間隔（例えば、１０度間隔）で角度別平均顔画像データ３６を作成し、それらと入力画像との相関度計算によって認識を行うが、車両ドライバーの顔向き検知など、予め顔の動く範囲がある程度特定できる場合には、認識範囲を狭くしたり、間隔を１０度間隔から例えば５度間隔にするなどして、精度を高めることもできる。逆に、間隔を大きくすることで顔向き検知の精度を犠牲にする代わりにシステムの高速化を図ることも可能である。また、相関度計算をする角度を、上記のように一定間隔で連続的に行うのではなく、遺伝的アルゴリズムなどの利用により離散的に行うことも可能である。
【００３３】
次に、本発明による顔方向検出精度向上の原理について説明する。図３は、顔画像の特徴空間におけるデータの分布を示す概念図である。なお、この図３では多次元の特徴空間を抽象し２次元的に表している。図３において、符号１Ａ，２Ａ，３Ａ，４Ａ，５Ａはそれぞれ角度別平均顔画像データにおける５つの角度のデータの位置である。また、１Ｒ，２Ｒ，３Ｒ，４Ｒ，５Ｒは、それぞれの角度におけるサンプル顔画像の分布範囲である。また、１Ｓ，２Ｓ，３Ｓ，４Ｓ，５Ｓは、それぞれの角度における特定のサンプル顔画像の位置である。
【００３４】
ここで、Ｕが入力顔画像データの位置であるとすると、このＵに位置する入力顔画像データは、本空間内距離において、１Ａ〜５Ａのうち４Ａと最も近く、従って４Ａに位置する画像との相関度が最も高いと判定され、顔方向が決定される。一方、このＵをサンプル画像１Ｓ〜５Ｓの各位置と比較した場合には３Ｓが最も近く、Ｕの顔方向は３Ａと判定されることになり、前述の判定結果とは異なった結果が出力されることになる。ここで仮に、入力顔画像Ｕとサンプル画像３Ｓの人物が同一人物であった場合、Ｕの顔方向はむしろ３Ｓ（３Ａ）のほうが精度の高い解であるとも言えるので、Ｕに対する顔方向認識結果において、４Ａが正答、３Ａが誤答であると一概に決定することはできない。しかし、実際の顔方向認識処理過程においては、入力顔画像の人物が、装置の平均顔モデルデータ作成時のサンプル中に含まれているとは限らない。そのため、サンプル顔画像が持つ個人的顔特徴に過度の影響を受けること無く、より一般的な解（顔方向）を出力する手法が必要となる。本発明によれば、未知画像が入力されたときに、大人数の平均顔を基にした角度別顔画像データと比較することによって顔向き判定を行うため、特定人物サンプル画像との比較を行う場合よりも、より普遍性のある顔向き認識結果を得ることができる。また、膨大な人数のサンプルそれぞれに対し、各顔方向（顔向き）ごとの顔画像を撮影してデータベースに保持しておく必要もないことから、データベース作成に必要とされる記憶容量が少なくて済む効果もある。
【００３５】
また、モザイク処理手段２１が、入力顔画像データ４１にモザイク処理を行って得られる低周波入力顔画像データ４２を用いて角度別平均顔画像データ３６と比較するので、顔の個人差の影響を受けずに顔方向を検出することができる。
また、モザイク処理手段１２が平均正面顔画像データ３２にモザイク処理を行って得られる低周波平均正面顔画像データ３３を用いて平均顔３次元モデルデータ３５を生成する場合には、さらに顔の個人差の影響を受けずに顔方向を検出することができる。
【００３６】
なお、上記実施形態では、予め角度別平均顔画像データを生成してデータベースに保持しておき、このデータを取り出して入力画像と比較するものとしているが、角度別平均顔画像データをデータベースから読み出す代わりにその都度計算を行うことにより任意角度から見た平均顔画像データを生成して入力画像と比較するようにしても良い。
【００３７】
そのためには、例えば、入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、平均顔画像を標準顔形状モデルにマッピングして得られる平均顔３次元モデルを基にこの平均顔３次元モデルに対する視点の角度と各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成手段と、低周波入力顔画像と角度別平均化顔画像との比較により入力顔画像における顔の角度を決定する顔方向判別手段とによって画像処理装置を構成する。
これにより、より少ない記憶容量で済むとともに、回転角度のステップを動的に変えることも可能となる。
【００３８】
なお、上述の画像処理装置は、内部にコンピュータを用いて構成しても良い。この場合、上述した平均顔データ作成、モザイク処理、３次元顔モデル作成、３次元マッピング、平均顔任意方向３次元モデル作成、２次元データベース作成、顔方向判別等の各過程またはこれらの過程の一部は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気ハードディスク、半導体メモリ等をいう。
【００３９】
以上、人間の顔を具体例として、その方向を検出するための構成を説明したが、対象は人間の顔に限定されず、全体の形状や表面のデザインや色等がある程度定まっている一般的な物品の向きの判定に本発明を適用しても良い。物品とは、例えば携帯型電話端末その他であり、個別のサンプル物品の平均画像を用いる本発明の適用により、これらの物品の向きを認識する画像処理装置を提供することが可能となる。また、このような画像処理装置をロボット等における認識処理に応用しても良い。
【００４０】
【発明の効果】
以上説明したように、この発明によれば、被験者（入力画像の人物）の正面顔画像を、サンプルデータとしてデータベース内に保持していなく、且つ、初期入力画像が正面顔画像とは限らない（向きが判ってない）場合でも、人物の顔方向検出が可能となる。
【００４１】
また、この発明によれば、複数のサンプル顔画像を基に平均顔画像を生成するため、そのような平均顔画像を用いることによって、入力される画像が未知の人の顔画像であってもその人の顔の方向を算出することが可能となる。
【００４２】
また、この発明によれば、平均顔をモザイク処理することによって顔の個人差の影響を少なくすることができるため、入力された顔画像との比較、マッチングが容易になる。また、さらに、入力される顔画像をモザイク処理することによって顔の個人差の影響を少なくすることができるため、平均顔との比較、マッチングが容易になる。
【００４３】
また、この発明によれば、顔以外の一般の物品についても同様に扱えるため、個別の物品の正面画像をサンプルデータとしてデータベース内に保持していなく、且つ、初期入力画像が正面画像とは限らない場合でも、物品の方向検出が可能となる。
【図面の簡単な説明】
【図１】  この発明の一実施形態による画像処理装置の機能構成を示すブロック図である。
【図２】  同実施形態による顔方向検出のためのデータの流れを示すデータ構成図である。
【図３】  同実施形態を用いて顔方向検出を行う場合の特徴空間における分布を示すグラフである。
【図４】  従来技術による顔方向検出のデータの流れを示すデータ構成図である。
【符号の説明】
１１  平均顔データ作成手段
１２  モザイク処理手段
１３  ３次元顔モデル作成手段
１４  ３次元マッピング手段
１５  平均顔３次元モデル任意方向回転手段
１６  ２次元データベース作成手段
２０  顔画像入力手段
２１  モザイク処理手段
２２  顔方向判別手段
３１  サンプル正面顔画像データ
３２  平均正面顔画像データ
３３  低周波平均正面顔画像データ
３４  標準顔形状モデルデータ
３５  平均顔３次元モデルデータ
３６  角度別平均顔画像データ
４１  入力顔画像データ
４２  低周波入力顔画像データ
【図１】
0004476424.tif 000010
【図２】
0004476424.tif 000011
【図３】
0004476424.tif 000012
【図４】
0004476424.tif 000013