(57)【要約】【課題】顔認識において、顔正面の画像を高い確率で取得すること。【解決手段】カメラ１７で取得した画像データから人体正面方向検出部３２によりマッチング処理で人体の正面方向を検出し、移動制御部３３でカメラ移動部３１を制御してカメラ１７を人体正面方向に向かせ、この状態で、カメラ１７で連続して画像データを取得し、これらの画像データから顔認識処理部３４により顔を認識する。【選択図】　　　　図１
2004046399.tif 000002
【特許請求の範囲】
【請求項１】
カメラで取得した画像データから顔を認識する顔認識装置において、
前記カメラの位置または方位の少なくとも一方を移動させるカメラ移動手段と、前記画像データから人体の正面方向を検出する人体正面方向検出手段と、
この人体正面方向検出手段が検出した人体正面方向にカメラが向くように前記カメラ移動手段を制御する移動制御手段と、
カメラが連続して取得した画像データから顔を認識する顔認識処理手段と
を備えることを特徴とする顔認識装置。
【請求項２】
請求項１において、前記人体正面方向検出手段として、
３次元の人体モデルから作成された、回転角が異なる複数の２次元射影画像シルエットを格納するデータベースと、
前記画像データから人体のシルエットを抽出する人体シルエット抽出手段と、
人体シルエット抽出手段で抽出された人体のシルエットと前記データベースに格納された複数の２次元射影画像シルエットとのマッチング処理を行うマッチング処理手段と、
マッチング処理手段の処理結果から得られる前記抽出された人体シルエットに最もマッチングする２次元射影画像シルエットの回転角から、人体の正面方向を推定する人体正面方向推定手段と
を備えることを特徴とする顔認識装置。
【請求項３】
請求項２において、前記人体シルエット抽出手段は、前記画像データから背景画像との差分により、または、エッジ検出により人体のシルエットを抽出することを特徴とする顔認識装置。
【請求項４】
請求項２において、前記データベースには、回転角が同じで姿勢が異なる２次元射影画像シルエットが格納されていることを特徴とする顔認識装置。
【請求項５】
カメラで取得した画像データから顔を認識する顔認識方法において、前記画像データから人体の正面方向を検出し、検出した人体正面方向に向くように前記カメラを移動し、この状態で連続して画像データを取得し、これらの画像データから顔を認識することを特徴とする顔認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は顔を認識する装置及び方法に関する。
【０００２】
【従来の技術】
顔認識処理においては、人間の顔を正面から撮影した顔画像を用いないと、認識精度が著しく低下する。そのため、従来技術として、特開２００１−２４３４６６号公報に開示された「顔方向を検出してその方向に向けてカメラを移動することで顔の正面画像を取得する」技術が知られている。
【０００３】
【発明が解決しようとする課題】
しかし、人間の頭部は胴体に比べて首の回動で左右に動いている可能性が高いため、カメラの方向をリアルタイムに変えて顔方向に常に追従させる必要がある。従って、上記の従来技術を移動ロボットなど、カメラを迅速に移動できない機器に適用した場合、結局正面の顔画像を得にくくなるという問題が生じる。
【０００４】
本発明の課題は、上記従来技術に鑑み、移動ロボットなど、カメラを迅速に移動できない機器でも、顔の正面画像を取得することが可能な技術を提供することである。
【０００５】
【課題を解決するための手段】
第１発明は、カメラで取得した画像データから顔を認識する顔認識装置であり、前記カメラの位置または方位の少なくとも一方を移動させるカメラ移動手段と、前記画像データから人体の正面方向を検出する人体正面方向検出手段と、この人体正面方向検出手段が検出した人体正面方向にカメラが向くように前記カメラ移動手段を制御する移動制御手段と、カメラが連続して取得した画像データから顔を認識する顔認識処理手段とを備えることを特徴とする。
【０００６】
第２発明は、第１発明において、前記人体正面方向検出手段として、
３次元の人体モデルから作成された、回転角が異なる複数の２次元射影画像シルエットを格納するデータベースと、前記画像データから人体のシルエットを抽出する人体シルエット抽出手段と、人体シルエット抽出手段で抽出された人体のシルエットと前記データベースに格納された複数の２次元射影画像シルエットとのマッチング処理を行うマッチング処理手段と、マッチング処理手段の処理結果から得られる前記抽出された人体シルエットに最もマッチングする２次元射影画像シルエットの回転角から、人体の正面方向を推定する人体正面方向推定手段とを備えることを特徴とする顔認識装置である。
【０００７】
第３発明は、第２発明において、前記人体シルエット抽出手段は、前記画像データから背景画像との差分により、または、エッジ検出により人体のシルエットを抽出することを特徴とする顔認識装置である。
【０００８】
第４発明は、第２発明において、前記データベースには、回転角が同じで姿勢が異なる２次元射影画像シルエットが格納されていることを特徴とする顔認識装置である。
【０００９】
第５発明は、カメラで取得した画像データから顔を認識する顔認識方法であり、前記画像データから人体の正面方向を検出し、検出した人体正面方向に向くように前記カメラを移動し、この状態で連続して画像データを取得し、これらの画像データから顔を認識することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００１１】
本実施の形態では、顔認識装置は移動ロボットに搭載されたものである。そこで、顔認識装置の説明に先立ち、本発明を適用する移動ロボットの一例を図３を参照して説明する。
【００１２】
図３に示すロボット１は、ロボット本体１１が頭部１２と胸部１３と胴部（台車部）１４と左右の腕部１５とを有する人間を模したものであり、頭部１２と腕部１５は図示しない駆動機構により回動可能であるとともに、胴部１４に装備された左右の走行用車輪１６は図示しない駆動機構により操舵及び走行可能であって、作業空間をバッテリ駆動により自律的に移動するように構成されている。このロボット１は、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でユーザの生活を補助・支援・介護するために用いられる。そのため、ロボット１は、内蔵のＣＰＵ（コンピュータ）及び各種のセンサにより、ユーザと会話したり、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。ロボット１の形状としては、愛玩用に動物を模したものなど、種々考えられる。
【００１３】
詳細には、図３に示すロボット１はＣＰＵを用いた図示しない制御部を持ち、頭部１２に２つのカメラ１７と２つのマイクロホン１８が装着され、胸部１３の中央部に音量・音源方向センサと焦電型赤外線センサからなる人検知センサ１９、左右にスピーカ２０ａが装着されている。また、胸部１３の中央部に画像ディスプレイ２０ａが装着され、胴部４に超音波式障害物センサ２１やレーザ式障害物センサ２２が装着されている。キーボード及びタッチセンサ等が装着されることもある。
【００１４】
カメラ１７はユーザや屋内を撮影してその画像を制御部に出力し、マイクロホン１８はユーザの音声や電話のベル、呼び鈴、テレビの音などの生活音を取り込んで制御部に出力し、人検知センサ１９はユーザの有無を検出して制御部に出力する。スピーカ２０ａはマイクロホン１８とともにユーザとの会話に用いられ、画像ディスプレイ２０ｂはユーザに対する情報提供に用いられる。キーボードやタッチセンサはユーザ用のデータ入力機器であり、ユーザの生活パターンデータを入力したり、ユーザの意思を入力するために用いられる。スピーカ２０ａはユーザに対する情報提供にも用いられる。制御部には、所定期間にわたるカレンダ及び現在の年月日及び時刻を計時するカレンダクロックが備えられている。
【００１５】
制御部には、キーボード等のデータ入力機器と、カメラ１７、マイクロホン１８、人検知センサ１９及び障害物センサ２１等のユーザの生活パターンを常時モニタする外界センサと、カレンダクロックといった内界センサとにより、ロボット１の自己位置に関する情報と、ユーザの位置に関する情報と、ユーザの行動に関する情報とが入力される。
【００１６】
制御部は、自己位置認識機能と、ユーザ認識機能と、データベース（データ蓄積部）と、生活パターンデータ処理機能と、駆動制御機能とを有している。
【００１７】
自己位置認識機能は、カメラ１７が撮影した画像情報に基づいてロボット１自身の位置及び方位（向き、姿勢）を認識する。ユーザ認識機能は、マイクロホン１８で取り込んだ音声からユーザの発言内容の認識（音声認識）を行うとともに、カメラ１７で撮影した画像情報とマイクロホン１８で取り込んだ音声とからユーザ個人の認識を行い、また、カメラ１７と人検知センサ１９の検出結果からユーザの位置、向き、姿勢、活動量を認識する。
【００１８】
データベースは、ユーザとの会話用やユーザへの話し掛け用の音声データ、ユーザとの会話時やユーザへの話し掛け時の身振り動作のデータ、ユーザの生活情報（ユーザの居住に関する部屋の間取りや家具の配置、ユーザ個人の日常の生活パターン、ユーザの趣味、健康状態など）を記憶している。ユーザの生活情報には、必要に応じて文字列や映像、音声などのキーワードが付される。生活パターンのデータとしては、起床、就寝、食事、薬服用、散歩、自由時間、入浴などの行動に関するイベントが上げられ、これらのイベントが時間データとともにタイムスケジュールとして記憶される。
【００１９】
生活パターンデータ処理機能は、ユーザがデータ入力機器から直接入力した生活情報をキーワードを付してデータベースに蓄積したり、カメラ１７やマイクロホン１８、人検知センサ１９で取得した音声認識結果などユーザの各種情報を処理することで一つ一つの生活情報にキーワードやその日時を付してデータベースに蓄積する。更に、生活パターンデータ処理機能は、ユーザからの指示や話し掛けに応じて、あるいは、時刻などに応じて、これに対応するデータをデータベースから選択し、選択したデータに応じた指令を動作制御部に与えて制御する。
【００２０】
駆動制御機能は、生活パターンデータ処理機能からの指令に応じて、走行用車輪１６を駆動してロボット１の走行及び操舵を実行するとともに、頭部１２や腕部１３を駆動してそれの回動を実行する。また、スピーカ２０ａや画像ディスプレイ２０ｂを駆動してユーザとの会話を実行する。
【００２１】
次に、図１、図２を参照して、本発明の実施例に係る画像認識装置及び方法を説明する。
【００２２】
上述したロボット１は、図１に例示する顔認識装置を有しており、この顔認識装置は、カメラ１７と、カメラ移動部３１と、人体正面方向検出部３２と、移動制御部３３と、顔認識処理部３４とを有している。また、人体正面方向検出部３２は、データベース３５と、人体シルエット抽出部３６と、マッチング処理部３７と、人体正面方向推定部３８とで構成されている。
【００２３】
カメラ１７はロボット１の頭部１２に搭載されている。カメラ移動部３１は、カメラ１７の位置または方位の少なくとも一方を移動させる手段であり、ロボット１の胴部１４を走行・操舵する走行用車輪１６及び頭部１２を回動させる機構がこれに相当する。
【００２４】
人体正面方向検出部３２はカメラ１７で取得した画像データから人体の正面方向を検出する手段であり、そのうち、
（１）　データベース３５には、３次元の人体モデルから回転角が異なる複数の２次元射影画像シルエットを予め作成し、これを格納している。また、データベース３５には、回転角が同じでも姿勢が異なる２次元射影画像シルエットが格納されている。
（２）　人体シルエット抽出部３６は、カメラ１７で取得した画像データから人体のシルエットを抽出する手段であり、背景画像との差分により、または、エッジ検出により人体のシルエットを抽出するようにしている。
（３）　マッチング処理部３７は、人体シルエット抽出部３６で抽出した人体のシルエットとデータベース３５に格納されている複数の２次元射影画像シルエットとのマッチング処理を行う手段である。
（４）　人体正面方向推定部３８は、マッチング処理部３７の処理結果から、抽出した人体シルエットに最もマッチングする２次元射影画像シルエットが判るので、この最もマッチングする２次元射影画像シルエットの回転角から、人体の正面方向を推定する手段である。つまり、人体の正面方向が検出できる。
【００２５】
移動制御部３３は、人体正面方向検出部３２が検出した人体正面方向にカメラ１７が向くようにカメラ移動部３１を制御する手段である。
【００２６】
顔認識処理部３４は、カメラ１７が連続して取得した画像データから顔を認識する処理を行うものである。顔認識処理は、画像データから顔の特徴部分である目や鼻、口、耳等を抽出してそれら個々の大きさ、形状を用いたり、これらの位置関係を用いたり、あるいは、顔各部の色を調べたりするなど、種々の手法により行うことができる。
【００２７】
次に、図２を参照して、顔認識手順を説明する。
（１）　まず、人体正面方向検出部３２により、カメラ１７で取得した画像データから人体の正面方向を検出する（ステップＳ１）。
（２）　カメラ１７が検出した人体正面方向に向くように、移動制御部３３によりカメラ１７の位置及び／または方位を移動する（ステップＳ２）．
（３）　カメラ１７が人体正面方向に向いた状態で、カメラ１７で画像データを連続して取得し、これらの画像データから顔認識処理部３４により顔の認識処理を行う（ステップＳ３）。
【００２８】
このように、カメラ１７が人体正面方向に向いた状態で取得した画像データから顔の認識処理を行うことにより、カメラ１７を迅速に移動できない移動ロボットでも、人が頭を回動しても、正面の顔画像を得る確率が高くなる。つまり、顔認識の精度が向上する。
【００２９】
上記実施例では人体正面方向の検出を、画像データから抽出した人体シルエットと予め用意した複数の２次元射影画像シルエットとのマッチングをとることで行っているが、人が着ている服装について、柄の方向等による特徴を定義し、学習することで、人体正面方向を検出することができる。
【００３０】
この服装に着目した人体正面方向検出は、顔認識対象の人間がある程度限定されている場合、例えば、一般家庭内でユーザの生活を補助・支援・介護するために用いられる移動ロボットの場合に、特に効果的である。
【００３１】
上記実施例ではロボットでの使用について顔認識装置を説明したが、顔認識装置はこれに限らず任意に使用することができる。
【００３２】
【発明の効果】
第１発明は、カメラで取得した画像データから顔を認識する顔認識装置において、カメラの位置または方位の少なくとも一方を移動させるカメラ移動手段と、画像データから人体の正面方向を検出する人体正面方向検出手段と、この人体正面方向検出手段が検出した人体正面方向にカメラが向くようにカメラ移動手段を制御する移動制御手段と、カメラが連続して取得した画像データから顔を認識する顔認識処理手段とを備えるので、カメラを迅速に移動できない場合も、人が頭を回動しても、正面の顔画像を得る確率が高くなる。従って、顔認識の精度が向上する。
【００３３】
第２発明は、第１発明において、人体正面方向検出手段として、３次元の人体モデルから作成された、回転角が異なる複数の２次元射影画像シルエットを格納するデータベースと、前記画像データから人体のシルエットを抽出する人体シルエット抽出手段と、人体シルエット抽出手段で抽出された人体のシルエットと前記データベースに格納された複数の２次元射影画像シルエットとのマッチング処理を行うマッチング処理手段と、マッチング処理手段の処理結果から得られる前記抽出された人体シルエットに最もマッチングする２次元射影画像シルエットの回転角から、人体の正面方向を推定する人体正面方向推定手段とを備えるので、人体正面方向を正確に検出することができる。
【００３４】
第３発明は、第２発明において、人体シルエット抽出手段は、画像データから背景画像との差分により、または、エッジ検出により人体のシルエットを抽出するので、人体のシルエットを正確に抽出することができる。
【００３５】
第４発明は、第２発明において、データベースには、回転角が同じで姿勢が異なる２次元射影画像シルエットが格納されているので、顔認識対象の人の姿勢が一定でなくても、人体正面方向を正確に検出することができる。
【００３６】
第５発明は、カメラで取得した画像データから顔を認識する顔認識方法において、画像データから人体の正面方向を検出し、検出した人体正面方向に向くように前記カメラを移動し、この状態で連続して画像データを取得し、これらの画像データから顔を認識するカメラを迅速に移動できない場合も、人が頭を回動しても、正面の顔画像を得る確率が高くなる。従って、顔認識の精度が向上する。
【図面の簡単な説明】
【図１】本発明の実施例に係る顔認識装置の構成を示す図。
【図２】顔認識手順の例を示す図。
【図３】ロボットの一例を示す図。
【符号の説明】
１　ロボット
１２　頭部
１４　胴部
１６　走行用車輪
１７　カメラ
３１　カメラ移動部
３２　人体正面方向検出部
３３　移動制御部
３４　顔認識処理部
３５　データベース
３６　人体シルエット抽出部
３７　マッチング処理部
３８　人体正面方向推定部
【図１】
2004046399.tif 000003
【図２】
2004046399.tif 000004
【図３】
2004046399.tif 000005