(57)【要約】【課題】任意のタイミングで顔登録処理が可能であり被顔登録者が意識しなくても顔登録が可能なとなる。【解決手段】顔登録装置１０は、各種認識結果から顔登録指令を出力する顔登録指令部１３と、入力画像から顔を検出する顔検出部１４と、顔検出部１４からの入力顔画像と、登録顔データベース１５に登録された登録顔画像との類似性の評価により入力顔画像を識別し、識別結果Ｄ１を顔登録指令部１３に出力する顔識別部１６と、顔検出部１４からの入力顔画像がその時刻情報と共に蓄積される顔画像蓄積部１７と、顔登録指令部１３の登録指令に従って顔画像蓄積部１７に蓄積されている顔画像を登録する顔登録部１８とを有する。顔登録指令部１３は、例えば、入力顔画像が登録顔画像のいずれかと一致した識別結果が得られ、登録顔画像の本人の確認が得られた場合、確認前後の時刻を登録時刻とし、この登録時刻の間に入力された入力顔画像を登録顔画像として登録する。【選択図】  図１
2004302645.tif 000002
【特許請求の範囲】
【請求項１】
１以上の顔画像を登録可能な登録顔データベースと、
入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、
上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、
上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、
上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、
上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、
上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記顔登録顔データベースに登録する
ことを特徴とする顔登録装置。
【請求項２】
上記顔登録指示手段は、音声及び／又は画像認識結果に基づき上記登録時刻を指定する
ことを特徴とする請求項１記載の顔登録装置。
【請求項３】
上記入力顔画像が上記登録顔画像のいずれかと一致した場合、上記顔登録手段は、上記登録指示に従って上記一致した登録顔画像を当該入力顔画像により更新する
ことを特徴とする請求項１記載の顔登録装置。
【請求項４】
上記顔登録指示手段は、上記入力顔画像が登録顔画像のいずれかと一致した場合、上記入力顔画像が上記一致した登録顔画像の本人であるか否かを判定し、該判定結果に基づき登録指示する
ことを特徴とする請求項３記載の顔登録装置。
【請求項５】
上記顔登録指示手段は、上記入力顔画像が上記一致した登録顔画像の本人であるか否かの判定を開始する時刻を第１の時刻とし、上記判定が終了する時刻を第２の時刻としたとき、該第１の時刻乃至第２の時刻を上記登録時刻とし、
上記顔登録手段は、上記第１の時刻乃至第２の時刻の間に蓄積された入力顔画像を読み出し上記登録顔データベースを更新する
ことを特徴とする請求項４記載の顔登録装置。
【請求項６】
音声出力手段を有し、
上記顔登録指示手段は、音声により上記入力顔画像が上記一致した登録顔画像の本人であるか否かを判定する
ことを特徴とする請求項４記載の顔登録装置。
【請求項７】
上記顔登録指示手段は、上記本人でないと判定された場合、上記入力顔画像を新規の登録顔画像として登録するよう指示する
ことを特徴とする請求項４記載の顔登録装置。
【請求項８】
上記顔登録指示手段は、上記本人でないと判定された場合、登録対象となる人物の名前を入力させ、この入力結果に基づき上記入力顔画像を登録するよう指示する
ことを特徴とする請求項７記載の顔登録装置。
【請求項９】
上記入力顔画像が登録顔画像のいずれにも一致しない場合、上記顔登録指示手段は、登録対象となる人物の名前を入力させ、この入力結果に基づき上記入力顔画像を登録するよう指示する
ことを特徴とする請求項１記載の顔登録装置。
【請求項１０】
上記顔登録指示手段は、上記音声及び／又は画像認識結果が一定時間得られない場合、上記登録を指示しない
ことを特徴とする請求項２記載の顔登録装置。
【請求項１１】
入力顔画像をその入力時刻の情報と共に画像蓄積手段に一時的に保存する画像蓄積工程と、
１以上の顔画像を登録可能な登録顔データベースに登録された登録顔画像のいずれかと上記入力顔画像とが一致するか否かを識別する顔識別工程と、
上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示工程と、
上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録工程とを有し、
上記顔登録指示工程では、上記顔識別結果に基づき登録時刻が決定され、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示され、
上記顔登録工程では、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像が読出され上記登録顔データベースに登録される
ことを特徴とする顔登録方法。
【請求項１２】
上記顔登録指示工程では、音声及び／又は画像認識結果に基づき上記登録時刻が指定される
ことを特徴とする請求項１１記載の顔登録方法。
【請求項１３】
上記入力顔画像が上記登録顔画像のいずれかと一致した場合、上記顔登録工程では、上記登録指示に従って上記一致した登録顔画像が当該入力顔画像により更新される
ことを特徴とする請求項１１記載の顔登録方法。
【請求項１４】
上記顔登録指示工程では、上記入力顔画像が登録顔画像のいずれかと一致した場合、上記入力顔画像が上記一致した登録顔画像の本人であるか否かが判定され、該判定結果に基づき登録指示される
ことを特徴とする請求項１３記載の顔登録方法。
【請求項１５】
上記顔登録指示工程では、上記入力顔画像が上記一致した登録顔画像の本人であるか否かの判定を開始する時刻を第１の時刻とし、上記判定が終了する時刻を第２の時刻としたとき、該第１の時刻乃至第２の時刻が上記登録時刻とされ、
上記顔登録工程では、上記第１の時刻乃至第２の時刻の間に蓄積された入力顔画像を読み出し上記登録顔データベースが更新される
ことを特徴とする請求項１４記載の顔登録方法。
【請求項１６】
上記顔登録工程では、音声により上記入力顔画像が上記一致した登録顔画像の本人であるか否かが判定される
ことを特徴とする請求項１４記載の顔登録方法。
【請求項１７】
上記顔登録指示工程では、上記本人でないと判定された場合、上記入力顔画像を新規の登録顔画像として登録するよう指示される
ことを特徴とする請求項１４記載の顔登録方法。
【請求項１８】
上記顔登録指示工程では、上記本人でないと判定された場合、登録対象となる人物の名前を入力させ、この入力結果に基づき上記入力顔画像を登録するよう指示される
ことを特徴とする請求項１７記載の顔登録方法。
【請求項１９】
上記入力顔画像が登録顔画像のいずれにも一致しない場合、上記顔登録指示工程では、登録対象となる人物の名前を入力させ、この入力結果に基づき上記入力顔画像を登録するよう指示される
ことを特徴とする請求項１１記載の顔登録方法。
【請求項２０】
上記顔登録指示工程では、上記音声及び／又は画像認識結果が一定時間得られない場合、上記登録が指示されない
ことを特徴とする請求項１１記載の顔登録方法。
【請求項２１】
所定の動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
入力顔画像をその入力時刻の情報と共に画像蓄積手段に一時的に保存する画像蓄積工程と、
１以上の顔画像を登録可能な登録顔データベースに登録された登録顔画像のいずれかと上記入力顔画像とが一致するか否かを識別する顔識別工程と、
上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示工程と、
上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録工程とを有し、
上記顔登録指示工程では、上記顔識別結果に基づき登録時刻を決定され、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示され、
上記顔登録工程では、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像が読出され上記登録顔データベースに登録されることを特徴とするプログラムが記録された記録媒体。
【請求項２２】
自律的な動作が可能なロボット装置において、
撮像手段と、
撮像手段により撮像された入力画像から顔画像を入力顔画像として検出する顔検出手段と、
上記入力顔画像と共に当該入力顔画像が検出された入力画像の入力時刻の情報が供給される顔登録装置とを備え、
上記顔登録装置は、
１以上の顔画像を登録可能な登録顔データベースと、
上記入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、
上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいすれかと一致するか否かを識別する顔識別手段と、
上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、
上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、
上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、
上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録する
ことを特徴とするロボット装置。
【請求項２３】
上記顔登録指示手段は、音声及び／又は画像認識結果に基づき上記登録時刻を指定する
ことを特徴とする請求項２２記載のロボット装置。
【請求項２４】
上記入力顔画像が上記登録顔画像のいずれかと一致した場合、上記顔登録手段は、上記登録指示に従って上記一致した登録顔画像を当該入力顔画像により更新する
ことを特徴とする請求項２２記載のロボット装置。
【請求項２５】
上記顔登録指示手段は、上記入力顔画像が登録顔画像のいずれかと一致した場合、上記入力顔画像と一致した登録顔画像の本人であるか否かを判定し、該判定結果に基づき登録指示する
ことを特徴とする請求項２４記載のロボット装置。
【請求項２６】
上記顔登録指示手段は、上記入力顔画像が上記一致した登録顔画像の本人であるか否かの判定を開始する時刻を第１の時刻とし、上記判定が終了する時刻を第２の時刻としたとき、該第１の時刻乃至第２の時刻を上記登録時刻とし、
上記顔登録手段は、上記第１の時刻乃至第２の時刻の間に蓄積された入力顔画像を読み出し上記登録顔データベースを更新する
ことを特徴とする請求項２５記載のロボット装置。
【請求項２７】
外部の状況を認識する画像認識手段と、
音声を認識する音声認識手段とを有し、
上記顔登録指示手段には、音声及び／又は画像認識結果に基づき上記登録時刻を指定する
ことを特徴とする請求項２２記載のロボット装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像から顔画像を検出して登録する顔登録装置、顔登録方法、記録媒体、及びロボット装置に関する。
【０００２】
【従来の技術】
従来から提案されている顔識別器に用いられているアルゴリズムの代表的なものとしては、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ：ＰＣＡ）、線形判別分析（Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ：ＬＤＡ）、ニューラル・ネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＮＮ）等を応用したものがある。これらを含む一般的な顔識別アルゴリズムとしては、入力された顔画像（入力顔画像）に最も類似するものを登録されている顔データ（登録顔画像）の中から選択するものがある。
【０００３】
例えば下記特許文献１には、画像を取得する映像取得手段と、取得された画像情報から人の頭部を検出する頭部検出追跡手段と、検出された頭部の部分画像中から正面顔画像を取得する正面顔位置合わせ手段と、正面顔画像を特徴量に変換する顔特徴抽出手段と、識別辞書を用いて特徴量から人物を識別する顔識別手段と、識別辞書を保存する識別辞書記憶手段とからなる人物識別装置が開示されている。そして、この顔識別手段は、線形判別辞書と特徴データから、登録されている人物の類似度を算出し、類似度が最大値のものを選択し、更にこの最大類似度を閾値処理して他人かどうかを判定する。
【０００４】
【特許文献１】
特開２０００−２２２５７６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の顔認識システムにおいて顔の登録の開始／終了を指示する際には、被登録者が登録開始／終了操作を行ったり、システムがその旨を通知したりという手続きが必要であり、登録中に、被登録者に対し、非登録者の顔を画像入力装置に対して決められた方向に向けてもらう等の作業が必要になる。また、人間の顔は月日が経つと変化するため、識別率を保ち続けるためには登録データを更新する必要があるが、従来の方法ではこの更新作業の際にも新規登録時と同様の作業を行う必要がある。これらの操作はユーザにとって苦痛であり、自律動作が可能なロボット装置において自然なインターフェイスであるとはいえないという問題点がある。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、任意のタイミングで顔登録処理が可能であり被顔登録者が意識しなくても顔登録が可能な顔登録装置、その方法、記録媒体及びロボット装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録することを特徴とする。
【０００８】
本発明においては、入力顔画像と共にその入力時刻を示す情報が画像蓄積手段に蓄積され、顔登録指示手段が登録時刻を指定し、登録時刻と入力時刻が一致する入力顔画像を登録するため、任意のタイミングで入力顔画像を登録することができる。
【０００９】
また、上記顔登録指示手段には、音声及び／又は画像認識結果が供給され、該音声及び／又は画像認識結果に基づき上記登録時刻を指定することができ、音声や画像認識結果により顔識別結果が正しいと確認されタイミングを登録時刻とすることができる。
【００１０】
更に、上記顔登録指示手段は、上記入力顔画像が登録顔画像のいずれかと一致した場合、上記入力顔画像が上記一致した登録顔画像の本人であるか否かを判定し、該判定結果に基づき登録指示することができ、例えば、上記入力顔画像が上記一致した登録顔画像の本人であるか否かの判定を開始する時刻を第１の時刻とし、上記判定が終了する時刻を第２の時刻とし、該第１の時刻乃至第２の時刻を上記登録時刻とし、上記顔登録手段は、上記第１の時刻乃至第２の時刻の間に蓄積された入力顔画像を読み出し上記登録顔データベースを更新することができ、複数枚の入力顔画像を登録顔画像とすることができる。
【００１１】
更にまた、上記顔登録指示手段は、上記音声及び／又は認識結果が一定時間得られない場合、上記登録を指示しないようにすることができ、登録を止めて次に供給される上記顔識別結果に基づき入力顔画像を登録するよう指示することができ、間違えて関係のない人物の顔画像が入力されても登録することがない。
【００１２】
本発明に係る顔登録方法は、入力顔画像をその入力時刻の情報と共に画像蓄積手段に一時的に保存する画像蓄積工程と、１以上の顔画像を登録可能な登録顔データベースに登録された登録顔画像のいずれかと上記入力顔画像とが一致するか否かを識別する顔識別工程と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示工程とを有し、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録工程と、上記顔登録指示工程では、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示され、上記顔登録工程では、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録されることを特徴とする。
【００１３】
また、本発明に係る記録媒体は、上述した顔登録処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なものである。
【００１４】
本発明に係るロボット装置は、自律的な動作が可能なロボット装置において、撮像手段と、撮像手段により撮像された入力画像から顔画像を入力顔画像として検出する顔検出手段と、上記入力顔画像と共に当該入力顔画像が検出された入力画像の入力時刻の情報が供給される顔登録装置とを備え、上記顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、上記入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録することを特徴とする。
【００１５】
本発明においては、入力顔画像と共にその入力時刻の情報を蓄積しておき、任意のタイミングを登録時刻として指定し、この登録時刻に一致する入力時刻の顔画像により顔登録処理を行う顔登録装置を備えるため、過去に入力された入力顔画像を使用してこれを登録することができ、被登録者に顔登録の開始及び終了を指示することなく、例えば被登録者とのインタラクションの最中に極めて自然に顔登録することができる。
【００１６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、例えばエンターテーメント用の人間型のロボット装置等に搭載されるのに好適な顔認識装置に適用したものである。この顔認識装置は、入力された顔画像を蓄積するバッファを有し、顔学習のタイミングを指示することにより、過去に入力された顔画像を時刻指定して、任意のタイミングで顔の登録・更新等の学習が可能になり、被登録者が登録されていることを意識せずに自律的な顔画像の登録を行えるもので、自律動作が可能なロボット装置に搭載されるのに好適であるが、ここでは先ず、顔登録装置について説明し、その後、自律型のロボット装置の構成について説明する。
【００１７】
（１）顔登録装置
図１は、本発明の実施の形態における顔登録装置を示すブロック図である、図１に示すように、顔登録装置１０には、音声入力装置及び各種センサ入力装置２２から入力される音声及び各種センサ情報から音声及び各種センサ認識器１１を介して各種認識結果と、画像入力装置２１から入力される画像から画像認識器１２を介して画像認識結果とが供給される。ここで、画像・音声及びその他のセンサデータには、必ずそれらの情報を獲得した入力時刻の情報が例えばフレームナンバーとして付加されている。
【００１８】
この顔登録装置１０は、各種認識結果から顔登録指令を出力する顔登録指令部１３と、入力画像から顔領域を検出して抽出する顔検出部１４と、顔検出部１４から供給される顔画像（入力顔画像）と、登録顔データベース１５に登録された登録顔画像との類似性の評価により入力顔画像を識別し、識別結果を顔登録指令部（顔登録指示手段）１３に出力する顔識別部１６と、顔検出部１４から検出された入力顔画像がその入力時刻の情報と共に供給され蓄積される顔画像蓄積部１７と、顔登録指令部１３の登録指令に従って顔画像蓄積部１７に蓄積されている入力顔画像を登録する顔登録部１８とを有し、顔登録指令部１３は、例えば、入力顔画像が登録顔画像のいずれかと一致した識別結果が得られ、登録顔画像の本人の確認が得られた場合、確認前後の時刻を登録時刻とし、顔登録部１８は、この登録時刻の間に入力された入力顔画像を画像蓄積部１７から読み出し登録顔画像として登録するものである。
【００１９】
顔検出部１４は、画像入力装置２１から入力画像及びその入力時刻の情報であるフレームナンバーが供給され、入力画像の中から顔が含まれている領域を検出して切り出し（抽出し）、切り出された画像を顔識別部１２及び顔画像蓄積部１３に送るモジュールである。このような顔検出のアルゴリズムには、例えばＰＣＡやサポートベクタマシン（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ：ＳＶＭ）、Ｂｏｏｓｔｉｎｇアルゴリズム等を使用することができ、このようなアルゴリズムを用いた公知の方法により顔検出処理を行うことができる。切り出された顔画像は、それが切り出された入力画像の時刻情報を示すフレームナンバーと共に顔画像蓄積部１３に蓄積される。また、この顔画像は顔識別部１６にも供給される。
【００２０】
顔識別部１６は、顔検出部１１から送られてくる入力顔画像に対して、登録顔データベース１４に登録されている複数の登録顔データを参照して登録されている顔データ（登録顔画像）から最も類似している登録顔画像を識別するモジュールである。即ち、登録顔データベース１５に登録されている登録顔画像を読み込み、登録顔画像と入力顔画像との類似性を評価し、登録顔画像のいずれかと入力顔画像とが一致するか否かを識別することで入力顔画像が誰であるかを推定する。顔識別部１６は、この識別結果として、例えば登録顔画像を識別する識別情報等を出力し、顔登録指令部１３に供給する。
【００２１】
顔登録指令部１３は、顔識別部１６からの顔識別結果が供給されるとこれに基づき顔登録部１３に顔登録を実行するよう指示する。即ち、顔識別部１６から識別結果が入力され、この識別結果と、音声・画像及びその他のセンサ情報の認識結果から登録すべき顔情報の存在を推定し、顔登録指示のために、そのフレームナンバー及び顔識別情報ＦａｃｅＩＤを顔登録部１８に送るモジュールである。
【００２２】
顔識別部１６が出力する識別結果としては、入力顔画像が登録顔データベース１５にはない未登録顔である場合と、入力顔画像が登録顔データベース１５に登録済みである既登録顔である場合とがあり、既登録顔である場合は登録顔画像の識別情報が出力される。顔登録指令部１３は、登録顔画像の識別情報が供給された場合、各種センサ情報等から登録時刻を決定し、この登録時刻を示すフレームナンバーと一致するフレームナンバーの入力顔画像を登録するよう指示する。登録時刻は、例えば、後述するように音声等にて登録顔画像の本人であるか否かを確認し、確認前乃至確認終了までの時間を登録時刻とすることができる。また、入力顔画像が未登録である場合には、登録対象となる人物の名前等の情報を入力させ、未登録の入力顔画像が誰であるかの情報が得られるまでの時間を登録時刻とすることができる。
【００２３】
顔登録部１５は、顔登録指令部１６から入力される登録フレームナンバー及び顔ＩＤ情報により、指定されたフレームナンバーの入力顔画像を顔画像蓄積部１３から取得し、指定された顔ＩＤの顔データとして登録顔データベース１４に登録するモジュールである。顔識別・顔登録部に用いられるアルゴリズムには、ＰＣＡやＬＤＡやＮＮ等が用いられることが多い。
【００２４】
登録顔データベース１５は、顔登録部１８により登録された登録顔画像を図２に示すようなフォーマットで保存しているデータベースである。即ち、登録顔データベース１５には、各登録顔画像を識別するための識別情報（ＦａｃｅＩＤ）、その登録顔画像データ及び登録顔画像の名前等の付加情報が保存されている。図２に示す登録顔データベース１５には、父、母、兄、弟、妹の５人分の登録顔画像が登録されており、これらの登録顔画像に対して夫々顔識別情報ＦａｃｅＩＤ及び名前（Ｎａｍｅ）が対応付けられて保存されている。なお、付加情報としては、名前以外のその他の個人を示す情報等を保存しておいてもよく、それら付加情報を顔識別処理の際や後述する識別顔の確認の際に使用してもよい。
【００２５】
顔画像蓄積部１７は、顔検出部１１から入力された入力顔画像及びこれを切り出した入力画像のフレームナンバーを対にして一定時間分を蓄積しておくバッファである。バッファ容量を超えて顔画像データが入力される場合には、最も古い時刻情報の顔画像データから消去される。また、顔登録部１７からフレームナンバーが入力されると、このフレームナンバーに対応する入力顔画像を顔登録部１８に出力する。このように顔画像蓄積部１７において、入力時刻の情報と共に顔画像が蓄積されるため、顔登録指令部１３により指示された登録時刻と入力時刻とが一致すればよく、過去に入力された入力顔画像を登録に使用することができ、これにより、登録顔画像を更新したり、新規に登録顔画像として登録したりすることができる。
【００２６】
次に、本実施の形態の顔登録方法について説明する。上述の顔登録指令部１３における顔登録指示のアルゴリズムには様々なものが考えられるが、一例として顔識別部１６と音声認識器１１をベースにしたアルゴリズムが考えられる。図３は、顔登録指示部１３における登録指示処理方法を示すフローチャートである。
【００２７】
顔登録装置１０は、先ず、画像入力装置２１からの入力画像から顔検出部１４が顔領域を検出し、入力顔画像を抽出する。この際、顔検出部１４には、入力画像と共にその時刻情報（フレームナンバー）も供給され、顔検出部１４は、顔が検出されるとその顔画像（入力顔画像）とそれに対応するフレームナンバーを顔識別部１６及び顔画像蓄積部１７へ送る。顔識別部１６は、登録顔データベース１５に記憶されている登録顔画像を読み出し、入力顔画像との類似性を評価して入力顔画像が誰であるか否かを識別する。
【００２８】
顔識別部１６は、その識別結果を出力するが、ここで、入力顔画像が登録顔データベース１５に登録されている顔（既登録顔）である場合と、登録されていない顔（未登録顔）である場合とで処理が異なる。先ず、図３に示すように、入力された顔画像（入力顔画像）が既登録顔の場合には、顔登録指令部１３へ顔識別部１６からその入力顔画像と一致した登録顔画像の識別情報ＦａｃｅＩＤが識別結果として出力される。登録指令部１３は、後述する音声出力装置２５３等を使用し、音声合成して「○○さんですか？」と確認を促す発話を行う（ステップＳ２）。その際、この時点での画像入力装置２１から入力される入力画像のフレームナンバーＦ１を記憶しておく（ステップＳ３）。音声認識器１１等により、認識対象の相手が「はい。そうです」という肯定的な返答を行ったと認識できた場合（ステップＳ４、Ｙｅｓ）には、その時点のフレームナンバーＦ２を保存し（ステップＳ５）、フレームナンバーＦ１からＦ２までの間で顔検出部１４が顔を検出しているフレームナンバー群を認識結果とおりの顔識別情報ＦａｃｅＩＤと共に登録するよう顔登録部１８に指令して追加登録が行われる（ステップＳ６）。この追加登録は、既登録顔を今回新たに識別できた新しい入力顔画像に置き換えたり、既登録顔を入力顔画像を使用して更新したりする処理である。
【００２９】
顔登録部１８は、入力顔画像のフレームナンバーＦ１〜Ｆ２及びＦａｃｅＩＤにより、入力顔画像を登録するよう指示されると、このフレームナンバーＦ１〜Ｆ２を画像蓄積部１７に供給し、画像蓄積部１７はこのフレームナンバーＦ１〜Ｆ２に対応する顔画像（入力顔画像）を顔登部１８に出力する。顔登録部１８はこの入力顔画像を顔識別情報ＦａｃｅＩＤと共に登録顔データベース１５に送り登録を完了する。ここで、顔登録部１８は、入力顔画像及び顔識別情報ＦａｃｅＩＤだけでなく、入力顔画像の名前等の個人情報も一緒に登録顔データベース１５に送り、記憶するよう指示する。
【００３０】
一方、ステップＳ４にて、音声確認の結果、入力顔画像の識別が失敗であったことが確認できた場合、即ち、識別結果に基づき合成された「〇〇さんですか？」という質問の答えが「違います」等の否定の返事だった場合、例えば、音声出力装置２５３から「お名前は何ですか？」等の音声を出力し、入力顔画像の人物に対して質問する（ステップＳ７）。
【００３１】
また、顔識別部１６にて入力された顔画像（入力顔画像）が未登録顔であると判断された場合（ステップＳ１、Ｎｏ）、顔登録指令部１３は、入力顔画像が誰だかわからないことを示す結果を識別結果Ｄ１として受け取る。この場合においても、ステップＳ７に進み同様に音声出力装置２５３にて音声合成され、「お名前は何ですか？」。
【００３２】
そして、その際のフレームナンバーＦ３を記憶し、その後、一定時間内に登録対象となる相手の名前を示す音声認識結果が得られたか否かが判断され（ステップＳ９）、登録対象となる相手が名前を名乗り、それが音声認識器１１により認識された場合、その時点のフレームナンバーＦ４を保存し（ステップＳ１０）、そのフレームナンバーと共に音声認識した相手の名前、新規に発行した顔識別情報ＦａｃｅＩＤを顔登録部１５に供給すると共に、顔登録するよう指示する（ステップＳ１１）。
【００３３】
一方、ステップＳ９にて一定時間経過しても音声入力がないような場合、登録処理を中断する。そうして、新たな入力顔画像が検出され、顔識別結果が得られた場合、ステップＳ１からの処理を繰り返す。
【００３４】
また、ステップＳ１１にて、フレームナンバーＦ３〜Ｆ４、新規登録顔画像の顔識別情報ＦａｃｅＩＤ、名前等の情報が供給され登録処理が指示された顔登録部１８は、フレームナンバーＦ３〜Ｆ４において、顔検出部１４が顔検出している登録顔画像群を顔登録部１８に出力する。顔登録部１８は、例えばこれらの複数の登録顔画像全部、又はこれら複数の登録顔画像から得られる平均顔等を新規登録顔画像とし、顔登録指令部１３から送られてきた相手の名前、新規に発行した顔識別情報ＦａｃｅＩＤを登録顔データベース１５に登録する。
【００３５】
このようなアルゴリズムを用いることにより、相手の人間に顔の登録操作を意識的に行わせる必要がなく、自然な対話中に顔の新規登録処理又は追加登録処理が完了する。また、従来の顔登録システムでは登録中に被登録者が検出できなくなってしまうとシステムが正常に動作しないものが多いが、本システムでは対話の途中に相手がいなくなって顔検出に失敗してもシステムはまだ登録処理を開始していないためシステムは破綻せず終了することができる。
【００３６】
即ち、対話等の自然なインタラクションを行っている間に、顔の新規登録を行うことが可能なであるため、被顔登録者に苦痛を与えず、対話の途中に被登録者がいなくなっても登録システムが破綻せずに正常に登録処理を中断することが可能なシステムを構築することができる。
【００３７】
また、登録処理は、顔識別結果に拘わらず、即ち、入力顔画像が未登録顔でも既登録顔でも、識別結果が得られた時点の開始時刻情報を記憶し、誰であるかが確認された時点の終了時刻情報を記憶し、その後、登録処理が開始されるため、例えば、周囲を歩いているような人物の顔を偶々検出してしまったような場合において、間違って新規顔として顔登録するようなことがなく、常に確実に新規顔登録又は既登録顔更新処理を行うことができる。
【００３８】
（２）ロボット装置の構成
次に、このような顔識別装置を搭載した本実施の形態におけるロボット装置について説明する。本ロボット装置は、上述したように、顔識別装置を搭載すると共に、センサ入力等の外部環境及び自身の内部状態に応じて自立的に動作が可能な人間型のロボット装置である。この人間型のロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、内部状態（怒り、悲しみ、喜び、楽しみ等）に応じて自律的に行動できるほか、人間が行う基本的な動作を表出できるエンターテインメントロボットである。
【００３９】
図４は、本実施の形態におけるロボット装置の概観を示す斜視図である。図４に示すように、ロボット装置４は、体幹部ユニット２の所定の位置に頭部ユニット３が連結されると共に、左右２つの腕部ユニット４Ｒ／Ｌと、左右２つの脚部ユニット５Ｒ／Ｌが連結されて構成されている（但し、Ｒ及びＬの各々は、右及び左の各々を示す接尾辞である。以下において同じ。）。
【００４０】
このロボット装置１が具備する関節自由度構成を図５に模式的に示す。頭部ユニット３を支持する首関節は、首関節ヨー軸１０１と、首関節ピッチ軸１０２と、首関節ロール軸１０３という３自由度を有している。
【００４１】
また、上肢を構成する各々の腕部ユニット４Ｒ／Ｌは、肩関節ピッチ軸１０７と、肩関節ロール軸１０８と、上腕ヨー軸１０９と、肘関節ピッチ軸１１０と、前腕ヨー軸１１１と、手首関節ピッチ軸１１２と、手首関節ロール輪１１３と、手部１１４とで構成される。手部１１４は、実際には、複数本の指を含む多関節・多自由度構造体である。ただし、手部１１４の動作は、ロボット装置１の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部は７自由度を有するとする。
【００４２】
また、体幹部ユニット２は、体幹ピッチ軸１０４と、体幹ロール軸１０５と、体幹ヨー軸１０６という３自由度を有する。
【００４３】
また、下肢を構成する各々の脚部ユニット５Ｒ／Ｌは、股関節ヨー軸１１５と、股関節ピッチ軸１１６と、股関節ロール軸１１７と、膝関節ピッチ軸１１８と、足首関節ピッチ軸１１９と、足首関節ロール軸１２０と、足部１２１とで構成される。本明細書中では、股関節ピッチ軸１１６と股関節ロール軸１１７の交点は、ロボット装置１の股関節位置を定義する。人体の足部１２１は、実際には多関節・多自由度の足底を含んだ構造体であるが、ロボット装置１の足底は、ゼロ自由度とする。したがって、各脚部は、６自由度で構成される。
【００４４】
以上を総括すれば、ロボット装置１全体としては、合計で３＋７×２＋３＋６×２＝３２自由度を有することになる。ただし、エンターテインメント向けのロボット装置１が必ずしも３２自由度に限定されるわけではない。設計・制作上の制約条件や要求仕様等に応じて、自由度すなわち関節数を適宜増減することができることはいうまでもない。
【００４５】
上述したようなロボット装置１がもつ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、２足歩行という不安定構造体に対して姿勢制御を行うこと等の要請から、アクチュエータは小型且つ軽量であることが好ましい。
【００４６】
なお、以下では、説明の便宜上、足部１２１の説明において、足部１２１の裏面の路面（床面）に当接する部分を含んで構成される面をＸ−Ｙ平面とし、該Ｘ−Ｙ平面内において、ロボット装置の前後方向をＸ軸とし、ロボット装置の左右方向をＹ軸とし、これらに直交する方向をＺ軸として説明する。
【００４７】
このようなロボット装置は、ロボット装置全体の動作を制御する制御システムを例えば体幹部ユニット２等に備える。図６は、ロボット装置１の制御システム構成を示す模式図である。図６に示すように、制御システムは、ユーザ入力等に動的に反応して情緒判断や感情表現を司る思考制御モジュール２００と、アクチュエータ３５０の駆動等ロボット装置１の全身協調運動を制御する運動制御モジュール３００とで構成される。
【００４８】
思考制御モジュール２００は、情緒判断や感情表現に関する演算処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１１や、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１３及び外部記憶装置（ハード・ディスク・ドライブ等）２１４等で構成され、モジュール内で自己完結した処理を行うことができる、独立駆動型の情報処理装置である。
【００４９】
この思考制御モジュール２００は、画像入力装置２５１から入力される画像データや音声入力装置２５２から入力される音声データ等、外界からの刺激等に従って、上述の顔登録処理等、識別結果に基づく各処理を行い、ロボット装置１の現在の感情や意思を決定する。ここで、画像入力装置２５１は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラを複数備えており、また、音声入力装置２５２は、例えばマイクロホンを複数備えている。
【００５０】
また、思考制御モジュール２００は、意思決定に基づいた動作又は行動シーケンス、すなわち四肢の運動を実行するように、運動制御モジュール３００に対して指令を発行する。
【００５１】
一方の運動制御モジュール３００は、ロボット装置１の全身協調運動を制御するＣＰＵ３１１や、ＲＡＭ３１２、ＲＯＭ３１３及び外部記憶装置（ハード・ディスク・ドライブ等）３１４等で構成され、モジュール内で自己完結した処理を行うことができる独立駆動型の情報処理装置である。また、外部記憶装置３１４には、例えば、オフラインで算出された歩行パターンや目標とするＺＭＰ軌道、その他の行動計画を蓄積することができる。
【００５２】
この運動制御モジュール３００には、図５に示したロボット装置１の全身に分散するそれぞれの関節自由度を実現するアクチュエータ３５０、体幹部ユニット２の姿勢や傾斜を計測する姿勢センサ３５１、左右の足底の離床又は着床を検出する接地確認センサ３５２、３５３、足部１２１の足底１２１に設けられる後述する本実施の形態における荷重センサ、バッテリ等の電源を管理する電源制御装置３５４等の各種の装置が、バス・インターフェース（Ｉ／Ｆ）３０１経由で接続されている。ここで、姿勢センサ３５１は、例えば加速度センサとジャイロ・センサの組み合わせによって構成され、接地確認センサ３５２，３５３は、近接センサ又はマイクロ・スイッチ等で構成される。
【００５３】
思考制御モジュール２００と運動制御モジュール３００は、共通のプラットフォーム上で構築され、両者間はバス・インターフェース２０１，３０１を介して相互接続されている。
【００５４】
運動制御モジュール３００では、思考制御モジュール２００から指示された行動を体現すべく、各アクチュエータ３５０による全身協調運動を制御する。すなわち、ＣＰＵ３１１は、思考制御モジュール２００から指示された行動に応じた動作パターンを外部記憶装置３１４から取り出し、又は、内部的に動作パターンを生成する。そして、ＣＰＵ３１１は、指定された動作パターンに従って、足部運動、ＺＭＰ軌道、体幹運動、上肢運動、腰部水平位置及び高さ等を設定するとともに、これらの設定内容に従った動作を指示する指令値を各アクチュエータ３５０に転送する。
【００５５】
また、ＣＰＵ３１１は、姿勢センサ３５１の出力信号によりロボット装置１の体幹部ユニット２の姿勢や傾きを検出するとともに、各接地確認センサ３５２，３５３の出力信号により各脚部ユニット５Ｒ／Ｌが遊脚又は立脚のいずれの状態であるかを検出することによって、ロボット装置１の全身協調運動を適応的に制御することができる。更に、ＣＰＵ３１１は、ＺＭＰ位置が常にＺＭＰ安定領域の中心に向かうように、ロボット装置１の姿勢や動作を制御する。
【００５６】
また、運動制御モジュール３００は、思考制御モジュール２００において決定された意思通りの行動がどの程度発現されたか、すなわち処理の状況を、思考制御モジュール２００に返すようになっている。このようにしてロボット装置１は、制御プログラムに基づいて自己及び周囲の状況を判断し、自律的に行動することができる。
【００５７】
（３）ロボット装置の制御システムの構成
以上のようなロボット装置１は、自己及び周囲の状況や、使用者からの指示及び働きかけに応じて自律的に行動し得るようになされている。次に、このようなロボット装置の制御プログラムのソフトウェア構成について詳細に説明する。図７は、本実施の形態におけるロボット装置のソフトウェア構成を示すブロック図である。図７において、デバイス・ドライバ・レイヤ４０は、この制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット４１から構成されている。この場合、各デバイス・ドライバは、ＣＣＤカメラ等の画像入力装置２５１（図３）やタイマ等の通常のコンピュータで用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、対応するハードウェアからの割り込みを受けて処理を行う。
【００５８】
また、ロボティック・サーバ・オブジェクト４２は、デバイス・ドライバ・レイヤ４０の最下位層に位置し、例えば上述の各種センサやアクチュエータ等のハードウェアにアクセスするためのインターフェイスを提供するソフトウェア群でなるバーチャル・ロボット４３と、電源の切換えなどを管理するソフトウェア群でなるパワーマネージャ４４と、他の種々のデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ４５と、ロボット装置１の機構を管理するソフトウェア群でなるデザインド・ロボット４６とから構成されている。
【００５９】
マネージャ・オブジェクト４７は、オブジェクト・マネージャ４８及びサービス・マネージャ４９から構成されている。オブジェクト・マネージャ４８は、ロボティック・サーバ・オブジェクト４２、ミドル・ウェア・レイヤ５０、及びアプリケーション・レイヤ５１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群であり、サービス・マネージャ４９は、例えばメモリカードに格納されたコネクションファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。
【００６０】
ミドル・ウェア・レイヤ５０は、ロボティック・サーバ・オブジェクト４２の上位層に位置し、画像処理や音声処理などのこのロボット装置１の基本的な機能を提供するソフトウェア群から構成されている。また、アプリケーション・レイヤ５１は、ミドル・ウェア・レイヤ５０の上位層に位置し、当該ミドル・ウェア・レイヤ５０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット装置１の行動を決定するためのソフトウェア群から構成されている。
【００６１】
なお、ミドル・ウェア・レイヤ５０及びアプリケーション・レイヤ５１の具体なソフトウェア構成をそれぞれ図８に示す。
【００６２】
ミドル・ウェア・レイヤ５０は、図８に示すように、騒音検出用、温度検出用、明るさ検出用、音階認識用、距離検出用、姿勢検出用、接触検出用、操作入力検出用、動き検出用及び色認識用の各信号処理モジュール６０〜６９並びに入力セマンティクスコンバータモジュール７０などを有する認識系７１と、出力セマンティクスコンバータモジュール７９並びに姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、ＬＥＤ点灯用及び音再生用の各信号処理モジュール７２〜７８などを有する出力系８０とから構成されている。
【００６３】
認識系７１の各信号処理モジュール６０〜６９は、ロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３によりＤＲＡＭから読み出される各センサデータや画像データ及び音声データのうちの対応するデータを取り込み、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクスコンバータモジュール７０に与える。ここで、例えば、バーチャル・ロボット４３は、所定の通信規約によって、信号の授受或いは変換をする部分として構成されている。
【００６４】
入力セマンティクスコンバータモジュール７０は、これら各信号処理モジュール６０〜６９から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ドミソの音階が聞こえた」、「障害物を検出した」、「転倒を検出した」、「叱られた」、「誉められた」、「動く物体を検出した」又は「ボールを検出した」などの自己及び周囲の状況や、使用者からの指令及び働きかけを認識し、認識結果をアプリケーション・レイヤ５１（図７）に出力する。
【００６５】
アプリケーション・レイヤ５ｌは、図９に示すように、行動モデルライブラリ９０、行動切換モジュール９１、学習モジュール９２、感情モデル９３及び本能モデル９４の５つのモジュールから構成されている。
【００６６】
行動モデルライブラリ９０には、図１０に示すように、「バッテリ残量が少なくなった場合」、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」などの予め選択されたいくつかの条件項目にそれぞれ対応させて、それぞれ独立した行動モデル９０１〜９０ｎが設けられている。
【００６７】
そして、これら行動モデル９０１〜９０ｎは、それぞれ入力セマンティクスコンバータモジュール７０から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、必要に応じて後述する感情モデル９３に保持されている対応する情動のパラメータ値や、本能モデル９４に保持されている対応する欲求のパラメータ値を参照しながら続く行動をそれぞれ決定し、決定結果を行動切換モジュール９１に出力する。
【００６８】
なお、この具体例の場合、各行動モデル９０１〜９０ｎは、次の行動を決定する手法として、図１１に示すような１つのノード（状態）ＮＯＤＥ０〜ＮＯＤＥｎから他のどのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移するかを各ノードＮＯＤＥ０〜ＮＯＤＥｎ間を接続するアークＡＲＣ１〜ＡＲＣｎに対してそれぞれ設定された遷移確率Ｐ１〜Ｐｎに基づいて確率的に決定する有限確率オートマトンと呼ばれるアルゴリズムを用いる。
【００６９】
具体的に、各行動モデル９０１〜９０ｎは、それぞれ自己の行動モデル９０１〜９０ｎを形成するノードＮＯＤＥ０〜ＮＯＤＥｎにそれぞれ対応させて、これらノードＮＯＤＥ０〜ＮＯＤＥｎごとに図１２に示すような状態遷移表２７０を有している。
【００７０】
この状態遷移表２７０では、そのノードＮＯＤＥ０〜ＮＯＤＥｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の列に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の列における対応する行に記述されている。
【００７１】
したがって、図１２の状態遷移表２７０で表されるノードＮＯＤＥ１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果と共に与えられるそのボールの「大きさ（ＳＩＺＥ）」が「０から１０００」の範囲であることや、「障害物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与えられた場合に、当該認識結果と共に与えられるその障害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「０から１００」の範囲であることが他のノードに遷移するための条件となっている。
【００７２】
また、このノードＮＯＤＥ１００では、認識結果の入力がない場合においても、行動モデル９０１〜９０ｎが周期的に参照する感情モデル９３及び本能モデル９４にそれぞれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル９３に保持された「喜び（ＪＯＹ）」、「驚き（ＳＵＲＰＲＩＳＥ）」若しくは「悲しみ（ＳＵＤＮＥＳＳ）」のいずれかのパラメータ値が「５０から１００」の範囲であるときには他のノードに遷移することができるようになっている。
【００７３】
また、状態遷移表１００では、「他のノードヘの遷移確率」の欄における「遷移先ノード」の行にそのノードＮＯＤＥ０〜ＮＯＤＥｎから遷移できるノード名が列記されていると共に、「入力イベント名」、「データ値」及び「データの範囲」の列に記述された全ての条件が揃ったときに遷移できる他の各ノードＮＯＤＥ０〜ＮＯＤＥｎへの遷移確率が「他のノードヘの遷移確率」の欄内の対応する箇所にそれぞれ記述され、そのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移する際に出力すべき行動が「他のノードヘの遷移確率」の欄における「出力行動」の行に記述されている。なお、「他のノードヘの遷移確率」の欄における各行の確率の和は１００［％］となっている。
【００７４】
したがって、図１２の状態遷移表１００で表されるノードＮＯＤＥ１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「０から１０００」の範囲であるという認識結果が与えられた場合には、「３０［％］」の確率で「ノードＮＯＤＥ１２０（ｎｏｄｅ１２０）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力されることとなる。
【００７５】
各行動モデル９０１〜９０ｎは、それぞれこのような状態遷移表２７０として記述されたノードＮＯＤＥ０〜ＮＯＤＥｎがいくつも繋がるようにして構成されており、入力セマンティクスコンバータモジュール７０から認識結果が与えられたときなどに、対応するノードＮＯＤＥ０〜ＮＯＤＥｎの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換モジュール９１に出力するようになされている。
【００７６】
図１０に示す行動切換モジュール９１は、行動モデルライブラリ９０の各行動モデル９０１〜９０ｎからそれぞれ出力される行動のうち、予め定められた優先順位の高い行動モデル９０１〜９０ｎから出力された行動を選択し、当該行動を実行すべき旨のコマンド（以下、これを行動コマンドという。）をミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７９に送出する。なお、この実施の形態においては、図１０において下側に表記された行動モデル９０１〜９０ｎほど優先順位が高く設定されている。
【００７７】
また、行動切換モジュール９１は、行動完了後に出力セマンティクスコンバータモジュール７９から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール９２、感情モデル９３及び本能モデル９４に通知する。
【００７８】
一方、学習モジュール９２は、入力セマンティクスコンバータモジュール７０から与えられる認識結果のうち、「叱られた」や「誉められた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。そして、学習モジュール９２は、この認識結果及び行動切換モジュール９１からの通知に基づいて、「叱られた」ときにはその行動の発現確率を低下させ、「誉められた」ときにはその行動の発現確率を上昇させるように、行動モデルライブラリ９０における対応する行動モデル９０１〜９０ｎの対応する遷移確率を変更する。
【００７９】
他方、感情モデル９３は、「喜び（ＪＯＹ）」、「悲しみ（ＳＡＤＮＥＳＳ）」、「怒り（ＡＮＧＥＲ）」、「驚き（ＳＵＲＰＲＩＳＥ）」、「嫌悪（ＤＩＳＧＵＳＴ）」及び「恐れ（ＦＥＡＲ）」の合計６つの情動について、各情動ごとにその情動の強さを表すパラメータを保持している。そして、感情モデル９３は、これら各情動のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール７０から与えられる「叱られた」及び「誉められた」などの特定の認識結果と、経過時間及び行動切換モジュール９１からの通知などに基づいて周期的に更新する。
【００８０】
具体的には、感情モデル９３は、入力セマンティクスコンバータモジュール７０から与えられる認識結果と、そのときのロボット装置１の行動と、前回更新してからの経過時間などに基づいて所定の演算式により算出されるそのときのその情動の変動量を△Ｅ［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、その情動の感度を表す係数をｋｅとして、下記の式（１）によって次の周期におけるその情動のパラメータ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパラメータ値Ｅ［ｔ］と置き換えるようにしてその情動のパラメータ値を更新する。また、感情モデル７３は、これと同様にして全ての情動のパラメータ値を更新する。
【００８１】
【数１】
2004302645.tif 000003
【００８２】
なお、各認識結果や出力セマンティクスコンバータモジュール７９からの通知が各情動のパラメータ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは予め決められており、例えば「叩かれた」といった認識結果は「怒り」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与え、「撫でられた」といった認識結果は「喜び」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与えるようになっている。
【００８３】
ここで、出力セマンティクスコンバータモジュール７９からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報であり、感情モデル９３は、このような情報によっても感情を変化させる。これは、例えば、目の色等により「怒る」といった感情を表出する行動により怒りの感情レベルが下がるといったようなことである。なお、出力セマンティクスコンバータモジュール７９からの通知は、上述した学習モジュール９２にも入力されており、学習モジュール９２は、その通知に基づいて行動モデル９０１〜９０ｎの対応する遷移確率を変更する。
【００８４】
なお、行動結果のフィードバックは、行動切換モジュール９１の出力（感情が付加された行動）によりなされるものであってもよい。
【００８５】
一方、本能モデル９４は、「運動欲（ｅｘｅｒｃｉｓｅ）」、「愛情欲（ａｆｆｅｃｔｉｏｎ）」、「食欲（ａｐｐｅｔｉｔｅ）」及び「好奇心（ｃｕｒｉｏｓｉｔｙ）」の互いに独立した４つの欲求について、これら欲求ごとにその欲求の強さを表すパラメータを保持している。そして、本能モデル９４は、これらの欲求のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール７０から与えられる認識結果や、経過時間及び行動切換モジュール９１からの通知などに基づいて周期的に更新する。
【００８６】
具体的には、本能モデル９４は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクスコンバータモジュール７９からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量をΔＩ［ｋ］、現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の感度を表す係数ｋｉとして、所定周期で下記の式（２）を用いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラメータ値を更新する。また、本能モデル９４は、これと同様にして「食欲」を除く各欲求のパラメータ値を更新する。
【００８７】
【数２】
2004302645.tif 000004
【００８８】
なお、認識結果及び出力セマンティクスコンバータモジュール７９からの通知などが各欲求のパラメータ値の変動量△Ｉ［ｋ］にどの程度の影響を与えるかは予め決められており、例えば出力セマンティクスコンバータモジュール７９からの通知は、「疲れ」のパラメータ値の変動量△Ｉ［ｋ］に大きな影響を与えるようになっている。
【００８９】
なお、本実施の形態においては、各情動及び各欲求（本能）のパラメータ値がそれぞれ０から１００までの範囲で変動するように規制されており、また係数ｋｅ、ｋｉの値も各情動及び各欲求毎に個別に設定されている。
【００９０】
一方、図８に示すように、ミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７９は、上述のようにしてアプリケーション・レイヤ５１の行動切換モジュール９１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系８０の対応する信号処理モジュール７２〜７８に与える。
【００９１】
そしてこれら信号処理モジュール７２〜７８は、行動コマンドが与えられると当該行動コマンドに基づいて、その行動を行うために対応するアクチュエータに与えるべきサーボ指令値や、スピーカから出力する音の音声データ及び／又は発光部のＬＥＤに与える駆動データを生成し、これらのデータをロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３を順次介して対応するアクチュエータ、スピーカ又は発光部等に順次送出する。
【００９２】
このようにしてロボット装置１においては、制御プログラムに基づいて、自己（内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動を行うことができるようになされている。
【００９３】
【発明の効果】
以上詳細に説明したように本発明に係る本発明に係る顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録するから、入力顔画像及びその入力時刻を示す情報を蓄積し、登録する顔画像の入力時刻を指定することで、過去に入力されている入力顔画像を顔登録に使用することができ、顔登録のために改めて入力顔を供給する必要がなく、登録時刻の顔画像を読み込むのみで顔登録を行うことができる。
【００９４】
また、本発明に係るロボット装置は、自律的な動作が可能なロボット装置において、撮像手段と、撮像手段により撮像された入力画像から顔画像を検出する顔検出手段と、上記顔画像と共に当該顔画像が検出された入力画像の入力時刻の情報が供給される顔登録装置とを備え、上記顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、上記顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された顔画像のうち上記登録時刻と一致する入力時刻の顔画像を読出し上記登録顔データベースに登録するから、顔画像と共にその入力時刻の情報を蓄積しておき、任意のタイミングを登録時刻として指定し、この登録時刻に一致する入力時刻の顔画像により顔登録処理を行う顔登録装置を備えるため、被顔登録者は顔登録時に登録処理を意識しなくてもよく、ロボット装置は、被登録者とのインタラクションの最中に極めて自然に新規顔の登録、及び登録済みの顔画像の更新をすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における顔登録装置を示すブロック図である。
【図２】登録顔データベースの登録の一例を示す模式図である。
【図３】本発明の実施の形態における顔登録方法の一例を示すフローチャートである。
【図４】本発明の実施の形態におけるロボット装置の外観構成を示す斜視図である。
【図５】同ロボット装置の自由度構成モデルを模式的に示す図である。
【図６】同ロボット装置の制御システム構成を模式的に示す図である。
【図７】同ロボット装置のソフトウェア構成を示すブロック図である。
【図８】同ロボット装置のソフトウェア構成におけるミドル・ウェア・レイヤの構成を示すブロック図である。
【図９】同ロボット装置のソフトウェア構成におけるアプリケーション・レイヤの構成を示すブロック図である。
【図１０】本発明の実施の形態におけるアプリケーション・レイヤの行動モデルライブラリの構成を示すブロック図である。
【図１１】本発明の実施の形態におけるロボット装置の行動決定のための情報となる有限確率オートマトンを説明する図である。
【図１２】有限確率オートマトンの各ノードに用意された状態遷移表を示す図である。
【符号の説明】
１  ロボット装置、１０  顔登録装置、１１  認識器、１２  画像認識器、１３  顔登録指令部、１４  顔検出部、１５  登録顔データベース、１６  顔識別部、１７  顔画像蓄積部、１８  顔登録部、２１，２５１  画像入力装置、２２，２５２  音声入力装置、４２  ロボティック・サーバ・オブジェクト、４３  バーチャル・ロボット、５０  ミドル・ウェア・レイヤ、５１  アプリケーション・レイヤ、６８  動き検出用信号処理モジュール、７０  入力セマンティクスコンバータモジュール、７１  認識系、７３  トラッキング用信号処理モジュール、７９  出力セマンティクスコンバータモジュール、８０  出力系、８３  感情モデル、８４  本能モデル、９０  行動モデルライブラリ、９１  行動切換モジュール、１１０  差分画像生成モジュール、１１１  重心計算モジュール、２００  思考制御モジュール、２５３  音声出力装置、３００  運動制御モジュール、３５０  アクチュエータ
【図１】
2004302645.tif 000005
【図２】
2004302645.tif 000006
【図３】
2004302645.tif 000007
【図４】
2004302645.tif 000008
【図５】
2004302645.tif 000009
【図６】
2004302645.tif 000010
【図７】
2004302645.tif 000011
【図８】
2004302645.tif 000012
【図９】
2004302645.tif 000013
【図１０】
2004302645.tif 000014
【図１１】
2004302645.tif 000015
【図１２】
2004302645.tif 000016