(57)【要約】【課題】複数種類の生体情報を使用した利用者識別を高精度に行う。【解決手段】マイクロホンと、全天カメラから取得した第１の生体情報から利用者を識別する話者識別部１０４と、利用者の識別情報と利用者が存在する方向と対応付けた第１の生体識別情報を生成し、全天カメラによって出力された生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた第２の生体識別情報を生成する顔識別部１０５と、第１の生体識別情報が示す方向の画像の画像特徴領域の近似領域を新たな入力画像から検出して画像特徴領域に設定し検出方向を求める領域追跡部１０６と、画像特徴領域の検出方向と第１の生体識別情報より後に取得した第２の生体識別情報の方向の差が所定の閾値以下の場合に第１の生体識別情報による利用者と第２の生体識別情報による利用者が同一であると判断する同一性検証部１１０とを備えた。【選択図】        図１
2006263348.tif 000002
【特許請求の範囲】
【請求項１】
利用者の音声を検知して、検知した音声を利用者の生体情報として出力する検知手段と、
利用者の画像を撮像して、撮像した画像を利用者の生体情報として出力する撮像手段と、
前記撮像手段および前記検知手段が出力する生体情報ごとに、利用者の識別情報と利用者の生体情報とを対応付けた複数の生体辞書を記憶する生体辞書記憶手段と、
前記検知手段によって出力された前記生体情報と前記生体情報に対応した前記生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成し、前記撮像手段によって出力された生体情報と前記生体情報に対応した前記生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成する識別手段と、
前記識別手段によって生成され、先に取得した第１の生体識別情報が示す方向の画像に関して特徴的な領域である画像特徴領域に近似する領域を、前記撮像手段によって新たに入力される画像から検出して、検出された領域を新たな前記画像特徴領域に設定するとともに、設定された新たな前記画像特徴領域の検出方向を求める領域追跡手段と、
前記領域追跡手段によって求められた前記画像特徴領域の検出方向と前記第１の生体識別情報より後に取得した第２の生体識別情報の方向との差が予め定められた閾値以下であるか否かを判断し、方向の差が前記閾値以下である場合に、前記第１の生体識別情報で識別される利用者と前記第２の生体識別情報で識別される利用者が同一であると判断する同一性検証手段と、
を備えたことを特徴とする利用者識別装置。
【請求項２】
前記同一性検証手段は、さらに、前記第１の生体識別情報の方向と前記第１の生体識別情報より後に取得した第２の生体識別情報の方向との差が予め定められた閾値以下であるか否かを判断し、方向の差が前記閾値以下である場合に、前記第１の生体識別情報で識別される利用者と前記第２の生体識別情報で識別される利用者が同一であると判断することを特徴とする請求項１に記載の利用者識別装置。
【請求項３】
前記同一性検証手段は、さらに、前記第１の生体識別情報で識別される利用者と前記第２の生体識別情報で識別される利用者が同一であると判断された前記第１の生体識別情報と第２の生体識別情報とを対応付けた同一組情報を生成することを特徴とする請求項１又は２に記載の利用者識別装置。
【請求項４】
前記識別手段は、さらに、前記生体辞書に登録された利用者ごとの生体情報と前記検知手段によって出力された前記生体情報との一致の度合いを示す類似度を利用者ごとに求め、最大の類似度を有する利用者の識別情報と最大類似度と利用者が存在する方向と対応付けた生体識別情報とを生成することを特徴とする請求項３に記載の利用者識別装置。
【請求項５】
前記同一組情報で対応付けられた前記第１の生体識別情報が示す最大類似度を有する利用者と第２の生体識別情報が示す最大類似度を有する利用者とが一致するか否かを判断し、一致しない場合に最大類似度の小さい生体識別情報に対応した生体辞書を、最大類似度の大きい生体識別情報に基づいて更新する辞書更新手段、
を更に備えたことを特徴とする請求項４に記載の利用者識別装置。
【請求項６】
前記同一組情報で対応付けられた前記第１の生体識別情報と前記第２の生体識別情報のうち最大類似度が大きい生体識別情報の最大類似度を有する利用者を、前記同一組情報で対応付けられた生体情報の利用者であると認証する利用者認証手段と、
前記利用者認証手段によって認証された利用者に対し、予め定められたサービス処理を実行するサービス提供手段と、
を更に備えたことを特徴とする請求項４または５に記載の利用者識別装置。
【請求項７】
前記検知手段は、利用者の音声を異なる方向から検知して、検知した音声の音声情報を前記生体情報として出力する第１、第２および第３の音声入力手段を備え、
前記第１の音声入力手段から出力された第１の音声情報と前記第２の音声入力手段から出力された第２の音声情報とから、所定方向の範囲の第１の指向性範囲に音声入力の感度が限定された第４の音声情報を出力し、出力された第４の音声情報と前記第３の音声入力手段から出力された第３の音声情報から、前記第１の指向性範囲をさらに限定した第２の指向性範囲に入力感度が限定された第４の音声情報を出力し、前記第２の指向性範囲を利用者の音声の到来方向と推定する音響指向性形成手段と、
を更に備えたことを特徴とする請求項１〜６のいずれか一つに記載の利用者識別装置。
【請求項８】
前記音響指向性形成手段は、さらに、前記到来方向と前記第４の音声情報とを対応付けた指向性音声情報を出力し、
前記生体辞書記憶手段は、利用者の識別情報と前記利用者の音声情報とを対応付けた話者辞書を前記生体辞書として記憶し、
前記識別手段は、前記音響指向性形成手段により出力された指向性音声情報と前記話者辞書とに基づいて前記利用者を識別し、利用者の識別情報と前記指向性音声情報の到来方向とを対応付けた話者識別情報を前記第１の生体識別情報として生成する話者識別手段を備えたことを特徴とする請求項７に記載の利用者識別装置。
【請求項９】
前記生体辞書記憶手段は、利用者の識別情報と前記利用者の顔の画像とを対応付けた顔辞書とを前記生体辞書として記憶し、
前記識別手段は、前記撮像手段により出力された画像と前記顔辞書とに基づいて、前記画像から利用者の顔領域を検索して前記利用者を識別し、利用者の識別情報と前記顔領域の画像中心位置を方向として対応付けた顔識別情報を前記第２の生体識別情報として生成する顔識別手段をさらに備えたことを特徴とする請求項７または８に記載の利用者識別装置。
【請求項１０】
利用者の音声を検知して、検知した音声を利用者の生体情報として出力する検知手段によって出力された生体情報と前記生体情報に対応した、利用者の識別情報と利用者の生体情報とを対応付けた生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成し、利用者の画像を撮像して、撮像した画像を利用者の生体情報として出力する撮像手段によって出力された生体情報と前記生体情報に対応した前記生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成する識別ステップと、
前記識別ステップによって生成され、先に取得した第１の生体識別情報が示す方向の画像に関して特徴的な領域である画像特徴領域に近似する領域を、前記撮像手段によって新たに入力される画像から検出して、検出された領域を新たな前記画像特徴領域に設定するとともに、設定された新たな前記画像特徴領域の検出方向を求める領域追跡ステップと、
前記領域追跡ステップによって求められた前記画像特徴領域の検出方向と前記第１の生体識別情報より後に取得した第２の生体識別情報の方向との差が予め定められた閾値以下であるか否かを判断し、方向の差が前記閾値以下である場合に、前記第１の生体識別情報で識別される利用者と前記第２の生体識別情報で識別される利用者が同一であると判断する同一性検証ステップと、
を含むことを特徴とする利用者識別方法。
【請求項１１】
利用者の音声を検知して、検知した音声を利用者の生体情報として出力する検知手段によって出力された生体情報と前記生体情報に対応した、利用者の識別情報と利用者の生体情報とを対応付けた生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成し、利用者の画像を撮像して、撮像した画像を利用者の生体情報として出力する撮像手段によって出力された生体情報と前記生体情報に対応した前記生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成する識別ステップと、
前記識別ステップによって生成され、先に取得した第１の生体識別情報が示す方向の画像に関して特徴的な領域である画像特徴領域に近似する領域を、前記撮像手段によって新たに入力される画像から検出して、検出された領域を新たな前記画像特徴領域に設定するとともに、設定された新たな前記画像特徴領域の検出方向を求める領域追跡ステップと、
前記領域追跡ステップによって求められた前記画像特徴領域の検出方向と前記第１の生体識別情報より後に取得した第２の生体識別情報の方向との差が予め定められた閾値以下であるか否かを判断し、方向の差が前記閾値以下である場合に、前記第１の生体識別情報で識別される利用者と前記第２の生体識別情報で識別される利用者が同一であると判断する同一性検証ステップと、
をコンピュータに実行させる利用者識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者を検知して得られた利用者の生体情報と、利用者ごとの生体情報を登録した生体辞書とに基づいて利用者を識別する利用者識別装置、利用者識別方法および利用者識別プログラムに関する。
【背景技術】
【０００２】
近年、人間と活動空間を共有する種々の間共存型ロボット技術が研究開発されている。このような人間共存型ロボットは、その利用者が誰であるのかを的確に識別および認証することが重要な課題となっている。このような利用者識別に関しては、特に比較的離れた位置から取得できる利用者の音声や顔等の利用者の生体情報（バイオメトリクス）を、個人を特定するために使用する話者識別技術や顔識別技術による利用者認証方式が有力なものである。
【０００３】
話者識別方式とは、次のような方式である。事前に実際の利用者の音声の声紋パターンを取得し、利用者ごとに声紋パターンを対応づけた声紋辞書を生成しておく。そして、入力された音声の声紋パターンと声紋辞書に登録された声紋パターンを照合して、声紋パターンの一致の度合いを示す類似度を求める。そして、この類似度が予め定められた閾値以上で最大となる声紋パターンが存在していれば、当該入力音声が最大の類似度の声紋パターンに対応した利用者の音声であると判断する方式である。
【０００４】
また、顔識別方式は、話者識別方式と同様に、事前に実際の利用者の顔パターンを取得し、利用者ごとに顔パターンを対応づけた顔辞書を生成しておき、入力された顔画像の顔パターンと顔辞書に登録された顔パターンを照合して類似度を求め、類似度が予め定められた閾値以上で最大となる顔ターンが存在していれば、当該入力顔画像が最大の類似度の顔パターンに対応した利用者の顔画像であると判断する方式である。
【０００５】
このような利用者の生体情報を使用した利用者識別の技術としては、例えば、特許文献１で開示された技術がある。この特許文献１の技術では、個人認証システムにおいて、声紋パタンや顔パタンなどの複数種類の生体情報を入力し、これら複数種類の生体情報を各々識別して得たそれぞれの類似度を、さらに時系列的に連続してそれぞれ収集し、生体情報の種類（声紋と顔など）毎に収集されたこの類似度の系列から、入力された生体情報毎の最終的類似度をそれぞれ決定する。かかる決定は、時系列的な類似度の最大値を選択するか、平均値を計算することで実行される。そして、この個人認証システムは、生体情報毎に決定された最終的類似度を総合的に判断して利用者を認証している。
【０００６】
この特許文献１の技術では、時系列的な類似度を利用者識別で使用していることから、時系列的な類似度が出力される期間内で略同時に入力された複数の生体情報は、同一人の利用者の生体情報であることを前提としていると考えられる。
【０００７】
【特許文献１】特開２０００−１４８９８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、このような短時間の間を略同時とみなして、この間に入力された複数の生体情報が同一人の利用者の生体情報であると判断する場合には、次のような問題がある。
【０００９】
すなわち、利用者から取得することができる生体情報にはタイミングがある。例えば、声紋パターンを取得できるタイミングは利用者が発声したときに限られ、顔パターンを取得できるタイミングは利用者の顔の正面が撮像カメラの方向に向いているタイミングに限られる。このように、複数種類の生体情報が常に略同時に取得することができるとは限らず、各生体情報が異なった時間でしか取得できなかったり、あるいは一方の生体情報しか取得できないことがある。
【００１０】
このため、特許文献１の技術のように一定の短期間を略同時とみなして、その期間で取得した複数種類の生体情報を同一人の利用者であると判断してしまうと、利用者の同一性の検証に誤りを生じる場合がある。例えば、顔画像と音声が略同時に取得できた場合でも、音声を発した利用者と取得した顔画像の利用者とが異なる場合でも、特許文献１の技術では、同一人と判断してしまうおそれがある。一方、顔画像と音声とが略同時とみなされる期間経過後に取得した場合において、当該顔画像の利用者と音声を発した利用者とが同一人である場合もあるが、略同時性のみをもって同一人か否かを判断しているため、異なる利用者と判断されてしまうおそれがある。
【００１１】
ところで、利用者識別の技術では、利用者認証のための生体辞書（声紋辞書や顔辞書など）は、利用者に対して利用者識別システムが運用を開始される時点で生成されることが多い。このようにある時点で生成された生体辞書は、その後の雑音環境や照明環境の変化、利用者自身の声や顔の経時変化のため、生体情報を使用できる期間に有効期限があると考えてよい。すなわち、生体情報の有効期限が切れると、これらの生体情報を登録した生体辞書による類似度が利用者本人であっても十分大きくならず、利用者識別の精度が低下する。このため、システム管理権限を持つ管理者等が、生体情報の有効期限が切れた場合に明示的な操作によって有効期限が切れた生体情報を生体辞書に再学習させる辞書メンテナンスが一般的に行われている。
【００１２】
このような辞書メンテナンス機能を有する利用者識別システムにおいて、特許文献１のように略同時に取得した生体情報により同一人の認証を行っている場合には、さらに次のような問題が生じる。すなわち、利用者Ａの顔パターンが利用者Ａのものであると識別されている間に、たまたま側に居た生体辞書に登録されていない利用者Ｂの発した音声を識別しようとして利用者を特定できなかった場合、この事実をもって利用者Ａの声紋辞書の有効期限が切れていると誤って判断し、顔パターンで識別できた利用者Ａの音声として全く別の利用者Ｂの声紋パターンを学習して生体辞書を更新してしまうという危険性がある。
【００１３】
本発明は、上記に鑑みてなされたものであって、利用者の同一性検証を追跡同方向性によって行うことにより、複数種類の生体情報を使用した利用者識別を高精度に行うことができる利用者識別装置、利用者識別方法および利用者識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、本発明は、利用者の音声を検知して、検知した音声を利用者の生体情報として出力する検知手段と、利用者の画像を撮像して、撮像した画像を利用者の生体情報として出力する撮像手段と、前記撮像手段および前記検知手段が出力する生体情報ごとに、利用者の識別情報と利用者の生体情報とを対応付けた複数の生体辞書を記憶する生体辞書記憶手段と、前記検知手段によって出力された前記生体情報と前記生体情報に対応した前記生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成し、前記撮像手段によって出力された生体情報と前記生体情報に対応した前記生体辞書とに基づいて前記生体情報から利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成する識別手段と、前記識別手段によって生成され、先に取得した第１の生体識別情報が示す方向の画像に関して特徴的な領域である画像特徴領域に近似する領域を、前記撮像手段によって新たに入力される画像から検出して、検出された領域を新たな前記画像特徴領域に設定するとともに、設定された新たな前記画像特徴領域の検出方向を求める領域追跡手段と、前記領域追跡手段によって求められた前記画像特徴領域の検出方向と前記第１の生体識別情報より後に取得した第２の生体識別情報の方向との差が予め定められた閾値以下であるか否かを判断し、方向の差が前記閾値以下である場合に、前記第１の生体識別情報で識別される利用者と前記第２の生体識別情報で識別される利用者が同一であると判断する同一性検証手段と、を備えたことを特徴とする利用者識別装置である。
【００１５】
また、本発明は上記利用者識別装置で実行される利用者識別方法および利用者識別プログラムである。
【発明の効果】
【００１６】
本発明によれば、検知手段によって出力された生体情報とこの生体情報に対応した生体辞書とに基づいて利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成し、一方、これとは別個の撮像手段によって出力された生体情報と生体情報に対応した生体辞書とに基づいて利用者を識別し、利用者の識別情報と利用者が存在する方向と対応付けた生体識別情報を生成する。すなわち、検知手段から得られる生体情報と撮像手段から得られる生体情報のそれぞれから別個に利用者が存在する方向を求める。そして、先に取得した第１の生体識別情報が示す方向の画像に関して特徴的な領域である画像特徴領域に近似する領域を追跡し、画像特徴領域の検出方向と第１の生体識別情報より後に取得した第２の生体識別情報の方向との差が予め定められた閾値以下であるか否かを判断し、方向の差が閾値以下である場合に、第１の生体識別情報で識別される利用者と第２の生体識別情報で識別される利用者が同一であると判断しているので、複数種類の生体情報を使用して利用者識別を行う場合に、それぞれ別個の生体情報から求めた利用者の方向の同一性に基づいて利用者の同一性の検証を行うことができ、一定期間経過後に利用者から異なる生体情報を取得した場合でも、利用者の同一性の検証を高精度に行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下に添付図面を参照して、この発明にかかる利用者識別装置、利用者識別方法および利用者識別プログラムの最良な実施の形態を詳細に説明する。本実施の形態は、本発明の利用者識別装置を自律移動型ロボットに適用したものである。
【００１８】
（自律移動型ロボットの構成）
図１は、本実施の形態にかかる自律移動型ロボットの機能的構成を示すブロック図である。
【００１９】
本実施の形態にかかる自律移動型ロボットは、図１に示すように、３個のマイクロホン２０６，２０７，２０８と全天カメラ２０５と、音響指向性形成部１０１と、語彙識別部１０３と、話者識別部１０４と、顔識別部１０５と、領域追跡部１０６と、利用者認証部１０７と、辞書更新部１０８と、サービス提供部１０９と、同一性検証部１１０と、生体辞書記憶部１２０とを主に備えた構成となっている。なお、本実施の形態の自律移動型ロボットは、図１に示す各部の他、移動制御を行う制御部など利用者識別機能以外の機能を実行する部分を備えている。
【００２０】
ここで、マイクロホン２０６，２０７，２０８は本発明における検知手段に相当し、全天カメラ２０５は本発明における撮像手段に相当する。また、話者識別部１０４と顔識別部１０５は本発明における識別手段に相当する。
【００２１】
マイクロホン２０６，２０７，２０８は、利用者の音声を入力するものである。全天カメラ２０５は、上向き１８０度の視野の魚眼レンズ付きカメラであり、利用者を含むロボット本体の周囲３６０度が撮像可能となっている。
【００２２】
ここで、図２は、本実施の形態の自律移動型ロボットの外観を示す模式図である。本実施の形態の自律移動型ロボットは、図２に示すように、本体２０１と、本体２０１に装着された移動のための駆動輪２０２，２０３および補助輪（図示せず）とを備え、利用者住居内の床面上を自在に移動できるように構成されている。
【００２３】
上述した２個のマイクロホン２０６，２０７は、本体２０１の前面に左右一対のが水平配置され、マイクロホン２０８は、マイクロホン２０６，２０７と略同一水平面内に位置するよう本体１０１の背面に配置されている。このように空間的に離散配置された３個のマイクロホン２０６，２０７，２０８によって入力された利用者の音声の指向性は、後述する音響指向性形成部１０１の複数の音響指向性形成モジュール１０２によって水平・垂直方向に複数自在に設定可能になっている。
【００２４】
また、上述した全天カメラ２０５は、自律移動型ロボットの本体２０１上部に装着されている。全天カメラ２０５は、上向きに１８０度の視野を持つ魚眼レンズ付きカメラ３１５であり、円形視野の全天画像３１８を取得できるようになっている。全天カメラ２０５は、一定時間間隔で周囲を撮像して撮像した画像フレームを出力する。
【００２５】
図３−１は、２人の利用者を撮像する全天カメラ２０５の配置を示す模式図であり、図３−２は、図３−１で示す配置の２人の利用者を全天カメラ２０５で撮像した全天画像を示す模式図である。全天カメラ２０５で撮像される利用者３１６，３１７が図３−１に示す位置にいる場合、この２人の利用者３１６，３１７は全天画像３１８内に図３−２に示すように投影される。
【００２６】
図１に戻り、音響指向性形成部１０１は、自律移動型ロボット周囲の種種の方向から到来する音声を方向ごとに分離抽出して音声区間の音声データと到来方向とからなる指向性音声情報を出力するものであり、周囲の種種の方向から到来する音声を、個別かつ選択的に通過させる複数の音響指向性形成モジュール１０２と到来方向を記憶する指向性設定値記憶部（図示せず）とを備えている。音響指向性形成部１０１によって分離抽出される音声には、利用者の音声や環境雑音などがある。
【００２７】
音響指向性形成部１０１は、分離抽出された音声情報のそれぞれの強度を評価して、強度が第１の閾値以上となってから所定期間遡った時刻から、第２の閾値未満となってから所定期間経過する時刻までを「音声区間」とし、音声情報から当該音声区間のみを抽出したデータを音声区間の音声データとする。そして、その到来方向を示す方向情報と音声区間の音声データを対応付けて指向性音声情報として出力する。なお、強度による音声区間の検出処理は、遠方から到来する弱い環境雑音しか含まない音声を、後段で無駄に処理しないように除外する効果を有している。
【００２８】
図４は、音響指向性形成部１０１の構成を示すブロック図である。音響指向性形成部１０１は、マイクロホン２０６，２０７からの音声を入力する前段のビームフォーマ４１０，４２０，４３０と、マイクロホン２０８からの音声と前段のビームフォーマ４１０，４２０，４３０からの出力を入力する後段のビームフォーマ４１１，４１２，４１３、・・・、４２１，４２２，４２３、・・・４３１，４３２，４３３、・・・、と指向性設定値記憶部４４０とから構成される。ここで、図４に示すように、後段のビームフォーマ４１１，４１２，４１３、・・・は、前段のビームフォーマ４１０からの出力とマイクロホン２０８からの音声を入力し、後段のビームフォーマ４２１，４２２，４２３、・・・は、前段のビームフォーマ４２０からの出力とマイクロホン２０８からの音声を入力し、後段のビームフォーマ４３１，４３２，４３３、・・・は、前段のビームフォーマ４３０からの出力とマイクロホン２０８からの音声を入力するようになっている。
【００２９】
指向性設定値記憶部４４０と、前段のビームフォーマ４１０と、前段のビームフォーマ４１０に対応する後段のビームフォーマ４１１，４１２，４１３，・・・のそれぞれとによって各後段のビームフォーマ４１１，４１２，４１３，・・・に対応した数の音響指向性形成モジュール１０２が構成される。前段のビームフォーマ４２０に対応する後段のビームフォーマ４２１，４２２，４２３，・・・、前段のビームフォーマ４３０に対応する後段のビームフォーマ４３１，４３２，４３３，・・・についても同様である。
【００３０】
すなわち、音響指向性形成モジュール１０２は、前段のビームフォーマ４１０と後段のビームフォーマ４１１と指向性記憶部４４０で一つの領域に対応しており、別の領域に対応した音響指向性形成モジュール１０２は、前段のビームフォーマ４１０と後段のビームフォーマ４１２と指向性記憶部４４０で構成される。
【００３１】
図５は、音響指向性形成モジュール１０２の構成を示すブロック図である。図５では、前段のビームフォーマ４１０と後段のビームフォーマ４１１とで構成される例を示している。この音響指向性形成モジュール１０２は、３個のマイクロホン２０６、２０７、２０８からの音声入力の指向性を水平・垂直方向に自在に設定する機能を有している。
【００３２】
前段のビームフォーマ４１０は、自律移動型ロボットの前面に水平配置された２個のマイクロホン２０６，２０７からの音声を入力し、マイクロホン２０６とマイクロホン２０７を結ぶ線分に対して設定される角度θを中心指向性方向として、その中心指向性方向からはずれた方向の感度を抑圧する働きを有する指向性形成手段である。この結果、中心指向性方向を中心とした所定範囲に対する感度が所定値以上に保持されつつ、それ以外の方向の感度はかかる所定値未満に抑制される。かかるビームフォーマの構成は、種々提案されており、例えば、フェイズドアレイとして知られている複数のマイクロホン入力の遅延和を計算する方法では、遅延量を制御することで任意の方向に指向性を向けることができる。また、Griffith-Jim型一般化サイドローブキャンセラを２個使用して、設定された指向性範囲内の音声をより明瞭に抽出する技術も知られている。
【００３３】
２個のマイクロホン２０６，２０７により形成される中心指向性方向は、図６に示すように、例示するようにマイクロホン２０６とマイクロホン２０７を結ぶ線分から角度θだけ開いた円錐面６１２となる。したがって、その出力は円錐面６２１付近の所定範囲内に存在する音源からの音声を主成分とする。
【００３４】
しかしながら、ビームフォーマ４１０により形成される指向性範囲は円錐面６２１付近全域に亘るので、その範囲のいずれの方向から音声が到来したのかを知るためには、指向性範囲が広すぎる。このため、ビームフォーマ４１０の後段に２つ目のビームフォーマ４１１を接続する。ビームフォーマ４１１は、ビームフォーマ４１０の出力と自律移動型ロボット背面に配置されたマイクロホン２０８からの音声を入力し、所定の指向性範囲を形成するサイドローブキャンセラである。
【００３５】
このように、ビームフォーマ４１０の後段にビームフォーマ４１１を設け、ビームフォーマ４１０からの出力とマイクロホン２０８からの音声とを入力することにより、２個のマイクロホン２０６，２０７の中間に位置する仮想的なマイクロホン５０１からの音声とと背面のマイクロホン２０８からの音声を入力しているようになり、その指向性の中心は仮想的なマイクロホン５０１と背面のマイクロホン２０８を結ぶ線分から所定角度開いた円錐面となる。このとき、仮想的なマイクロホン５０１からの音声はビームフォーマ４１０によって既に指向性範囲が絞られているので、ビームフォーマ４１１の出力は円錐面６２１と、仮想的なマイクロホン５０１と背面のマイクロホン２０８を結ぶ線分から所定角度開いた円錐面の交差する方向からの音声が最も強くなる。
【００３６】
このような作用を得るために、本実施の形態の自律移動型ロボットでは、３個のマイクロホン２０６、２０７、２０８を、マイクロホン２０８を頂点とする水平な２等辺３角形をなすように配置している。
【００３７】
図７−１および図７−２は、音響指向性モジュールの前段のビームフォーマと後段のビームフォーマにより設定される指向性範囲を示す模式図である。図７−１は、自律移動型ロボットの上方から観た図であり、図７−２は、水平方向から観た図である。７４は、ロボットの本体２０１の正面方向である。
【００３８】
ビームフォーマ４１０による円錐面７０（６２１）はマイクロホンの高さでは指向性の水平方位を表しており、後段のビームフォーマ４１１による円錐面７１はその指向性の水平方位をさらに垂直方向に絞る効果を有している。このため、前段のビームフォーマ４１０による指向性範囲を水平指向性範囲７０、後段のビームフォーマ４１１による指向性範囲を垂直指向性範囲７１という。
【００３９】
ビームフォーマ４１０およびビームフォーマ４１１による指向性範囲７２は、図７−１，７−２に示すように、水平指向性範囲７０と垂直指向性範囲７１の２つの円錐に挟まれる領域７２として現れる。
【００４０】
すなわち、ビームフォーマ４１０による垂直面内の指向性範囲も同様に図７−２に示すマイクロホン高さ７３の位置を起点とする２つの円錐に挟まれる領域となる。このとき水平指向性範囲７０と垂直指向性範囲７１との共通領域７２が、音響指向性形成モジュールの最終的な指向性範囲である。音響指向性形成モジュールはこの指向性範囲７２内から到来する音声を高感度で通過させる。なお、マイクロホン２０６、２０７、２０８の距離に対して音源の距離が十分大きいときは、形成された指向性範囲の起点、すなわち円錐の頂点を仮想的名マイクロホン５０１とマイクロホン２０８を結ぶ線分の中点としてもよい。
【００４１】
水平指向性範囲７０と垂直指向性範囲７１の各方位角は、例えば２０度の開きとなるように設定される。ビームフォーマ４１０およびビームフォーマ４１１とにより、このように例えば±１０度（すなわち２０度の角度）という狭い指向性範囲を形成することができる。
【００４２】
なお、ビームフォーマ４１０とビームフォーマ４１１により指向性範囲、すなわち水平指向性範囲７０と垂直指向性範囲の開き角度と音声の通過可能な角度幅は、指向性範囲設定値記憶部４４０に設定され、外部からリード・ライト可能である。
【００４３】
図８−１は、２０度刻みで１８０度を覆う指向性範囲の配置例を示した説明図である。本実施の形態の自律移動型ロボットでは。このように形成される指向性範囲を９個用意して図８−１に示すようにタイル張りに並べることにより±９０度（すなわち１８０度）の範囲を９つの指向性範囲に分割している。
【００４４】
このように１個の音響指向性形成モジュール１０２によって自律移動型ロボットを中心とした球面ドーム上の任意の位置に狭い指向性範囲を設定することができる。そして、本実施の形態では、この音響指向性形成モジュール１０２を複数装備し、各音響指向性形成モジュール１０２の指向性範囲をモジュール毎に異ならせて、水平・垂直方向の所定範囲をカバーするタイルのように配置することで、いずれの方向から音声が到来した場合でも、対応する指向性範囲を有するモジュールの出力として入力音声を分離抽出することとしている。従って、音響指向性形成部１０１は、全ての音響指向性形成モジュール１０２を同時に稼動させることにより、異なる方向から同時に音声が到来しても、それらを個々に分離して出力することができる。
【００４５】
例えば図８−１に示すように、２０度刻みで水平・垂直それぞれ９範囲ずつの組み合わせとして最大でＮ＝９×９＝８１個の音響指向性形成モジュール１０２を用意し、これにより自律移動型ロボットの周囲の水平３６０度、垂直１８０度の範囲をカバーすることができる。ただし、実際には８１個の組み合わせの中で水平指向性範囲と垂直指向性範囲の交差しない範囲を除外して、有効な組み合わせの数は８１より少なくなる。また、１つの水平指向性範囲に対して複数の垂直指向性範囲を設定することになるので、前段のビームフォーマ４１０の出力を後段の複数のビームフォーマ４１１，４１２，４１３，・・・に共通して供給することができ、ビームフォーマの数は有効な組み合わせの数の２倍より少なくすることができる。図４に示す音響指向性形成部１０１の構成は、有効な組み合わせに対応し、一部を共通化した必要数のビームフォーマを実装している。
【００４６】
マイクロホン２０６，２０７の出力は、水平指向性を実現する前段のビームフォーマ４１０に出力される。水平１８０度を９分割するために、この前段のビームフォーマはそれぞれ異なる指向性範囲を設定されて合計で９個が用意される。図ではその一部としてビームフォーマ４１０、４２０、４３０の３個を示している。
【００４７】
異なる水平指向性範囲を実現する前段のビームフォーマ４１０、４２０、４３０のそれぞれの出力は、さらに異なる垂直指向性を実現する後段の複数のビームフォーマに供給される。例えば、ビームフォーマ４１０の出力は後段のビームフォーマ４１１、４１２、４１３、・・・に出力される。垂直１８０度を９分割するために、前段の１個のビームフォーマからの出力を共通に受ける後段のビームフォーマは最大で９個必要となる。
【００４８】
ここで、本実施の形態にかかる自律移動型ロボットは、床面上で移動および旋回が可能である。このとき、音響指向性形成モジュール１０２の指向性範囲は、マイクロホン２０６、２０７、２０８、すなわちロボット本体２０１を基準にした相対的な方向として設定される。床面が水平である場合には、指向性範囲の垂直成分は常に一定の基準にしたがっているが、水平成分は本体２０１の旋回に伴ってその基準が変わる。
【００４９】
図８−２および図８−３は、自律移動型ロボットにおける相対方位から絶対方位への補正について示す説明図である。
【００５０】
例えば、図８−１に示すように、本体２０１の正面方向が矢印８４０の方向を向いているときに、当該方向から水平方位で右方向を正に＋θaの方位、すなわち矢印８４１で示される方向に利用者８４２の音声が検出されているとする。次に図８−２に示すように、本体２０１が右方向を正に＋φだけ旋回して、その正面が矢印８４３の方向を向いたとすると、利用者８４２の音声が今度は本体２０１の正面の右方向を正に−θbの方位に観測される。この例から明らかなように、同一利用者８４２の音声は本体２０１の旋回によって異なる方位に検出される。
【００５１】
そこで、図８−２に示す状態での本体２０１の姿勢を基準にして水平方位オフセット角θoを０とする。図８−２に示す状態では、本体２０１が右に角度φ旋回したのであるから、このときの水平方位オフセット角θoを、右方向を正として＋φとする。図８−２の状態での利用者の音声の水平方位θbはこの水平方位オフセット角θoを用いて図８−１の状態を基準にした絶対方位に補正される。補正されたθbをθb'とすると、θb'は、次式で算出される。
【００５２】
θb'＝θo−θb
補正されたθb'は、利用者８４２が移動しない限り、本体２０１の旋回に関わりなくθaと同じ値になる。音響指向性形成部１０１から出力される指向性音声情報に含まれる方向情報の水平成分は上述のような補正が施されて絶対方位に変換される。この結果、ロボットが旋回した場合でも、異なる姿勢で得られた話者識別情報や顔識別情報や領域追跡情報を共通の基準で比較できるようになる。
【００５３】
各音響指向性形成モジュール１０２は、モジュール毎に指向性範囲となる領域を割り当てられており、各領域は領域を識別する領域番号が割り当てられている。すなわち、各音響指向性形成モジュール１０２からの出力は、そのモジュールが割り当てられた領域から到来した音声データであることを示している。このため、各音響指向性形成モジュール１０２は、自己のモジュール番号を後述する方向対応付けテーブルによって割り当てられた領域番号に変換した方向情報とし、入力した音声区間の音声データに方向情報を付加した指向性音声情報を出力する。図９−１は、音響指向性形成部１０１の音響指向性形成モジュール１０２から出力される指向性音声情報のデータ構造図である。かかる指向性音声情報を入力する語彙識別部１０３、話者識別部１０４は、この指向性音声情報に設定された方向情報（領域番号）を取得することにより、入力された音声の到来方向を取得することができる。
【００５４】
図１に戻り、生体辞書記憶部１２０は、ＨＤＤ（ハードディスクドライブ装置）等の記憶媒体であり、声紋辞書１２１と顔辞書１２２と語彙辞書１２３が格納されている。
【００５５】
声紋辞書１２１は、利用者を識別するための利用者ＩＤごとに、利用者ＩＤと利用者ＩＤに対応する利用者の「あいうえお」等の基本的な音声の声紋パターンとを対応付けて登録した辞書データファイルである。
【００５６】
顔辞書１２２は、利用者ＩＤごとに、利用者ＩＤと利用者ＩＤに対応する利用者を実際に撮像した顔画像パターンとを対応付けて登録した辞書データファイルである。
【００５７】
語彙辞書１２３は、利用者ＩＤごとに、利用者ＩＤと音声データと当該音声データに対応した発話内容を示す語彙が対応付けられて登録された辞書データファイルである。
【００５８】
語彙識別部１０３は、音響指向性形成部１０１によって出力される指向性音声情報に設定された音声データと語彙辞書１２３とを照合して指向性音声情報の発話内容である語彙を識別するものである。具体的には、語彙識別部１０３は、指向性音声情報に設定されている音声データと語彙辞書１２３に登録された利用者ＩＤごとの音声データとを照合し、音声データの一致の程度を示す類似度を算出し、最大類似度を有する語彙列を語彙識別結果とする。そして、指向性音声情報に設定されている到来方向を方向情報として、語彙列と方向情報とからなる語彙識別情報を出力する。
【００５９】
図９−２は、語彙識別情報のデータ構造図である。語彙識別情報には、発話者が語彙辞書１２３に登録された利用者である場合には、図９−２に示すように、自律移動型ロボットへの命令としての意味を有する語彙列が語彙識別結果として設定される。一方、自律移動型ロボットに到来する音声が、例えば人物以外の音声あるいは語彙辞書１２３に登録されていない利用者の音声データである場合には、語彙識別を行うことができず、このため語彙識別部１０３は、語彙識別結果として語彙列のかわりに語彙不明ＩＤを語彙識別情報に設定する。
【００６０】
話者識別部１０４は、音響指向性形成部１０１によって出力される指向性音声情報の音声データを声紋辞書１２１に登録された声紋パターンと照合して指向性音声情報の話者を識別するものである。具体的には、話者識別部１０４は、指向性音声情報に設定されている音声データと声紋辞書１２１に登録された利用者ＩＤごとの声紋パターンとを照合し、音声データの声紋パターンに対する一致の程度を示す類似度を利用者ＩＤごとに算出し、最大類似度を有する利用者ＩＤから上位Ｎ位までの利用者ＩＤを選定して、選定された上位Ｎ位までの利用者ＩＤおよびその類似度の列を話者識別結果とする。そして、指向性音声情報に設定されている到来方向を方向情報として、話者識別結果（利用者ＩＤと類似度の上位Ｎ位までの列）と方向情報とからなる話者識別情報を出力する。
【００６１】
図９−３は、話者識別情報のデータ構造図である。音声データが声紋辞書１２１に登録されている利用者ＩＤの声紋パターンである場合には、図９−３に示すように、話者識別結果には利用者ＩＤと類似度の列が設定されるが、音声データが声紋辞書１２１に登録された利用者ＩＤのものでない場合あるいは人物の音声データでない場合には、話者識別を行うことができない。このため、話者識別部１０４は、話者識別結果として利用者ＩＤと類似度の列のかわりに人物不明ＩＤを話者識別情報に設定する。
【００６２】
顔識別部１０５は、全天カメラ２０５で一定時間ごとに撮像された画像フレームを入力して、入力された画像フレームの中で探索された顔領域の画像と顔辞書１２２に登録された顔画像パターンと照合して撮像された画像フレームにおける利用者の顔を識別するものである。具体的には、顔識別部１０５は、入力された画像フレームから顔領域を探索して探索された顔領域の画像データと顔辞書１２２に登録された利用者ＩＤごとの顔画像パターンとを照合し、画像データの顔画像パターンに対する一致の程度を示す類似度を利用者ＩＤごとに算出し、最大類似度を有する利用者ＩＤから上位Ｎ位までの利用者ＩＤを選定して、選定された上位Ｎ位までの利用者ＩＤおよびその類似度の列を顔識別結果とする。そして、顔領域の画像中心位置に対応する方向情報（領域番号）を後述する方向対応付けテーブルを参照して求め、顔識別結果（利用者ＩＤと類似度の上位Ｎ位までの列）と方向情報とからなる顔識別情報を出力する。
【００６３】
図９−４は、顔識別情報のデータ構造図である。顔領域の画像データが顔辞書１２２に登録されている利用者ＩＤの顔画像パターンである場合には、図９−４に示すように、顔識別結果には利用者ＩＤと類似度の列が設定されるが、顔領域の画像データが顔辞書１２２に登録された利用者ＩＤの顔画像パターンでない場合あるいは人物の顔の画像データでない場合には、顔識別を行うことができない。このため、顔識別部１０５は、顔識別結果として利用者ＩＤと類似度の列のかわりに人物不明ＩＤを顔識別情報に設定する。
【００６４】
図９−５は、方向対応付けテーブルのデータ構造図である。方向対応付けテーブルは、メモリやＨＤＤ等の記憶媒体に格納されており、領域番号と音響指向性形成モジュール番号と領域の画像中心位置の座標範囲とを対応付けたテーブルである。領域番号は、利用者の存在する方向を示すものであり、上述した指向性音声情報、語彙識別情報、話者識別情報、顔識別情報における方向情報に設定されるものである。
【００６５】
音響指向性形成部１０１では入力音声の到来方向を推定するが、到来方向を推定した音響指向性形成モジュール１０２がそのまま到来方向を示すため、方向対応付けテーブルでは、領域番号と音響指向性形成モジュール１０２とを対応付けている。
【００６６】
また、顔識別部１０５では、顔領域の方向を求める際に、顔領域の画像中心位置を求めるが、この顔領域の画像中心位置の座標が含まれる座標範囲に対応した領域番号が顔領域の方向となり、顔識別情報の方向情報に設定される。
【００６７】
領域追跡部１０６は、全天カメラ２０５から入力された各画像フレームから、設定された画像的特徴を有する領域である画像特徴領域を検出して、当該画像特徴領域を入力される画像フレームごとに追跡するものである。画像特徴領域の設定は後述する同一性検証部１１０の追跡同方向性検証部１１２が出力する領域追加命令によって行われる。また、領域追跡部１０６は、追跡中の各画像特徴領域についての検出追跡状況（追跡中の画像特徴領域の現在の方向、あるいは追跡中の画像特徴領域を見失った旨）を領域追跡情報として出力する。
【００６８】
同一性検証部１１０は、話者識別情報の対象となった利用者と顔識別情報の対象となった利用者とが同一人であるか否かを判断して、同一人のものであると判断される話者識別情報と顔識別情報とを設定した同一組情報を生成するものであり、同方向性検証部１１１と追跡同方向性検証部１１２とを備えている。
【００６９】
同方向性検証部１１１は、話者識別情報と顔識別情報の中で先に取得した生体識別情報に設定された方向情報を登録しておき、その方向情報と先の生体識別情報より後に取得した生体識別情報に設定された方向情報との差が予め定められた閾値以下であるか否かを判断するものである。同方向性検証部１１１は、さらに、当該方向情報の差が閾値以下である場合に、話者識別情報で識別される利用者と顔識別情報で識別される利用者が同一であると判断して、話者識別情報とその音声データおよび顔識別情報とその画像データを一組とし、さらに両識別情報の有効な期間を定めた有効期限を付加した同一組情報を生成する。
【００７０】
追跡同方向性検証部１１２は、領域追跡部１０６から出力される領域追跡情報を入力して領域追跡情報に含まれる画像特徴領域の検出方向と、話者識別情報と顔識別情報の否かで後に取得した生体識別情報に設定される方向情報との差が予め定められた閾値以下であるか否かを判断するものである。追跡同方向性検証部１１２は、さらに、当該方向の差が閾値以下である場合に、話者識別情報の利用者と顔識別情報の利用者が同一人であると判断して、話者識別情報とその音声データおよび顔識別情報とその画像データを一組とした同一組情報を生成するものである。
【００７１】
図９−６は、同一組情報のデータ構造図である。図９−６では、同方向性検証部１１１で生成され、有効期限が設定された同一組情報の例を示している。追跡同方向性検証部１１２で生成される同一組情報は、この有効期限の項目が設定されていない点のみが同方向性検証部１１１で生成される同一組情報と異なっており、他の項目については同様である。また、図９−６に示すように、語彙識別情報が語彙識別部１０３によって出力される場合には、語彙識別情報も同一組情報に設定される。また、図９−６では、話者識別情報と顔識別情報が一組として設定されているが、いずれか一方のみの識別情報しか設定されていない同一組情報も出力される場合がある。
【００７２】
辞書更新部１０８は、同一性検証部１１０によって生成された同一組情報を解析して生体辞書記憶部１２０に格納されている声紋辞書１２１、顔辞書１２２の各生体辞書の更新の必要性を判断し、必要性がある生体辞書の更新を行うものである。具体的には、辞書更新部１０８は、同一組情報に話者識別情報と顔識別情報の両方が存在している場合に、次のような辞書更新を行う。
【００７３】
すなわち、話者識別情報の最大類似度の利用者ＩＤと、顔識別情報の最大類似度の利用者ＩＤが一致しない場合、最大類似度の大きい方の利用者ＩＤをこの利用者の利用者ＩＤと決定し、類似度の小さい方の生体辞書の更新を行う。また、話者識別情報と顔識別情報の一方のみに人物不明ＩＤが設定されている場合、人物不明ＩＤが設定されていない識別情報の利用者ＩＤをこの利用者の利用者ＩＤであると決定し、人物不明ＩＤが設定された識別情報に対応した生体辞書の更新を行う。
【００７４】
利用者認証部１０７は、同一性検証部１１０によって生成された同一組情報から実際の利用者を認証するものである。同一組情報には、話者識別情報のみが設定されているもの、顔識別情報のみが設定されているもの、両識別情報が設定されているものが存在しうる。
【００７５】
また、話者識別情報には、利用者ＩＤと類似度の列と人物不明ＩＤの２種類があり、顔識別情報にも利用者ＩＤと類似度の列と人物不明ＩＤの２種類がある。利用者を認証してサービスを提供するためには、音声によっても顔によっても利用者を特定できなかったものは考慮する必要がない。このため、利用者認証部１０７は、少なくとも音声か顔のどちらかで利用者を特定することができた同一組情報のみを対象に、話者識別結果と顔識別結果の中で最大の類似度を有する利用者ＩＤを利用者認証情報として出力する。
【００７６】
また、同一組情報に語彙識別情報が設定されている場合には、語彙識別結果として設定された語彙列も利用者認証情報に付加して出力する。
【００７７】
サービス提供部１０９は、利用者認証部１０８により出力された利用者認証情報に基づいて利用者に所定のサービスを提供するものである。提供するサービスとしては、任意のものを実行することができ、例えば、メールチェックサービスなどがあげられる。利用者認証情報には、利用者認証部１０７によって特定された利用者の利用者ＩＤが含まれるため、この利用者ＩＤを利用したサービスを提供するように構成することができる。また、利用者認証情報に語彙列が含まれる場合には、利用者の音声の発話内容をこの語彙列で示した命令として利用者ＩＤを使用したサービスを提供することができる。例えば、メールチェックサービスを行うように構成した場合には、語彙列からメールチェック命令であることを判断して、利用者ＩＤに対応する利用者のメールボックスを確認する等のサービス提供処理を行うことが可能である。一方、語彙識別情報を含まない利用者認証情報の場合には、サービス提供部１０９が以前に命令されたサービスの一環として何らかの結果を利用者に返すように構成することもできる。
【００７８】
（利用者識別の全体処理）
次に、以上のように構成された本実施の形態にかかる自律移動型ロボットによる利用者識別処理について説明する。図１０は、本実施の形態にかかる自律移動型ロボットによる利用者識別の全体処理の手順を示すフローチャートである。
【００７９】
まず、マイクロホン２０６，２０７，２０８によって音声を入力し、音響指向性形成部１０１によって音声データとその到来方向を示す方向情報からなる指向性音声情報が生成される（ステップＳ１００１）。語彙識別部１０３では、この指向性音声情報と語彙辞書１２３に基づいて語彙識別処理を行い、語彙識別結果と方向情報からなる語彙識別情報が出力される（ステップＳ１００２）。また、話者識別部１０４では、指向性音声情報と声紋辞書１２１に基づいて話者識別処理を行い、話者識別結果と方向情報からなる話者識別情報を出力する（ステップＳ１００３）。
【００８０】
一方、これと並行して、全天カメラ２０５では一定時間ごとに周囲を撮像して画像フレームが出力される（ステップＳ１００４）。そして顔識別部１０５によって、入力された画像フレームと顔辞書１２２に基づいて顔識別処理を行い、顔識別結果と方向情報からなる顔識別情報を出力する（ステップＳ１００５）。
【００８１】
次いで、領域追跡部１０６によって入力される画像フレームごとに同一性検証部１１０からの領域追加指令で指定された画像特徴領域の追跡が行われ、追跡状況を示す領域追跡情報が出力される（ステップＳ１００６）。
【００８２】
利用者の移動がない場合には、同一性検証部１１０の同方向性検証部１１１によって同方向性検証処理が行われ、同一人と検証された話者識別情報と顔識別情報とを組み合わせた同一組情報が出力される（ステップＳ１００７）。一方、利用者が移動している場合には、同一性検証部１１０の追跡同方向性検証部１１２によって領域追加命令が領域追跡部１０６に送出され、その結果としての領域追跡情報を領域追跡部１０６から受け取って、追跡同方向性検証処理が行われ、同一人と検証された話者識別情報と顔識別情報とを組み合わせた同一組情報が出力される（ステップＳ１００８）。
【００８３】
次いで、利用者認証部１０７によって、同一組情報における利用者が誰であるかを判断する利用者認証処理が行われ、特定された利用者ＩＤを含む利用者認証情報が出力される（ステップＳ１００９）。そして、サービス提供部１０９によって利用者認証情報によって特定された利用者に対して、例えばメールチェックサービス等のサービス提供処理が行われる（ステップＳ１０１０）。一方、辞書更新部１０８では同一組情報から更新が必要になった生体辞書の更新が行われ、生体辞書が強化される（ステップＳ１０１１）。
【００８４】
（指向性音声情報生成処理）
以下、上記全体処理で説明した各処理に詳細に説明する。まず、音響指向性形成部１０１による指向性音声情報の生成処理について説明する。図１１は、音響指向性形成部１０１による指向性音声情報の生成処理の手順を示すフローチャートである。
【００８５】
まず、マイクロホン２０６、２０７、２０８が音声を入力すると（ステップＳ１１０１）、音響指向性形成部１０１は、マイクロホン２０６、２０７、２０８から出力される入力音声の音声電気信号を周期的にＡ−Ｄ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ）変換し（ステップＳ１１０２）、Ａ−Ｄ変換により得られたデジタルの音声信号の瞬間振幅値を順次入力してＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎｐｕｔ  Ｆｉｒｓｔ−Ｏｕｔ）に蓄積していく（ステップＳ１１０３）。
【００８６】
そして、ＦＩＦＯに蓄積された振幅値データの中で、マイクロホン２０６と２０７による振幅値データが前段のビームフォーマ４１０、４２０、４３０に入力され、所定の指向性を与えられた振幅値データとして出力する第１の指向性形成処理が行われる（ステップＳ１１０４）。これにより、まず水平指向性範囲が求められる。
【００８７】
次に、後段のビームフォーマ４１１、４１２，４１３・・・、４２１、４２２，４２３・・・、４３１、４３２，４３３・・・の中では、前段のビームフォーマ４１０から出力された振幅値データとマイクロホン２０８による振幅値データが入力され、後段のビームフォーマ４１１、４１２，４１３・・・によって、所定の指向性を与えられた振幅値データとして出力する第２の指向性形成処理が行われる（ステップＳ１１０５）。これにより、垂直指向性範囲が求められ、第１の指向性形成処理で求められた水平指向性範囲と垂直指向性範囲の共通の範囲が入力音声の指向性範囲となる。
【００８８】
そして、音響指向性形成部１０１は、第２の指向性形成処理で後段の各ビームフォーマから出力された振幅値データが最大の振幅値データを音声区間の音声データとし、最大の振幅値データを出力する後段のビームフォーマを有する音響指向性形成モジュールのモジュール番号を、方向対応付けテーブルを参照して指向性範囲の領域番号に変換して方向情報とする。そして、音響指向性形成部１０１は、この音声区間の音声データと方向情報とからなる指向性音声情報を生成して出力する（ステップＳ１１０６）。
【００８９】
このように、音響指向性形成部１０１の各音響指向性形成モジュール１０２から出力される指向性音声情報には、音声データの他に、音響指向性形成モジュール１０２の指向性範囲を表す方向情報が含まれるので、指向性音声情報を入力して使用する語彙識別部１０３、話者識別に１０４は、入力した指向性音声情報から音声データの到来方向を容易に把握することが可能である。
【００９０】
（語彙識別処理）
次に、語彙識別部１０３による語彙識別処理について説明する。図１２は、語彙識別部１０３による語彙識別処理の手順を示すフローチャートである。
【００９１】
まず、語彙識別部１０３は、音響指向性形成部１０１によって出力される新規の指向性音声情報を入力する（ステップＳ１２０１）。そして、入力された指向性音声情報に設定されている音声データと語彙辞書１２３に登録されている利用者ごとの発話内容を示す語彙列と照合して、音声データと語彙列ごとの類似度を求め、最大類似度となる語彙列を取得する（ステップＳ１２０２）。
【００９２】
次に、最大類似度が所定の閾値以上であるか否かを判断する（ステップＳ１２０３）。そして、最大類似度が閾値以上である場合には（ステップＳ１２０３：Ｙｅｓ）、この語彙列を語彙識別結果として認定し、この語彙列と指向性音声情報に設定された方向情報とからなる語彙識別情報を生成して出力する（ステップＳ１２０４）。
【００９３】
一方、ステップＳ１２０３において、最大類似度が閾値より小さい場合には（ステップＳ１２０３：Ｎｏ）、語彙不明ＩＤを語彙識別結果とし、この語彙識別結果と指向性音声情報に設定された方向情報とからなる語彙識別情報を生成して出力する（ステップＳ１２０５）。
【００９４】
なお、この語彙識別情報は、サービス提供部１０９におけるサービス提供処理の際に、サービスに関する命令として使用することができる。
【００９５】
（話者識別処理）
次に、話者識別部１０４による話者識別処理について説明する。図１３は、話者識別部１０４による話者識別処理の手順を示すフローチャートである。
【００９６】
まず、話者識別部１０４は、音響指向性形成部１０１によって出力される新規の指向性音声情報を入力する（ステップＳ１３０１）。そして、入力された指向性音声情報に設定されている音声データを、フレーム長Ｆ、フレーム間隔ＤでＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：離散フーリエ変換）処理を行い、Ｆ／２個の要素からなる短時間パワースペクトルを時系列的に並べた音声データに変換する（ステップＳ１３０２）。
【００９７】
次いで、このパワースペクトル列に変換された音声データと話者辞書１２１に登録されている利用者ＩＤごとの声紋パターンと照合して、利用者ＩＤごとに音声データと利用者ＩＤの声紋パターンとの一致度を示す類似度を求め、類似度で上位Ｎ位（Ｎは任意の整数）までの利用者ＩＤの一覧を取得する（ステップＳ１３０３）。
【００９８】
次に、利用者ＩＤの一覧の中の最大類似度が所定の閾値以上であるか否かを判断する（ステップＳ１３０４）。そして、最大類似度が閾値以上である場合には（ステップＳ１３０４：Ｙｅｓ）、この上位Ｎ位までの利用者ＩＤと利用者ＩＤに対応した各類似度からなる列を話者識別結果として認定し、この各利用者ＩＤと各類似度からなる列と指向性音声情報に設定された方向情報とからなる話者識別情報を生成して出力する（ステップＳ１３０５）。
【００９９】
一方、ステップＳ１３０４において、最大類似度が所定の閾値より小さい場合には（ステップＳ１３０４：Ｎｏ）、人物不明ＩＤを話者識別結果とし、この話者識別結果と指向性音声情報に設定された方向情報とからなる話者識別情報を生成して出力する（ステップＳ１３０６）。
【０１００】
ここで、ステップＳ１３０３において行われる音声データと声紋辞書１２１との照合について説明する。図１４は、入力された音声データからパワースペクトル列に変換された音声データの一例を示す説明図である。１４０１は、「こんにちはアプリ君」と発声した男性Ａの声紋パターンを示している。図１４からわかるように、人物の音声の大部分の期間は基本周波数とその高調波から成る調波構造を有している。そして、調波構造の大部分の期間は母音のパワースペクトルで構成され、個人性が反映される。
【０１０１】
図１５−１は、男性Ａが「あいうえお」と発声した場合の声紋パターン１４０２の一例を示す説明図であり、図１５−２は、女性Ｂが「あいうえお」と発声した場合の声紋パターン１４０３の一例を示す説明図である。両図からわかるように、男性よりも女性の方が調波構造の間隔が広い、すなわち基本周波数が高い。
【０１０２】
このように、調波構造の大部分の期間は母音のパワースペクトルで構成され個人性が反映さるため、生体辞書記憶部１２０に格納されている声紋辞書１２１には、図１５−１や図１５−２で示すような母音を発声した場合の声紋パターンが利用者ごと（利用者ＩＤごと）に登録されている。
【０１０３】
声紋辞書１２１は、各利用者がその言語の全ての母音を発声した教示用の音声データから時系列的に得られる短時間パワースペクトルの集合に基づいて生成されている。日本語の場合、教示用の音声データは５つの母音を含む「あいうえお」と発声した音声データとなる。短時間パワースペクトルの時系列データ中の時刻ｔのパワースペクトルＳ（ｔ）はＦ／２次元のベクトルとしてノルム正規化される。ここでＦはＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）で短時間パワースペクトルを計算する際に使用される音声データ数（フレーム長）である。ノルム正規化された各ベクトルＶ（ｔ）を行ベクトルとすると、ベクトルＶ（ｔ）の自己相関行列は、（１）式で示される。
【０１０４】
【数１】
2006263348.tif 000003
このとき、スペクトルの全パワーの合計が所定の閾値未満しかない区間を除いた時刻の自己相関行列Ｐ（ｔ）を全て加算して相関行列Ｑを（２）式のように算出する。
【０１０５】
【数２】
2006263348.tif 000004
この相関行列Ｑを主成分分析して得られる固有ベクトルのうち、対応する固有値の大きい順に上位Ｍ位までの固有ベクトルを抽出すると、このＭ本の固有ベクトルで張られる部分空間（次元数Ｍの辞書部分空間）が、当該教示用音声データから生成される声紋辞書１２１となる。
【０１０６】
図１６は、話者識別処理における辞書部分空間と入力部分空間の生成手法について示す説明図である。図１６に示すように、「あいうえお」と発声した短時間パワースペクトルの時系列データ１４０２は、各時刻の短時間パワースペクトルの列である。このうち、パワーが所定の閾値未満しかない区間を除いた短時間パワースペクトルが１６１１〜１６１５の部分である。各部分１６１１〜１６１５は左から順に「あ」、「い」、「う」、「え」、「お」に対応している。これを教示データ１６１６として辞書部分空間１６１７が生成される。
【０１０７】
入力された音声データからも同様の方法で部分空間（次元数Ｋの入力部分空間）が生成される。入力音声の短時間パワースペクトルの時系列１４０１も、図１６に示すように各時刻の短時間パワースペクトルの列である。このうち、パワーが所定の閾値未満しかない区間を除いた短時間パワースペクトルが１６２１〜１６２４の部分である。これを入力データ１６２５として入力部分空間１６２７が生成される。
【０１０８】
図１７は、話者識別処理における相互部分空間法の概念を示した説明図である。話者識別処理における声紋辞書１２１との照合の際には、図１７に示すように、入力部分空間１６２７と利用者ごとの辞書部分空間１６１７の正準角１７３１を類似度として計算する「相互部分空間法」で類似度が算出される。
【０１０９】
上述のステップＳ１３０３では、入力部分空間１６２７を、声紋辞書１２１の全ての利用者ＩＤの辞書部分空間１６１７の教示データ１６１６と照合してそれぞれの類似度を算出し、類似度が所定の閾値以上となるものを最大類似度の利用者ＩＤから上位Ｎ位までの利用者ＩＤを抽出する。このように声紋辞書１２１との照合の単位を部分空間とし、声紋辞書１２１に母音を学習させて登録しておくことにより、発話内容に左右されにくい話者識別が可能になる。
【０１１０】
なお、上述した相互部分空間法は、非特許文献「福井和広, 山口修, “部分空間法の理論拡張と物体認識への応用”, 情報処理学会研究報告, 2004-CVIM-145, pp219-228, 2004」において詳述された手法を使用している。
【０１１１】
（顔識別処理）
次に、顔識別部１０５による顔識別処理について説明する。図１８は、顔識別部１０５による顔識別処理の手順を示すフローチャートである。
【０１１２】
まず、顔識別部１０５は、全天カメラ２０５によって撮像された画像フレームを入力し（ステップＳ１８０１）、画像フレームを予め定められた顔画像が存在する領域を示す顔テンプレートと照合することにより画像フレーム中から顔テンプレートと同等若しくは近似している領域である顔領域を検出する（ステップＳ１８０２）。この際、直前に入力された画像フレームにおいて既に検出されている顔領域が存在する場合には、まず顔領域の近傍のみで顔テンプレートを照合する顔追跡処理を行う。そして追跡対象となっていない残りの領域に対しては顔テンプレートを走査しつつ照合することにより顔領域の探索処理を行う。
【０１１３】
この結果、顔領域が検出されたか否かを判断し（ステップＳ１８０３）、顔領域が検出されていない場合には（ステップＳ１８０３：Ｎｏ）、次の画像フレームの入力を待つ。一方、顔領域が検出された場合には（ステップＳ１８０３：Ｙｅｓ）、顔領域の画像中心位置の座標を求め、方向対応付けテーブルを参照して当該座標が含まれる「領域の画像中心位置の座標範囲」に対応する領域番号を方向情報として設定する（ステップＳ１８０４）。
【０１１４】
次いで、この顔領域の顔画像と顔辞書１２２に登録されている利用者ＩＤごとの顔画像パターンと照合して、利用者ＩＤごとに顔画像と利用者ＩＤの顔画像パターンとの一致度を示す類似度を求め、類似度で上位Ｎ位（Ｎは任意の整数）までの利用者ＩＤの一覧を取得する（ステップＳ１８０５）。
【０１１５】
次に、利用者ＩＤの一覧の中の最大類似度が所定の閾値以上であるか否かを判断する（ステップＳ１８０６）。そして、最大類似度が閾値以上である場合には（ステップＳ１８０６：Ｙｅｓ）、この上位Ｎ位までの利用者ＩＤと利用者ＩＤに対応した各類似度からなる列を顔識別結果として認定し、この各利用者ＩＤと各類似度からなる列とステップＳ１８０４で設定した方向情報とからなる顔識別情報を生成して出力する（ステップＳ１８０７）。
【０１１６】
一方、ステップＳ１８０６において、最大類似度が所定の閾値より小さい場合には（ステップＳ１８０６：Ｎｏ）、人物不明ＩＤを顔識別結果とし、この顔識別結果とステップＳ１８０４で設定した方向情報とからなる顔識別情報を生成して出力する（ステップＳ１８０８）。
【０１１７】
ここで、ステップＳ１８０５において行われる顔画像と顔辞書１２２との照合について説明する。画像フレームから顔領域が初めて検出されて以後、追跡されている各顔領域から次々切り出される顔画像パターンを、Ｌ×Ｌ画素に大きさを正規化した後、これをＧ次元（Ｇ＝Ｌ×Ｌである）のベクトルとしてノルム正規化する。同一の顔画像を時系列的に追跡することによって得られる多数のノルム正規化ベクトルを使用して、上述の話者識別処理と同様に、相関行列を主成分分析して部分空間（入力部分空間）を得る。
【０１１８】
図１９は、顔識別処理における相互部分空間法の概念を示す説明図である。図１９に示すように、追跡中の顔画像パターンは、時系列で得られる顔画像パターン列１９４１を形成し、この顔画像パターン列１９４１を入力データとして入力部分空間１９４２が生成される。顔辞書１２２も同様に、実際に利用者の顔を撮像して得られた教示用の顔画像パターン列１９４３を教示データとして辞書部分空間１９４４を生成する。顔識別処理は、この入力部分空間１９４２と利用者（利用者ＩＤ）ごとの辞書部分空間１９４４の正準角１９４５を類似度として計算する「相互部分空間法」で類似度が算出される。
【０１１９】
上述のステップＳ１８０５では、入力部分空間１９４２を、顔辞書１２２の全ての利用者ＩＤの辞書部分空間１９４４の顔画像パターン列１９４３と照合してそれぞれの類似度を算出し、類似度が所定の閾値以上となるものを最大類似度の利用者ＩＤから上位Ｎ位までの利用者ＩＤを抽出する。
【０１２０】
（領域追跡処理）
次に、領域追跡部１０６による領域追跡処理について説明する。図２０は、領域追跡部１０６による領域追跡処理の手順を示すフローチャートである。領域追跡部１０６は、同一性検証部１１０から領域追加命令を受け取ると（ステップＳ２００１）、受け取った領域追加命令から画像テンプレートと初期位置とを取得する（ステップＳ２００２）。ここで、領域追加命令とは、同一性検証部１１０によいて、追跡すべき画像特徴領域とそのサイズを示す画像テンプレートと、画像テンプレートの初期値からなる追跡を行う旨の命令である。追跡対象となる画像特徴領域は、顔領域の検出された方向に見える画像領域や音声の検出された方向に見える画像領域であり、特徴的な画像を有する領域である。
【０１２１】
領域追跡部１０６は、領域追加命令を受け取ると、この命令を受理した時刻以降に画像フレームを入力すると（ステップＳ２００３）、領域追加命令で示された初期位置の近傍で与えられた画像テンプレートに最もかつ十分似た領域を探索する（ステップＳ２００４）。
【０１２２】
探索の結果、このような領域が検出された場合には（ステップＳ２００５：Ｙｅｓ）、検出された新たな領域の検出方向の位置を初期位置に設定し（ステップＳ２００６）、新たな領域の検出方向を領域追跡情報として出力する（ステップＳ２００７）。これ以降は、この初期位置で、入力される画像フレームから画像特徴領域の探索が行われる。
【０１２３】
一方、ステップＳ２００５において、領域追加命令で示された初期位置の近傍で与えられた画像テンプレートに最もかつ十分似た領域が検出されなかった場合には（ステップＳ２００５：Ｎｏ）、画像テンプレートの画像特徴領域を追跡対象から除外し（ステップＳ２００８）、追跡対象を見失った旨を領域追跡情報として出力する（ステップＳ２００９）。
【０１２４】
ここで、領域追跡処理について具体的な例を用いて説明する。図２１−１及び図２１−２は、領域追加命令によって行われる画像特徴領域の設定例を示す模式図である。図２１−１は、全天画像中の顔の検出方向近傍や音声の検出方向近傍を広視野の全天画像から切り出して模式的に示しており、顔領域が見えている場合である。図２１−１の例では、正面を向いている人物２１０の抽出された顔領域２１１を中心にした所定の領域２１２が画像特徴領域として設定される。また、図２１−２は、音声が聞こえた場合であり、横を向いていて顔の見えない人物２１３の口元付近を指向性範囲２１４として設定されており、この指向性範囲２１４を中心にした所定の領域２１５が画像特徴領域として設定される。
【０１２５】
図２２−１、図２２−２は、領域追跡処理の例を示す模式図である。図２２−１は、画像テンプレートが生成されたときの状態を表している。この例では正面を向いている人物２２０の抽出された顔領域２２１を中心にした所定の領域２２２が画像特徴領域として設定される。次に、図２２−２に示すように人物２２０が横を向いて移動を開始してしまったために顔が検出できなくなるが、図２２−１で生成された画像テンプレートを用いることにより、これに最も近い性質を持つ領域２２３が検出されて顔の見えなくなった人物の移動を追跡することができる。
【０１２６】
なお、上述の領域追跡の処理は、同一性検証部１１０の追跡同方向性検証部１１２による追跡同方向性検証処理がおこなわれる場合に実行される。同一性検証部１１０の同方向性検証部１１１による同方向性検証処理がおこなわれる場合には、領域追跡部１０６は画像特徴領域の追跡は行わずに、先に取得した話者識別情報や顔識別情報に設定された方向情報を検出方向として同方向性検証部１１２に登録する処理を行う。
【０１２７】
（同方向性検証処理）
次に同一性検証部１１０の同方向性検証部１１１による同方向性検証処理について説明する。図２３は、同方向性検証部１１１による同方向性検証処理の手順を示すフローチャートである。
【０１２８】
まず、同方向性検証部１１１では、領域追跡部１０６によって、既に登録済みの検出方向の有効期限が経過しているか否かを判断する（ステップＳ２３０１）。ここで、検出方向としては、現在の時点で話者識別情報と顔識別情報の生体識別情報のうち先に取得している生体識別情報に設定された方向情報がその有効期限とともに領域追跡部１０６によって登録されている。有効期限は、生体識別情報を同一性検証処理として使用できる期間を示すものである。
【０１２９】
そして、有効期限を経過している場合には（ステップＳ２３０１：Ｙｅｓ）、登録済みの検出方向は同一性検証処理に使用できないとして登録を抹消し（ステップＳ２３０２）、新たな話者識別情報あるいは新たな顔識別情報の取得待ち状態となる（ステップＳ２３０３）。
【０１３０】
一方、ステップＳ２３０１において、登録済みの検出方向の有効期限内である場合には（ステップＳ２３０１：Ｎｏ）、検出方向の抹消は行わず、新たな話者識別情報あるいは新たな顔識別情報の取得待ち状態となる（ステップＳ２３０３）。
【０１３１】
そして、新たな話者識別情報あるいは新たな顔識別情報を取得した場合には（ステップＳ２３０３：Ｙｅｓ）、取得した新たな話者識別情報または新たな顔識別情報に設定された方向情報と登録済みの検出方向を照合する（ステップＳ２３０４）。そして、方向の差が予め定められた閾値以下であるか否かを判断する（ステップＳ２３０５）。
【０１３２】
方向の差が予め定められた閾値以下である場合には（ステップＳ２３０５：Ｙｅｓ）、新たに取得した生体識別情報の方向情報が登録済みの検出方向（先に取得した生体情報の方向情報）と略同一であるとみなして、当該略同一方向に検出された話者識別情報と顔識別情報からなる同一組情報内のいずれか対応する生体識別情報が新たに取得した話者識別情報または顔識別情報で置換され、かつその有効期限が延長されることにより同一組情報が更新され（ステップＳ２３０６）、同一組情報を出力する（ステップＳ２３０７）。
【０１３３】
一方、ステップＳ２３０５において、方向が予め定められた閾値より大きい場合には（ステップＳ２３０５：Ｎｏ）、略同一であると見なすべき検出方向がないと判断し、新たに取得した話者識別情報または顔識別情報に設定された方向情報を新たな検出方向として登録し（ステップＳ２３０８）、この検出方向を指定した領域追加命令を領域追跡部１０６に出力する（ステップＳ２３０９）。そして、新たに取得した話者識別情報または顔識別情報およびその有効期限で同一組情報を更新し（ステップＳ２３１０）、同一組情報を出力する（ステップＳ２３０７）。
【０１３４】
ステップＳ２３０８において新たに登録された検出方向は、以降、その有効期限が切れてステップＳ２３０１およびＳ２３０２によって有効期限が経過して登録を抹消されるまで、新たに取得した話者識別情報や顔識別情報に対して方向の同一性の判断に使用される。
【０１３５】
なお、同一性検証処理が最初におこなわれる場合には、上記同一組情報の更新処理（ステップＳ２３０６、Ｓ２３１０）において、先に取得した生体識別情報と新たに取得した生体識別情報とにより同一組情報が生成されることになる。また、話者識別情報に設定された方向情報と同一の方向情報が設定された語彙識別情報が語彙識別部１０３から出力されている場合には、当該語彙識別情報が同一組情報に付加される。さらに、話者識別情報と顔識別情報の両方が取得できなかった場合には、取得できなかった方の生体識別情報を空欄とした同一組情報が出力される。このようにして更新・生成された同一組情報は、後述する辞書更新処理および利用者認証処理において使用される。
【０１３６】
上述した同方向性検証処理において具体例をあげて説明する。入力された音声の方向は音響指向性形成モジュール１０２のモジュール番号に対応した領域番号が話者識別情報の方向情報に付加されており、入力された顔画像の方向も顔は画像中の顔画像の中心位置に対応した領域番号が顔識別情報に付加されている。このため、本実施の形態にかかる自律移動型ロボットでは、利用者の音声と顔画像のそれぞれから独立に利用者を特定するとともに、利用者の音声の方向と利用者の顔の方向を独立に取得している。特に、音声と顔画像の方向を独立して特定することにより、従来の利用者識別装置による同時性による同一性検証による問題を解決している。
【０１３７】
本実施の形態にかかる自律移動型ロボットは、利用者をその音声から特定するとともに、周囲のどの方向にこの利用者が存在しているのかを入力音声のみから把握することができる。また、本実施の形態にかかる自律移動型ロボットは、利用者をその撮像した顔画像から特定するとともに、周囲のどの方向にこの利用者が存在しているのかを撮像した顔画像のみから把握することができる。すなわち、音声と顔画像とにより、それぞれ別個に利用者を特定し、かつそれぞれ別個に利用者の存在する方向を特定している。
【０１３８】
仮に、このように特定された利用者（あるいは未知の人物）がほとんど移動しない場合を仮定すると、この利用者の顔と音声が時間的に間隔を空けて検出されたとしてもほぼ同方向に検出されることで両者は同一人物のものであるとみなすことができる。また、仮に、この利用者の顔画像が検出可能な期間に音声が聞こえたり、音声が聞こえている期間に顔画像も検出された場合には、両者は当然ほぼ同方向に検出されるので同一人物のものであるとみなすことができ、同方向性による同一性の検証が可能となる。
【０１３９】
この同方向性による同一性の検証は、顔画像による利用者識別結果と音声による利用者識別結果が一致しない場合でも、両者が方向において同一であることから両者が同一人物の生体情報であることがわかり、２つの識別結果が一致しないことが問題であることを知ることのできる有効な手段となり、生体辞書の更新に利用することができる。
【０１４０】
例えば、本実施の形態にかかる自律移動型ロボットの方を向いた利用者Ａが存在し、自律移動型ロボットがこの利用者Ａの顔画像を検出していた場合であって、自律移動型ロボットに用のある利用者Ａがロボットの方を向きながら「メール届いてる？」と話した場合を考える。この場合には、顔が検出されている方向から利用者の音声が到来することになる。図２４−１は、顔が検出されている方向から利用者の音声が到来した場合を示す模式図である。図２４−１に示すように、自律移動型ボットの本体２０１を中心に設定される仮想的なドーム２４９０上の点２４４１の方向に利用者Ａの顔（の中心）があり、ある指向性範囲の中心点２４４２の方向に利用者Ａの音声が検出されることになる。このとき、同一性検証部１１０の同方向性検証部１１１は、点２４４１を中心に設定される所定半径の円形近傍領域２４４３内に点２４４２が含まれている、すなわち先に取得した顔識別情報の方向情報と後に取得した話者識別情報の方向情報が一致していると判断し、顔画像と音声の検出方向が略同一であるとの判断することによって、この顔画像の利用者と音声の利用者は同一人物であることが検証される。
【０１４１】
一方、例えば、本実施の形態にかかる自律移動型ロボットの方を向いた利用者Ａが存在し、自律移動型ロボットがこの利用者Ａの顔画像を検出していた場合に、この利用者Ａが横を向いていて顔の見えない別の利用者Ｂが「メール届いてる？」と発声した場合を考える。図２４−２は、顔が検出されている方向と別の方向から別の利用者の音声が到来した場合を示す模式図である。
【０１４２】
この場合、利用者Ａと利用者Ｂが方位的に離れて位置している場合には、顔画像が検出されている方向とは別の方向から音声が到来することになる。すなわち、図２４−２に示すように、自律移動型ボットの本体２０１を中心に設定される仮想的なドーム２４９０上の点２４４４の方向に利用者Ａの顔があり、当該点２４４４から離れた指向性範囲の中心点２４４５の方向から利用者Ｂの音声が検出されることになる。従来の同時性による同一性の検証を行う従来の利用者識別装置では、このような場合でも顔画像が検出されている短期間に検出された音声この顔画像の利用者と同一人の音声であると誤って判断されてしまう。
【０１４３】
しかしながら、本実施の形態にかかる自律移動型ロボットでは、同方向性による同一性の検証を行っているので、同方向性検証部１１１によって、点２４４４を中心に設定される所定半径の円形近傍領域２４４６内に点２４４５が含まれていない、すなわち顔識別情報の方向情報と話者識別情報の方向情報が一致しないと判断し、これによりこの顔画像と音声はその検出方向が十分離れていることから同一人物のものではないことを判断している。
【０１４４】
なお、前記円形近傍領域の半径は所定の固定値、例えば角度で５度のように設定するものとするが、顔画像が検出されている場合には、当該顔画像のサイズから所定の演算によって円形近傍領域の半径を定めるように構成することができる。例えば、顔の中心（およそ鼻の頭付近）と口中心の間の距離（約５ｃｍ）より大きく、かつ１つの指向性範囲の大きさ以下に円形近傍領域の半径を定めるように構成してもよい。
【０１４５】
また、例えば、本実施の形態の自律移動型ロボットの方を向いた利用者Ａが存在し、自律移動型ロボットは当該利用者Ａの顔を検出していた場合を考える。そのうちに利用者Ａが何かに注意を惹かれて横を向いてしまったため、自律移動型ロボットは利用者Ａの顔を検出できなくなったが、その後しばらくして利用者Ａが横を向いたまま「ちょっとこの部屋暑いな」と発声した場合を考える。この場合には、以前に顔が検出され識別されていた方向から今度は音声が到来することになるので、先に取得した顔識別情報の方向情報と後に取得した話者識別情報の方向情報が一致していると判断し、顔画像と音声の検出方向が略同一であるとの判断することによって、この顔画像の利用者と音声の利用者は同一人物であることが検証される。
【０１４６】
このように、本実施の形態にかかる同方向性検証部１１１により同方向性による同一性の検証処理によれば、利用者が移動しない限り音声と顔の検出時刻がほぼ同時でなくても同一人の検証が可能なため、従来の同時性による同一性の検証を行う利用者識別装置に比べて同一人の検証を正確に行うことができる。
【０１４７】
（追跡同方向性検証処理）
次に同一性検証部１１０の追跡同方向性検証部１１２による追跡同方向性検証処理について説明する。
【０１４８】
利用者がほとんど移動しない場合には、上述した同方向性検証部１１１による同方向性検証処理によって利用者の同一性を正確に判断することができる。しかしながら、実際には利用者は移動するので、同方向性だけでは同一人の検証は不可能である。すなわち、一度検出されたある生体情報が途中で見失われ、その間に利用者が移動してしまい、同一人物の別種類の生体情報が、この移動によって別の方向から検出されたとき、同方向性検証処理では両者の同一性を検証することができない。
【０１４９】
このため、本実施の形態にかかる自律移動型ロボットでは、画像特徴領域を追跡しながら複数の生体識別情報の方向情報が一致するか否かを判断することにより、同一性検証を行う追跡同方向性検証処理を行っている。
【０１５０】
顔は正面を向いているタイミングのときだけ検出可能であり、音声は発話したタイミングのときだけ検出可能である。このように、自律移動型ロボットが利用者を識別するための生体情報は、利用者がロボットの側に存在するときであっても常に検出できるとは限らない。
【０１５１】
そこで、本実施の形態では、生体情報よりも安定した検出が可能な別の手がかりを使用して利用者の移動を追跡している。この移動のための手がかりは、生体情報である音声や顔と実際に関連性を有する必要があり、本実施の形態では、音声や顔の検出方向近傍に観測される画像的特徴に基づいて利用者の移動を追跡している。このような画像的特徴としては、音声や顔の利用者の着衣や肌や頭髪などの部分に相当し、画像的特徴は、利用者が横を向いても口をつぐんでも、より長期間安定に検出できることができる。すなわち、生体情報の検出をトリガにして、その検出方向の画像的特徴を認識して利用者の移動を追跡している。
【０１５２】
このように、生体情報とは別のより安定に検出できそる画像的特徴に基づいて生体情報の発信者である利用者の移動を追跡しているので、ある時刻にある方向に検出されたある生体情報の発信源が、別の時刻ではどの方向に移動したかを把握することができる。
【０１５３】
図２５は、追跡同方向性検証部１１２による追跡同方向性検証処理の手順を示すフローチャートである。
【０１５４】
まず、追跡同方向性検証部１１２では、領域追跡部１０６から追跡情報を取得する（ステップＳ２５０１）。そして、取得した追跡情報の中に画像特徴領域の検出方向が含まれているか否かを判断する（ステップＳ２５０２）。ここで、追跡情報の中に画像特徴領域は、先に取得した生体識別情報から後述するステップＳ２５１０で生成された画像特徴領域である。
【０１５５】
そして、追跡情報の中に画像特徴領域の検出方向が含まれていると判断した場合には（ステップＳ２５０２：Ｙｅｓ）、追跡中の画像特徴領域の初期位置を取得した追跡情報の検出方向で更新し（ステップＳ２５０３）、新たな話者識別情報あるいは新たな顔識別情報の取得待ち状態となる（ステップＳ２５０５）。
【０１５６】
一方、ステップＳ２５０２において、追跡情報の中に画像特徴領域の検出方向が含まれていないと判断した場合（ステップＳ２５０２：Ｎｏ）、すなわち追跡対象の画像特徴領域を見失った旨が含まれている場合には、現在追跡中の画像特徴領域を追跡対象から削除し（ステップＳ２５０４）、新たな話者識別情報あるいは新たな顔識別情報の取得待ち状態となる（ステップＳ２５０５）。
【０１５７】
そして、新たな話者識別情報あるいは新たな顔識別情報を取得した場合には（ステップＳ２５０５：Ｙｅｓ）、追跡中の画像特徴領域の初期位置と取得した新たな話者識別情報または新たな顔識別情報に設定された方向情報を照合し（ステップＳ２５０６）、方向の差が予め定められた閾値以下であるか否かを判断する（ステップＳ２５０７）。ここで、新たな話者識別情報または新たな顔識別情報が画像特徴領域の生成元となった先に取得した生体識別情報に対して後に取得した生体情報となる。
【０１５８】
方向の差が予め定められた閾値以下である場合には（ステップＳ２５０７：Ｙｅｓ）、新たに取得した生体識別情報の方向情報が画像特徴領域の検出方向と略同一であるとみなして、当該略同一方向に検出された話者識別情報と顔識別情報からなる同一組情報内のいずれか対応する生体識別情報が新たに取得した話者識別情報または顔識別情報で置換されることにより同一組情報が更新され（ステップＳ２５０８）、同一組情報が出力される（ステップＳ２５０９）。
【０１５９】
一方、ステップＳ２５０７において、方向の差が予め定められた閾値より大きい場合には（ステップＳ２５０７：Ｎｏ）、新たに取得した話者識別情報又は顔識別情報から画像の特徴的部分である領域を抽出した新たな画像特徴領域を生成し（ステップＳ２５１０）、新たな画像特徴領域とそのサイズとからなる画像テンプレートと新たに生成された画像特徴領域の初期位置とを含む領域追加命令を領域追跡部１０６に送出する（ステップＳ２５１１）。初期位置としては画像特徴領域の画像中心位置座標を設定する。なお、この新たに生成された画像特徴領域の生成元となる生体識別情報が先に取得した生体識別情報となる。そして、新たに取得した話者識別情報または顔識別情報で同一組情報を更新し（ステップＳ２５１２）、同一組情報を出力する（ステップＳ２５０９）。
【０１６０】
なお、同一性検証処理が最初におこなわれる場合には、上記同一組情報の更新処理（ステップＳ２５０８、Ｓ２５１２）において、先に取得した生体識別情報と新たに取得した生体識別情報とにより同一組情報が生成されることになる。また、話者識別情報に設定された方向情報と同一の方向情報が設定された語彙識別情報が語彙識別部１０３から出力されている場合には、当該語彙識別情報が同一組情報に付加される。さらに、話者識別情報と顔識別情報の両方が取得できなかった場合には、取得できなかった方の生体識別情報を空欄とした同一組情報が出力される。このようにして更新・生成された同一組情報は、後述する辞書更新処理および利用者認証処理において使用される。
【０１６１】
（辞書更新処理）
次に、辞書更新部１０８による生体辞書の更新処理について説明する。図２６は、辞書更新部１０８による生体辞書の更新処理の手順を示すフローチャートである。まず、辞書更新部１０８では、同一性検証部１１０から出力された同一組情報を入力し（ステップＳ２６０１）、同一組情報に話者識別情報が存在するか否かを調べる（ステップＳ２６０２）。そして、話者識別情報が同一組情報に存在しない場合には（ステップＳ２６０２：Ｎｏ）、次の同一組情報の入力待ち状態となる。一方、話者識別情報が同一組情報に存在する場合には（ステップＳ２６０２：Ｙｅｓ）、さらに顔識別情報が同一組情報に存在するか否かを調べる（ステップＳ２６０３）。
【０１６２】
そして、顔識別情報が同一組情報に存在しない場合には（ステップＳ２６０３：Ｎｏ）、次の同一組情報の入力処理待ち状態となる。一方、顔識別情報が同一組情報に存在する場合には（ステップＳ２６０３：Ｙｅｓ）、同一組情報に含まれる話者識別情報の話者識別結果に人物不明ＩＤが設定されているか否かを調べる（ステップＳ２６０４）。
【０１６３】
そして、話者識別情報の話者識別結果に人物不明ＩＤが設定されている場合には（ステップＳ２６０４：Ｙｅｓ）、同一組情報に含まれる顔識別情報の顔識別結果に人物不明ＩＤが設定されているか否かを調べる（ステップＳ２６０５）。
【０１６４】
そして、顔識別情報の顔識別結果に人物不明ＩＤが設定されている場合には（ステップＳ２６０５：Ｙｅｓ）、同一組情報の顔識別情報によっても話者識別情報によっても利用者を特定できないため、次の同一組情報の入力処理待ち状態となる。一方、顔識別情報の顔識別結果に人物不明ＩＤが設定されていない場合には（ステップＳ２６０５：Ｎｏ）、声紋辞書１２１を更新して強化する（ステップＳ２６０６）。具体的には、顔識別情報、すなわち顔のみによって利用者識別が成功したと判断し、声紋辞書１２１において、顔識別情報の最大類似度を有する利用者ＩＤに対応する声紋パターンに、同一組情報に含まれる音声データを登録することによって、声紋辞書１２１を更新して強化する。
【０１６５】
ステップＳ２６０４において、同一組情報の話者識別情報に人物不明ＩＤが設定されない場合には（ステップＳ２６０４：Ｎｏ）、さらに同一組情報の顔識別情報に人物不明ＩＤが設定されているか否かを調べる（ステップＳ２６０７）。
【０１６６】
そして、同一組情報の顔識別情報に人物不明ＩＤが設定されている場合には（ステップＳ２６０７：Ｙｅｓ）、顔辞書１２２を更新して強化を図る（ステップＳ２６０８）。具体的には、この場合、話者識別情報のみによって、すなわち音声のみによって利用者識別が成功したと判断して、顔辞書１２２において、顔識別情報の最大類似度を有する利用者ＩＤに対応する顔画像パターンを、同一組情報に含まれる画像データを登録することによって顔辞書１２２の更新を行い強化する。
【０１６７】
ステップＳ２６０７において、同一組情報の顔識別情報に人物不明ＩＤが設定されていない場合には（ステップＳ２６０７：Ｎｏ）、顔によっても音声によっても利用者識別が成功したと判断して、同一組情報の話者識別情報に設定された最大類似度を有する利用者ＩＤと顔識別情報に設定された最大類似度を有する利用者ＩＤとが不一致であるか否かを調べる（ステップＳ２６０９）。
【０１６８】
そして、同一組情報の話者識別情報に設定された最大類似度を有する利用者ＩＤと顔識別情報に設定された最大類似度を有する利用者ＩＤとが不一致である場合には（ステップＳ２６０９：Ｙｅｓ）、最大類似度の小さい生体辞書を更新して強化する（ステップＳ２６１０）。具体的には、この場合には、最大類似度の小さい方の生体辞書が劣化していると判断し、最大類似度の大きい方の利用者ＩＤに対応する他方の生体辞書に、同一組情報に含まれている音声データと顔画像データのうちこの生体辞書に対応したデータを登録して生体辞書を更新し強化を図る。
【０１６９】
ステップＳ２６０９において、同一組情報の話者識別情報に設定された最大類似度を有する利用者ＩＤと顔識別情報に設定された最大類似度を有する利用者ＩＤとが一致する場合には（ステップＳ２６０９：Ｎｏ）、いずれの生体辞書（声紋辞書１２１、顔辞書１２２）も劣化しておらず十分な類似度を出力する良好な状態であると判断して、次の同一組情報の入力待ち状態となる。
【０１７０】
ここで、各生体辞書の更新は次のような手法で行われる。上述した通り、生体辞書である声紋辞書１２１と顔辞書１２２は、教示データから生成された部分空間である。このとき、生体辞書の更新は、新たに学習させるべきデータを既に生成されている辞書部分空間に加えることになるため、辞書部分空間を生成するときに用いた相関行列を再度使用する。新規の教示データは辞書部分空間を生成するときと同様の処理を施されて自己相関行列化される。この自己相関行列を既に登録されている相関行列に加えて新しい相関行列を生成し、これを主成分分析して得られる固有ベクトルのうち、対応する固有値の大きい順に上位Ｍ位までの固有ベクトルを抽出する。この結果、新たに抽出されたＭ本の固有ベクトルで張られる部分空間は、これまでの教示データに加えて新たな教示データをも反映した辞書部分空間となる。
【０１７１】
このように、同一人の利用者に関する複数種類の生体情報（音声と顔画像）に関する話者識別情報と音声データと顔識別情報と画像データを同一組情報として含めることによって、各生体情報の識別結果を比較して同一人の利用者に関する劣化した、すなわち有効期限切れの生体辞書を検出し、入力中の当該利用者の生体情報を教示データとして用いることにより、劣化した生体辞書を自動的に再強化することができる。
【０１７２】
（利用者認証処理）
次に、利用者認証部１０７による利用者認証処理について説明する。図２７は、利用者認証部１０７による利用者認証処理の手順を示すフローチャートである。まず、利用者認証部１０７では、同一性検証部１１０から出力された同一組情報を入力し（ステップＳ２７０１）、同一組情報に含まれる話者識別情報の話者識別結果に人物不明ＩＤが設定されているか否かを調べる（ステップＳ２７０２）。
【０１７３】
そして、話者識別情報の話者識別結果に人物不明ＩＤが設定されている場合には、さらに顔識別情報の顔識別結果に人物不明ＩＤが設定されているか否かを調べる（ステップＳ２７０３）。そして、顔識別情報の顔識別結果に人物不明ＩＤが設定されている場合には（ステップＳ２７０３：Ｙｅｓ）、音声によっても顔によっても利用者を特定不可能であるため、次の同一組情報の入力待ち状態となる。
【０１７４】
一方、ステップＳ２７０３において、顔識別情報の顔識別結果に人物不明ＩＤが設定されていない場合には（ステップＳ２７０３：Ｎｏ）、顔のみによって利用者識別が成功したと判断して、同一組情報の顔識別情報に設定されている最大類似度を有する利用者ＩＤを認証結果とし（ステップＳ２７０４）、この利用者ＩＤを利用者認証情報に設定して利用者認証情報を出力する（ステップＳ２７０８）。
【０１７５】
ステップＳ２７０２において、同一組情報に含まれる話者識別情報の話者識別結果に人物不明ＩＤが設定されていない場合には（ステップＳ２７０２：Ｎｏ）、さらに顔識別情報の顔識別結果に人物不明ＩＤが設定されているか否かを調べる（ステップＳ２７０５）。
【０１７６】
そして、顔識別情報の顔識別結果に人物不明ＩＤが設定されている場合には（ステップＳ２７０５：Ｙｅｓ）、音声のみによって利用者識別が成功したと判断して、同一組情報の話者識別情報に設定されている最大類似度を有する利用者ＩＤを認証結果とし（ステップＳ２７０６）、この利用者ＩＤを利用者認証情報に設定して利用者認証情報を出力する（ステップＳ２７０８）。
【０１７７】
一方、ステップＳ２７０５において、顔識別情報の顔識別結果に人物不明ＩＤが設定されていない場合には（ステップＳ２７０５：Ｎｏ）、顔と音声の両方によって利用者識別が成功していると判断し、同一組情報の話者識別情報に設定されている最大類似度と顔識別情報に設定されている最大類似度のうち大きい方の最大類似度を有する利用者ＩＤを認証結果とし（ステップＳ２７０７）、この利用者ＩＤを利用者認証情報に設定して利用者認証情報を出力する（ステップＳ２７０８）。
【０１７８】
この利用者認証情報は、サービス提供部１０９で入力され、サービス提供部１０９によって利用者認証情報に設定された利用者ＩＤを使用して、メールチェックサービス等の種種のサービス処理を実行する。
【０１７９】
このように本実施の形態にかかる自律移動型ロボットでは、マイクロホン２０６，２０７，２０８から得られる音声データと全天カメラ２０５から得られる画像データのそれぞれから別個に利用者が存在する方向を求める。そして、音声データに対する生体情報である話者識別情報と画像データに対する生体情報である顔識別情報のうち、先に得られた生体識別情報が示す方向の画像に関して特徴的な画像の領域である画像特徴領域に近似する領域を追跡し、画像特徴領域の検出方向と後に取得した生体識別情報の方向との差が予め定められた閾値以下であるか否かを判断して、方向の差が閾値以下である場合に、先に取得した生体識別情報で識別される利用者と後に取得した生体識別情報で識別される利用者が同一であると判断しているので、複数種類の生体情報を使用して利用者識別を行う場合に、それぞれ別個の生体情報から求めた利用者の方向の同一性に基づいて利用者の同一性の検証を行うことができ、一定期間経過後に利用者から異なる生体情報を取得した場合でも、利用者の同一性の検証を高精度に行うことができる。
【０１８０】
また、本実施の形態にかかる自律移動型ロボットでは、このようにして高精度に同一性が検証された話者識別情報と顔識別情報とを一対とした同一組情報を生成して、この同一組情報の内容によって生体辞書を更新しているので、生体辞書の更新の必要性をより正確に判断することができる。
【０１８１】
また、本実施の形態にかかる自律移動型ロボットでは、このような高精度に同一性が検証された話者識別情報と顔識別情報とを一対とした同一組情報から利用者を認証して認証した利用者に対するサービスを提供しているので、利用者に対するサービスの提供をより安全に行うことができる。
【０１８２】
なお、本実施の形態では、本発明の利用者識別装置を自律移動型ロボットに適用した例を示しているが、これに限定されるものではなく、自律移動型ロボット以外でも利用者識別の機能を有する装置であれば、本発明の利用者識別装置を適用することができる。
【図面の簡単な説明】
【０１８３】
【図１】本実施の形態にかかる自律移動型ロボットの機能的構成を示すブロック図である。
【図２】本実施の形態の自律移動型ロボットの外観を示す模式図である。
【図３−１】２人の利用者を撮像する全天カメラ２０５の配置を示す模式図である。
【図３−２】図３−１で示す配置の２人の利用者を全天カメラ２０５で撮像した全天画像を示す模式図である。
【図４】音響指向性形成部１０１の構成を示すブロック図である。
【図５】音響指向性形成モジュール１０２の構成を示すブロック図である。
【図６】音響指向性形成モジュール１０２の指向性中心の例を示した説明図である。
【図７−１】音響指向性モジュールの前段のビームフォーマと後段のビームフォーマにより設定される指向性範囲をロボット上方から示す模式図である。
【図７−２】音響指向性モジュールの前段のビームフォーマと後段のビームフォーマにより設定される指向性範囲を水平方向から示す模式図である。
【図８−１】２０度刻みで１８０度を覆う指向性範囲の配置例を示した説明図である。
【図８−２】自律移動型ロボットにおける相対方位から絶対方位への補正における補正前の例を示す説明図である。
【図８−３】自律移動型ロボットにおける相対方位から絶対方位への補正における補正後の例を示す説明図である。
【図９−１】音響指向性形成部１０１の音響指向性形成モジュール１０２から出力される指向性音声情報のデータ構造図である。
【図９−２】語彙識別情報のデータ構造図である。
【図９−３】話者識別情報のデータ構造図である。
【図９−４】顔識別情報のデータ構造図である。
【図９−５】方向対応付けテーブルのデータ構造図である。
【図９−６】同一組情報のデータ構造図である。
【図１０】本実施の形態にかかる自律移動型ロボットによる利用者識別の全体処理の手順を示すフローチャートである。
【図１１】音響指向性形成部１０１による指向性音声情報の生成処理の手順を示すフローチャートである。
【図１２】語彙識別部１０３による語彙識別処理の手順を示すフローチャートである。
【図１３】話者識別部１０４による話者識別処理の手順を示すフローチャートである。
【図１４】入力された音声データからパワースペクトル列に変換された音声データの一例を示す説明図である。
【図１５−１】男性Ａが「あいうえお」と発声した場合の声紋パターン１４０２の一例を示す説明図である。
【図１５−２】女性Ｂが「あいうえお」と発声した場合の声紋パターン１４０３の一例を示す説明図である。
【図１６】話者識別処理における辞書部分空間と入力部分空間の生成手法について示す説明図である。
【図１７】話者識別処理における相互部分空間法の概念を示した説明図である。
【図１８】顔識別部１０５による顔識別処理の手順を示すフローチャートである。
【図１９】顔識別処理における相互部分空間法の概念を示す説明図である。
【図２０】領域追跡部１０６による領域追跡処理の手順を示すフローチャートである。
【図２１−１】領域追加命令によって行われる画像特徴領域の設定例を示す模式図である。
【図２１−２】領域追加命令によって行われる画像特徴領域の他の設定例を示す模式図である。
【図２２−１】領域追跡処理の例を示す模式図である。
【図２２−２】領域追跡処理の他の例を示す模式図である。
【図２３】同方向性検証部１１１による同方向性検証処理の手順を示すフローチャートである。
【図２４−１】顔が検出されている方向から利用者の音声が到来した場合を示す模式図である。
【図２４−２】顔が検出されている方向と別の方向から別の利用者の音声が到来した場合を示す模式図である。
【図２５】追跡同方向性検証部１１２による追跡同方向性検証処理の手順を示すフローチャートである。
【図２６】辞書更新部１０８による生体辞書の更新処理の手順を示すフローチャートである。
【図２７】利用者認証部１０７による利用者認証処理の手順を示すフローチャートである。
【符号の説明】
【０１８４】
１０１  音響指向性形成部
１０２  音響指向性形成モジュール
１０３  語彙識別部
１０４  話者識別部
１０５  顔識別部
１０６  領域追跡部
１０７  利用者認証部
１０８  辞書更新部
１０９  サービス提供部
１１０  同一性検証部
１１１  同方向性検証部
１１２  追跡同方向性検証部
１２０  生体辞書記憶部
１２１  声紋辞書
１２２  顔辞書
１２３  語彙辞書
２０１  本体
２０２，２０３  駆動輪
２０５  全天カメラ
２０６，２０７，２０８  マイクロホン
【図１】
2006263348.tif 000005
【図２】
2006263348.tif 000006
【図３−１】
2006263348.tif 000007
【図３−２】
2006263348.tif 000008
【図４】
2006263348.tif 000009
【図５】
2006263348.tif 000010
【図６】
2006263348.tif 000011
【図７−１】
2006263348.tif 000012
【図７−２】
2006263348.tif 000013
【図８−１】
2006263348.tif 000014
【図８−２】
2006263348.tif 000015
【図８−３】
2006263348.tif 000016
【図９−１】
2006263348.tif 000017
【図９−２】
2006263348.tif 000018
【図９−３】
2006263348.tif 000019
【図９−４】
2006263348.tif 000020
【図９−５】
2006263348.tif 000021
【図９−６】
2006263348.tif 000022
【図１０】
2006263348.tif 000023
【図１１】
2006263348.tif 000024
【図１２】
2006263348.tif 000025
【図１３】
2006263348.tif 000026
【図１４】
2006263348.tif 000027
【図１５−１】
2006263348.tif 000028
【図１５−２】
2006263348.tif 000029
【図１６】
2006263348.tif 000030
【図１７】
2006263348.tif 000031
【図１８】
2006263348.tif 000032
【図１９】
2006263348.tif 000033
【図２０】
2006263348.tif 000034
【図２１−１】
2006263348.tif 000035
【図２１−２】
2006263348.tif 000036
【図２２−１】
2006263348.tif 000037
【図２２−２】
2006263348.tif 000038
【図２３】
2006263348.tif 000039
【図２４−１】
2006263348.tif 000040
【図２４−２】
2006263348.tif 000041
【図２５】
2006263348.tif 000042
【図２６】
2006263348.tif 000043
【図２７】
2006263348.tif 000044