(57)【要約】【課題】ユーザが直感的に教示可能なインターフェースであって、より負担の少ないインターフェースを実現する。【解決手段】本発明に係る対応付けデータベース構築方法は、画像データベース１１から画像を取得し、取得した画像を投影面２０に投影するステップと、投影した画像に含まれる物体に関する付加情報であって、投影面２０上に記述された付加情報を投影した画像とともに撮影するステップと、撮影した付加情報を文字認識するステップと、認識結果と物体とを対応付けて対応付けデータベース１４に記憶するステップとを有することを特徴とする。【選択図】図１
2010108244.tif 000002
【特許請求の範囲】
【請求項１】
画像データベースから画像を取得し、当該取得した画像を投影面に投影するステップと、
前記投影した画像に含まれる物体に関する付加情報であって、前記投影面上に記述された付加情報を前記投影した画像とともに撮影するステップと、
前記撮影した付加情報を文字認識するステップと、
前記認識結果と前記物体とを対応付けて対応付けデータベースに記憶するステップと
を有することを特徴とする対応付けデータベース構築方法。
【請求項２】
画像データベースから画像を取得し、当該取得した画像を投影面に投影するステップと、
前記投影した画像に含まれる物体に関する付加情報であって、発話された付加情報を録音するステップと、
前記録音した付加情報を音声認識するステップと、
前記認識結果と前記物体とを対応付けて対応付けデータベースに記憶するステップと
を有することを特徴とする対応付けデータベース構築方法。
【請求項３】
前記認識結果の信頼度を判定するステップと、
前記判定の結果、前記認識結果の信頼度が低い場合には、前記投影面上に記述された付加情報を前記投影した画像とともに撮影するステップと、
前記撮影した付加情報を文字認識するステップと、
前記認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶するステップと
を更に有することを特徴とする請求項２に記載の対応付けデータベース構築方法。
【請求項４】
請求項１乃至３のいずれか１項に記載の対応付けデータベース構築方法により対応付けデータベースを構築するステップと、
画像データベースから画像を取得し、当該取得した画像を投影面に投影するステップと、
前記投影した画像に含まれる物体について発話された音声を録音するステップと、
前記録音した音声を音声認識するステップと、
前記構築した対応付けデータベースから、前記認識結果に関連する付加情報を検索するステップと、
前記検索した付加情報を音声により再生するステップと
を有することを特徴とする物体情報認識方法。
【請求項５】
請求項１乃至３のいずれか１項に記載の対応付けデータベース構築方法により対応付けデータベースを構築するステップと、
発話された音声を録音するステップと、
前記録音した音声を音声認識するステップと、
前記構築した対応付けデータベースから、前記音声の認識結果に対応付けられた物体を検索するステップと、
前記検索した物体を含む画像を画像データベースから取得し、当該取得した画像を投影面に投影するステップと
を有することを特徴とする物体情報認識方法。
【請求項６】
前記投影した画像についての確認発話を再生するステップと、
前記再生した確認発話に応答して発話された確認応答音声を録音するステップと、
前記録音した確認応答音声を認識するステップと、
前記認識した確認応答音声の認識結果に応じて、前記構築した対応付けデータベースから、前記音声の認識結果に関連する付加情報を検索するステップと、
前記検索した付加情報を音声により再生するステップと
を更に有することを特徴とする請求項５に記載の物体情報認識方法。
【請求項７】
画像に含まれる物体と当該物体に関する付加情報とを対応付けて記憶する対応付けデータベースを用いて前記物体の認識を行う物体情報認識システムであって、
画像データベースから画像を取得し、当該取得した画像を投影面に投影する投影手段と、
前記投影した画像に含まれる物体に関する付加情報をユーザから取得する取得手段と、
前記取得した付加情報を認識する認識手段と、
前記認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶する記憶手段と
を有することを特徴とする物体情報認識システム。
【請求項８】
前記取得手段は、
前記投影面上に記述された付加情報を前記投影した画像とともに撮影する撮影手段を有し、
前記認識手段は、
前記撮影手段により撮影した付加情報を文字認識する文字認識手段を有し、
前記記憶手段は、
前記文字認識手段により認識した認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶する
ことを特徴とする請求項７に記載の物体情報認識システム。
【請求項９】
前記取得手段は、
発話された付加情報を録音する録音手段を有し、
前記認識手段は、
前記録音手段により録音した付加情報を音声認識する音声認識手段を有し、
前記記憶手段は、
前記音声認識手段により認識した認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶する
ことを特徴とする請求項７に記載の物体情報認識システム。
【請求項１０】
前記音声認識手段により認識した認識結果の信頼度を判定する判定手段と、
前記投影面上に記述された付加情報を前記投影した画像とともに撮影する撮影手段と、
前記撮影した付加情報を文字認識する文字認識手段と、を更に有し、
前記判定手段による判定の結果、前記認識結果の信頼度が低い場合には、
前記撮影手段は、前記投影面上に記述された付加情報を前記投影した画像とともに撮影し、
前記文字認識手段は、前記撮影手段により撮影した付加情報を文字認識し、
前記記憶手段は、前記文字認識手段により認識した認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶する
ことを特徴とする請求項９に記載の物体情報認識システム
【請求項１１】
前記投影手段により投影した画像に含まれる物体について発話された音声を録音する録音手段と、
前記録音した音声を音声認識する音声認識手段と、
前記記憶手段により記憶した対応付けデータベースから、前記音声認識手段による認識結果に関連する付加情報を検索する検索手段と、
前記検索した付加情報を音声により再生する再生手段と、を更に有する
ことを特徴とする請求項７に記載の物体情報認識システム。
【請求項１２】
発話された音声を録音する録音手段と、
前記録音した音声を音声認識する音声認識手段と、
前記記憶手段により記憶した対応付けデータベースから、前記音声認識手段による前記音声の認識結果に対応付けられた物体を検索する検索手段と、を更に有し、
前記投影手段は、
前記検索手段により検索した物体を含む画像を前記画像データベースから取得し、当該取得した画像を投影面に投影する
ことを特徴とする請求項７に記載の物体情報認識システム。
【請求項１３】
前記投影手段により投影した画像についての確認発話を再生する再生手段を更に有し、
前記録音手段は、前記再生した確認発話に応答して発話されたユーザからの確認応答音声を録音し、
前記音声認識手段は、前記録音した確認応答音声を認識し、
前記検索手段は、前記認識した確認応答音声の認識結果に応じて、前記記憶手段により記憶した対応付けデータベースから、前記音声認識手段による前記音声の認識結果に関連する付加情報を検索し、
前記再生手段は、前記検索した付加情報を音声により再生する
ことを特徴とする請求項１２に記載の物体情報認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対応付けデータベース構築方法、物体情報認識方法、物体情報認識システムに関する。
【背景技術】
【０００２】
システムに物体の認識作業を行わせる場合には、ユーザは、システムが備える認識用データベースに対して予め必要な情報を与えておく必要がある。
【０００３】
例えば特許文献１には、投影面に画像を投影すると共に投影面上に物体を配置し、配置した物体を撮影することにより当該物体の属性情報を認識する技術が開示されている。
【特許文献１】特開２００７−１１２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示される技術では、投影された画像に対する付加情報は予めユーザによりコンピュータに与えられており、付加情報を別途コンピュータに取り込んでおく必要がある。
【０００５】
一般的に、データベースの構築・更新作業はユーザにとって直感的な作業ではなく、負担がかかる。このため、与える情報が多くなるほど、その手間が膨大になるのに加えて、誤った情報を与える確率も増加する。また、情報を更新する際にも、同様の問題が生じる。従って、システムに対してユーザが直感的に教示可能なインターフェースであって、より負担の少ないインターフェースが強く求められている。
【０００６】
従って、本発明は、ユーザが直感的に教示可能なインターフェースであって、より負担の少ないインターフェースを実現する対応付けデータベース構築方法、物体情報認識方法及び物体情報認識システムを提供することを目的とする。
さらに、本発明は、ユーザとのインタラクションを利用して、物体をより良好に認識することが可能なデータベース構築方法、物体情報認識方法及び物体情報認識システムをも提供することを他の目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係る対応付けデータベース構築方法は、画像データベースから画像を取得し、当該取得した画像を投影面に投影するステップと、前記投影した画像に含まれる物体に関する付加情報であって、前記投影面上に記述された付加情報を前記投影した画像とともに撮影するステップと、前記撮影した付加情報を文字認識するステップと、前記認識結果と前記物体とを対応付けて対応付けデータベースに記憶するステップとを有するものである。
【０００８】
これにより、ユーザは付加情報を直感的に教示することができる。すなわち、物体とその付加情報との対応付けが、ユーザにとって分かりやすいものとなる。従って、ユーザが直感的に教示可能なインターフェースであって、より負担の少ないインターフェースを実現することができる。
【０００９】
本発明の第２の態様に係る対応付けデータベース構築方法は、画像データベースから画像を取得し、当該取得した画像を投影面に投影するステップと、前記投影した画像に含まれる物体に関する付加情報であって、発話された付加情報を録音するステップと、前記録音した付加情報を音声認識するステップと、前記認識結果と前記物体とを対応付けて対応付けデータベースに記憶するステップとを有するものである。
【００１０】
これにより、ユーザは付加情報を直感的に教示することができる。すなわち、物体とその付加情報との対応付けが、ユーザにとって分かりやすいものとなる。従って、ユーザが直感的に教示可能なインターフェースであって、より負担の少ないインターフェースを実現することができる。
【００１１】
また、本発明の第３の態様に係る対応付けデータベース構築方法は、前記認識結果の信頼度を判定するステップと、前記判定の結果、前記認識結果の信頼度が低い場合には、前記投影面上に記述された付加情報を前記投影した画像とともに撮影するステップと、前記撮影した付加情報を文字認識するステップと、前記認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶するステップとを更に有するようにしてもよい。
【００１２】
これにより、音声認識による認識結果の信頼度が低い場合であっても、ユーザは付加情報をより良好に教示することができる。
【００１３】
本発明の第４の態様に係る物体情報認識方法は、上述した対応付けデータベース構築方法により対応付けデータベースを構築するステップと、画像データベースから画像を取得し、当該取得した画像を投影面に投影するステップと、前記投影した画像に含まれる物体について発話された音声を録音するステップと、前記録音した音声を音声認識するステップと、前記構築した対応付けデータベースから、前記認識結果に関連する付加情報を検索するステップと、前記検索した付加情報を音声により再生するステップとを有するものである。
【００１４】
これにより、ユーザとのインタラクションを利用して、物体をより良好に認識することができる。
【００１５】
本発明の第５の態様に係る物体情報認識方法は、上述した対応付けデータベース構築方法により対応付けデータベースを構築するステップと、発話された音声を録音するステップと、前記録音した音声を音声認識するステップと、前記構築した対応付けデータベースから、前記音声の認識結果に対応付けられた物体を検索するステップと、前記検索した物体を含む画像を画像データベースから取得し、当該取得した画像を投影面に投影するステップとを有するものである。
【００１６】
これにより、ユーザとのインタラクションを利用して、物体をより良好に認識することができる。
【００１７】
また、本発明の第６の態様に係る物体情報認識方法は、前記投影した画像についての確認発話を再生するステップと、前記再生した確認発話に応答して発話された確認応答音声を録音するステップと、前記録音した確認応答音声を認識するステップと、前記認識した確認応答音声の認識結果に応じて、前記構築した対応付けデータベースから、前記音声の認識結果に関連する付加情報を検索するステップと、前記検索した付加情報を音声により再生するステップとを更に有するようにしてもよい。
【００１８】
本発明の第７の態様に係る物体情報認識システムは、画像に含まれる物体と当該物体に関する付加情報とを対応付けて記憶する対応付けデータベースを用いて前記物体の認識を行う物体情報認識システムであって、画像データベースから画像を取得し、当該取得した画像を投影面に投影する投影手段と、前記投影した画像に含まれる物体に関する付加情報をユーザから取得する取得手段と、前記取得した付加情報を認識する認識手段と、前記認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶する記憶手段とを有するものである。
【００１９】
これにより、ユーザは付加情報を直感的に教示することができる。すなわち、物体とその付加情報との対応付けが、ユーザにとって分かりやすいものとなる。従って、ユーザが直感的に教示可能なインターフェースであって、より負担の少ないインターフェースを実現することができる。
【００２０】
また、本発明の第８の態様に係る物体情報認識システムは、前記取得手段は、前記投影面上に記述された付加情報を前記投影した画像とともに撮影する撮影手段を有し、前記認識手段は、前記撮影手段により撮影した付加情報を文字認識する文字認識手段を有し、前記記憶手段は、前記文字認識手段により認識した認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶するようにしてもよい。
【００２１】
また、本発明の第９の態様に係る物体情報認識システムは、前記取得手段は、発話された付加情報を録音する録音手段を有し、前記認識手段は、前記録音手段により録音した付加情報を音声認識する音声認識手段を有し、前記記憶手段は、前記音声認識手段により認識した認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶するようにしてもよい。
【００２２】
また、本発明の第１０の態様に係る物体情報認識システムは、前記音声認識手段により認識した認識結果の信頼度を判定する判定手段と、前記投影面上に記述された付加情報を前記投影した画像とともに撮影する撮影手段と、前記撮影した付加情報を文字認識する文字認識手段と、を更に有し、前記判定手段による判定の結果、前記認識結果の信頼度が低い場合には、前記撮影手段は、前記投影面上に記述された付加情報を前記投影した画像とともに撮影し、前記文字認識手段は、前記撮影手段により撮影した付加情報を文字認識し、前記記憶手段は、前記文字認識手段により認識した認識結果と前記物体とを対応付けて前記対応付けデータベースに記憶するようにしてもよい。
【００２３】
また、本発明の第１１の態様に係る物体情報認識システムは、前記投影手段により投影した画像に含まれる物体について発話された音声を録音する録音手段と、前記録音した音声を音声認識する音声認識手段と、前記記憶手段により記憶した対応付けデータベースから、前記音声認識手段による認識結果に関連する付加情報を検索する検索手段と、前記検索した付加情報を音声により再生する再生手段と、を更に有するようにしてもよい。
【００２４】
これにより、ユーザとのインタラクションを利用して、物体をより良好に認識することができる。
【００２５】
また、本発明の第１２の態様に係る物体情報認識システムは、発話された音声を録音する録音手段と、前記録音した音声を音声認識する音声認識手段と、前記記憶手段により記憶した対応付けデータベースから、前記音声認識手段による前記音声の認識結果に対応付けられた物体を検索する検索手段と、を更に有し、前記投影手段は、前記検索手段により検索した物体を含む画像を前記画像データベースから取得し、当該取得した画像を投影面に投影するようにしてもよい。
【００２６】
これにより、ユーザとのインタラクションを利用して、物体をより良好に認識することができる。
【００２７】
また、本発明の第１３の態様に係る物体情報認識システムは、前記投影手段により投影した画像についての確認発話を再生する再生手段を更に有し、前記録音手段は、前記再生した確認発話に応答して発話されたユーザからの確認応答音声を録音し、前記音声認識手段は、前記録音した確認応答音声を認識し、前記検索手段は、前記認識した確認応答音声の認識結果に応じて、前記記憶手段により記憶した対応付けデータベースから、前記音声認識手段による前記音声の認識結果に関連する付加情報を検索し、前記再生手段は、前記検索した付加情報を音声により再生するようにしてもよい。
【発明の効果】
【００２８】
本発明によれば、ユーザが直感的に教示可能なインターフェースであって、より負担の少ないインターフェースを実現する対応付けデータベース構築方法、物体情報認識方法及び物体情報認識システムを提供することができる。
さらに、ユーザとのインタラクションを利用して、物体をより良好に認識することが可能なデータベース構築方法、物体情報認識方法及び物体情報認識システムをも提供することができる。
【発明を実施するための最良の形態】
【００２９】
発明の実施の形態１．
本実施の形態１にかかる物体情報認識システムの構成を図１に示す。本実施の形態１にかかる物体情報認識システム１００は、画像に含まれる物体と、ユーザにより与えられる物体に関する付加情報とを対応付けて対応付けデータベースに記憶する。
【００３０】
図１に示すように、物体情報認識システム１００は、画像データベース１１と、投影装置１２と、撮影装置１３と、対応付けデータベース１４と、演算装置１５を備える。
【００３１】
画像データベース１１には、ユーザが所持する画像、或いは、物体情報認識システム１００が撮影装置１３により撮影した画像が記憶されている。
【００３２】
投影装置１２は、画像データベース１１や対応付けデータベース１４から画像やテキスト情報を取得し、その取得した画像などをスクリーンなどの投影面２０ｂに投影する。ここでは、投影装置１２は、画像データベース１１から画像を取得し、その取得した画像をスクリーンなどの投影面２０ｂに投影する。
【００３３】
撮影装置１３は、投影面２０に投影した画像に含まれる物体について、その物体に関する付加情報をユーザ３０から取得する。ここでは、投影装置１２が投影面２０上に投影した画像に対して、その付加情報をユーザ３０が文字により記述する。そして、撮影装置１３は、投影面２０上に記述された付加情報を投影した画像とともに撮影する。すなわち、撮影装置１３は、カメラなどを用いて、書き加えられた文字を含む文字付加画像を撮影する。
【００３４】
演算装置１５は、撮影装置１３により撮影した画像情報を演算処理する。演算装置１５は、文字認識、音声認識、顔検出などの機能を備えている。ここでは、演算装置１５は撮影装置１３により撮影した文字付加画像について文字認識を行い、ユーザ３０が書き加えた文字をテキスト情報として認識する。
【００３５】
物体情報認識システム１００は、演算装置１５による認識結果と、投影した画像に含まれる物体とを対応付けて対応付けデータベース１４に記憶する。ここでは、対応付けデータベース１４には、投影した画像中の物体（文字付加画像）と、その物体に対してユーザ３０が書き加えた情報（テキスト情報）とが対応付けて記憶される。
【００３６】
続いて以下では、図２を参照しながら、物体情報認識システム１００による、対応付けデータベース１４の構築方法について説明する。図２は、物体情報認識システム１００による対応付けデータベース１４の構築処理の手順を示すフローチャートである。ここでは、物体情報認識システム１００は、ユーザにより記述された付加情報をテキスト情報として認識し、認識したテキスト情報を物体に対応付けて対応付けデータベース１４に記憶する。
【００３７】
まず、物体情報認識システム１００は、画像データベース１１から画像を取得する（ステップＳ１０１）。尚、画像データベース１１には、ユーザが所持している画像が予め記憶されている。また、記憶された画像には、一つ或いは複数の物体が含まれている。
【００３８】
次いで、物体情報認識システム１００は、Ｓ１０１において取得した画像を、投影装置１２により投影面２０に投影する（ステップＳ１０２）。
【００３９】
次いで、Ｓ１０２において投影面２０に投影された画像を見たユーザ３０は、投影された画像に含まれる物体について付加したい情報を投影面２０上に記述する（ステップＳ１０３）。
【００４０】
次いで、物体情報認識システム１００は、撮影装置１３により、Ｓ１０３においてユーザにより記述された文字を含む投影面２０を、Ｓ１０１で投影した画像をも含めて撮影する（ステップＳ１０４）。
【００４１】
次いで、物体情報認識システム１００は、演算装置１５により、Ｓ１０４において撮影した画像について、画像に含まれる文字を認識する（ステップＳ１０５）。
【００４２】
次いで、物体情報認識システム１００は、ステップＳ１０１において投影した画像に含まれる物体と、ステップＳ１０５において認識した結果とを対応付けて、対応付けデータベース１４に記憶する（ステップＳ１０６）。
【００４３】
続いて、図３を参照して、上述した図２において説明した各処理について具体的に説明する。図３は、物体情報認識システム１００をロボット４０に搭載した場合の、対応付けデータベース１４の構築処理の例を示している。
【００４４】
図３において、ロボット４０の内部の画像データベース１１には、ユーザが所持する画像が予め記憶されている。
【００４５】
ロボット４０に搭載された物体情報認識システム１００は、ロボット４０に内蔵の投影装置１２を用いて、画像データベース１１から取得した画像２１を投影面２０に投影する。ロボット４０は、例えば、ホワイトボードなどの平面上に画像２１を投影する。図３に示す例では、投影した画像２１は、物体２２と物体２４を含んでいる。すなわち、投影面２０上には、物体２２と物体２４を含む画像２１が投影されている。
【００４６】
ユーザ３０は、画像２１中に含まれる物体に対して付加したい情報を、ペンなどの筆記用具３１を用いて投影面２０上に記述する。物体に対する付加情報として、例えば、人物名や物体名などを記述することができる。図３に示す例では、ユーザ３０により、物体２３に対する付加情報として、物体２３の物体名を示す「ペットボトル」という文字２３が記述される。また、ユーザ３０により、物体２４に対する付加情報として、人物名を示す「○○（人物名）」という文字２５が記述される。尚、図３において、物体２２と文字２３を結ぶ線分と、物体２４と文字２５を結ぶ線分は、記述した付加情報がどの物体に対して記述したものであるかを分かりやすく例示するための補助線である。
【００４７】
次いで、ロボット４０に搭載された物体情報認識システム１００は、内蔵された撮影装置１２により、ユーザ３０により記述された付加情報（文字）を、投影している画像２１ごと撮影する。図３に示す例では、ロボット４０は、投影画像２１と、ユーザ３０により記述された文字２３、文字２５を撮影する。
【００４８】
次いで、ロボット４０に搭載された物体情報認識システム１００は、演算装置１５により、撮影された画像に含まれる記述された文字を文字認識する。図３に示す例では、ロボット４０は、撮影された画像に含まれる文字２３と文字２５を文字認識する。
【００４９】
次いで、ロボット４０に搭載された物体情報認識システム１００は、各物体と、認識された付加情報（すなわち、その物体について記述した文字を文字認識して得たテキスト情報。）を対応づけて、対応付けデータベース１４に記憶する。図３に示す例では、ロボット４０は、物体２２と文字２３とを対応付けて対応付けデータベース１４に記憶する。また、物体２４と文字２５とを対応付けて対応付けデータベース１４に記憶する。
【００５０】
このような物体情報認識システムによれば、ユーザは投影された画像に含まれる物体について文字を記述することで対応付けを記憶させることができるため、直感的に付加情報を教示することができる。このため、ユーザにとっては、対応付けデータベースの構築がより負担の少ないものとなる。さらに、ユーザは、物体に関して連想した任意の情報を付加情報として容易に教示することができるため、付加情報を思いつきやすい。
【００５１】
発明の実施の形態２．
本実施の形態２にかかる物体情報認識システムの構成を図４に示す。本実施の形態２にかかる物体情報認識システム２００は、画像に含まれる物体と、ユーザにより与えられる物体に関する付加情報とを対応付けて対応付けデータベースに記憶する。
【００５２】
図４に示すように、物体情報認識システム２００は、画像データベース１１ａと、投影装置１２ａと、撮影装置１３ａと、対応付けデータベース１４ａと、演算装置１５ａと、録音装置１６ａを備える。
【００５３】
画像データベース１１ａには、ユーザが所持する画像、或いは、物体情報認識システム２００が撮影装置１３ａにより撮影した画像が記憶されている。
【００５４】
投影装置１２ａは、画像データベース１１ａから画像を取得し、その取得した画像をスクリーンなどの投影面２０ａに投影する。
【００５５】
撮影装置１３ａは、投影面２０ａに投影した画像に含まれる物体について、その物体に関する付加情報をユーザ３０ａから取得する。ここでは、投影装置１２ａが投影面２０ａ上に投影した画像に対して、その付加情報をユーザ３０ａが文字により記述する。そして、撮影装置１３ａは、投影面２０ａ上に記述された付加情報を投影した画像とともに撮影する。すなわち、撮影装置１３ａは、カメラなどを用いて、書き加えられた文字を含む文字付加画像を撮影する。
【００５６】
録音装置１６ａは、投影装置１２ａが投影面２０ａ上に投影した画像に関して、ユーザ３０ａが音声により発話した音声情報を録音する。すなわち、録音装置１６ａは、マイクなどを用いて、ユーザの音声を録音する。
【００５７】
演算装置１５ａは、撮影装置１３ａにより撮影した画像情報や、録音装置１６ａにより録音した音声情報を演算処理する。演算装置１５ａは、文字認識、音声認識、顔検出などの機能を備えている。ここでは、演算装置１５ａは撮影装置１３ａにより撮影した文字付加画像について文字認識を行い、物体に対してユーザ３０ａが書き加えた文字をテキスト情報として認識する。さらに、演算装置１５ａは録音装置１６ａにより録音した音声情報について音声認識を行い、物体に対してユーザ３０ａが発話した音声をテキスト情報として認識する。
【００５８】
物体情報認識システム２００は、演算装置１５ａによる認識結果と、投影した画像に含まれる物体とを対応付けて対応付けデータベース１４ａに記憶する。ここでは、対応付けデータベース１４ａには、投影した画像中の物体に対して、ユーザ３０ａが書き加えた情報（テキスト情報）やユーザ３０ａが発話した情報（テキスト情報）などが対応付けて記憶される。
【００５９】
続いて以下では、物体情報認識システム２００による、対応付けデータベース１４ａの構築方法について説明する。ここでは、物体情報認識システム２００は、ユーザにより記述された付加情報、或いは、発話された付加情報をテキスト情報として認識し、認識したテキスト情報を画像中の物体に対応付けて対応付けデータベース１４ａに記憶する。
【００６０】
ロボット４０ａの内部の画像データベース１１ａには、ユーザが所持する画像が予め記憶されている。尚、記憶された画像には、一つ或いは複数の物体が含まれている。
【００６１】
ロボット４０ａに搭載された物体情報認識システム２００は、ロボット４０ａに内蔵の投影装置１２ａを用いて、画像データベース１１ａから取得した画像を投影面２０ａに投影する。ロボット４０ａは、例えば、ホワイトボードなどの平面上に画像を投影する。ここで、物体情報認識システム２００の演算装置１５ａは、画像に含まれる人物について顔検出処理を行い、検出した顔画像を囲う矩形を併せて表示するようにしてもよい。例えば、画像データベース１１ａに写真画像が記憶されている場合に、物体情報認識システム２００の演算装置１５ａは、写真画像に含まれる人物について、その顔部分を検出し、検出した顔部分を囲う矩形を併せて投影する。
【００６２】
ユーザ３０ａは、投影した画像中に含まれる物体に対して付加したい情報を、音声により発話する。物体に対する付加情報として、例えば、人物名や物体名などを発話することができる。
【００６３】
ロボット４０ａに搭載された物体情報認識システム２００は、内蔵された録音装置１６ａにより、ユーザ３０ａにより発話された付加情報（音声情報）を録音する。
【００６４】
ロボット４０ａに搭載された物体情報認識システム２００は、演算装置１５ａにより、録音された音声情報を音声認識する。ここでは、物体情報認識システム２００は、音声認識された結果について、その信頼度を判定する。音声認識結果の信頼度が低い場合には、物体情報認識システム２００は、音声認識結果を対応付けデータベース１４ａへと記憶せず、ユーザ３０ａに対して、付加情報の記述を要求することができる。尚、ユーザ３０ａに対する付加情報の記述要求は、例えば図示しない再生装置を用いて、ユーザ３０ａに対して記述を要求する音声情報を発話するようにしてもよい。
【００６５】
一方で、音声認識結果の信頼度が高い場合には、物体情報認識システム２００は、投影した画像に含まれる物体と、認識された付加情報（すなわち、その物体について発話された音声情報を音声認識して得たテキスト情報。）を対応づけて、対応付けデータベース１４ａに記憶する。
【００６６】
尚、ロボット４０ａから付加情報の記述を要求された場合には、ユーザ３０ａは、画像中に含まれる物体に対して付加したい情報を、ペンなどの筆記用具を用いて投影面２０ａ上に記述する。物体に対する付加情報として、例えば、人物名や物体名などを記述することができる。
【００６７】
ロボット４０ａに搭載された物体情報認識システム２００は、内蔵された撮影装置１２ａにより、ユーザ３０ａにより記述された付加情報（文字）を、投影している画像ごと撮影する。そして、物体情報認識システム２００は、演算装置１５ａにより、撮影された画像に含まれる記述された文字を文字認識する。さらに、物体情報認識システム２００は、画像中の物体と、認識された付加情報（すなわち、その物体について記述した文字を文字認識して得たテキスト情報。）を対応づけて、対応付けデータベース１４ａに記憶する。
【００６８】
このような物体情報認識システムによれば、ユーザは投影された画像に含まれる物体について音声を発話する、或いは、文字を記述することで対応付けを記憶させることができるため、直感的に付加情報を教示することができる。このため、ユーザにとっては、対応付けデータベースの構築がより負担の少ないものとなる。また、人物の顔部分を含む写真画像などを投影させる場合に、人物の顔部分を囲う矩形を併せて表示することで、写真画像中のどの物体（すなわち、どの顔部分）に関する付加情報を発話、或いは記述すればよいのか、ユーザにとってより分かりやすいものとなる。さらに、ユーザは、物体に関して連想した任意の情報を付加情報として音声により容易に教示することができるため、付加情報を思いつきやすい。また、顔認識と付加情報を利用することで、例えば防犯対策にも応用することができる。すなわち、顔認識結果が対応付けデータベースに含まれる知人に該当した場合には、その旨をユーザに伝え、一方で、面識がない（対応付けデータベースに存在しない）場合や、迷惑者として登録されている場合などには、ユーザにその旨を伝えることで注意を喚起する。また、家庭環境においては、家族や知人を出迎える場面での利用や、訪問販売対策としての利用も想定することができる。もちろん、会社などの多数の訪問者が存在する場面においても、同様にして利用することが可能である。
【００６９】
発明の実施の形態３．
本実施の形態３にかかる物体情報認識システムの構成を図５に示す。本実施の形態３にかかる物体情報認識システム３００においては、画像に含まれる物体と、ユーザにより与えられた物体に関する付加情報とが対応付けられて、対応付けデータベースに予め記憶されている。
【００７０】
図５に示すように、物体情報認識システム３００は、画像データベース１１ｂと、投影装置１２ｂと、対応付けデータベース１４ｂと、演算装置１５ｂと、録音装置１６ｂと、再生装置１７ｂを備える。
【００７１】
画像データベース１１ｂには、ユーザが所持する画像、或いは、物体情報認識システム３００が撮影装置（不図示）により撮影した画像が記憶されている。
【００７２】
投影装置１２ｂは、画像データベース１１ｂから画像を取得し、その取得した画像をスクリーンなどの投影面２０ｂに投影する。
【００７３】
録音装置１６ｂは、投影装置１２ｂが投影面２０ｂ上に投影した画像に関して、ユーザ３０ｂが音声により発話した音声情報を録音する。すなわち、録音装置１６ｂは、マイクなどを用いて、ユーザの音声を録音する。
【００７４】
演算装置１５ｂは、録音装置１６ｂにより録音した音声情報を演算処理する。演算装置１５ｂは、文字認識、音声認識、顔検出などの機能を備えている。ここでは、演算装置１５ｂは録音装置１６ｂにより録音した音声情報について音声認識を行い、物体に対してユーザ３０ｂが発話した音声をテキスト情報として認識する。さらに、演算装置１５ｂは、対応付けデータベース１４ｂから物体に関するテキスト情報を取得し、その取得したテキスト情報を音声情報へと変換する。
【００７５】
再生装置１７ｂは、演算装置１５ｂから物体に関する音声情報を受信し、受信した音声情報を音声として再生する。すなわち、再生装置１７ｂは、ユーザ３０ｂに対して、物体に関する音声情報を提示する。
【００７６】
対応付けデータベース１４ｂには、物体情報認識システム３００により、画像データベース１１ｂに記憶された画像に関して、画像中の物体に対してユーザ３０ｂが書き加えた情報（テキスト情報）やユーザ３０ｂが発話した情報（テキスト情報）などが対応付けて予め記憶されている。
【００７７】
続いて以下では、図６を参照しながら、物体情報認識システム３００による、物体情報認識方法について説明する。図６は、物体情報認識システム３００による物体情報認識処理の手順を示すフローチャートである。ここでは、物体情報認識システム３００は、予め付加情報が記憶された対応付けデータベース１４ｂを用いて、ユーザとのインタラクションを利用して物体をより良好に認識し、その認識結果をユーザに対して提示する。
【００７８】
まず、物体情報認識システム３００は、画像データベース１１ｂから画像を取得し、取得した画像を、投影装置１２ｂにより投影面２０ｂに投影する（ステップＳ２０１）。尚、画像データベース１１ｂには、ユーザが所持している画像が予め記憶されている。また、記憶された画像には、一つ或いは複数の物体が含まれている。
【００７９】
次いで、Ｓ１０１において投影面２０ｂに投影された画像を見たユーザ３０ｂは、投影された画像に含まれる物体について、音声により発話する（ステップＳ２０２）。例えば投影面２０ｂに投影された画像に人物の顔画像が含まれている場合には、ユーザ３０ｂは、その顔画像の人物名を含む音声を発話する。すなわち、ユーザ３０ｂが発話する音声情報には、対応付けデータベース１４ｂに記憶された物体に関する付加情報が含まれる。
【００８０】
次いで、物体情報認識システム３００は、録音装置１６ｂにより、ステップＳ２０２においてユーザ３０ｂにより発話された音声情報を録音し、録音した音声情報を演算装置１５ｂにより音声認識する（ステップＳ２０３）。ここでは、演算装置１５ｂによる音声認識結果として、付加情報に相当する部分が抽出される。
【００８１】
次いで、物体情報認識システム３００は、ステップＳ２０３における認識結果に基づいて、対応付けデータベース１４ｂから、抽出した付加情報に関連する他の付加情報を検索する（ステップＳ２０４）。すなわち、物体情報認識システム３００は、ユーザにより発話された音声情報に含まれる付加情報に基づいて、その付加情報に関連する他の付加情報を対応付けデータベース１４ｂから関連情報として検索する。
【００８２】
次いで、物体情報認識システム３００は、再生装置１７ｂにより、ステップＳ２０４において検索した関連情報を再生する（ステップＳ２０５）。尚、再生装置１７による再生処理については、例えば、演算装置１５ｂにより検索された再生情報（テキスト情報）を音声情報へと変換した後、変換した音声情報を音声として再生することができる。音声により再生することで、ユーザに対して関連情報を容易に提示することができる。
【００８３】
続いて、図７を参照して、上述した図６において説明した各処理について具体的に説明する。図７は、物体情報認識システム３００をロボット４０ｂに搭載した場合の、ユーザとのコミュニケーションの様子の一例を示している。
【００８４】
図７において、ロボット４０ｂの内部の画像データベース１１ｂには、ユーザが所持する画像が予め記憶されている。また、対応付けデータベース１４ｂには、画像に含まれる物体と、ユーザにより与えられた物体に関する付加情報とが対応付けられて、予め記憶されている。
【００８５】
まず、ロボット４０ｂに搭載された物体情報認識システム３００は、ロボット４０ｂに内蔵の投影装置１２ｂを用いて、画像データベース１１ｂから取得した画像２１ｂを投影面２０ｂに投影する。ロボット４０ｂは、例えば、ホワイトボードなどの平面上に画像２１ｂを投影する。図７に示す例では、投影した画像２１ｂは、物体２６ｂと、物体２７ｂと、物体２８ｂと、物体２９ｂとを含んでいる。すなわち、投影面２０ｂ上には、物体２６ｂと、物体２７ｂと、物体２８ｂと、物体２９ｂを含む画像２１ｂが投影されている。また、図７に示す例では、物体２６ｂ〜２９ｂは、それぞれ異なる人物の顔画像であり、各顔画像は矩形により囲まれて表示されている。尚、以下では、画像２１ｂの中央付近の顔画像２８ｂは、Ａ（人物名）さんの顔画像であるものとして説明する。
【００８６】
次いで、投影面２０ｂに投影された画像２１ｂを見たユーザ３０ｂは、画像２１ｂ中の物体に関して音声により発話する。図７に示す例では、ユーザ３０ｂは、「Ａさんは真中に写ってるね。」と発話する。すなわち、投影された画像２１ｂに人物の顔画像２８ｂが含まれており、ユーザ３０ｂにより、その顔画像２８ｂの人物名（ここでは、Ａ。）を含む音声が発話される。
【００８７】
次いで、ロボット４０ｂに搭載された物体情報認識システム３００は、ユーザ３０ｂにより発話された音声情報を録音し、録音した音声情報を音声認識する。図７に示す例では、物体情報認識システム３００は、ユーザ３０ｂにより発話された音声情報である「Ａさんは真中に写ってるね。」を録音し、録音した音声情報の音声認識結果をテキスト情報として出力する。図７に示す例では、物体情報認識システム３００は、音声認識結果として「Ａ」という付加情報に相当する部分を抽出する。
【００８８】
次いで、ロボット４０ｂに搭載された物体情報認識システム３００は、認識結果（すなわち、テキスト情報。）に基づいて、対応付けデータベース１４ｂから、抽出した付加情報に関連する他の付加情報を検索する。図７に示す例では、物体情報認識システム３００は、抽出した付加情報に関連する他の付加情報を検索する。尚、ここでは、対応付けデータベース１４ｂには、顔画像２８ｂに関する付加情報として、顔画像２８ｂの人物名を示す「Ａ」に加えて、顔画像２８ｂのニックネームや、好物など、顔画像２８ｂに関する複数の付加情報が対応付けられて予め記憶されている。
【００８９】
次いで、ロボット４０ｂに搭載された物体情報認識システム３００は、検索した関連情報を再生する。図７に示す例では、ロボット４０ｂは、検索した関連情報の内容を含む音声情報を発話する。図７に示す例では、ロボット４０ｂは、「Ａさんは○○ですね。」と発話し、「○○」部分において検索した関連情報が再生される。
【００９０】
このような物体情報認識システムによれば、予め付加情報が記憶された対応付けデータベース１４ｂを用いて、ユーザとのインタラクションを利用して物体をより良好に認識し、その認識結果をユーザに対して提示することができる。そして、ロボット４０ｂからの発話によってユーザに対して関連情報を提示するため、ユーザ３０ｂ、３１ｂ間の会話のきっかけを演出することができる。さらには、このようなインタラクションを利用してロボット４０ｂにより関連情報が提示されるため、認知症ユーザの記憶喚起にも有効である。
【００９１】
発明の実施の形態４．
本実施の形態４にかかる物体情報認識システムの構成を図８に示す。本実施の形態４にかかる物体情報認識システム４００においては、画像に含まれる物体と、ユーザにより与えられた物体に関する付加情報とが対応付けられて、対応付けデータベースに予め記憶されている。
【００９２】
図８に示すように、物体情報認識システム４００は、画像データベース１１ｃと、投影装置１２ｃと、対応付けデータベース１４ｃと、演算装置１５ｃと、録音装置１６ｃと、再生装置１７ｃを備える。
【００９３】
画像データベース１１ｃには、ユーザが所持する画像、或いは、物体情報認識システム４００が撮影装置（不図示）により撮影した画像が記憶されている。
【００９４】
投影装置１２ｃは、画像データベース１１ｃから画像を取得し、その取得した画像をスクリーンなどの投影面２０ｃに投影する。
【００９５】
録音装置１６ｃは、投影装置１２ｃが投影面２０ｃ上に投影した画像に関して、ユーザ３０ｃ、３１ｃが音声により発話した音声情報を録音する。すなわち、録音装置１６ｃは、マイクなどを用いて、ユーザの音声を録音する。
【００９６】
演算装置１５ｃは、録音装置１６ｃにより録音した音声情報を演算処理する。演算装置１５ｃは、文字認識、音声認識、顔検出などの機能を備えている。ここでは、演算装置１５ｃは録音装置１６ｃにより録音した音声情報について音声認識を行い、物体に対してユーザ３０ｃ、３１ｃが発話した音声をテキスト情報として認識する。さらに、演算装置１５ｃは、対応付けデータベース１４ｃから物体に関するテキスト情報を取得し、その取得したテキスト情報を音声情報へと変換する。
【００９７】
再生装置１７ｃは、演算装置１５ｃから物体に関する音声情報を受信し、受信した音声情報を音声として再生する。すなわち、再生装置１７ｃは、ユーザ３０ｃ、３１ｃに対して、物体に関する音声情報を提示する。
【００９８】
対応付けデータベース１４ｃには、物体情報認識システム４００により、画像データベース１１ｃに記憶された画像に関して、画像中の物体に対してユーザ３０ｃが書き加えた情報（テキスト情報）やユーザ３０ｃが発話した情報（テキスト情報）などが対応付けて予め記憶されている。
【００９９】
続いて以下では、図９を参照しながら、物体情報認識システム４００による、物体情報認識方法について説明する。図９は、物体情報認識システム４００による物体情報認識処理の手順を示すフローチャートである。ここでは、物体情報認識システム４００は、予め付加情報が記憶された対応付けデータベース１４ｃを用いて、ユーザとのインタラクションを利用して物体をより良好に認識し、その認識結果をユーザに対して提示する。
【０１００】
まず、ユーザ３０ｃにより、投影面２０ｃ上に投影したい画像に関するキーワードを含む音声情報が発話される（ステップＳ３０１）。ここでは、対応付けデータベース１４ｂに記憶された、物体に関する付加情報をキーワードとすることができる。すなわち、ユーザ３０ｃは、自身が取得したい画像に関する情報をキーワードとして発話する。
【０１０１】
次いで、物体情報認識システム４００は、録音装置１６ｃにより、ステップＳ３０１においてユーザ３０ｃにより発話された音声情報を録音し、録音した音声情報を演算装置１５ｃにより音声認識する（ステップＳ３０２）。ここでは、演算装置１５ｃにより、音声認識結果として、音声情報に含まれるキーワードが抽出される。
【０１０２】
次いで、物体情報認識システム４００は、ステップＳ３０２における認識結果に基づいて、対応付けデータベース１４ｃから、抽出したキーワードに対応付けられた物体を含む画像を検索する（ステップＳ３０３）。すなわち、物体情報認識システム４００は、ユーザにより発話された音声情報に含まれるキーワード（すなわち、付加情報）に基づいて、そのキーワードに対応付けられた物体を含む画像を対応付けデータベース１４ｃから検索する。
【０１０３】
次いで、物体情報認識システム４００は、ステップＳ３０３において検索された画像を画像データベース１１ｃから取得し、取得した画像を、投影装置１２ｃにより投影面２０ｃに投影する（ステップＳ３０４）。尚、画像データベース１１ｃには、ユーザが所持している画像が予め記憶されている。また、記憶された画像には、一つ或いは複数の物体が含まれている。
【０１０４】
次いで、物体情報認識システム４００は、再生装置１７ｃにより、ステップＳ３０４において投影した画像に関する確認発話を再生する（ステップＳ３０５）。例えば、物体情報認識システム４００は、確認発話を再生することにより、ステップＳ３０４において投影した画像が、ユーザ３０ｃが希望した画像であるか否かについて確認することができる。
【０１０５】
次いで、物体情報認識システム４００は、録音装置１６ｃにより、ステップＳ３０５において再生した確認発話に対する、ユーザ３０ｃによる確認応答を録音する。そして、ユーザ３０ｃによる確認応答の音声情報を演算装置１５ｃにより音声認識する（ステップＳ３０６）。
【０１０６】
次いで、物体情報認識システム４００は、再生装置１７ｃにより、ステップＳ３０３において検索された画像に関する付加情報を再生する。すなわち、物体情報認識システム４００は、対応付けデータベース１４ｃからステップＳ３０３において検索された画像に関する付加情報（テキスト情報）を取得する。そして、物体情報認識システム４００は、取得したテキスト情報を音声情報へと変換した後、変換した音声情報を音声により再生する。音声により再生することで、ユーザに対して関連情報を容易に提示することができる。
【０１０７】
続いて、図１０を参照して、上述した図９において説明した各処理について具体的に説明する。図１０は、物体情報認識システム４００をロボット４０ｃに搭載した場合の、ユーザとのコミュニケーションの様子の一例を示している。
【０１０８】
図１０において、ロボット４０ｃの内部の画像データベース１１ｃには、ユーザが所持する画像が予め記憶されている。また、対応付けデータベース１４ｃには、画像に含まれる物体と、ユーザにより与えられた物体に関する付加情報とが対応付けられて、予め記憶されている。
【０１０９】
まず、ユーザ３０ｃにより、投影面２０ｃ上に投影したい画像に関するキーワードを含む音声情報が発話される。図１０に示す例では、ユーザ３０ｃは、「Ａさんの写真が見たい。」と発話する。すなわち、ユーザ３０ｃは、自身が閲覧したい画像を発話することで、ロボット４０ｃに指示する。ここでは、ユーザ３０ｃが発話した音声情報には「Ａ」が含まれている。後述するように、ロボット４０ｃはキーワードである「Ａ」を利用して、画像の検索や関連情報の検索を行う。
【０１１０】
次いで、ロボット４０ｃに搭載された物体情報認識システム４００は、ユーザ３０ｃにより発話された音声情報を録音し、録音した音声情報を音声認識する。図１０に示す例では、ユーザ３０ｃにより発話された音声情報が音声認識され、音声認識結果として、音声情報に含まれるキーワード「Ａ」が抽出される。
【０１１１】
次いで、ロボット４０ｃに搭載された物体情報認識システム４００は、認識結果に基づいて、対応付けデータベース１４ｃから、抽出したキーワードに対応付けられた物体を含む画像を検索する。図１０に示す例では、物体情報認識システム４００は、キーワード「Ａ」に基づいて、そのキーワードに対応付けられた物体を含む画像を対応付けデータベース１４ｃから検索する。
【０１１２】
次いで、ロボット４０ｃに搭載された物体情報認識システム４００は、検索された画像を画像データベース１１ｃから取得し、取得した画像を投影面２０ｃに投影する。図１０に示す例では、物体情報認識システム４００は、画像２１ｃを投影面２０ｃに投影する。図１０に示す例では、投影した画像２１ｃは、物体２６ｃと、物体２７ｃと、物体２８ｃと、物体２９ｃとを含んでいる。ここでは、物体２６ｃ〜２９ｃは、それぞれ異なる人物の顔画像であり、物体２８ｃは、Ａ（人物名）さんの顔画像である。Ａさんの顔画像２８ｃは矩形により囲まれて表示されている。すなわち、投影した画像２１ｃは、Ａさんとその他の人物の顔が映っている顔画像データベース１１ｃ内の写真である。
【０１１３】
次いで、ロボット４０ｃに搭載された物体情報認識システム４００は、投影した画像２１ｃに関する確認発話を再生する。図１０に示す例では、ロボット４０ｃは、投影した画像２１ｃが、ユーザ３０ｃが希望した画像であるか否かを確認するため、「これですか？」という確認発話を再生する。
【０１１４】
次いで、ロボット４０ｃによる確認発話を聞いたユーザ３０ｃは、確認応答を行う。図１０に示す例では、ユーザ３０ｃは「うん。」と発話する。すなわち、投影された画像２１ｃにはユーザ３０ｃが希望した画像が含まれているため、ユーザ３０ｃは、投影された画像２１ｃが希望した画像である旨を確認応答により返答する。
【０１１５】
次いで、ロボット４０ｃに搭載された物体情報認識システム４００は、ユーザ３０ｃによる確認応答を録音し、録音した確認応答を音声認識する。図１０に示す例では、物体情報認識システム４００により、ユーザ３０ｃによる発話「うん。」が音声認識される。ここでは、物体情報認識システム４００は、確認応答の音声認識の結果から、ユーザ３０ｃが希望した画像が投影した画像２１ｃに含まれているものと判断する。
【０１１６】
次いで、ロボット４０ｃに搭載された物体情報認識システム４００は、検索された画像に関する付加情報を再生する。図１０に示す例では、ロボット４０ｃは、検索した関連情報の内容を含む音声情報を発話する。図１０に示す例では、ロボット４０ｃは、「Ａさんは○○です。」と発話し、「○○」部分において検索した関連情報が再生される。
【０１１７】
このような物体情報認識システムは、まず、ユーザの欲しい情報（ユーザが予め登録した情報）を、キーワード検索によりユーザに対して提示する。そして、ユーザとの会話を通して情報の信頼性向上や修正を行う。すなわち、このような物体情報認識システムによれば、予め付加情報が記憶された対応付けデータベース１４ｃを用いて、ユーザとのインタラクションを利用して物体をより良好に認識し、その認識結果をユーザに対して提示することができる。そして、ロボット４０ｃはユーザが発話するキーワードに応じて対象画像やその関連情報を提示することで、ユーザは検索の手間なく、希望する画像情報をより簡単に閲覧することができると共に、ユーザ間の会話のきっかけを演出することができる。さらには、このようなインタラクションを利用してロボット４０ｃにより関連情報が提示されるため、認知症ユーザの記憶喚起にも有効である。
【０１１８】
尚、図１０に示した例では、投影した画像２１ｃに含まれる物体２６ｃ〜２９ｃが、それぞれ異なる人物の顔画像であるものとして説明したが本発明はこれに限定されない。すなわち、画像データベース１１ｃには、同一の人物に関して、それぞれ顔の向きや、表情などが異なっている複数の顔画像２６ｃ〜２９ｃが記憶されており、投影した画像２１ｃに含まれる物体２６ｃ〜２９ｃは全て同一の人物（すなわち、Ａ。）の顔画像としてもよい。例えば、顔画像２６ｃは右を向いた状態の横顔の顔画像とし、顔画像２７ｃは左を向いた状態の横顔の顔画像などとしてもよい。このような場合においても、システムはユーザとその都度会話することによって、画像同士の関連に基づいて、情報の紐付けを自然に行うことが可能となる。
【０１１９】
その他の実施の形態．
上述した実施の形態では、物体情報認識システムをロボットに搭載した例について説明したが本発明はこれに限定されない。物体情報認識システム１００は、例えば、ロボットに搭載されたコンピュータやロボットとは別に設けられたコンピュータにより実現される。このコンピュータは、例えば、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ、ハードディスク等の補助記憶装置、ＣＤ−ＲＯＭ等の可搬型記憶媒体が挿入される記憶媒体駆動装置、入力手段や出力手段を備えている。ＲＯＭ、補助記憶装置、可搬型記憶媒体等の記憶媒体には、オペレーティングシステムと協働してＣＰＵ等に命令を与え、アプリケーションプログラムを記録することができ、ＲＡＭにロードされることによって実行される。このアプリケーションプログラムは、本発明にかかるデータベース構築方法、物体情報認識方法及び物体情報認識システムを実現する特有のプログラムを含む。プログラムによるデータベース構築処理や物体情報認識処理は、中央処理装置がアプリケーションプログラムをＲＡＭ上に展開した上で当該アプリケーションプログラムに従った処理を補助記憶装置に格納されたデータを読み出し、また格納を行なうことにより、実行される。
【０１２０】
尚、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１２１】
【図１】本発明の実施の形態１に係る物体情報認識システムの構成を示す機能ブロック図である。
【図２】本発明の実施の形態１に係る物体情報認識システムによる対応付けデータベースの構築処理手順を示すフローチャート図である。
【図３】本発明の実施の形態１に係る対応付けデータベースの構築処理の一例を示す図である。
【図４】本発明の実施の形態２に係る物体情報認識システムの構成を示す機能ブロック図である。
【図５】本発明の実施の形態３に係る物体情報認識システムの構成を示す機能ブロック図である。
【図６】本発明の実施の形態３に係る物体情報認識システムによる物体情報認識処理手順を示すフローチャート図である。
【図７】本発明の実施の形態３に係るユーザとのコミュニケーションの様子の一例を示す図である。
【図８】本発明の実施の形態４に係る物体情報認識システムの構成を示す機能ブロック図である。
【図９】本発明の実施の形態４に係る物体情報認識システムによる物体情報認識処理手順を示すフローチャート図である。
【図１０】本発明の実施の形態４に係るユーザとのコミュニケーションの様子の一例を示す図である。
【符号の説明】
【０１２２】
１１、１１ａ、１１ｂ、１１ｃ  画像データベース、
１２、１２ａ、１２ｂ、１２ｃ  投影装置、
１３、１３ａ  撮影装置、
１４、１４ａ、１４ｂ、１４ｃ  対応付けデータベース、
１５、１５ａ、１５ｂ、１５ｃ  演算装置、
１６ａ、１６ｂ、１６ｃ  録音装置、
１７ｂ、１７ｃ  再生装置、
２０、２０ａ、２０ｂ、２０ｃ  投影平面、
２１  投影画像、
２２  物体、
２３  付加情報、
２４  物体、
２５  付加情報、
２６ｂ、２６ｃ  物体、
２７ｂ、２７ｃ  物体、
２８ｂ、２８ｃ  物体、
２９ｂ、２９ｃ  物体、
３０、３０ａ、３０ｂ、３０ｃ  ユーザ、
３１ｂ、３１ｃ  ユーザ、
４０、４０ｂ、４０ｃ  ロボット、
１００、２００、３００、４００  物体情報認識システム、
【図１】
2010108244.tif 000003
【図２】
2010108244.tif 000004
【図３】
2010108244.tif 000005
【図４】
2010108244.tif 000006
【図５】
2010108244.tif 000007
【図６】
2010108244.tif 000008
【図７】
2010108244.tif 000009
【図８】
2010108244.tif 000010
【図９】
2010108244.tif 000011
【図１０】
2010108244.tif 000012