(57)【要約】【課題】  情報の種類毎に情報量を把握することが可能となる。【解決手段】  画像抽出部３０１は、入力された画像のうちポインタ位置検出部３０１ａにより検出された位置の近傍の画像を抽出し、認識部３０２に供給する。認識部３０２は、認識用DB３０３を用いて画像を認識し、認識結果を検索部３０４に供給する。検索部３０４は、検索用DB３０５を用いて、認識結果に対応する検索画像ファイルおよび固有データを検索し、表示制御部５０１に供給する。表示制御部５０１の情報量計算部５０１ａは、検索部３０４より供給された検索結果に基づいて、各情報毎に情報量を計算する。表示制御部５０１は、情報量計算部５０１ａにより計算された計算結果に基づいて、検索画像ファイルや固有データを表示するウィンドウを生成し、表示する。【選択図】  図２２
2005182495.tif 000002
【特許請求の範囲】
【請求項１】
入力情報を取得する取得手段と、
前記取得手段により取得された入力情報を認識する認識手段と、
前記認識手段の認識結果に基づいて提示情報を検索する検索手段と、
前記検索手段により検索された提示情報の情報量を計算する計算手段と、
前記計算手段により計算された情報量に基づいて前記提示情報を表示する画面を生成する画面生成手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記取得手段は、画像を前記入力情報として取得し、
前記認識手段は、前記取得手段により取得された前記画像を認識する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像上のポインタの位置を検出する位置検出手段をさらに備え、
前記取得手段は、前記位置検出手段により検出された位置近傍の画像を入力情報として取得する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記取得手段は、音声を前記入力情報として取得し、
前記認識手段は、前記取得手段により取得された前記音声を認識する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記画面生成手段は、前記計算手段により計算された情報量に基づいた大きさのアイコンにより前記提示情報を表示する画面を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
入力情報を取得する取得ステップと、
前記取得ステップの処理で取得された入力情報を認識する認識ステップと、
前記認識ステップの処理での認識結果に基づいて提示情報を検索する検索ステップと、
前記検索ステップの処理で検索された提示情報の情報量を計算する計算ステップと、
前記計算ステップの処理で計算された情報量に基づいて前記提示情報を表示する画面を生成する画面生成ステップと
を含むことを特徴とする情報処理方法。
【請求項７】
入力情報の取得を制御する取得制御ステップと、
前記取得制御ステップの処理で取得が制御された入力情報を認識する認識ステップと、
前記認識ステップの処理での認識結果に基づいて提示情報を検索する検索ステップと、
前記検索ステップの処理で検索された提示情報の情報量を計算する計算ステップと、
前記計算ステップの処理で計算された情報量に基づいて前記提示情報を表示する画面を生成する画面生成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項８】
入力情報の取得を制御する取得制御ステップと、
前記取得制御ステップの処理で取得が制御された入力情報を認識する認識ステップと、
前記認識ステップの処理での認識結果に基づいて提示情報を検索する検索ステップと、
前記検索ステップの処理で検索された提示情報の情報量を計算する計算ステップと、
前記計算ステップの処理で計算された情報量に基づいて前記提示情報を表示する画面を生成する画面生成ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、周辺情報を取得し、取得した周辺情報に基づいて、情報を検索し、さらに、提示するようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、カメラにより撮像された画像を、なんらかの画像認識技術により認識し、それに対応した蓄積データを提示する検索エンジンが提案されている。
【０００３】
上述の検索エンジンでは、例えば、撮像された画像に含まれる文字列をOCR（Optical Character Reader）により認識し、認識したテキスト文字列に基づいて、言葉の意味を検索したり、地名などであれば、その地名の周辺の地図データを検索して提示したり、さらには、URL（Univarsal Resource Locator）などであれば、対応するHP（Home Page）を開くなどの処理をさせることができる。
【０００４】
また、例えば、撮像した画像に人物の顔が含まれているような場合、上述の検索エンジンは、画像に含まれる人物の顔が、予め登録されたいずれの人物の画像であるかを認識し（例えば、特許文献１参照）、関連する情報を提示する技術がある。
【０００５】
【特許文献１】特開２００２−１５７５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、この方法では、検索エンジンは、カメラにより撮像された画像の情報に基づいたものでしか検索することができないので、例えば、カメラにより撮像された画像に含まれる様々な情報に基づいて情報が検索されることになるため、膨大な情報が検索されてしまう恐れがあり、結果として、ユーザが所望とする情報を的確に検索することが（見つけ出すことが）できない恐れがあった。
【０００７】
また、ユーザは、検索された情報が膨大であることはわかっても、どの程度の情報量であるかを把握することができず、検索された情報を自らの目で検索すべきか、さらに、別の方法で絞り込みをかけるべきであるのかを判断することができないという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、特に、ユーザの所望とする情報を絞り込んで検索し、表示することを可能にし、情報の種類毎に情報量を迅速に把握できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、入力情報を取得する取得手段と、取得手段により取得された入力情報を認識する認識手段と、認識手段の認識結果に基づいて提示情報を検索する検索手段と、検索手段により検索された提示情報の情報量を計算する計算手段と、計算手段により計算された情報量に基づいて提示情報を表示する画面を生成する画面生成手段とを備えることを特徴とする。
【００１０】
前記取得手段には、画像を入力情報として取得させるようにすることができ、認識手段には、取得手段により取得された画像を認識させるようにすることができる。
【００１１】
前記画像上のポインタの位置を検出する位置検出手段をさらに設けるようにさせることができ、取得手段には、位置検出手段により検出された位置近傍の画像を入力情報として取得させるようにすることができる。
【００１２】
前記取得手段には、音声を入力情報として取得させるようにすることができ、認識手段には、取得手段により取得された音声を認識させるようにすることができる。
【００１３】
前記画面生成手段には、計算手段により計算された情報量に基づいた大きさのアイコンにより提示情報を表示する画面を生成させるようにすることができる。
【００１４】
本発明の情報処理方法は、入力情報を取得する取得ステップと、取得ステップの処理で取得された入力情報を認識する認識ステップと、認識ステップの処理での認識結果に基づいて提示情報を検索する検索ステップと、検索ステップの処理で検索された提示情報の情報量を計算する計算ステップと、計算ステップの処理で計算された情報量に基づいて提示情報を表示する画面を生成する画面生成ステップとを含むことを特徴とする。
【００１５】
本発明の記録媒体のプログラムは、入力情報の取得を制御する取得制御ステップと、取得制御ステップの処理で取得が制御された入力情報を認識する認識ステップと、認識ステップの処理での認識結果に基づいて提示情報を検索する検索ステップと、検索ステップの処理で検索された提示情報の情報量を計算する計算ステップと、計算ステップの処理で計算された情報量に基づいて提示情報を表示する画面を生成する画面生成ステップとを含むことを特徴とする。
【００１６】
本発明のプログラムは、入力情報の取得を制御する取得制御ステップと、取得制御ステップの処理で取得が制御された入力情報を認識する認識ステップと、認識ステップの処理での認識結果に基づいて提示情報を検索する検索ステップと、検索ステップの処理で検索された提示情報の情報量を計算する計算ステップと、計算ステップの処理で計算された情報量に基づいて提示情報を表示する画面を生成する画面生成ステップとをコンピュータに実行させることを特徴とする。
【００１７】
本発明の情報処理装置および方法、並びにプログラムにおいては、入力情報が取得され、取得された入力情報が認識され、認識結果に基づいて提示情報が検索され、検索された提示情報の情報量が計算され、計算された情報量に基づいて提示情報が表示される画面が生成される。
【００１８】
本発明の情報処理装置は、独立した装置であっても良いし、情報処理を行うブロックであっても良い。
【発明の効果】
【００１９】
本発明によれば、迅速にユーザの所望とする情報を絞り込んで検索し、表示することが可能となると共に、情報の種類毎の情報量を迅速に把握することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２１】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００２２】
即ち、本発明の情報処理装置は、入力情報を取得する取得手段（例えば、図２２の画像抽出部３０１）と、取得手段により取得された入力情報を認識する認識手段（例えば、図２２の認識部３０２）と、認識手段の認識結果に基づいて提示情報を検索する検索手段（例えば、図２２の検索部３０４）と、検索手段により検索された提示情報の情報量を計算する計算手段（例えば、図２２の情報量計算部５０１ａ）と、計算手段により計算された情報量に基づいて提示情報を表示する画面を生成する画面生成手段（例えば、図２２の表示制御部５０１）とを備えることを特徴とする。
【００２３】
本発明の情報処理方法は、入力情報を取得する取得ステップ（例えば、図２３のフローチャートのステップＳ４２の処理）と、取得ステップの処理で取得された入力情報を認識する認識ステップ（例えば、図２３のフローチャートのステップＳ４５の処理）と、認識ステップの処理での認識結果に基づいて提示情報を検索する検索ステップ（例えば、図２３のフローチャートのステップＳ４８の処理）と、検索ステップの処理で検索された提示情報の情報量を計算する計算ステップ（例えば、図２３のフローチャートのステップＳ４９の処理）と、計算ステップの処理で計算された情報量に基づいて提示情報を表示する画面を生成する画面生成ステップ（例えば、図２３のフローチャートのステップＳ５０の処理）とを含むことを特徴とする。
【００２４】
尚、記録媒体、および、プログラムの発明については、情報処理方法と同様であるのでその説明は省略する。
【００２５】
図１は、本発明を適用したサービス提供システムの構成例を表している。
【００２６】
図１のサービス提供システムにおいては、インターネットを含むネットワーク１に対して、アクセスポイント４、画像データ管理サーバ５乃至７が接続されている。また、情報処理装置２は、アクセスポイント４との間で、無線LAN（Local Area Network）による無線通信を行い、アクセスポイント４経由でネットワーク１に接続されている。情報処理装置３は、情報処理装置２との間でブルートゥースによる通信を行う。なお、情報処理装置３と情報処理装置２間の通信は無線LANによることも可能である。また、以降においては、情報処理装置２は、親機２とも称し、また、情報処理装置３は、子機３とも称するものとする。
【００２７】
画像データ管理サーバ５乃至７は、ネットワーク１を介して、後述する認識用DB（データベース）３０３、および、検索用DB（データベース）３０５と同様のデータベースを記憶しており、情報処理装置２または３が、画像データによる認識処理、または、検索処理をする際、認識用DB（データベース）３０３、および、検索用DB（データベース）３０５と同様のデータベースの情報を情報処理装置２または３に提供する。なお、画像データ管理サーバ５乃至７が有する情報は、情報処理装置２，３においても記憶されているようにしてもよい。また、画像データ管理サーバ５乃至７は、図１においては、３台が示されているが、台数はこれに限るものではなく、３台以外の台数であってもよい。
【００２８】
親機２は、画像データ管理サーバ５からの認識用DB、または、検索用DBに関する情報を子機３に送信する。
【００２９】
子機３は、後述する撮像部１２１（図７）により撮像された画像、親機２より取得された画像（親機２を介してその他の装置より取得された画像を含む）、または、自らの記憶部１５４（図７）に記憶された画像をディスプレイ１０１に表示する。子機３は、ディスプレイ１０１（図７）に表示された画像のうち、ポインタで指定された近傍の領域の画像に関連する情報を検索して、ディスプレイ１０１上に表示する。
【００３０】
子機３は、親機２から着脱可能である。図２および図３に、子機３の着脱例を示す。図２には、子機３が親機２の内部に装着された状態の例が示されている。親機２および子機３は、例えば、略六角形の形状とされ、子機３は、図２に示されるように、その角の１つが、親機２の１つの角と重なるようにして、親機２に装着される。
【００３１】
図３には、子機３が、親機２から取り外される場合の例が示されている。図３に示されるように、子機３は、親機２から取り外し可能である。親機２および子機３は、ユーザが携帯可能なサイズとされる。親機２は、例えば、鞄等に入れて持ち運び可能なサイズであり、子機３は、掌に収まる程度のサイズとされる。
【００３２】
図４には、子機３のサイズの例が示されている。図４に示されるように、子機３は、対向する辺同士の間の長さが86mmとされ、厚さが約30mmとされており、掌に収まるサイズである。子機３の外観、および内部の構成例を図５に示す。図５の左方には、子機３の外観の構成例が示され、右方には、内部の構成例が示されている。図５の左方に示されているように、子機３の表面には、種々の案内や、撮像部１２１（図６）で撮像された映像などを表示するディスプレイ１０１、音声を集音するマイクロフォン１０２、周囲の温度および湿度を計測する温度湿度センサ１０３、接触、または非接触によりIC（Integrated Circuit）カードリーダライタとの間で、情報の送受信を行うIC通信部１０４、および音声を出力するスピーカ１０５が配置されている。ディスプレイ１０１は、例えば、LCD（Liquid Crystal Display）により構成される。また、ディスプレイ１０１は、いわゆるタッチパネルであり、ディスプレイ１０１上を指などで触れることにより、触れた位置に対応するディスプレイ１０１上の画像上にポインタを移動させることができ、画像上の位置を指定することが可能である。従って、ディスプレイ１０１は、操作部１５６としても機能する。
【００３３】
IC通信部１０４は、例えば、ICカードリーダライタとの間の通信により、電子マネーの支払いなどを行う。また図示はしないが、子機３の表面には、この他に、LED（Light Emitting Diode）１５９（図７参照）も配置されている。なお、図５の右方に示すように、以下の説明においては、子機３のディスプレイ１０１が配置されている側の面を表面とし、その反対側を裏面とする。
【００３４】
図６は、子機３の内部の裏面側の配置例を表している。図６に示されるように、子機３の内部には、撮像部１２１、無線LAN通信部１２２、GPSアンテナ１２３、バイブレータ１２４−１，１２４−２、GPS検出部１２５、ブルートゥース通信部１２６、磁気センサ１２７、３軸モーションセンサ１２８、バッテリ１２９、および心拍検知センサ１３０が配置されている。
【００３５】
撮像部１２１は、CCD（Charged Coupled Device）またはCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子を含み、周囲の被写体を撮影する。この撮像素子は、子機３の裏面側の表面に設置されている。無線LAN通信部１２２は、無線LANによる通信を行う。GPSアンテナ１２３は、位置測定用人工衛星からの衛星信号を受信し、これをGPS検出部１２５に供給する。バイブレータ１２４−１および１２４−２は、小型モータを内蔵し、互いに直交するように配置され、前後左右に振動する。GPS検出部１２５は、GPSアンテナ１２３からの衛星信号に基づいて、子機３の現在位置の緯度、経度などを算出する。なお、以下の説明において、GPS検出部１２５が検出した経度、緯度などの情報をGPS情報とも称する。
【００３６】
ブルートゥース通信部１２６は、親機２などとの間で、ブルートゥースにより情報の送受信を行う。磁気センサ１２７は、磁気による情報の読み取り等を行う。３軸モーションセンサ１２８は、子機３の３次元姿勢角度をリアルタイムで検出する。バッテリ１２９は、子機３の各部に電力を供給する。心拍検知センサ１３０は、ユーザの心拍数を検知するためのセンサである。
【００３７】
図７は、子機３の内部の電気的構成例を表すブロック図である。なお、上記において既に説明した部分については、適宜、説明を省略する。
【００３８】
CPU（Central Processing Unit）１５１は、ROM（Read Only Memory）１５２に記憶されているプログラム、または記憶部１５４からRAM（Random Access Memory）１５３にロードされたプログラムに従って、子機３の各部の動作を制御し、各種の処理を実行する。RAM１５３にはまた、CPU１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。また、CPU１５１は、ドライブ１７０に接続された磁気ディスク１７１（フレキシブルディスクを含む）、光ディスク１７２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１７３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１７４に記録されたプログラムやデータを適宜読み出して実行すると共に、所定のプログラムやデータを記録させる。
【００３９】
CPU１５１、ROM１５２、およびRAM１５３は、バス１５５を介して相互に接続されている。バス１５５にはまた、記憶部１５４、無線LAN通信部１２２、ブルートゥース通信部１２６、IC通信部１０４、操作部１５６、マイクロフォン１０２、心拍検知部１５７、温度湿度センサ１０３、GPS検出部１２５、撮像部１２１、３軸モーションセンサ１２８、磁気センサ１２７、バイブレータ１２４−１，１２４−２、音声出力制御部１５８、ディスプレイ１０１、LED１５９、RTC１６０、およびドライブ１７１が接続されている。
【００４０】
操作部１５６は、ボタン類およびジョグダイヤル等により構成され、ユーザからの操作を受け付ける。心拍検知部１５７は、心拍検知センサ１３０からの信号に基づいて、ユーザの心拍数を算出する。音声出力制御部１５８は、供給された音声情報（電気信号）に対応する音声を、スピーカ１０５から出力させる。LED１５９は、例えば、ユーザに情報を提示する際、子機３にユーザの注意を向けさせるために発光する。
【００４１】
RTC（Real Time Clock）１６０は、現在時刻を計算し処理に必要な時刻情報を生成し、各種の装置に供給する。
【００４２】
次に、図８は、親機２のサイズの例を表している。図８に示されるように、親機２は、対向する辺同士の間の長さが155mmとされ、厚さが約30mmとされており、例えば鞄等に収納して携帯可能なサイズである。
【００４３】
図９は、親機２の内部の電気的な構成例を表している。図９において、CPU２０１は、例えば、インテル（Intel）社製のペンティアム（登録商標）プロセッサ等で構成され、フロントサイドバス（FSB）２０２に接続されている。FSB２０２には、更に、ノースブリッジ２０３が接続されており、ノースブリッジ２０３は、AGP（Accelerated Graphics Port）２０４を有しているとともに、ハブインタフェース２１０に接続されている。
【００４４】
ノースブリッジ２０３は、例えば、インテル社製のAGP Host Bridge Controllerである４４０ＢＸなどで構成されており、CPU２０１およびRAM（Random Access Memory）２０９（いわゆる、メインメモリ）等を制御する。更に、ノースブリッジ２０３は、AGP２０４を介して、ビデオコントローラ２０５を制御する。ビデオコントローラ２０５は、LCD２０６またはVGA（Video Graphics Array）方式のディスプレイ（以下、VGA２０７と記述する）をコントロールする。
【００４５】
ビデオコントローラ２０５は、CPU２０１から供給されるデータ（イメージデータまたはテキストデータなど）を受信して、受信したデータに対応するイメージデータを生成するか、または、受信したデータをそのまま内蔵するビデオメモリ（不図示）に記憶する。ビデオコントローラ２０５は、LCD２０６またはVGA２０７に、ビデオメモリに記憶されているイメージデータに対応する画像を表示させる。LCD２０６またはVGA２０７は、ビデオコントローラ２０５から供給されたデータを基に、画像または文字などを表示する。
【００４６】
ノースブリッジ２０３は、更に、キャッシュメモリ２０８とも接続されている。キャッシュメモリ２０８は、SRAM（Static RAM）などRAM２０９と比較して、より高速な書き込みまたは読み出しの動作を実行できるメモリで構成され、CPU２０１が使用するプログラムまたはデータをキャッシュする（一時的に記憶する）。
【００４７】
なお、CPU２０１は、その内部に１次的な、キャッシュメモリ２０８に比較して、より高速に動作でき、CPU２０１自身が制御するキャッシュを有する。
【００４８】
RAM２０９は、例えば、DRAM（Dynamic RAM）で構成され、CPU２０１が実行するプログラム、またはCPU２０１の動作に必要なデータを記憶する。具体的には、例えば、RAM２０４は、起動が完了した時点において、HDD（Hard Disk Drive）２２３からロードされたオペレーティングシステムやインターネットプログラムなどを記憶する。
【００４９】
オペレーションシステム（OS（Operating System））は、例えば、マイクロソフト社のいわゆるウィンドウズ（登録商標）ＸＰ、またはアップルコンピュータ社のいわゆるMac OS（登録商標）等に代表される、コンピュータの基本的な動作を制御するプログラムである。
【００５０】
ノースブリッジ２０３は、ハブインタフェース２１０を介して、サウスブリッジ２１１とも接続されている。サウスブリッジ２１１は、例えば、インテル社製のＰＩＩＸ４Ｅなどで構成されており、ＡＣリンクインタフェース２１１Ａ、USB（Universal Serial Bus）インタフェース２１１Ｂ、IDE（Integrated Drive Electronics）インタフェース２１１Ｃ、PCI（Peripheral Component Interconnect）インタフェース２１１Ｄ、LPC（Low Pin Count）インタフェース２１１Ｅ、および、LANインタフェース２１１Ｆ等を内蔵している。
【００５１】
サウスブリッジ２１１は、ＡＣリンクバス２１２、USBバス２１７、IDEバス２２２に接続されるデバイスを介して接続されるデバイスの制御等、各種のI/Ｏ（Input/Output）を制御する。
【００５２】
ＡＣリンクバス２１２には、モデム２１３、サウンドコントローラ２１４が接続されている。モデム２１３は、公衆回線網に接続された場合、公衆回線網またはインターネット（いずれも不図示）を介する通信処理を実行する。サウンドコントローラ２１４は、マイクロフォン２１５から音声を取り込み、その音声に対応するデータを生成して、RAM２０９に出力する。またサウンドコントローラ２１４は、スピーカ２１６を駆動して、スピーカ２１６に音声を出力させる。
【００５３】
サウスブリッジ２１１のUSBバス２１７には、USBコネクタ２１８が接続され、各種USBデバイスが接続可能になされている。またUSBバス２１７を介して、メモリースティックスロット２１９とブルートゥース通信部２２１が設けられている。メモリースティックスロット２１９には、メモリースティック（商標）２２０が接続される。
【００５４】
メモリースティック２２０は、本願出願人であるソニー株式会社によって開発されたフラッシュメモリカードの一種である。このメモリースティック２２０は、小型薄型形状のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものであり、１０ピン端子を介して画像や音声、音楽等の各種データの書き込み及び読み出しが可能となっている。
【００５５】
ブルートゥース通信部２２１は、ブルートゥース規格による通信を行う。USBインタフェース２２１Ｂは、USBバス２１７を介して接続されている外部の装置にデータを送信するとともにデバイスからデータを受信する。
【００５６】
IDEインタフェース２２１Ｃは、いわゆるプライマリIDEコントローラとセカンダリIDEコントローラとの２つのIDEコントローラ、およびコンフィギュレーションレジスタ（configuration register）等から構成されている（いずれも図示せず）。
【００５７】
プライマリIDEコントローラには、IDEバス２２２を介して、HDD２２３が接続されている。また、セカンダリIDEコントローラには、他のIDEバスに、CD-ROMドライブ２２４またはHDD（不図示）などの、いわゆるIDEデバイスが装着されたとき、その装着されたIDEデバイスが電気的に接続される。
【００５８】
無線LAN通信部２２５は、例えばIEEE802.11aやIEEE802.11bなどの無線LAN通信により、ネットワークに接続される。LANインタフェース２１１Ｆは、無線LAN通信部２２５に接続されたネットワークにデータを送信するとともに、データを受信する。
【００５９】
LPCバス２５１には、BIOS（Basic Input Output System）２５２、Ｉ／Ｏ（Input/Output）インタフェース２５３、およびコントローラ２５６が接続されている。BIOS２５２は、親機２の基本動作命令を集めたプログラム群であり、例えば、ＲＯＭ（Read Only Memory）などに記憶されている。また、BIOS２５２は、OSまたはアプリケーションプログラムと周辺機器との間でのデータの受け渡し（入出力）を制御する。
【００６０】
Ｉ／Ｏインタフェース２５３には、シリアル端子２５４とパラレル端子２５５が接続されており、それぞれの端子に接続された機器とのデータの授受を行う。コントローラ２５６には、ジョグダイヤル２５９、およびバッテリ２６０が接続されている。コントローラ２５６にはまた、キーボード２５８、およびマウス２５７などが接続可能である。
【００６１】
PCIバス２２６には、ＰＣカードインタフェース２２９とIEEE1394インタフェース２２７が接続されている。ＰＣカードインタフェース２２９は、スロット２３０に接続された機器（カード）から供給されたデータを、CPU２０１またはRAM２０９に供給するとともに、CPU２０１から供給されたデータをＰＣカードスロットに接続されているカードに出力する。PCIバス２２６には、スロット３３およびＰＣカードインタフェース７８を介して、ドライブ２３１が接続可能である。
【００６２】
ドライブ２３１は、装着されている磁気ディスク２４１、光ディスク２４２、光磁気ディスク２４３、または半導体メモリ２４４に記録されているデータを読み出し、読み出したデータをRAM２０９に供給する。また、CPU２０１の処理により生成されたデータを、ドライブ２３１に装着される磁気ディスク２４１、光ディスク２４２、光磁気ディスク２４３、または半導体メモリ２４４に記憶させることができる。
【００６３】
IEEE1394インタフェース２２７は、IEEE1394ポート２２８を介して、IEEE1394の規格に準拠するデータ（パケットに格納されているデータ）を送受信する。
【００６４】
次に、図１０の機能ブロック図を参照して、図７を参照して説明した情報処理装置３により実現される機能について説明する。
【００６５】
尚、図１０で示される情報処理装置３により実現される機能については、各ブロックについてソフトウェアにより実現されることを前提として説明するが、各ブロックの機能を備えたハードウェアにより実現するようにしてもよいことは言うまでない。従って、図１０で示される機能ブロック図は、ソフトウェアにより実現される機能ブロックを示すものとして認識してもよいし、ハードウェアにより実現される機能ブロックと認識してもよいものである。
【００６６】
画像抽出部３０１は、ポインタ位置検出部３０１ａによりディスプレイ１０１上に表示された画像上の位置情報に基づいて、検出された位置近傍の画像を抽出し、抽出した画像を認識部３０２に供給する。より詳細には、ポインタ位置検出部３０１ａは、ディスプレイ１０１上のポインタの画素位置を示す座標（例えば、ポインタの先端部分の画素位置を示す座標）を検出する。例えば、ポインタ位置検出部３０１ａにより検出された画素の座標位置が（Ｘ，Ｙ）であった場合、画像抽出部３０１は、（Ｘ−α＜Ｘ＜Ｘ＋α，Ｙ−β＜Ｙ＜Ｙ＋β）の範囲の画像を抽出する。ここで、α，βは、ディスプレイ１０１上のポインタ近傍の範囲を示す画素数である。例えば、ディスプレイ１０１上に人物の顔が表示されているような場合、その顔の部分にポインタが存在するとき、画像抽出部３０１は、ポインタの近傍の画像として、２α画素×２β画素のサイズの、その人物の顔の部分の画像を抽出し、認識部３０２に供給する。尚、α，βは、任意に設定することができるので、抽出される画像のサイズを任意に設定することが可能である。従って、抽出される画像のサイズは、例えば、サムネール画像として表示されるサイズや、ウィンドウ１枚分などに設定することができる。
【００６７】
認識部３０２は、画像抽出部３０１より供給された画像に基づいて、認識用DB３０３に記録されている認識用の画像データを用いて画像を認識し、認識結果を検索部３０４に供給する。
【００６８】
より詳細には、認識用DB３０３は、カテゴリ毎の複数のDBから構成されている。すなわち、例えば、会社というカテゴリのDBには、会社に存在する人物の顔写真などの画像データと共に、各画像データに対応する人物の情報が記録されている。また、家族というカテゴリのDBには、自宅に存在する人物の顔写真などの画像データと共に、各画像データに対応する人物などの情報が記録されている。
【００６９】
認識部３０２は、RTC１６０より供給された現在時刻の情報と、GPS検出部１２５より供給されたGPS情報に基づいて、認識用DB３０３に問い合わせて、どのカテゴリのDBを利用するかを決定し、決定したDBに記録されている画像データと、画像抽出部３０１より抽出された画像データとを比較し、一致する画像データに対応する画像IDの情報を、認識結果として検索部３０４に供給する。
【００７０】
検索部３０４は、認識部３０２より供給された認識結果に基づいて検索用DB３０５に記録されている画像データのうち、認識された情報に対応付けられた検索画像ファイルを検索して表示制御部３０６に供給する。より詳細には、検索用DB３０５には、認識に用いられた画像データに対応する検索画像ファイルとその人物に関する固有データが記録されており、認識結果である人物の情報に対応する検索画像ファイルと固有データを検索して、検索された検索画像ファイルと固有データを表示制御部３０６に供給する。
【００７１】
表示制御部３０６は、検索された検索画像ファイルと固有データを表示する画像を、例えば、ウィンドウとして生成し、ディスプレイ１０１上の画像にオーバーラップして表示させる。
【００７２】
次に、図１１のフローチャートを参照して、図１０の情報処理装置（子機）３によるデータ表示処理について説明する。
【００７３】
ステップＳ１において、画像抽出部３０１のポインタ位置検出部３０１ａは、操作部１５６として機能するディスプレイ１０１からの情報に基づいて、画像上のポインタの位置を示す座標情報として、例えば、矢印状のポインタの先端部分の位置を示す座標（Ｘ，Ｙ）を検出する。
【００７４】
ステップＳ２において、画像抽出部３０１は、ポインタ位置検出部３０１ａにより検出されたポインタの画素位置を示す座標情報（Ｘ，Ｙ）に基づいて、ポインタの座標近傍の画像として、例えば、水平方向に対して、Ｘ−α＜Ｘ＜Ｘ＋αの範囲で、かつ、垂直方向に対して、Ｙ−β＜Ｙ＜Ｙ＋βの範囲の画像を抽出して認識部３０２に供給する。すなわち、画像抽出部３０１は、ポインタの座標位置である（Ｘ，Ｙ）を中心として、２α画素×２β画素の画像をポインタの近傍の画像として抽出し、認識部３０２に供給する。
【００７５】
ステップＳ３において、認識部３０２は、認識用DB特定情報を取得し、ステップＳ４において、複数のカテゴリのDBからなる認識用DB３０３のうちのどのカテゴリの認識用DB３０３を利用するかを特定する。
【００７６】
より具体的には、認識用DB３０３は、図１２で示されるように、ユーザが勤務する会社に属する人物（上司や同僚、部下など）の参照顔画像を登録した会社DB３０３ａや、家族の参照顔画像を登録した家族DB３０３ｂ等、ユーザの人間関係などから所在地毎にカテゴリ別に分けて人物の参照顔画像を登録したDBの集合体として構成されている。尚、今の場合、認識用DB３０３に含まれる各DBは、図１２においては、２個の場合について説明しているが、それ以上の数であってもよく、また、所在地毎にカテゴリが設定されたDBが構成されているが、例えば、会うことが多い時間帯毎としたり、性別など、様々なカテゴリを設定するようにしてもよい。
【００７７】
これら会社DB３０３ａ、および、家族DB３０３ｂは、後述するように、認識処理が行われる状況に応じて選択される。各DBは、少なくとも認識ＩＤと、それに対応付けられた人物の参照顔画像データとから構成される複数の情報を記憶し、管理する。認識率の低下を避けるため、１つのカテゴリのDBについて１０人程度の参照顔画像データを登録することが好ましい。
【００７８】
さらに、認識部３０２は、図１２を参照して説明した認識用DB３０２のうち、認識用DB特定情報として、RTC１６０より現在時刻の情報を取得すると共に、GPS検出部１２５より現在位置のGPS情報を取得する。そして、認識部３０２は、取得した時刻情報とGPS情報に基づいて、認識用DB３０３のいずれのカテゴリのDBを使用するかを判定する。図１２の場合、認識部３０２は、取得した時刻情報とGPS情報に基づいて、会社DB３０３ａか、または、家族DB３０３ｂかのいずれかのDBを選択する。
【００７９】
より具体的には、例えば、時刻情報の時間帯が朝、または、夜であって、かつ、GPS情報が自宅近傍の場合、家族と接する可能性が高いので撮像部１２１において、家族DB３０３ｂに属する家族の画像が撮像される可能性が高いので、家族DB３０３ｂを選択する。一方、時刻情報の時間帯が日中で、かつ、GPS情報が会社近傍の場合、会社DB３０３ａに属する人物と接する可能性が高いので撮像部１２１において、会社DB３０３ａに属する画像が撮像される可能性が高いので、会社DB３０３ａを選択する（特定する）。このようにカテゴリによりDBを設定することで、認識率と認識速度を向上させることが可能となる。
【００８０】
ステップＳ５において、認識部３０２は、画像抽出部３０１より供給された画像に基づいて、撮像されている画像と認識用DB３０２に記憶されている画像との差分により一致している画像を見つけ出すことにより認識し、認識結果として見つけ出された画像の画像IDを検索部３０４に供給する。より具体的には、認識部３０２は、供給された２枚の画像に対してその画像中の人物が同一人物か、他人であるかの判定をすることで実現している。その判定については、２枚の顔画像の差分画像に基づいて行っている。
【００８１】
すなわち、顔の識別では、先ず、同一人物の２枚の画像の差分を学習段階として予め求めており、これを参照して、２枚の画像の差分結果から同一の画像であるか否か（今の場合、同一の人物であるか否か）を判定している。
【００８２】
その学習段階では、同一の被写体（例えば、同一人物）の２枚の画像の差分を求め、同一の差分画像群（intra-personal class）を生成し、これを固有値展開することで特徴空間とされるintra-personal classの固有空間を獲得している。例えば、このような学習手法の技術としては、B.Moghaddamらの報告（B. Moghaddam, W.Wahid, A.Pentland, "Beyond Eigenfaces: Probabilistic Matching for Face Recognition", MIT Media Lab. Perceptual Computing Section Technical Report No.443, 1998.）に開示されている技術が挙げられる。
【００８３】
そして、このような学習を経て実現される認識処理は次のようになる。先ず、２枚の画像の差分を正しく得るため、画像上の被写体の位置（今の場合、人物の顔の位置）を精度良く求める必要がある。特に、顔の場合、顔の中の眼、鼻の位置は人によって異なるため、これらの位置を正規化する必要もある。例えば、ここでは、得られた画像に対し固有眼と固有鼻のマッチングを行うことで眼と鼻の位置同定を行い、検出された眼と鼻が定められた位置になるように、アフィン変換で回転・伸縮（モーフィング処理）を行う。
【００８４】
さらに、このようなモーフィング操作を経て、画像抽出部３０１により抽出された画像と認識用DB３０３中の画像データとされる画像との差分を生成する。
【００８５】
次に、上述したような差分により得られた差分画像と上述の固有空間とに基づいて、認識用DB３０２に記憶されているいずれの画像であるかを特定する。具体的には、差分画像とintra-personal class空間の距離（distance from feature space，ＤＦＦＳ）及び差分画像をintra-personal空間に投影した点と原点からの距離（distance in feature space，ＤＩＦＳ）を計算する。例えば、同一人物の差分画像がintra-personal class空間内で正規分布をとると仮定すれば、ＤＦＦＳとＤＩＦＳの加算値（ＤＦＦＳ＋ＤＩＦＳ）が分布からの距離を表すことになる。そして、この距離が小さいほど同一人物である確率が高いことになる。このような関係を利用して、画像抽出部３０１により抽出された画像と最も同一である確率が高い画像を決定することにより、画像を認識する。例えば、差分値が小さい場合には、差分画像はメリハリなく、いわゆるのっぺりとした画像として得られる。
【００８６】
より詳細には、図１３で示されるように、ステップＳ２の処理により、画像抽出部３０１は、入力された画像Ｇ０より画像Ｇ１を抽出する。そして、認識部３０２は、画像Ｇ２のように画像の４隅をマスクして、背景部分を取り除き、さらに、モーフィング操作をして画像Ｇ３を取得する。
【００８７】
そして、認識部３０２は、図１４で示されるように、モーフィング操作により得た画像Ｇ３について、認識用DB３０３のうち、選択されたカテゴリのDBに予め記憶されている、例えば、画像ＤＧ１，ＤＧ２，ＤＧ３，・・・との差分を得る。これにより、差分の画像ＳＤ１，ＳＤ２，ＳＤ３，・・・がそれぞれ得られる。本例では、画像Ｇ１乃至Ｇ３内に顔が含まれていた画像は、差分値Ｐが、それぞれＰ＝2.79ｅ-64（図中では、Ｐ＝2.79ｅ−64）， 1.53ｅ-69（図中では、Ｐ＝1.53ｅ−69）、および9.73ｅ-72（図中では、Ｐ＝9.73ｅ-72）となっており、Ｐ＝9.73ｅ-72となる第３の画像ＤＧ３と同一人物である確率が最も高い結果となっている。そこで、認識部３０２は、画像抽出部３０１により抽出された画像に映し出されている人物が、画像ＤＧ３の人物であると認識し、認識結果を検索部３０４に供給する。尚、以上の例においは、画像中に撮像されている人物を認識する場合を例として用いてきたが、同様の手法により物体を認識することも可能である。また、同様の手法により、文字などをテキストデータとして認識することも可能である。
【００８８】
ここで、図１１のフローチャートの説明に戻る。
【００８９】
ステップＳ６において、検索部３０４は、認識部３０２より供給された画像IDの有無により、画像を認識することができたか否かを判定する。すなわち、認識部３０２は、画像中に撮像されている人物（人物のみならず、物体、または、文字なども含む）を認識するには、認識用DB３０３に予め登録された画像データであることが前提となるが、登録された画像データに、画像抽出部３０１より供給される抽出された画像と一致する画像データが含まれていないことがある。このような場合、認識部３０２は、画像を認識することができないことになり、結果として、認識結果としての画像IDがないことになるので、検索部３０４は、画像が認識されなかったと判定し、その処理は、ステップＳ７に進む。
【００９０】
ステップＳ７において、検索部３０４は、認識部３０２に対して画像抽出部３０１より供給された画像を認識用DB３０２のうち、ステップＳ４の処理で特定されたカテゴリのDBに登録させて、その処理は、ステップＳ１に戻りそれ以降の処理を繰り返す。より詳細には、検索部３０４は、表示制御部３０６を制御して、入力された画像に対する固有データなどを登録するためのダイアログボックスを表示させて、ユーザに対して、これらの情報の入力を促し、ユーザにより入力された固有データと、入力された画像を認識IDに対応付けて検索用DB３０５に登録する。このようにすることで、後述する検索用DB３０５に新たな画像を蓄積させることができる。
【００９１】
一方、ステップＳ６において、上述した手法により画像を認識することができたと判定された場合、ステップＳ８において、検索部３０４は、認識部３０２より供給された認識結果である画像IDに基づいて、対応する検索画像ファイルを検索用DB３０５より検索する。
【００９２】
ここで、検索用DB３０５について説明する。検索用DB３０５は、例えば、図１５で示されるように構成されている。すなわち、図１５においては、左から画像ID欄、検索画像ファイル欄、および、固有データ欄が設けられている。
【００９３】
更に、画像ID欄には、認識用DB３０３に記録されている画像データに対応するIDが示されており、今の場合、画像IDとして、上から１，２，３が示されている。さらに、検索画像ファイル欄には、上から「ID1-1.jpg；ID1-2.jpg」、「ID2-1.jpg；ID2-2.tiff；ID2-3.mpeg」、および、「picture01.jpg；picture02.jpg；picture03.jpg；picture04.jpg；picture05.jpg」が示されている。さらに、固有データ欄には、上から「田中一郎；ichiro_tanaka@ABC.com」、「山田けいこ；○△商事経理部」、および、「山田太郎；taro_yamada@zony.com；1000円貸した」と示されている。
【００９４】
すなわち、図１２において、検索用DB３０５には、画像ID＝１に対応する検索画像ファイルは、「ID1-1.jpg；ID1-2.jpg」であり、画像ID＝１に対応する固有データは、「田中一郎；ichiro_tanaka@ABC.com」であることが示されている。同様にして、画像ID＝２に対応する検索画像ファイルは、「ID2-1.jpg；ID2-2.tiff；ID2-3.mpeg」であり、画像ID＝２に対応する固有データは、「山田けいこ；○△商事経理部」であることが示されている。さらに、画像ID＝３に対応する検索画像ファイルは、「picture01.jpg；picture02.jpg；picture03.jpg；picture04.jpg」であり、画像ID＝２に対応する固有データは、「山田太郎；taro_yamada@zony.com；1,000円貸した」であることが示されている。
【００９５】
ここで、「.jpg」の拡張子が付されているファイルは、JPEG（Joint Photographic Experts Group）方式で圧縮された静止画の画像データを示し、同様に「.tiff」の拡張子が付されているファイルは、TIFF（Tagged Image File Format）方式で圧縮された静止画の画像データを示し、さらに、「.mpeg」の拡張子が付されているファイルは、mpeg（Moving Picture Experts Group）方式で圧縮された動画の画像データを示している。尚、画像の形式は、この方式に限るものではなく、その他の形式であってもよいことは言うまでもない。固有データにおける「田中一郎」、「山田けいこ」、および、「山田太郎」は、固有データの氏名を示すテキストデータであり、「ichiro_tanaka@ABC.com」および「taro_yamada@zony.com」は、それぞれメールアドレスを示すテキストデータであり、さらに、「1,000円貸した」、および、「○△商事経理部」は、メモ情報を示すテキストデータである。
【００９６】
より詳細には、これらの検索用DB３０４の情報は、画像ID毎に例えば、XML（Extesible Markup Language）により図１６で示されるように記述される。尚、この記述例は、図１５の画像ID＝３に対応するものである。
【００９７】
図１６の場合、第０１行目の「<record>」は、記録開始を示し、第１３行目の「</record>」で示される終了位置までが、画像ID＝３に関する記述であることを示している。
【００９８】
第０２行目の「<name>山田太郎</name>」は、画像ID＝３に対応する画像に撮像されている人物の名前が「山田太郎」であることが示されている。第０３行目の「<mail>taro_yamada@jp.zony.com</mail>」は、メールアドレスが「taro_yamada@jp.zony.com」であることが示されている。
【００９９】
第０４行目の「<picture>」は、この行から「</picture>」が示されるまでが検索画像ファイルが記述された範囲であることを示している。今の場合、「</picture>」は、第０９行目に記述されているので、第０５行目乃至第０８行目の範囲に検索画像ファイルが記述さされていることが示されている。
【０１００】
今の場合、第０５行目乃至第０８行目には、それぞれ「<path>c:\my pictures\picture01.jpg</path>」、「<path>c:\my pictures\picture02.jpg</path>」、「<path>c:\my pictures\picture03.jpg</path>」、および、「<path>c:\my pictures\picture04.jpg</path>」と記述されており、検索画像ファイル「picture01.jpg」乃至「picture04.jpg」のパス（ファイルの所在を示す情報）が記録されている。
【０１０１】
さらに、第１０行目には、「<memo>」が記述されており、第１２行目の「</memo>」までの範囲にメモ情報が記録されていることが示されており、今の場合、第１１行目に「<content>1,000円貸した</content>」と記述されており、「1,000円貸した」ことがメモとして記述されている。
【０１０２】
検索部３０４は、認識結果として供給された画像IDに対応する検索画像ファイル、および、固有データを上述した検索用DB３０５から検索し、検索結果として表示制御部３０６に供給する。
【０１０３】
ここで、図１１のフローチャートの説明に戻る。
【０１０４】
ステップＳ９において、表示制御部３０６は、検索部３０４より供給された検索結果に基づいて、表示画面を生成し、ステップＳ１０において、ディスプレイ１０１に表示し、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【０１０５】
すなわち、以上の処理により、例えば、図１７で示されるようなブラウザの表示画面が、ディスプレイ１０１に表示されていた場合、写真が表示されている領域４５１上にポインタ４５２が表示されているものとする。
【０１０６】
ステップＳ１において、ポインタ４５２の先端部の位置がポインタの位置として検出され、さらに、そのポインタ４５２の近傍の画像として、例えば、抽出画像４５３が抽出される。
【０１０７】
ステップＳ３，Ｓ４の処理により、この抽出画像４５３に基づいて認識用DB３０３のどのDBを用いるかが特定され、ステップＳ５において、この抽出画像４５３に含まれる人物の画像IDを決定することにより、画像を認識する。
【０１０８】
ステップＳ８の処理により、検索用DB３０５より、認識結果となる画像IDに対応する検索画像ファイルと固有データが抽出され、さらに、ステップＳ９の処理により、検索された検索画像ファイルと固有データが、加工されて、ステップＳ１０によりディスプレイ１０１に表示される。
【０１０９】
より具体的には、例えば、画像IDに対応する検索画像ファイルと固有データは、今の場合、図１５の画像IDに対応する検索画像データと固有データであるので、図１８で示されるように、これらの情報を用いて、固有データ表示欄４６１と検索画像ファイル表示欄４６２を生成する。
【０１１０】
固有データ表示欄４６１はウィンドウであり、今の場合、図１５の画像ID＝３に対応する固有データが示されており、「山田太郎」、「taro_yamada@zony.com」、および、「1000円貸した」が表示されている。また、検索画像ファイル表示欄４６２には、選択画像表示欄４７１が設けられており、picture01.jpg乃至picture04.jpgに対応する検索画像４７４乃至４７７のうち選択された画像が表示されている。また、検索画像４７４乃至４７７は、ボタン４７２，４７３により切り替えることができ、今の場合、検索画像４７５が選択されて、選択画像表示欄４７１に表示されているので、検索画像４７４を表示させたいときには、ボタン４７２を押下することにより切り替えることができる。一方、図１８の状態から検索画像４７６を表示させたいときには、ボタン４７３を押下することで切り替えることができ、検索画像４７７を表示させたいときには、さらに、ボタン４７３を押下することで切り替えることが可能となる。
【０１１１】
以上のような処理により、ポインタを図１７で示すような画像上の所定の位置に移動させることで、ポインタ近傍の画像に含まれる人物の情報を図１８で示すように表示させることができ、例えば、固有データ表示欄４６１で示されるように固有データを検索することで、名前やメールアドレスなどを検索することができると共に、「1,000円貸した」といった忘れがちな情報を思い出すようなことも可能となる。また、検索画像ファイル表示欄４６２に表示される画像を見ることにより、映し出された人物とどの様なことをしたことがあったかなどを確認することが可能となる。すなわち、画像を認識して、認識結果に基づいて情報を検索して提示することにより、人間が画像を見ることで思い出すといった処理を合理的に補助することが可能となる。
【０１１２】
また、以上においては、画像に基づいて、人の顔を認識し、認識した人物に対応する固有データと検索画像ファイルを表示する場合（認識部３０２が顔認識エンジンとしての機能を備えている場合）について説明してきたが、例えば、画像認識エンジンを用いて画像中のロゴマークなどの形状を認識して、そのロゴマークに対応する情報を提示し、ロゴマークに対応する、例えば、URL（Universal Resource Locator）などにアクセスするようにしてもよい。
【０１１３】
図１９は、画像中に含まれるロゴマークなどの記号を認識し、対応する処理を実行できるようにした情報処理装置３により実現されるその他の機能を示している。尚、図１０の情報処理装置３と同一の構成については、同一の番号を付しており、その説明は適宜省略するものとする。
【０１１４】
図１９において、図１０の情報処理装置３と異なる点は、表示制御部３０６に代えて、表示制御部３１１を備えた点である。表示制御部３１１の機能は、表示制御部３０６と同様であるが、さらに、検索用DB３０５に記憶されている固有データにURLが含まれていた場合、親機２およびアクセスポイント４を介してネットワーク１上のURLにアクセスし、対応するブラウザを表示させるようにする機能が設けられている。
【０１１５】
次に、図２０のフローチャートを参照して、図１９の情報処理装置３によるデータ表示処理について説明する。尚、図２０のフローチャートにおけるステップＳ２１乃至Ｓ２９の処理は、図１１のフローチャートにおけるステップＳ１乃至Ｓ９と同一の処理であるので、その説明は省略する。
【０１１６】
例えば、図２１の場合、ポインタ４９１がロゴマーク４９３の近傍に存在するので、ステップＳ３０において、表示制御部３１１は、表示画像４９４上にロゴマーク４９３に対応する画像IDに対応する、検索用DB３０５に記憶されている固有データに基づいて、「MIKE Japanのホームページにアクセス」と示された情報表示欄４９２を表示させる。すなわち、このロゴマーク４９３に対応するURLが固有データとして登録されており、この画像を選択することでURLにアクセスすることが可能であることが示される。
【０１１７】
ステップＳ３１において、表示制御部３１１は、操作部１５６としてのディスプレイ１０１よりロゴマーク４９３が選択されたか否かを判定し、選択されたと判定された場合、親機２およびアクセスポイント４を介して、そのロゴマークの画像IDに対応する固有データに含まれるURLにアクセスし、対応する画面をディスプレイ１０１に表示させ、その処理は、ステップＳ２１に戻る。
【０１１８】
ステップＳ３１において、ロゴマーク４９３が選択されていないと判定された場合、ステップＳ３２の処理はスキップされて、その処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０１１９】
以上の処理により、認識部３０２は、画像認識エンジンとして機能することになり、結果として、ポインタ近傍の画像のロゴマークなどの情報に基づいて、対応する情報をユーザが意識することなく提示することができ、検索などの手間を省き、迅速にユーザの欲しい情報を提供することが可能となる。
【０１２０】
以上においては、認識部３０２が、顔認識エンジン、または、画像認識エンジンとしての機能を備えており、結果として、認識結果に応じた情報を提示する場合について説明してきたが、認識対象に応じた複数の認識エンジンとしての機能を認識部３０２に備えるようにして、認識対象に応じて切り替えるようにすることで、様々な情報を認識し、認識内容に対応して情報を提示するようにしてもよい。
【０１２１】
さらに、入力される画像を撮像部１２１により撮像される画像とすることにより、撮像された人物の情報のみならず、例えば、店舗などの情報をリアルタイムで提示することができるので、例えば、ユーザが不案内な場所を歩くような場合にでも、付近の店舗の情報を取得することが可能となる。
【０１２２】
また、以上においては、検索結果である検索画像ファイルを図１８で示される固有データ表示欄４６１や検索画像ファイル表示欄４６２のように表示する例について説明してきたが、図１８の場合、検索された固有データや検索画像ファイルが膨大なものとなると見つけ出したい情報を目で確認しながら検索するだけでも手間がかかるうえ、検索された情報量がわからないため、目で検索する際にどの程度手間がかかるかすら予測できない恐れがある。
【０１２３】
そこで、検索された固有データや検索画像ファイルの情報量を直感的に把握できるように表示させることで、検索にかかる手間の程度を予測し易くするようにしてもよい。
【０１２４】
図２２は、検索された固有データや検索画像ファイルの情報量を直感的に把握できるようにした情報処理装置３により実現される更にその他の機能を示している。尚、図１０の情報処理装置３と同一の構成については、同一の番号を付しており、その説明は適宜省略するものとする。
【０１２５】
図２２において、図１０の情報処理装置３と異なる点は、表示制御部３０６に代えて、表示制御部５０１を備えた点である。表示制御部５０１の機能は、表示制御部３０６と同様であるが、情報量計算部５０１ａが更に設けられており、検索部３０４により検索された固有データ、および、検索画像ファイルの情報量が計算される。表示制御部５０１は、この情報量計算部５０１ａにより計算された情報量に基づいて、各固有データや検索画像ファイルを示すアイコンの大きさを変化させて、表示画面を生成し表示する。
【０１２６】
次に、図２３のフローチャートを参照して、図２２の情報処理装置（子機）３によるデータ表示処理について説明する。尚、図２３のフローチャートにおける、ステップＳ４１乃至Ｓ４８の処理については、図１１のフローチャートを参照して説明したステップＳ１乃至Ｓ８の処理と同様であるので、その説明は、省略する。
【０１２７】
ステップＳ４９において、表示制御部５０１の情報量計算部５０１ａは、検索された固有データおよび検索画像ファイルの情報の情報量を項目毎に計算する。すなわち、上述したように、検索用DB３０５には、図１５で示されるように、静止画、および、動画からなる検索用画像ファイルのほかに固有データとして、名前、E-mailアドレス、および、メモの情報が記録されているので、情報量計算部５０１ａは、静止画、動画、および、名前、E-mailアドレスなどからなる個人データ、並びにメモの情報毎に情報量を計算する。より具体的には、情報量計算部５０１ａは、例えば、静止画の場合は、画像枚数、動画の場合は、記録時間、個人データ、および、メモの情報は、その文字数などを情報量として計算する。もちろん、情報量としては、データのサイズ（例えば、何Byteであるかなど）をそのまま利用するようにしてもよいことは言うまでもない。
【０１２８】
ステップＳ５０において、表示制御部５０１は、検索部２４より供給された検索画像ファイルと固有データ、並びに、情報量計算部５０１ａにより計算された情報量の計算結果に基づいて、例えば、図１８で示される固有データ表示欄４６１や検索画像ファイル表示欄４６２に代えて、図２４で示されるようなウィンドウ５５１からなる表示画像を生成する。
【０１２９】
すなわち、図２４のウィンドウ５５１においては、入力画像に含まれる画像の被写体である人物５５６（検索エンジンで検索される対象）に対応する検索画像ファイルのうち、静止画を示すバルーン状のアイコン５５２が表示され、その右側に検索画像ファイルのうち静止画を示すバルーン状のアイコン５５３が表示され、さらに、その右側に、固有データのうち個人データを示すバルーン状のアイコン５５５が示され、その下には、固有データのうちメモの情報を示すバルーン状のアイコン５５４が示されている。さらに、ウィンドウ５５１の右上には、この表示画像を終了させる終了ボタン５５７が表示されている。
【０１３０】
アイコン５５２乃至５５５は、それぞれ上述した情報量計算部５０１ａにより計算された情報量に基づいて、そのバルーンの径が変化するように生成されている。従って、ユーザは、ウィンドウ５５１に表示されたアイコン５５２乃至５５５の大きさを見るだけで、検索画像ファイルの量や、固有データの量を直感的に把握することが可能となる。結果として、検索画像ファイルの量、および、固有データの量に応じて自らで情報を検索するか否かを迅速に判断することが可能となる。
【０１３１】
ステップＳ５２において、表示制御部５０１は、ウィンドウ５５１上のアイコン５５２乃至５５５のうち、個人データの情報を示すアイコン５５５上にポインタが存在するか否かを判定する。例えば、図２５で示されるようにアイコン５６１がメモ情報を示すアイコン５５５上に存在すると判定された場合、ステップＳ５３において、図２５で示されるように、固有データのうち個人データを表示するウィンドウ５６２を生成し、個人データを表示し、その処理は、ステップＳ５６に進む。
【０１３２】
図２５においては、図１５の検索用DB３０５の画像ID＝２の個人データである、「山田けいこ ○△商事 経理部」がウィンドウ５０２に表示されている。また、「OK」と表示されたボタン５６３は、ウィンドウ５６２を閉じるとき、押下されるものである。ユーザは、このように個人データを示すバルーン状のアイコンにポインタ５６１を移動させるだけで、個人データを参照することができるので、例えば、入力画像に表示された人物をうっかりと忘れているような状態でも、名前などの個人データの提示を受けることにより、思い出すことが可能となる。
【０１３３】
一方、ステップＳ５２において、個人データのバルーン状のアイコン５５５上にポインタ５６１が存在しない場合、ステップＳ５４において、表示制御部５０１は、アイコン５５５以外のアイコン５５２乃至５５４がポインタ５６１により選択されたか否かを判定する。
【０１３４】
ステップＳ５４において、例えば、図２６で示されるように、ポインタ５６１が、アイコン５５２上に存在する状態で、クリックされるなどして選択された場合、アイコン５５２乃至５５４のいずれかが選択されたと判定され、その処理は、ステップＳ５５に進む。
【０１３５】
ステップＳ５５において、表示制御部５０１は、選択されたアイコン５５２乃至５５４のうち、選択されたアイコンに対応する情報を、表示する。
【０１３６】
より詳細には、例えば、図２６で示されるように、検索画像ファイルのうち静止画についてのアイコン５５２が選択されている場合、表示制御部５０１は、選択されたバルーン状のアイコン５５２を、はじけて破裂したように表示した後、静止画を表示するためのウィンドウ５７１を表示する。
【０１３７】
ウィンドウ５７１には、検索画像ファイルのうちの１の静止画を表示する静止画表示欄５７２が表示される。また、静止画表示欄５７２の下には、ボタン５７３乃至５７５が設けられている。ボタン５７３は、検索画像ファイルのうち、静止画表示欄５７２に表示された静止画よりも１前に配置された静止画に戻って表示するときに操作される。また、ボタン５７４は、ウィンドウ５７１を閉じるとき操作される。さらに、ボタン５７５は、検索画像ファイルのうち、静止画表示欄５７２に表示された静止画よりも１後に配置された静止画に進めて表示するときに操作される。
【０１３８】
尚、以上においては、検索画像ファイルのうち静止画のアイコン５５２が選択された場合について説明したが、動画が選択された場合も同様にウィンドウが生成されて表示されるが、動画の場合、再生ボタン、停止ボタン、早送りボタン、および、早戻しボタンがさらに表示される。また、固有データのうちメモに対応するアイコン５５３が選択された場合、固有データのうちメモに対応する情報が表示され、例えば、図１５の検索用DB３０５の画像ID＝３のような場合、「1,000円貸した」といった情報が表示される。
【０１３９】
ステップＳ５６において、表示制御部５０１は、ウィンドウ５５１，５７２、または５６２の表示を終了する処理が指示されたか否かを判定し、終了が指示されていないと判定された場合、その処理は、ステップＳ５２に戻り、終了が指示されたと判定された場合、その処理は、ステップＳ４１に戻り、それ以降の処理が繰り返される。また、ステップＳ５５において、いずれのバルーンも選択されなかった場合、すなわち、アイコン５５２乃至５５４のいずれの位置にもポインタ５６１が移動されて、選択されなかった場合、ステップＳ５５の処理がスキップされて、その処理は、ステップＳ５６に進む。
【０１４０】
以上のような処理により、自分が取り溜めた画像などを見ながら、そこに映し出された画像上の、例えば、特定の人物の位置にポインタを移動させるだけで、個人データの提示させることができ、その人物に関連する画像を表示させることが可能となる。また、情報の種類毎に表示されるバルーン状のアイコンが情報量に応じて大きさを変化させて表示されることになるので、情報の種類毎に情報量を迅速に把握することが可能となる。結果として、検索された情報を自らの目で検索すべきか、さらに、別の方法で絞り込みをかけるべきであるのかといった判断を容易なものとすることが可能となる。
【０１４１】
さらに、入力画像を撮像部１２１により撮像された画像にすることで、例えば、街中で情報処理装置３を持ち歩きながら、付近の風景を撮像することにより、知り合いであるのだが、誰であったかをうっかり忘れてしまったような場合にでも、認識用DB３０２および検索用DB３０４に登録された人物であれば、名前などの個人データが提示されるので、思い出すことが可能となる。
【０１４２】
また、認識できる情報は人物の顔のみならず、上述したように店などのロゴマークなどを認識できるようにすることで、店舗の看板などに記載された店舗名や、ロゴマークなどを認識させることができ、対応して固有データを表示させることや、その店舗のURLなどにアクセスさせるようにし、さらに、関連情報を提示させるようにしてもよい。この際、上述のバルーン状のアイコンに店舗のクーポン情報を表示させるなどして、選択することによりバルーンがはじけて破裂すると、クーポンが表示されるようにしてもよい。
【０１４３】
さらに、以上の例においては、情報量を情報の種類毎のバルーン状のアイコンの大きさにより提示していたが、これは、バルーン状のアイコンに限らず、大きさを情報量に応じて変化させて表示できるアイコンであればよく、その他の形状のアイコンであってもよい。
【０１４４】
以上においては、情報処理装置３が上述の処理を実行する場合について説明してきたが、親機である情報処理装置２が同様の処理を実行できるようにしてもよい。尚、情報処理装置２により上述の処理が実行される場合、図１０，図１９、および図２２に示された機能が、情報処理装置２により実現されることになる。各処理については同様であるので、その説明は省略する。
【０１４５】
また、以上においては、画像を認識する例について説明してきたが、例えば、マイクロフォン１０２、または、２１５により検出された音声により音声認識処理を行うようにして、音声認識結果に基づいて情報を提示するさせるようにしてもよい。すなわち、予め音声に関する認識用DB３０３に音声認識に必要な情報を記憶させておき、認識部３０２が、認識用DB３０３を用いて、入力された音声により、例えば、人物の声の種類などから人物を特定したり、動物の鳴き声や、機械の動作音などにより人物、動物、または機械を特定することで認識する。さらに、検索用DB３０４に、認識結果に対応する検索情報を蓄積することにより、認識結果に対応して検索部３０４が、情報を検索するようにしてもよい。
【０１４６】
また、上述した例においては、情報処理装置２または３に認識用DB３０２、および、検索用DB３０５を備えた場合について説明してきたが、認識用DB３０２、および、検索用DB３０５は、自らで備えたものに限らず、例えば、画像データ管理サーバ５乃至７のいずれかから、認識部３０２、および、検索部３０４がそれぞれ、ネットワーク１を介して利用するようにしてもよい。
【０１４７】
以上によれば、入力情報を取得し、取得した入力情報に基づいて、ユーザの所望とする提示情報を検索し、表示することが可能となり、さらに、提示情報の情報量に応じて提示情報を表示する表示画面を生成するようにしたので、情報の種類毎に情報量を迅速に把握することが可能となる。
【０１４８】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１４９】
この記録媒体は、図７，図９に示す装置では、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１７１，２４１（フレキシブルディスクを含む）、光ディスク１７２，２４２（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク１７３，２４３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１７４，２４４などよりなるパッケージメディアにより構成されるだけでなく、装置に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１５２や、記憶部１５４，HDD２２３に含まれるハードディスクなどで構成される。
【０１５０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１５２】
【図１】本発明のサービス提供システムの構成を示す図である。
【図２】図１の親機に子機を装着した場合の例を説明する図である。
【図３】図１の親機から子機を取り外した場合の例を説明する図である。
【図４】図１の子機の形状およびサイズの例を説明する図である。
【図５】図１の子機の外観および内部の構成例を説明する図である。
【図６】図１の子機の外観の構成例を説明する図である。
【図７】図１の子機の内部の電気的構成例を示すブロック図である。
【図８】図１の親機の形状およびサイズの例を説明する図である。
【図９】図１の親機の内部の電気的構成例を示すブロック図である。
【図１０】図７の情報処理装置により実現される機能を説明する機能ブロック図である。
【図１１】図１０の情報処理装置により実現される機能によるデータ表示処理を説明するフローチャートである。
【図１２】認識用DBを説明する図である。
【図１３】画像認識を説明する図である。
【図１４】画像認識を説明する図である。
【図１５】検索用DBを説明する図である。
【図１６】検索用DBの記述例を説明する図である。
【図１７】ウィンドウの表示例を説明する図である。
【図１８】ウィンドウの表示例を説明する図である。
【図１９】図７の情報処理装置により実現されるその他の機能を説明する機能ブロック図である。
【図２０】図１９の情報処理装置により実現される機能によるデータ表示処理を説明するフローチャートである。
【図２１】ウィンドウの表示例を説明する図である。
【図２２】図７の情報処理装置により実現される更にその他の機能を説明する機能ブロック図である。
【図２３】図２２の情報処理装置により実現される機能によるデータ表示処理を説明するフローチャートである。
【図２４】ウィンドウの表示例を説明する図である。
【図２５】ウィンドウの表示例を説明する図である。
【図２６】ウィンドウの表示例を説明する図である。
【符号の説明】
【０１５３】
３０１  画像抽出部，  ３０１ａ  ポインタ位置検出部，  ３０２  認識部，  ３０３  認識用DB，  ３０４  検索部，  ３０５  検索用DB，  ３０６，３１１，５０１  表示制御部，  ５０１ａ  情報量計算部
【図１】
2005182495.tif 000003
【図２】
2005182495.tif 000004
【図３】
2005182495.tif 000005
【図４】
2005182495.tif 000006
【図５】
2005182495.tif 000007
【図６】
2005182495.tif 000008
【図７】
2005182495.tif 000009
【図８】
2005182495.tif 000010
【図９】
2005182495.tif 000011
【図１０】
2005182495.tif 000012
【図１１】
2005182495.tif 000013
【図１２】
2005182495.tif 000014
【図１３】
2005182495.tif 000015
【図１４】
2005182495.tif 000016
【図１５】
2005182495.tif 000017
【図１６】
2005182495.tif 000018
【図１７】
2005182495.tif 000019
【図１８】
2005182495.tif 000020
【図１９】
2005182495.tif 000021
【図２０】
2005182495.tif 000022
【図２１】
2005182495.tif 000023
【図２２】
2005182495.tif 000024
【図２３】
2005182495.tif 000025
【図２４】
2005182495.tif 000026
【図２５】
2005182495.tif 000027
【図２６】
2005182495.tif 000028