(57)【特許請求の範囲】
【請求項１】
位置を検出する測位部と、
認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、前記測位部により検出された位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードする通信部と、
前記通信部によりダウンロードされた前記特徴量のデータと前記音データとを記憶する記憶部と、
カメラにより撮影された、認識対象の前記物体の画像を取得する取得部と、
前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識する認識部と、
前記認識部により認識された前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる再生部と
を備える情報処理装置。
【請求項２】
位置を検出し、
認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、
ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
カメラにより撮影された、認識対象の前記物体の画像を取得し、
前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
ステップを含む情報処理方法。
【請求項３】
位置を検出し、
認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、
ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
カメラにより撮影された、認識対象の前記物体の画像を取得し、
前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項４】
位置を検出する測位部と、
認識対象の物体に設定された部分の特徴量のデータと前記物体に設定された部分と関連付けられた音データとのデータベースを有するサーバと通信を行い、前記測位部により検出された位置を含むエリアに設置されている前記物体に設定された部分の前記特徴量のデータと、前記物体に設定された部分と関連付けられた前記音データとをダウンロードする通信部と、
前記通信部によりダウンロードされた前記特徴量のデータと前記音データとを記憶する記憶部と、
カメラにより撮影された、認識対象の前記物体に設定された部分の画像を取得する取得部と、
前記画像に含まれる前記物体に設定された部分を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識する認識部と、
前記認識部により認識された前記物体に設定された部分に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる再生部と
を備える情報処理装置。
【請求項５】
位置を検出し、
認識対象の物体に設定された部分の特徴量のデータと前記物体に設定された部分と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体に設定された部分の前記特徴量のデータと、前記物体に設定された部分と関連付けられた前記音データとをダウンロードし、
ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
カメラにより撮影された、認識対象の前記物体に設定された部分の画像を取得し、
前記画像に含まれる前記物体に設定された部分を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
認識した前記物体に設定された部分に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
ステップを含む情報処理方法。
【請求項６】
位置を検出し、
認識対象の物体に設定された部分の特徴量のデータと前記物体に設定された部分と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体に設定された部分の前記特徴量のデータと、前記物体に設定された部分と関連付けられた前記音データとをダウンロードし、
ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
カメラにより撮影された、認識対象の前記物体に設定された部分の画像を取得し、
前記画像に含まれる前記物体に設定された部分を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
認識した前記物体に設定された部分に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
広告を見ている人に、広告に関連する音を聞かせようとする場合に、広告の裏や側面にスピーカを配置して、そのスピーカから音を出力する技術がある（特許文献１）。
【０００３】
また、広告が貼られている壁にカメラなどのセンサを取り付け、広告の前に人がいることを検出して、関連する音を出力する技術がある（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７７６５４号公報
【特許文献２】特開２００１−１４２４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記技術によれば、ポスターなどに印刷されている広告を見ている人の近くに、広告を見ていない人がいる場合、広告を見ている人以外の人にも音が聞こえてしまうといった不具合がある。
【０００６】
また、複数枚の異なる広告のポスターが貼られている場合、それぞれの広告の音が混ざることによって音が聞きづらくなるといった不具合がある。
【０００７】
上記技術は、通常、特定の人にのみ音を聞かせることによって広告効果を向上させるという効果を期待して採用されるものであるが、これらの不具合は、その効果を低減させてしまうことにもなる。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の情報処理装置は、位置を検出する測位部と、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、前記測位部により検出された位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードする通信部と、前記通信部によりダウンロードされた前記特徴量のデータと前記音データとを記憶する記憶部と、カメラにより撮影された、認識対象の前記物体の画像を取得する取得部と、前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識する認識部と、前記認識部により認識された前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる再生部とを備える。
【００１３】
本発明の一側面の情報処理方法は、位置を検出し、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、カメラにより撮影された、認識対象の前記物体の画像を取得し、前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させるステップを含む。
【００１４】
本発明の一側面のプログラムは、位置を検出し、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、カメラにより撮影された、認識対象の前記物体の画像を取得し、前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させるステップを含む処理をコンピュータに実行させる。
【００１５】
本発明の一側面においては、位置が検出され、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信が行われ、検出された位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとがダウンロードされ、記憶部に記憶される。また、カメラにより撮影された、認識対象の物体の前記画像が取得され、前記画像に含まれる前記物体が、前記記憶部に記憶されている前記特徴量のデータに基づいて認識される。また、認識された前記物体に関連付けられた、前記記憶部に記憶されている前記音データが再生され、ユーザが装着する出力装置から再生音が出力される。
【発明の効果】
【００１６】
本発明によれば、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る情報処理装置を用いたARシステムの外観例を示す図である。
【図２】図１のユーザの外観の例を示す図である。
【図３】ARシステムの他の外観例を示す図である。
【図４】情報処理装置のハードウェアの構成例を示すブロック図である。
【図５】情報処理装置の機能構成例を示すブロック図である。
【図６】物体の認識について説明する図である。
【図７】情報処理装置の音再生処理について説明するフローチャートである。
【図８】情報処理装置の他の機能構成例を示すブロック図である。
【図９】図８に示す構成を有する情報処理装置のダウンロード処理について説明するフローチャートである。
【図１０】ポスターに設定された部分の例を示す図である。
【図１１】ポスターの部分と対応させて記憶されているモデルデータと音データの例を示す図である。
【図１２】情報処理装置の設置の例を示す図である。
【発明を実施するための形態】
【００１８】
［AR(Augmented Reality)システム］
図１は、本発明の一実施形態に係る情報処理装置を用いたARシステムの外観例を示す図である。
【００１９】
図１の例においては、壁面ＷにポスターＰ１乃至Ｐ４が並べて貼られている。ポスターＰ１乃至Ｐ４には、例えば、商品やサービスなどの広告が印刷されている。
【００２０】
また、図１の例においては、壁面Ｗの前方にユーザＵ１乃至Ｕ３が立っている。ユーザＵ１は壁面Ｗに貼られたポスターＰ１を見ており、ユーザＵ３はポスターＰ４を見ている。ユーザＵ２は、壁面Ｗに貼られたポスターＰ１乃至Ｐ４のうちのどのポスターも見ていない。図１の破線矢印＃１乃至＃３は、それぞれ、ユーザＵ１乃至Ｕ３の視線を表している。
【００２１】
この場合、各ユーザの近傍の吹き出しに示すように、ポスターＰ１を見ているユーザＵ１にのみ聞こえるように、ポスターＰ１に関連付けられた音が出力される。また、ポスターＰ４を見ているユーザＵ３にのみ聞こえるように、ポスターＰ４に関連付けられた音が出力される。ポスターＰ１やＰ４に関連付けられた音は、ポスターを見ていないユーザＵ２には聞こえない。
【００２２】
それぞれのユーザが携帯している情報処理装置においては、それを携帯しているユーザがポスターを見ていることが検出された場合、そのポスターに関連付けられた音データの再生が行われ、ユーザにのみ聞こえるように再生音が出力される。ポスターに関連付けられた音データは、例えば、ポスターに印刷されている商品やサービスを紹介する音声や音楽のデータである。
【００２３】
図２は、図１のユーザＵ１の外観の例を示す図である。
【００２４】
図２に示すように、ユーザＵ１は、携帯型のコンピュータである情報処理装置１を携帯している。また、ユーザＵ１は、ヘッドマウントディスプレイ（HMD(Head Mounted Display)）２を装着している。情報処理装置１とHMD２は、有線または無線で通信を行うことが可能になっている。
【００２５】
HMD２には、カメラ１１、ヘッドホン１２、およびディスプレイ１３が設けられる。
【００２６】
カメラ１１は、HMD２を装着したユーザＵ１の前方を撮影可能な位置に取り付けられる。カメラ１１の撮影範囲にはユーザの視線が含まれる。カメラ１１により撮影された画像は情報処理装置１に送信される。所定のフレームレートで画像（動画）の撮影がカメラ１１により続けられることにより、情報処理装置１には、ユーザが見ている風景の画像が提供されることになる。
【００２７】
ヘッドホン１２は、HMD２を装着したユーザＵ１の左右の耳の位置にくるように取り付けられる。ヘッドホン１２は、情報処理装置１から送信されてきた再生音を出力する。
【００２８】
ディスプレイ１３は、HMD２を装着したユーザＵ１の目の前方に表示部がくるように取り付けられる。ディスプレイ１３は透過性のある部材により構成され、情報処理装置１から送信されてきたデータに基づいて画像やテキストなどの情報を表示する。ユーザは、風景をディスプレイ１３越しに見ることもできるし、ディスプレイ１３に表示された情報を見ることもできる。
【００２９】
図１のユーザＵ２，Ｕ３も、ユーザＵ１と同様に、情報処理装置１を携帯し、HMD２を装着している。
【００３０】
例えばユーザＵ１が携帯する情報処理装置１においては、カメラ１１により撮影された画像に基づいて、ユーザＵ１がどのポスターを見ているかが物体認識により認識される。情報処理装置１には、どのポスターを見ているかを認識するための、ポスターＰ１乃至Ｐ４の認識用のデータが記憶されている。
【００３１】
また、情報処理装置１においては、ポスターＰ１乃至Ｐ４のうちのいずれかのポスターをユーザＵ１が見ていることが検出された場合、ユーザＵ１が見ているポスターに関連付けられた音データが再生され、再生音がヘッドホン１２から出力される。情報処理装置１には、ポスターＰ１乃至Ｐ４のそれぞれと関連付けて音データが記憶されている。
【００３２】
これにより、ポスターに関連付けられた音を、そのポスターを見ているユーザにのみ聞かせることが可能になる。
【００３３】
すなわち、再生音がヘッドホン１２から出力されるから、ポスターを見ている人以外の人に音が聞こえてしまうといった不具合はない。また、ポスターＰ１乃至Ｐ４のうちのいずれかのポスターに関連付けられた音データの再生が行われるから、それぞれの広告の音が混ざってしまうことによって音が聞きづらくなるといった不具合もない。
【００３４】
ポスターに関連付けられた音データの再生は、ユーザがそのポスターを見ている間だけ行われる。
【００３５】
例えば、図３に示すように、ユーザＵ１が位置ｐ１で破線矢印＃１１の先に示すようにポスターＰ３を見ている場合、ポスターＰ３に関連付けられた音データの再生が行われる。ユーザＵ１は、ポスターＰ３に関連付けられた音データの再生音を聞くことができる。
【００３６】
また、実線矢印＃１２で示すように位置ｐ２に移動したことによって、破線矢印＃１３の先に示すようにユーザＵ１がポスターＰ３を見ていない状態になった場合、ポスターＰ３に関連付けられた音データの再生は停止される。ユーザＵ１は、ポスターＰ３に関連付けられた音データの再生音を聞くことができない。
【００３７】
以上のようにして音データの再生を制御する情報処理装置１の一連の処理については後述する。
【００３８】
［情報処理装置の構成］
図４は、情報処理装置１のハードウェア構成例を示すブロック図である。
【００３９】
CPU(Central Processing Unit)３１、ROM(Read Only Memory)３２、RAM(Random Access Memory)３３は、バス３４により相互に接続されている。
【００４０】
バス３４には、さらに、入出力インタフェース３５が接続されている。入出力インタフェース３５には、入力部３６、出力部３７、記憶部３８、通信部３９、およびドライブ４０が接続される。
【００４１】
入力部３６は、HMD２と通信を行い、HMD２のカメラ１１により撮影された画像を受信する。
【００４２】
出力部３７は、HMD２と通信を行い、音データの再生音をヘッドホン１２から出力させる。また、出力部３７は、表示データをHMD２に送信し、画像やテキストなどの情報をディスプレイ１３に表示させる。
【００４３】
記憶部３８は、ハードディスクや不揮発性のメモリなどよりなり、ポスターの認識用のデータや、それぞれのポスターに関連付けられた音データを記憶する。
【００４４】
通信部３９は、無線LAN(Local Area Network)モジュールなどのネットワークインタフェースなどよりなり、ネットワークを介して接続されるサーバと通信を行う。記憶部３８に記憶されている、ポスターの認識用のデータや音データは、例えばサーバからダウンロードされることによって情報処理装置１に提供される。
【００４５】
ドライブ４０は、装着されたリムーバブルメディア４１に記憶されているデータを読み出したり、リムーバブルメディア４１にデータを書き込んだりする。
【００４６】
図５は、情報処理装置１の機能構成例を示すブロック図である。
【００４７】
図５に示すように、情報処理装置１においては、画像取得部５１、認識部５２、音再生制御部５３、モデルデータ記憶部５４、音データ記憶部５５、および通信制御部５６が実現される。これらの構成のうちの少なくとも一部は、図４のCPU３１により所定のプログラムが実行されることによって実現される。モデルデータ記憶部５４と音データ記憶部５５は例えば記憶部３８に形成される。
【００４８】
画像取得部５１は、入力部３６において受信された、カメラ１１により撮影された画像を取得する。画像取得部５１は、取得した画像を認識部５２に出力する。
【００４９】
認識部５２は、画像取得部５１から供給された画像をクエリ画像として、クエリ画像に含まれる物体を、モデルデータ記憶部５４に記憶されているモデルデータに基づいて認識する。モデルデータ記憶部５４には、ポスターを含む画像から抽出された、ポスターの特徴を表すデータが記憶されている。認識部５２による物体認識については後述する。
【００５０】
認識部５２は、例えば、認識した物体（ポスター）のIDと、認識したポスターとカメラ１１（ユーザ）の相対的な位置関係を表す姿勢情報とを認識結果として音再生制御部５３に出力する。姿勢情報により、例えば認識されたポスターの位置を基準として、ユーザの位置までの距離、ユーザのいる方向が特定される。
【００５１】
音再生制御部５３は、認識部５２から供給されたIDに関連付けられている音データを音データ記憶部５５から読み出して再生する。音再生制御部５３は、再生して得られた再生音のデータを、図４の出力部３７を制御してHMD２に送信し、ヘッドホン１２から出力させる。音データ記憶部５５には、ポスターのIDと音データが関連付けて記憶されている。
【００５２】
通信制御部５６は、通信部３９を制御してサーバ６１と通信を行い、ポスターの特徴を表す認識用のデータであるモデルデータと、ポスターに関連付けられた音データをダウンロードする。サーバ６１はモデルデータと音データのデータベースを有している。通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、音データを音データ記憶部５５に記憶させる。
【００５３】
図６は、物体（ポスター）の認識について説明する図である。
【００５４】
認識部５２による物体認識のアルゴリズムとしては、例えば、RandomizedFernやSIFT(Scale Invariant Feature Transform)がある。RandomizedFernについては、”Fast Keypoint Recognition using Random Ferns  Mustafa Ozuysal, Michael Calonder, Vincent Lepetit and Pascal FuaEcole Polytechnique Federale de Lausanne (EPFL) Computer Vision Laboratory, &C Faculty CH-1015 Lausanne, Switzerland”に開示されている。SIFTについては、” Distinctive Image Features from Scale-Invariant Keypoints  David G. Lowe  January 5, 2004”に開示されている。
【００５５】
図６に示すように、学習装置であるサーバ６１においては、画像処理部７１、特徴点検出部７２、特徴量抽出部７３、および合成部７４が実現される。図６に示す各構成は、サーバ６１のCPUにより所定のプログラムが実行されることによって実現される。サーバ６１も図４に示すようなコンピュータにより構成される。
【００５６】
画像処理部７１は、モデル画像にアフィン変換などの処理を施し、処理を施すことによって得られたモデル画像を特徴点検出部７２に出力する。画像処理部７１に対しては、ポスターＰ１乃至Ｐ４のそれぞれの画像が、モデル画像として順次入力される。モデル画像は特徴量抽出部７３にも入力される。
【００５７】
特徴点検出部７２は、画像処理部７１から供給されたモデル画像上の各点をモデル特徴点として決定し、モデル特徴点の位置を表す情報を特徴量抽出部７３に出力する。
【００５８】
特徴量抽出部７３は、モデル画像を構成する画素のうち、モデル特徴点の位置に対応する画素の情報をモデル特徴量として抽出する。特徴量抽出部７３により抽出されたモデル特徴量のデータは、特徴量の抽出元になったモデル画像に含まれるポスターのIDと対応付けてモデル辞書Ｄ１に登録される。モデル辞書Ｄ１は、ポスターのIDと、ポスターを含む画像から抽出された各モデル特徴点のモデル特徴量のデータとを対応付けたデータとして構成される。
【００５９】
また、特徴量抽出部７３は、抽出したモデル特徴量のデータを合成部７４に出力する。
【００６０】
合成部７４は、入力された３Ｄモデルデータと、特徴量抽出部７３から供給されたモデル特徴量のデータを合成する。合成部７４に対しては、ポスターＰ１乃至Ｐ４のそれぞれの三次元形状を表すデータが３Ｄモデルデータとして入力される。
【００６１】
例えば、合成部７４は、３Ｄモデルデータに基づいて、ポスターを様々な角度から見たときのそれぞれのモデル特徴点の３Ｄモデル上の位置を計算する。合成部７４は、計算したそれぞれのモデル特徴点の位置にモデル特徴量のデータを割り当てることによって、３Ｄモデルデータとモデル特徴量のデータを合成し、３ＤモデルデータＤ２を生成する。
【００６２】
モデル辞書Ｄ１と、合成部７４により生成された３ＤモデルデータＤ２は情報処理装置１に提供され、モデルデータ記憶部５４に記憶される。
【００６３】
図６に示すように、認識部５２は、画像処理部８１、特徴点検出部８２、特徴量抽出部８３、マッチング部８４、および姿勢推定部８５から構成される。画像処理部８１に対しては、カメラ１１により撮影され、画像取得部５１により取得された画像がクエリ画像として入力される。クエリ画像は特徴量抽出部８３にも供給される。
【００６４】
画像処理部８１は、画像処理部７１と同様にして、クエリ画像にアフィン変換などの処理を施し、処理を施すことによって得られたクエリ画像を特徴点検出部８２に出力する。
【００６５】
特徴点検出部８２は、画像処理部８１から供給されたクエリ画像上の各点をクエリ特徴点として決定し、クエリ特徴点の位置を表す情報を特徴量抽出部８３に出力する。
【００６６】
特徴量抽出部８３は、クエリ画像を構成する画素のうち、クエリ特徴点の位置に対応する画素の情報をクエリ特徴量として抽出し、抽出したクエリ特徴量のデータをマッチング部８４に出力する。
【００６７】
マッチング部８４は、モデル辞書Ｄ１に含まれる特徴量のデータに基づいてK-NNなどの最近傍探索を行い、それぞれのクエリ特徴点の最近傍となるモデル特徴点を決定する。マッチング部８４は、クエリ特徴点の最近傍となるモデル特徴点の数に基づいて、例えば最近傍となるモデル特徴点が最も多いポスターを選択する。マッチング部８４は、選択したポスターのIDを認識結果として出力する。
【００６８】
マッチング部８４から出力されたポスターのIDは、図５の音再生制御部５３に供給されるとともに、姿勢推定部８５に供給される。姿勢推定部８５に対しては、各クエリ特徴点の位置を表す情報なども供給される。
【００６９】
姿勢推定部８５は、マッチング部８４により認識されたポスターの３ＤモデルデータＤ２をモデルデータ記憶部５４から読み出し、３ＤモデルデータＤ２に基づいて、それぞれのクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定する。また、姿勢推定部８５は、ポスターとユーザの位置関係を表す姿勢情報を出力する。
【００７０】
カメラ１１により撮影されたクエリ画像から検出されたクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定することができれば、クエリ画像がポスターをどの位置から撮影したものであるのか、すなわち、ユーザがどの位置にいるのかを特定することが可能である。また、画像に含まれるポスターの大きさと距離が予め対応付けられていれば、カメラ１１により撮影されたクエリ画像に含まれるポスターの大きさから、ポスターの位置からユーザの位置までの距離を特定することが可能である。カメラ１１のレンズは、例えば、ズーム機能がない単焦点のレンズである。
【００７１】
ユーザが見ているポスターと、ポスターとユーザの相対的な位置関係は以上のようにして認識される。
【００７２】
［情報処理装置の動作］
ここで、図７のフローチャートを参照して、情報処理装置１の音再生処理について説明する。図７の処理は、例えば、カメラ１１により撮影が行われている間、繰り返し行われる。
【００７３】
ステップＳ１において、画像取得部５１は、カメラ１１により撮影された画像を取得する。
【００７４】
ステップＳ２において、認識部５２は、画像取得部５１により取得された画像を対象として物体認識を行う。
【００７５】
ステップＳ３において、認識部５２は、認識した物体のIDと一致するIDが、ポスターのIDとしてモデルデータ記憶部５４に記憶されているか否か、すなわちユーザがポスターを見ているか否かを判定する。
【００７６】
ユーザがポスターを見ていないとステップＳ３において判定された場合、ステップＳ４において、音再生制御部５３は、音データの再生中であるか否かを判定する。
【００７７】
音データの再生中であるとステップＳ４において判定した場合、音再生制御部５３は、ステップＳ５において、音データの再生を停止する。ステップＳ５において音データの再生が停止された場合、または、音データの再生中ではないとステップＳ４において判定された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００７８】
一方、ユーザがポスターを見ているとステップＳ３において判定された場合、ステップＳ６において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データが音データ記憶部５５に記憶されているか否かを判定する。
【００７９】
ユーザが見ているポスターに関連付けられた音データが記憶されていないとステップＳ６において判定された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００８０】
ユーザが見ているポスターに関連付けられた音データが記憶されているとステップＳ６において判定された場合、ステップＳ７において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中であるか否かを判定する。
【００８１】
ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中であるとステップＳ７において判定した場合、ステップＳ８において、音再生制御部５３は、音データの再生を停止する。ステップＳ８において音データの再生が停止された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００８２】
一方、ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中ではないとステップＳ７において判定した場合、ステップＳ９において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データの再生中であるか否かを判定する。
【００８３】
ユーザが見ているポスターに関連付けられた音データの再生中であるとステップＳ９において判定された場合、ステップＳ１に戻り、それ以降の処理が行われる。この場合、ユーザが見ているポスターに関連付けられた音データの再生が続けられることになる。
【００８４】
ユーザが見ているポスターに関連付けられた音データの再生中ではないとステップＳ９において判定された場合、ステップＳ１０において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データを音データ記憶部５５から読み出し、再生を開始する。その後、ステップＳ１以降の処理が繰り返される。
【００８５】
以上の処理により、ポスターを見ている人にのみ、そのポスターに関連付けられた音データの再生音を聞かせることが可能になる。
【００８６】
カメラ１１により撮影された画像に複数のポスターが含まれていると認識された場合、画像の中央に最も近い位置に含まれるポスターが、ユーザが見ているポスターとして認識されるようにしてもよい。
【００８７】
ユーザが見ているとして認識されたポスターの貼り付け位置を音源位置とし、姿勢情報により表されるユーザの位置において再生音が定位するように、ヘッドホン１２の左右のスピーカから出力される音の音量や出力タイミングが調整されるようにしてもよい。これにより、ポスターから音が出力されているような印象をユーザに与えることが可能になる。
【００８８】
［変形例］
情報処理装置１のモデルデータ記憶部５４に記憶されるモデルデータと、音データ記憶部５５に記憶されている音データが、ユーザの位置に応じて更新されるようにしてもよい。
【００８９】
図８は、情報処理装置１の他の機能構成例を示すブロック図である。
【００９０】
測位部５７が追加されている点を除いて、図８に示す構成は図５に示す構成と同じである。重複する説明については省略する。
【００９１】
測位部５７は、情報処理装置１内に設けられるGPS(Global Positioning System)センサ（図示せず）の出力に基づいて情報処理装置１の位置、すなわち、情報処理装置１を携帯するユーザの位置を検出する。測位部５７は、現在位置を表す位置情報を通信制御部５６に出力する。
【００９２】
通信制御部５６は、位置情報をサーバ６１に送信し、現在位置を含むエリア内に貼られているポスターのモデルデータと、ポスターに関連付けられた音データをダウンロードする。
【００９３】
サーバ６１においては、ポスターのモデルデータと音データが、ポスターが貼られているエリア毎に分けて管理されている。モデルデータと音データのダウンロードは、例えば１つのエリア内に貼られているポスターに関するモデルデータと音データの単位で行われる。
【００９４】
通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、音データを音データ記憶部５５に記憶させる。
【００９５】
図９のフローチャートを参照して、図８に示す構成を有する情報処理装置１のダウンロード処理について説明する。
【００９６】
ステップＳ２１において、測位部５７は、現在位置を検出し、位置情報を通信制御部５６に出力する。
【００９７】
ステップＳ２２において、通信制御部５６は、位置情報をサーバ６１に送信する。
【００９８】
ステップＳ２３において、通信制御部５６は、現在位置を含むエリアに貼られているポスターのモデルデータと、ポスターに関連付けられた音データをダウンロードする。
【００９９】
ステップＳ２４において、通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、音データを音データ記憶部５５に記憶させる。その後、処理は終了される。
【０１００】
新たにダウンロードされたモデルデータと音データが記憶された後、直前のユーザの位置を含むエリア内に貼られているポスターのモデルデータと音データが、モデルデータ記憶部５４と音データ記憶部５５から消去されるようにしてもよい。これにより、モデルデータと音データのデータ量を減らすことが可能になる。
【０１０１】
以上においては、ポスター単位で、ユーザがどのポスターを見ているかが認識され、ポスターに関連付けられた音データが再生されるものとしたが、１枚のポスターの部分単位で処理が行われるようにしてもよい。この場合、ユーザがどのポスターのどの部分を見ているかが認識され、認識されたポスターの部分に関連付けられた音データが再生される。
【０１０２】
図１０は、ポスターＰ１に設定された部分（領域）の例を示す図である。
【０１０３】
図１０の例においては、ポスターＰ１には、部分１−１，１−２，１−３がそれぞれ設定されている。商品の写真が異なるといったように、部分１−１，１−２，１−３には、それぞれ異なる内容の情報が印刷されている。
【０１０４】
情報処理装置１には、図１１に示すように、ポスターの部分と対応させて、モデルデータと音データが記憶される。
【０１０５】
図１１の例においては、ポスターＰ１の部分１−１に対応させて、モデルデータ１−１と音データ１−１が記憶されており、部分１−２に対応させて、モデルデータ１−２と音データ１−２が記憶されている。また、部分１−３に対応させて、モデルデータ１−３と音データ１−３が記憶されている。
【０１０６】
ポスターＰ２乃至Ｐ４についても同様に、ポスター内の各部分に対応させて、モデルデータと音データが記憶されている。
【０１０７】
情報処理装置１においては、カメラ１１により撮影された画像と、部分毎のモデルデータに基づいて、ユーザがポスターＰ１の部分１−１を見ていると判定された場合、音データ１−１の再生が開始される。
【０１０８】
これにより、ユーザが見ているポスターの部分に応じて、ユーザに聞かせる音データを切り替えることが可能になる。
【０１０９】
また、以上においては、情報処理装置１はユーザが携帯するものとしたが、他の場所に設置されるようにしてもよい。
【０１１０】
図１２は、情報処理装置１の設置の例を示す図である。
【０１１１】
図１２の例においては、ポスターＰ１乃至Ｐ４が貼られている壁面Ｗに、情報処理装置１が設置されている。情報処理装置１と、ユーザが装着するHMD２の間では通信が行われ、カメラ１１により撮影された画像や、情報処理装置１により再生された音データの送受信が行われる。
【０１１２】
以上においては、認識対象の物体がポスターである場合について説明したが、ディスプレイに表示される画像が認識され、認識された画像に関連付けられた音データが再生されるようにしてもよい。
【０１１３】
また、以上においては、情報処理装置１と通信を行う機器がHMD２である場合について説明したが、情報処理装置１と通信を行う機器は、カメラ機能を有する携帯音楽プレーヤなどの、ユーザが携帯する他の機器であってもよい。ユーザは、携帯音楽プレーヤによってポスターを撮影することによって、ポスターに関連付けられた音を、携帯音楽プレーヤのイヤホンを用いて聞くことができる。
【０１１４】
再生する音データの種類をユーザが選択することができるようにしてもよい。例えば、同じポスターに関連付けて、大人用の音声、子供用の音声といったように、対象の異なる複数の音声が情報処理装置１に用意されている場合、ユーザにより選択された音声が再生される。
【０１１５】
この場合、ユーザは、大人用の音声を再生するのか、子供用の音声を再生するのかを予め選択し、選択の内容を表す情報を情報処理装置１に記憶させておくことになる。あるポスターをユーザが見ていることが検出された場合、情報処理装置１においては、そのポスターに関連付けられている音データのうち、記憶されている情報により表される種類の音データの再生が開始される。これにより、ユーザは、同じポスターを見た場合であっても、自分の好みの音声を聞くことが可能になる。
【０１１６】
また、日本語の音声、外国語の音声といったように、言語の異なる音声の中から、再生させる音声の言語をユーザが選択できるようにしてもよい。
【０１１７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１１８】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図４に示されるリムーバブルメディア４１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３２や記憶部３８に、あらかじめインストールしておくことができる。
【０１１９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２０】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２１】
１  情報処理装置，  ２  HMD，  １１  カメラ，  １２  ヘッドホン，  １３  ディスプレイ，  ５１  画像取得部，  ５２  認識部，  ５３  音再生制御部，  ５４  モデルデータ記憶部，  ５５  音データ記憶部，  ５６  通信制御部
【図１】
0006016322.tif 000002
【図２】
0006016322.tif 000003
【図３】
0006016322.tif 000004
【図４】
0006016322.tif 000005
【図５】
0006016322.tif 000006
【図６】
0006016322.tif 000007
【図７】
0006016322.tif 000008
【図８】
0006016322.tif 000009
【図９】
0006016322.tif 000010
【図１０】
0006016322.tif 000011
【図１１】
0006016322.tif 000012
【図１２】
0006016322.tif 000013