(57)【特許請求の範囲】
【請求項１】
映像を撮像し、映像を撮影する位置に関する撮影位置情報、および当該位置から撮影した映像の方向および範囲に関する視点情報を生成する複数の撮像部と、
前記複数の撮像部により撮像された複数の映像を切り替えて表示する表示部と、
前記複数の撮像部により生成された前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像の撮像範囲に含まれている他の撮像部を検索する検索部と、
前記検索部により検索された前記他の撮像部の位置情報、前記表示部に表示される映像を撮像した撮像部の前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像中における当該他の撮像部の位置に関する映像位置情報を生成する映像位置情報生成部と
を有し、
前記表示部は、
表示する映像を撮像した前記撮像部の前記撮影位置情報および前記視点情報並びに前記他の撮像部についての前記映像位置情報に基づいて、表示する映像に、前記検索部により検索された前記他の撮像部に対応するオブジェクトを、前記映像位置情報生成部により生成された前記映像位置情報に対応する位置に埋め込んで表示し、
表示する映像に埋め込んだ前記オブジェクトが選択された場合、表示する映像を、選択されたオブジェクトに対応する前記他の撮像部により撮像された映像に切り替える
映像切替表示装置。
【請求項２】
前記複数の撮像部の各々は、
撮影方向または視野角を変更して映像を撮像可能である
請求項１記載の映像切替表示装置。
【請求項３】
前記検索部は、
前記表示部に表示される映像の撮像範囲に含まれている被写体を検索し、
前記映像切替表示装置は、
前記検索部において検索された前記被写体に関する被写体情報を検索する被写体探索部を有し、
前記表示部は、
表示する映像に、前記被写体情報を埋め込んで表示する
請求項１または２記載の映像切替表示装置。
【請求項４】
複数の撮像部、表示部、検索部および映像位置情報生成部を有する映像切替表示装置の映像切替表示方法であって、
複数の撮像部が、映像を撮像し、映像を撮影する位置に関する撮影位置情報、および当該位置から撮影した映像の方向および範囲に関する視点情報を生成する撮像ステップと、
表示部が、前記複数の撮像部により撮像された複数の映像を切り替えて表示する表示ステップと、
検索部が、前記複数の撮像部により生成された前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像の撮像範囲に含まれている他の撮像部を検索する検索ステップと、
映像位置情報生成部が、前記検索部により検索された前記他の撮像部の位置情報、前記表示部に表示される映像を撮像した撮像部の前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像中における当該他の撮像部の位置に関する映像位置情報を生成する映像位置情報生成ステップと
を有し、
前記表示ステップにおいて、
前記表示部は、
表示する映像を撮像した前記撮像部の前記撮影位置情報および前記視点情報並びに前記他の撮像部についての前記映像位置情報に基づいて、表示する映像に、前記検索部により検索された前記他の撮像部に対応するオブジェクトを、前記映像位置情報生成部により生成された前記映像位置情報に対応する位置に埋め込んで表示し、
表示する映像に埋め込んだ前記オブジェクトが選択された場合、表示する映像を、選択されたオブジェクトに対応する前記他の撮像部により撮像された映像に切り替える
映像切替表示方法。
【請求項５】
前記撮像ステップにおいて、
前記複数の撮像部の各々は、撮影方向または視野角を変更して映像を撮像可能である
請求項４記載の映像切替表示方法。
【請求項６】
前記映像切替表示装置は、被写体探索部を有し、
前記検索ステップにおいて、
前記検索部は、前記表示部に表示される映像の撮像範囲に含まれている被写体を検索し、
前記映像切替表示方法は、
前記被写体探索部が、前記検索部において検索された前記被写体に基づいて、当該被写体に関する被写体情報を検索する被写体検索ステップを有し、
前記表示ステップにおいて、
前記表示部は、表示する映像に、前記被写体情報を埋め込んで表示する
請求項４または５記載の映像切替表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影された映像中に含まれる所定の被写体に関する情報を処理する被写体情報処理装置および被写体情報処理方法に係り、例えば、撮影された映像中に含まれる所定の被写体をユーザに選択させ、選択された当該被写体に関する情報を表示する被写体情報処理装置および被写体情報処理方法に関するものである。
【０００２】
【従来の技術】
カメラ装置によって撮影された映像中に含まれる所定の被写体（オブジェクト）に対して、例えばインターネット上の特定のリソースを指定するＵＲＩ（Uniform Resource Identifier ）などのリンク情報をあらかじめ埋め込ませておき、マウスなどを操作してこのリンク情報が埋め込まれたオブジェクトを画面上で選択することにより、リンク情報のＵＲＩが指定するリソースへアクセスできる技術が従来より一般的に用いられている。
【０００３】
例えば商店街などを撮影した現実の映像中に含まれている各商店の建物や看板の映像に対して、各商店が開設しているインターネット上のＷｅｂページへアクセスするためのＵＲＩをリンク情報としてあらかじめ埋め込ませておけば、興味のある商店を画面上で選択するだけで、ユーザは即座に各商店の情報を得ることができる。これを応用して、例えば現実の映像を用いた仮想空間上で買物を行うことも可能である。
【０００４】
このように、現実の映像中のオブジェクトを直接画面上で選択するだけで操作できるので、ユーザの操作性を向上させることができる。またこの技術により、現実の映像を利用しながらユーザの要求に応じて相互作用的に情報を提供できるので、従来のＷｅｂページによる情報提供に比べて現実感を高めることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来はカメラ装置からの映像に対して手作業によりリンク情報を埋め込ませていたため、情報提供者側の作業負担が大きくなり、リンク情報を埋め込ませた映像を提供するためのコストを押し上げてしまう問題があった。
【０００６】
また、映像を撮影するカメラの位置や撮影する方向、視野角などを変更すると、映像中においてリンク情報を埋め込ませた位置が実際のオブジェクトに対してずれを生じてしまうので、このような変更の度に手作業によってリンク情報を埋め込ませる位置を調節しなくてはならず、カメラの視点を自由に変更させることが困難であった。したがって、ユーザに提供される映像は静止された位置で固定された方向から撮影された映像であるため、臨場感に乏しくユーザに飽きられやすい問題があった。
【０００７】
本発明はかかる事情に鑑みてなされたものであり、その目的は、カメラ装置の撮影位置や撮影方向、撮影範囲の変更に追従して、映像中に含まれる所定の被写体に関する情報を自動的に抽出することができ、当該所定の被写体をユーザが画面上で指定することにより、当該情報に応じた画像をユーザに表示できる被写体情報処理装置および被写体情報処理方法を提供することにある。
【０００８】
本発明の第１の観点に係る映像切替表示装置は、映像を撮像し、映像を撮影する位置に関する撮影位置情報、および当該位置から撮影した映像の方向および範囲に関する視点情報を生成する複数の撮像部と、前記複数の撮像部により撮像された複数の映像を切り替えて表示する表示部と、前記複数の撮像部により生成された前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像の撮像範囲に含まれている他の撮像部を検索する検索部と、前記検索部により検索された前記他の撮像部の位置情報、前記表示部に表示される映像を撮像した撮像部の前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像中における当該他の撮像部の位置に関する映像位置情報を生成する映像位置情報生成部とを有し、前記表示部は、表示する映像を撮像した前記撮像部の前記撮影位置情報および前記視点情報並びに前記他の撮像部についての前記映像位置情報に基づいて、表示する映像に、前記検索部により検索された前記他の撮像部に対応するオブジェクトを、前記映像位置情報生成部により生成された前記映像位置情報に対応する位置に埋め込んで表示し、表示する映像に埋め込んだ前記オブジェクトが選択された場合、表示する映像を、選択されたオブジェクトに対応する前記他の撮像部により撮像された映像に切り替える。
【０００９】
好適には、前記複数の撮像部の各々は、撮影方向または視野角を変更して映像を撮像可能でもよい。
【００１０】
好適には、前記検索部は、前記表示部に表示される映像の撮像範囲に含まれている被写体を検索し、前記映像切替表示装置は、前記検索部において検索された前記被写体に関する被写体情報を検索する被写体探索部を有し、前記表示部は、表示する映像に、前記被写体情報を埋め込んで表示してもよい。
【００１１】
本発明の第２の観点に係る映像切替表示方法は、複数の撮像部、表示部、検索部および映像位置情報生成部を有する映像切替表示装置の映像切替表示方法であって、複数の撮像部が、映像を撮像し、映像を撮影する位置に関する撮影位置情報、および当該位置から撮影した映像の方向および範囲に関する視点情報を生成する撮像ステップと、表示部が、前記複数の撮像部により撮像された複数の映像を切り替えて表示する表示ステップと、検索部が、前記複数の撮像部により生成された前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像の撮像範囲に含まれている他の撮像部を検索する検索ステップと、映像位置情報生成部が、前記検索部により検索された前記他の撮像部の位置情報、前記表示部に表示される映像を撮像した撮像部の前記撮影位置情報および前記視点情報に基づいて、前記表示部に表示される映像中における当該他の撮像部の位置に関する映像位置情報を生成する映像位置情報生成ステップとを有し、前記表示ステップにおいて、前記表示部は、表示する映像を撮像した前記撮像部の前記撮影位置情報および前記視点情報並びに前記他の撮像部についての前記映像位置情報に基づいて、表示する映像に、前記検索部により検索された前記他の撮像部に対応するオブジェクトを、前記映像位置情報生成部により生成された前記映像位置情報に対応する位置に埋め込んで表示し、表示する映像に埋め込んだ前記オブジェクトが選択された場合、表示する映像を、選択されたオブジェクトに対応する前記他の撮像部により撮像された映像に切り替える。
【００１２】
好適には、前記撮像ステップにおいて、前記複数の撮像部の各々は、撮影方向または視野角を変更して映像を撮像可能でもよい。
【００１３】
好適には、前記映像切替表示装置は、被写体探索部を有し、前記検索ステップにおいて、前記検索部は、前記表示部に表示される映像の撮像範囲に含まれている被写体を検索し、前記映像切替表示方法は、前記被写体探索部が、前記検索部において検索された前記被写体に基づいて、当該被写体に関する被写体情報を検索する被写体検索ステップを有し、前記表示ステップにおいて、前記表示部は、表示する映像に、前記被写体情報を埋め込んで表示してもよい。
【００２０】
【発明の実施の形態】
図１は、本発明に係るオブジェクト情報処理装置の実施形態を示す概略的な構成図である。図１に示すオブジェクト情報処理装置は、表示装置１、カメラ装置２、カメラ・サーバ装置３、オブジェクト位置管理サーバ装置４、およびオブジェクト情報管理サーバ装置５を有する。
なお、カメラ装置２およびカメラ・サーバ装置３からなるブロックは、本発明の撮像手段の一実施形態である。
オブジェクト位置管理サーバ装置４は、本発明の被写体検索手段の一実施形態である。
オブジェクト情報管理サーバ装置５は、本発明の被写体情報検索手段の一実施形態である。
表示装置１は、本発明の表示手段の一実施形態である。
【００２１】
以下、図１で示したオブジェクト情報処理装置の各構成要素について詳しく説明する。
〔表示装置１〕
インターネットなどのネットワークに接続された情報表示用の端末装置であり、図１においては１つだけを図示しているが、一般的には複数の表示装置がネットワーク上に接続される。
【００２２】
表示装置１は、カメラ装置２において撮影された映像データＳ２１をカメラ・サーバ装置３からネットワークを介して受信し、この映像データに応じた画像をユーザに表示する。また、オブジェクト位置管理サーバ装置４、およびオブジェクト情報管理サーバ装置５とネットワークを介して通信を行ない、カメラ・サーバ装置３から受信した映像に含まれる所定のオブジェクトに関する情報（例えばＵＲＩ、オブジェクトの種類、色、形状など）を表示画面中に埋め込む。ユーザが、例えばマウスやタッチパネルなどの入力装置を用いて画面上のオブジェクトを指定した場合に、指定されたオブジェクトの情報に応じた画像を表示する。
【００２３】
例えばＵＲＩによって他のカメラ・サーバ装置３が指定された場合に、インターネットを介して当該カメラ・サーバ装置３にアクセスして、当該カメラ・サーバ装置３に接続されたカメラ装置２からの映像データを受信する。また、例えばＵＲＩによってＷｅｂページが指定された場合に、インターネットを介して当該Ｗｅｂページにアクセスさせて、ＨＴＭＬなどによって記述された情報を画面上に表示させても良い。
【００２４】
ネットワーク・インターフェース部１１は、ネットワークを介して他のサーバ装置や端末装置と通信を行うための処理を行うブロックであり、ネットワークに応じて定められた所定のプロトコルによってデータの入出力を行う。
【００２５】
カメラ・クライアント部１２は、カメラ装置２において撮影された映像の映像データを、当該カメラ装置２が接続されたカメラ・サーバ装置３に対して要求し、要求に応じて受信された映像データを表示部１７に出力する。
また、ユーザインターフェース部１３において別のカメラ装置２が選択された場合に、当該カメラ装置２のリンク情報をユーザインターフェース部１３から入力して、リンク情報によって指定されたカメラ・サーバ装置３にアクセスし、撮影位置情報や視点情報などのカメラ装置２に関する情報（カメラ情報）をカメラ・サーバ装置３に対して要求する処理を行う。また、要求に応じてカメラ・サーバ装置３から受信したカメラ情報を、オブジェクト位置管理クライアント部１４に出力する。
【００２６】
ユーザインターフェース部１３は、ユーザからの要求を入力する処理を行うブロックであり、例えばマウスやタッチパネルなどの入力装置によって、表示画面上の任意の位置がユーザにより指定される。ユーザにより指定された位置にオブジェクト情報（例えばＵＲＩ、オブジェクトの種類、色、形状などオブジェクトに関する情報）が埋め込まれている場合、オブジェクト情報に応じた処理ブロックに当該オブジェクト情報が出力され、オブジェクト情報に応じた種々の処理が行われる。
【００２７】
例えば表示部１７において表示されているオブジェクトの中から、現在映像を受信しているカメラ装置２とは別のカメラ装置２がオブジェクトとして選択された場合、選択されたカメラ装置２のリンク情報をカメラ・クライアント部１２に出力し、ユーザが他のカメラ装置２を選択したことをカメラ・クライアント部１２に伝える。これにより、選択されたカメラ装置２からの映像を受信する処理を、カメラ・クライアント部１２に実行させる。
【００２８】
また、例えば選択したオブジェクトに関する情報がＷｅｂページのＵＲＩである場合には、Ｗｅｂページの表示に関する処理を行う図示しない処理ブロックに当該ＵＲＩを出力させて、表示部１７に当該Ｗｅｂページの情報を表示させる。
さらに、例えば選択したオブジェクトに関する情報が電話番号である場合には、指定された電話番号に電話をかける処理を行う図示しない処理ブロックに当該電話番号を出力して、自動的に電話をかけさせることもできる。
【００２９】
オブジェクト位置管理クライアント部１４は、映像を受信するカメラ装置２の情報（撮影位置情報、視点情報）をカメラ・クライアント部１２から入力し、当該情報をオブジェクト位置管理サーバ装置４に送信して、カメラ装置２が撮影している映像に含まれる所定のオブジェクトの検索を要求する。また、要求に応じて検索されたオブジェクトのＩＤ番号およびオブジェクト位置情報をオブジェクト位置管理サーバ装置４から受信し、これをオブジェクト情報管理クライアント部１５に出力する。
【００３０】
オブジェクト情報管理クライアント部１５は、オブジェクト位置管理クライアント部１４から入力したオブジェクトのＩＤ番号をオブジェクト情報管理サーバ装置５に送信し、当該オブジェクトに関するオブジェクト情報の検索を要求し、要求に応じて検索されたオブジェクト情報を、オブジェクト情報管理サーバ装置５から受信する。また、この受信したオブジェクト情報とオブジェクト位置情報、ならびにカメラ装置２に関する情報（撮影位置情報、視点情報）を、情報埋め込み部１６に出力する。
【００３１】
情報埋め込み部１６は、オブジェクト情報管理クライアント部１５から入力したオブジェクト情報とオブジェクト位置情報、ならびにカメラ装置２に関する情報（撮影位置情報、視点情報）に基づいて、表示画面上にオブジェクト情報を埋め込む処理を行う。すなわち、オブジェクト位置情報、撮影位置情報、および視点情報から表示画面上におけるオブジェクトの位置を計算し、この計算された位置に応じた任意の位置にオブジェクト情報が関連付けられる。そして、例えばユーザ・インターフェース部１３においてオブジェクト情報が埋め込まれた位置の近傍が指定された場合に、この指定された場所に関連付けられたオブジェクト情報がカメラ・クライアント部１２などのブロックに出力されて、オブジェクト情報に応じた処理が行われる。
【００３２】
また、オブジェクト情報が埋め込まれた位置に、オブジェクト情報に応じた所定の画像を表示させるための画像データを表示部１７に出力させても良い。例えば、オブジェクトの種類がカメラ装置の場合に、カメラの形状をしたアイコンの画像を埋め込み位置に表示させるための画像データが、情報埋め込み部１６から表示部１７に出力される。
【００３３】
なお、情報埋め込み部１６は本発明の映像位置情報生成手段の一実施形態であり、図１の例においては表示装置１の内部に組み込まれているが、本発明はこの例に限定されず、例えばこのブロックの機能を他のサーバ装置によって実現させても良い。
【００３４】
表示部１７は、カメラ・クライアント部１２から出力されたカメラ装置２の映像データ、および情報埋め込み部１６からの画像データを合成して表示する。また、ユーザインターフェース部１３で指定されたオブジェクトのオブジェクト情報に応じて生成される種々の画像データを入力して、これを表示させることもできる。
【００３５】
〔カメラ装置２〕
カメラ装置２は、例えばＣＣＤなどの撮像デバイスを備えており、撮影した映像の信号Ｓ２１をカメラ・サーバ部３２に出力する。また、ＧＰＳ（Global Postioning System）レシーバなどのような地理的位置に関する情報を生成するブロックを備えており、生成された情報をカメラ装置２の撮影位置に関する情報（撮影位置情報）としてカメラ・サーバ装置３に出力する。さらに、撮影方向に関する情報や、倍率、視野角などの撮影範囲に関する情報を生成して、これをカメラ装置２の視点に関する情報（視点情報）としてカメラ・サーバ装置３に出力する。
【００３６】
カメラ撮像部２１は、例えばＣＣＤなどの撮像デバイスであり、撮影した映像の信号Ｓ２１をカメラ・サーバ装置３に出力する。
撮影位置情報生成部２２は、カメラ装置２の撮影位置に関する撮影位置情報を生成するブロックであり、生成した撮影位置情報をカメラ・サーバ装置３に出力する。例えばＧＰＳレシーバのような地理的位置に関する情報を生成する装置が用いられる。
視点情報生成部２３は、撮影方向に関する情報や、倍率、視野角などの撮影範囲に関する情報など、カメラ撮像部２１から視点に関する視点情報を生成するブロックであり、生成した視点情報をカメラ・サーバ装置３に出力する。撮影方向に関する情報は、例えばジャイロスコープなどの装置を用いて得られる基準方向に基づいて生成させることができる。
【００３７】
〔カメラ・サーバ装置３〕
カメラ・サーバ装置３は、カメラ装置２において撮影された映像のデータや、撮影位置情報、視点情報などの情報を、表示装置１からの要求に応じて当該表示装置１に送信する処理を行う。なお、図１においてはカメラ・サーバ装置３に１台のカメラ装置２が接続されている場合の例を示しているが、複数のカメラ装置２が１台のカメラサーバ装置３に接続される構成にすることも可能である。
【００３８】
カメラ・インターフェース部３１は、カメラ装置２において撮影された映像信号Ｓ２１や、撮影位置情報Ｓ２２、視点情報Ｓ２３などの情報をカメラ・サーバ部３２に入力する処理を行うインターフェスである。
カメラ・サーバ部３２は、表示装置１のカメラ・クライアント部１２からの要求に応じて、要求元の表示装置１に送信するとともに、カメラ装置２の撮影位置情報や視点情報を当該表示装置１に送信する処理を行う。
ネットワーク・インターフェース部３３は、ネットワークを介して他のサーバ装置や端末装置と通信を行うための処理を行うブロックであり、ネットワークに応じて定められた所定のプロトコルによってデータの入出力を行う。
【００３９】
〔オブジェクト位置管理サーバ装置４〕
オブジェクト位置管理サーバ装置４は、表示装置１からのオブジェクト位置取得要求とともに受信したカメラ装置２の撮影位置情報および視点情報に基づいて、位置情報を登録されている所定のオブジェクトの中から、カメラ装置２が撮影する映像に含まれるオブジェクトを検索し、検索したオブジェクトを唯一に識別するＩＤ番号と、当該オブジェクトの位置情報とを要求元の表示装置１に送信する処理を行う。
【００４０】
オブジェクト位置データベース部４１は、オブジェクトを唯一に識別するＩＤ番号と、当該オブジェクトの位置情報（オブジェクト位置情報）とを関連付けて記憶するデータベースである。
オブジェクト位置検索部４２は、表示装置１からのオブジェクト位置取得要求とともに受信したカメラ装置２の撮影位置情報および視点情報に基づいて、カメラ装置２が撮影している映像の範囲を計算し、計算された範囲に含まれるオブジェクト位置情報を有したオブジェクトをオブジェクト位置データベース部４１から検索する。該当するオブジェクトが検索された場合には、そのＩＤ番号とオブジェクト位置情報を、要求元の表示装置１に送信する。
【００４１】
図２は、カメラ装置２の撮影映像に含まれるオブジェクトを検索する例を説明するための図である。図２のｘ軸およびｙ軸は、各オブジェクトの位置を指定するために仮想的に配置された座標軸である。また、図２の白丸は各オブジェクトの位置を示し、黒丸はカメラ装置の位置を示している。また、白丸で示される各オブジェクトの横に記された”Location”はオブジェクト位置情報を示し、”ID”はＩＤ番号を示している。
なお、図２においては、各オブジェクトが２次元の平面上に配置されている場合を例として示しているが、一般的に各オブジェクトの位置は３次元の位置として指定される。
【００４２】
図２において”視野角”として示されている領域に含まれているＩＤ番号１、ＩＤ番号３４およびＩＤ番号４３のオブジェクトは、カメラ装置が撮影する映像中に含まれるオブジェクトであり、それ以外のオブジェクトは映像中に含まれない。このように、カメラ装置の撮影位置情報と視点情報が与えられることによって、３次元空間上にカメラ装置が撮影する映像の範囲が決定されるので、この範囲に含まれる位置情報を有したオブジェクトをオブジェクト位置データベース部４１から検索することができる。
【００４３】
ネットワークインターフェース部４３は、ネットワークを介して他のサーバ装置や端末装置と通信を行うための処理を行うブロックであり、ネットワークに応じて定められた所定のプロトコルによってデータの入出力を行う。
【００４４】
〔オブジェクト情報管理サーバ装置５〕
オブジェクト情報管理サーバ装置５は、表示装置１からのオフジェクト情報取得要求とともにオブジェクトのＩＤ番号を受信し、オブジェクトのＩＤ番号と関連付けて登録されているオブジェクト情報の中から、受信したＩＤ番号に対応するオブジェクトのオブジェクト情報を検索し、検索したオブジェクト情報を要求元の表示装置１に送信する処理を行う。
【００４５】
オブジェクト情報データベース部５１は、オブジェクトを唯一に識別するＩＤ番号と、当該オブジェクトのＵＲＩや、種類、色、形状などのオブジェクトに関する情報（オブジェクト情報）とを関連付けて記憶するデータベースである。
オブジェクト情報検索部５２は、表示装置１からのオブジェクト情報取得要求とともにオブジェクトのＩＤ番号を受信し、オブジェクト情報データベース部５１に登録されているオブジェクトの中から、受信したＩＤ番号に対応するオブジェクトのオブジェクト情報を検索し、検索したオブジェクト情報を要求元の表示装置１に送信する。
ネットワークインターフェース部５３は、ネットワークを介して他のサーバ装置や端末装置と通信を行うための処理を行うブロックであり、ネットワークに応じて定められた所定のプロトコルによってデータの入出力を行う。
【００４６】
次に、上述した構成を有するオブジェクト情報処理装置の動作について説明する。図３は、オブジェクト情報処理装置におけるデータフローを示す図であり、これらの動作は、映像を受信するカメラ装置が切り替えられる場合や、映像の受信中にカメラ装置の撮影位置情報や視点情報に変更が生じた場合に行われる。
なお、以下の説明においてはオブジェクト情報処理装置の動作をカメラ情報取得フェーズ、オブジェクト位置取得フェーズ、オブジェクト情報取得フェーズ、および情報埋め込みフェーズの４つのフェーズに分けて説明するが、情報埋め込みフェーズについては表示装置１の内部で行われる処理であるため図３に示すデータフローには図示されていない。
【００４７】
データフローＦ１：
カメラ装置２の撮像部２１において撮影された映像データが、カメラ装置２からカメラ・サーバ装置３を介して表示装置１に送信される。
【００４８】
＜カメラ情報取得フェーズ＞
カメラ情報取得フェーズ（データフローＦ２〜Ｆ４）においては、表示装置１から発行されるカメラ情報（撮影位置情報および視点情報）の取得要求に応じて、カメラ・サーバ装置３から要求元の表示装置１にカメラ情報が送信される。
データフローＦ２：
映像データが受信された表示装置１から、映像データの送信元であるカメラ・サーバ装置３に対して、カメラ装置２の撮影位置情報および視点情報の問い合わせが送信される。
データフローＦ３：
カメラ装置２からカメラ・サーバ装置３に対して撮影位置情報および視点情報が出力される。なお、データフローＦ３のタイミングはデータフローＦ２の後である必要は無く、データフローＦ２の前であっても構わない。
以下に、カメラ装置２からカメラ・サーバ装置３に対して出力される撮影位置情報および視点情報の例を示す。
【００４９】
【表１】
location     :15,1,4
field angle  :45°
view angle   :n-15.7°
【００５０】
上表に示す例において”location”は撮影位置情報に相当し、撮影位置が３次元の座標（15,1,4）によって指定される位置であることが示されている。また、”field angle （視野角）”および”view angle（撮影方向）”は視点情報に相当し、視野角が45°で、撮影方向が北から右回り15.7°の方向であることが示されている。
【００５１】
データフローＦ４：
表示装置１からの要求を受けて、上表に示したようなカメラ装置２の撮影位置情報および視点情報が、カメラ・サーバ装置３から要求元の表示装置１に送信される。
【００５２】
＜オブジェクト位置取得フェーズ＞
オブジェクト位置取得フェーズ（データフローＦ５およびＦ６）は、カメラ情報取得フェーズにおいて得られた撮影位置情報および視点情報に基づいて、カメラ装置２に撮影された映像中に含まれる所定のオブジェクトがオブジェクト位置管理サーバ装置４から検索され、検索されたオブジェクトのＩＤ番号とオブジェクト位置情報が表示装置１に取得される。
【００５３】
データフローＦ５：
データフローＦ４において表示装置１のカメラ・クライアント部１２に受信された撮影位置情報および視点情報が、オブジェクト位置管理クライアント部１４からオブジェクト位置管理サーバ装置４に送信されて、当該情報を有するカメラ装置２の撮影映像に含まれるオブジェクトの検索が要求される。
データフローＦ６：
オブジェクト位置データベース４１に登録されているオブジェクトの中から、検索を要求された撮影位置情報および視点情報により決定される撮影範囲に含まれる位置情報を有したオブジェクトが検索される。検索されたオブジェクトのＩＤ番号とオブジェクト位置情報は、要求元の表示装置１に送信される。
以下に、オブジェクト位置管理サーバ装置４から表示装置１に送信されるオブジェクトのＩＤ番号とオブジェクト位置情報の例を示す。
【００５４】
【表２】
ID        :34
location  :16,13,2
【００５５】
上表に示す例において”ID”はオブジェクトのＩＤ番号に相当し、ＩＤ番号の値が34番であることが示されている。また、”location”はオブジェクト位置情報に相当し、撮影位置が３次元の座標（16,13,2 ）によって指定される位置であることが示されている。なお、映像中にオブジェクトが複数個ある場合には、上表に示す例のようなＩＤ番号およびオブジェクト位置情報のデータが、それぞれのオブジェクトについて送信される。
【００５６】
＜オブジェクト情報取得フェーズ＞
オブジェクト情報取得フェーズ（データフローＦ７およびＦ８）は、オブジェクト位置取得フェーズにおいて検索されたオブジェクトのＩＤ番号に基づいて、映像中に含まれるオブジェクトのオブジェクト情報がオブジェクト情報管理サーバ装置４から検索され、検索されたオブジェクト情報が表示装置１に取得される。
【００５７】
データフローＦ７：
データフローＦ６において表示装置１のオブジェクト位置管理クライアント部１４に受信されたオブジェクトのＩＤ番号が、オブジェクト情報管理クライアント部１５からオブジェクト情報管理サーバ装置５に送信されて、当該ＩＤ番号を有するオブジェクトのオブジェクト情報の検索が要求される。
データフローＦ８：
オブジェクト情報データベース５１に登録されているオブジェクト情報の中から、検索を要求されたＩＤ番号に対応するオブジェクト情報が検索される。検索されたオブジェクト情報は、要求元の表示装置１に送信される。
以下に、オブジェクト情報管理サーバ装置５から表示装置１に送信されるオブジェクト情報の例を示す。
【００５８】
【表３】
URI        :http://www.sony.co.jp
TEL        :123-456-7890
attribute  :office
color      :white
size       :45m(W)x10m(H)x20m(D)
【００５９】
上表に示すオブジェクト情報の例において”URI ”はオブジェクトのＵＲＩを、”TEL ”はオブジェクトの電話番号を、”attribute ”はオブジェクトの属性を、”color ”はオブジェクトの色を、”size”はオジェクトの大きさをそれぞれ示している。
【００６０】
＜情報埋め込みフェーズ＞
表示装置１の情報埋め込み部１６により、上述した各フェーズにおいて取得された撮影位置情報、視点情報およびオブジェクト位置情報に基づいて、表示画面上にオブジェクト情報が埋め込まれる。すなわち、オブジェクト位置情報、撮影位置情報、および視点情報から表示画面上におけるオブジェクトの位置が計算され、この計算された位置に応じた任意の位置にオブジェクト情報が関連付けられる。
以降、例えばユーザ・インターフェース部１３においてオブジェクト情報が埋め込まれた位置の近傍が指定された場合に、この指定された場所に関連付けられたオブジェクト情報がカメラ・クライアント部１２などの処理ブロックに出力されて、オブジェクト情報に応じた処理が行われる。
【００６１】
次に、オブジェクトとしてカメラ装置を選択した場合における、オブジェクト情報処理装置の動作について説明する。
図４は、オブジェクトとしてカメラ装置を選択した場合におけるデータフロー示す図である。
【００６２】
データフローＦ１’：
カメラ装置Ａにおいて撮影された映像データが、カメラ装置Ａからカメラ・サーバ装置３を介して表示装置１に送信される。
【００６３】
＜カメラ情報取得フェーズ＞
データフローＦ２’：
映像データが受信された表示装置１から、映像データの送信元であるカメラ・サーバ装置３に対して、カメラ装置Ａの撮影位置情報および視点情報の問い合わせが送信される。
データフローＦ３’：
カメラ装置Ａからカメラ・サーバ装置３に対して撮影位置情報および視点情報が出力される。なお、データフローＦ３’のタイミングはデータフローＦ２’の後である必要は無く、データフローＦ２’の前であっても構わない。
【００６４】
データフローＦ４’：
表示装置１からの要求を受けて、カメラ装置Ａの撮影位置情報および視点情報が、カメラ・サーバ装置３から要求元の表示装置１に送信される。
【００６５】
＜オブジェクト位置取得フェーズ＞
【００６６】
データフローＦ５’：
データフローＦ４’において表示装置１のカメラ・クライアント部１２に受信された撮影位置情報および視点情報が、オブジェクト位置管理クライアント部１４からオブジェクト位置管理サーバ装置４に送信されて、当該情報を有するカメラ装置Ａの撮影映像に含まれるオブジェクトの検索が要求される。
データフローＦ６’：
オブジェクト位置データベース４１に登録されているオブジェクトの中から、検索を要求された撮影位置情報および視点情報により決定される撮影範囲に含まれる位置情報を有したオブジェクトが検索される。検索されたオブジェクトのＩＤ番号とオブジェクト位置情報は、要求元の表示装置１に送信される。
【００６７】
＜オブジェクト情報取得フェーズ＞
【００６８】
データフローＦ７’：
データフローＦ６’において表示装置１のオブジェクト位置管理クライアント部１４に受信されたオブジェクトのＩＤ番号が、オブジェクト情報管理クライアント部１５からオブジェクト情報管理サーバ装置５に送信されて、当該ＩＤ番号を有するオブジェクトのオブジェクト情報の検索が要求される。
データフローＦ８’：
オブジェクト情報データベース５１に登録されているオブジェクト情報の中から、検索を要求されたＩＤ番号に対応するオブジェクト情報が検索される。検索されたオブジェクト情報は、要求元の表示装置１に送信される。
以下に、オブジェクト情報管理サーバ装置５から表示装置１に送信されるオブジェクト情報の例を示す。
【００６９】
【表４】
URI        :http://www.sony.co.jp
TEL        :123-456-7890
attribute  :camera
color      :black
size       :0.2m(W)x0.2m(H)x0.2m(D)
【００７０】
上表に示すオブジェクト情報の例において”URI ”はオブジェクトのＵＲＩを、”TEL ”はオブジェクトの電話番号を、”attribute ”はオブジェクトの属性を、”color ”はオブジェクトの色を、”size”はオブジェクトの大きさをそれぞれ示している。
【００７１】
＜情報埋め込みフェーズ＞
表示装置１の情報埋め込み部１６により、上述した各フェーズにおいて取得された撮影位置情報、視点情報およびオブジェクト位置情報に基づいて、表示画面上にオブジェクト情報が埋め込まれる。すなわち、オブジェクト位置情報、撮影位置情報、および視点情報から表示画面上におけるオブジェクトの位置が計算され、この計算された位置に応じた任意の位置にオブジェクト情報が関連付けられる。
【００７２】
データフローＦ９’：
表示装置１のユーザ・インターフェース部１３によって、表示部１７に表示されているオブジェクトの中から、現在映像を受信しているカメラ装置Ａとは別のカメラ装置Ｂがオブジェクトとして選択される。選択されたカメラ装置２のリンク情報（例えばＵＲＩ）は、ユーザ・インターフェース部１３からカメラ・クライアント部１２に出力され、これを受けたカメラ・クライアント部１２によって、リンク情報に指定されたリンク先のカメラ・サーバ装置３を介し、カメラ装置Ｂに対して映像の送信が要求される。図４の例では、カメラ装置Ａとカメラ装置Ｂが同じカメラ・サーバ装置３に接続されている場合を示している。
【００７３】
データフローＦ１０’：
表示装置１からの要求を受けて、カメラ装置Ｂによる映像データがカメラ・サーバ装置３を介して要求元の表示装置１に送信される。カメラ装置Ｂからの映像データを受けて、表示装置１の表示部１７に表示される映像は、カメラ装置Ａからカメラ装置Ｂに切り替わる。
以降、上述したカメラ情報取得フェーズ、オブジェクト位置取得フェーズ、オブジェクト情報取得フェーズ、および情報埋め込みフェーズが反復されて、カメラ装置Ｂによる撮影映像の表示画面上にオブジェクト情報が埋め込まれる。
【００７４】
図５は、オブジェクトとしてカメラ装置を選択することにより、表示されるカメラ装置の映像が切り替えられる例を説明するための画面例を示す図である。
図５ａは、カメラ装置の映像が切り替えられる前において表示装置１の表示部１７に表示されている画面例を示しており、カメラ装置Ａからの映像が表示されている。アイコンａは、カメラ装置Ｂのオブジェクト情報の埋め込み位置を示すアイコンであり、表示装置１の情報埋め込み部１６によって生成されたものである。
【００７５】
ユーザが、このカメラの形をしたアイコンａをユーザ・インターフェース部１３によって指定すると（例えばマウスを用いてクリックを行うと）、表示される映像がカメラ装置Ａからカメラ装置Ｂの映像に切り替えられる（図５ｂ）。
このように、映像を受信するカメラ装置を簡単な操作で切り替えることにより、１つのオブジェクトを様々な角度から観察したり、また、あたかも街のなかを実際に歩き回るような感覚で、カメラ装置からの映像を表示させることができる。
【００７６】
本発明は、上述した例に限定されず、様々な応用が可能である。例えば図６に示すように、表示装置１の画面上に表示された人物ｂを選択することによって、選択した人物ｂと通信を行う応用が可能である。この場合、人物ｂはオブジェクトとしてオブジェクト位置データベース部４１に登録されており、通信を行うためのアドレス情報がオブジェクト情報データベース部５１に登録されている。
また、例えばＧＰＳレシーバなど位置情報を生成させる装置を備えてネットワークに接続された端末装置を人物ｂに携帯させ、人物ｂの移動に応じてＧＰＳレシーバにより生成されるオブジェクト位置情報をオブジェクト位置管理サーバ装置４に登録させることにより、表示装置１の画面上をリアルタイムに移動する人物ｂを選択して通信を行う応用も可能である。
【００７７】
また、表示装置１、カメラ装置２、およびカメラ・サーバ装置３を一体化させた携帯型端末を構成し、カメラ装置２に撮影された映像に対してリアルタイムにオブジェクト情報を埋め込ませる応用も可能である。例えばこの携帯型端末を持ったユーザが見知らぬ街を歩く場合に、携帯型端末のカメラ装置２で撮影させた映像を表示装置１に表示させるだけで、ユーザは街の情報を簡単に集めることができる。
【００７８】
以上説明したように、図１に示したオブジェクト情報処理装置によれば、映像を撮影する位置に関する撮影位置情報、および当該位置から撮影した映像の方向および範囲に関する視点情報がカメラ装置２において生成される。次いで、所定のオブジェクトの位置に関するオブジェクト位置情報、ならびにカメラ装置２において生成された撮影位置情報および視点情報に基づいて、当該カメラ装置２に撮影された映像に含まれるオブジェクトが、オブジェクト位置管理サーバ装置４において検索される。次いで、オブジェクト位置管理サーバ装置４において検索されたオブジェクトのオブジェクト情報が、オブジェクト情報管理サーバ装置５において検索される。表示装置１には、カメラ装置２において撮影された映像に応じた画像、および当該映像に含まれるオブジェクトのオブジェクト情報に応じた画像が表示される。したがって、カメラ装置２で撮影される映像中に含まれた所定のオブジェクトを自動的に抽出させることができ、従来人手によっておこなわれていた作業を省略させることができる。また、カメラの撮影位置情報や視点情報が変更する場合にも、映像に含まれるオブジェクトを自動的に抽出させることができるので、カメラ装置の視点を自由に変更させることができる。
【００７９】
また、オブジェクト位置管理サーバ装置４において検索されたオブジェクトのオブジェクト位置情報、ならびにこの検索されたオブジェクトを含む映像を撮影するカメラ装置２において生成された撮影位置情報および視点情報に基づいて、当該映像中にオブジェクト情報を埋め込む位置が、情報埋め込み部１６において計算される。そして、ユーザ・インターフェース部１３により指定された表示画像中の位置が、情報埋め込み部１６において計算されたオブジェクトの埋め込み位置である場合、当該オブジェクトのオブジェクト情報に応じた画像が表示装置１によって表示される。したがって、カメラ装置２で撮影される映像中に含まれた所定のオブジェクトに対して、オブジェクト情報を自動的に埋め込ませることができ、従来人手によっておこなわれていた作業を省略させることできるので、作業にかかるコストを削減させることができる。また、カメラの撮影位置情報や視点情報が変更する場合にも、映像に含まれるオブジェクトに対してオブジェクト情報を自動的に埋め込むことができるので、カメラ装置の視点を自由に変更させることができ、表示される映像の臨場感や現実感を高めることができる。
【００８０】
また、ユーザ・インターフェース部１３により選択されたオブジェクトが他のカメラ装置２である場合、当該オブジェクトのオブジェクト情報において特定されたカメラ装置２で撮影された映像に応じた画像が表示装置１において表示されるので、画面上に表示されるカメラ装置またはカメラ装置を示すアイコンを選択する簡単な操作によって、カメラ装置からの映像を自在に切り替えて表示させることができ、表示される映像の臨場感や現実感を高めることができる。
【００８１】
また、上記表示装置１において選択されるオブジェクトのオブジェクト情報に応じて、当該オブジェクト情報が特定する通信装置と、例えばインターネットなどを介した通信を行なわせることも可能であり、ユーザに情報を提供する機能に加えて、表示装置１の画面上に表示される不特定の相手との通信にも応用が可能である。
【００８２】
なお、本発明は上述した実施形態に限定されない。例えば、図１に示される各サーバ装置を１台のコンピュータによって構成させることもでき、あるいは処理が分散されて実行される複数のコンピュータによって構成させることもできる。また、これらの装置が複数のコンピュータで構成される場合において、コンピュータ間の通信を、例えばインターネットなどの種々のネットワークを介して行ってもよい。
【００８３】
【発明の効果】
本発明によれば、カメラ装置の撮影位置や撮影方向、撮影範囲の変更に追従して、映像中に含まれる所定の被写体に関する情報を自動的に抽出することができる。また、当該所定の被写体をユーザが画面上で指定することにより、当該情報に応じた画像をユーザに表示できる。さらに、被写体がカメラ装置の場合、画面上で被写体のカメラ装置を指定する簡単な操作によって、カメラ装置からの映像を自在に切り替えて表示させることができる。
【図面の簡単な説明】
【図１】本発明に係るオブジェクト情報処理装置の実施形態を示す概略的な構成図である。
【図２】カメラ装置２の撮影映像に含まれるオブジェクトを検索する例を説明するための図である。
【図３】オブジェクト情報処理装置におけるデータフローを示す図である。
【図４】オブジェクトとしてカメラ装置を選択した場合におけるデータフロー示す図である。
【図５】オブジェクトとしてカメラ装置を選択することにより、表示されるカメラ装置の映像が切り替えられる例を説明するための画面例を示す図である。
【図６】画面上の人物を選択して通信を行う応用例を説明するための画面例を示す図である。
【符号の説明】
１…表示装置、２…カメラ装置、３…カメラ・サーバ装置、４…オブジェクト位置管理サーバ装置、５…オブジェクト情報管理サーバ装置、１１，３３，４３，５３…ネットワーク・インターフェース部、２１…撮像部、２２…撮影位置情報生成部、１２…カメラ・クライアント部、１３…ユーザ・インターフェース部、１４…オブジェクト位置管理クライアント部、１５…オブジェクト情報管理クライアント部、１６…情報埋め込み部、１７…表示部、２３…視点情報生成部、３１…カメラ・インターフェース部、３２…カメラ・サーバ部、４１…オブジェクト位置データベース部、４２オブジェクト位置検索部、５１…オブジェクト情報データベース部、５２…オブジェクト情報検索部
【図１】
0004747410.tif 000002
【図２】
0004747410.tif 000003
【図３】
0004747410.tif 000004
【図４】
0004747410.tif 000005
【図５】
0004747410.tif 000006
【図６】
0004747410.tif 000007