(57)【要約】【課題】映像の流れと同期して現在映像に表示されているオブジェクトの関係図を映像の脇などに自動的に表示する場合において、現在映像中に表示されているオブジェクト対応のノードをユーザは容易に認識することができ、かつオブジェクト軌跡を映像中に表示する映像再生システムのオブジェクト強調表示方式およびオーバレイ表示方式を提供する。【解決手段】プレイヤ装置３ａはコンテンツサーバ装置１ｂから映像を取り込み、同時にその映像対応のオブジェクトの関係情報および軌跡情報をメタデータ管理サーバ装置１ａより取得する。表示装置１１ａでは取得した映像とともにその映像に現れるオブジェクトの関係図を自動的に表示し、映像中に登場しているオブジェクトの軌跡をオーバレイ表示するとともに関係図中では映像に現れているオブジェクト対応のノードを他のノードとは異なるように強調表示する。【選択図】図１
2007192988.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、
映像を描画する映像描画手段と、
前記映像に関係するメタデータを構成する関係情報より、映像に現れるオブジェクト間の関係を示す関係図を作成する関係図作成描画手段と、
映像上に、関係図に表示のオブジェクトに対応するオブジェクト軌跡が存在するか否かを判定する手段と、
前記映像描画手段および前記関係図作成描画手段の描画データを合成する合成処理手段とを備え、
オブジェクト軌跡が存在する場合には、関係図中の対応のオブジェクト表示を他のオブジェクトと異なる表示をして強調表示する手段を有することを特徴とする映像再生システムにおけるオブジェクト強調表示方式。
【請求項２】
映像を供給するコンテンツ供給装置，映像を再生するプレイヤ装置および各映像に対応するメタデータをプレイヤ装置からの要求に応じて配信するサーバ装置とからなる映像再生システムであって、
前記プレイヤ装置は、
映像を描画する映像描画手段と、
前記映像に関係するメタデータを前記サーバ装置に要求し、サーバ装置から送られてくるメタデータを構成する関係情報より、映像に現れるオブジェクト間の関係を示す関係図を作成する関係図作成描画手段と、
映像上に、関係図に表示のオブジェクトに対応するオブジェクト軌跡が存在するか否かを判定する手段と、
前記映像描画手段および前記関係図作成描画手段の描画データを合成する合成処理手段とを備え、
オブジェクト軌跡が存在する場合には、関係図中の対応のオブジェクト表示を他のオブジェクトと異なる表示をすることにより強調表示する手段を有することを特徴とする映像再生システムにおけるオブジェクト強調表示方式。
【請求項３】
前記異なる表示は、オブジェクトの文字表示を他のオブジェクトの文字表示より太い文字で表示するか、またはオブジェクトの文字表示を囲む線分の色もしくは線分の領域を、他のオブジェクトの文字表示の囲む線分または線分の領域と異なる色にするか、またはオブジェクトの文字および囲む線分を、他のオブジェクトの文字および囲む線分より大きくするかの何れかであることを特徴とする請求項１または２記載の映像再生システムにおけるオブジェクト強調表示方式。
【請求項４】
映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、
映像を描画する映像描画手段と、
前記メタデータを構成するオブジェクト軌跡情報により各オブジェクトを囲む軌跡を作成して描画するオブジェクト軌跡作成描画手段と、
前記映像描画手段およびオブジェクト軌跡作成描画手段の描画データを合成する合成処理手段とを備え、
映像に前記オブジェクトを囲む軌跡をオーバレイ表示し各オブジェクトに対しユーザがクリック操作してヒットする領域を明示することを特徴とする映像再生システムにおけるオブジェクトオーバレイ表示方式。
【請求項５】
映像を供給するコンテンツ供給装置，映像を再生するプレイヤ装置および各映像に対応するメタデータをプレイヤ装置からの要求に応じて配信するサーバ装置とからなる映像再生システムであって、
前記プレイヤ装置は、
映像を描画する映像描画手段と、
前記メタデータを構成するオブジェクト軌跡情報により各オブジェクトを囲む軌跡を作成して描画するオブジェクト軌跡作成描画手段と、
前記映像描画手段およびオブジェクト軌跡作成描画手段の描画データを合成する合成処理手段とを備え、
映像に前記オブジェクトを囲む軌跡をオーバレイ表示し各オブジェクトに対しユーザがクリック操作してヒットする領域を明示することを特徴とする映像再生システムにおけるオブジェクトオーバレイ表示方式。
【請求項６】
前記オブジェクトを囲む軌跡は、オブジェクトに外接する閉曲線であることを特徴とする請求項４または５記載の映像再生システムにおけるオブジェクトオーバレイ表示方式。
【請求項７】
前記閉曲線は、楕円または円であり、該楕円または円内にオブジェクトを特定する文字を表示することを特徴とする請求項６記載の映像再生システムにおけるオブジェクトオーバレイ表示方式。
【請求項８】
映像再生システムに用いられるプレイヤ装置であって、
該プレイヤ装置は、
映像を描画する映像描画手段と、
前記映像に関係するメタデータを構成する関係情報より、映像に現れるオブジェクト間の関係を示す関係図を作成する関係図作成描画手段と、
メタデータを構成するオブジェクト軌跡情報より各オブジェクトを囲む軌跡を作成して描画するオブジェクト軌跡作成描画手段と、
映像上に、関係図に表示のオブジェクトに対応するオブジェクト軌跡が存在するか否かを判定する手段と、
前記映像描画手段，前記関係図作成描画手段およびオブジェクト軌跡作成描画手段の描画データを合成する合成処理手段とを備えたことを特徴とする映像再生システムにおけるプレイヤ装置。
【請求項９】
前記請求項２または５記載の映像再生システムに用いられるサーバ装置であって、
該サーバ装置は、前記プレイヤ装置とはネットワークを介して、または直接接続され、プレイヤ装置からの要求に応じて映像対応のメタデータを供給することを特徴とする映像再生システムにおけるサーバ装置。
【請求項１０】
前記サーバ装置は、
前記データベースを有し、
前記データベースよりオブジェクト関係情報を検索するオブジェクト情報検索手段と、
前記データベースよりオブジックト軌跡情報を検索するオブジェクト軌跡情報検索手段と、
前記オブジェクト検索情報をＸＭＬ形式に変換して前記プレイヤ装置に供給するＸＭＬ変換手段とを備えたことを特徴とする請求項９記載の映像再生システムにおけるサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生映像に同期して映像内容に関連した情報（メタデータ）を動的に表示できるようにしたプレイヤ機能およびサーバ機能を持つ映像再生システム、さらに詳しくいえば、プレイヤ装置の表示装置に表示される映像を、動画とともに動画に関連したオブジェクト（キャラクタ，アイテム，ＢＧＭなど）の関係図を同時に表示し、動画中のオブジェクトに対応する関係図中のノード（関係図中のオブジェクト）を他のオブジェクトに比較して一際目立つように表示する方式および動画中のオブジェクトを選択できる領域を明確にするため、動画中に閉曲線の軌跡を表示するオーバレイ表示する方式に関する。
【背景技術】
【０００２】
静止画の再生については、そのファイル内に静止画に関する情報が付加され、ユーザの操作にしたがってその静止画のプロパティ情報や説明文を画面上に表示されるものが実施されている。この付加情報によりユーザは撮影した風景や人物などの写真などについて、より詳しい情報を得ることが可能である。
映像（動画）の再生については、再生映像に関連する情報（メタデータ）が付加され、映像再生にともない種々の利用形態が提案されている。
【０００３】
上記利用形態の１つとしてコンテンツ保存部分から映像コンテンツを受けて記録再生装置で再生し、ネットワークを介して多数の情報処理装置に配信する情報処理システムが提案されている（特許文献１）。これはメタデータの利用形態の一例を開示するものであり、ユーザは放送局，ネット放送局やユーザ自身が取得したコンテンツ記録媒体からコンテンツを取得し、取得したコンテンツを特定するための識別情報とともに記録再生装置の内部記録媒体などに記録するとともに再生するシステムである。記録再生装置はユーザの指示に基づき必要に応じてネットワークを介して検索サーバに接続し、コンテンツの特定シーンに登場するオブジェクトに関連する関連情報を含むメタデータの取得要求を行い、メタデータを取得する。そして取得したメタデータに基づき必要に応じてネットワークを介してＷＥＢサーバからコンテンツの特定シーンに含まれるオブジェクトに関するさらに詳細な情報を取得する技術が開示されている。
【０００４】
この技術により従前に比較しコンテンツの特定シーンに含まれるオブジェクトの関連情報をより多くのユーザに提供する目的を達成しているが、特許文献１は再生画面についてメタデータをどのように表示させるかの開示はない。例えば、再生されている映像のある場面についてユーザが操作した場合、それに関連するメタデータが、再生されている映像に対しどのような位置に、どのようなタイミングで表示され、その表示内容がどのような形で表示されるかは不明である。
【特許文献１】特開２００４−２７２４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般にドラマやアニメーションなどの映像において、登場する人物が非常に多く次からつぎへと出現し、高速に移動し消えていく場合などにはユーザはその内容（登場人物の関係や名前，いまどのように状態にあるかなど）を理解するのは容易ではない。
かかる場合に、画像表示画面において、再生画像と同期して画面の一部に再生画像に登場するオブジェクト（キャラクタ，アイテム，ＢＧＭなど）に対し、その関係や現況を示す関係図を表示できれば、上記問題を解決することが可能であると考えられる。
本件出願人は、このような状況に鑑み、映像とともに映像に登場するオブジェクトを説明するための関係図を同時に自動表示する提案を行い、映像に登場する人物などが他の人物などとどのような関係で、どのような状況にあるかを明らかにしている。
【０００６】
ところで、このようにして関係図中に映像とは関係ないメタデータが増加してくると、映像との関係が判りにくくなることが考えられる。
また、映像中に登場するオブジェクトがどこの部分であるか認識しずらい場合がある。そして、映像中のオブジェクトをクリックすれば、そのオブジェクトを関係図中に表示してオブジェクトが何であるかを認識することが可能である場合、そのオブジェクトをヒットできる範囲が不明確である。
【０００７】
本発明の目的は、映像の流れと同期して現在映像に表示されているオブジェクトの関係図を映像の脇などに自動的に表示する場合において、関係図中に多数のオブジェクトが登場した場合でも、ユーザは現在映像中に表示されているオブジェクトを容易に認識することができる映像再生システムにおけるオブジェクト強調表示方式を提供することにある。  本発明の他の目的は、映像の流れと同期して現在映像に表示されているオブジェクトの関係図を映像の脇などに自動的に表示する場合において、ユーザは映像中のオブジェクトが一体何であるかをクリックすることなく識別でき、そのオブジェクトを関係図中に表示するため、そのオブジェクトをクリックしてヒットできる範囲（軌跡）を映像中に表示する映像再生システムにおけるオブジェクトオーバレイ表示方式を提供することにある。
本発明のさらなる他の目的は、上記オブジェクト強調表示方式およびオブジェクトオーバレイ表示方式に用いられる映像を再生するプレイヤ装置および映像に関連するメタデータを供給するサーバ装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するために本発明の請求項１は、映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、映像を描画する映像描画手段と、前記映像に関係するメタデータを構成する関係情報より、映像に現れるオブジェクト間の関係を示す関係図を作成する関係図作成描画手段と、映像上に、関係図に表示のオブジェクトに対応するオブジェクト軌跡が存在するか否かを判定する手段と、前記映像描画手段および前記関係図作成描画手段の描画データを合成する合成処理手段とを備え、オブジェクト軌跡が存在する場合には、関係図中の対応のオブジェクト表示を他のオブジェクトと異なる表示をして強調表示する手段を有することを特徴とする。
本発明の請求項２は映像を供給するコンテンツ供給装置，映像を再生するプレイヤ装置および各映像に対応するメタデータをプレイヤ装置からの要求に応じて配信するサーバ装置とからなる映像再生システムであって、前記プレイヤ装置は、映像を描画する映像描画手段と、前記映像に関係するメタデータを前記サーバ装置に要求し、サーバ装置から送られてくるメタデータを構成する関係情報より、映像に現れるオブジェクト間の関係を示す関係図を作成する関係図作成描画手段と、映像上に、関係図に表示のオブジェクトに対応するオブジェクト軌跡が存在するか否かを判定する手段と、前記映像描画手段および前記関係図作成描画手段の描画データを合成する合成処理手段とを備え、オブジェクト軌跡が存在する場合には、関係図中の対応のオブジェクト表示を他のオブジェクトと異なる表示をすることにより強調表示する手段を有することを特徴とする。
本発明の請求項３は、請求項１または２記載の発明において前記異なる表示は、オブジェクトの文字表示を他のオブジェクトの文字表示より太い文字で表示するか、またはオブジェクトの文字表示を囲む線分の色もしくは線分の領域を、他のオブジェクトの文字表示の囲む線分または線分の領域と異なる色にするか、またはオブジェクトの文字および囲む線分を、他のオブジェクトの文字および囲む線分より大きくするかの何れかであることを特徴とする。
本発明の請求項４は、映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、映像を描画する映像描画手段と、前記メタデータを構成するオブジェクト軌跡情報により各オブジェクトを囲む軌跡を作成して描画するオブジェクト軌跡作成描画手段と、前記映像描画手段およびオブジェクト軌跡作成描画手段の描画データを合成する合成処理手段とを備え、映像に前記オブジェクトを囲む軌跡をオーバレイ表示し各オブジェクトに対しユーザがクリック操作してヒットする領域を明示することを特徴とする。
本発明の請求項５は、映像を供給するコンテンツ供給装置，映像を再生するプレイヤ装置および各映像に対応するメタデータをプレイヤ装置からの要求に応じて配信するサーバ装置とからなる映像再生システムであって、前記プレイヤ装置は、映像を描画する映像描画手段と、前記メタデータを構成するオブジェクト軌跡情報により各オブジェクトを囲む軌跡を作成して描画するオブジェクト軌跡作成描画手段と、前記映像描画手段およびオブジェクト軌跡作成描画手段の描画データを合成する合成処理手段とを備え、映像に前記オブジェクトを囲む軌跡をオーバレイ表示し各オブジェクトに対しユーザがクリック操作してヒットする領域を明示することを特徴とする。
本発明の請求項６は、請求項４または５記載の発明において前記オブジェクトを囲む軌跡は、オブジェクトに外接する閉曲線であることを特徴とする。
本発明の請求項７は、請求項６記載の発明において前記閉曲線は、楕円または円であり、該楕円または円内にオブジェクトを特定する文字を表示することを特徴とする。
本発明の請求項８は、映像再生システムに用いられるプレイヤ装置であって、該プレイヤ装置は、映像を描画する映像描画手段と、前記映像に関係するメタデータを構成する関係情報より、映像に現れるオブジェクト間の関係を示す関係図を作成する関係図作成描画手段と、メタデータを構成するオブジェクト軌跡情報より各オブジェクトを囲む軌跡を作成して描画するオブジェクト軌跡作成描画手段と、映像上に、関係図に表示のオブジェクトに対応するオブジェクト軌跡が存在するか否かを判定する手段と、前記映像描画手段，前記関係図作成描画手段およびオブジェクト軌跡作成描画手段の描画データを合成する合成処理手段とを備えたことを特徴とする。
本発明の請求項９は、前記請求項２または５記載の映像再生システムに用いられるサーバ装置であって、該サーバ装置は、前記プレイヤ装置とはネットワークを介して、または直接接続され、プレイヤ装置からの要求に応じて映像対応のメタデータを供給することを特徴とする。
本発明の請求項１０は、請求項９記載の発明において前記サーバ装置は、前記データベースを有し、前記データベースよりオブジェクト関係情報を検索するオブジェクト情報検索手段と、前記データベースよりオブジックト軌跡情報を検索するオブジェクト軌跡情報検索手段と、前記オブジェクト検索情報をＸＭＬ形式に変換して前記プレイヤ装置に供給するＸＭＬ変換手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
上記強調表示方式によれば、関係図中に多数のオブジェクトが出現した場合でも、現在映像に表示されているオブジェクト対応のノードが他のノードと比較し目立った表示となるため、ユーザは多数のノードが表示されて煩雑になっている関係図を容易に理解することが可能となる。
また、上記オーバレイ表示方式によれば、映像中に出現するオブジェクトに対し軌跡が描かれるためユーザはオブジェクトの存在を明確に認識できるとともに、このオブジェクトに対するクリック領域が明確になるため、映像中が高速に変化している場合でも関係図にユーザが希望するノードを確実に表示させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を詳しく説明する。  
図１は、本発明による映像再生システムにおけるオブジェクト強調表示表示方式およびオーバレイ表示方式を説明するためのシステム概略図である。
ネットワーク２を介して多数のプレイヤ装置３ａ〜３ｎがサーバ装置１にアクセスして映像および映像に関連するメタデータを取得することができる。プレイヤ装置３ａ〜３ｎは操作部５ａ〜５ｎの操作により、映像コンテンツをコンテンツサーバ装置１ｂからダウンロードすることができ、ダウンロードした映像コンテンツを表示装置１１ａ〜１１ｎに動画を表示することができる。表示装置１１ａ〜１１ｎに表示される各映像コンテンツに対し、メタデータ管理サーバ装置１ａにメタデータを要求し、そのメタデータによって表示装置１１ａ〜１１ｎの画面に動画を表示するとともにその動画に同期して動画に登場するオブジェクトの関係図を表示することができる。映像中には出現するキャラクタなどのオブジェクトを囲む軌跡、例えばオブジェクトを囲む閉曲線およびオブジェクトを示す文字などがオーバレイ表示される。また、関係図中では映像に現在出現しているオブジェクト対応のノードを拡大表示して目立つようにしている。他のノードは通常表示する大きさである。
【００１１】
メタデータ管理サーバ装置１ａが配信するメタデータはオーサリング装置４によって作成することができ、各映像コンテンツに対応した適切なメタデータに更新することが可能である。
コンテンツサーバ装置１ｂはドラマなどの各映像コンテンツを多数蓄積しているＨＤＤなどからなるデータベースを有し、プレイヤ装置３ａ〜３ｎの要求に沿った映像コンテンツを提供することができる。コンテンツサーバ装置１ｂは、プレイヤ装置３ａ〜３ｎに映像コンテンツを提供するものであるので、プレイヤ装置３ａ〜３ｎに直接接続できる記憶媒体の中に蓄積しても良いし、また、プレイヤ装置３ａ〜３ｎにＤＶＤのディスクデッキや大容量の半導体メモリ装置を内蔵させてディスク，半導体メモリより読み出して映像コンテンツを得ることも可能である。
サーバ装置１とプレイヤ装置３ａ〜３ｎの接続はネットワークを介さずに直接接続することも可能である。
【００１２】
図２は、本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
プレイヤ装置３ａ〜３ｎはプレイヤ制御回路８，タイマ７，入力処理部６，メモリ部９，画像処理部１０およびネットワーク通信部１２を備えている。
プレイヤ制御回路８はプレイヤ装置全体の制御を司る他、制御部８ａ，映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄ，メタデータ解析部８ｅおよびメタデータ合成部８ｆの各機能部を有している。メモリ部９はサーバ装置１から取得したメタデータを記憶するメタデータ記憶部９ａおよびユーザが操作部５の操作により選択した情報を記憶する選択情報記憶部９ｂの各領域を備えている他、プレイヤ装置３ａ〜３ｎの制御に必要なデータの格納領域を有している。
【００１３】
画像処理部１０は取得した映像を描画する映像描画部１０ａ，グリッド選択領域を描くグリッド選択領域描画部１０ｂ，動画を表示する画面の他の部分に関係図を描画する関係図描画部１０ｃ，動画のオブジェクトの軌跡を描くオブジェクト軌跡描画部１０ｄおよび合成処理部１０ｅより構成されている。関係図を作成して描画する関係図作成描画手段はメタデータ合成部８ｆ，メタデータ記憶部９ａおよび関係図描画部１０ｃなどの連携により実現される。また、動画のオブジェクトの軌跡を作成して描画するオブジェクト軌跡作成描画手段は、同様にメタデータ合成部８ｆ，メタデータ記憶部９ａおよびオブジェクト軌跡描画部１０ｄなどの連携により実現される。
【００１４】
図３は、本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
サーバ装置１は、ネットワーク通信部２１，サーバ制御回路２２，データベース制御部２４，メモリ部２５，入力制御部２７および画像処理部２８より構成されている。
サーバ制御回路２２は、サーバ装置全体の制御を司る他、パラメータ解析部２２ａ，画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃ，オブジェクト軌跡情報検索部２２ｄ，オブジェクト領域衝突判定部２２ｅ，応答出力生成部２２ｆおよびＸＭＬ変換部２２ｇの各機能部を有している。
【００１５】
ネットワーク通信部２１は、出力部２１ａ，ネットワークインタフェース２１ｂおよび入力部２１ｃを備えている。
データベース２３は映像コンテンツを格納する動画データ記憶部２３ａおよび映像コンテンツのメタデータを記憶するメタデータ記憶部２３ｂの記憶領域を有している。このデータベース２３は動画も記憶されており、サーバ装置１はコンテンツサーバ装置１ｂの機能を兼ねるものである。
画像処理部２８には表示装置２９が、入力制御部２７には操作装置２６がそれぞれ接続されており、サーバ装置１に対しデータを操作装置２６より入力してサーバ装置を制御し、その結果などを画像処理部２８を介して表示装置２９で表示できるようになっている。メモリ部２５はその処理の際に用いられるＲＡＭなどである。これら入出力を構成する装置部分は図１に示されているオーサリング装置４とは別にサーバ装置１を調整するためのものである。
【００１６】
つぎに本発明による映像再生システムの各機能部間の信号の送受および扱われるデータ構造について説明する。
図４は、プレイヤ装置とサーバ装置における各機能部の情報送受の関係を判り易くするために示したものである。
入力処理部６からの操作などの入力信号は制御部８ａに供給され、制御部８ａの出力は映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃまたはオブジェクト軌跡ヒット判定部（マウス座標）８ｄに入力する。タイマ７の出力は映像制御部８ｂおよびネットワーク通信部１２に供給される。選択情報記憶部９ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃが選択領域とオブジェクト軌跡がヒットするか否かのために用いる選択情報を記憶するためのものである。メタデータ記憶部９ａはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄおよびメタデータ合成部８ｆ５によって使用される。ネットワーク通信部１２はオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄおよびタイマ７からの出力に基づき軌跡ヒット判定をサーバ装置のネットワークインタフェース２１ｂに送信する。また、サーバ装置から受けた情報はメタデータ解析部８ｅで解析されメタデータ合成部８ｆに送られる。映像描画部１０ａは映像制御部８ｂからの動画情報を入力し、グリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからのグリッド情報を入力する。また、関係図描画部１０ｃおよびオブジェクト軌跡描画部１０ｄはメタデータ合成部８ｆからのメタデータを入力してそれぞれの描画情報を作成して合成処理部１０ｅに渡す。合成処理部１０ｅは表示装置が接続されていて動画およびその関係図が表示される。
【００１７】
サーバ装置においてネットワークインタフェース２１ｂはネットワーク通信部１２との情報の受け渡しを行い，受けた信号を入力部２１ｃを介してパラメータ解析部２２ａに送る。パラメータ解析部２２ａは受けた情報を解析した結果、解析内容に従って画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃまたはオブジェクト軌跡情報検索部２２ｄに各情報を送る。画素情報解析部２２ｂは画素情報にしたがって動画データ記憶部２３ａから該当する動画を読み出し、オブジェクト領域衝突判定部２２ｅに送る。オブジェクト情報検索部２２ｃはデータベース制御部２４を介して要求されているオブジェクト情報をメタデータ記憶部２３ｂより検索する。また、オブジェクト軌跡情報検索部２２ｄはデータベース制御部２４を介して要求されているオブジェクト軌跡情報をメタデータ記憶部２３ｂより検索する。オブジェクト領域衝突判定部２２ｅではオブジェクト軌跡情報検索部２２ｄからのオブジェクト軌跡情報と画素情報解析部２２ｂからのグリッド情報が重なっているか否かを判定し、重なっている場合にはオブジェクト情報検索部２２ｃにそのオブジェクト情報を送る。応答出力生成部２２ｆはオブジェクト軌跡情報検索部２２ｄおよびオブジェクト情報検索部２２ｃからのオブジェクト情報およびオブジェクト軌跡情報を集約しＸＭＬ変換部２２ｇに送り、ＸＭＬ変換部２２ｇで各情報をＸＭＬ形式に変換し、出力部２１ａを介してネットワークインタフェース２１ｂに渡す。
【００１８】
図５は、本発明で送受されるメタデータのデータ構造の一例を示す図である。
動画ファイル４０は知識情報５０を有し、知識情報５０はユーザ情報６０，関係情報７０および軌跡情報８０を多数集合した情報で構成されている。関係情報７０は関係文７５，関係情報部７６およびオブジェクト情報７７より形成され、軌跡情報８０は、軌跡情報部８５および軌跡領域情報８６より形成されている。
動画ファイル４０は所在位置を示すＩＤの項目，動画ファイルを記した名前の項目，動画ファイルのファイル名を記した動画ファイルのＵＲＬの項目および関連する知識情報５０の項目より構成されている。この知識情報は複数列挙されることが可能である。
知識情報５０は、該知識情報のＩＤの項目，ドラマの名称などの名前の項目，動画ファイルの知識情報のＩＤ，ドラマなどの作成者の項目，オーサリングなどのために利用するドキュメントを記載した説明の項目（複数記載が可能），関係情報７０を列挙した項目および軌跡情報８０を列挙した項目より構成されている。
【００１９】
ユーザ情報６０は、ユーザのＩＤの項目，ユーザの名前，ユーザを識別するためのログインＩＤおよびパスワードの項目より構成されている。
関係情報７０は関係文７５が中心であり、関係文７５によりオブジェクト定義したオブジェクト情報７７のオブジェクトの間を関係情報部７６に示された述語関係により規定するものであり、関係文のＩＤの項目，関係文の名前の項目，主格オブジェクトＩＤ，目的格オブジェクトＩＤの項目およびそれらの間を説明する述語ＩＤの項目より構成されている。オブジェクト情報７７は、ユーザのクリックの対象となる例えば俳優などのキャラクタ，キャラクタが用いるアイテム，ＢＧＭなどであり、そのオブジェクトのＩＤの項目，オブジェクトの名前の項目，関係図に表示するオブジェクトの説明画像の項目ならびにオブジェクトを説明するための文言が記載された説明（クリックしたときに関係図に表示される文言）の項目より構成されている。該画像および説明の項目は複数列挙することが可能である。関係情報部７６はオブジェクト間の関係を記述するもので、人物関係図であれば「敵，味方」など，人物とアイテムの関係であれば、「使用する」などを規定するものである。人物などのＩＤの項目，人物など名前の項目，オーサリングなどで判り易くするための画像の項目および同じくオーサリングなどで関係を判り易くするための説明文を記した説明の項目より構成されている。
関係情報７０はこれらデータを積み重ねた集合体データである。
【００２０】
軌跡情報８０は、映像の動きに対応してオブジェクトの軌跡を動かすための情報であり、軌跡情報部８５は、あるオブジェクトがある時間にある動きをしたことを列挙した情報部である。
軌跡情報部８５は、オブジェクトのＩＤの項目，オブジェクトの位置を示すＵＲＩの項目，オブジェクトのＺ方向の位置（同じ画面に複数のオブジェクトが現れて重なる場合、どちらが手前であるか判断するためのもの）を示すＺ深度の項目，シーンの一部分においてオブジェクトが現れる時刻および消滅する時刻を示す開始時刻および終了時刻の項目ならびにある時間における領域情報８６の項目より構成されている。領域情報８６はある時間における領域の動きを規定するもので、複数列挙されることが可能である。領域情報８６は、オブジェクトのＩＤの項目，領域が変位し、その変位した順番（例えばオブジェクトが出現から消滅まで移動領域が５回変化したとすると、何回目かの番号）を記するシーケンス番号の項目，変位時の再生時間を示す時刻（再生開始からのフレーム数）および領域パラメータの項目から構成されている。
【００２１】
領域パラメータは、楕円や四角形などの形状を規定する項目，形状が例えば４角形であれば、その中心座標を示すＸ座標およびＹ座標の項目，四角形の幅および高さを示す幅および高さの項目ならびに四角形の回転角度を示す回転角度の項目より構成されている。形状が楕円の場合も同様に規定されるが、かかる場合は楕円に外接する四角形が基準となる。軌跡情報８０はこれらデータを積み重ねた集合体データである。
【００２２】
つぎに、図４の各機能部の構成について図６Ａ〜図６Ｉ（プレイヤ装置）および図７Ａ〜図７Ｆ（サーバ装置）を用いて説明する。
図６Ａはプレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
入力処理部６は、ユーザが操作部を操作したか否を監視し（ステップ（以下「Ｓ」という）６Ａ０１）、入力があれば、その入力情報を制御部８ａに渡す（Ｓ６Ａ０２）。図６Ｂの制御部８ａは入力情報を受け（Ｓ６Ｂ０１）、入力情報が１０キーまたは方向キーがあるか否かを判断する（Ｓ６Ｂ０２）。１０キーまたは方向キーであれば、オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃにその入力情報を渡す（Ｓ６Ｂ０３）。
一方、マウスまたはボタンによる入力情報であれば、入力されたデータが映像上のマウスクリックか否かを判断し（Ｓ６Ｂ０４）、オブジェクト軌跡ヒット判定部（マウス座標）８ｄにマウス座標（入力情報）を渡す（Ｓ６Ｂ０５）。マウスクリックでない場合には、ボタンによる入力情報であるとして映像の再生か、または停止ボタンの押し下げかを判断し（Ｓ６Ｂ０６）、映像の再生などであるならば、その情報を映像制御部８ｂに渡し（Ｓ６Ｂ０７）、映像の再生などでなければ、終了する。
【００２３】
図６Ｃの映像制御部８ｂは、制御部８ａからボタン情報を受ける（Ｓ６Ｃ０１）と、再生ボタンか否かの判断を行い（Ｓ６Ｃ０２）、再生ボタンであれば、映像データ再生処理を行い（Ｓ６Ｃ０３）、映像描画部１０ａに渡す（Ｓ６Ｃ０６）。一方、再生ボタンでなければ、停止ボタンが押されたか否かを判断し（Ｓ６Ｃ０４）、停止ボタンであれば、映像の停止処理を行う（Ｓ６Ｃ０５）。停止ボタンが押されていなければ、引き続き映像データを映像描画部１０ａに渡す（Ｓ６Ｃ０６）。
図６Ｄのオブジェクト軌跡ヒット判定部（マウス座標）８ｄは、制御部８ａからマウス座標を受け取る（Ｓ６Ｄ０１）と、メタデータ記憶部９ａから軌跡情報を読み出す（Ｓ６Ｄ０２）。そして、現在のオブジェクト軌跡の動きから最適な円の半径ｒを取得する。
半径ｒの具体的な大きさは、例えば、オブジェクトが停止情報であれば半径ｒは小さく、動いていれば、動きの速さに応じて半径ｒを大きくとる（Ｓ６Ｄ０３）。これにより、マウス座標を中心とした半径ｒの円の領域を選択領域と決定する（Ｓ６Ｄ０４）。そして、映像中のオブジェクトの軌跡情報とユーザがマウスで選択した選択領域とが重なるか否か、すなわちヒットしているか否かの判定に移行する（Ｓ６Ｄ０５，Ｓ６Ｄ０６）。僅かでも重なっていればヒット判定をする。例えば、図６Ｄ−１の場合、選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される。
ヒットした場合にはオブジェクト情報をネットワーク通信部１２に渡す（Ｓ６Ｄ０９）。ヒットしていない場合には、映像を１フレーム時間戻してＳ６Ｄ０６で同様な判断を行う。依然としてヒットいない場合には予め決められているｎフレームまで同様な判断を試みる（Ｓ６Ｄ０６，Ｓ６Ｄ０７，Ｓ６Ｄ０８）。ｎフレーム値は、ユーザがオブジェクトを認識してからマウスをクリックするまでにオブジェクトが移動するであろう時間が設定される。なお、ｎフレームまで繰り返してもヒットしない場合、ユーザがオブジェクトを捕らえきらなかったものとして終了する。
【００２４】
一方、図６Ｅのオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃは、制御部８ａから受けたキー情報（入力情報）を受ける（Ｓ６Ｅ０１）と、領域の選択キーである１０キー・方向キーか、またはそれ以外であるマウス・ボタンかを判断し（Ｓ６Ｅ０２）、１０キー・方向キーであれば、そのキー操作が決定キーであるか、選択中のキーであるかを判断し（Ｓ６Ｅ０３）、決定キーでなければ、前回と同じキーで押されたか否かの判断を行う（Ｓ６Ｅ０４）。前回と同じキーが操作（同じキーを２回連続して押せば、決定操作がなされたとする）されたと判断すれば、決定を行ったとしてＳ６Ｅ１１に移行する。前回と同じキー操作でない場合には、既に記憶している選択開始時間（領域の選択キーが押されたときの時間）があるか否かを判断（Ｓ６Ｅ０５）し、選択開始時間が記憶されている場合には押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０８）。選択開始時間が記憶されていない（１０キー・方向キーによりどこも選択されていない）場合には今回１０キー・方向キーが押し下げられた時間を選択開始時間として記憶し、画面全体に対し押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０６，Ｓ６Ｅ０７）。そして、Ｓ６Ｅ０７またはＳ６Ｅ０８で決定した選択領域を現在の選択領域として記憶し（Ｓ６Ｅ０９）、グリッド選択領域描画部１０ｂに対し選択範囲の変更イベントを発行する（Ｓ６Ｅ１０）。これにより、映像のグリッド領域が例えば特定の色（赤色など）で表示される。
図６Ｅ−１に映像中のグリッド領域の表示例を示す。映像の表示領域を多数に分割し、その分割した領域に対応してそれぞれ複数の１０キーを割り当て、複数のキーの内、１つが押されることにより押されたキーが所属する分割領域を例えば赤で表示することにより選択されていることを示す。
この処理が終了すると、再度領域の選択キーか否かの判断のＳ６Ｅ０２に戻る。
Ｓ６Ｅ０３で決定キーと判断した場合には、記憶している選択開始時間まで時間を戻し（Ｓ６Ｅ１１）、さらに利用者がオブジェクトを認識してからキー入力までの時間だけ戻す（Ｓ６Ｅ１２）。この利用者のオブジェクト認識からキー入力までの時間は、人間の反応時間を考慮したもので、例えば０．２秒から０．５秒程度戻すこととなる。
そして、戻した時間のオブジェクト軌跡の位置情報を取得し、オブジェクト軌跡と現在の選択領域とで重なった部分が存在するか否かによってヒット判定を行い（Ｓ６Ｅ１３，Ｓ６Ｅ１４）、選択範囲の変更イベントをグリッド選択領域描画部１０ｂに発行し、選択していることを示す表示を解除する（赤を消滅させる）（Ｓ６Ｅ１５）。ヒットした場合にはヒットしたオブジェクト情報をネットワーク通信部１２に渡す。ヒットしない場合は終了する（Ｓ６Ｅ１６，Ｓ６Ｅ１７）。
この処理によりユーザが選択した領域が映像中のオブジェクトを捕らえているか否かの判断がなされる。
【００２５】
図６Ｆのネットワーク通信部１２は、映像再生についてタイマ７から再生開始から現在までの時間情報が渡されたか否かを判定し（Ｓ６Ｆ０１）、現在の映像の再生時間を渡された場合には現在時間のオブジェクト軌跡情報をサーバ装置（ネットワークインタフェース２１ｂ）に要求する（Ｓ６Ｆ０２，Ｓ６Ｆ０３）。そしてサーバ装置からオブジェクト軌跡情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０４，Ｓ６Ｆ０５）。一方、クリックがなされた場合にはオブジェクト軌跡ヒット判定部（マウス座標）８ｄからオブジェクト情報が渡されたか否かを判定し、オブジェクト情報が渡された場合にはこの情報を受け取り、オブジェクト情報７７のＩＤをキーに関係情報７０をサーバ装置に要求する（Ｓ６Ｆ０６，Ｓ６Ｆ０７，Ｓ６Ｆ０８）。そしてサーバ装置からオブジェクトの関係情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０９，Ｓ６Ｆ１０）。
Ｓ６Ｆ０６においてオブジェクト軌跡ヒット判定部８ｄからオブジェクト情報ではなくマウス座標が渡された場合は、該マウス座標を受け取り（Ｓ６Ｆ１１）、サーバ装置にヒット結果オブジェクトの要求を行う（Ｓ６Ｆ１２）。サーバ装置からオブジェクトのヒット結果を受け取ると、ヒットしたか否か判断し、ヒットした場合にはＳ６Ｆ０８に移行する（Ｓ６Ｆ１３，Ｓ６Ｆ１４）。
ここでのネットワーク通信はプレイヤ装置で再生を行いながらサーバ装置から少しずつ情報を得るもので、数秒毎（例えば、２秒毎）に情報を得る。
【００２６】
ネットワーク通信部１２からＸＭＬデータを渡された図６Ｇのメタデータ解析部８ｅは、ＸＭＬからメタデータ（オブジェクト軌跡情報と関係情報）を抽出し（Ｓ６Ｇ０１，Ｓ６Ｇ０２）、メタデータをメタデータ合成部８ｆに渡す（Ｓ６Ｇ０３）。
図６Ｈのメタデータ合成部８ｆがメタデータを受け取る（Ｓ６Ｈ０１）と、すべてのメタデータに対し、メタデータ記憶部９ａに追加予定のメタデータが存在するか否かを調べ、そのメタデータが記憶されていない場合には記憶し、既に同じメタデータが記憶されている場合には破棄する。所定の単位毎（リクエストに対する結果データのひとかたまり）に送られてくるメタデータに対し、上記処理を繰り返す（Ｓ６Ｈ０２，Ｓ６Ｈ０３，Ｓ６Ｈ０４）。この処理により、オブジェクト軌跡情報８０は例えば１００フレーム〜１５０フレームの間のデータが時系列的に加えられ、また、オブジェクト関係情報７０は同様に時系列的に加えられて合成される。
上記ひとかたまりのメタデータの合成が終了すると、合成したメタデータはメタデータ記憶部９ａから読み出され関係情報７０は関係図描画部１０ｃに、オブジェクト軌跡情報８０はオブジェクト軌跡描画部１０ｄにそれぞれ送られ描画データが書き込まれる（Ｓ６Ｈ０５，Ｓ６Ｈ０６，Ｓ６Ｈ０７）。メタデータ合成部８ｆはつぎから次ぎと送られてくるメタデータに対し繰り返し上記合成処理を行う。
【００２７】
図６Ｉの関係図描画部１０ｃは、メタデータ合成部８ｆより関係情報を渡されると、関係情報をフレームバッファに書き込むことにより関係図を描画する画像を作成する（Ｓ６Ｉ０１，Ｓ６Ｉ０２，Ｓ６Ｉ０２）。同様に図６Ｉのオブジェクト軌跡描画部１０ｄは、フレームバッファに書き込むことにより映像上に軌跡を描画する画像を作成する（Ｓ６Ｉ０４，Ｓ６Ｉ０５，Ｓ６Ｉ０６）。さらにグリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからグリッド領域の情報が渡されると、このグリッド領域の情報をフレームバッファに書き込むことによりグリッドを描画する画像を作成する（Ｓ６Ｉ０７，Ｓ６Ｉ０８，Ｓ６Ｉ０９）。
合成処理部１０ｅは、映像描画部１０ａの映像，グリッド選択領域描画部１０ｂのグリッド画像，オブジェクト軌跡描画部１０ｄの軌跡画像および関係図描画部１０ｃの関係図の画像を重ねる処理を行うことにより合成を行い（Ｓ６Ｉ１０，Ｓ６Ｉ１１，Ｓ６Ｉ１２，Ｓ６Ｉ１３，Ｓ６Ｉ１４）、この画像が表示装置に表示される（Ｓ６Ｉ１５）。
図６Ｉ−１に表示装置で表示される合成画像の一例を示す。
オブジェクトに外接する楕円が軌跡領域であり、軌跡領域に一部重なっている円の領域がユーザがクリックしたグリッド領域である。映像の右側に関係図が表示されている。関係図は、映像のオブジックトに対応して同時に表示されるもので、表示位置の映像部分の他の部分（上側，左側，右側など）に表示することも可能であり、一部重ねて表示することも可能である。表示装置が２ディスプレイであれば、第１のディスプレイに映像を、近くに設置した第２のディスプレイに関係図を表示させることも可能である。また、軌跡の画面表示は、必要に応じて表示し、ユーザが視覚で確認できるように表示しても良いし、また、全く表示しなくても良い。この例のオブジェクト軌跡描画部１０ｄは、軌跡をオーバレイ表示しており、軌跡の中に「キャラＡ」という文字を表示させている。
また関係図中の「キャラＡ」のノードは拡大されており、映像中に現在出現しているオブジェクトを他のノードと比較し目立つように表示するものである。
【００２８】
つぎにサーバ装置の構成を説明する。
図７Ａの入力部は、サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
入力部２１ｃは要求の待ち受けを開始し、プレイヤ装置から要求を受信した場合にはその要求をパラメータ解析部２２ａに渡す（Ｓ７Ａ０１，Ｓ７Ａ０２，Ｓ７Ａ０３）。パラメータ解析部２２ａは、入力部２１ｃから要求を受け取り、要求の文字例を解析する。すなわち、どのような要求があったか否かを解釈する（Ｓ７Ａ０４，Ｓ７Ａ０５）。
このパラメータ解析部２２ａはサーバ装置１のコントローラとしての機能を果たし、プレイヤ装置３ａ〜３ｎからの４つの要求（１）（２）（３）および（４）に対し処理を実行することとなる。要求（１）はプレイヤ装置から静的知識情報（関係情報７０）を要求するものであり、かかる要求の場合にはその要求をオブジェクト情報検索部２２ｃに渡す（Ｓ７Ａ０６，Ｓ７Ａ０７）。静的知識情報の要求でない場合にはオブジェクト軌跡情報の要求であるか否か判断し、オブジェクト軌跡情報８０の要求である場合にはオブジェクト軌跡情報検索部２２ｄにその要求を渡す（Ｓ７Ａ０８，Ｓ７Ａ０９）。なお、要求（３）はサーバ装置にオブジェクト軌跡ヒット判定部を持つ場合のフローであり、この実施の形態ではサーバ装置にオブジェクト領域衝突判定部２２ｅ（プレイヤ装置にオブジェクトヒット判定部が存在すれば、実際は不要である）を記載してサーバ装置側でもヒット判定が可能であることを示している関係上、以後の説明ではサーバ装置側でヒット判定する場合も併せて説明する。サーバ装置にオブジェクト軌跡ヒット判定部を持つ例として、プレイヤ装置が小型で、負荷を軽減化する場合などに適用される。
【００２９】
図８に各種要求（１）（２）（３）および（４）の具体例を示す。
静的情報取得の要求（１）は映像コンテンツのＩＤおよびユーザのＩＤのデータより構成されている。
オブジェクト軌跡データ取得の要求（２）は何フレームから何フレームまでの軌跡情報かを要求するもので、映像コンテンツのＩＤ，ユーザのＩＤ，要求する映像のフレームの開始時間および終了時間より構成されている。
オブジェクトヒット判定の要求（３）は上述したようにサーバ装置でヒット判定する場合である。
要求内容としては以下の６通りであり、記載内容は一例である。なお、以降に説明する遅延クリックとは、クリックの信号入力から所定時間まで随時１フレームずつ戻しながら判定を行うことであり、ユーザの操作の遅れを補完するものである。
それぞれについては映像コンテンツのＩＤ，ユーザのＩＤおよびヒットした時間が含まれている。１行目の要求は、遅延クリックの開始時間６２８（遅延分を考慮してさかのぼる時間）と終了時間６８８およびその対象座標の位置（Ｘ座標３８２，Ｙ座標２５７）が示されており、６０フレームだけさかのぼって判定を行うものである。２行目は、遅延クリックはなく、対象時間５２０のクリックした位置（Ｘ座標４１６とＹ座標１５４）のみが示されており、さかのぼることはない。３行目は、２行目の記載に加えて、半径１０の判定幅でヒット判定を行うものである（マウスクリック）。４行目は、領域のヒット判定を行うもので、領域として幅２１３，高さ１６０の四角形の領域に対する判定要求である（領域クリック）。５行目は、遅延クリックが０フレームまでさかのぼり、かつ判定範囲が半径８の要求である（マウスクリック）。６行目は、遅延クリックが４４１までさかのぼり、幅８０，高さ６０の四角形の領域に対する判定要求である（領域クリック）。
要求（３）は、遅延クリックと領域クリックがプレイヤ装置によってオンオフできる場合などに用いられる。
オブジェクト詳細データ取得の要求（４）は、プレイヤ装置でヒットしたオブジェクトの要求をサーバ装置に行うもので、ヒットした映像コンテンツのＩＤ，ユーザのＩＤ，クリックした映像のフレームおよびクリックした映像中のオブジェクトのＩＤより構成されており、これによりクリックしてヒットしたオブジェクトの関係情報を得るものである。  
【００３０】
図７Ｂの画像情報解析部２２ｂは、検索条件をパラメータ解析部２２ａから受け取ると、動画データ記憶部２３ａから検索条件に沿う動画データを読み出す（Ｓ７Ｂ０１，Ｓ７Ｂ０２）。そして画像の動き解析を行い、画像の秒当たりの動き速度を算出し、領域パラメータとしてオブジェクト領域衝突判定部２２ｅに渡す（Ｓ７Ｂ０３，Ｓ７Ｂ０４）。
これは、クリック領域の半径ｒが指定されなかった場合にサーバ装置で作る過程である。すなわち、要求（３）に対応するもので、画面の動きや軌跡の動き（映像データのどの動画の、何フレームかのデータ）からどれだけの半径にすべきかを決めるもので、動画データに入っている動画を解析してその動きを解析して最適なｒを計算するものである。
図７Ｂのオブジェクト情報検索部２２ｃは、検索条件をパラメータ解析部２２ａから受け取ると、そのデータをデータベース制御部２４に渡し、その結果を取得する（Ｓ７Ｂ０５，Ｓ７Ｂ０６，Ｓ７Ｂ０７）。そしてオブジェクト情報に関係情報があるか否かを判断し（Ｓ７Ｂ０８）、関係情報がある場合には関係情報の検索をデータベース制御部２４に依頼し（Ｓ７Ｂ０９）、その結果を取得し（Ｓ７Ｂ１０）、得られた結果を応答出力生成部２２ｆに渡す（Ｓ７Ｂ１１）。要求（４）はオブジェクト詳細情報を得るもので、オブジェクトの関係文を求めものである。すなわち、関係文７５の中にオブジェクトについてオブジェクト情報７７，関係情報部７６の情報を得るものである。
【００３１】
図７Ｃのオブジェクト軌跡情報検索部２２ｄはオブジェクト軌跡についてオブジェクト情報検索部２２ｃと同様な検索を行うもので、パラメータ解析部２２ａから何フレーム目から何フレームまでという検索条件を受け取って、データベース制御部２４に渡す（Ｓ７Ｃ０１，Ｓ７Ｃ０２）。データベース制御部２４はその条件のものをメタデータ記憶部２３ｂにアクセスして、検索条件にあった軌跡情報８０を読み出す（Ｓ７Ｃ０３）。ここでヒット判定要求（３）のための検索であるか否かの判定を行い（Ｓ７Ｃ０４）、ヒット判定のためである場合には、ヒットするオブジェクトの候補として軌跡情報をオブジェクト衝突判定部２２ｅに渡す（Ｓ７Ｃ０５）。オブジェクト軌跡データ取得要求（２）である場合には得られた結果を応答出力部２２ｆに渡す（Ｓ７Ｃ０６）。
【００３２】
図７Ｄのオブジェクト領域衝突判定部２２ｅはオブジェクト軌跡情報検索部２２ｄから判定候補のオブジェクト軌跡情報（その時間に存在するかも知れない軌跡）を受ける（Ｓ７Ｄ０１）と、パラメータ解析部２２ａからどの座標について衝突（軌跡情報と重なっているか）判定を行うかという情報が受ける（Ｓ７Ｄ０２）。そして衝突判定する対象は点か領域かを判断し（Ｓ７Ｄ０３）、領域である場合には、衝突判定対象領域をクリック認識領域とする（Ｓ７Ｄ０４）。一方、点である場合には更に領域クリック機能が有効（オン状態）になっているかを判定し（Ｓ７Ｄ０５）、有効になっていない場合には衝突判定する点だけからなる領域を作成し、クリック認識領域とする（Ｓ７Ｄ０６）。有効になっている場合には領域クリックパラメータ（半径ｒなど）を画素情報解析部２２ｂから受け取り、クリック認識領域を算出する（Ｓ７Ｄ０７，Ｓ７Ｄ０８）。
このようにしてクリック認識領域した後、衝突オブジェクト軌跡リストを初期化する（Ｓ７Ｄ０９）。そして判定時刻（フレーム番号）におけるオブジェクトの位置を算出し、衝突候補オブジェクト軌跡のそれぞれに対し、オブジェクト軌跡とクリック認識領域が共通領域（重なっている部分）を持つか判定し、共通領域を持っている場合には衝突オブジェクト軌跡リストに追加する（Ｓ７Ｄ１０，Ｓ７Ｄ１１，Ｓ７Ｄ１２，Ｓ７Ｄ１３）。
このような動作を衝突候補オブジェクト軌跡のそれぞれについて判定を繰り返し、終了すれば（Ｓ７Ｄ１４）、遅延クリック機能（ユーザがクリックした時刻からさかのぼる）が有効になっているか否かを判定する（Ｓ７Ｄ１５）。有効でない場合には、衝突オブジェクト軌跡リストをそのままオブジックト情報検索部２２ｃに渡す（Ｓ７Ｄ１８）。
遅延クリックが有効である場合には判定時刻を１フレーム戻し（Ｓ７Ｄ１６）、このフレームが（最初に与えられた判定時刻−現在の判定時刻）すなわちｎ秒になっているか判断し（Ｓ７Ｄ１７）、ｎ（戻すフレーム数）秒になっていなければ、Ｓ７Ｄ１０に戻って衝突判定を行う。ｎ秒になった場合はＳ７Ｄ１０〜Ｓ７Ｄ１７のループを抜けて衝突オブジェクト軌跡リストをオブジェクト情報検索部２２ｄに渡す（Ｓ７Ｄ１８）。
【００３３】
ここで、Ｓ７Ｄ１０の判定時刻におけるオブジェクトの位置計算の詳細について図７ＥのＡフローを用いて説明する。対象オブジェクトと時刻を受け取り、オブジェクト軌跡情報検索部２２ｄから当該時刻が含まれる軌跡情報を取得する（Ｓ７Ｅ０１，Ｓ７Ｅ０２）。すなわち、どのオブジェクト情報について何フレーム目の位置かを算出するための情報を取得する。
まず、目的とするオブジェクトの軌跡情報が存在するか否かを判断し（Ｓ７Ｅ０３）、当該オブジェクト軌跡が存在しない場合（戻りすぎた場合など）には終了とする（Ｓ７Ｅ０４）。軌跡情報が存在する場合には、当該時刻が軌跡情報内にある定義領域で示された時刻と一致するか判定する（Ｓ７Ｅ０５）。一致した領域が存在すればその定義領域をそのままオブジェクト領域とする（Ｓ７Ｅ０９）。例えば、定義領域が１００フレーム目，１５０フレーム目，１８０フレーム目が存在し、クリックした判定時刻が１５０フレーム目であるとすれば、定義領域の中に１５０フレーム目が存在するので、その１５０フレームをそのまま用いる。
定義領域に存在しない場合に当該時刻（＝ｔ）から見て直前の時刻（＝ａ），直後の時刻（＝ｂ）の定義領域を抽出する（Ｓ７Ｅ０６）。例えば、判定時刻が１３０フレーム目であれば、存在しないので、１３０フレーム目の軌跡情報を算出するために直前の１００フレーム目と直後の１５０フレーム目の情報を抽出する。以下、（ｔ−ａ）と（ｂ−ｔ）の比から比例係数ρを算出し、領域の各パラメータについて比例係数ρによって一次補完して領域を作成し、これをオブジェクト領域とする（Ｓ７Ｅ０７，Ｓ７Ｅ０８）。作成される定義領域の具体的位置は、前後の定義領域に対し、映像の変化の速度によって例えば、ピクセル単位で変動することとなる。
このように得られたオブジェクトの領域を呼び出し、元に返却する（Ｓ７Ｅ１０）。
【００３４】
図７Ｆは、応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
応答出力生成部２２ｆはオブジェクト情報検索部２２ｃおよびオブジェクト軌跡情報検索部２２ｄからのオブジェクト情報を取得し（Ｓ７Ｆ０１）、元のリクエストから要求タイプを取得する（Ｓ７Ｆ０２）。そして要求タイプに従ってオブジェクトを整形する（Ｓ７Ｆ０３）。例えば、オブジェクト軌跡情報が５０フレーム，１００フレーム，２００フレーム，３００フレーム，４００フレームの定義領域がある場合、要求が１００フレームから３００フレームであるときは、５０フレームと４００フレームは破棄される。
整形したオブジェクト情報はＸＭＬ変換部２２ｇに渡される（Ｓ７Ｆ０４）。
ＸＭＬ変換部２２ｇは応答出力生成部２２ｆからオブジェクト情報を受け取る（Ｓ７Ｆ０５）と、ＸＭＬスキーマを読み込み、オブジェクト−ＸＭＬ変換エンジンを起動してオブジェクト情報をＸＭＬデータに変換し、得られたＸＭＬデータを出力部２１ａに渡す（Ｓ７Ｆ０６，Ｓ７Ｆ０７，Ｓ７Ｆ０８）。出力部２１ａはＸＭＬデータを取得すると出力ストリームにＸＭＬデータを出力する（Ｓ７Ｆ０９，Ｓ７Ｆ１０）。
【００３５】
以上がプレイヤ装置およびサーバ装置の各機能部の構成，動作についての説明である。つぎに本発明の実施に係わる映像再生システム全体の処理の流れを図９，図９Ａ〜図９Ｆを用いて説明する。図９における流れはサーバ装置の処理を主体にしたもので、処理シーケンスは以下の通りである。
プレイヤ装置３をユーザが操作して希望する映像コンテンツを要求する（Ｓ９０１）と、その要求はコンテンツ供給装置１ｂに送られ、コンテンツ供給装置１ｂは、その映像コンテンツをプレイヤ装置３に送信する（Ｓ９０２）。プレイヤ装置３はその映像コンテンツ（映像データ）の関係情報７０をサーバ装置１ａに要求する（Ｓ９０３）。サーバ装置１ａは関係情報７０の検索の要求を受けると、図９Ａの流れに沿ってデータベース検索処理を起動する。これにより静的関係情報７０の検索を図９Ｃのシーケンスに従って行い（Ｓ９０４）、得られた関係情報７０をプレイヤ装置３に供給する（Ｓ９０５）。プレイヤ装置３は関係情報７０を受けると映像の再生を開始する（Ｓ９０６）。表示装置には映像とともに自動的に関係図も表示される。つぎにプレイヤ装置３はオブジェクト軌跡情報８０の取得を要求する（Ｓ９０７）。
【００３６】
サーバ装置１は、図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクト軌跡情報の検索を図９Ｄのシーケンスに従って行い（Ｓ９０８）、得られたオブジェクト軌跡情報をプレイヤ装置３に供給する（Ｓ９０９）。ここまでのシーケンスは映像の進行にしたがって順次映像の関係情報とオブジェクト軌跡情報がプレイヤ装置に取り込まれ表示される。
プレイヤ装置３は現在映像が再生中であるか否かを判定し、映像が再生中でなければ、そこで終了する（Ｓ９１０）。映像が再生中であれば、ユーザの入力操作（操作部によって映像中のオブジェクトのクリックなど）を監視することとなる。
この状態でユーザが入力装置をしてクリックした領域がオブジェクト軌跡領域にヒットした場合にはヒットしたオブジェクトの情報をサーバ装置１に要求する（Ｓ９１２）。
サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これにより、ヒットオブジェクト関係情報をプレイヤ装置３に供給する（Ｓ９１４）。なお、Ｓ９１３はプレイヤ装置３ではなくサーバ装置１ｂにオブジェクトヒット判定部を備える場合、行われるステップであり、その動作シーケンスは図９Ｅに示されている。
【００３７】
プレイヤ装置３ａ〜３ｎはヒットオブジェクト情報が供給されると、そのオブジェクトの詳細情報（オブジェクト情報７７）をサーバ装置１に要求する（Ｓ９１５）。サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクトの詳細情報の検索を図９Ｆのシーケンスに従って行い（Ｓ９１６）、得られたオブジェクトの詳細情報をプレイヤ装置３に供給する（Ｓ９１７）。オブジェクトの詳細情報が供給されると、プレイヤ装置３はＳ９１０のステップに戻り、映像再生中の状態ではユーザの入力装置を監視し、入力操作があれば、Ｓ９１２〜Ｓ９１７のシーケンスを繰り返す。
【００３８】
つぎに図９のサブフローチャートを示す図９Ａ〜図９Ｆついて説明する。
図９Ａは、サーバ装置の待ち受け処理の流れを示し、図９のＳ６１，６４，６７，７０の位置で起動する。プレイヤ装置３ａ〜３ｎからの処理要求を受け、要求を受信できると、要求を解析する。要求の内容が適切であれば、つぎのデータベース処理を起動する。適切でなければエラー情報を作成する（Ｓ９Ａ０１〜Ｓ９Ａ０６）。
図９Ｂは図９ＡのＳ９Ａ０５のデータベース検索処理のフローである。
サーバ装置１ｂは検索条件を受け取ると、データベース２３に接続する。データベース２３に接続できた場合にはデータベース２３を検索して与えられたＩＤのコンテンツとユーザを探す。上記条件を満たすものが存在すれば、検索条件に従ってデータベース２３を検索する。そしてユーザ操作履歴を記録して終了する（Ｓ９Ｂ０１〜Ｓ９Ｂ０７）。
Ｓ９Ｂ０３においてデータベース２３に接続できない場合、Ｓ９Ｂ０５において条件を満たすものが存在しない場合にはエラー処理を行う（Ｓ９Ｂ０８）。
【００３９】
図９Ｃは図９のＳ９０４のステップにおける、静的関係情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する（Ｓ９Ｃ０１，Ｓ９Ｃ０２）。そして当該コンテンツに属する知識情報５０をすべて検索し、結果リストに保存する処理を下記のように行う（Ｓ９Ｃ０３）。すなわち、検索された知識情報すべてについて主語（主キャラクタなど）・目的語（敵キャラクタ，アイテムなど）として知識情報に含まれるオブジェクト情報７７を検索する（Ｓ９Ｃ０４，Ｓ９Ｃ０５）。そして検索されたオブジェクト情報が結果リストにない場合にはそのオブジェクト情報を結果リストに追加する（Ｓ９Ｃ０６，Ｓ９Ｃ０７）。つぎに述語として知識情報に含まれる関係情報部７６の情報を検索し、検索された関係情報が結果リストにない場合にはその関係情報を結果リストに追加する（Ｓ９Ｃ０８，Ｓ９Ｃ０９，Ｓ９Ｃ１０）。このＳ９Ｃ０４〜Ｓ９Ｃ１０のステップは繰り返し実行され、すべての知識情報について検索が終了する（Ｓ９Ｃ１１）と、結果リストを呼び出して元に返す（Ｓ９Ｃ１２）。
【００４０】
図９Ｄは図９のＳ９０８のステップにおける、オブジェクト軌跡情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する（Ｓ９Ｄ０１，Ｓ９Ｄ０２）。そして当該コンテンツに属するオブジェクト軌跡情報８０を検索し、結果リストに保存する処理を下記のように行う（Ｓ９Ｄ０３）。すなわち、検索された軌跡情報すべてについて当該軌跡情報の開始時間・終了時間と検索に与えられた開始時間・終了時間がオーバラップするか否かを判断する。オーバラップしない場合にはＳ９Ｄ１０に移行する。オーバラップする場合には当該軌跡の領域情報を検索する（Ｓ９Ｄ０４，Ｓ９Ｄ０５）。これは軌跡情報として例えば１００フレーム〜２００フレームまでである場合に、検索で与えられたフレームが１０００〜１５００である場合に、この場合の条件を除外するためである。検索された領域情報のうち、検索条件で与えられた時間内にあるものを結果リストに加える（Ｓ９Ｄ０７）。そして結果リスト内の領域情報で検索開始または終了時刻と一致するものが存在するか判定し、一致するものが存在しない場合には領域情報のうち、検索条件外で最も時間的に近いものを結果リストに加える（Ｓ９Ｄ０８，Ｓ９Ｄ０９）。この処理は、例えば１００フレーム，１６０フレーム，２１０フレームの領域情報が存在する場合に、検索条件として１００フレーム，２００フレームであるとき、２１０フレームは検索条件外であるが、この２１０フレームがないと、２００フレームの領域情報を算出することができないからである。
このようにしてＳ９Ｄ０５〜Ｓ９Ｄ０９までの検索を繰り返し行い、すべての軌跡情報について検索すると、結果リストを呼び出し元に返す（Ｓ９Ｄ１０，Ｓ９Ｄ１１）。
【００４１】
図９Ｅは図９のＳ９１３のステップにおける、サーバ装置でヒット判定を行う処理のオブジェクト軌跡情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する（Ｓ９Ｅ０１，Ｓ９Ｅ０２）。そして当該コンテンツに属するオブジェクト軌跡情報８０を検索し（Ｓ９Ｅ０３）、オブジェクト領域衝突を判定する（Ｓ９Ｅ０４）。結果をリストに保存し、結果リストを呼び出し元に返す（Ｓ９Ｅ０５，Ｓ９Ｅ０６）。
【００４２】
図９Ｆは、図９のＳ９１６のステップにおける、オブジェクト詳細情報検索処理の流れを説明するためのフローチャートである。
検索条件（オブジェクトＩＤ，時間）を受け取り、結果リストを初期化する（Ｓ９Ｆ０１，Ｓ９Ｆ０２）。
条件に指定されたオブジェクトＩＤを持つオブジェクトを検索し（Ｓ９Ｆ０３）、当該オブジェクトを主語または目的語とする知識情報のすべてについて下記のように検索する（Ｓ９Ｆ０４）。すなわち、検索された知識情報すべてについて、主語（主キャラクタなど）・目的語（敵キャラクタ，アイテムなど）として知識情報に含まれるオブジェクト情報７７を検索する（Ｓ９Ｆ０５，Ｓ９Ｆ０６）。そして検索されたオブジェクト情報が結果リストにない場合にはそのオブジェクト情報を結果リストに追加する（Ｓ９Ｆ０７，Ｓ９Ｆ０８）。つぎに述語として知識情報に含まれる関係情報部７６の情報を検索し、検索された関係情報が結果リストにない場合にはその関係情報を結果リストに追加する（Ｓ９Ｆ０９，Ｓ９Ｆ１０，Ｓ９Ｆ１１）。このＳ９Ｆ０５〜Ｓ９Ｆ１１のステップは繰り返し実行され、すべての知識情報について検索が終了する（Ｓ９Ｆ１２）と、結果リストを呼び出して元に返す（Ｓ９Ｆ１３）。
【００４３】
図１０は、本発明による映像再生システムにおけるオブジェクトオーバレイ表示方式の実施の形態を説明するためのフローチャートである。
再生中の映像上に、例えばキャラＣが現れ、同時にキャラＣのノード（関係図に表示されるオブジェクト）の関係図を表示装置に自動的に表示し、映像中のキャラＣに対し軌跡をオーバレイ表示するシーケンスを説明するもので、プレイヤ装置の制御部８ａ，映像制御部８ｂ，タイマ７，ネットワーク通信部１２，オブジェクト軌跡描画部１０ｄ，合成処理部１０ｅなどが中心に動作するものである。なお、制御部８ａは以下の監視や判定を主体的に行う。ユーザが映像再生のためのプレイヤ装置３を操作すると、プレイヤ装置３がコンテンツ供給装置とサーバ装置１にアクセスし、映像データおよび関係情報が供給され、コンテンツの準備が行われる（Ｓ１００１）。すなわち、ユーザがプレイヤ装置を操作して再生すべき映像コンテンツＡ１を選択するためのキー操作を行うと、プレイヤ装置ではそのキー操作による設定ファイル（映像コンテンツＡ１を選択するため各データ）が形成され、設定ファイルが読み込まれ、インタネット上のコンテンツ供給装置１ｂにアクセスし、映像コンテンツＡ１を取得してプレイヤ装置のメモリ部９に格納する。さらにサーバ装置１にアクセスし、映像コンテンツＡ１対応の静的知識データ（関係情報７０）およびオブジェクト軌跡データ（軌跡情報８０）を検索させ、データベース２３より読み出し、プレイヤ装置３に送信させる。プレイヤ装置３はこの情報もメモリ部に格納する（Ｓ１００１）。
【００４４】
このコンテンツ準備によりユーザが再生操作をすれば、映像コンテンツＡ１が表示画面に表示される。制御部８ａは取得した映像コンテンツＡ１が再生されているか否かを判定する（Ｓ１００２）。再生されていなければ、当該シーケンスは終了し、再生中であれば、映像制御部８ｂはタイマ７に対し現在の時刻（フレーム時間）を取得し（Ｓ１００３）、現在時間の映像データを取得する（Ｓ１００４）。そしてネットワーク通信部１２はサーバ装置に対し現在時間のオブジェクト軌跡データを要求し（Ｓ１００５）、サーバ装置から現在時間のオブジェクト軌跡データを取得する（Ｓ１００６）。これによりオブジェクト軌跡描画部１０ｄはオブジェクト軌跡を描画する（Ｓ１００７）。合成処理部１０ｅでは映像描画部１０ａからの映像と描画データが重ね合わされる（Ｓ１００８）。
なお、関係図についての関係情報もサーバ装置から取得しているので、同時に関係図描画部１０ｃからの関係図も重ね合わされる。
このようにして重ね合わされた画像は表示装置の画面に出力され（Ｓ１００９）、Ｓ１００２〜Ｓ１００９のシーケンスが繰り返されることによりオブジェクト軌跡がオーバレイ表示された動画が出力される。
【００４５】
図１１は、映像中にオブジェクトが登場している状態を示す図で、（ａ）はオブジェクトに対し軌跡が描かれていない状態を、（ｂ）はオブジェクトに対し軌跡が描かれている状態を、（ｃ）は拡大され軌跡中にオブジェクトの名前を表示した状態をそれぞれ示している。
（ａ）は映像中の通路の奥にキャラクタが現れており、このキャラクタに対し（ｂ）に示すようにオブジェクトを囲むように外接閉曲線の軌跡がオーバレイ表示されている。（ｃ）は拡大表示された軌跡の中に「キャラＣ」という文字がオーバレイ表示されている。
このように映像中のオブジェクトに対し軌跡を描くことにより、ユーザはこのオブジェクトに対しノード表示をするためクリックする場合にクリックできる範囲が明確になり、確実に関係図中にオブジェクトに関する情報を得ることができる。
【００４６】
図１２は、本発明による映像再生システムにおけるオブジェクト強調表示方式の実施の形態を説明するためのフローチャートである。
再生中の映像上に、キャラＣが現れ、同時にキャラクタのノードの関係図を表示装置に自動的に表示し、関係図中のキャラＣを強調表示するシーケンスを説明するもので、プレイヤ装置の制御部８ａ，関係図描画部１０ｃ，メタデータ記憶部９ａなどが中心に動作するものである。
ユーザが映像再生のためのプレイヤ装置３を操作すると、図１０での説明と同様、プレイヤ装置３がコンテンツ供給装置とサーバ装置１にアクセスし、映像データおよび関係情報が供給され、コンテンツの準備が行われる（Ｓ１２０１）。
このコンテンツ準備によりユーザが再生操作をすれば、映像コンテンツＡ１が表示画面に表示される。制御部８ａは取得した映像コンテンツＡ１が再生されているか否かを判定する（Ｓ１２０２）。再生されていなければ、当該シーケンスは終了し、再生中であれば、関係図描画部１０ｃはメタデータ記憶部９ａ中のメタデータを参照しすべての関係図中のノードについて映像中にノードに対応するオブジェクト軌跡が存在するか否かの判断を行う（Ｓ１２０３，Ｓ１２０４）。
【００４７】
関係図描画部１０ｃは、映像上にノードに対応するオブジェクト軌跡が存在する場合には強調表示を行う（Ｓ１２０５）。一方、映像上にノードに対応するオブジェクト軌跡が存在する場合は通常の表示を行う（Ｓ１２０６）。
【００４８】
図１３は、本発明の前提となる表示装置に表示される関係図中に多数のノードが表示された１例を示す図である。
この例は、ある時刻の映像が画面の左側に、関係図が画面の右側に同時表示されているものである。「基地Ａ」「基地Ｂ」「キャラクタＡ〜Ｏ」「作戦Ａ」「計画Ａ」「武器Ａ」「乗物Ａ」という文字を囲んだノードが多数表示されており、それぞれのノードの間に矢印が記載され、その関係が文字で記されている。このように多数のノードが表示されている状態では、映像中に現在現れているオブジェクトがどのノードであるかユーザが容易に認識するのは困難な場合がある。
かかる場合に映像中に現在現れているオブジェクト対応のノードとして図１４に示すように例えばキャラクタＣであれば、その「キャラクタＣ」という文字を太字で描き強調表示する。このとき、関係図描画部１０ｃが関係図とともに描画するオブジェクトのリストでも、太字で表示されており、このデータをバッファに書き込むことにより、図１４に示すような強調表示を行うことができる。
【００４９】
図１５は、本発明による強調表示の他の１例を示す図、ノード自体を他のノードに比較し大きく表現した場合である。
かかる場合はオブジェクトのリスト中に文字を大きくして表示し、このデータをバッファに書き込むことにより、他のノードに比較し大きく表示している。この例では映像中に登場しているオブジェクトは「キャラクタＣ」と「ピストル」となる。
このように関係図中に多数のノードがある場合では映像中に登場しているオブジェクト対応のノードを強調表示することにより、ユーザは映像中のオブジェクト対応のノードを容易に認識することができる。
【００５０】
以上の実施の形態では、オーバレイ表示として映像中のオブジェクトに外接する閉曲線で軌跡を示しているが、軌跡の形はこのような曲線に限らず、矩形形状や他の形状であっても良い。また、オブジェクトを示す文字を閉曲線内にオーバレイする場合を説明したが、この文字は必ずしも閉曲線内内に含む必要はなく、閉曲面の近辺にオーバレイ表示しても良い。
つぎに、関係図として表示するノードを、キャラクタ名などを記載し楕円で囲んだ例を示し、キャラクタ名を太く表示したり、楕円およびキャラクタ名を大きく表示したりする例を示したが、強調表示する方法としてこのような表示に限られるものではなく、種々の形で表示することが可能である。例えば、映像に登場していないオブジェクト対応のノードは文字を楕円で囲んで表示し、映像に登場しているオブジェクト対応のノードは文字を矩形形状で囲んで相違を明確にすることにより強調表示することもできる。また、映像に登場しているオブジェクト対応のノードを特別の色で表示して強調表示することもできる。
また、映像コンテンツはネットワーク上のコンテンツサーバ装置のデータベースやメタデータを管理するサーバ装置のデータベースに格納しておく例を示したが、格納場所は、プレイヤ装置に直接接続できるローカルメモリやＤＶＤやＨＤＤなどのディスク装置に格納しても良い。また、プレイヤ装置自体が内蔵していても良い。
【００５１】
また、オブジェクト軌跡ヒット判定はプレイヤ装置に備える場合を主に（一部サーバ装置側に存在する場合も説明している）構成やシーケンス説明をしたが、オブジェクト軌跡判定手段をプレイヤ装置に含まず、サーバ装置側のみに設けても良い。
さらにコンテンツサーバ装置，サーバ装置およびプレイヤ装置をネットワークで接続して構成される映像再生システムの実施の形態について説明したが、コンテンツサーバ装置，サーバ装置およびプレイヤ装置の各機能部を１つの装置内に内蔵させた装置、例えば映像再生装置システムとして構成することも可能である。かかる場合には映像に関するデータ構造は図５の例に示すような構造であり、各機能部は、図６Ａ〜図６Ｉ，図７Ａ〜図７Ｆで説明した構成と略同じである。ただし、サーバ装置とプレイヤ装置の間を通信する手段であるネットワークインタフェース２１ｂ，ネットワーク通信部１２（図４参照）は不要である。この映像再生装置は映像およびメタデータならびに検索部なども持っているため、装置自体の処理の負担はサーバ装置，プレイヤ装置に分散する場合に比較し大きくなるが、ネットワーク通信の処理が省けるため映像および関係図表示のための表示処理速度は向上する。さらに映像，メタデータ，制御データ，選択データなどを各データ別に目的にあったメモリ媒体に記録でき、効率的なメモリ手段の構築が可能となる。
【産業上の利用可能性】
【００５２】
映像コンテンツをプレイヤ装置で再生する映像再生システムにおけるオブジェクト強調表示方式およびオブジェクトオーバレイ表示方式ならびに該映像再生システムに用いるサーバ装置およびプレイヤ装置であり、家庭用や業務用に用いられる。
【図面の簡単な説明】
【００５３】
【図１】本発明による映像再生システムにおけるオブジェクト強調表示方式およびオーバレイ表示方式を説明するためのシステム概略図である。
【図２】本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
【図３】本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
【図４】プレイヤ装置とサーバ装置における各機能部の情報送受の関係を説明するための図である。
【図５】本発明で送受される動画ファイルのデータ構造の一例を示す図である。
【図６Ａ】プレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
【図６Ｂ】プレイヤ装置の制御部の構成を説明するためのフローチャートである。
【図６Ｃ】プレイヤ装置の映像制御部の構成を説明するためのフローチャートである。
【図６Ｄ】プレイヤ装置のオブジェクトヒット判定部（マウス座標）の構成を説明するためのフローチャートである。
【図６Ｄ−１】選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される例を示す図である。
【図６Ｅ】プレイヤ装置のオブジェクトヒット判定部（キー選択矩形）の構成を説明するためのフローチャートである。
【図６Ｅ−１】映像中のグリッド領域の表示例を示す図である。
【図６Ｆ】プレイヤ装置のネットワーク通信部の構成を説明するためのフローチャートである。
【図６Ｇ】プレイヤ装置のメタデータ解析部の構成を説明するためのフローチャートである。
【図６Ｈ】プレイヤ装置のメタデータ合成部の構成を説明するためのフローチャートである。
【図６Ｉ】プレイヤ装置のグリッド選択領域描画部，関係図描画部，オブジェクト軌跡描画部および合成処理部の構成を説明するためのフローチャートである。
【図６Ｉ−１】表示装置で表示される合成画像の一例を示す図である。
【図７Ａ】サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
【図７Ｂ】サーバ装置の画像情報解析部およびオブジェクト情報検索部の構成を説明するためのフローチャートである。
【図７Ｃ】サーバ装置のオブジェクト軌跡情報検索部の構成を説明するためのフローチャートである。
【図７Ｄ】サーバ装置のオブジェクト領域衝突判定部の構成を説明するためのフローチャートである。
【図７Ｅ】図７ＤのサブフローＡの特定時刻におけるオブジェクト位置の算出方法を説明するためのフローチャートである。
【図７Ｆ】サーバ装置の応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
【図８】本発明における各取得要求および判定要求の内容の一例を示す図である。
【図９】本発明によるオブジェクト強調表示方式およびオーバレイ表示方式を適用した映像再生システムの処理シーケンスを説明するための図である。
【図９Ａ】サーバ装置の待ち受け処理の流れを説明するためのフローチャートである。
【図９Ｂ】データベース検索処理の流れを説明するためのフローチャートである。
【図９Ｃ】静的知識情報検索処理の流れを説明するためのフローチャートである。
【図９Ｄ】オブジェクト軌跡情報検索処理の流れを説明するためのフローチャートである。
【図９Ｅ】オブジェクトヒット判定処理の流れを説明するためのフローチャートである。
【図９Ｆ】オブジェクト詳細情報検索処理の流れを説明するためのフローチャートである。
【図１０】本発明による映像再生システムにおけるオブジェクト軌跡のオーバレイ表示方式の実施の形態を説明するためのフローチャートである。
【図１１】映像中にオブジェクトが登場している状態を示す図で、（ａ）はオブジェクトに対し軌跡が描かれていない状態を、（ｂ）はオブジェクトに対し軌跡が描かれている状態を、（ｃ）は拡大され軌跡中にオブジェクトの名前を表示した状態をそれぞれ示している。
【図１２】本発明による映像再生システムにおけるオブジェクト強調表示方式の実施の形態を説明するためのフローチャートである。
【図１３】関係図中に多数のノードが表示された１例を示す図である。
【図１４】強調表示の１例を示す図、ノードの表示文字を太字で表現した場合である。
【図１５】強調表示の他の１例を示す図、ノード自体を他のノードに比較し大きく表現した場合である。
【符号の説明】
【００５４】
１  サーバ装置
１ａ  メタデータ管理サーバ装置  
１ｂ  コンテンツサーバ装置  
２  ネットワーク  
３（３ａ〜３ｎ）  プレイヤ装置  
４  オーサリング装置
５  操作部
６  入力処理部
７  タイマ
８  プレイヤ制御回路
８ａ  制御部
８ｂ  映像制御部
８ｃ  オブジェクト軌跡ヒット判定部（キー選択矩形）
８ｄ  オブジェクト軌跡ヒット判定部（マウス座標）
８ｅ  メタデータ解析部  
８ｆ  メタデータ合成部
９  メモリ部（半導体メモリ）
９ａ  メタデータ記憶部
９ｂ  選択情報記憶部
１０  画像処理部
１０ａ  映像描画部
１０ｂ  グリッド選択領域描画部
１０ｃ  関係図描画部
１０ｄ  オブジェクト軌跡描画部
１１  表示装置
１２，２１  ネットワーク通信部
２１ａ  出力部  
２１ｂ  ネットワークインタフェース
２１ｃ  入力部
２２  サーバ制御回路
２２ａ  パラメータ解析部  
２２ｂ  画素情報解析部  
２２ｃ  オブジェクト情報検索部
２２ｄ  オブジェクト軌跡情報検索部
２２ｅ  オブジェクト領域衝突判定部  
２２ｆ  応答出力生成部
２２ｇ  ＸＭＬ変換部
２３  データベース
２４  データベース制御部
２５  メモリ部
２６  操作装置
２７  入力制御部
２８  画像処理部
２９  表示装置
４０  動画ファイル
５０  知識情報
６０  ユーザ情報
７０  関係情報
７５  関係文
７６  関係情報部
７７  オブジェクト情報
８０  軌跡情報
８５  軌跡情報部
８６  軌跡領域情報
【図１】
2007192988.tif 000003
【図２】
2007192988.tif 000004
【図３】
2007192988.tif 000005
【図４】
2007192988.tif 000006
【図５】
2007192988.tif 000007
【図６Ａ】
2007192988.tif 000008
【図６Ｂ】
2007192988.tif 000009
【図６Ｃ】
2007192988.tif 000010
【図６Ｄ】
2007192988.tif 000011
【図６Ｄ−１】
2007192988.tif 000012
【図６Ｅ】
2007192988.tif 000013
【図６Ｅ−１】
2007192988.tif 000014
【図６Ｆ】
2007192988.tif 000015
【図６Ｇ】
2007192988.tif 000016
【図６Ｈ】
2007192988.tif 000017
【図６Ｉ】
2007192988.tif 000018
【図６Ｉ−１】
2007192988.tif 000019
【図７Ａ】
2007192988.tif 000020
【図７Ｂ】
2007192988.tif 000021
【図７Ｃ】
2007192988.tif 000022
【図７Ｄ】
2007192988.tif 000023
【図７Ｅ】
2007192988.tif 000024
【図７Ｆ】
2007192988.tif 000025
【図８】
2007192988.tif 000026
【図９】
2007192988.tif 000027
【図９Ａ】
2007192988.tif 000028
【図９Ｂ】
2007192988.tif 000029
【図９Ｃ】
2007192988.tif 000030
【図９Ｄ】
2007192988.tif 000031
【図９Ｅ】
2007192988.tif 000032
【図９Ｆ】
2007192988.tif 000033
【図１０】
2007192988.tif 000034
【図１１】
2007192988.tif 000035
【図１２】
2007192988.tif 000036
【図１３】
2007192988.tif 000037
【図１４】
2007192988.tif 000038
【図１５】
2007192988.tif 000039