(57)【要約】【課題】高速に画面内を移動するオブジェクトに対し、そのオブジェクト軌跡を捕らえる場合、ユーザは画面上のオブジェクトを直接クリックしたり、範囲選択したりすることなく、容易に希望するオブジェクト軌跡を選択し、そのときの詳細情報を表示できる映像再生システムにおけるオブジェクト軌跡選択方式を提供する。【解決手段】ユーザはリモコン１４を操作して表示装置の映像エリアを選択する。その情報はプレイヤ装置３に送られ、映像エリアが選択される。映像エリアを選択した後、メニューボタンを押すと、表示装置の右端にオブジェクト軌跡メニュー部が表示される。オブジェクト軌跡メニュー部には１以上のオブジェクト軌跡が表示されており、その内の選択されたオブジェクト軌跡に選択枠が表示されるとともに映像エリアについてオブジェクトの選択枠が表示される。決定ボタンを押すと付加情報部に詳細情報が表示される。【選択図】図１
2008257524.tif 000002
【特許請求の範囲】
【請求項１】
プレイヤ装置の表示装置に表示される映像を、動画とともに現在表示されている動画に関連したオブジェクトの関係図を同時に表示するシステムであって、前記動画に現れるオブジェクトの軌跡をユーザが選択した場合、選択した軌跡に対し詳細情報を表示する映像表示システムであって、
前記表示装置上の所定の映像エリア，オブジェクト軌跡を選択する第１操作部，選択を切り替える第２操作部ならびに決定する第３操作部を有する操作手段と、
前記表示装置上に選択枠，メニュー画面および選択マーカを描画する描画手段と、
前記第１操作部または第２操作部により選択した映像エリアに対し第３操作部を操作することにより表示装置上に、前記描画手段により映像エリアの１以上のオブジェクトの軌跡を表示するためのメニュー画面を表示し、かつ該メニュー画面中の所定のオブジェクトの軌跡に選択枠を表示するとともに選択した映像エリアの選択されたオブジェクトに選択マーカを表示し、
前記第２操作部を操作した場合、他のオブジェクトの軌跡に切り替え、
前記第３操作部の操作により選択したオブジェクトの軌跡に対する詳細情報を表示する制御を行う選択情報管理手段と、
を備えたことを特徴とする映像再生システムにおけるオブジェクト軌跡選択方式。
【請求項２】
前記選択情報管理手段は、
前記操作手段の第１操作部により任意の映像エリアを選択したとき、前記描画手段によりその選択枠を前記任意の映像エリアに対し表示し、前記第２操作部により他の任意の映像エリアを切り替え選択したとき、その選択枠を他の任意の映像エリアに切り替え表示する制御を行うことを特徴とする請求項１記載の映像再生システムにおけるオブジェクト軌跡選択方式。
【請求項３】
前記選択したオブジェクトの軌跡に対する詳細情報の表示とともに選択した映像エリアの選択枠を確定した選択枠で表示することを特徴とする請求項１または２記載の映像再生システムにおけるオブジェクト軌跡選択方式。
【請求項４】
前記操作手段は、無線または有線により前記プレイヤ装置に操作信号を送出するリモートコントロール装置であり、
前記第１操作部は、押すことにより操作信号を送出するメニューボタンであり、
前記第２操作部は、複数の方向にそれぞれ移動する操作信号を送出する方向キーであり、
前記第３操作部は押すことにより決定の操作信号を送出する決定ボタンであることを特徴とする請求項１，２または３記載の映像再生システムにおけるオブジェクト軌跡選択方式。
【請求項５】
前記映像表示システムは前記プレイヤ装置およびサーバ装置より構成され、
前記プレイヤ装置の表示装置に表示される動画データおよび該動画ファイルに関連したオブジェクトの関係図を表示するための動画メタデータは前記サーバ装置に有することを特徴とする請求項１乃至４記載の映像再生システムにおけるオブジェクト軌跡選択方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生映像に同期して映像内容に関連した情報（メタデータ）を動的に表示できるようにしたプレイヤ機能およびサーバ機能を備える映像再生システムであってプレイヤ装置の表示装置に表示される映像を、動画とともに現在表示されている動画に関連したオブジェクト（キャラクタ，アイテム，ＢＧＭなど）の関係図を同時に表示することができるシステムついて、ユーザが希望するオブジェクトの詳細情報を表示させるためにオブジェクトの軌跡を選択する方式に関する。
【背景技術】
【０００２】
映像（動画）の再生について、再生映像に関連する情報（メタデータ）が付加され、映像再生にともないメタデータを表示するものが種々提案されている。
このような映像再生において、映像に関連する情報が必要に応じて画面の一部に表示されるが、ドラマやアニメーションなどでは登場する人物が非常に多く次からつぎへと出現し、高速に移動し消えていく場合などではユーザはその内容（登場人物の関係や名前，いまどのように状態にあるかなど）を理解するのは容易ではない。
これを解決するために本件出願人は、画像表示画面において、再生画像と同期して画面の一部に再生画像に登場するオブジェクト（キャラクタ，アイテム，ＢＧＭなど）に対し、その関係や現況を示す関係図を自動表示するシステムを提案している（特許文献１）。
【０００３】
ところで、上記のように関係図にノードが自動的に表示される映像中のオブジェクトについては、ユーザはその状況を容易に把握することができるが、ノードが自動的に表示されない映像中のオブジェクトに対しては、把握することができない。
そのため映像中のオブジェクトをクリックし、クリックしたオブジェクトに対し関係図を表示させることが考えられる。
【０００４】
しかしながら、オブジェクトは場面によっては高速に移動している場合があり、このようなオブジェクトを容易に、かつ確実にクリックすることは、困難である。
ユーザが画面上でオブジェクトを認識し、そのオブジェクトに対しマウスでクリックしたとしても、クリックした瞬間にはオブジェクトは既に押した位置から外れていることが考えられる。
折角、オブジェクトに関する情報を表示しようとしても、上手に捕らえることができなければ、ユーザは楽しいどころか、ストレスが溜まる結果になる。
そこで、ユーザが入力装置のクリック操作に集中しなくても、容易に、かつに確実にしかも効率的に希望するオブジェクトを捕らえることができる選択方式の実現が要請された。
【０００５】
本件出願人は上記状況に鑑み、マウスでクリック選択したり、範囲選択で絞り込んで選択したりすることにより選択した位置が示す領域と、オブジェクト移動軌跡が重なるかを判定することにより、オブジェクト軌跡をクリックする方式を提案した。
この方式により、希望するオブジェクト軌跡をクリックすることは容易になったが、ユーザは常に映像内のオブジェクトを目掛けてクリックや、範囲選択をする操作から解放されたわけではない。
【特許文献１】特願２００５−３７１７５６号
【特許文献２】特願２００６−５２１７１号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
また、操作部によりオブジェクトを捕らえる操作を瞬時にしなければならないため、ユーザの負担は依然として残っていた。
本発明の目的は、高速に画面内を移動するオブジェクトに対し、そのオブジェクト軌跡を捕らえる場合、ユーザは画面上のオブジェクトを直接クリックしたり、範囲選択したりすることなく、容易に希望するオブジェクト軌跡を選択し、そのときの詳細情報を表示できる映像再生システムにおけるオブジェクト軌跡選択方式を提供することにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するために本発明の請求項１はプレイヤ装置の表示装置に表示される映像を、動画とともに現在表示されている動画に関連したオブジェクトの関係図を同時に表示するシステムであって、前記動画に現れるオブジェクトの軌跡をユーザが選択した場合、選択した軌跡に対し詳細情報を表示する映像表示システムであって、前記表示装置上の所定の映像エリア，オブジェクト軌跡を選択する第１操作部，選択を切り替える第２操作部ならびに決定する第３操作部を有する操作手段と、前記表示装置上に選択枠，メニュー画面および選択マーカを描画する描画手段と、前記第１操作部または第２操作部により選択した映像エリアに対し第３操作部を操作することにより表示装置上に、前記描画手段により映像エリアの１以上のオブジェクトの軌跡を表示するためのメニュー画面を表示し、かつ該メニュー画面中の所定のオブジェクトの軌跡に選択枠を表示するとともに選択した映像エリアの選択されたオブジェクトに選択マーカを表示し、前記第２操作部を操作した場合、他のオブジェクトの軌跡に切り替え、前記第３操作部の操作により選択したオブジェクトの軌跡に対する詳細情報を表示する制御を行う選択情報管理手段とを備えたことを特徴とする。
本発明の請求項２は、請求項１記載の発明において前記選択情報管理手段は、前記操作手段の第１操作部により任意の映像エリアを選択したとき、前記描画手段によりその選択枠を前記任意の映像エリアに対し表示し、前記第２操作部により他の任意の映像エリアを切り替え選択したとき、その選択枠を他の任意の映像エリアに切り替え表示する制御を行うことを特徴とする。
本発明の請求項３は、請求項１または２記載の発明において前記選択したオブジェクトの軌跡に対する詳細情報の表示とともに選択した映像エリアの選択枠を確定した選択枠で表示することを特徴とする。
本発明の請求項４は、請求項１，２または３記載の発明において前記操作手段は、無線または有線により前記プレイヤ装置に操作信号を送出するリモートコントロール装置であり、前記第１操作部は、押すことにより操作信号を送出するメニューボタンであり、前記第２操作部は、複数の方向にそれぞれ移動する操作信号を送出する方向キーであり、前記第３操作部は押すことにより決定の操作信号を送出する決定ボタンであることを特徴とする。
本発明の請求項５は、請求項１乃至４記載の発明において前記映像表示システムは前記プレイヤ装置およびサーバ装置より構成され、前記プレイヤ装置の表示装置に表示される動画データおよび該動画ファイルに関連したオブジェクトの関係図を表示するための動画メタデータは前記サーバ装置に有することを特徴とする。
【発明の効果】
【０００８】
上記構成によれば、動画に登場するキャラクタ，アイテムなどのオブジェクトが高速に移動する場合でも、ユーザは希望するオブジェクトの軌跡を容易に捕らえることができ、そのオブジェクトの軌跡に関する詳細情報を得ることができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施の形態を詳しく説明する。  
図１は、本発明による映像再生システムにおけるオブジェクト軌跡選択方式を説明するためのシステム概略図である。
ネットワーク２を介して多数のプレイヤ装置３ａ〜３ｎがサーバ装置１にアクセスして映像および映像に関連するメタデータを取得することができる。プレイヤ装置３ａ〜３ｎは操作部５ａ〜５ｎの操作により、映像コンテンツをコンテンツサーバ装置１ｂからダウンロードすることができ、ダウンロードした映像コンテンツを表示装置１１ａ〜１１ｎに表示することができる。表示装置１１ａ〜１１ｎに表示される各映像コンテンツに対し、メタデータ管理サーバ装置１ａにメタデータを要求し、そのメタデータによって表示装置１１ａ〜１１ｎの画面に動画を表示するとともにその動画に同期して動画に登場するオブジェクトの関係図を表示することができる（映像例１）。
また、映像中の位置が時々刻々と変わるオブジェクトの軌跡をリモコン１４によって選択し、そのときのオブジェクトの詳細情報を表示させることができる（映像例２）。なお映像例２はオブジェクト軌跡メニューを表示しオブジェクトとして「社長」が選択された状態を示しているもので、詳細情報表示の手前の状態を示している。
リモコン１４はメイン映像を選択するためのメニューボタン１４ａ（第１操作部に相当），映像エリアやオブジェクト軌跡メニュー部に表示される各軌跡対象を切り替えるための方向キー１４ｂ（第２操作部に相当）および選択した対象を確定するための決定キー１４ｃ（第３操作部に相当）を備えている。
【００１０】
メタデータ管理サーバ装置１ａが配信するメタデータはオーサリング装置４によって作成することができ、各映像コンテンツに対応した適切なメタデータに更新することも可能である。
コンテンツサーバ装置１ｂはドラマなどの各映像コンテンツを多数蓄積しているＨＤＤなどからなるデータベースを有し、プレイヤ装置３ａ〜３ｎの要求に沿った映像コンテンツを提供することができる。コンテンツサーバ装置１ｂは、プレイヤ装置３ａ〜３ｎに映像コンテンツを提供するものであるので、プレイヤ装置３ａ〜３ｎに直接接続できる記憶媒体の中に蓄積しても良いし、また、プレイヤ装置３ａ〜３ｎにＤＶＤのディスクデッキや大容量の半導体メモリ装置を内蔵させてディスク，半導体メモリより読み出して映像コンテンツを得ることも可能である。
サーバ装置１とプレイヤ装置３ａ〜３ｎの接続はネットワークを介さずに直接接続することも可能である。
【００１１】
図２は、本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
プレイヤ装置３ａ〜３ｎはプレイヤ制御回路８，タイマ７，入力処理部６，メモリ部９，画像処理部１０およびネットワーク通信部１２を備えている。
プレイヤ制御回路８はプレイヤ装置全体の制御を司る他、制御部８ａ，映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄ，メタデータ解析部８ｅ，メタデータ合成部８ｆおよび選択情報管理部８ｇの各機能部を有している。メモリ部９はサーバ装置１から取得したメタデータを記憶するメタデータ記憶部９ａおよびユーザが操作部５の操作により選択した情報を記憶する選択情報記憶部９ｂの各領域を備えている他、プレイヤ装置３ａ〜３ｎの制御に必要なデータの格納領域を有している。
【００１２】
画像処理部１０は取得した映像を描画する映像描画部１０ａ，グリッド選択領域を描くグリッド選択領域描画部１０ｂ，動画を表示する画面の他の部分に関係図を描画する関係図描画部１０ｃ，動画のオブジェクトの軌跡を描くオブジェクト軌跡描画部１０ｄ，合成処理部１０ｅおよび選択枠，選択マーカ，メニューを描く選択マーカメニュー描画部１０ｆより構成されている。関係図を作成して描画する関係図作成描画手段はメタデータ合成部８ｆ，メタデータ記憶部９ａおよび関係図描画部１０ｃなどの連携により実現される。また、動画のオブジェクトの軌跡を作成して描画するオブジェクト軌跡作成描画手段は、同様にメタデータ合成部８ｆ，メタデータ記憶部９ａおよびオブジェクト軌跡描画部１０ｄなどの連携により実現される。
【００１３】
図３は、本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
サーバ装置１は、ネットワーク通信部２１，サーバ制御回路２２，データベース制御部２４，メモリ部２５，入力制御部２７および画像処理部２８より構成されている。
サーバ制御回路２２は、サーバ装置全体の制御を司る他、パラメータ解析部２２ａ，画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃ，オブジェクト軌跡情報検索部２２ｄ，オブジェクト領域衝突判定部２２ｅ，応答出力生成部２２ｆおよびＸＭＬ変換部２２ｇの各機能部を有している。
【００１４】
ネットワーク通信部２１は、出力部２１ａ，ネットワークインタフェース２１ｂおよび入力部２１ｃを備えている。
データベース２３は映像コンテンツを格納する動画データ記憶部２３ａおよび映像コンテンツのメタデータを記憶するメタデータ記憶部２３ｂの記憶領域を有している。このデータベース２３は動画も記憶されており、サーバ装置１はコンテンツサーバ装置１ｂの機能を兼ねるものである。
画像処理部２８には表示装置２９が、入力制御部２７には操作装置２６がそれぞれ接続されており、サーバ装置１に対しデータを操作装置２６より入力してサーバ装置を制御し、その結果などを画像処理部２８を介して表示装置２９で表示できるようになっている。メモリ部２５はその処理の際に用いられるＲＡＭなどである。これら入出力を構成する装置部分は図１に示されているオーサリング装置４とは別にサーバ装置１を調整するためのものである。
【００１５】
つぎに本発明による映像再生システムの各機能部間の信号の送受および扱われるデータ構造について説明する。
図４は、プレイヤ装置とサーバ装置における各機能部の情報送受の関係を判り易くするために示したものである。
入力処理部６からの操作などの入力信号は制御部８ａに供給され、制御部８ａの出力は映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄまたは選択情報管理部８ｇに入力する。タイマ７の出力は映像制御部８ｂおよびネットワーク通信部１２に供給される。選択情報記憶部９ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃが選択領域とオブジェクト軌跡がヒットするか否かのために用いる選択情報を記憶するためのものである。また、選択情報管理部８ｇが入力処理部からの操作信号により選択した情報を記憶する。
【００１６】
メタデータ記憶部９ａはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄ，選択情報管理部８ｇおよびメタデータ合成部８ｆによって使用され、メタデータが記憶される。選択情報管理部８ｇは、オブジェクト軌跡メニューが表示されている場合、決定したオブジェクトデータをネットワーク通信部１２に渡す。ネットワーク通信部１２は選択情報管理部８ｇからオブジェクトデータが渡されると、サーバ装置に対し、そのオブジェクトの詳細情報を要求する。また、ネットワーク通信部１２はオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄおよびタイマ７からの出力に基づき軌跡ヒット判定をサーバ装置のネットワークインタフェース２１ｂに送信する。そして、サーバ装置から受けた情報はメタデータ解析部８ｅで解析されメタデータ合成部８ｆに送られる。映像描画部１０ａは映像制御部８ｂからの動画情報を入力し、グリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからのグリッド情報を入力する。また、関係図描画部１０ｃおよびオブジェクト軌跡描画部１０ｄはメタデータ合成部８ｆからのメタデータを入力してそれぞれの描画情報を作成して合成処理部１０ｅに渡す。合成処理部１０ｅは表示装置が接続されていて動画およびその関係図が表示される。
選択マーカメニュー描画部１０ｆは選択情報管理部８ｇからメニュー選択情報を受けた場合、メニュー選択情報に基づき選択枠，オブジェクト軌跡メニューを描画する。
【００１７】
サーバ装置においてネットワークインタフェース２１ｂはネットワーク通信部１２との情報の受け渡しを行い，受けた信号を入力部２１ｃを介してパラメータ解析部２２ａに送る。パラメータ解析部２２ａは受けた情報を解析した結果、解析内容に従って画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃまたはオブジェクト軌跡情報検索部２２ｄに各情報を送る。画素情報解析部２２ｂは画素情報にしたがって動画データ記憶部２３ａから該当する動画を読み出し、オブジェクト領域衝突判定部２２ｅに送る。オブジェクト情報検索部２２ｃはデータベース制御部２４を介して要求されているオブジェクト情報をメタデータ記憶部２３ｂより検索する。また、オブジェクト軌跡情報検索部２２ｄはデータベース制御部２４を介して要求されているオブジェクト軌跡情報をメタデータ記憶部２３ｂより検索する。オブジェクト領域衝突判定部２２ｅではオブジェクト軌跡情報検索部２２ｄからのオブジェクト軌跡情報と画素情報解析部２２ｂからのグリッド情報が重なっているか否かを判定し、重なっている場合にはオブジェクト情報検索部２２ｃにそのオブジェクト情報を送る。応答出力生成部２２ｆはオブジェクト軌跡情報検索部２２ｄおよびオブジェクト情報検索部２２ｃからのオブジェクト情報およびオブジェクト軌跡情報を集約しＸＭＬ変換部２２ｇに送り、ＸＭＬ変換部２２ｇで各情報をＸＭＬ形式に変換し、出力部２１ａを介してネットワークインタフェース２１ｂに渡す。
【００１８】
図５は、本発明で送受されるメタデータのデータ構造の一例を示す図である。
動画ファイル４０は知識情報５０を有し、知識情報５０はユーザ情報６０，関係情報７０および軌跡情報８０を多数集合した情報で構成されている。関係情報７０は関係文７５，関係情報部７６およびオブジェクト情報７７より形成され、軌跡情報８０は、軌跡情報部８５および軌跡領域情報８６より形成されている。
動画ファイル４０は所在位置を示すＩＤの項目，動画ファイルを記した名前の項目，動画ファイルのファイル名を記した動画ファイルのＵＲＬの項目および関連する知識情報５０の項目より構成されている。この知識情報は複数列挙されることが可能である。
知識情報５０は、該知識情報のＩＤの項目，ドラマの名称などの名前の項目，動画ファイルの知識情報のＩＤ，ドラマなどの作成者の項目，オーサリングなどのために利用するドキュメントを記載した説明の項目（複数記載が可能），関係情報７０を列挙した項目および軌跡情報８０を列挙した項目より構成されている。
【００１９】
ユーザ情報６０は、ユーザのＩＤの項目，ユーザの名前，ユーザを識別するためのログインＩＤおよびパスワードの項目より構成されている。
関係情報７０は関係文７５が中心であり、関係文７５によりオブジェクト定義したオブジェクト情報７７のオブジェクトの間を関係情報部７６に示された述語関係により規定するものであり、関係文のＩＤの項目，関係文の名前の項目，主格オブジェクトＩＤ，目的格オブジェクトＩＤの項目およびそれらの間を説明する述語ＩＤの項目より構成されている。オブジェクト情報７７は、ユーザのクリックの対象となる例えば俳優などのキャラクタ，キャラクタが用いるアイテム，ＢＧＭなどであり、そのオブジェクトのＩＤの項目，オブジェクトの名前の項目，関係図に表示するオブジェクトの説明画像の項目ならびにオブジェクトを説明するための文言が記載された説明（クリックしたときに関係図に表示される文言）の項目より構成されている。本発明におけるオブジェクトの詳細情報はこの項目の部分が後述の付加情報部に表示される。
該画像および説明の項目は複数列挙することが可能である。関係情報部７６はオブジェクト間の関係を記述するもので、人物関係図であれば「敵，味方」など，人物とアイテムの関係であれば、「使用する」などを規定するものである。人物などのＩＤの項目，人物など名前の項目，オーサリングなどで判り易くするための画像の項目および同じくオーサリングなどで関係を判り易くするための説明文を記した説明の項目より構成されている。
関係情報７０はこれらデータを積み重ねた集合体データである。
【００２０】
軌跡情報８０は、映像の動きに対応してオブジェクトの軌跡を動かすための情報であり、軌跡情報部８５は、あるオブジェクトがある時間にある動きをしたことを列挙した情報部である。
軌跡情報部８５は、オブジェクトのＩＤの項目，オブジェクトの位置を示すＵＲＩの項目，オブジェクトのＺ方向の位置（同じ画面に複数のオブジェクトが現れて重なる場合、どちらが手前であるか判断するためのもの）を示すＺ深度の項目，シーンの一部分においてオブジェクトが現れる時刻および消滅する時刻を示す開始時刻および終了時刻の項目ならびにある時間における領域情報８６の項目より構成されている。領域情報８６はある時間における領域の動きを規定するもので、複数列挙されることが可能である。領域情報８６は、オブジェクトのＩＤの項目，領域が変位し、その変位した順番（例えばオブジェクトが出現から消滅まで移動領域が５回変化したとすると、何回目かの番号）を記するシーケンス番号の項目，変位時の再生時間を示す時刻（再生開始からのフレーム数）および領域パラメータの項目から構成されている。
【００２１】
領域パラメータは、楕円や四角形などの形状を規定する項目，形状が例えば４角形であれば、その中心座標を示すＸ座標およびＹ座標の項目，四角形の幅および高さを示す幅および高さの項目ならびに四角形の回転角度を示す回転角度の項目より構成されている。形状が楕円の場合も同様に規定されるが、かかる場合は楕円に外接する四角形が基準となる。軌跡情報８０はこれらデータを積み重ねた集合体データである。
【００２２】
つぎに、図４の各機能部の構成について図６Ａ〜図６Ｉ（プレイヤ装置）および図７Ａ〜図７Ｆ（サーバ装置）を用いて説明する。
図６Ａはプレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
入力処理部６は、ユーザが操作部，リモコンを操作したか否を監視し（ステップ（以下「Ｓ」という）６Ａ０１）、入力があれば、その入力情報を制御部８ａに渡す（Ｓ６Ａ０２）。図６Ｂの制御部８ａは入力情報を受け（Ｓ６Ｂ０１）、入力情報が１０キーまたは方向キーがあるか否かを判断する（Ｓ６Ｂ０２）。１０キーまたは方向キーであれば、オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃにその入力情報を渡す（Ｓ６Ｂ０３）。
一方、マウスまたはボタンによる入力情報であれば、入力されたデータが映像上のマウスクリックか否かを判断し（Ｓ６Ｂ０４）、オブジェクト軌跡ヒット判定部（マウス座標）８ｄにマウス座標（入力情報）を渡す（Ｓ６Ｂ０５）。マウスクリックでない場合には、リモコン１４からの入力キーか否か判断し（Ｓ６Ｂ０５１）、リモコン１４からの入力キーであれば選択管理部８ｇに入力キーを渡す（Ｓ６Ｂ０５２）。そうでなければ、ボタンによる入力情報であるとして映像の再生か、または停止ボタンの押し下げかを判断し（Ｓ６Ｂ０６）、映像の再生などであるならば、その情報を映像制御部８ｂに渡し（Ｓ６Ｂ０７）、映像の再生などでなければ、終了する。
【００２３】
図６Ｃの映像制御部８ｂは、制御部８ａからボタン情報を受ける（Ｓ６Ｃ０１）と、再生ボタンか否かの判断を行い（Ｓ６Ｃ０２）、再生ボタンであれば、映像データ再生処理を行い（Ｓ６Ｃ０３）、映像描画部１０ａに渡す（Ｓ６Ｃ０６）。一方、再生ボタンでなければ、停止ボタンが押されたか否かを判断し（Ｓ６Ｃ０４）、停止ボタンであれば、映像の停止処理を行う（Ｓ６Ｃ０５）。停止ボタンが押されていなければ、引き続き映像データを映像描画部１０ａに渡す（Ｓ６Ｃ０６）。
【００２４】
図６Ｄのオブジェクト軌跡ヒット判定部（マウス座標）８ｄは、制御部８ａからマウス座標を受け取る（Ｓ６Ｄ０１）と、メタデータ記憶部９ａから軌跡情報を読み出す（Ｓ６Ｄ０２）。そして、現在のオブジェクト軌跡の動きから最適な円の半径ｒを取得する。
半径ｒの具体的な大きさは、例えば、オブジェクトが停止情報であれば半径ｒは小さく、動いていれば、動きの速さに応じて半径ｒを大きくとる（Ｓ６Ｄ０３）。これにより、マウス座標を中心とした半径ｒの円の領域を選択領域と決定する（Ｓ６Ｄ０４）。そして、映像中のオブジェクトの軌跡情報とユーザがマウスで選択した選択領域とが重なるか否か、すなわちヒットしているか否かの判定に移行する（Ｓ６Ｄ０５，Ｓ６Ｄ０６）。僅かでも重なっていればヒット判定をする。例えば、図６Ｄ−１の場合、選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される。
ヒットした場合にはオブジェクト情報をネットワーク通信部１２に渡す（Ｓ６Ｄ０９）。ヒットしていない場合には、映像を１フレーム時間戻してＳ６Ｄ０６で同様な判断を行う。依然としてヒットいない場合には予め決められているｎフレームまで同様な判断を試みる（Ｓ６Ｄ０６，Ｓ６Ｄ０７，Ｓ６Ｄ０８）。ｎフレーム値は、ユーザがオブジェクトを認識してからマウスをクリックするまでにオブジェクトが移動するであろう時間が設定される。なお、ｎフレームまで繰り返してもヒットしない場合、ユーザがオブジェクトを捕らえきらなかったものとして終了する。
【００２５】
一方、図６Ｅのオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃは、制御部８ａから受けたキー情報（入力情報）を受ける（Ｓ６Ｅ０１）と、領域の選択キーである１０キー・方向キーか、またはそれ以外であるマウス・ボタンかを判断し（Ｓ６Ｅ０２）、１０キー・方向キーであれば、そのキー操作が決定キーであるか、選択中のキーであるかを判断し（Ｓ６Ｅ０３）、決定キーでなければ、前回と同じキーで押されたか否かの判断を行う（Ｓ６Ｅ０４）。前回と同じキーが操作（同じキーを２回連続して押せば、決定操作がなされたとする）されたと判断すれば、決定を行ったとしてＳ６Ｅ１１に移行する。前回と同じキー操作でない場合には、既に記憶している選択開始時間（領域の選択キーが押されたときの時間）があるか否かを判断し（Ｓ６Ｅ０５）、選択開始時間が記憶されている場合には押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０８）。選択開始時間が記憶されていない（１０キー・方向キーによりどこも選択されていない）場合には今回１０キー・方向キーが押し下げられた時間を選択開始時間として記憶し、画面全体に対し押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０６，Ｓ６Ｅ０７）。そして、Ｓ６Ｅ０７またはＳ６Ｅ０８で決定した選択領域を現在の選択領域として記憶し（Ｓ６Ｅ０９）、グリッド選択領域描画部１０ｂに対し選択範囲の変更イベントを発行する（Ｓ６Ｅ１０）。これにより、映像のグリッド領域が例えば特定の色（赤色など）で表示される。
【００２６】
図６Ｅ−１に映像中のグリッド領域の表示例を示す。
映像の表示領域を多数に分割し、その分割した領域に対応してそれぞれ複数の１０キーを割り当て、複数のキーの内、１つが押されることにより押されたキーが所属する分割領域を例えば赤で表示することにより選択されていることを示す。
この処理が終了すると、再度領域の選択キーか否かの判断のＳ６Ｅ０２に戻る。
Ｓ６Ｅ０３で決定キーと判断した場合には、記憶している選択開始時間まで時間を戻し（Ｓ６Ｅ１１）、さらに利用者がオブジェクトを認識してからキー入力までの時間だけ戻す（Ｓ６Ｅ１２）。この利用者のオブジェクト認識からキー入力までの時間は、人間の反応時間を考慮したもので、例えば０．２秒から０．５秒程度戻すこととなる。
そして、戻した時間のオブジェクト軌跡の位置情報を取得し、オブジェクト軌跡と現在の選択領域とで重なった部分が存在するか否かによってヒット判定を行い（Ｓ６Ｅ１３，Ｓ６Ｅ１４）、選択範囲の変更イベントをグリッド選択領域描画部１０ｂに発行し、選択していることを示す表示を解除する（赤を消滅させる）（Ｓ６Ｅ１５）。ヒットした場合にはヒットしたオブジェクト情報をネットワーク通信部１２に渡す。ヒットしない場合は終了する（Ｓ６Ｅ１６，Ｓ６Ｅ１７）。
この処理によりユーザが選択した領域が映像中のオブジェクトを捕らえているか否かの判断がなされる。
【００２７】
図６Ｆのネットワーク通信部１２は、映像再生についてタイマ７から再生開始から現在までの時間情報が渡されたか否かを判定し（Ｓ６Ｆ０１）、現在の映像の再生時間を渡された場合には現在時間のオブジェクト軌跡情報をサーバ装置（ネットワークインタフェース２１ｂ）に要求する（Ｓ６Ｆ０２，Ｓ６Ｆ０３）。そしてサーバ装置からオブジェクト軌跡情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０４，Ｓ６Ｆ０５）。一方、クリックがなされた場合にはオブジェクト軌跡ヒット判定部（マウス座標）８ｄからオブジェクト情報が渡されたか否かを判定し、オブジェクト情報が渡された場合にはこの情報を受け取り、オブジェクト情報７７のＩＤをキーに関係情報７０をサーバ装置に要求する（Ｓ６Ｆ０６，Ｓ６Ｆ０７，Ｓ６Ｆ０８）。そしてサーバ装置からオブジェクトの関係情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０９，Ｓ６Ｆ１０）。
【００２８】
Ｓ６Ｆ０６においてネットワーク通信部１２はオブジェクト軌跡ヒット判定部８ｄからオブジェクト情報が渡されなかった場合には、つぎに選択情報管理部８ｂからオブジェクト情報を渡されたか否かを判断し（Ｓ６Ｆ０６１）、オブジェクト情報を渡された場合、これを受け取りＳ６Ｆ０８に移行する（Ｓ６Ｆ０６２）。オブジェクト情報ではなくマウス座標が渡された場合は、該マウス座標を受け取り（Ｓ６Ｆ１１）、サーバ装置にヒット結果オブジェクトの要求を行う（Ｓ６Ｆ１２）。サーバ装置からオブジェクトのヒット結果を受け取ると、ヒットしたか否か判断し、ヒットした場合にはＳ６Ｆ０８に移行する（Ｓ６Ｆ１３，Ｓ６Ｆ１４）。
ここでのネットワーク通信はプレイヤ装置で再生を行いながらサーバ装置から少しずつ情報を得るもので、数秒毎（例えば、２秒毎）に情報を得る。
【００２９】
図６Ｆ−１は選択情報管理部８ｇの構成を説明するためのフローチャートである。
この選択情報管理部８ｇは本発明における主構成部であり、リモコン１４からの入力キーの種類に応じて処理の内容が異なる。このフローについては、機能毎にフローのルーチン部分を抜き出して後述する。
【００３０】
ネットワーク通信部１２からＸＭＬデータを渡された図６Ｇのメタデータ解析部８ｅは、ＸＭＬからメタデータ（オブジェクト軌跡情報と関係情報）を抽出し（Ｓ６Ｇ０１，Ｓ６Ｇ０２）、メタデータをメタデータ合成部８ｆに渡す（Ｓ６Ｇ０３）。
図６Ｈのメタデータ合成部８ｆがメタデータを受け取る（Ｓ６Ｈ０１）と、すべてのメタデータに対し、メタデータ記憶部９ａに追加予定のメタデータが存在するか否かを調べ、そのメタデータが記憶されていない場合には記憶し、既に同じメタデータが記憶されている場合には破棄する。所定の単位毎（リクエストに対する結果データのひとかたまり）に送られてくるメタデータに対し、上記処理を繰り返す（Ｓ６Ｈ０２，Ｓ６Ｈ０３，Ｓ６Ｈ０４）。この処理により、オブジェクト軌跡情報８０は例えば１００フレーム〜１５０フレームの間のデータが時系列的に加えられ、また、オブジェクト関係情報７０は同様に時系列的に加えられて合成される。
上記ひとかたまりのメタデータの合成が終了すると、メタデータ記憶部９ａから合成したメタデータは読み出され関係情報７０は関係図描画部１０ｃに、オブジェクト軌跡情報８０はオブジェクト軌跡描画部１０ｄにそれぞれ送られ描画データが書き込まれる（Ｓ６Ｈ０５，Ｓ６Ｈ０６，Ｓ６Ｈ０７）。メタデータ合成部８ｆはつぎから次ぎと送られてくるメタデータに対し繰り返し上記合成処理を行う。
【００３１】
図６Ｉの関係図描画部１０ｃは、メタデータ合成部８ｆより関係情報を渡されると、関係情報をフレームバッファに書き込むことにより関係図を描画する画像を作成する（Ｓ６Ｉ０１，Ｓ６Ｉ０２，Ｓ６Ｉ０３）。同様に図６Ｉのオブジェクト軌跡描画部１０ｄは、フレームバッファに書き込むことにより映像上に軌跡を描画する画像を作成する（Ｓ６Ｉ０４，Ｓ６Ｉ０５，Ｓ６Ｉ０６）。さらにグリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからグリッド領域の情報が渡されると、このグリッド領域の情報をフレームバッファに書き込むことによりグリッドを描画する画像を作成する（Ｓ６Ｉ０７，Ｓ６Ｉ０８，Ｓ６Ｉ０９）。
さらに選択マーカメニュー描画部１０ｆは選択情報管理部８ｇから選択枠情報，メニュー情報，選択マーカ情報を受ける（Ｓ６１１６）と、選択枠，メニュー部，選択マーカを描画し、該描画データを合成処理部１０ｅに渡す（Ｓ６１１７，Ｓ６１１８）。
合成処理部１０ｅは、映像描画部１０ａの映像，グリッド選択領域描画部１０ｂのグリッド画像，オブジェクト軌跡描画部１０ｄの軌跡画像および関係図描画部１０ｃの関係図の画像を重ねる処理を行うことにより合成を行い（Ｓ６Ｉ１０，Ｓ６Ｉ１１，Ｓ６Ｉ１２，Ｓ６Ｉ１３，Ｓ６Ｉ１４）、この画像が表示装置に表示される（Ｓ６Ｉ１５）。
【００３２】
図６Ｉ−１に表示装置で表示される合成画像の一例を示す。
オブジェクトに外接する楕円が軌跡領域であり、軌跡領域に一部重なっている円の領域がユーザがクリックしたグリッド領域である。映像の右側に関係図が表示されている。関係図は、映像のオブジックトに対応して同時に表示されるもので、表示位置の映像部分の他の部分（上側，左側，右側など）に表示することも可能であり、一部重ねて表示することも可能である。表示装置が２ディスプレイであれば、第１のディスプレイに映像を、近くに設置した第２のディスプレイに関係図を表示させることも可能である。また、軌跡の画面表示は、必要に応じて表示し、ユーザが視覚で確認できるように表示しても良いし、また、全く表示しなくても良い。全く表示しない場合には軌跡描画部は動作させない。
【００３３】
また、図６Ｉ−２にオブジェクト軌跡を選択したときの表示装置の表示例を示す。
これは、メニューのオブジェクト軌跡（トラジェクトリ）を選択決定したときの図である。
映像描画部にはメイン映像，サブ画像およびその他の３つの画像が描画されており、グリッド選択領域描画部および軌跡描画部からの描画はなされていない。
関係図描画部には右側上に関係情報（詳細情報）である人物の図が表示されている。選択マーカ・メニュー描画部は右端にトラジェクトリ（オブジェクト軌跡）が多数表示されているオブジェクト軌跡メニュー部および左側のメイン画像に重なる部分に確定選択枠が描画されている。確定選択枠が表示されている部分はオブジェクト軌跡メニュー部で確定したトラジェクトリ対応のオブジェクトがいる部分である。関係描画部は表示装置の上方，左方などに表示することにより一部映像と重ねて表示することが可能であり、同様に選択マーカメニュー描画部も関係描画部や映像描画部に重ねて表示することも可能である。合成描画部はこれら３つの描画部を重ねて表示したものであり、関係図および画像の一部にオブジェクト軌跡メニュー部が重なって表示されている。
【００３４】
つぎにサーバ装置の構成を説明する。
図７Ａの入力部は、サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
入力部２１ｃは要求の待ち受けを開始し、プレイヤ装置から要求を受信した場合にはその要求をパラメータ解析部２２ａに渡す（Ｓ７Ａ０１，Ｓ７Ａ０２，Ｓ７Ａ０３）。パラメータ解析部２２ａは、入力部２１ｃから要求を受け取り、要求の文字例を解析する。すなわち、どのような要求があったか否かを解釈する（Ｓ７Ａ０４，Ｓ７Ａ０５）。
このパラメータ解析部２２ａはサーバ装置１のコントローラとしての機能を果たし、プレイヤ装置３ａ〜３ｎからの４つの要求（１）（２）（３）および（４）に対し処理を実行することとなる。要求（１）はプレイヤ装置から静的知識情報を要求するものであり、かかる要求の場合にはその要求をオブジェクト情報検索部２２ｃに渡す（Ｓ７Ａ０６，Ｓ７Ａ０７）。静的知識情報の要求でない場合にはオブジェクト軌跡情報の要求であるか否か判断し、オブジェクト軌跡情報８０の要求である場合にはオブジェクト軌跡情報検索部２２ｄにその要求を渡す（Ｓ７Ａ０８，Ｓ７Ａ０９）。なお、要求（３）はサーバ装置にオブジェクト軌跡ヒット判定部を持つ場合のフローであり、この実施の形態ではサーバ装置にオブジェクト領域衝突判定部２２ｅ（プレイヤ装置にオブジェクトヒット判定部が存在すれば実際は不要である）を記載してサーバ装置側でもヒット判定が可能であることを示している関係上、以後の説明ではサーバ装置側でヒット判定する場合についても併せて説明する。サーバ装置にオブジェクト軌跡ヒット判定部を持つ例として、プレイヤ装置が小型で、負荷を軽減化する場合などに適用される。
【００３５】
図８に各種要求（１）（２）（３）および（４）の具体例を示す。
静的情報取得の要求（１）は映像コンテンツのＩＤおよびユーザのＩＤのデータより構成されている。
オブジェクト軌跡データ取得の要求（２）は何フレームから何フレームまでの軌跡情報かを要求するもので、映像コンテンツのＩＤ，ユーザのＩＤ，要求する映像のフレームの開始時間および終了時間より構成されている。
オブジェクトヒット判定の要求（３）は上述したようにサーバ装置でヒット判定する場合である。
要求内容としては以下の６通りであり、記載内容は一例である。なお、以降に説明する遅延クリックとは、クリックの信号入力から所定時間まで随時１フレームずつ戻しながら判定を行うことであり、ユーザの操作の遅れを補完するものである。
それぞれについては映像コンテンツのＩＤ，ユーザのＩＤおよびヒットした時間が含まれている。１行目の要求は、遅延クリックの開始時間６２８（遅延分を考慮してさかのぼる時間）と終了時間６８８およびその対象座標の位置（Ｘ座標３８２，Ｙ座標２５７）が示されており、６０フレームだけさかのぼって判定を行うものである。２行目は、遅延クリックはなく、対象時間５２０のクリックした位置（Ｘ座標４１６とＹ座標１５４）のみが示されており、さかのぼることはない。３行目は、２行目の記載に加えて、半径１０の判定幅でヒット判定を行うものである（マウスクリック）。４行目は、領域のヒット判定を行うもので、領域として幅２１３，高さ１６０の四角形の領域に対する判定要求である（領域クリック）。５行目は、遅延クリックが０フレームまでさかのぼり、かつ判定範囲が半径８の要求である（マウスクリック）。６行目は、遅延クリックが４４１までさかのぼり、幅８０，高さ６０の四角形の領域に対する判定要求である（領域クリック）。
要求（３）は、遅延クリックと領域クリックがプレイヤ装置によってオンオフできる場合などである。
オブジェクト詳細データ取得の要求（４）は、プレイヤ装置でヒットしたオブジェクトの要求をサーバ装置に行うもので、ヒットした映像コンテンツのＩＤ，ユーザのＩＤ，クリックした映像のフレームおよびクリックした映像中のオブジェクトのＩＤより構成されており、これによりクリックしてヒットしたオブジェクトの関係情報を得るものである。
【００３６】
図７Ｂの画像情報解析部２２ｂは、検索条件をパラメータ解析部２２ａから受け取ると、動画データ記憶部２３ａから検索条件に沿う動画データを読みだす（Ｓ７Ｂ０１，Ｓ７Ｂ０２）。そして画像の動き解析を行い、画像の秒当たりの動き速度を算出し、領域パラメータとしてオブジェクト領域衝突判定部２２ｅに渡す（Ｓ７Ｂ０３，Ｓ７Ｂ０４）。
これは、クリック領域の半径ｒが指定されなかった場合にサーバ装置で作る過程である。すなわち、要求（３）に対応するもので、画面の動きや軌跡の動き（映像データのどの動画の、何フレームかのデータ）からどれだけの半径にすべきかを決めるもので、動画データに入っている動画を解析してその動きを解析して最適なｒを計算するものである。
図７Ｂのオブジェクト情報検索部２２ｃは、検索条件をパラメータ解析部２２ａから受け取ると、そのデータをデータベース制御部２４に渡し、その結果を取得する（Ｓ７Ｂ０５，Ｓ７Ｂ０６，Ｓ７Ｂ０７）。そしてオブジェクト情報に関係情報があるか否かを判断し（Ｓ７Ｂ０８）、関係情報がある場合には関係情報の検索をデータベース制御部２４に依頼し（Ｓ７Ｂ０９）、その結果を取得し（Ｓ７Ｂ１０）、得られた結果を応答出力生成部２２ｆに渡す（Ｓ７Ｂ１１）。要求（４）はオブジェクト詳細情報を得るもので、オブジェクトの関係文を求めものである。すなわち、関係文７５の中にオブジェクトについてオブジェクト情報７７，関係情報部７６の情報を得るものである。
【００３７】
図７Ｃのオブジェクト軌跡情報検索部２２ｄはオブジェクト軌跡についてオブジェクト情報検索部２２ｃと同様な検索を行うもので、パラメータ解析部２２ａから何フレーム目から何フレームまでという検索条件を受け取って、データベース制御部２４に渡す（Ｓ７Ｃ０１，Ｓ７Ｃ０２）。データベース制御部２４はその条件のものをメタデータ記憶部２３ｂにアクセスして、検索条件にあった軌跡情報８０を読み出す（Ｓ７Ｃ０３）。ここでヒット判定要求（３）のための検索であるか否かの判定を行ない（Ｓ７Ｃ０４）、ヒット判定のためである場合には、ヒットするオブジェクトの候補として軌跡情報をオブジェクト衝突判定部２２ｅに渡す。オブジェクト軌跡データ取得要求（２）である場合には得られた結果を応答出力部２２ｆに渡す（Ｓ７Ｃ０６）。
【００３８】
図７Ｄのオブジェクト領域衝突判定部２２ｅはオブジェクト軌跡情報検索部２２ｄから判定候補のオブジェクト軌跡情報（その時間に存在するかも知れない軌跡）を受ける（Ｓ７Ｄ０１）と、パラメータ解析部２２ａからどの座標について衝突（軌跡情報と重なっているか）判定を行うかという情報を受ける（Ｓ７Ｄ０２）。そして衝突判定する対象は点か領域かを判断し（Ｓ７Ｄ０３）、領域である場合には、衝突判定対象領域をクリック認識領域とする（Ｓ７Ｄ０４）。一方、点である場合には更に領域クリック機能が有効（オン状態）になっているかを判定し（Ｓ７Ｄ０５）、有効になっていない場合には衝突判定する点だけからなる領域を作成し、クリック認識領域とする（Ｓ７Ｄ０６）。有効になっている場合には領域クリックパラメータ（半径ｒなど）を画素情報解析部２２ｂから受け取り、クリック認識領域を算出する（Ｓ７Ｄ０７，Ｓ７Ｄ０８）。
このようにしてクリック認識領域した後、衝突オブジェクト軌跡リストを初期化する（Ｓ７Ｄ０９）。そして判定時刻（フレーム番号）におけるオブジェクトの位置を算出し、衝突候補オブジェクト軌跡のそれぞれに対し、オブジェクト軌跡とクリック認識領域が共通領域（重なっている部分）を持つか判定し、共通領域を持っている場合には衝突オブジェクト軌跡リストに追加する（Ｓ７Ｄ１０，Ｓ７Ｄ１１，Ｓ７Ｄ１２，Ｓ７Ｄ１３）。
このような動作を衝突候補オブジェクト軌跡のそれぞれについて判定を繰り返し、終了すれば（Ｓ７Ｄ１４）、遅延クリック機能（ユーザがクリックした時刻からさかのぼる）が有効になっているか否かを判定する（Ｓ７Ｄ１５）。有効でない場合には、衝突オブジェクト軌跡リストをそのままオブジックト情報検索部２２ｃに渡す（Ｓ７Ｄ１８）。
遅延クリックが有効である場合には判定時刻を１フレーム戻し（Ｓ７Ｄ１６）、このフレームが（最初に与えられた判定時刻−現在の判定時刻）すなわちｎ秒になっているか判断し（Ｓ７Ｄ１７）、ｎ（戻すフレーム数）秒になっていなければ、Ｓ７Ｄ１０に戻って衝突判定を行う。ｎ秒になった場合はＳ７Ｄ１０〜Ｓ７Ｄ１７のループを抜けて衝突オブジェクト軌跡リストをオブジェクト情報検索部２２ｄに渡す（Ｓ７Ｄ１８）。
【００３９】
ここで、Ｓ７Ｄ１０の判定時刻におけるオブジェクトの位置計算の詳細について図７ＥのＡフローを用いて説明する。対象オブジェクトと時刻を受け取り、オブジェクト軌跡情報検索部２２ｄから当該時刻が含まれる軌跡情報を取得する（Ｓ７Ｅ０１，Ｓ７Ｅ０２）。すなわち、どのオブジェクト情報について何フレーム目の位置かを算出するための情報を取得する。
まず、目的とするオブジェクトの軌跡情報が存在するか否かを判断し（Ｓ７Ｅ０３）、当該オブジェクト軌跡が存在しない場合（戻りすぎた場合など）には終了とする（Ｓ７Ｅ０４）。軌跡情報が存在する場合には、当該時刻が軌跡情報内にある定義領域で示された時刻と一致するか判定する（Ｓ７Ｅ０５）。一致した領域が存在すればその定義領域をそのままオブジェクト領域とする（Ｓ７Ｅ０９）。例えば、定義領域が１００フレーム目，１５０フレーム目，１８０フレーム目が存在し、クリックした判定時刻が１５０フレーム目であるとすれば、定義領域の中に１５０フレーム目が存在するので、その１５０フレームをそのまま用いる。
定義領域に存在しない場合に当該時刻（＝ｔ）から見て直前の時刻（＝ａ），直後の時刻（＝ｂ）の定義領域を抽出する（Ｓ７Ｅ０６）。例えば、判定時刻が１３０フレーム目であれば、存在しないので、１３０フレーム目の軌跡情報を算出するために直前の１００フレーム目と直後の１５０フレーム目の情報を抽出する。以下、（ｔ−ａ）と（ｂ−ｔ）の比から比例係数ρを算出し、領域の各パラメータについて比例係数ρによって一次補完して領域を作成し、これをオブジェクト領域とする（Ｓ７Ｅ０７，Ｓ７Ｅ０８）。作成される定義領域の具体的位置は、前後の定義領域に対し、映像の変化の速度によって例えば、ピクセル単位で変動することとなる。
このように得られたオブジェクトの領域を呼び出し、元に返却する（Ｓ７Ｅ１０）。
【００４０】
図７Ｆは、応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
応答出力生成部２２ｆはオブジェクト情報検索部２２ｃおよびオブジェクト軌跡情報検索部２２ｄからのオブジェクト情報を取得し（Ｓ７Ｆ０１）、元のリクエストから要求タイプを取得する（Ｓ７Ｆ０２）。そして要求タイプに従ってオブジェクトを整形する（Ｓ７Ｆ０３）。例えば、オブジェクト軌跡情報が５０フレーム，１００フレーム，２００フレーム，３００フレーム，４００フレームの定義領域がある場合、要求が１００フレームから３００フレームであるときは、５０フレームと４００フレームは破棄される。
整形したオブジェクト情報はＸＭＬ変換部２２ｇに渡される（Ｓ７Ｆ０４）。
ＸＭＬ変換部２２ｇは応答出力生成部２２ｆからオブジェクト情報を受け取る（Ｓ７Ｆ０５）と、ＸＭＬスキーマを読み込み、オブジェクト−ＸＭＬ変換エンジンを起動してオブジェクト情報をＸＭＬデータに変換し、得られたＸＭＬデータを出力部２１ａに渡す（Ｓ７Ｆ０６，Ｓ７Ｆ０７，Ｓ７Ｆ０８）。出力部２１ａはＸＭＬデータを取得すると出力ストリームにＸＭＬデータを出力する（Ｓ７Ｆ０９，Ｓ７Ｆ１０）。
【００４１】
以上がプレイヤ装置およびサーバ装置の各機能部の構成，動作についての説明である。つぎに本発明の実施に係わる映像再生システム全体の処理の流れを図９，図９Ａ，図９Ｂを用いて説明する。図９における流れはサーバ装置の処理を主体にしたもので、処理シーケンスは以下の通りである。
プレイヤ装置３をユーザが操作して希望する映像コンテンツを要求する（Ｓ９０１）と、その要求はコンテンツ供給装置１ｂに送られ、コンテンツ供給装置１ｂは、その映像コンテンツをプレイヤ装置３に送信する（Ｓ９０２）。プレイヤ装置３はその映像コンテンツ（映像データ）の関係情報７０をサーバ装置１ａに要求する（Ｓ９０３）。サーバ装置１ａは関係情報７０の検索の要求を受けると、図９Ａの流れに沿ってデータベース検索処理を起動する。これにより静的関係情報７０の検索を行い（Ｓ９０４）、得られた関係情報７０をプレイヤ装置３に供給する（Ｓ９０５）。プレイヤ装置３は関係情報７０を受けると映像の再生を開始する（Ｓ９０６）。表示装置には映像とともに自動的に関係図も表示される。つぎにプレイヤ装置３はオブジェクト軌跡情報８０の取得を要求する（Ｓ９０７）。
【００４２】
サーバ装置１は、図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクト軌跡情報の検索を行い（Ｓ９０８）、得られたオブジェクト軌跡情報をプレイヤ装置３に供給する（Ｓ９０９）。ここまでのシーケンスは映像の進行にしたがって順次映像の関係情報とオブジェクト軌跡情報がプレイヤ装置に取り込まれ表示される。
プレイヤ装置３は現在映像が再生中であるか否かを判定し、映像が再生中でなければ、そこで終了する（Ｓ９１０）。映像が再生中であれば、ユーザの入力操作（操作部によって映像中のオブジェクトのクリックなど）を監視することとなる。
この状態でユーザが入力装置をしてクリックした領域がオブジェクト軌跡領域にヒットした場合にはヒットしたオブジェクトの情報をサーバ装置１に要求する（Ｓ９１２）。
サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これにより、ヒットオブジェクト関係情報をプレイヤ装置３に供給する（Ｓ９１４）。なお、Ｓ９１３はプレイヤ装置３ではなくサーバ装置１ｂにオブジェクトヒット判定部を備える場合、行われるステップである。
【００４３】
プレイヤ装置３ａ〜３ｎはヒットオブジェクト情報が供給されると、そのオブジェクトの詳細情報（オブジェクト情報７７）をサーバ装置１に要求する（Ｓ９１５）。サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクトの詳細情報の検索を行い（Ｓ９１６）、得られたオブジェクトの詳細情報をプレイヤ装置３に供給する（Ｓ９１７）。オブジェクトの詳細情報が供給されると、プレイヤ装置３はＳ９１０のステップに戻り、映像再生中の状態ではユーザの入力装置を監視し、入力操作があれば、Ｓ９１２〜Ｓ９１７のシーケンスを繰り返す。
【００４４】
つぎに図９のサブフローチャートを示す図９Ａ，図９Ｂついて説明する。
図９Ａは、サーバ装置の待ち受け処理の流れを示し、図９のＳ６１，６４，６７，７０の位置で起動する。プレイヤ装置３ａ〜３ｎからの処理要求を受け、要求を受信できると、要求を解析する。要求の内容が適切であれば、つぎのデータベース処理を起動する。適切でなければエラー情報を作成する（Ｓ９Ａ０１〜Ｓ９Ａ０６）。
図９Ｂは図９ＡのＳ９Ａ０５のデータベース検索処理のフローである。
サーバ装置１ｂは検索条件を受け取ると、データベース２３に接続する。データベース２３に接続できた場合にはデータベース２３を検索して与えられたＩＤのコンテンツとユーザを探す。上記条件を満たすものが存在すれば、検索条件に従ってデータベース２３を検索する。そしてユーザ操作履歴を記録して終了する（Ｓ９Ｂ０１〜Ｓ９Ｂ０７）。
Ｓ９Ｂ０３においてデータベース２３に接続できない場合、Ｓ９Ｂ０５において条件を満たすものが存在しない場合にはエラー処理を行う（Ｓ９Ｂ０８）。
【００４５】
図１０は、本発明にかかる映像再生システムにおけるオブジェクト関連自動表示の流れを説明するためのフローチャートである。
再生中の映像上に、例えば俳優が現れ、同時に俳優のノード（関係図に表示されるオブジェクト）の関係図を表示装置に自動的に表示するシーケンスを説明するもので、プレイヤ装置の制御部８ａ，関係図描画部１０ｃなどが中心に動作するものである。なお、制御部８ａは、以下の監視や判定を主体的に行う。
ユーザが映像再生のためのプレイヤ装置３を操作すると、プレイヤ装置３がコンテンツ供給装置とサーバ装置１にアクセスし、映像データおよび関係情報が供給され、コンテンツの準備が行われる（Ｓ１００１）。すなわち、ユーザがプレイヤ装置を操作して再生すべき映像コンテンツＡ１を選択するためのキー操作を行うと、プレイヤ装置ではそのキー操作による設定ファイル（映像コンテンツＡ１を選択するため各データ）が形成され、設定ファイルが読み込まれ、インターネット上のコンテンツ供給装置１ｂにアクセスし、映像コンテンツＡ１を取得してプレイヤ装置のメモリ部９に格納する。さらにサーバ装置１にアクセスし、映像コンテンツＡ１対応の静的知的データ（関係情報７０）およびオブジェクト軌跡データ（軌跡情報８０）を検索させ、データベース２３より読み出し、プレイヤ装置３に送信させる。プレイヤ装置３はこの情報もメモリ部に格納する（Ｓ１００１）。
このコンテンツ準備によりプレイヤが再生操作をすれば、映像コンテンツＡ１が表示画面に表示される。制御部８ａは取得した映像コンテンツＡ１が再生されているか否かを判定する（Ｓ１００２）。再生されていなければ、当該シーケンスは終了し、再生中であれば、新たなオブジェクト軌跡が映像上に現れたか否かを監視する（Ｓ１００３）。
【００４６】
制御部８ａは、新たにオブジェクト軌跡が映像上に現れていない場合にはつぎに現在現れているオブジェクトが映像中から消えたか否かを監視する（Ｓ１００７）。関係図描画部１０ｃは、映像中にオブジェクトが存在しているかぎりは、そのオブジェクトの関係図を例えば俳優が出現している映像に同期して表示する（Ｓ１０１１）。この動作が終了すると、再度Ｓ１００２に戻り、映像の再生を確認し新たなオブジェクトの出現を監視して関係図の描画処理を繰り返す（Ｓ１００３，Ｓ１００７，Ｓ１０１１）。
Ｓ１００３において、新たなオブジェクト軌跡が映像上に現れた場合には、制御部８ａはそのオブジェクト詳細情報をサーバ装置１から取得し（Ｓ１００４）、この詳細情報を渡された関係図描画部１０ｃは関係図に表示するノードを作成し（Ｓ１００５）、このノードを関係図中に追加し、既に存在しているノードとの関係図を作成する（Ｓ１００６）。表示装置にはこの関係図が表示されることとなる。
つぎにＳ１００７において、制御部８ａは現在現れているオブジェクト軌跡が映像上から消えた場合には、消えたオブジェクトに対応するノードを取得する（Ｓ１００８）。そして消えたオブジェクトが自動で追加されたものであるか否かの判定を行う（Ｓ１００９）。これはユーザのクリックによって関係図に追加されたノードと、このフローによって自動的に関係図に追加されたノードを区別するためである。自動で追加されたものでない場合には、関係図の描画のＳ１０１１に移行する。自動で追加されたものである場合には、タイマ７をセットし、一定時間経過後に関係図からそのノードを削除する（Ｓ１０１０）。
以上により表示装置に再生される映像に同期して関係図を自動的に表示することができる。
【００４７】
図１１は、オブジェクト関係自動表示で表示される再生映像および登場人物に関する関係図の例を示す図である。
この例は、ある時刻の映像１００が表示装置の画面の左側に、関係図１０２が画面の右側に同時表示されている。映像１００には主キャラクタ１０１が登場している。これに対し、関係図１０２には中央に、文字が楕円で囲まれた主キャラクタ（ノード）１０２ａが描かれており、上側には文字が楕円で囲まれた追跡者（ノード）１０２ｂおよび１０２ｃがそれぞれ描かれている。追跡者１０２ｂから主キャラクタ１０２ａのノードに対し、矢印が描かれており、「追跡する」という文字で表示されている。追跡者１０２ｂが主キャラク１０２ａを追跡していることを示すものである。また、主キャラクタ１０２ａと追跡者１０２ｃノード間には、相互に矢印が表示され、それぞれ「攻撃する」「追跡する」という状態が文字表示されている。
【００４８】
さらに、主キャラクタ１０２ａの下部には文字が楕円で囲まれたアイテム１０２ｄ，ピストル１０２ｅが表示されている。主キャラクタ１０２ａからアイテム１０２ｄおよびピストル１０２ｅに対し矢印が描かれており、その状態が「使用する」と文字で表示されている。
このように関係図で各ノードを表示し、それらの関係を矢印，文字などで表示することにより、現時刻で表示されている映像１００の状態をユーザは容易に理解することができる。
【００４９】
つぎにユーザの操作で希望するオブジェクトに対し詳細情報を表示させる場合について説明する。主キャラクタが１人だけではなく多人数が登場する映像などについて、その１人にその詳細情報を表示させる場合には、ユーザは操作部５ａ〜５ｎのマウスを用いて映像中の対象とする人物をクリックすることにより人物の軌跡領域とクリックした選択領域とを例えば図６Ｄ−１に示すようにヒットさせたときには、その人物の詳細情報を表示装置の関係図として表示することができる。これは、映像の各領域に対応付けられたキーボードの１０キーの分割したグリッド領域を操作することにより、その映像領域に移動した人物の軌跡に対し図６Ｅ−１に示すようにヒットさせたときには、同様にその人物の詳細情報を表示装置の関係図として表示することができる。
このようにしてマウス，キーボードを用いて登場するオブジェクト（人物，アイテムなど）に対し、オブジェクト軌跡を選択できる他に本発明ではリモコン１４を用いてオブジェクト軌跡を選択してその詳細情報を表示することができる。
【００５０】
以下、リモコン１４による映像選択（オブジェクト選択），オブジェクト軌跡選択の構成・動作について詳述する。
図１２は、映像選択の方法を説明するための図、図１３はオブジェクト軌跡選択の方法を説明するための図である。
図１２において表示装置１１には画面左上にメイン映像１１ａが、画面左下にはサブ映像１１ｂおよび画像１１ｃが、画面右下には画像１１ｄおよび１１ｅがそれぞれ表示され、さらに右上に付加情報部１１ｆ（この時点では詳細情報は表示されていない）が確保されていたとする（図１２（ａ））。この状態でユーザがリモコン１４のメニューボタン１４ａを操作すると、メイン画像１１ａにフォーカスが当たった状態、すなわち図１２（ｂ）に示すにようにメイン画像１１ａの周囲に選択枠１１０ａが表示される。
【００５１】
図６Ｆ−１において、制御部８ａは入力処理部６を介してリモコン１４のメニューボタン１４ａからの入力キーを受信すると、該入力キーを選択情報管理部８ｇに送る（Ｓ６Ｆ２１）。選択情報管理部８ｇはメタデータ記憶部９ａにアクセスして現在映像部分に表示されているオブジェクトの一覧を取得する（Ｓ６Ｆ２２）。ついで、送られてきた入力キーはメニューキーか否かを判断する（Ｓ６Ｆ２３）。メニューキーであると判断した場合、その映像がフォーカス表示されているか否かを判断する（Ｓ６Ｆ３０）。フォーカス表示されていないため、選択情報記憶部９ｂのメニュー選択情報記憶部分のフォーカスの状態を「表示」状態に書き換える（Ｓ６Ｆ３１）。この「表示」の情報は選択マーカメニュー描画部１０ｆに渡される（Ｓ６Ｆ２９）。これにより、選択マーカメニュー描画部１０ｆはフォーカスの選択枠の描画を行い、表示装置１１のメイン画像１１ａにフォーカスの選択枠１１０ａが表示される。
【００５２】
つぎにユーザがリモコン１４の方向キー１４ｂの下矢印を操作すると、メイン画像１１ａにフォーカスが当たった状態からサブ画像１１ｂにフォーカスが当たった状態に切り替わり、図１２（ｃ）に示すにようにサブ画像１１ａの周囲に選択枠１１１ｂが表示される。図６Ｆ−１において、制御部８ａは入力処理部６を介してリモコン１４からの入力キーを受信すると、該入力キーを選択情報管理部８ｇに送る（Ｓ６Ｆ２１）。選択情報管理部８ｇはメタデータ記憶部９ａにアクセスして現在映像部分に表示されているオブジェクトの一覧を取得する（Ｓ６Ｆ２２）。ついで、送られてきた入力キーはメニューキーか否かを判断する（Ｓ６Ｆ２３）。メニューキーでないと判断されるので、上下左右の方向キー１４ｂであるか否かを判断し、かかる場合は上下左右の方向キー１４ｂであるため、メニューが表示されているか否かの判断に移る（Ｓ６Ｆ３３）。メニューが表示されていないため、選択情報記憶部のメニュー選択情報記憶部分のフォーカス選択状態を変更する（Ｓ６Ｆ３４）。すなわちサブ映像１１１ｂの選択枠の表示に書き換える。この情報は選択マーカメニュー描画部１０ｆに渡される（Ｓ６Ｆ２９）。これにより、選択マーカメニュー描画部１０ｆはサブ画像１１ｂのフォーカスの選択枠の描画を行い、表示装置１１のサブ画像１１ｂにフォーカスの選択枠１１１ｂが表示される。
【００５３】
このようにして映像選択が行われる。選択した映像についてオブジェクト軌跡の選択はつぎの通りである。
図１３において、（ａ）はメイン映像１１ａがフォーカスされている状態であり、この映像１１ａについてオブジェクト軌跡の選択を行うため、ユーザが決定ボタン１４ｃを押すと、表示装置１１の右端に図１３（ｂ）に示すようにオブジェクト軌跡メニュー１１ｇが表示される。トラジェクトリ（オブジェクト軌跡）はＡ〜Ｅまで表示されており、メニュー開いた直後はトラジェクトリ１１１ｇ（Ａ）に対しフォーカスの選択枠１１１１ｇが表示される。このとき、メイン映像１１ａには選択されたオブジェクトをマーキングするための選択マーカ１１１ａが表示される。
【００５４】
図６Ｆ−１において、制御部８ａは入力処理部６を介してリモコン１４からの入力キーを受信すると、該入力キーを選択情報管理部８ｇに送る（Ｓ６Ｆ２１）。選択情報管理部８ｇはメタデータ記憶部９ａにアクセスして現在映像部分に表示されているオブジェクトの一覧を取得する（Ｓ６Ｆ２２）。ついで、送られてきた入力キーはメニューキーか否かを判断する（Ｓ６Ｆ２３）。メニューキーでないと判断されるので、上下左右の方向キー１４ｂであるか否かを判断する（Ｓ６Ｆ２４）。上下左右の方向キー１４ｂと判断されないため決定キー１４ｃか否かの判断に移る（Ｓ６Ｆ２５）。決定キー１４ｃであるので、つぎにメイン映像にフォーカスが当たっているか否かを判断する（Ｓ６Ｆ２６）。メイン映像にフォーカスが当たっているため、オブジェクト軌跡メニュー１１ｇが表示されているか否かを判断する（Ｓ６Ｆ２７）。この段階ではオブジェクト軌跡メニュー１１ｇが表示されていないため、選択情報記憶部９ｂのメニュー選択情報記憶部分のメニューの状態を「表示」状態にする（Ｓ６Ｆ３７）。この情報は選択マーカメニュー描画部１０ｆに渡される（Ｓ６Ｆ２９）。これにより、選択マーカメニュー描画部１０ｆはオブジェクト軌跡メニューの描画を行い、表示装置の右端にオブジェクト軌跡メニュー１１ｇが表示される。
【００５５】
つぎにユーザが選択トラジェクトリを切り替えるため、リモコン１４の方向キーの下矢印を操作すると、図１３（ｃ）に示すようにオブジックト軌跡メニュー内のトラジェクトリはトラジェクトリ１１２ｇ（Ｂ）に切り替わり、その周囲にフォーカスの選択枠１１２１ｇが表示される。同時にメイン映像１１ａの右下には選択されたオブジェクトをマーキングするための選択マーカ１１２ａが表示される。
【００５６】
図６Ｆ−１において、制御部８ａは入力処理部６を介してリモコン１４からの入力キーを受信すると、該入力キーを選択情報管理部８ｇに送る（Ｓ６Ｆ２１）。選択情報管理部８ｇはメタデータ記憶部９ａにアクセスして現在映像部分に表示されているオブジェクトの一覧を取得する（Ｓ６Ｆ２２）。ついで、送られてきた入力キーはメニューキーか否かを判断する（Ｓ６Ｆ２３）。メニューキーでないと判断されるので、上下左右の方向キー１４ｂであるか否かを判断する（Ｓ６Ｆ２４）。上下左右の方向キー１４ｂと判断されるためオブジェクト軌跡メニュー１１ｇが表示されているか否かの判断に移る（Ｓ６Ｆ３３）。オブジェクト軌跡メニュー１１ｇが表示されているため、つぎに選択情報記憶部２２ｅのメニュー選択情報記憶部分の選択状態を変更する（Ｓ６Ｆ３５）。この情報は選択マーカメニュー描画部１０ｆに渡される（Ｓ６Ｆ２９）。これにより、選択マーカメニュー描画部１０ｆはトラジェクトリ１１２ｇ（ｂ）の周囲およびメイン画像１１ａの右下に選択マーカ１１２ａの描画を行い、トラジェクトリ１１２ｇ（ｂ）の周囲およびメイン画像１１ａの右下に選択マーカ１１２ａが表示される。
【００５７】
このトラジェクトリ１１２ｂの選択状態で、ユーザがリモコン１４の決定ボタン１４ｃを押すと、図１３（ｄ）に示すようにメイン画像１１ａの右下に確定した選択マーカ１１３ａが表示されるとともに図１３（ｅ）に示すように付加情報部１１ｆに詳細情報１１１ｆが表示される。
【００５８】
図６Ｆ−１において、制御部８ａは入力処理部６を介してリモコン１４からの入力キーを受信すると、該入力キーを選択情報管理部８ｇに送る（Ｓ６Ｆ２１）。選択情報管理部８ｇはメタデータ記憶部９ａにアクセスして現在映像部分に表示されているオブジェクトの一覧を取得する（Ｓ６Ｆ２２）。ついで、送られてきた入力キーはメニューキーか否かを判断する（Ｓ６Ｆ２３）。メニューキーでないと判断されるので、上下左右の方向キー１４ｂであるか否かを判断する（Ｓ６Ｆ２４）。上下左右の方向キー１４ｂと判断されないため決定キー１４ｃか否かの判断に移る（Ｓ６Ｆ２５）。決定キー１４ｃであるので、つぎにメイン映像にフォーカスが当たっているか否かを判断する（Ｓ６Ｆ２６）。メイン映像にフォーカスが当たっているため、オブジェクト軌跡メニュー１１ｇが表示されているか否かを判断する（Ｓ６Ｆ２７）。選択情報管理部８ｇはオブジェクト軌跡メニュー１１ｇが表示されているため、決定したオブジェクト情報をネットワーク通信部１２に渡す。
ネットワーク通信部１２は図６ＦにおいてＳ６Ｆ０６１の判断で、オブジェクト情報が渡されたため、選択情報管理部８ｇからオブジェクト情報７７を受け取り（Ｓ６Ｆ０６２）、オブジェクト情報７７のＩＤをキーに関係情報７０をサーバ装置に要求する（Ｓ６Ｆ０８）。そしてサーバ装置からオブジェクトの関係情報（詳細情報）のＸＭＬを受信すると、取得した詳細情報のＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０９，Ｓ６Ｆ１０）。この情報はメタデータ合成部８ｆを介して関係図描画部１０ｃに渡される。これにより、関係図描画部１０ｃは表示装置１１の詳細情報の描画を行い、表示装置１１の付加情報部１１ｆに詳細情報が表示される。この状態で引き続き選択マーカメニュー描画部１０ｆはトラジェクトリ１１２ｇ（ｂ）の周囲にフォーカスの選択枠１１２１ｇおよびメイン画像１１ａの右下に確定選択マーカの描画を行い、トラジェクトリ１１２ｇ（ｂ）の周囲に選択枠１１２１ｇおよびメイン画像１１ａの右下に確定選択マーカ１１３ａがぞれぞれ表示される（Ｓ６Ｆ２９）。
【００５９】
図１４Ａ〜図１４Ｆは通常の画像表示からオブジェクトを選択決定し詳細情報を表示するまでの具体例を示す図である。
当初の映像はメイン映像に１人の人物（オブジェクト）が表示され、２つのサブ映像にそれぞれ人物が表示されている。付加情報部には記載がない状態で、その下に１つの映像が表示されている（図１４Ａ）。ユーザがメニューボタンを押すと、図１４Ｂに示すようにメイン映像の周囲にフォーカスの選択枠３０が表示される。つぎにサブ映像に切り替えると、図１４Ｃに示すようにサブ映像の周囲にフォーカスの選択枠４０が表示される。
メイン映像を選んだ状態で、メニューボタンを押すと、図１４Ｄに示すようにトラジェクトリ選択のためのメニュー５０が表示され「社長」のトラジェクトリ５０ａが選択されている。つぎに方向キーを操作することにより、図１４Ｅに示すように「観葉植物」のトラジェクトリ５０ｂに切り替えられる。この状態で、決定ボタンを押すと、図１４Ｆに示すように付加情報部に詳細情報７０が表示される。
【００６０】
以上の実施の形態では、コンテンツサーバ装置，サーバ装置およびプレイヤ装置をネットワークで接続して構成される映像再生システムの実施の形態について説明したが、コンテンツサーバ装置，サーバ装置およびプレイヤ装置の各機能部を１つの装置内に内蔵させた装置、例えば映像再生装置システムとして構成することも可能である。
また、オブジェクト軌跡選択のためにリモコンによる操作部の例を説明したが、他の操作部に方向キー，メニューキー，決定キーを設けても同様に実施することができる。
【産業上の利用可能性】
【００６１】
映像コンテンツをプレイヤ装置で再生する映像再生システムにおけるオブジェクト軌跡選択方式であり、家庭用や業務用に用いられる。
【図面の簡単な説明】
【００６２】
【図１】本発明による映像再生システムにおけるオブジェクト軌跡選択方式を説明するためのシステム概略図である。
【図２】本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
【図３】本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
【図４】プレイヤ装置とサーバ装置における各機能部の情報送受の関係を説明するための図である。
【図５】本発明で送受される動画メタデータのデータ構造の一例を示す図である。
【図６Ａ】プレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
【図６Ｂ】プレイヤ装置の制御部の構成を説明するためのフローチャートである。
【図６Ｃ】プレイヤ装置の映像制御部の構成を説明するためのフローチャートである。
【図６Ｄ】プレイヤ装置のオブジェクトヒット判定部（マウス座標）の構成を説明するためのフローチャートである。
【図６Ｄ−１】選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される例を示す図である。
【図６Ｅ】プレイヤ装置のオブジェクトヒット判定部（キー選択矩形）の構成を説明するためのフローチャートである。
【図６Ｅ−１】映像中のグリッド領域の表示例を示す図である。
【図６Ｆ】プレイヤ装置のネットワーク通信部の構成を説明するためのフローチャートである。
【図６Ｆ−１】選択情報管理部の構成を説明するためのフローチャートである。
【図６Ｇ】プレイヤ装置のメタデータ解析部の構成を説明するためのフローチャートである。
【図６Ｈ】プレイヤ装置のメタデータ合成部の構成を説明するためのフローチャートである。
【図６Ｉ】プレイヤ装置のグリッド選択領域描画部，関係図描画部，オブジェクト軌跡描画部，選択マーカ・メニュー描画部および合成処理部の構成を説明するためのフローチャートである。
【図６Ｉ−１】オブジェクト関係図自動表示で表示される合成画像の一例を示す図である。
【図６Ｉ−２】オブジェクト軌跡を選択決定したときの合成画像の一例を示す図である。
【図７Ａ】サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
【図７Ｂ】サーバ装置の画像情報解析部およびオブジェクト情報検索部の構成を説明するためのフローチャートである。
【図７Ｃ】サーバ装置のオブジェクト軌跡情報検索部の構成を説明するためのフローチャートである。
【図７Ｄ】サーバ装置のオブジェクト領域衝突判定部の構成を説明するためのフローチャートである。
【図７Ｅ】図７ＤのサブフローＡの特定時刻におけるオブジェクト位置の算出方法を説明するためのフローチャートである。
【図７Ｆ】サーバ装置の応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
【図８】本発明における各取得要求および判定要求の内容の一例を示す図である。
【図９】本発明によるオブジェクト軌跡表示方式を適用した映像再生システムの処理シーケンスを説明するための図である。
【図９Ａ】サーバ装置の待ち受け処理の流れを説明するためのフローチャートである。
【図９Ｂ】データベース検索処理の流れを説明するためのフローチャートである。
【図１０】本発明にかかる映像再生システムにおけるオブジェクト関連自動表示の流れを説明するためのフローチャートである。
【図１１】表示装置に表示される再生映像の例およびその登場人物に関する関係図の例を示す図である。
【図１２】映像（オブジェクト）選択の方法を説明するための図である。
【図１３】オブジェクト軌跡選択の方法を説明するための図である。
【図１４Ａ】通常の映像表示の一例を示す図である。
【図１４Ｂ】メイン映像にフォーカスを当てたときの表示例を示す図である。
【図１４Ｃ】サブ映像にフォーカスを切り替えたときの表示例を示す図である。
【図１４Ｄ】トラジェクトリ選択のためのメニューの表示例を示す図である。
【図１４Ｅ】選択オブジェクトを変更したときの表示例を示す図である。
【図１４Ｆ】クリックによりオブジェクトを決定し、情報が表示された状態を示す図である。
【符号の説明】
【００６３】
１  サーバ装置
１ａ  メタデータ管理サーバ装置  
１ｂ  コンテンツサーバ装置  
２  ネットワーク  
３（３ａ〜３ｎ）  プレイヤ装置  
４  オーサリング装置
５  操作部
６  入力処理部
７  タイマ
８  プレイヤ制御回路
８ａ  制御部
８ｂ  映像制御部
８ｃ  オブジェクト軌跡ヒット判定部（キー選択矩形）
８ｄ  オブジェクト軌跡ヒット判定部（マウス座標）
８ｅ  メタデータ解析部  
８ｆ  メタデータ合成部
８ｇ  選択情報管理部
９  メモリ部（半導体メモリ）
９ａ  メタデータ記憶部
９ｂ  選択情報記憶部
１０  画像処理部
１０ａ  映像描画部
１０ｂ  グリッド選択領域描画部
１０ｃ  関係図描画部
１０ｄ  オブジェクト軌跡描画部
１０ｅ  合成処理部
１０ｆ  選択マーカメニュー描画部
１１  表示装置
１２，２１  ネットワーク通信部
１４  リモコン
２１ａ  出力部  
２１ｂ  ネットワークインタフェース
２１ｃ  入力部
２２  サーバ制御回路
２２ａ  パラメータ解析部  
２２ｂ  画素情報解析部  
２２ｃ  オブジェクト情報検索部
２２ｄ  オブジェクト軌跡情報検索部
２２ｅ  オブジェクト領域衝突判定部  
２２ｆ  応答出力生成部
２２ｇ  ＸＭＬ変換部
２３  データベース
２４  データベース制御部
２５  メモリ部
２６  操作装置
２７  入力制御部
２８  画像処理部
２９  表示装置
４０  動画ファイル
５０  知識情報
６０  ユーザ情報
７０  関係情報
７５  関係文
７６  関係情報部
７７  オブジェクト情報
８０  軌跡情報
８５  軌跡情報部
８６  軌跡領域情報
【図１】
2008257524.tif 000003
【図２】
2008257524.tif 000004
【図３】
2008257524.tif 000005
【図４】
2008257524.tif 000006
【図５】
2008257524.tif 000007
【図６Ａ】
2008257524.tif 000008
【図６Ｂ】
2008257524.tif 000009
【図６Ｃ】
2008257524.tif 000010
【図６Ｄ】
2008257524.tif 000011
【図６Ｄ−１】
2008257524.tif 000012
【図６Ｅ】
2008257524.tif 000013
【図６Ｅ−１】
2008257524.tif 000014
【図６Ｆ】
2008257524.tif 000015
【図６Ｆ−１】
2008257524.tif 000016
【図６Ｇ】
2008257524.tif 000017
【図６Ｈ】
2008257524.tif 000018
【図６Ｉ】
2008257524.tif 000019
【図６Ｉ−１】
2008257524.tif 000020
【図６Ｉ−２】
2008257524.tif 000021
【図７Ａ】
2008257524.tif 000022
【図７Ｂ】
2008257524.tif 000023
【図７Ｃ】
2008257524.tif 000024
【図７Ｄ】
2008257524.tif 000025
【図７Ｅ】
2008257524.tif 000026
【図７Ｆ】
2008257524.tif 000027
【図８】
2008257524.tif 000028
【図９】
2008257524.tif 000029
【図９Ａ】
2008257524.tif 000030
【図９Ｂ】
2008257524.tif 000031
【図１０】
2008257524.tif 000032
【図１１】
2008257524.tif 000033
【図１２】
2008257524.tif 000034
【図１３】
2008257524.tif 000035
【図１４Ａ】
2008257524.tif 000036
【図１４Ｂ】
2008257524.tif 000037
【図１４Ｃ】
2008257524.tif 000038
【図１４Ｄ】
2008257524.tif 000039
【図１４Ｅ】
2008257524.tif 000040
【図１４Ｆ】
2008257524.tif 000041