(57)【要約】【課題】映像中のオブジェクトをクリックする場合、変化が大きい映像であっても希望するオブジェクトを容易に、かつ確実に捕らえることができる映像再生システムにおける領域クリック選択方式を提供する。【解決手段】プレイヤ装置３ａはコンテンツサーバ装置１ｂから映像を取り込み、同時にその映像対応のオブジェクトの関係情報および軌跡情報をメタデータ管理サーバ装置１ａより取得する。表示装置１１ａは取得した映像とともにその映像に現れるオブジェクトの関係図を表示する。映像中のオブジェクトをクリックしてその詳細を関係図に表示させる場合、キーボードの１０キーの４分割した領域の何れかのキーをクリックすることにより、表示装置１１ａの画像を４分割した領域の１つを選択することができる。選択した領域とオブジェクト軌跡領域が重なれば、ヒット判定となる。【選択図】  図１
2007233542.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、
入力装置の複数の入力スイッチ手段を複数の領域に分けるとともにその分けた領域を画面を区切った画面区切り領域に対応づけ、入力装置の各領域内のいずれかの入力スイッチ手段がオンされたか否かを判定するクリック領域判定手段と、
前記判定された領域を選択領域とする領域選択手段と、
前記選択領域を決定する決定手段と、
前記決定した領域と、映像に現れるオブジェクトの移動軌跡とが重なるか否かのヒット判定を行うオブジェクト軌跡ヒット判定手段と、
を備えたことを特徴とする映像再生システムにおける領域クリック選択方式。
【請求項２】
前記オブジェクト軌跡ヒット判定手段でヒット判定を行い、重なったオブジェクト軌跡をリストに追加し、遅延クリック機能が有効な場合、最初に与えられた選択時間から所定時間戻して前記ヒット判定を行う遅延クリック手段を備えたことを特徴とする請求項１記載の映像再生システムにおける領域クリック選択方式。
【請求項３】
前記クリック領域判定手段は、対応づけられた画面区切り領域毎に、さらに複数の入力スイッチ手段を複数の領域に分けるとともにその分けた領域を画面区切り領域を区切った画面小区切り領域に対応づけ、画面小区切り領域内のいずれかの入力スイッチ手段がオンしたか否かを判断することを特徴とする請求項１または２記載の映像再生システムにおける領域クリック選択方式。
【請求項４】
前記決定手段は、前記対応づけられた領域の同じ入力スイッチ手段が連続してオンした場合、その領域に決定することを特徴とする請求項３記載の映像再生システムにおける領域クリック選択方式。
【請求項５】
前記入力装置はパソコン端末に用いるキーボード装置であり、該キーボード装置の各キー部を複数の領域に区切り、画面の区切り領域に対応づけることを特徴とする請求項１，２，３または４記載の映像再生システムにおける領域クリック選択方式。
【請求項６】
前記入力装置は、携帯通信端末の１０キー入力部であり、該１０キー入力部を複数の領域に区切り、画面の区切り領域に対応づけることを特徴とする請求項１，２，３または４記載の映像再生システムにおける領域クリック選択方式。
【請求項７】
前記入力装置は、ジョイスティック装置であり、８方向を指定できるジョイスティックの各方向を画面の区切り領域に対応づけることを特徴とする請求項１，２，３または４記載の映像再生システムにおける領域クリック選択方式。
【請求項８】
前記入力装置は、十字キーを持つ入力装置であり、４方向を指定できる十字キーの各方向を画面の区切り領域に対応づけることを特徴とする請求項１，２，３または４記載の映像再生システムにおける領域クリック選択方式。
【請求項９】
映像再生シスタムに用いられるプレイヤ装置であって、
入力装置の複数の入力スイッチ手段を複数の領域に分けるとともにその分けた領域を画面を区切った画面区切り領域に対応づけ、入力装置の各領域内のいずれかの入力スイッチ手段がオンしたか否かを判定するクリック領域判定手段と、
前記判定された領域を選択領域とする領域選択手段と、
前記選択領域を決定する決定手段と、
前記決定した領域と、映像に現れるオブジェクトの移動軌跡とが重なるか否かのヒット判定を行うオブジェクト軌跡ヒット判定手段と、
を備えたことを特徴とするプレイヤ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生映像に同期して映像内容に関連した情報（メタデータ）を動的に表示できるようにしたプレイヤ機能およびサーバ機能を持つ映像再生システム、さらに詳しくいえば、プレイヤ装置の表示装置に表示される映像を、動画とともに動画に関連したオブジェクト（キャラクタ，アイテム，ＢＧＭなど）の関係図を同時に表示し、動画中に出現するオブジェクトなどを指定し決定する場合などに用いられる入力装置の速やか、かつ効率的なクリック入力を可能にした領域クリック選択方式および該方式を適用したプレイヤ装置に関する。
【背景技術】
【０００２】
静止画の再生については、そのファイル内に静止画に関する情報が付加され、ユーザの操作にしたがって静止画のプロパティ情報や説明文を画面上に表示するものが実施されている。この付加情報によりユーザは撮影した風景や人物などの写真などについて、より詳しい情報を得ることが可能である。
映像（動画）の再生については、再生映像に関連する情報（メタデータ）が付加され、映像再生にともない種々の利用形態が提案されている。
【０００３】
上記利用形態の１つとしてコンテンツ保存部分から映像コンテンツを受けて記録再生装置で再生し、ネットワークを介して多数の情報処理装置に配信する情報処理システムが提案されている（特許文献１）。これはメタデータの利用形態の一例を開示するものであり、ユーザは放送局，ネット放送局やユーザ自身が取得したコンテンツ記録媒体からコンテンツを取得し、取得したコンテンツを特定するための識別情報とともに記録再生装置の内部記録媒体などに記録するとともに再生するシステムである。記録再生装置はユーザの指示に基づき必要に応じてネットワークを介して検索サーバに接続し、コンテンツの特定シーンに登場するオブジェクトに関連する関連情報を含むメタデータの取得要求を行い、メタデータを取得する。そして取得したメタデータに基づき必要に応じてネットワークを介してＷＥＢサーバからコンテンツの特定シーンに含まれるオブジェクトに関するさらに詳細な情報を取得する技術が開示されている。
【０００４】
この技術により従前に比較しコンテンツの特定シーンに含まれるオブジェクトの関連情報をより多くのユーザに提供する目的を達成しているが、特許文献１は再生画面についてメタデータをどのように表示させるかの開示はない。例えば、再生されている映像のある場面についてユーザが操作した場合、それに関連するメタデータが、再生されている映像に対しどのような位置に、どのようなタイミングで表示され、その表示内容がどのような形で表示されるかは不明である。
【特許文献１】特開２００４−２７２４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般にドラマやアニメーションなどの映像において、登場する人物が非常に多く次からつぎへと出現し、高速に移動し消えていく場合などにはユーザはその内容（登場人物の関係や名前，いまどのように状態にあるかなど）を理解するのは容易ではない。
かかる場合に、画像表示画面において、再生画像と同期して画面の一部に再生画像に登場するオブジェクト（キャラクタ，アイテム，ＢＧＭなど）に対し、その関係や現況を示す関係図を表示できれば、上記問題を解決することが可能であると考えられる。
本件出願人は、このような状況に鑑み、映像とともに映像に登場するオブジェクトを説明するための関係図を同時に自動表示する提案を行い、映像に登場する人物などが他の人物などとどのような関係で、どのような状況にあるかを明らかにしている。
【０００６】
ところで、上記のように関係図にノードが自動的に表示される映像中のオブジェクトについては、ユーザはその状況を容易に把握することができるが、ノードが自動的に表示されない映像中のオブジェクトに対しては、把握することができない。
そのため映像中のオブジェクトをクリックして関係図中に表示させる操作を行うこととなるが、映像が高速に変化する場合には、映像中に登場するオブジェクトを正確に捕らえることが困難となる。そこで、映像中に登場するオブジェクトを捕らえる範囲としてオブジェクトを含む一定の範囲に対しクリックすれば、そのオブジェクトを指定でき目的を達成できると考えられる。
【０００７】
しかしながら、オブジェクトは場面によっては高速に移動している場合がある。このようなオブジェクトを容易に、かつ確実にクリックすることは、困難である。
ユーザが画面上でオブジェクトを認識し、そのオブジェクトに対しマウスでクリックしたとしても、クリックした瞬間にはオブジェクトは既に押した位置から外れていることが考えられる。
折角、オブジェクトに関する情報を表示しようとしても、上手に捕らえることができなければ、ユーザは楽しいどころか、ストレスが溜まる結果になる。
そこで、ユーザが入力装置のクリック操作に集中しなくても、容易に、かつに確実にしかも効率的に希望するオブジェクトを捕らえることができるクリック方式の実現が望まれる。
本発明の目的は、入力装置の１０キーやジョイスティック，十字キーの方向キーなどを押すことにより映像中のオブジェクトを指定するもので、変化が大きい映像であっても希望するオブジェクトを容易に、かつ確実に捕らえることができる映像再生システムにおける領域クリック選択方式を提供することにある。
また、本発明の他の目的は、上記領域クリック選択方式によるプレイヤ装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するために本発明の請求項１は、映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、入力装置の複数の入力スイッチ手段を複数の領域に分けるとともにその分けた領域を画面を区切った画面区切り領域に対応づけ、入力装置の各領域内のいずれかの入力スイッチ手段がオンされたか否かを判定するクリック領域判定手段と、前記判定された領域を選択領域とする領域選択手段と、前記選択領域を決定する決定手段と、前記決定した領域と、映像に現れるオブジェクトの移動軌跡とが重なるか否かのヒット判定を行うオブジェクト軌跡ヒット判定手段とを備えたことを特徴とする。
本発明の請求項２は、請求項１記載の発明において前記オブジェクト軌跡ヒット判定手段でヒット判定を行い、重なったオブジェクト軌跡をリストに追加し、遅延クリック機能が有効な場合、最初に与えられた選択時間から所定時間戻して前記ヒット判定を行う遅延クリック手段を備えたことを特徴とする。
本発明の請求項３は、請求項１または２記載の発明において前記クリック領域判定手段は、対応づけられた画面区切り領域毎に、さらに複数の入力スイッチ手段を複数の領域に分けるとともにその分けた領域を画面区切り領域を区切った画面小区切り領域に対応づけ、画面小区切り領域内のいずれかの入力スイッチ手段がオンしたか否かを判断することを特徴とする。
本発明の請求項４は、請求項３記載の発明において前記決定手段は、前記対応づけられた領域の同じ入力スイッチ手段が連続してオンした場合、その領域に決定することを特徴とする。
本発明の請求項５は、請求項１，２，３または４記載の発明において前記入力装置はパソコン端末に用いるキーボード装置であり、該キーボード装置の各キー部を複数の領域に区切り、画面の区切り領域に対応づけることを特徴とする。
本発明の請求項６は、請求項１，２，３または４記載の発明において前記入力装置は、携帯通信端末の１０キー入力部であり、該１０キー入力部を複数の領域に区切り、画面の区切り領域に対応づけることを特徴とする。
本発明の請求項７は、請求項１，２，３または４記載の発明において前記入力装置は、ジョイスティック装置であり、８方向を指定できるジョイスティックの各方向を画面の区切り領域に対応づけることを特徴とする。
本発明の請求項８は、請求項１，２，３または４記載の発明において前記入力装置は、十字キーを持つ入力装置であり、４方向を指定できる十字キーの各方向を画面の区切り領域に対応づけることを特徴とする。
本発明の請求項９は、映像再生シスタムに用いられるプレイヤ装置であって、入力装置の複数の入力スイッチ手段を複数の領域に分けるとともにその分けた領域を画面を区切った画面区切り領域に対応づけ、入力装置の各領域内のいずれかの入力スイッチ手段がオンしたか否かを判定するクリック領域判定手段と、前記判定された領域を選択領域とする領域選択手段と、前記選択領域を決定する決定手段と、前記決定した領域と、映像に現れるオブジェクトの移動軌跡とが重なるか否かのヒット判定を行うオブジェクト軌跡ヒット判定手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
上記再生映像に同期して映像内容に関連した情報（メタデータ）を動的に表示できるようにしたプレイヤ機能およびサーバ機能を持つ映像再生システムにおいて、動画中に出現するオブジェクトを容易に、かつ確実にしかも効率的に捕らえることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を詳しく説明する。  
図１は、本発明による映像再生システムにおける領域クリック選択方式を説明するためのシステム概略図である。
ネットワーク２を介して多数のプレイヤ装置３ａ〜３ｎがサーバ装置１にアクセスして映像および映像に関連するメタデータを取得することができる。プレイヤ装置３ａ〜３ｎは操作部（入力装置）５ａ〜５ｎの操作により、映像コンテンツをコンテンツサーバ装置１ｂからダウンロードすることができ、ダウンロードした映像コンテンツを表示装置１１ａ〜１１ｎに動画を表示することができる。表示装置１１ａ〜１１ｎに表示される各映像コンテンツに対し、メタデータ管理サーバ装置１ａにメタデータを要求し、そのメタデータによって表示装置１１ａ〜１１ｎの画面に動画を表示するとともにその動画に同期して動画に登場するオブジェクトの関係図を表示することができる。映像中には出現するキャラクタなどのオブジェクトを囲む軌跡、例えばオブジェクトを囲む閉曲線およびオブジェクトを示す文字などがオーバレイ表示される。
ユーザが映像中に出現するキャラクタ（オブジェクトを囲む軌跡）をマウスでクリックするか、操作装置のキーで領域クリックすることにより、クリックがヒットしたオブジェクトについて関係図中にそのオブジェクトの詳細が表示される。
操作部５ａ〜５ｎはキーボードとマウスで構成されており、キーボードの１０キー部はキー配置領域を点線で示すように４つの領域に分け、オブジェクト選択時にはこの４領域は表示装置１１ａ〜１１ｎの画面の分割領域１１ａ−１・・・１１ａ−４〜１１ｎ−１・・・１１ｎ−４にそれぞれ対応させられている。例えば、キーボードの領域５ａ−１内のキーが押された場合には、画面領域１１ａ−１が選択される。そして、決定キーを押すことにより選択した領域が決定する。
また、マウスで領域を選択する場合には、マウスをクリックした点を中心に所定半径の円領域が指定されるようになっている。
さらに映像中には表示されないが、ユーザのクリックしたタイミングについて、映像を認識してからクリック操作して決定するまでの時間の遅れが生ずることを考慮して、遅れに対応する時間だけ遡ったオブジェクト軌跡に対しヒットしたか否かの判断がなされるように構成されている。このようなクリックを遅延クリックといい、ユーザの操作の遅れを補完することを目的とし、本発明の実施の形態ではクリックの信号入力から所定時間まで随時１フレームずつ戻しながら判定を行う。
【００１１】
メタデータ管理サーバ装置１ａが配信するメタデータはオーサリング装置４によって作成することができ、各映像コンテンツに対応した適切なメタデータに更新することが可能である。
コンテンツサーバ装置１ｂはドラマなどの各映像コンテンツを多数蓄積しているＨＤＤなどからなるデータベースを有し、プレイヤ装置３ａ〜３ｎの要求に沿った映像コンテンツを提供することができる。コンテンツサーバ装置１ｂは、プレイヤ装置３ａ〜３ｎに映像コンテンツを提供するものであるため、プレイヤ装置３ａ〜３ｎに直接接続できる記憶媒体の中に蓄積しても良いし、また、プレイヤ装置３ａ〜３ｎにＤＶＤのディスクデッキや大容量の半導体メモリ装置を内蔵させてディスク，半導体メモリより読み出して映像コンテンツを得ることも可能である。
サーバ装置１とプレイヤ装置３ａ〜３ｎの接続はネットワークを介さずに直接接続することも可能である。
【００１２】
図２は、本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
プレイヤ装置３ａ〜３ｎはプレイヤ制御回路８，タイマ７，入力処理部６，メモリ部９，画像処理部１０およびネットワーク通信部１２を備えている。
プレイヤ制御回路８はプレイヤ装置全体の制御を司る他、制御部８ａ，映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄ，メタデータ解析部８ｅおよびメタデータ合成部８ｆの各機能部を有している。メモリ部９はサーバ装置１から取得したメタデータを記憶するメタデータ記憶部９ａおよびユーザが操作部５の操作により選択した情報を記憶する選択情報記憶部９ｂの各領域を備えている他、プレイヤ装置３ａ〜３ｎの制御に必要なデータの格納領域を有している。
【００１３】
画像処理部１０は取得した映像を描画する映像描画部１０ａ，グリッド選択領域を描くグリッド選択領域描画部１０ｂ，動画を表示する画面の他の部分に関係図を描画する関係図描画部１０ｃ，動画のオブジェクトの軌跡を描くオブジェクト軌跡描画部１０ｄおよび合成処理部１０ｅより構成されている。関係図を作成して描画する関係図作成描画手段はメタデータ合成部８ｆ，メタデータ記憶部９ａおよび関係図描画部１０ｃなどの連携により実現される。また、動画のオブジェクトの軌跡を作成して描画するオブジェクト軌跡作成描画手段は、同様にメタデータ合成部８ｆ，メタデータ記憶部９ａおよびオブジェクト軌跡描画部１０ｄなどの連携により実現される。
【００１４】
図３は、本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
サーバ装置１は、ネットワーク通信部２１，サーバ制御回路２２，データベース制御部２４，メモリ部２５，入力制御部２７および画像処理部２８より構成されている。
サーバ制御回路２２は、サーバ装置全体の制御を司る他、パラメータ解析部２２ａ，画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃ，オブジェクト軌跡情報検索部２２ｄ，オブジェクト領域衝突判定部２２ｅ，応答出力生成部２２ｆおよびＸＭＬ変換部２２ｇの各機能部を有している。
【００１５】
ネットワーク通信部２１は、出力部２１ａ，ネットワークインタフェース２１ｂおよび入力部２１ｃを備えている。
データベース２３は映像コンテンツを格納する動画データ記憶部２３ａおよび映像コンテンツのメタデータを記憶するメタデータ記憶部２３ｂの記憶領域を有している。このデータベース２３には動画も記憶されており、サーバ装置１はコンテンツサーバ装置１ｂの機能を兼ねるものである。
画像処理部２８には表示装置２９が、入力制御部２７には操作装置２６がそれぞれ接続されており、サーバ装置１に対しデータを操作装置２６より入力してサーバ装置を制御し、その結果などを画像処理部２８を介して表示装置２９で表示できるようになっている。メモリ部２５はその処理の際に用いられるＲＡＭなどである。これら入出力を構成する装置部分は図１に示されているオーサリング装置４とは別にサーバ装置１を調整するためのものである。
【００１６】
つぎに本発明による映像再生システムの各機能部間の信号の送受および扱われるデータ構造について説明する。
図４は、プレイヤ装置とサーバ装置における各機能部の情報送受の関係を判り易くするために示したものである。
入力処理部６からの操作などの入力信号は制御部８ａに供給され、制御部８ａの出力は映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃまたはオブジェクト軌跡ヒット判定部（マウス座標）８ｄに入力する。タイマ７の出力は映像制御部８ｂおよびネットワーク通信部１２に供給される。選択情報記憶部９ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃが選択領域とオブジェクト軌跡がヒットするか否かのために用いる選択情報を記憶するためのものである。メタデータ記憶部９ａはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄおよびメタデータ合成部８ｆによって使用される。ネットワーク通信部１２はオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄおよびタイマ７からの出力に基づき軌跡ヒット判定をサーバ装置のネットワークインタフェース２１ｂに送信する。また、サーバ装置から受けた情報はメタデータ解析部８ｅで解析されメタデータ合成部８ｆに送られる。映像描画部１０ａは映像制御部８ｂからの動画情報を入力し、グリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからのグリッド情報を入力する。また、関係図描画部１０ｃおよびオブジェクト軌跡描画部１０ｄはメタデータ合成部８ｆからのメタデータを入力してそれぞれの描画情報を作成して合成処理部１０ｅに渡す。合成処理部１０ｅには表示装置が接続され、表示装置には動画およびその関係図が表示される。
【００１７】
サーバ装置においてネットワークインタフェース２１ｂはネットワーク通信部１２との情報の受け渡しを行い，受けた信号を入力部２１ｃを介してパラメータ解析部２２ａに送る。パラメータ解析部２２ａは受けた情報を解析した結果、解析内容に従って画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃまたはオブジェクト軌跡情報検索部２２ｄに各情報を送る。画素情報解析部２２ｂは画素情報にしたがって動画データ記憶部２３ａから該当する動画を読み出し、オブジェクト領域衝突判定部２２ｅに送る。オブジェクト情報検索部２２ｃはデータベース制御部２４を介して要求されているオブジェクト情報をメタデータ記憶部２３ｂより検索する。また、オブジェクト軌跡情報検索部２２ｄはデータベース制御部２４を介して要求されているオブジェクト軌跡情報をメタデータ記憶部２３ｂより検索する。オブジェクト領域衝突判定部２２ｅではオブジェクト軌跡情報検索部２２ｄからのオブジェクト軌跡情報と画素情報解析部２２ｂからのグリッド情報が重なっているか否かを判定し、重なっている場合にはオブジェクト情報検索部２２ｃにそのオブジェクト情報を送る。応答出力生成部２２ｆはオブジェクト軌跡情報検索部２２ｄおよびオブジェクト情報検索部２２ｃからのオブジェクト情報およびオブジェクト軌跡情報を集約しＸＭＬ変換部２２ｇに送り、ＸＭＬ変換部２２ｇで各情報をＸＭＬ形式に変換し、出力部２１ａを介してネットワークインタフェース２１ｂに渡す。
【００１８】
図５は、本発明で送受されるメタデータのデータ構造の一例を示す図である。
動画ファイル４０は知識情報５０を有し、知識情報５０はユーザ情報６０，関係情報７０および軌跡情報８０を多数集合した情報で構成されている。関係情報７０は関係文７５，関係情報部７６およびオブジェクト情報７７より形成され、軌跡情報８０は、軌跡情報部８５および軌跡領域情報８６より形成されている。
動画ファイル４０は所在位置を示すＩＤの項目，動画ファイルを記した名前の項目，動画ファイルのファイル名を記した動画ファイルのＵＲＬの項目および関連する知識情報５０の項目より構成されている。この知識情報は複数列挙されることが可能である。
知識情報５０は、該知識情報のＩＤの項目，ドラマの名称などの名前の項目，動画ファイルの知識情報のＩＤ，ドラマなどの作成者の項目，オーサリングなどのために利用するドキュメントを記載した説明の項目（複数記載が可能），関係情報７０を列挙した項目および軌跡情報８０を列挙した項目より構成されている。
【００１９】
ユーザ情報６０は、ユーザのＩＤの項目，ユーザの名前，ユーザを識別するためのログインＩＤおよびパスワードの項目より構成されている。
関係情報７０は関係文７５が中心であり、関係文７５によりオブジェクト定義したオブジェクト情報７７のオブジェクトの間を関係情報部７６に示された述語関係により規定するものであり、関係文のＩＤの項目，関係文の名前の項目，主格オブジェクトＩＤ，目的格オブジェクトＩＤの項目およびそれらの間を説明する述語ＩＤの項目より構成されている。オブジェクト情報７７は、ユーザのクリックの対象となる例えば俳優などのキャラクタ，キャラクタが用いるアイテム，ＢＧＭなどであり、そのオブジェクトのＩＤの項目，オブジェクトの名前の項目，関係図に表示するオブジェクトの説明画像の項目ならびにオブジェクトを説明するための文言が記載された説明（クリックしたときに関係図に表示される文言）の項目より構成されている。該画像および説明の項目は複数列挙することが可能である。関係情報部７６はオブジェクト間の関係を記述するもので、人物関係図であれば「敵，味方」など，人物とアイテムの関係であれば、「使用する」などを規定するものである。人物などのＩＤの項目，人物など名前の項目，オーサリングなどで判り易くするための画像の項目および同じくオーサリングなどで関係を判り易くするための説明文を記した説明の項目より構成されている。
関係情報７０はこれらデータを積み重ねた集合体データである。
【００２０】
軌跡情報８０は、映像の動きに対応してオブジェクトの軌跡を動かすための情報であり、軌跡情報部８５は、あるオブジェクトがある時間にある動きをしたことを列挙した情報部である。
軌跡情報部８５は、オブジェクトのＩＤの項目，オブジェクトの位置を示すＵＲＩの項目，オブジェクトのＺ方向の位置（同じ画面に複数のオブジェクトが現れて重なる場合、どちらが手前であるか判断するためのもの）を示すＺ深度の項目，シーンの一部分においてオブジェクトが現れる時刻および消滅する時刻を示す開始時刻および終了時刻の項目ならびにある時間における領域情報８６の項目より構成されている。領域情報８６はある時間における領域の動きを規定するもので、複数列挙されることが可能である。領域情報８６は、オブジェクトのＩＤの項目，領域が変位し、その変位した順番（例えばオブジェクトが出現から消滅まで移動領域が５回変化したとすると、何回目かの番号）を記するシーケンス番号の項目，変位時の再生時間を示す時刻（再生開始からのフレーム数）および領域パラメータの項目から構成されている。
【００２１】
領域パラメータは、楕円や四角形などの形状を規定する項目，形状が例えば４角形であれば、その中心座標を示すＸ座標およびＹ座標の項目，四角形の幅および高さを示す幅および高さの項目ならびに四角形の回転角度を示す回転角度の項目より構成されている。形状が楕円の場合も同様に規定されるが、かかる場合は楕円に外接する四角形が基準となる。軌跡情報８０はこれらデータを積み重ねた集合体データである。
【００２２】
つぎに、図４の各機能部の構成について図６Ａ〜図６Ｉ（プレイヤ装置）および図７Ａ〜図７Ｆ（サーバ装置）を用いて説明する。
図６Ａはプレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
入力処理部６は、ユーザが操作部を操作したか否を監視し（ステップ（以下「Ｓ」という）６Ａ０１）、入力があれば、その入力情報を制御部８ａに渡す（Ｓ６Ａ０２）。
図６Ｂの制御部８ａは入力情報を受け（Ｓ６Ｂ０１）、入力情報が１０キーまたは方向キーであるか否かを判断する（Ｓ６Ｂ０２）。１０キーまたは方向キーであれば、オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃにその入力情報を渡す（Ｓ６Ｂ０３）。
一方、マウスまたはボタンによる入力情報であれば、入力されたデータが映像上のマウスクリックか否かを判断し（Ｓ６Ｂ０４）、オブジェクト軌跡ヒット判定部（マウス座標）８ｄにマウス座標（入力情報）を渡す（Ｓ６Ｂ０５）。マウスクリックでない場合には、ボタンによる入力情報であるとして映像の再生か、または停止ボタンの押し下げかを判断し（Ｓ６Ｂ０６）、映像の再生などであるならば、その情報を映像制御部８ｂに渡し（Ｓ６Ｂ０７）、映像の再生などでなければ、終了する。
【００２３】
図６Ｃの映像制御部８ｂは、制御部８ａからボタン情報を受ける（Ｓ６Ｃ０１）と、再生ボタンか否かの判断を行い（Ｓ６Ｃ０２）、再生ボタンであれば、映像データ再生処理を行い（Ｓ６Ｃ０３）、映像描画部１０ａに渡す（Ｓ６Ｃ０６）。一方、再生ボタンでなければ、停止ボタンが押されたか否かを判断し（Ｓ６Ｃ０４）、停止ボタンであれば、映像の停止処理を行う（Ｓ６Ｃ０５）。停止ボタンが押されていなければ、引き続き映像データを映像描画部１０ａに渡す（Ｓ６Ｃ０６）。
図６Ｄのオブジェクト軌跡ヒット判定部（マウス座標）８ｄは、制御部８ａからマウス座標を受け取る（Ｓ６Ｄ０１）と、メタデータ記憶部９ａから軌跡情報を読み出す（Ｓ６Ｄ０２）。そして、現在のオブジェクト軌跡の動きから最適な円の半径ｒを取得する。
半径ｒの具体的な大きさは、例えば、オブジェクトが停止情報であれば半径ｒは小さく、動いていれば、動きの速さに応じて半径ｒを大きくとる（Ｓ６Ｄ０３）。これにより、マウス座標を中心とした半径ｒの円の領域を選択領域と決定する（Ｓ６Ｄ０４）。そして、遅延クリック（図６Ｊに詳細フローを記載）が行われ（Ｓ６Ｄ０５）、映像中のオブジェクトの軌跡情報とユーザがマウスで選択した選択領域とが重なるか否か、すなわちヒットしているか否かの判定に移行する（Ｓ６Ｄ０６）。僅かでも重なっていればヒット判定をする。例えば、図６Ｄ−１の場合、選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される。
ヒットした場合にはオブジェクト情報をネットワーク通信部１２に渡す（Ｓ６Ｄ０７）。ヒットしていない場合には、ユーザがオブジェクトを捕らえきらなかったものとして終了する。
【００２４】
図６Ｊは図６Ｄおよび図６Ｅの遅延クリックのシーケンスの詳細を示す図である。
ここで、図６Ｄの遅延クリックを実行する場合は、マウスのオブジックト軌跡ヒット判定部８ｄが、後述の図６Ｅの遅延クリックを実行する場合はキーのオブジックト軌跡ヒット判定部８ｃがそれぞれ制御する。
オブジェクト軌跡ヒット判定部８ｃまたは８ｄ（以下、「８ｃ等」という）は、選択情報記憶部９ｂより現在の選択領域の情報を受け取る（Ｓ６Ｊ０１）と、現在時間のオブジェクト軌跡の位置情報を取得する（Ｓ６Ｊ０２）。そしてこのオブジェクトの軌跡データと選択領域とのヒット判定を行い（Ｓ６Ｊ０３）、オブジェクト軌跡に対し選択領域がヒットしたか否かを判断する（Ｓ６Ｊ０４）。ヒットした場合にはオブジェクトを記憶する（Ｓ６Ｊ０５）。
【００２５】
ヒットしていない場合、このオブジェクト（Ｓ６Ｊ０５で記憶したオブジェクトも含む）に対し、ｎフレーム時間戻したか否かを判断する（Ｓ６Ｊ０６）。ｎフレーム時間戻していない場合には、映像を１フレーム時間戻し（Ｓ６Ｊ０７）、Ｓ６Ｊ０２に戻って再度現在時間のオブジェクト軌跡の位置情報を取得してＳ６Ｊ０３〜Ｓ６Ｊ０６を実行する。上記動作はｎフレーム時間戻るまで繰り返し行われる。
一方、Ｓ６Ｊ０６でオブジェクト軌跡ヒット判定部８ｃ等がｎフレーム時間戻したと判断した場合は、複数のオブジェクトに対しヒットがあったか否かを判定する（Ｓ６Ｊ０８）。複数のオブジェクトにヒットした場合にはＺ軸の並びおよびヒットした領域の大きさを考慮して、ヒットしたオブジェクトの１つを決定する（Ｓ６Ｊ０９）。そしてヒットしたオブジェクトデータを呼出し元に返す（Ｓ６Ｊ１０）。
【００２６】
一方、図６Ｅのオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃは、制御部８ａから受けたキー情報（入力情報）を受ける（Ｓ６Ｅ０１）と、領域の選択キーである１０キー・方向キーか、またはそれ以外であるマウス・ボタンかを判断し（Ｓ６Ｅ０２）、１０キー・方向キーであれば、そのキー操作が決定キーであるか、選択中のキーであるかを判断し（Ｓ６Ｅ０３）、決定キーでなければ、前回と同じキーで押されたか否かの判断を行う（Ｓ６Ｅ０４）。前回と同じキーが操作（同じキーを２回連続して押せば、決定操作がなされたとする）されたと判断すれば、決定を行ったとしてＳ６Ｅ１１に移行する。前回と同じキー操作でない場合には、既に記憶している選択開始時間（領域の選択キーが押されたときの時刻）があるか否かを判断（Ｓ６Ｅ０５）し、選択開始時間（時刻）が記憶されている場合には押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０８）。選択開始時間が記憶されていない（１０キー・方向キーによりどこも選択されていない）場合には今回１０キー・方向キーが押し下げられた時間を選択開始時間として記憶し、画面全体に対し押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０６，Ｓ６Ｅ０７）。そして、Ｓ６Ｅ０７またはＳ６Ｅ０８で決定した選択領域を現在の選択領域として記憶し（Ｓ６Ｅ０９）、グリッド選択領域描画部１０ｂに対し選択範囲の変更イベントを発行する（Ｓ６Ｅ１０）。これにより、映像のグリッド領域が例えば特定の色（赤色など）で表示される。
図６Ｅ−１に映像中のグリッド領域の表示例を示す。映像の表示領域を４つに分割し、その分割した領域に対応してそれぞれ複数の１０キーを割り当て、割り当てられた領域の１つのキーが押されることにより押されたキーが所属する分割領域を例えば赤で表示することにより選択されていることを示す。
この処理が終了すると、再度領域の選択キーか否かの判断のＳ６Ｅ０２に戻る。
Ｓ６Ｅ０３で決定キーと判断した場合には、記憶している選択開始時間まで時間を戻し（Ｓ６Ｅ１１）、さらに利用者がオブジェクトを認識してからキー入力までの時間だけ戻す（Ｓ６Ｅ１２）。この利用者のオブジェクト認識してからキー入力までの時間は、人間の反応時間を考慮したもので、例えば０．２秒から０．５秒程度戻すこととなる。そして遅延クリック（図６Ｊに詳細フローを記載）を行い（Ｓ６Ｅ１３）、選択範囲の変更イベントをグリッド選択領域描画部１０ｂに発行し、選択していることを示す表示を解除する（赤を消滅させる）（Ｓ６Ｅ１４）。ヒットした場合にはヒットしたオブジェクト情報をネットワーク通信部１２に渡す。ヒットしない場合は終了する（Ｓ６Ｅ１５，Ｓ６Ｅ１６）。
この処理によりユーザが選択した領域が映像中のオブジェクトを捕らえているか否かの判断がなされる。
【００２７】
図６Ｆのネットワーク通信部１２は、映像再生についてタイマ７から再生開始から現在までの時間情報が渡されたか否かを判定し（Ｓ６Ｆ０１）、現在の映像の再生時間を渡された場合には現在時間のオブジェクト軌跡情報をサーバ装置（ネットワークインタフェース２１ｂ）に要求する（Ｓ６Ｆ０２，Ｓ６Ｆ０３）。そしてサーバ装置からオブジェクト軌跡情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０４，Ｓ６Ｆ０５）。一方、クリックがなされた場合にはオブジェクト軌跡ヒット判定部（マウス座標）８ｄからオブジェクト情報が渡されたか否かを判定し、オブジェクト情報が渡された場合にはこの情報を受け取り、オブジェクト情報７７のＩＤをキーに関係情報７０をサーバ装置に要求する（Ｓ６Ｆ０６，Ｓ６Ｆ０７，Ｓ６Ｆ０８）。そしてサーバ装置からオブジェクトの関係情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０９，Ｓ６Ｆ１０）。
Ｓ６Ｆ０６においてオブジェクト軌跡ヒット判定部８ｄからオブジェクト情報ではなくマウス座標が渡された場合は、該マウス座標を受け取り（Ｓ６Ｆ１１）、サーバ装置にヒット結果オブジェクトの要求を行う（Ｓ６Ｆ１２）。サーバ装置からオブジェクトのヒット結果を受け取ると、ヒットしたか否か判断し、ヒットした場合にはＳ６Ｆ０８に移行する（Ｓ６Ｆ１３，Ｓ６Ｆ１４）。
ここでのネットワーク通信はプレイヤ装置で再生を行いながらサーバ装置から少しずつ情報を得るもので、数秒毎（例えば、２秒毎）に情報を得る。
【００２８】
ネットワーク通信部１２からＸＭＬデータを渡された図６Ｇのメタデータ解析部８ｅは、ＸＭＬからメタデータ（オブジェクト軌跡情報と関係情報）を抽出し（Ｓ６Ｇ０１，Ｓ６Ｇ０２）、メタデータをメタデータ合成部８ｆに渡す（Ｓ６Ｇ０３）。
図６Ｈのメタデータ合成部８ｆがメタデータを受け取る（Ｓ６Ｈ０１）と、すべてのメタデータに対し、メタデータ記憶部９ａに追加予定のメタデータが存在するか否かを調べ、そのメタデータが記憶されていない場合には記憶し、既に同じメタデータが記憶されている場合には破棄する。所定の単位毎（リクエストに対する結果データのひとかたまり）に送られてくるメタデータに対し、上記処理を繰り返す（Ｓ６Ｈ０２，Ｓ６Ｈ０３，Ｓ６Ｈ０４）。この処理により、オブジェクト軌跡情報８０は例えば１００フレーム〜１５０フレームの間のデータが時系列的に加えられ、また、オブジェクト関係情報７０は同様に時系列的に加えられて合成される。
上記ひとかたまりのメタデータの合成が終了すると、合成したメタデータはメタデータ記憶部９ａから読み出され関係情報７０は関係図描画部１０ｃに、オブジェクト軌跡情報８０はオブジェクト軌跡描画部１０ｄにそれぞれ送られ描画データが書き込まれる（Ｓ６Ｈ０５，Ｓ６Ｈ０６，Ｓ６Ｈ０７）。メタデータ合成部８ｆはつぎから次ぎと送られてくるメタデータに対し繰り返し上記合成処理を行う。
【００２９】
図６Ｉの関係図描画部１０ｃは、メタデータ合成部８ｆより関係情報を渡されると、関係情報をフレームバッファに書き込むことにより関係図を描画する画像を作成する（Ｓ６Ｉ０１，Ｓ６Ｉ０２，Ｓ６Ｉ０３）。同様に図６Ｉのオブジェクト軌跡描画部１０ｄは、フレームバッファに書き込むことにより映像上に軌跡を描画する画像を作成する（Ｓ６Ｉ０４，Ｓ６Ｉ０５，Ｓ６Ｉ０６）。さらにグリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからグリッド領域の情報が渡されると、このグリッド領域の情報をフレームバッファに書き込むことによりグリッドを描画する画像を作成する（Ｓ６Ｉ０７，Ｓ６Ｉ０８，Ｓ６Ｉ０９）。
合成処理部１０ｅは、映像描画部１０ａの映像，グリッド選択領域描画部１０ｂのグリッド画像，オブジェクト軌跡描画部１０ｄの軌跡画像および関係図描画部１０ｃの関係図の画像を重ねる処理を行うことにより合成を行い（Ｓ６Ｉ１０，Ｓ６Ｉ１１，Ｓ６Ｉ１２，Ｓ６Ｉ１３，Ｓ６Ｉ１４）、この画像が表示装置に表示される（Ｓ６Ｉ１５）。
図６Ｉ−１に表示装置に表示される合成画像の一例を示す。
オブジェクトに外接する楕円が軌跡領域であり、軌跡領域に一部重なっている円の領域がユーザがクリックしたグリッド領域である。なお、１０キー，方向キーで領域選択した場合には、画面が複数の方形形状または三角形状に分割された領域がグリッド領域である。映像の右側に関係図が表示されている。関係図は、映像のオブジックトに対応して同時に表示されるもので、表示位置の映像部分の他の部分（上側，左側，右側など）に表示することも可能であり、一部重ねて表示することも可能である。表示装置が２ディスプレイであれば、第１のディスプレイに映像を、近くに設置した第２のディスプレイに関係図を表示させることも可能である。また、軌跡の画面表示は、必要に応じて表示し、ユーザが視覚で確認できるように表示しても良いし、また、全く表示しなくても良い。この例のオブジェクト軌跡描画部１０ｄは、軌跡をオーバレイ表示しており、軌跡の中に「キャラＡ」という文字を表示させている。
また関係図中の「キャラＡ」のノードは拡大されており、映像中に現在出現しているオブジェクトを他のノードと比較し目立つように表示するものである。
【００３０】
つぎにサーバ装置の構成を説明する。
図７Ａの入力部は、サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
入力部２１ｃは要求の待ち受けを開始し、プレイヤ装置から要求を受信した場合にはその要求をパラメータ解析部２２ａに渡す（Ｓ７Ａ０１，Ｓ７Ａ０２，Ｓ７Ａ０３）。パラメータ解析部２２ａは、入力部２１ｃから要求を受け取り、要求の文字例を解析する。すなわち、どのような要求があったか否かを解釈する（Ｓ７Ａ０４，Ｓ７Ａ０５）。
このパラメータ解析部２２ａはサーバ装置１のコントローラとしての機能を果たし、プレイヤ装置３ａ〜３ｎからの４つの要求（１）（２）（３）および（４）に対し処理を実行することとなる。要求（１）はプレイヤ装置から静的知識情報（関係情報７０）を要求するものであり、かかる要求の場合にはその要求をオブジェクト情報検索部２２ｃに渡す（Ｓ７Ａ０６，Ｓ７Ａ０７）。静的知識情報の要求でない場合にはオブジェクト軌跡情報の要求であるか否か判断し、オブジェクト軌跡情報８０の要求である場合にはオブジェクト軌跡情報検索部２２ｄにその要求を渡す（Ｓ７Ａ０８，Ｓ７Ａ０９）。なお、要求（３）はサーバ装置にオブジェクト軌跡ヒット判定部を持つ場合のフローであり、この実施の形態ではサーバ装置にオブジェクト領域衝突判定部２２ｅ（プレイヤ装置にオブジェクトヒット判定部が存在すれば、実際は不要である）を記載してサーバ装置側でもヒット判定が可能であることを示している関係上、以後の説明ではサーバ装置側でヒット判定する場合も併せて説明する。サーバ装置にオブジェクト軌跡ヒット判定部を持つ例として、プレイヤ装置が小型で、負荷を軽減化する場合などに適用される。
【００３１】
図８に各種要求（１）（２）（３）および（４）の具体例を示す。
静的情報取得の要求（１）は映像コンテンツのＩＤおよびユーザのＩＤのデータより構成されている。
オブジェクト軌跡データ取得の要求（２）は何フレームから何フレームまでの軌跡情報かを要求するもので、映像コンテンツのＩＤ，ユーザのＩＤ，要求する映像のフレームの開始時間および終了時間より構成されている。
オブジェクトヒット判定の要求（３）は上述したようにサーバ装置でヒット判定する場合である。
要求内容としては以下の６通りであり、記載内容は一例である。
それぞれについては映像コンテンツのＩＤ，ユーザのＩＤおよびヒットした時間が含まれている。１行目の要求は、遅延クリックの開始時間６２８（遅延分を考慮してさかのぼる時間）と終了時間６８８およびその対象座標の位置（Ｘ座標３８２，Ｙ座標２５７）が示されており、６０フレームだけさかのぼって判定を行うものである。２行目は、遅延クリックはなく、対象時間５２０のクリックした位置（Ｘ座標４１６とＹ座標１５４）のみが示されており、さかのぼることはない。３行目は、２行目の記載に加えて、半径１０の判定幅でヒット判定を行うものである（マウスクリック）。４行目は、領域のヒット判定を行うもので、領域として幅２１３，高さ１６０の四角形の領域に対する判定要求である（領域クリック）。５行目は、遅延クリックが０フレームまでさかのぼり、かつ判定範囲が半径８の要求である（マウスクリック）。６行目は、遅延クリックが４４１までさかのぼり、幅８０，高さ６０の四角形の領域に対する判定要求である（領域クリック）。
要求（３）は、遅延クリックと領域クリックがプレイヤ装置によってオンオフできる場合などに用いられる。
オブジェクト詳細データ取得の要求（４）は、プレイヤ装置でヒットしたオブジェクトの要求をサーバ装置に行うもので、ヒットした映像コンテンツのＩＤ，ユーザのＩＤ，クリックした映像のフレームおよびクリックした映像中のオブジェクトのＩＤより構成されており、これによりクリックしてヒットしたオブジェクトの関係情報を得るものである。
【００３２】
図７Ｂの画像情報解析部２２ｂは、検索条件をパラメータ解析部２２ａから受け取ると、動画データ記憶部２３ａから検索条件に沿う動画データを読み出す（Ｓ７Ｂ０１，Ｓ７Ｂ０２）。そして画像の動き解析を行い、画像の秒当たりの動き速度を算出し、領域パラメータとしてオブジェクト領域衝突判定部２２ｅに渡す（Ｓ７Ｂ０３，Ｓ７Ｂ０４）。
これは、クリック領域の半径ｒが指定されなかった場合にサーバ装置で作る過程である。すなわち、要求（３）に対応するもので、画面の動きや軌跡の動き（映像データのどの動画の、何フレームかのデータ）からどれだけの半径にすべきかを決めるもので、動画データに入っている動画を解析してその動きを解析して最適なｒを計算するものである。
図７Ｂのオブジェクト情報検索部２２ｃは、検索条件をパラメータ解析部２２ａから受け取ると、そのデータをデータベース制御部２４に渡し、その結果を取得する（Ｓ７Ｂ０５，Ｓ７Ｂ０６，Ｓ７Ｂ０７）。そしてオブジェクト情報に関係情報があるか否かを判断し（Ｓ７Ｂ０８）、関係情報がある場合には関係情報の検索をデータベース制御部２４に依頼し（Ｓ７Ｂ０９）、その結果を取得し（Ｓ７Ｂ１０）、得られた結果を応答出力生成部２２ｆに渡す（Ｓ７Ｂ１１）。要求（４）はオブジェクト詳細情報を得るもので、オブジェクトの関係文を求めるものである。すなわち、関係文７５の中にオブジェクトについてオブジェクト情報７７，関係情報部７６の情報を得るものである。
【００３３】
図７Ｃのオブジェクト軌跡情報検索部２２ｄはオブジェクト軌跡についてオブジェクト情報検索部２２ｃと同様な検索を行うもので、パラメータ解析部２２ａから何フレーム目から何フレームまでという検索条件を受け取って、データベース制御部２４に渡す（Ｓ７Ｃ０１，Ｓ７Ｃ０２）。データベース制御部２４はその条件のものをメタデータ記憶部２３ｂにアクセスして、検索条件にあった軌跡情報８０を読み出す（Ｓ７Ｃ０３）。ここでヒット判定要求（３）のための検索であるか否かの判定を行い（Ｓ７Ｃ０４）、ヒット判定のためである場合には、ヒットするオブジェクトの候補として軌跡情報をオブジェクト衝突判定部２２ｅに渡す（Ｓ７Ｃ０５）。オブジェクト軌跡データ取得要求（２）である場合には得られた結果を応答出力部２２ｆに渡す（Ｓ７Ｃ０６）。
【００３４】
図７Ｄのオブジェクト領域衝突判定部２２ｅはオブジェクト軌跡情報検索部２２ｄから判定候補のオブジェクト軌跡情報（その時間に存在するかも知れない軌跡）を受ける（Ｓ７Ｄ０１）と、パラメータ解析部２２ａからどの座標について衝突（軌跡情報と重なっているか）判定を行うかという情報を受ける（Ｓ７Ｄ０２）。そして衝突判定する対象は点か領域かを判断し（Ｓ７Ｄ０３）、領域である場合には、衝突判定対象領域をクリック認識領域とする（Ｓ７Ｄ０４）。一方、点である場合には更に領域クリック機能が有効（オン状態）になっているかを判定し（Ｓ７Ｄ０５）、有効になっていない場合には衝突判定する点だけからなる領域を作成し、クリック認識領域とする（Ｓ７Ｄ０６）。有効になっている場合には領域クリックパラメータ（半径ｒなど）を画素情報解析部２２ｂから受け取り、クリック認識領域を算出する（Ｓ７Ｄ０７，Ｓ７Ｄ０８）。
このようにしてクリック認識領域した後、衝突オブジェクト軌跡リストを初期化する（Ｓ７Ｄ０９）。そして判定時刻（フレーム番号）におけるオブジェクトの位置を算出し、衝突候補オブジェクト軌跡のそれぞれに対し、オブジェクト軌跡とクリック認識領域が共通領域（重なっている部分）を持つか判定し、共通領域を持っている場合には衝突オブジェクト軌跡リストに追加する（Ｓ７Ｄ１０，Ｓ７Ｄ１１，Ｓ７Ｄ１２，Ｓ７Ｄ１３）。
このような動作の判定を衝突候補オブジェクト軌跡のそれぞれについて繰り返し、終了すれば（Ｓ７Ｄ１４）、遅延クリック機能（ユーザがクリックした時刻からさかのぼる）が有効になっているか否かを判定する（Ｓ７Ｄ１５）。有効でない場合には、衝突オブジェクト軌跡リストをそのままオブジックト情報検索部２２ｃに渡す（Ｓ７Ｄ１８）。
遅延クリックが有効である場合には判定時刻を１フレーム戻し（Ｓ７Ｄ１６）、このフレームが（最初に与えられた判定時刻−現在の判定時刻）すなわちｎ秒になっているか判断し（Ｓ７Ｄ１７）、ｎ（戻すフレーム数）秒になっていなければ、Ｓ７Ｄ１０に戻って衝突判定を行う。ｎ秒になった場合はＳ７Ｄ１０〜Ｓ７Ｄ１７のループを抜けて衝突オブジェクト軌跡リストをオブジェクト情報検索部２２ｄに渡す（Ｓ７Ｄ１８）。
【００３５】
ここで、Ｓ７Ｄ１０の判定時刻におけるオブジェクトの位置計算の詳細について図７ＥのＡフローを用いて説明する。対象オブジェクトと時刻を受け取り、オブジェクト軌跡情報検索部２２ｄから当該時刻が含まれる軌跡情報を取得する（Ｓ７Ｅ０１，Ｓ７Ｅ０２）。すなわち、どのオブジェクト情報について何フレーム目の位置かを算出するための情報を取得する。
まず、目的とするオブジェクトの軌跡情報が存在するか否かを判断し（Ｓ７Ｅ０３）、当該オブジェクト軌跡が存在しない場合（戻りすぎた場合など）には終了とする（Ｓ７Ｅ０４）。軌跡情報が存在する場合には、当該時刻が軌跡情報内にある定義領域で示された時刻と一致するか判定する（Ｓ７Ｅ０５）。一致した領域が存在すればその定義領域をそのままオブジェクト領域とする（Ｓ７Ｅ０９）。例えば、定義領域が１００フレーム目，１５０フレーム目，１８０フレーム目が存在し、クリックした判定時刻が１５０フレーム目であるとすれば、定義領域の中に１５０フレーム目が存在するので、その１５０フレームをそのまま用いる。
定義領域に存在しない場合に当該時刻（＝ｔ）から見て直前の時刻（＝ａ），直後の時刻（＝ｂ）の定義領域を抽出する（Ｓ７Ｅ０６）。例えば、判定時刻が１３０フレーム目であれば、存在しないので、１３０フレーム目の軌跡情報を算出するために直前の１００フレーム目と直後の１５０フレーム目の情報を抽出する。以下、（ｔ−ａ）と（ｂ−ｔ）の比から比例係数ρを算出し、領域の各パラメータについて比例係数ρによって一次補完して領域を作成し、これをオブジェクト領域とする（Ｓ７Ｅ０７，Ｓ７Ｅ０８）。作成される定義領域の具体的位置は、前後の定義領域に対し、映像の変化の速度によって例えば、ピクセル単位で変動することとなる。
このように得られたオブジェクトの領域を呼び出し、元に返却する（Ｓ７Ｅ１０）。
【００３６】
図７Ｆは、応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
応答出力生成部２２ｆはオブジェクト情報検索部２２ｃおよびオブジェクト軌跡情報検索部２２ｄからのオブジェクト情報を取得し（Ｓ７Ｆ０１）、元のリクエストから要求タイプを取得する（Ｓ７Ｆ０２）。そして要求タイプに従ってオブジェクトを整形する（Ｓ７Ｆ０３）。例えば、オブジェクト軌跡情報が５０フレーム，１００フレーム，２００フレーム，３００フレーム，４００フレームの定義領域がある場合、要求が１００フレームから３００フレームであるときは、５０フレームと４００フレームは破棄される。
整形したオブジェクト情報はＸＭＬ変換部２２ｇに渡される（Ｓ７Ｆ０４）。
ＸＭＬ変換部２２ｇは応答出力生成部２２ｆからオブジェクト情報を受け取る（Ｓ７Ｆ０５）と、ＸＭＬスキーマを読み込み、オブジェクト−ＸＭＬ変換エンジンを起動してオブジェクト情報をＸＭＬデータに変換し、得られたＸＭＬデータを出力部２１ａに渡す（Ｓ７Ｆ０６，Ｓ７Ｆ０７，Ｓ７Ｆ０８）。出力部２１ａはＸＭＬデータを取得すると出力ストリームにＸＭＬデータを出力する（Ｓ７Ｆ０９，Ｓ７Ｆ１０）。
【００３７】
以上がプレイヤ装置およびサーバ装置の各機能部の構成，動作についての説明である。つぎに本発明の実施に係わる映像再生システム全体の処理の流れを図９，図９Ａ〜図９Ｆを用いて説明する。図９における流れはサーバ装置の処理を主体にしたもので、処理シーケンスは以下の通りである。
プレイヤ装置３をユーザが操作して希望する映像コンテンツを要求する（Ｓ９０１）と、その要求はコンテンツ供給装置１ｂに送られ、コンテンツ供給装置１ｂは、その映像コンテンツをプレイヤ装置３に送信する（Ｓ９０２）。プレイヤ装置３はその映像コンテンツ（映像データ）の関係情報７０をサーバ装置１ａに要求する（Ｓ９０３）。サーバ装置１ａは関係情報７０の検索の要求を受けると、図９Ａの流れに沿ってデータベース検索処理を起動する。これにより静的関係情報７０の検索を図９Ｃのシーケンスに従って行い（Ｓ９０４）、得られた関係情報７０をプレイヤ装置３に供給する（Ｓ９０５）。プレイヤ装置３は関係情報７０を受けると映像の再生を開始する（Ｓ９０６）。表示装置には映像とともに自動的に関係図も表示される。つぎにプレイヤ装置３はオブジェクト軌跡情報８０の取得を要求する（Ｓ９０７）。
【００３８】
サーバ装置１は、図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクト軌跡情報の検索を図９Ｄのシーケンスに従って行い（Ｓ９０８）、得られたオブジェクト軌跡情報をプレイヤ装置３に供給する（Ｓ９０９）。ここまでのシーケンスは映像の進行にしたがって順次映像の関係情報とオブジェクト軌跡情報がプレイヤ装置に取り込まれ表示される。
プレイヤ装置３は現在映像が再生中であるか否かを判定し、映像が再生中でなければ、そこで終了する（Ｓ９１０）。映像が再生中であれば、ユーザの入力操作（操作部によって映像中のオブジェクトのクリックなど）を監視することとなる。  
この状態でユーザが操作装置（入力装置）でクリックした領域がオブジェクト軌跡領域にヒットした場合にはヒットしたオブジェクトの情報をサーバ装置１に要求する（Ｓ９１２）。
サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これにより、ヒットオブジェクト関係情報をプレイヤ装置３に供給する（Ｓ９１４）。なお、Ｓ９１３はプレイヤ装置３ではなくサーバ装置１ｂにオブジェクトヒット判定部を備える場合、行われるステップであり、その動作シーケンスは図９Ｅに示されている。
【００３９】
プレイヤ装置３ａ〜３ｎはヒットオブジェクト情報が供給されると、そのオブジェクトの詳細情報（オブジェクト情報７７）をサーバ装置１に要求する（Ｓ９１５）。サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクトの詳細情報の検索を図９Ｆのシーケンスに従って行い（Ｓ９１６）、得られたオブジェクトの詳細情報をプレイヤ装置３に供給する（Ｓ９１７）。オブジェクトの詳細情報が供給されると、プレイヤ装置３はＳ９１０のステップに戻り、映像再生中の状態ではユーザの操作装置（入力装置）を監視し、入力操作があれば、Ｓ９１２〜Ｓ９１７のシーケンスを繰り返す。
【００４０】
つぎに図９のサブフローチャートを示す図９Ａ〜図９Ｆついて説明する。
図９Ａは、サーバ装置の待ち受け処理の流れを示し、図９のＳ６１，６４，６７，７０の位置で起動する。プレイヤ装置３ａ〜３ｎからの処理要求を受け、要求を受信できると、要求を解析する。要求の内容が適切であれば、つぎのデータベース処理を起動する。適切でなければエラー情報を作成する（Ｓ９Ａ０１〜Ｓ９Ａ０６）。
図９Ｂは図９ＡのＳ９Ａ０５のデータベース検索処理のフローである。
サーバ装置１ｂは検索条件を受け取ると、データベース２３に接続する。データベース２３に接続できた場合にはデータベース２３を検索して与えられたＩＤのコンテンツとユーザを探す。上記条件を満たすものが存在すれば、検索条件に従ってデータベース２３を検索する。そしてユーザ操作履歴を記録して終了する（Ｓ９Ｂ０１〜Ｓ９Ｂ０７）。
Ｓ９Ｂ０３においてデータベース２３に接続できない場合、Ｓ９Ｂ０５において条件を満たすものが存在しない場合にはエラー処理を行う（Ｓ９Ｂ０８）。
【００４１】
図９Ｃは図９のＳ９０４のステップにおける、静的関係情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する（Ｓ９Ｃ０１，Ｓ９Ｃ０２）。そして当該コンテンツに属する知識情報５０をすべて検索し、結果リストに保存する処理を下記のように行う（Ｓ９Ｃ０３）。すなわち、検索された知識情報すべてについて主語（主キャラクタなど）・目的語（敵キャラクタ，アイテムなど）として知識情報に含まれるオブジェクト情報７７を検索する（Ｓ９Ｃ０４，Ｓ９Ｃ０５）。そして検索されたオブジェクト情報が結果リストにない場合にはそのオブジェクト情報を結果リストに追加する（Ｓ９Ｃ０６，Ｓ９Ｃ０７）。つぎに述語として知識情報に含まれる関係情報部７６の情報を検索し、検索された関係情報が結果リストにない場合にはその関係情報を結果リストに追加する（Ｓ９Ｃ０８，Ｓ９Ｃ０９，Ｓ９Ｃ１０）。このＳ９Ｃ０４〜Ｓ９Ｃ１０のステップは繰り返し実行され、すべての知識情報について検索が終了する（Ｓ９Ｃ１１）と、結果リストを呼び出して元に返す（Ｓ９Ｃ１２）。
【００４２】
図９Ｄは図９のＳ９０８のステップにおける、オブジェクト軌跡情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する（Ｓ９Ｄ０１，Ｓ９Ｄ０２）。そして当該コンテンツに属するオブジェクト軌跡情報８０を検索し、結果リストに保存する処理を下記のように行う（Ｓ９Ｄ０３）。すなわち、検索された軌跡情報すべてについて当該軌跡情報の開始時間・終了時間と検索に与えられた開始時間・終了時間がオーバラップするか否かを判断する。オーバラップしない場合にはＳ９Ｄ１０に移行する。オーバラップする場合には当該軌跡の領域情報を検索する（Ｓ９Ｄ０４，Ｓ９Ｄ０５）。これは軌跡情報として例えば１００フレーム〜２００フレームまでである場合に、検索で与えられたフレームが１０００〜１５００である場合に、この場合の条件を除外するためである。検索された領域情報のうち、検索条件で与えられた時間内にあるものを結果リストに加える（Ｓ９Ｄ０７）。そして結果リスト内の領域情報で検索開始または終了時刻と一致するものが存在するか判定し、一致するものが存在しない場合には領域情報のうち、検索条件外で最も時間的に近いものを結果リストに加える（Ｓ９Ｄ０８，Ｓ９Ｄ０９）。この処理は、例えば１００フレーム，１６０フレーム，２１０フレームの領域情報が存在する場合に、検索条件として１００フレーム〜２００フレームであるとき、２１０フレームは検索条件外であるが、この２１０フレームがないと、２００フレームの領域情報を算出することができないからである。
このようにしてＳ９Ｄ０５〜Ｓ９Ｄ０９までの検索を繰り返し行い、すべての軌跡情報について検索すると、結果リストを呼び出し元に返す（Ｓ９Ｄ１０，Ｓ９Ｄ１１）。
【００４３】
図９Ｅは図９のＳ９１３のステップにおける、サーバ装置でヒット判定を行う処理のオブジェクト軌跡情報検索処理のフローチャートである。
検索条件を受け取り結果リストを初期化する（Ｓ９Ｅ０１，Ｓ９Ｅ０２）。そして当該コンテンツに属するオブジェクト軌跡情報８０を検索し（Ｓ９Ｅ０３）、オブジェクト領域衝突を判定する（Ｓ９Ｅ０４）。結果をリストに保存し、結果リストを呼び出し元に返す（Ｓ９Ｅ０５，Ｓ９Ｅ０６）。
【００４４】
図９Ｆは、図９のＳ９１６のステップにおける、オブジェクト詳細情報検索処理の流れを説明するためのフローチャートである。
検索条件（オブジェクトＩＤ，時間）を受け取り、結果リストを初期化する（Ｓ９Ｆ０１，Ｓ９Ｆ０２）。
条件に指定されたオブジェクトＩＤを持つオブジェクトを検索し（Ｓ９Ｆ０３）、当該オブジェクトを主語または目的語とする知識情報のすべてについて下記のように検索する（Ｓ９Ｆ０４）。すなわち、検索された知識情報すべてについて、主語（主キャラクタなど）・目的語（敵キャラクタ，アイテムなど）として知識情報に含まれるオブジェクト情報７７を検索する（Ｓ９Ｆ０５，Ｓ９Ｆ０６）。そして検索されたオブジェクト情報が結果リストにない場合にはそのオブジェクト情報を結果リストに追加する（Ｓ９Ｆ０７，Ｓ９Ｆ０８）。つぎに述語として知識情報に含まれる関係情報部７６の情報を検索し、検索された関係情報が結果リストにない場合にはその関係情報を結果リストに追加する（Ｓ９Ｆ０９，Ｓ９Ｆ１０，Ｓ９Ｆ１１）。このＳ９Ｆ０５〜Ｓ９Ｆ１１のステップは繰り返し実行され、すべての知識情報について検索が終了する（Ｓ９Ｆ１２）と、結果リストを呼び出して元に返す（Ｓ９Ｆ１３）。
【００４５】
図１０は、本発明による映像再生システムにおける領域クリック選択方式の実施の形態を説明するためのフローチャートである。
この実施の形態は、再生中の映像上に、キャラクタが現れ、同時にキャラクタのノード（関係図に表示されるオブジェクト）の関係図を表示装置に自動的に表示し、映像中のキャラクタに対しクリックした場合にオブジェクト軌跡を遡って読み出しヒット判定する流れの中で、マウスにより領域クリックした場合には、クリックした位置を中心に所定半径の円を選択領域とし、また、キーボードの１０キー（携帯電話機の１０キーなどを含む）やキーボードの方向キー（携帯電話機の方向キーなどを含む）によって領域選択する例であり、それら処理部分に特に注目したものである。例えば、入力装置が図１に示すキーボードおよびマウスであれば、キーボードの１０キー，方向キーおよびマウスの操作に対する処理となる。また、携帯電話機であれば、携帯電話機の方向キーと１０キーに対する処理となる。家庭用ゲーム機，携帯ゲーム機およびパソコン端末ゲーム機の入力装置にパッドを用いれば、このフローでは記載していないが、ジョイステックで領域選択する場合も含むものである。
【００４６】
上記領域クリックに対する処理はプレイヤ装置の制御部８ａ，オブジェクト軌跡ヒット判定部８ｃ，８ｄなどが中心に行うものである。
まず、制御部８ａは以下の監視や判定を主体的に行う。ユーザが映像再生のためのプレイヤ装置３を操作すると、プレイヤ装置３がコンテンツ供給装置とサーバ装置１にアクセスし、映像データおよび関係情報が供給され、コンテンツの準備が行われる（Ｓ１００１）。すなわち、ユーザがプレイヤ装置を操作して再生すべき映像コンテンツＡ１を選択するためキー操作を行うと、プレイヤ装置ではそのキー操作による設定ファイル（映像コンテンツＡ１を選択するため各データ）が形成され、設定ファイルが読み込まれ、インターネット上のコンテンツ供給装置１ｂにアクセスし、映像コンテンツＡ１を取得してプレイヤ装置のメモリ部９に格納する。さらにサーバ装置１にアクセスし、映像コンテンツＡ１対応の静的知識データ（関係情報７０）およびオブジェクト軌跡データ（軌跡情報８０）を検索させ、データベース２３より読み出し、プレイヤ装置３に送信させる。プレイヤ装置３はこの情報もメモリ部に格納する（Ｓ１００１）。
【００４７】
ついで、オブジェクト軌跡ヒット判定部８ｃおよび８ｄは記憶する選択開始時間の初期化を行う（Ｓ１００２）。そして選択決定の機能を有する制御部８ａは再生されている映像に対しユーザが操作をしたか否かを監視する（Ｓ１００３）。ユーザ入力であれば、その入力が選択決定操作であるか否かを判断し（Ｓ１００４）、決定操作であれば、現在の選択領域で決定する処理に移行する（Ｓ１００５）。
一方、領域決定のための操作でなければ制御部８ａはマウス入力か否か、マウス入力でなければ、１０キーか方向キーの入力か否かを判定する（Ｓ１００７，Ｓ１０１１）。
このステップでマウスの入力か、１０キー，方向キーによる領域キーかの選別が行われる。制御部８ａがマウス入力と判定すれば、オブジェクト軌跡ヒット判定部８ｄは、マウス座標を取得する（Ｓ１００８）。そして、現在のオブジェクト軌跡の動きから最適な円の半径ｒを算出する（Ｓ１００９）。この処理の詳細は図１１に示されている。円の半径ｒを取得すると、半径ｒの円の領域を選択領域とし（Ｓ１０１０）、この領域を現在の選択領域であると決定する（Ｓ１００５）。
【００４８】
制御部８ａがマウス入力でなく１０キー，方向キーの入力であると判定すれば、オブジェクト軌跡ヒット判定部８ｃは、決定キーか否かを判定する（Ｓ１０１２）。そして、決定キーであれば、Ｓ１００５に移行する。決定キーでなければ、前回入力したキーと同じキーであるか否かを判定する（Ｓ１０１３）。同じキーであれば、決定と判断し、その領域を現在の領域であると決定する（Ｓ１００５）。これは、例えば、携帯電話機がプレイヤ装置の機能を有する場合、そのボタン操作部の１０キーと決定キーが図１５に示すように離れた配置では、操作が不便であり、領域選択の１０キーから離れた決定キーを押す必要がないようにして操作の効率化を図ったものである。動画のオブジェクトをクリックする場合、迅速な決定が要求されるので、このような処理は有用である。
前回と同じキーでなければ、記憶している選択領域があるか否かを判定する（Ｓ１０１４）。記憶している領域がなければ、画面全体に対して押し下げられた１０キー，方向キーに対応する領域を選択領域とする（Ｓ１０１６）。記憶している領域があれば、記憶している選択領域に対し、押し下げられた１０キー，方向キーに対応する領域を選択領域とする（Ｓ１０１５）。つぎにＳ１０１５またはＳ１０１６で決定した選択領域が現在の選択領域として記憶し（Ｓ１０１７）、ユーザからの入力があったか否かの判定に戻る（Ｓ１００３）。
【００４９】
Ｓ１００４で決定操作と判定された場合、Ｓ１０１０でマウス座標を中心とする選択領域とした場合、またはＳ１０１２で同じキー連続入力により決定して選択領域とした場合のいずれかによってもオブジェクト軌跡ヒット判定部８ｃまたは８ｄはこれら領域を現在の選択領域と決定する（Ｓ１００５）。そして、決定された領域でヒット判定を行うこととなる（Ｓ１００６）。オブジェクト軌跡ヒット判定部８ｄの場合は図６ＤのＳ６Ｄ０５〜Ｓ６Ｄ０７で示すように遅延クリック処理を行って選択領域とオブジェクト軌跡のヒット判定を行う。また、オブジェクト軌跡ヒット判定部８ｃの場合は図６ＥのＳ６Ｅ１１〜Ｓ６Ｅ１６で示すように利用者がオブジェクトを認識してからキー入力まで時間を戻し、遅延クリック処理を行って選択領域とオブジェクト軌跡のヒット判定を行う。
オブジェクト軌跡ヒット判定部８ｃおよび８ｄは、領域選択手段，決定手段およびオブジェクト軌跡ヒット判定手段の各機能を含むものである。
【００５０】
図１１は、本発明による領域クリック選択方式におけるマウスクリックに基づく最適な円を取得する処理を説明するためのフローチャートで、図１０のＳ１００９の詳細図である。
オブジェクト軌跡ヒット判定部８ｄはユーザが入力したマウス座標を受け取る（Ｓ１１０１）と、画面のオブジェクトが激しく動いているか否かを判定する（Ｓ１１０２）。
ここで、オブジェクトの移動速度をＶ1 ＞Ｖ2 ＞Ｖ3 と定義し、激しく動いている場合には移動速度がＶ1 の付近であるとし、大きな半径ｒ1 とする（Ｓ１１０３）。オブジェクト軌跡が激しく動いていないと判定した場合は、つぎに動きが僅かであるか否かを判定する（Ｓ１１０４）。動きが僅かである場合、すなわち移動速度がＶ3 の付近である場合には小さい半径ｒ3 とする（Ｓ１１０５）。オブジェクト軌跡が少しでも動いている場合、すなわち移動速度がＶ2 の付近である場合には中程度の半径ｒ2 とする（Ｓ１１０６）。このようにして半径を算出し、この算出した半径を呼び出し元に戻す（Ｓ１１０７）。
【００５１】
図１２は、携帯電話機における領域選択を説明するための図である。
この実施の形態は、携帯電話機の１０キーに対し携帯画面またはプレイヤ装置（携帯電話機を入力装置のみとして使用する場合）の画面を９分割し、１つの１０キーに対し１つの分割領域を対応させている。
例えば、画面の右中央の領域の座標は（２００，１００）−（３００，２００）となり、「６」の１０キーの押し下げによって上記領域が選択されることとなる。
【００５２】
図１３は選択を開始した時間から決定までの時間を説明するための図で、領域クリック選択に、遅延クリックを組み合わせた例である。
例えば、時刻ｔで「４」のキーが押されたことにより、９つの画面分割領域の選択開始となる。このときの選択開始時間が記憶される。さらに選択開始時間ｔからΔｔだけ遅れて「５」が押されて絞り込みが行われたとする。この時の時刻は（ｔ＋Δｔ）であり、選択開始からの遅れはΔｔである。最後に決定ボタンの押し下げで決定がなされるまでの遅れをΔｕとすると、この時の時刻は（ｔ＋Δｔ＋Δｕ）であり、選択開始からのトータルの遅れは（Δｔ＋Δｕ）となる。したがって、遅延時間（Δｔ＋Δｕ）に対応するようにオブジェクト軌跡情報の戻す時間（フレーム数）も設定される。
このように遅延クリック処理を加えることにより、領域クリック選択の操作に対しユーザが実際に認識した時刻付近で選択しオブジェクト軌跡とのヒット判定を行うことができる。
【００５３】
図１４は、領域クリック選択方式の具体的な入力装置の画面分割例を説明するための図である。
（ａ）は上述したように携帯電話機の１０キーの０〜９のボタンに対し、９分割した画面の各領域を対応させたものである。
（ｂ）はゲーム機に用いるパッドのジョイステックの各方向を、８分割した画面の各領域に対応させたものである。各領域は３角形または４角形の領域に分割されている。
（ｃ）はキーボードの十字キー，家庭用ゲームまたは携帯ゲーム機の十字キーに対し、４分割した画面の各領域に対応させたものである。
【００５４】
以上の図１２，図１３および図１４（ａ）は、画面上の分割する領域を１つの１０キーに対し、１つの分割領域を対応させた例を、図６Ｅ−１は画面上の分割する領域を４つのキーに対し、１つの分割領域を対応させた例をそれぞれ示したが、これ以外の数の１０キーに対し、画面を多数分割して１つの分割領域に対応付けることも可能である。
入力スイッチ手段として１０キー，方向キーの例を示したが、このようなキーに限らず、英字キーやＪＩＳキーの領域を３角形や４角形の領域ができるように分割しても同様に本発明を適用することができる。
また、映像コンテンツはネットワーク上のコンテンツサーバ装置のデータベースやメタデータを管理するサーバ装置のデータベースに格納しておく例を示したが、格納場所は、プレイヤ装置に直接接続できるローカルメモリやＤＶＤやＨＤＤなどのディスク装置に格納しても良い。また、プレイヤ装置自体が内蔵しても良い。
【００５５】
さらには、オブジェクト軌跡ヒット判定はプレイヤ装置に備える場合を主に（一部サーバ装置側に存在する場合も説明している）構成やシーケンス説明をしたが、オブジェクト軌跡ヒット判定回路をプレイヤ装置に含まず、サーバ装置側のみに設けても良い。
また、コンテンツサーバ装置，サーバ装置およびプレイヤ装置をネットワークで接続して構成される映像再生システムの実施の形態について説明したが、コンテンツサーバ装置，サーバ装置およびプレイヤ装置の各機能部を１つの装置内に内蔵させた装置、例えば映像再生装置システムとして構成することも可能である。かかる場合には映像に関するデータ構造は図５の例に示すような構造であり、各機能部は、図６Ａ〜図６Ｉ，図７Ａ〜図７Ｆで説明した構成と略同じである。ただし、サーバ装置とプレイヤ装置の間を通信する手段であるネットワークインタフェース２１ｂ，ネットワーク通信部１２（図４参照）は不要である。この映像再生装置は映像およびメタデータならびに検索部なども持っているため、装置自体の処理の負担はサーバ装置，プレイヤ装置に分散する場合に比較し大きくなるが、ネットワーク通信の処理が省けるため映像および関係図表示のための表示処理速度は向上する。さらに映像，メタデータ，制御データ，選択データなどを各データ別に目的にあったメモリ媒体に記録でき、効率的なメモリ手段の構築が可能となる。
【産業上の利用可能性】
【００５６】
映像コンテンツをプレイヤ装置で再生する映像再生システムにおける領域クリック選択方式ならびに該システムに用いるプレイヤ装置であり、家庭用や業務用に用いられる。
【図面の簡単な説明】
【００５７】
【図１】本発明による映像再生システムにおける領域クリック選択方式を説明するためのシステム概略図である。
【図２】本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
【図３】本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
【図４】プレイヤ装置とサーバ装置における各機能部の情報送受の関係を説明するための図である。
【図５】本発明で送受される動画ファイルのデータ構造の一例を示す図である。
【図６Ａ】プレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
【図６Ｂ】プレイヤ装置の制御部の構成を説明するためのフローチャートである。
【図６Ｃ】プレイヤ装置の映像制御部の構成を説明するためのフローチャートである。
【図６Ｄ】プレイヤ装置のオブジェクトヒット判定部（マウス座標）の構成を説明するためのフローチャートである。
【図６Ｄ−１】選択領域と軌跡領域が僅かに重なっている状態を示す図である。
【図６Ｅ】プレイヤ装置のオブジェクトヒット判定部（キー選択矩形）の構成を説明するためのフローチャートである。
【図６Ｅ−１】映像中のグリッド領域の表示例を示す図である。
【図６Ｆ】プレイヤ装置のネットワーク通信部の構成を説明するためのフローチャートである。
【図６Ｇ】プレイヤ装置のメタデータ解析部の構成を説明するためのフローチャートである。
【図６Ｈ】プレイヤ装置のメタデータ合成部の構成を説明するためのフローチャートである。
【図６Ｉ】プレイヤ装置のグリッド選択領域描画部，関係図描画部，オブジェクト軌跡描画部および合成処理部の構成を説明するためのフローチャートである。
【図６Ｉ−１】表示装置に表示される合成画像の一例を示す図である。
【図６Ｊ】図６Ｄおよび図６Ｅの遅延クリックのシーケンスの詳細を説明するためのフローチャートである。
【図７Ａ】サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
【図７Ｂ】サーバ装置の画像情報解析部およびオブジェクト情報検索部の構成を説明するためのフローチャートである。
【図７Ｃ】サーバ装置のオブジェクト軌跡情報検索部の構成を説明するためのフローチャートである。
【図７Ｄ】サーバ装置のオブジェクト領域衝突判定部の構成を説明するためのフローチャートである。
【図７Ｅ】図７ＤのサブフローＡの特定時刻におけるオブジェクト位置の算出方法を説明するためのフローチャートである。
【図７Ｆ】サーバ装置の応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
【図８】本発明における各取得要求および判定要求の内容の一例を示す図である。
【図９】本発明による領域クリック選択方式を適用した映像再生システムの処理シーケンスを説明するための図である。
【図９Ａ】サーバ装置の待ち受け処理の流れを説明するためのフローチャートである。
【図９Ｂ】データベース検索処理の流れを説明するためのフローチャートである。
【図９Ｃ】静的知識情報検索処理の流れを説明するためのフローチャートである。
【図９Ｄ】オブジェクト軌跡情報検索処理の流れを説明するためのフローチャートである。
【図９Ｅ】オブジェクトヒット判定処理の流れを説明するためのフローチャートである。
【図９Ｆ】オブジェクト詳細情報検索処理の流れを説明するためのフローチャートである。
【図１０】本発明による映像再生システムにおける領域クリック選択方式の実施の形態を説明するためのフローチャートである。
【図１１】本発明による領域クリック選択方式におけるマウスクリックに基づく最適な円を取得する処理を説明するためのフローチャートである。
【図１２】携帯電話機における領域選択を説明するための図である。
【図１３】領域クリック方式に遅延クリックを組み合わせた実施の形態を説明するための図である。
【図１４】領域クリック選択方式の具体的な入力装置の画面分割例を説明するための図である。
【図１５】携帯電話機の領域クリックとする１０キーと決定キーの配置例を説明するための図である。
【符号の説明】
【００５８】
１  サーバ装置
１ａ  メタデータ管理サーバ装置  
１ｂ  コンテンツサーバ装置  
２  ネットワーク  
３（３ａ〜３ｎ）  プレイヤ装置  
４  オーサリング装置
５（５ａ〜５ｎ）  操作部  
６  入力処理部
７  タイマ
８  プレイヤ制御回路
８ａ  制御部
８ｂ  映像制御部
８ｃ  オブジェクト軌跡ヒット判定部（キー選択矩形）
８ｄ  オブジェクト軌跡ヒット判定部（マウス座標）
８ｅ  メタデータ解析部  
８ｆ  メタデータ合成部
９  メモリ部（半導体メモリ）
９ａ  メタデータ記憶部
９ｂ  選択情報記憶部
１０  画像処理部
１０ａ  映像描画部
１０ｂ  グリッド選択領域描画部
１０ｃ  関係図描画部
１０ｄ  オブジェクト軌跡描画部
１１（１１ａ〜１１ｎ）  表示装置
１２，２１  ネットワーク通信部
２１ａ  出力部  
２１ｂ  ネットワークインタフェース
２１ｃ  入力部
２２  サーバ制御回路
２２ａ  パラメータ解析部  
２２ｂ  画素情報解析部  
２２ｃ  オブジェクト情報検索部
２２ｄ  オブジェクト軌跡情報検索部
２２ｅ  オブジェクト領域衝突判定部  
２２ｆ  応答出力生成部
２２ｇ  ＸＭＬ変換部
２３  データベース
２４  データベース制御部
２５  メモリ部
２６  操作装置
２７  入力制御部
２８  画像処理部
２９  表示装置
４０  動画ファイル
５０  知識情報
６０  ユーザ情報
７０  関係情報
７５  関係文
７６  関係情報部
７７  オブジェクト情報
８０  軌跡情報
８５  軌跡情報部
８６  軌跡領域情報
【図１】
2007233542.tif 000003
【図２】
2007233542.tif 000004
【図３】
2007233542.tif 000005
【図４】
2007233542.tif 000006
【図５】
2007233542.tif 000007
【図６Ａ】
2007233542.tif 000008
【図６Ｂ】
2007233542.tif 000009
【図６Ｃ】
2007233542.tif 000010
【図６Ｄ】
2007233542.tif 000011
【図６Ｄ−１】
2007233542.tif 000012
【図６Ｅ】
2007233542.tif 000013
【図６Ｅ−１】
2007233542.tif 000014
【図６Ｆ】
2007233542.tif 000015
【図６Ｇ】
2007233542.tif 000016
【図６Ｈ】
2007233542.tif 000017
【図６Ｉ】
2007233542.tif 000018
【図６Ｉ−１】
2007233542.tif 000019
【図６Ｊ】
2007233542.tif 000020
【図７Ａ】
2007233542.tif 000021
【図７Ｂ】
2007233542.tif 000022
【図７Ｃ】
2007233542.tif 000023
【図７Ｄ】
2007233542.tif 000024
【図７Ｅ】
2007233542.tif 000025
【図７Ｆ】
2007233542.tif 000026
【図８】
2007233542.tif 000027
【図９】
2007233542.tif 000028
【図９Ａ】
2007233542.tif 000029
【図９Ｂ】
2007233542.tif 000030
【図９Ｃ】
2007233542.tif 000031
【図９Ｄ】
2007233542.tif 000032
【図９Ｅ】
2007233542.tif 000033
【図９Ｆ】
2007233542.tif 000034
【図１０】
2007233542.tif 000035
【図１１】
2007233542.tif 000036
【図１２】
2007233542.tif 000037
【図１３】
2007233542.tif 000038
【図１４】
2007233542.tif 000039
【図１５】
2007233542.tif 000040