(57)【要約】【課題】制御部があらかじめ映像のＩフレームの位置を知っておき、再生命令を出す際にその位置がＩフレーム位置でない場合には前後真近のＩフレーム位置に補正することにより、シーク時の映像（実際のシーク位置）と描画システム（制御部が指令するシーク位置）との間でズレが生じないようにした映像再生システムにおける映像シーク制御方式を提供する。【解決手段】ユーザが操作部５ａのスライダ３０ａを操作すると、どの位置から再生すべきであるというシーク命令がプレイヤ装置３に送出される。プレイヤ装置３の制御部はそのシーク命令のフレームが予め取得してある映像コンテンツのメタデータのキーフレームリスト中に存在する場合には、そのフレームから、フレームが存在しない場合には最も近いフレームからシークを行うように映像制御部をシーク動作させる。【選択図】図１
2008236390.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、
動画データ記憶部から映像コンテンツデータを読み込み、映像コンテンツデータのキーフレームの位置情報のリストを取得し、メタデータ記憶部の、対応するエントリにキーフレームリストを書き込むキーフレーム解析手段と、
シーク動作の制御を行う映像制御部と、
映像シーク操作部を有する操作部と、
前記メタデータ記憶部にアクセスして要求した動画のキーフレームリストを含むコンテンツデータを読み出した場合、該キーフレームリストを記憶するキーフレームリスト記憶部を有し、前記操作部で映像シーク操作が行われ、映像のシーク先のキーフレームの位置情報を受けた場合、前記キーリスト記憶部のキーフレームリストと、前記シーク先のキーフレームの位置情報とを比較し、キーフレームリスト中に同じ位置対応のキーフレームがある場合、入力されたシーク先のキーフレームで前記映像制御部にシーク動作を行わせ、キーフレームリスト中に同じ位置対応のキーフレームがない場合には最も近い位置のキーフレームで前記映像制御部にシーク動作を行わせる制御部と、
を備えたことを特徴とする映像再生システムにおける映像シーク制御方式。
【請求項２】
キーフレームリストは、各動画について多数のキーフレームの位置を示す情報の列であり、該キーフレームの位置を示す情報は、Ｉフレームの位置情報または、時間情報で記されていることを特徴とする請求項１記載の映像再生システムにおける映像シーク制御方式。
【請求項３】
前記請求項１の映像再生システムは、サーバ装置と、該サーバ装置と通信するプレイヤ装置とからなり、
前記サーバ装置は、前記キーフレーム解析手段を有し、
前記プレイヤ装置は、前記操作部と、前記映像制御部と、前記制御部とを有することを特徴とする映像再生システムにおける映像シーク制御方式。
【請求項４】
前記プレイヤ装置は、任意の動画についてキーフレームの位置情報を含むコンテンツメタデータの取得を要求する要求手段を有し、
前記サーバ装置は前記コンテンツメタデータ取得要求があった場合、前記メタデータ記憶部に前記任意の動画についてコンテンツメタデータがある場合には、該コンテンツメタデータを読み出し前記プレイヤ装置に送信する検索送信手段を有することを特徴とする請求項３記載の映像再生システムにおける映像シーク制御方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生映像に同期して映像内容に関連した情報（メタデータ）を動的に表示できるようにしたプレイヤ機能およびサーバ機能を備える映像再生システムにおいて、再生中にユーザがシーク操作部を操作してスキップした新たな再生位置で映像を再生するときに行われる映像のシーク制御方式に関する。
【背景技術】
【０００２】
静止画の再生については、そのファイル内に静止画に関する情報が付加され、ユーザの操作にしたがってその静止画のプロパティ情報や説明文を画面上に表示されるものが実施されている。この付加情報によりユーザは撮影した風景や人物などの写真などについて、より詳しい情報を得ることが可能である。
映像（動画）の再生については、再生映像に関連する情報（メタデータ）が付加され、映像再生にともない種々の利用形態が提案されている。
【０００３】
上記利用形態の１つとしてコンテンツ保存部分から映像コンテンツを受けて記録再生装置で再生し、ネットワークを介して多数の情報処理装置に配信する情報処理システムが提案されている（特許文献１）。これはメタデータの利用形態の一例を開示するものであり、ユーザは放送局，ネット放送局やユーザ自身が取得したコンテンツ記録媒体からコンテンツを取得し、取得したコンテンツを特定するための識別情報とともに記録再生装置の内部記録媒体などに記録するとともに再生するシステムである。記録再生装置はユーザの指示に基づき必要に応じてネットワークを介して検索サーバに接続し、コンテンツの特定シーンに登場するオブジェクトに関連する関連情報を含むメタデータの取得要求を行い、メタデータを取得する。そして取得したメタデータに基づき必要に応じてネットワークを介してＷＥＢサーバからコンテンツの特定シーンに含まれるオブジェクトに関するさらに詳細な情報を取得する技術が開示されている。
【０００４】
この技術により従前に比較しコンテンツの特定シーンに含まれるオブジェクトの関連情報をより多くのユーザに提供する目的を達成している。
【０００５】
ところで、特許文献１は再生画面についてメタデータをどのように表示させるかの開示はない。例えば、再生されている映像の、ある場面についてユーザが操作した場合、それに関連するメタデータが、再生されている映像に対しどのような位置に、どのようなタイミングで表示され、その表示内容がどのような形で表示されるかは不明である。
【特許文献１】特開２００４−２７２４９０号公報
【特許文献２】特願２００５−３７１７５６号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般にドラマやアニメーションなどの映像において、登場する人物が非常に多く次からつぎへと出現し、高速に移動し消えていく場合にはユーザはその内容（登場人物の関係や名前，いまどの状態にあるかなど）を理解するのは用意ではない。
そこで、本件出願人は、プレイヤ装置の表示装置に表示される映像を、動画とともに現在表示されている動画に関連したオブジェクト（キャラクタ，アイテム，ＢＧＭ）に対し、その関係や現況を示すの関係図を同時に表示する映像再生システムにおけるオブジェクト関連自動表示方式（特許文献２）を提案し、上記問題を解決している。
【０００７】
ところで、このような映像再生システムにおいて、再生される動画のファイル形式はフレーム間を圧縮したＭＰＥＧ２，４方式などのフレーム間圧縮方式を採用するものが多い。これは図１６に示すようにＩフレーム，ＢフレームおよびＰフレームより構成されており、Ｉフレームはフレーム内圧縮方式であるので、この位置から映像を再生するのは容易である。しかしながらＢフレームは前後のフレームからの差分のデータであるため、この位置から画像を再生するのは困難である。また、Ｐフレームも前のフレームからの差分のデータであるため同様にこの位置から画像を再生するのは困難である。
そのため通常はＩフレーム以外は、前のＩフレームからの再生となり、誤差は数フレーム（数百ミリ秒程度）であるので問題はないが、上記提案した映像再生システムではこの制御の同期が必要となる。これは制御部が管理している時間と映像の再生位置とは厳密に同期が取れることが要求されるからである。
【０００８】
実際に既提案の映像再生システムでは制御部が映像再生部に送出した再生命令の時間から必ずしも映像が再生されているとは限らない。そのため制御部が管理する時間の映像の再生位置にズレが生じることとなる。
本発明は上記状況に鑑みなしたもので、その目的は、制御部があらかじめ映像のＩフレームの位置を知っておき、再生命令を出す際にその位置がＩフレーム位置でない場合には前後真近のＩフレーム位置に補正することにより、シーク時の映像（実際のシーク位置）と描画システム（制御部が指令するシーク位置）との間でズレが生じないようにした映像再生システムにおける映像シーク制御方式を提供することにある。
【課題を解決するための手段】
【０００９】
前記目的を達成するために本発明の請求項１は、映像コンテンツと該映像コンテンツの各映像に対応するメタデータを有し、映像の再生に伴い映像とメタデータを表示装置に表示する映像再生システムであって、動画データ記憶部から映像コンテンツデータを読み込み、映像コンテンツデータのキーフレームの位置情報のリストを取得し、メタデータ記憶部の、対応するエントリにキーフレームリストを書き込むキーフレーム解析手段と、シーク動作の制御を行う映像制御部と、映像シーク操作部を有する操作部と、前記メタデータ記憶部にアクセスして要求した動画のキーフレームリストを含むコンテンツデータを読み出した場合、該キーフレームリストを記憶するキーフレームリスト記憶部を有し、前記操作部で映像シーク操作が行われ、映像のシーク先のキーフレームの位置情報を受けた場合、前記キーリスト記憶部のキーフレームリストと、前記シーク先のキーフレームの位置情報とを比較し、キーフレームリスト中に同じ位置対応のキーフレームがある場合、入力されたシーク先のキーフレームで前記映像制御部にシーク動作を行わせ、キーフレームリスト中に同じ位置対応のキーフレームがない場合には最も近い位置のキーフレームで前記映像制御部にシーク動作を行わせる制御部とを備えたことを特徴とする
本発明の請求項２は、請求項１記載の発明においてキーフレームリストは、各動画について多数のキーフレームの位置を示す情報の列であり、該キーフレームの位置を示す情報は、Ｉフレームの位置情報または、時間情報で記されていることを特徴とする。
本発明の請求項３は、前記請求項１の映像再生システムは、サーバ装置と、該サーバ装置と通信するプレイヤ装置とからなり、前記サーバ装置は、前記キーフレーム解析手段を有し、前記プレイヤ装置は、前記操作部と、前記映像制御部と、前記制御部とを有することを特徴とする。
本発明の請求項４は、請求項３記載の発明において前記プレイヤ装置は、任意の動画についてキーフレームの位置情報を含むコンテンツメタデータの取得を要求する要求手段を有し、前記サーバ装置は前記コンテンツメタデータ取得要求があった場合、前記メタデータ記憶部に前記任意の動画についてコンテンツメタデータがある場合には、該コンテンツメタデータを読み出し前記プレイヤ装置に送信する検索送信手段を有することを特徴とする。
【発明の効果】
【００１０】
上記構成によれば、シーク時の映像と描画システムとの間で同期をとることができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態を詳しく説明する。  
図１は、本発明による映像シーク制御方式を適用した映像再生システムを説明するためのシステム概略図である。
ネットワーク２を介して多数のプレイヤ装置３ａ〜３ｎがサーバ装置１にアクセスして映像および映像に関連するメタデータを取得することができる。プレイヤ装置３ａ〜３ｎは操作部５ａ〜５ｎの操作により、映像コンテンツをコンテンツサーバ装置１ｂからダウンロードすることができ、ダウンロードした映像コンテンツを表示装置１１ａ〜１１ｎに動画を表示することができる。表示装置１１ａ〜１１ｎに表示される各映像コンテンツに対し、メタデータ管理サーバ装置１ａにメタデータを要求し、そのメタデータによって表示装置１１ａ〜１１ｎの画面に動画を表示するとともにその動画に同期して動画に登場するオブジェクトの関係図を表示することができる。
【００１２】
メタデータ管理サーバ装置１ａが配信するメタデータはオーサリング装置４によって作成することができ、各映像コンテンツに対応した適切なメタデータに更新することも可能である。
コンテンツサーバ装置１ｂはドラマなどの各映像コンテンツを多数蓄積しているＨＤＤなどからなるデータベースを有し、プレイヤ装置３ａ〜３ｎの要求に沿った映像コンテンツを提供することができる。コンテンツサーバ装置１ｂは、プレイヤ装置３ａ〜３ｎに映像コンテンツを提供するものであるので、プレイヤ装置３ａ〜３ｎに直接接続できる記憶媒体の中に蓄積しても良いし、また、プレイヤ装置３ａ〜３ｎにＤＶＤのディスクデッキや大容量の半導体メモリ装置を内蔵させてディスク，半導体メモリより読み出して映像コンテンツを得ることも可能である。サーバ装置１とプレイヤ装置３ａ〜３ｎの接続はネットワークを介さずに直接接続することも可能である。
【００１３】
プレイヤ装置３の操作部５ａ・・・５ｎは映像の再生ボタン３０ｃ，停止ボタン３０ｄ，巻き戻しボタン３０ｆ，一時停止ボタン３０ｅ，早送りボタン３０ｂ，シークのためのスライダ３０ａの各ボタンが設けられている。
本発明によれば、スライダ３０ａを操作してシークした場合、表示装置１１ａに示されている映像，関係図が表示されている状態からユーザがシークした位置まで映像が飛んで映像が再生される制御において、ユーザが希望するシーク位置について予めその映像コンテンツにキーフレーム情報があれば、そのキーフレーム位置から、または希望するシーク位置に最も近いキーフレーム位置から再生される。
【００１４】
図２は、本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
プレイヤ装置３ａ〜３ｎはプレイヤ制御回路８，タイマ７，入力処理部６，メモリ部９，画像処理部１０およびネットワーク通信部１２を備えている。
プレイヤ制御回路８はプレイヤ装置全体の制御を司る他、制御部８ａ，映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄ，メタデータ解析部８ｅおよびメタデータ合成部８ｆの各機能部を有している。メモリ部９はサーバ装置１から取得したメタデータを記憶するメタデータ記憶部９ａおよびユーザが操作部５の操作により選択した情報を記憶する選択情報記憶部９ｂの各領域を備えている他、プレイヤ装置３ａ〜３ｎの制御に必要なデータの格納領域を有している。
【００１５】
図３は、本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
サーバ装置１は、ネットワーク通信部２１，サーバ制御回路２２，データベース制御部２４，メモリ部２５，入力制御部２７および画像処理部２８より構成されている。
サーバ制御回路２２は、サーバ装置全体の制御を司る他、パラメータ解析部２２ａ，画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃ，オブジェクト軌跡情報検索部２２ｄ，オブジェクト領域衝突判定部２２ｅ，応答出力生成部２２ｆおよびＸＭＬ変換部２２ｇの各機能部を有している。
【００１６】
ネットワーク通信部２１は、出力部２１ａ，ネットワークインタフェース２１ｂおよび入力部２１ｃを備えている。
データベース２３は映像コンテンツを格納する動画データ記憶部２３ａおよび映像コンテンツのメタデータを記憶するメタデータ記憶部２３ｂの記憶領域を有している。このデータベース２３は動画も記憶されており、サーバ装置１はコンテンツサーバ装置１ｂの機能を兼ねるものである。
画像処理部２８には表示装置２９が、入力制御部２７には操作装置２６がそれぞれ接続されており、サーバ装置１に対しデータを操作装置２６より入力してサーバ装置を制御し、その結果などを画像処理部２８を介して表示装置２９で表示できるようになっている。メモリ部２５はその処理の際に用いられるＲＡＭなどである。これら入出力を構成する装置部分は図１に示されているオーサリング装置４とは別にサーバ装置１を調整するためのものである。
【００１７】
つぎに本発明における映像再生システムの各機能部間の信号の送受および扱われるデータ構造について説明する。
図４は、プレイヤ装置とサーバ装置における各機能部の情報送受の関係を判り易くするために示したものである。
入力処理部６からの操作などの入力信号は制御部８ａに供給され、制御部８ａの出力は映像制御部８ｂ，オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄまたはネットワーク通信部１２に入力する。タイマ７の出力は映像制御部８ｂおよびネットワーク通信部１２に供給される。選択情報記憶部９ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃが選択領域とオブジェクト軌跡がヒットするか否かのために用いる選択情報を記憶するためのものである。メタデータ記憶部９ａはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄおよびメタデータ合成部８ｆによって使用される。ネットワーク通信部１２はオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃ，オブジェクト軌跡ヒット判定部（マウス座標）８ｄおよびタイマ７からの出力に基づき軌跡ヒット判定をサーバ装置のネットワークインタフェース２１ｂに送信する。また、サーバ装置から受けた情報はメタデータ解析部８ｅで解析されメタデータ合成部８ｆに送られる。映像描画部１０ａは映像制御部８ｂからの動画情報を入力し、グリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからのグリッド情報を入力する。また、関係図描画部１０ｃおよびオブジェクト軌跡描画部１０ｄはメタデータ合成部８ｆからのメタデータを入力してそれぞれの描画情報を作成して合成処理部１０ｅに渡す。合成処理部１０ｅは表示装置が接続されていて動画およびその関係図が表示される。
さらにネットワーク通信部１２は制御部８ａからキーフレーム情報を得るためのコンテンツＩＤ情報を受け、該ＩＤ情報をネットワークインタフェース２１ｂに送る。
【００１８】
サーバ装置においてネットワークインタフェース２１ｂはネットワーク通信部１２との情報の受け渡しを行い，受けた信号を入力部２１ｃを介してキーフレーム解析部２２ｈまたはパラメータ解析部２２ａに送る。パラメータ解析部２２ａは受けた情報を解析した結果、解析内容に従って画像情報解析部２２ｂ，オブジェクト情報検索部２２ｃまたはオブジェクト軌跡情報検索部２２ｄに各情報を送る。画素情報解析部２２ｂは画素情報にしたがって動画データ記憶部２３ａから該当する動画を読み出し、オブジェクト領域衝突判定部２２ｅに送る。オブジェクト情報検索部２２ｃはデータベース制御部２４を介して要求されているオブジェクト情報をメタデータ記憶部２３ｂより検索する。また、オブジェクト軌跡情報検索部２２ｄはデータベース制御部２４を介して要求されているオブジェクト軌跡情報をメタデータ記憶部２３ｂより検索する。オブジェクト領域衝突判定部２２ｅではオブジェクト軌跡情報検索部２２ｄからのオブジェクト軌跡情報と画素情報解析部２２ｂからのグリッド情報が重なっているか否かを判定し、重なっている場合にはオブジェクト情報検索部２２ｃにそのオブジェクト情報を送る。応答出力生成部２２ｆはオブジェクト軌跡情報検索部２２ｄおよびオブジェクト情報検索部２２ｃからのオブジェクト情報およびオブジェクト軌跡情報を集約しＸＭＬ変換部２２ｇに送り、ＸＭＬ変換部２２ｇで各情報をＸＭＬ形式に変換し、出力部２１ａを介してネットワークインタフェース２１ｂに渡す。
キーフレーム解析部２２ｈは、動画データ記憶部２３ａからメタデータを読み出し、このメタデータを解析してキーフレーム位置のリストを取得し、メタデータ記憶部２３ｂに格納する処理を予め行う。また、入力部２１ｃよりプレイヤ装置から動画コンテンツのＩＤを受信すると、メタデータ記憶部２３ｂにその動画コンテンツのメタデータ（キーフレーム情報かあれば、それを含むもの）を読み出し、ネットワークインタフェース２１ｂを介してプレイヤ装置に送出する。
【００１９】
図５は、プレイヤ装置とサーバ装置で送受されるメタデータのデータ構造の一例を示す図である。
動画ファイル４０は知識情報５０を有し、知識情報５０はユーザ情報６０，関係情報７０および軌跡情報８０を多数集合した情報で構成されている。関係情報７０は関係文７５，関係情報部７６およびオブジェクト情報７７より形成され、軌跡情報８０は、軌跡情報部８５および軌跡領域情報８６より形成されている。
動画ファイル４０は所在位置を示すＩＤの項目，動画ファイルを記した名前の項目，動画ファイルのファイル名を記した動画ファイルのＵＲＬの項目および関連する知識情報５０の項目より構成されている。この知識情報は複数列挙されることが可能である。
知識情報５０は、該知識情報のＩＤの項目，ドラマの名称などの名前の項目，動画ファイルの知識情報のＩＤ，ドラマなどの作成者の項目，オーサリングなどのために利用するドキュメントを記載した説明の項目（複数記載が可能），関係情報７０を列挙した項目および軌跡情報８０を列挙した項目より構成されている。
【００２０】
ユーザ情報６０は、ユーザのＩＤの項目，ユーザの名前，ユーザを識別するためのログインＩＤおよびパスワードの項目より構成されている。
関係情報７０は関係文７５が中心であり、関係文７５によりオブジェクト定義したオブジェクト情報７７のオブジェクトの間を関係情報部７６に示された述語関係により規定するものであり、関係文のＩＤの項目，関係文の名前の項目，主格オブジェクトＩＤ，目的格オブジェクトＩＤの項目およびそれらの間を説明する述語ＩＤの項目より構成されている。オブジェクト情報７７は、ユーザのクリックの対象となる例えば俳優などのキャラクタ，キャラクタが用いるアイテム，ＢＧＭなどであり、そのオブジェクトのＩＤの項目，オブジェクトの名前の項目，関係図に表示するオブジェクトの説明画像の項目ならびにオブジェクトを説明するための文言が記載された説明（クリックしたときに関係図に表示される文言）の項目より構成されている。該画像および説明の項目は複数列挙することが可能である。関係情報部７６はオブジェクト間の関係を記述するもので、人物関係図であれば「敵，味方」など，人物とアイテムの関係であれば、「使用する」などを規定するものである。人物などのＩＤの項目，人物など名前の項目，オーサリングなどで判り易くするための画像の項目および同じくオーサリングなどで関係を判り易くするための説明文を記した説明の項目より構成されている。
関係情報７０はこれらデータを積み重ねた集合体データである。
【００２１】
軌跡情報８０は、映像の動きに対応してオブジェクトの軌跡を動かすための情報であり、軌跡情報部８５は、あるオブジェクトがある時間にある動きをしたことを列挙した情報部である。
軌跡情報部８５は、オブジェクトのＩＤの項目，オブジェクトの位置を示すＵＲＩの項目，オブジェクトのＺ方向の位置（同じ画面に複数のオブジェクトが現れて重なる場合、どちらが手前であるか判断するためのもの）を示すＺ深度の項目，シーンの一部分においてオブジェクトが現れる時刻および消滅する時刻を示す開始時刻および終了時刻の項目ならびにある時間における領域情報８６の項目より構成されている。領域情報８６はある時間における領域の動きを規定するもので、複数列挙されることが可能である。領域情報８６は、オブジェクトのＩＤの項目，領域が変位し、その変位した順番（例えばオブジェクトが出現から消滅まで移動領域が５回変化したとすると、何回目かの番号）を記するシーケンス番号の項目，変位時の再生時間を示す時刻（再生開始からのフレーム数）および領域パラメータの項目から構成されている。
【００２２】
領域パラメータは、楕円や四角形などの形状を規定する項目，形状が例えば４角形であれば、その中心座標を示すＸ座標およびＹ座標の項目，四角形の幅および高さを示す幅および高さの項目ならびに四角形の回転角度を示す回転角度の項目より構成されている。形状が楕円の場合も同様に規定されるが、かかる場合は楕円に外接する四角形が基準となる。軌跡情報８０はこれらデータを積み重ねた集合体データである。
【００２３】
つぎに、図４の各機能部の構成について図６Ａ〜図６Ｉ（プレイヤ装置）および図７Ａ〜図７Ｆ（サーバ装置）を用いて説明する。
図６Ａはプレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
入力処理部６は、ユーザが操作部を操作したか否を監視し（ステップ（以下「Ｓ」という）６Ａ０１）、入力があれば、その入力情報を制御部８ａに渡す（Ｓ６Ａ０２）。図６Ｂの制御部８ａは入力情報を受け（Ｓ６Ｂ０１）、入力情報が１０キーまたは方向キーがあるか否かを判断する（Ｓ６Ｂ０２）。１０キーまたは方向キーであれば、オブジェクト軌跡ヒット判定部（キー選択矩形）８ｃにその入力情報を渡す（Ｓ６Ｂ０３）。
一方、マウスまたはボタンによる入力情報であれば、入力されたデータが映像上のマウスクリックか否かを判断し（Ｓ６Ｂ０４）、オブジェクト軌跡ヒット判定部（マウス座標）８ｄにマウス座標（入力情報）を渡す（Ｓ６Ｂ０５）。マウスクリックでない場合には、ボタンによる入力情報であるとして映像の再生か、または停止ボタンの押し下げかを判断し（Ｓ６Ｂ０６）、映像の再生などであるならば、その情報を映像制御部８ｂに渡し（Ｓ６Ｂ０７）、映像の再生などでなければ、終了する。
また、制御部８ａは操作部からスライダの操作情報が入力された場合、映像シーク命令を解析してシーク動作に移行制御する（図１４の処理）。
さらにコンテンツを示すＩＤが操作部から入力された場合、これをネットワーク通信部１２よりサーバ装置に送信する。そして返送されてくるキーフレーム情報を記憶する（図１２の処理）。
【００２４】
図６Ｃの映像制御部８ｂは、制御部８ａからボタン情報を受ける（Ｓ６Ｃ０１）と、再生ボタンか否かの判断を行い（Ｓ６Ｃ０２）、再生ボタンであれば、映像データ再生処理を行い（Ｓ６Ｃ０３）、映像描画部１０ａに渡す（Ｓ６Ｃ０６）。一方、再生ボタンでなければ、停止ボタンが押されたか否かを判断し（Ｓ６Ｃ０４）、停止ボタンであれば、映像の停止処理を行う（Ｓ６Ｃ０５）。停止ボタンが押されていなければ、引き続き映像データを映像描画部１０ａに渡す（Ｓ６Ｃ０６）。
映像制御部８ｂはこの他に制御部８ａから受け取る情報がシーク位置の情報であれば、シーク制御動作を行う。
図６Ｄのオブジェクト軌跡ヒット判定部（マウス座標）８ｄは、制御部８ａからマウス座標を受け取る（Ｓ６Ｄ０１）と、メタデータ記憶部９ａから軌跡情報を読み出す（Ｓ６Ｄ０２）。そして、現在のオブジェクト軌跡の動きから最適な円の半径ｒを取得する。
半径ｒの具体的な大きさは、例えば、オブジェクトが停止情報であれば半径ｒは小さく、動いていれば、動きの速さに応じて半径ｒを大きくとる（Ｓ６Ｄ０３）。これにより、マウス座標を中心とした半径ｒの円の領域を選択領域と決定する（Ｓ６Ｄ０４）。そして、映像中のオブジェクトの軌跡情報とユーザがマウスで選択した選択領域とが重なるか否か、すなわちヒットしているか否かの判定に移行する（Ｓ６Ｄ０５，Ｓ６Ｄ０６）。僅かでも重なっていればヒット判定をする。例えば、図６Ｄ−１の場合、選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される。
ヒットした場合にはオブジェクト情報をネットワーク通信部１２に渡す（Ｓ６Ｄ０９）。ヒットしていない場合には、映像を１フレーム時間戻してＳ６Ｄ０６で同様な判断を行う。依然としてヒットいない場合には予め決められているｎフレームまで同様な判断を試みる（Ｓ６Ｄ０６，Ｓ６Ｄ０７，Ｓ６Ｄ０８）。ｎフレーム値は、ユーザがオブジェクトを認識してからマウスをクリックするまでにオブジェクトが移動するであろう時間が設定される。なお、ｎフレームまで繰り返してもヒットしない場合、ユーザがオブジェクトを捕らえきらなかったものとして終了する。
【００２５】
一方、図６Ｅのオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃは、制御部８ａから受けたキー情報（入力情報）を受ける（Ｓ６Ｅ０１）と、領域の選択キーである１０キー・方向キーか、またはそれ以外であるマウス・ボタンかを判断し（Ｓ６Ｅ０２）、１０キー・方向キーであれば、そのキー操作が決定キーであるか、選択中のキーであるかを判断し（Ｓ６Ｅ０３）、決定キーでなければ、前回と同じキーで押されたか否かの判断を行う（Ｓ６Ｅ０４）。前回と同じキーが操作（同じキーを２回連続して押せば、決定操作がなされたとする）されたと判断すれば、決定を行ったとしてＳ６Ｅ１１に移行する。前回と同じキー操作でない場合には、既に記憶している選択開始時間（領域の選択キーが押されたときの時間）があるか否かを判断し（Ｓ６Ｅ０５）、選択開始時間が記憶されている場合には押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０８）。選択開始時間が記憶されていない（１０キー・方向キーによりどこも選択されていない）場合には今回１０キー・方向キーが押し下げられた時間を選択開始時間として記憶し、画面全体に対し押し下げされた１０キー・方向キーに対応する領域を選択領域とする（Ｓ６Ｅ０６，Ｓ６Ｅ０７）。そして、Ｓ６Ｅ０７またはＳ６Ｅ０８で決定した選択領域を現在の選択領域として記憶し（Ｓ６Ｅ０９）、グリッド選択領域描画部１０ｂに対し選択範囲の変更イベントを発行する（Ｓ６Ｅ１０）。これにより、映像のグリッド領域が例えば特定の色（赤色など）で表示される。
図６Ｅ−１に映像中のグリッド領域の表示例を示す。映像の表示領域を多数に分割し、その分割した領域に対応してそれぞれ複数の１０キーを割り当て、複数のキーの内、１つが押されることにより押されたキーが所属する分割領域を例えば赤で表示することにより選択されていることを示す。
この処理が終了すると、再度領域の選択キーか否かの判断のＳ６Ｅ０２に戻る。
Ｓ６Ｅ０３で決定キーと判断した場合には、記憶している選択開始時間まで時間を戻し（Ｓ６Ｅ１１）、さらに利用者がオブジェクトを認識してからキー入力までの時間だけ戻す（Ｓ６Ｅ１２）。この利用者のオブジェクト認識からキー入力までの時間は、人間の反応時間を考慮したもので、例えば０．２秒から０．５秒程度戻すこととなる。
そして、戻した時間のオブジェクト軌跡の位置情報を取得し、オブジェクト軌跡と現在の選択領域とで重なった部分が存在するか否かによってヒット判定を行い（Ｓ６Ｅ１３，Ｓ６Ｅ１４）、選択範囲の変更イベントをグリッド選択領域描画部１０ｂに発行し、選択していることを示す表示を解除する（赤を消滅させる）（Ｓ６Ｅ１５）。ヒットした場合にはヒットしたオブジェクト情報をネットワーク通信部１２に渡す。ヒットしない場合は終了する（Ｓ６Ｅ１６，Ｓ６Ｅ１７）。
この処理によりユーザが選択した領域が映像中のオブジェクトを捕らえているか否かの判断がなされる。
【００２６】
図６Ｆのネットワーク通信部１２は、映像再生についてタイマ７から再生開始から現在までの時間情報が渡されたか否かを判定し（Ｓ６Ｆ０１）、現在の映像の再生時間を渡された場合には現在時間のオブジェクト軌跡情報をサーバ装置（ネットワークインタフェース２１ｂ）に要求する（Ｓ６Ｆ０２，Ｓ６Ｆ０３）。そしてサーバ装置からオブジェクト軌跡情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０４，Ｓ６Ｆ０５）。一方、クリックがなされた場合にはオブジェクト軌跡ヒット判定部（マウス座標）８ｄからオブジェクト情報が渡されたか否かを判定し、オブジェクト情報が渡された場合にはこの情報を受け取り、オブジェクト情報７７のＩＤをキーに関係情報７０をサーバ装置に要求する（Ｓ６Ｆ０６，Ｓ６Ｆ０７，Ｓ６Ｆ０８）。そしてサーバ装置からオブジェクトの関係情報のＸＭＬを受信すると、取得したＸＭＬをメタデータ解析部８ｅに渡す（Ｓ６Ｆ０９，Ｓ６Ｆ１０）。
Ｓ６Ｆ０６においてオブジェクト軌跡ヒット判定部８ｄからオブジェクト情報ではなくマウス座標が渡された場合は、該マウス座標を受け取り（Ｓ６Ｆ１１）、サーバ装置にヒット結果オブジェクトの要求を行う（Ｓ６Ｆ１２）。サーバ装置からオブジェクトのヒット結果を受け取ると、ヒットしたか否か判断し、ヒットした場合にはＳ６Ｆ０８に移行する（Ｓ６Ｆ１３，Ｓ６Ｆ１４）。
ここでのネットワーク通信はプレイヤ装置で再生を行いながらサーバ装置から少しずつ情報を得るもので、数秒毎（例えば、２秒毎）に情報を得る。
【００２７】
ネットワーク通信部１２からＸＭＬデータを渡された図６Ｇのメタデータ解析部８ｅは、ＸＭＬからメタデータ（オブジェクト軌跡情報と関係情報）を抽出し（Ｓ６Ｇ０１，Ｓ６Ｇ０２）、メタデータをメタデータ合成部８ｆに渡す（Ｓ６Ｇ０３）。
図６Ｈのメタデータ合成部８ｆがメタデータを受け取る（Ｓ６Ｈ０１）と、すべてのメタデータに対し、メタデータ記憶部９ａに追加予定のメタデータが存在するか否かを調べ、そのメタデータが記憶されていない場合には記憶し、既に同じメタデータが記憶されている場合には破棄する。所定の単位毎（リクエストに対する結果データのひとかたまり）に送られてくるメタデータに対し、上記処理を繰り返す（Ｓ６Ｈ０２，Ｓ６Ｈ０３，Ｓ６Ｈ０４）。この処理により、オブジェクト軌跡情報８０は例えば１００フレーム〜１５０フレームの間のデータが時系列的に加えられ、また、オブジェクト関係情報７０は同様に時系列的に加えられて合成される。
上記ひとかたまりのメタデータの合成が終了すると、メタデータ記憶部９ａから合成したメタデータは読み出され関係情報７０は関係図描画部１０ｃに、オブジェクト軌跡情報８０はオブジェクト軌跡描画部１０ｄにそれぞれ送られ描画データが書き込まれる（Ｓ６Ｈ０５，Ｓ６Ｈ０６，Ｓ６Ｈ０７）。メタデータ合成部８ｆはつぎから次ぎと送られてくるメタデータに対し繰り返し上記合成処理を行う。
【００２８】
図６Ｉの関係図描画部１０ｃは、メタデータ合成部８ｆより関係情報を渡されると、関係情報をフレームバッファに書き込むことにより関係図を描画する画像を作成する（Ｓ６Ｉ０１，Ｓ６Ｉ０２，Ｓ６Ｉ０３）。同様に図６Ｉのオブジェクト軌跡描画部１０ｄは、フレームバッファに書き込むことにより映像上に軌跡を描画する画像を作成する（Ｓ６Ｉ０４，Ｓ６Ｉ０５，Ｓ６Ｉ０６）。さらにグリッド選択領域描画部１０ｂはオブジェクト軌跡ヒット判定部（キー選択矩形）８ｃからグリッド領域の情報が渡されると、このグリッド領域の情報をフレームバッファに書き込むことによりグリッドを描画する画像を作成する（Ｓ６Ｉ０７，Ｓ６Ｉ０８，Ｓ６Ｉ０９）。
合成処理部１０ｅは、映像描画部１０ａの映像，グリッド選択領域描画部１０ｂのグリッド画像，オブジェクト軌跡描画部１０ｄの軌跡画像および関係図描画部１０ｃの関係図の画像を重ねる処理を行うことにより合成を行い（Ｓ６Ｉ１０，Ｓ６Ｉ１１，Ｓ６Ｉ１２，Ｓ６Ｉ１３，Ｓ６Ｉ１４）、この画像が表示装置に表示される（Ｓ６Ｉ１５）。
図６Ｉ−１に表示装置で表示される合成画像の一例を示す。
オブジェクトに外接する楕円が軌跡領域であり、軌跡領域に一部重なっている円の領域がユーザがクリックしたグリッド領域である。映像の右側に関係図が表示されている。関係図は、映像のオブジックトに対応して同時に表示されるもので、表示位置の映像部分の他の部分（上側，左側，右側など）に表示することも可能であり、一部重ねて表示することも可能である。表示装置が２ディスプレイであれば、第１のディスプレイに映像を、近くに設置した第２のディスプレイに関係図を表示させることも可能である。また、軌跡の画面表示は、必要に応じて表示し、ユーザが視覚で確認できるように表示しても良いし、また、全く表示しなくても良い。全く表示しない場合には軌跡描画部は動作させない。
【００２９】
つぎにサーバ装置の構成を説明する。
図７Ａの入力部は、サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
入力部２１ｃは要求の待ち受けを開始し、プレイヤ装置から要求を受信した場合にはその要求をパラメータ解析部２２ａに渡す（Ｓ７Ａ０１，Ｓ７Ａ０２，Ｓ７Ａ０３）。パラメータ解析部２２ａは、入力部２１ｃから要求を受け取り、要求の文字例を解析する。すなわち、どのような要求があったか否かを解釈する（Ｓ７Ａ０４，Ｓ７Ａ０５）。
このパラメータ解析部２２ａはサーバ装置１のコントローラとしての機能を果たし、プレイヤ装置３ａ〜３ｎからの４つの要求（１）（２）（３）および（４）に対し処理を実行することとなる。要求（１）はプレイヤ装置から静的知識情報を要求するものであり、かかる要求の場合にはその要求をオブジェクト情報検索部２２ｃに渡す（Ｓ７Ａ０６，Ｓ７Ａ０７）。静的知識情報の要求でない場合にはオブジェクト軌跡情報の要求であるか否か判断し、オブジェクト軌跡情報８０の要求である場合にはオブジェクト軌跡情報検索部２２ｄにその要求を渡す（Ｓ７Ａ０８，Ｓ７Ａ０９）。なお、要求（３）はサーバ装置にオブジェクト軌跡ヒット判定部を持つ場合のフローであり、この実施の形態ではサーバ装置にオブジェクト領域衝突判定部２２ｅ（プレイヤ装置にオブジェクトヒット判定部が存在すれば実際は不要である）を記載してサーバ装置側でもヒット判定が可能であることを示している関係上、以後の説明ではサーバ装置側でヒット判定する場合についても併せて説明する。サーバ装置にオブジェクト軌跡ヒット判定部を持つ例として、プレイヤ装置が小型で、負荷を軽減化する場合などに適用される。
【００３０】
図８に各種要求（１）（２）（３）および（４）の具体例を示す。
静的情報取得の要求（１）は映像コンテンツのＩＤおよびユーザのＩＤのデータより構成されている。
オブジェクト軌跡データ取得の要求（２）は何フレームから何フレームまでの軌跡情報かを要求するもので、映像コンテンツのＩＤ，ユーザのＩＤ，要求する映像のフレームの開始時間および終了時間より構成されている。
オブジェクトヒット判定の要求（３）は上述したようにサーバ装置でヒット判定する場合である。
要求内容としては以下の６通りであり、記載内容は一例である。なお、以降に説明する遅延クリックとは、クリックの信号入力から所定時間まで随時１フレームずつ戻しながら判定を行うことであり、ユーザの操作の遅れを補完するものである。
それぞれについては映像コンテンツのＩＤ，ユーザのＩＤおよびヒットした時間が含まれている。１行目の要求は、遅延クリックの開始時間６２８（遅延分を考慮してさかのぼる時間）と終了時間６８８およびその対象座標の位置（Ｘ座標３８２，Ｙ座標２５７）が示されており、６０フレームだけさかのぼって判定を行うものである。２行目は、遅延クリックはなく、対象時間５２０のクリックした位置（Ｘ座標４１６とＹ座標１５４）のみが示されており、さかのぼることはない。３行目は、２行目の記載に加えて、半径１０の判定幅でヒット判定を行うものである（マウスクリック）。４行目は、領域のヒット判定を行うもので、領域として幅２１３，高さ１６０の四角形の領域に対する判定要求である（領域クリック）。５行目は、遅延クリックが０フレームまでさかのぼり、かつ判定範囲が半径８の要求である（マウスクリック）。６行目は、遅延クリックが４４１までさかのぼり、幅８０，高さ６０の四角形の領域に対する判定要求である（領域クリック）。
要求（３）は、遅延クリックと領域クリックがプレイヤ装置によってオンオフできる場合などである。
オブジェクト詳細データ取得の要求（４）は、プレイヤ装置でヒットしたオブジェクトの要求をサーバ装置に行うもので、ヒットした映像コンテンツのＩＤ，ユーザのＩＤ，クリックした映像のフレームおよびクリックした映像中のオブジェクトのＩＤより構成されており、これによりクリックしてヒットしたオブジェクトの関係情報を得るものである。
【００３１】
図７Ｂの画像情報解析部２２ｂは、検索条件をパラメータ解析部２２ａから受け取ると、動画データ記憶部２３ａから検索条件に沿う動画データを読みだす（Ｓ７Ｂ０１，Ｓ７Ｂ０２）。そして画像の動き解析を行い、画像の秒当たりの動き速度を算出し、領域パラメータとしてオブジェクト領域衝突判定部２２ｅに渡す（Ｓ７Ｂ０３，Ｓ７Ｂ０４）。
これは、クリック領域の半径ｒが指定されなかった場合にサーバ装置で作る過程である。すなわち、要求（３）に対応するもので、画面の動きや軌跡の動き（映像データのどの動画の、何フレームかのデータ）からどれだけの半径にすべきかを決めるもので、動画データに入っている動画を解析してその動きを解析して最適なｒを計算するものである。
図７Ｂのオブジェクト情報検索部２２ｃは、検索条件をパラメータ解析部２２ａから受け取ると、そのデータをデータベース制御部２４に渡し、その結果を取得する（Ｓ７Ｂ０５，Ｓ７Ｂ０６，Ｓ７Ｂ０７）。そしてオブジェクト情報に関係情報があるか否かを判断し（Ｓ７Ｂ０８）、関係情報がある場合には関係情報の検索をデータベース制御部２４に依頼し（Ｓ７Ｂ０９）、その結果を取得し（Ｓ７Ｂ１０）、得られた結果を応答出力生成部２２ｆに渡す（Ｓ７Ｂ１１）。要求（４）はオブジェクト詳細情報を得るもので、オブジェクトの関係文を求めものである。すなわち、関係文７５の中にオブジェクトについてオブジェクト情報７７，関係情報部７６の情報を得るものである。
【００３２】
図７Ｃのオブジェクト軌跡情報検索部２２ｄはオブジェクト軌跡についてオブジェクト情報検索部２２ｃと同様な検索を行うもので、パラメータ解析部２２ａから何フレーム目から何フレームまでという検索条件を受け取って、データベース制御部２４に渡す（Ｓ７Ｃ０１，Ｓ７Ｃ０２）。データベース制御部２４はその条件のものをメタデータ記憶部２３ｂにアクセスして、検索条件にあった軌跡情報８０を読み出す（Ｓ７Ｃ０３）。ここでヒット判定要求（３）のための検索であるか否かの判定を行ない（Ｓ７Ｃ０４）、ヒット判定のためである場合には、ヒットするオブジェクトの候補として軌跡情報をオブジェクト衝突判定部２２ｅに渡す。オブジェクト軌跡データ取得要求（２）である場合には得られた結果を応答出力部２２ｆに渡す（Ｓ７Ｃ０６）。
【００３３】
図７Ｄのオブジェクト領域衝突判定部２２ｅはオブジェクト軌跡情報検索部２２ｄから判定候補のオブジェクト軌跡情報（その時間に存在するかも知れない軌跡）を受ける（Ｓ７Ｄ０１）と、パラメータ解析部２２ａからどの座標について衝突（軌跡情報と重なっているか）判定を行うかという情報を受ける（Ｓ７Ｄ０２）。そして衝突判定する対象は点か領域かを判断し（Ｓ７Ｄ０３）、領域である場合には、衝突判定対象領域をクリック認識領域とする（Ｓ７Ｄ０４）。一方、点である場合には更に領域クリック機能が有効（オン状態）になっているかを判定し（Ｓ７Ｄ０５）、有効になっていない場合には衝突判定する点だけからなる領域を作成し、クリック認識領域とする（Ｓ７Ｄ０６）。有効になっている場合には領域クリックパラメータ（半径ｒなど）を画素情報解析部２２ｂから受け取り、クリック認識領域を算出する（Ｓ７Ｄ０７，Ｓ７Ｄ０８）。
このようにしてクリック認識領域した後、衝突オブジェクト軌跡リストを初期化する（Ｓ７Ｄ０９）。そして判定時刻（フレーム番号）におけるオブジェクトの位置を算出し、衝突候補オブジェクト軌跡のそれぞれに対し、オブジェクト軌跡とクリック認識領域が共通領域（重なっている部分）を持つか判定し、共通領域を持っている場合には衝突オブジェクト軌跡リストに追加する（Ｓ７Ｄ１０，Ｓ７Ｄ１１，Ｓ７Ｄ１２，Ｓ７Ｄ１３）。
このような動作を衝突候補オブジェクト軌跡のそれぞれについて判定を繰り返し、終了すれば（Ｓ７Ｄ１４）、遅延クリック機能（ユーザがクリックした時刻からさかのぼる）が有効になっているか否かを判定する（Ｓ７Ｄ１５）。有効でない場合には、衝突オブジェクト軌跡リストをそのままオブジックト情報検索部２２ｃに渡す（Ｓ７Ｄ１８）。
遅延クリックが有効である場合には判定時刻を１フレーム戻し（Ｓ７Ｄ１６）、このフレームが（最初に与えられた判定時刻−現在の判定時刻）すなわちｎ秒になっているか判断し（Ｓ７Ｄ１７）、ｎ（戻すフレーム数）秒になっていなければ、Ｓ７Ｄ１０に戻って衝突判定を行う。ｎ秒になった場合はＳ７Ｄ１０〜Ｓ７Ｄ１７のループを抜けて衝突オブジェクト軌跡リストをオブジェクト情報検索部２２ｄに渡す（Ｓ７Ｄ１８）。
【００３４】
ここで、Ｓ７Ｄ１０の判定時刻におけるオブジェクトの位置計算の詳細について図７ＥのＡフローを用いて説明する。対象オブジェクトと時刻を受け取り、オブジェクト軌跡情報検索部２２ｄから当該時刻が含まれる軌跡情報を取得する（Ｓ７Ｅ０１，Ｓ７Ｅ０２）。すなわち、どのオブジェクト情報について何フレーム目の位置かを算出するための情報を取得する。
まず、目的とするオブジェクトの軌跡情報が存在するか否かを判断し（Ｓ７Ｅ０３）、当該オブジェクト軌跡が存在しない場合（戻りすぎた場合など）には終了とする（Ｓ７Ｅ０４）。軌跡情報が存在する場合には、当該時刻が軌跡情報内にある定義領域で示された時刻と一致するか判定する（Ｓ７Ｅ０５）。一致した領域が存在すればその定義領域をそのままオブジェクト領域とする（Ｓ７Ｅ０９）。例えば、定義領域が１００フレーム目，１５０フレーム目，１８０フレーム目が存在し、クリックした判定時刻が１５０フレーム目であるとすれば、定義領域の中に１５０フレーム目が存在するので、その１５０フレームをそのまま用いる。
定義領域に存在しない場合に当該時刻（＝ｔ）から見て直前の時刻（＝ａ），直後の時刻（＝ｂ）の定義領域を抽出する（Ｓ７Ｅ０６）。例えば、判定時刻が１３０フレーム目であれば、存在しないので、１３０フレーム目の軌跡情報を算出するために直前の１００フレーム目と直後の１５０フレーム目の情報を抽出する。以下、（ｔ−ａ）と（ｂ−ｔ）の比から比例係数ρを算出し、領域の各パラメータについて比例係数ρによって一次補完して領域を作成し、これをオブジェクト領域とする（Ｓ７Ｅ０７，Ｓ７Ｅ０８）。作成される定義領域の具体的位置は、前後の定義領域に対し、映像の変化の速度によって例えば、ピクセル単位で変動することとなる。
このように得られたオブジェクトの領域を呼び出し、元に返却する（Ｓ７Ｅ１０）。
【００３５】
図７Ｆは、応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
応答出力生成部２２ｆはオブジェクト情報検索部２２ｃおよびオブジェクト軌跡情報検索部２２ｄからのオブジェクト情報を取得し（Ｓ７Ｆ０１）、元のリクエストから要求タイプを取得する（Ｓ７Ｆ０２）。そして要求タイプに従ってオブジェクトを整形する（Ｓ７Ｆ０３）。例えば、オブジェクト軌跡情報が５０フレーム，１００フレーム，２００フレーム，３００フレーム，４００フレームの定義領域がある場合、要求が１００フレームから３００フレームであるときは、５０フレームと４００フレームは破棄される。
整形したオブジェクト情報はＸＭＬ変換部２２ｇに渡される（Ｓ７Ｆ０４）。
ＸＭＬ変換部２２ｇは応答出力生成部２２ｆからオブジェクト情報を受け取る（Ｓ７Ｆ０５）と、ＸＭＬスキーマを読み込み、オブジェクト−ＸＭＬ変換エンジンを起動してオブジェクト情報をＸＭＬデータに変換し、得られたＸＭＬデータを出力部２１ａに渡す（Ｓ７Ｆ０６，Ｓ７Ｆ０７，Ｓ７Ｆ０８）。出力部２１ａはＸＭＬデータを取得すると出力ストリームにＸＭＬデータを出力する（Ｓ７Ｆ０９，Ｓ７Ｆ１０）。
【００３６】
図７Ｇはキーフレーム解析部の構成を説明するためのフローチャートである。
これはプレイヤ装置からのアクセス要求以前にサーバ装置側で予め行われている処理である。キーフレーム解析部２２ｈは動画データ記憶部２３ａから映像データを読み込む（Ｓ７Ｇ０１）。映像データを解析してキーフレーム位置のリストを取得する（Ｓ７Ｇ０２）。つぎにメタデータ記憶部２３ｂの対応するエントリーにキーフレームリストを書き込む（Ｓ７Ｇ０３）。以上のように処理してサーバ装置側では本発明による映像シーク制御方式を実施するための準備が行われる。
プレイヤ装置で映像データを再生する際に、図８−１に示す（ａ）のコンテンツメタデータ取得要求がネットワークインタフェース２１ｂ，入力部２１ｃを通じてプレイヤ装置から送られてきた場合、コンテンツＩＤで示される映像のメタデータを読み出す。このメタデータは図８−１の（ｂ）に示すようにファイルサイズ，フレーム数，このフレームレート，アスペクト比，幅，高さおよびキーフレームリストが記載されている。該メタデータはネットワークインタフェース２１ｂを通じてプレイヤ装置に送られる。
【００３７】
以上がプレイヤ装置およびサーバ装置の各機能部の構成，動作についての説明である。つぎに本発明の実施に係わる映像再生システム全体の処理の流れを図９，図９Ａ，図９Ｂを用いて説明する。図９における流れはサーバ装置の処理を主体にしたもので、処理シーケンスは以下の通りである。
ユーザがプレイヤ装置３を操作して希望する映像コンテンツの再生を要求すると、プレイヤ装置３はキーフレーム情報取得のため映像コンテンツのメタデータをサーバ装置１ａに要求する（Ｓ９００）。サーバ装置１ａではＳ５９に示すような待ち受け処理が行われ、さらに映像コンテンツのメタデータの検索が行われる（Ｓ９０２１）。サーバ装置１ａはこれにより得られたメタデータをプレイヤ装置３に送信する。
つぎにプレイヤ装置３はコンテンツ供給装置１ｂに対し映像コンテンツの要求を行う（Ｓ９０１）と、コンテンツ供給装置１ｂは、その映像コンテンツをプレイヤ装置３に送信する（Ｓ９０２）。プレイヤ装置３はその映像コンテンツ（映像データ）の関係情報７０をサーバ装置１ａに要求する（Ｓ９０３）。サーバ装置１ａは関係情報７０の検索の要求を受けると、図９Ａの流れに沿ってデータベース検索処理を起動する。これにより静的関係情報７０の検索を行い（Ｓ９０４）、得られた関係情報７０をプレイヤ装置３に供給する（Ｓ９０５）。プレイヤ装置３は関係情報７０を受けると映像の再生を開始する（Ｓ９０６）。表示装置には映像とともに自動的に関係図も表示される。つぎにプレイヤ装置３はオブジェクト軌跡情報８０の取得を要求する（Ｓ９０７）。
【００３８】
サーバ装置１は、図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクト軌跡情報の検索を行い（Ｓ９０８）、得られたオブジェクト軌跡情報をプレイヤ装置３に供給する（Ｓ９０９）。ここまでのシーケンスは映像の進行にしたがって順次映像の関係情報とオブジェクト軌跡情報がプレイヤ装置に取り込まれ表示される。
プレイヤ装置３は現在映像が再生中であるか否かを判定し、映像が再生中でなければ、そこで終了する（Ｓ９１０）。映像が再生中であれば、ユーザの入力操作（操作部によって映像中のオブジェクトのクリックなど）を監視することとなる。
この状態でユーザが入力装置をしてクリックした領域がオブジェクト軌跡領域にヒットした場合にはヒットしたオブジェクトの情報をサーバ装置１に要求する（Ｓ９１２）。
サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これにより、ヒットオブジェクト関係情報をプレイヤ装置３に供給する（Ｓ９１４）。なお、Ｓ９１３はプレイヤ装置３ではなくサーバ装置１ｂにオブジェクトヒット判定部を備える場合、行われるステップである。
【００３９】
プレイヤ装置３ａ〜３ｎはヒットオブジェクト情報が供給されると、そのオブジェクトの詳細情報（オブジェクト情報７７）をサーバ装置１に要求する（Ｓ９１５）。サーバ装置１では図９Ａの流れに沿ってデータベース検索処理を起動する。これによりオブジェクトの詳細情報の検索を行い（Ｓ９１６）、得られたオブジェクトの詳細情報をプレイヤ装置３に供給する（Ｓ９１７）。オブジェクトの詳細情報が供給されると、プレイヤ装置３はＳ９１０のステップに戻り、映像再生中の状態ではユーザの入力装置を監視し、入力操作があれば、Ｓ９１２〜Ｓ９１７のシーケンスを繰り返す。
【００４０】
つぎに図９のサブフローチャートを示す図９Ａ，図９Ｂついて説明する。
図９Ａは、サーバ装置の待ち受け処理の流れを示し、図９のＳ５９，Ｓ６１，６４，６７，７０の位置で起動する。プレイヤ装置３ａ〜３ｎからの処理要求を受け、要求を受信できると、要求を解析する。要求の内容が適切であれば、つぎのデータベース処理を起動する。適切でなければエラー情報を作成する（Ｓ９Ａ０１〜Ｓ９Ａ０６）。
図９Ｂは図９ＡのＳ９Ａ０５のデータベース検索処理のフローである。
サーバ装置１ａは検索条件を受け取ると、データベース２３に接続する。データベース２３に接続できた場合にはデータベース２３を検索して与えられたＩＤのコンテンツとユーザを探す。上記条件を満たすものが存在すれば、検索条件に従ってデータベース２３を検索する。そしてユーザ操作履歴を記録して終了する（Ｓ９Ｂ０１〜Ｓ９Ｂ０７）。
Ｓ９Ｂ０３においてデータベース２３に接続できない場合、Ｓ９Ｂ０５において条件を満たすものが存在しない場合にはエラー処理を行う（Ｓ９Ｂ０８）。
【００４１】
以下、図９のＳ９０４のステップにおける静的関係情報検索処理，Ｓ９０８のステップにおけるオブジェクト軌跡情報検索処理，Ｓ９１３のステップにおけるサーバ装置でヒット判定を行う処理のオブジェクト軌跡情報検索処理およびＳ９１６のステップにおけるオブジェクト詳細情報検索処理の流れについては本発明に直接関連しないため説明を省略する。
【００４２】
つぎに図１０を用いてこの映像再生システムにおけるオブジェクト関連自動表示の動作について説明する。
再生中の映像上に、例えば俳優が現れ、同時に俳優のノード（関係図に表示されるオブジェクト）の関係図を表示装置に自動的に表示するシーケンスを説明するもので、プレイヤ装置の制御部８ａ，関係図描画部１０ｃなどが中心に動作するものである。なお、制御部８ａは、以下の監視や判定を主体的に行う。
ユーザが映像再生のためのプレイヤ装置３を操作すると、プレイヤ装置３がコンテンツ供給装置とサーバ装置１にアクセスし、映像データおよび関係情報が供給され、コンテンツの準備が行われる（Ｓ１００１）。すなわち、ユーザがプレイヤ装置を操作して再生すべき映像コンテンツＡ１を選択するためのキー操作を行うと、プレイヤ装置ではそのキー操作による設定ファイル（映像コンテンツＡ１を選択するため各データ）が形成され、設定ファイルが読み込まれ、インターネット上のコンテンツ供給装置１ｂにアクセスし、映像コンテンツＡ１を取得してプレイヤ装置のメモリ部９に格納する。さらにサーバ装置１にアクセスし、映像コンテンツＡ１対応の静的知的データ（関係情報７０）およびオブジェクト軌跡データ（軌跡情報８０）を検索させ、データベース２３より読み出し、プレイヤ装置３に送信させる。プレイヤ装置３はこの情報もメモリ部に格納する（Ｓ１００１）。
このコンテンツ準備によりプレイヤが再生操作をすれば、映像コンテンツＡ１が表示画面に表示される。制御部８ａは取得した映像コンテンツＡ１が再生されているか否かを判定する（Ｓ１００２）。再生されていなければ、当該シーケンスは終了し、再生中であれば、新たなオブジェクト軌跡が映像上に現れたか否かを監視する（Ｓ１００３）。
【００４３】
制御部８ａは、新たにオブジェクト軌跡が映像上に現れていない場合にはつぎに現在現れているオブジェクトが映像中から消えたか否かを監視する（Ｓ１００７）。関係図描画部１０ｃは、映像中にオブジェクトが存在しているかぎりは、そのオブジェクトの関係図を例えば俳優が出現している映像に同期して表示する（Ｓ１０１１）。この動作が終了すると、再度Ｓ１００２に戻り、映像の再生を確認し新たなオブジェクトの出現を監視して関係図の描画処理を繰り返す（Ｓ１００３，Ｓ１００７，Ｓ１０１１）。
Ｓ１００３において、新たなオブジェクト軌跡が映像上に現れた場合には、制御部８ａはそのオブジェクト詳細情報をサーバ装置１から取得し（Ｓ１００４）、この詳細情報を渡された関係図描画部１０ｃは関係図に表示するノードを作成し（Ｓ１００５）、このノードを関係図中に追加し、既に存在しているノードとの関係図を作成する（Ｓ１００６）。表示装置にはこの関係図が表示されることとなる。
つぎにＳ１００７において、制御部８ａは現在現れているオブジェクト軌跡が映像上から消えた場合には、消えたオブジェクトに対応するノードを取得する（Ｓ１００８）。そして消えたオブジェクトが自動で追加されたものであるか否かの判定を行う（Ｓ１００９）。これはユーザのクリックによって関係図に追加されたノードと、このフローによって自動的に関係図に追加されたノードを区別するためである。自動で追加されたものでない場合には、関係図の描画のＳ１０１１に移行する。自動で追加されたものである場合には、タイマ７をセットし、一定時間経過後に関係図からそのノードを削除する（Ｓ１０１０）。
以上により表示装置に再生される映像に同期して関係図を自動的に表示することかできる。
【００４４】
図１１は、オブジェクト関連自動表示により表示される再生映像および登場人物に関する関係図の例を示す図である。この例は、ある時刻の映像１００が表示装置の画面の左側に、関係図１０２が画面の右側に同時表示されている。映像１００には主キャラクタ１０１が登場している。これに対し、関係図１０２には中央に、文字が楕円で囲まれた主キャラクタ（ノード）１０２ａが描かれており、上側には文字が楕円で囲まれた追跡者（ノード）１０２ｂおよび１０２ｃがそれぞれ描かれている。追跡者１０２ｂから主キャラクタ１０２ａのノードに対し、矢印が描かれており、「追跡する」という文字で表示されている。追跡者１０２ｂが主キャラク１０２ａを追跡していることを示すものである。また、主キャラクタ１０２ａと追跡者１０２ｃノード間には、相互に矢印が表示され、それぞれ「攻撃する」「追跡する」という状態が文字表示されている。
【００４５】
さらに、主キャラクタ１０２ａの下部には文字が楕円で囲まれたアイテム１０２ｄ，ピストル１０２ｅが表示されている。主キャラクタ１０２ａからアイテム１０２ｄおよびピストル１０２ｅに対し矢印が描かれており、その状態が「使用する」と文字で表示されている。
このように関係図１０２で各ノードを表示し、それらの関係を矢印，文字などで表示することにより、現時刻で表示されている映像１００の状態をユーザは容易に理解することができる。
【００４６】
図１２は図９のＳ９００におけるコンテンツメタデータ要求処理の流れを説明するためのフローチャートである。この処理は制御部８ａによって行われる。
ユーザが操作部５ａ・・・を操作して特定の映像コンテンツを選択し再生処理する場合、プレイヤ装置３はプレイ再生の時点で、制御部８ａは入力処理部６を通じてどの映像コンテンツを再生すべきかの指示を受けている。しかし、当初は映像コンテンツのＩＤ以外の情報はないため、その映像コンテンツのキーフレームは何フレームで、どのくらい長さがあって、その要求のファイルがどこにあるか不明であるため、サーバ装置１ａに問い合わせてキーフレーム情報を得るという処理がこのＳ９００とつぎのＳ５９である。
【００４７】
制御部８ａはネットワーク通信部１２を通じてサーバ装置１ａに対し映像コンテンツを示すＩＤを提示してメタデータを要求する（Ｓ１２０１）。サーバ装置１ａは図９Ａのサーバ装置待ち受け処理および図９Ｂのコンテンツメタデータ検索処理によって提示されたＩＤ（図５−１（ａ）に示すようなＩＤ情報）の映像コンテンツの検索処理を行いコンテンツメタデータをプレイヤ装置３に送る。
制御部８ａはコンテンツメタデータを受信する（Ｓ１２０２）と、そのコンテンツメタデータにキーフレーム情報（図５−１（ｂ）に示すようなフレーム数，キーフレームリストなど）が含まれているか否かを判断する（Ｓ１２０３）。キーフレーム情報が含まれていなければ、処理を終了する。キーフレーム情報が含まれていれば、その情報を解析（図５−１（ｂ）のようなデータ構造であること）して制御部８ａ内に記憶し処理を終了する（Ｓ１２０４）。この処理によりシーク制御するときにどのキーフレームから再生を開始するかの情報がプレイヤ装置内に確保される。
【００４８】
つぎに図１３を用いて制御部の映像シーク処理を説明する。
ユーザが動画を再生中に操作部５ａ・・・のスライダー３０ａを操作すると、シークという命令が発生する。制御部８ａは入力処理部６を経由してそれを受け取る（Ｓ１３０１）。そしてシーク命令の中にはどの位置にシークするという情報が含まれており、何フレームの位置にジャンプするかを確定させる（Ｓ１３０２）。
制御部８ａは、シーク位置の補正を行うのではなければ、点線で示すようにシーク動作実行処理に移行する。これはこの発明前に用いていた処理方法である。
この発明ではシーク位置の補正を行って制御部８ａが出力した指令のシーク位置と映像制御部８ｂが実際にシークした結果の位置とのズレを回避するため、実際のシーク位置がキーフレーム情報内の何れかのキーフレーム位置とも一致しない場合には実際のシーク位置に最も近いＩフレームになるように補正する（Ｓ１３０３）。この補正されたシーク位置によって映像制御部８ｂはシーク動作を実行する（Ｓ１３０４）。
このようなシーク処理により制御部８ａが指示する実際のシーク位置と映像再生系がシーク動作を実行する位置との間にズレがあってもそのズレ量を最小にすることができる。
【００４９】
図１４は制御部の動作シーク補正処理の流れの詳細を示すフローチャートである。
制御部８ａはシーク先の時間（Ｋ）（フレーム位置情報）を受け取る（Ｓ１４０１）。制御部８ａはキーフレーム情報を記憶しているか否かを判断し（Ｓ１４０２）、サーバ装置からその映像のキーフレーム情報を取得できていなかった場合には、そのままシーク動作処理に移行する（Ｓ１４０６）。キーフレーム情報がこの映像にはないため、フレーム位置のズレがあっても補正処理することなくシーク制御を行う。
一方、制御部８ａ内にキーフレーム情報がある場合にはキーフレームリストの中にシーク位置と同じものが存在するか否かを判断する（Ｓ１４０３）。例えば、図８−１（ｂ）の例ではキーフレームリストは１，２５，７２，１２３，１５０，１６７，・・・と記述されているが、このキーフレームのいずれかと同じである場合には、フレーム位置を補正することなくシーク動作に移行する（Ｓ１４０６）。
【００５０】
同じものが存在しない場合には、すべてのキーフレーム時間（Ｋi ）のうち、│Ｋi −Ｋ│を算出し、この絶対値が最も小さくなるＫi を検索する（Ｓ１４０４）。このようにして求めたキーフレーム時間Ｋa としてシーク先の時間（Ｋ）に最も近いＩフレームが選択される。例えばシーク先の時間が「１５２」であれば、図８−１（ｂ）では、「１５０」のシーク時間が補正シーク時間となる。制御部８ａはこのようにして求めたキーフレーム時間を新しいシーク先時間とみなし、その制御を映像制御部８ｂに渡す。なお、図８−１（ｂ）で示されているフレーム時間はＩフレームである。
【００５１】
図１５は映像制御部のシーク動作の詳細を示すフローチャートである。
映像制御部８ｂは、制御部８ａからどの時間にシークすべきであるという依頼を受ける（Ｓ１５０１）と、現在再生位置を持っているので、依頼を受けたシーク時間に置き換える（１５０２）。このシーク位置にジャンプした後のデータを元に映像描画部１０ａに対し再描画させる。つまりジャンプ後の映像で映像描画部１０ａを書き換える。この瞬間に最終出力の合成処理部１０ｅの合成結果が切り替わる（Ｓ１５０３）。この後、制御部８ａに対しシーク完了を通知して終了する（Ｓ１５０４）。
【００５２】
映像制御部８ｂは制御部８ａからどこへシークするかの指令を受け取ると、映像再生処理のプログラムによって、映像のファイルシステムを操作してシークをかけるものである。その時にＩフレーム以外の所から再生する場合、映像制御部はどこから再生して良いか分からないため、途中の部分が省かれてタイムラグが生じるか、勝手なＩフレームに戻されてシークされてしまう。
しかしながら本発明による映像シーク制御方式によれば、上記シーク補正処理により制御部８ａが指示する実際のシーク位置と映像再生系がシーク動作を実行する位置との間にズレがあってもそのズレ量を最小にし問題を解決できる。
以上の実施の形態は、キーフレーム情報としてキーフレームの番号が一致するか否かの判定を行う例を説明したが、時間が一致するか否かを判定することもできる。
【産業上の利用可能性】
【００５３】
映像コンテンツをプレイヤ装置で再生するオブジェクト関連自動表示方式の映像再生システムに用いられる映像シーク制御方式である。
【図面の簡単な説明】
【００５４】
【図１】本発明による映像再生システムにおけるオブジェクト関連自動表示方式を説明するためのシステム概略図である。
【図２】本発明に用いられるプレイヤ装置の物理的構成の実施の形態を示すブロック図である。
【図３】本発明に用いられるサーバ装置の物理的構成の実施の形態を示すブロック図である。
【図４】プレイヤ装置とサーバ装置における各機能部の情報送受の関係を説明するための図である。
【図５】本発明で送受される動画メタデータのデータ構造の一例を示す図である。
【図６Ａ】プレイヤ装置の入力処理部の構成を説明するためのフローチャートである。
【図６Ｂ】プレイヤ装置の制御部の構成を説明するためのフローチャートである。
【図６Ｃ】プレイヤ装置の映像制御部の構成を説明するためのフローチャートである。
【図６Ｄ】プレイヤ装置のオブジェクトヒット判定部（マウス座標）の構成を説明するためのフローチャートである。
【図６Ｄ−１】選択領域と軌跡領域とが僅かに重なっているため、ヒットしていると判断される例を示す図である。
【図６Ｅ】プレイヤ装置のオブジェクトヒット判定部（キー選択矩形）の構成を説明するためのフローチャートである。
【図６Ｅ−１】映像中のグリッド領域の表示例を示す図である。
【図６Ｆ】プレイヤ装置のネットワーク通信部の構成を説明するためのフローチャートである。
【図６Ｇ】プレイヤ装置のメタデータ解析部の構成を説明するためのフローチャートである。
【図６Ｈ】プレイヤ装置のメタデータ合成部の構成を説明するためのフローチャートである。
【図６Ｉ】プレイヤ装置のグリッド選択領域描画部，関係図描画部，オブジェクト軌跡描画部および合成処理部の構成を説明するためのフローチャートである。
【図６Ｉ−１】表示装置で表示される合成画像の一例を示す図である。
【図７Ａ】サーバ装置の入力部およびパラメータ解析部の構成を説明するためのフローチャートである。
【図７Ｂ】サーバ装置の画像情報解析部およびオブジェクト情報検索部の構成を説明するためのフローチャートである。
【図７Ｃ】サーバ装置のオブジェクト軌跡情報検索部の構成を説明するためのフローチャートである。
【図７Ｄ】サーバ装置のオブジェクト領域衝突判定部の構成を説明するためのフローチャートである。
【図７Ｅ】図７ＤのサブフローＡの特定時刻におけるオブジェクト位置の算出方法を説明するためのフローチャートである。
【図７Ｆ】サーバ装置の応答出力生成部，ＸＭＬ変換部および出力部の構成を説明するためのフローチャートである。
【図７Ｇ】キーフレーム解析部の構成を説明するためのフローチャートである。
【図８】本発明における各取得要求および判定要求の内容の一例を示す図である。
【図８−１】コンテンツデータ取得要求およびコンテンツメタデータ構造の一例を示す図である。
【図９】関連自動表示方式を用いた映像再生システムの処理シーケンスを説明するための図である。
【図９Ａ】サーバ装置の待ち受け処理の流れを説明するためのフローチャートである。
【図９Ｂ】データベース検索処理の流れを説明するためのフローチャートである。
【図１０】映像再生システムにおけるオブジェクト関連自動表示方式の流れを説明するためのフローチャートである。
【図１１】表示装置に表示される再生映像の例およびその登場人物に関する関係図の例を示す図である。
【図１２】プレイヤ装置の制御部がさらに有する構成を説明するためのフローチャートである。
【図１３】プレイヤ装置の制御部の映像シーク処理の流れを説明するためのフローチャートである。
【図１４】プレイヤ装置の制御部の動作シーク補正処理の流れを説明するためのフローチャートである。
【図１５】プレイヤ装置の映像制御部の動作シーク実行処理の流れを説明するためのフローチャートである。
【図１６】フレーム間圧縮の原理を説明するための図である。
【符号の説明】
【００５５】
１  サーバ装置（サーバ制御本体）
１ａ  メタデータ管理サーバ装置  
１ｂ  コンテンツサーバ装置（コンテンツ供給装置）
２  ネットワーク  
３（３ａ〜３ｎ）  プレイヤ装置  
４  オーサリング装置
５  操作部
６  入力処理部
７  タイマ
８  プレイヤ制御回路
８ａ  制御部
８ｂ  映像制御部
８ｃ  オブジェクト軌跡ヒット判定部（キー選択矩形）
８ｄ  オブジェクト軌跡ヒット判定部（マウス座標）
８ｅ  メタデータ解析部  
８ｆ  メタデータ合成部
９  メモリ部（半導体メモリ）
９ａ  メタデータ記憶部
９ｂ  選択情報記憶部
１０  画像処理部
１０ａ  映像描画部
１０ｂ  グリッド選択領域描画部
１０ｃ  関係図描画部
１０ｄ  オブジェクト軌跡描画部
１１  表示装置
１２，２１  ネットワーク通信部
２１ａ  出力部  
２１ｂ  ネットワークインタフェース
２１ｃ  入力部
２２  サーバ制御回路
２２ａ  パラメータ解析部  
２２ｂ  画素情報解析部  
２２ｃ  オブジェクト情報検索部
２２ｄ  オブジェクト軌跡情報検索部
２２ｅ  オブジェクト領域衝突判定部  
２２ｆ  応答出力生成部
２２ｇ  ＸＭＬ変換部
２２ｈ  キーフレーム解析部
２３  データベース
２４  データベース制御部
２５  メモリ部
２６  操作装置
２７  入力制御部
２８  画像処理部
２９  表示装置
４０  動画ファイル
５０  知識情報
６０  ユーザ情報
７０  関係情報
７５  関係文
７６  関係情報部
７７  オブジェクト情報
８０  軌跡情報
８５  軌跡情報部
８６  軌跡領域情報
【図１】
2008236390.tif 000003
【図２】
2008236390.tif 000004
【図３】
2008236390.tif 000005
【図４】
2008236390.tif 000006
【図５】
2008236390.tif 000007
【図６Ａ】
2008236390.tif 000008
【図６Ｂ】
2008236390.tif 000009
【図６Ｃ】
2008236390.tif 000010
【図６Ｄ】
2008236390.tif 000011
【図６Ｄ−１】
2008236390.tif 000012
【図６Ｅ】
2008236390.tif 000013
【図６Ｅ−１】
2008236390.tif 000014
【図６Ｆ】
2008236390.tif 000015
【図６Ｇ】
2008236390.tif 000016
【図６Ｈ】
2008236390.tif 000017
【図６Ｉ】
2008236390.tif 000018
【図６Ｉ−１】
2008236390.tif 000019
【図７Ａ】
2008236390.tif 000020
【図７Ｂ】
2008236390.tif 000021
【図７Ｃ】
2008236390.tif 000022
【図７Ｄ】
2008236390.tif 000023
【図７Ｅ】
2008236390.tif 000024
【図７Ｆ】
2008236390.tif 000025
【図７Ｇ】
2008236390.tif 000026
【図８】
2008236390.tif 000027
【図８−１】
2008236390.tif 000028
【図９】
2008236390.tif 000029
【図９Ａ】
2008236390.tif 000030
【図９Ｂ】
2008236390.tif 000031
【図１０】
2008236390.tif 000032
【図１１】
2008236390.tif 000033
【図１２】
2008236390.tif 000034
【図１３】
2008236390.tif 000035
【図１４】
2008236390.tif 000036
【図１５】
2008236390.tif 000037
【図１６】
2008236390.tif 000038