(57)【要約】【課題】メタデータのデータ量を低減して効率的なメタデータの配信を行う。【解決手段】メタデータを送信するメタデータ配信装置１０１であって、動画データ中のオブジェクトのオブジェクト属性情報とオブジェクト属性情報を識別するＩＤと、オブジェクトの画像表示位置を示すオブジェクト領域データとを有する複数のオブジェクトメタデータからなるメタデータを記憶するＨＤＤ１１３と、全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータのオブジェクト属性情報の属性と同一の属性でオブジェクトを表示させるためのオブジェクトメタデータであって、ＩＤを第１のオブジェクトメタデータのＩＤと同一とし、かつ同一の属性を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置１００に送信する送信部１１５を備えた。【選択図】        図１
2005295167.tif 000002
【特許請求の範囲】
【請求項１】
動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータであって、
前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータとを備え、
前記オブジェクトメタデータは、他のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを処理させる場合に、前記属性識別情報を前記他のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したデータであること
を特徴とするメタデータ。
【請求項２】
前記オブジェクトメタデータは、他のオブジェクトメタデータの前記オブジェクト属性情報が示す属性と完全に同一の属性で前記オブジェクトを処理させる場合に、前記属性識別情報を前記他のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記オブジェクト属性情報を省略したものであること
を特徴とする請求項１に記載のメタデータ。
【請求項３】
前記オブジェクト属性情報は、前記オブジェクトが指示された場合に実行される処理を記述した動作情報を含み、
前記属性識別情報は、前記動作情報を識別する動作識別情報を含み、
前記オブジェクトメタデータは、他のオブジェクトメタデータの前記動作情報の処理と同一の処理を前記オブジェクトに実行させる場合、前記動作識別情報を前記他のオブジェクトメタデータの前記動作識別情報と同一とし、かつ前記動作情報を省略したデータであること
を特徴とする請求項１または２に記載のメタデータ。
【請求項４】
前記オブジェクト属性情報は、前記オブジェクトの表示属性を示すオブジェクト表示属性情報を含み、
前記属性識別情報は、前記オブジェクト表示情報を識別する表示識別情報を含み、
前記オブジェクトメタデータは、前記他のオブジェクトメタデータの前記オブジェクト表示属性情報が示す表示属性と同一の属性で前記オブジェクトを表示させる場合に、前記表示識別情報を前記他のオブジェクトメタデータの前記表示識別情報と同一とし、かつ前記オブジェクト表示属性情報を省略したデータであること
を特徴とする請求項１〜３のいずれか一つに記載のメタデータ。
【請求項５】
前記オブジェクトメタデータは、他のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と相違する属性で前記オブジェクトを処理させる場合に、前記属性識別情報を前記他のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記オブジェクト属性情報に前記他のオブジェクトメタデータの前記オブジェクト属性情報と相違する部分のみを記述したデータであること
を特徴とする請求項１〜４のいずれか一つに記載のメタデータ。
【請求項６】
前記オブジェクトを識別するオブジェクト識別情報を更に含み、
前記オブジェクトメタデータは、さらに、他のオブジェクトメタデータの前記オブジェクト領域情報が示す領域と同一の領域で前記オブジェクトを表示させる場合に、前記オブジェクト識別情報を前記他のオブジェクトメタデータの前記オブジェクト識別情報と同一とし、かつ前記オブジェクト領域情報を省略したデータであることを特徴とする請求項１〜５のいずれか一つに記載のメタデータ。
【請求項７】
動画データに含まれる画像の単位であるオブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを記憶するメタデータ記憶手段と、
全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置に送信するメタデータ配信手段、
を備えたことを特徴とするメタデータ配信装置。
【請求項８】
前記メタデータ配信手段は、前記第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報が示す属性と完全に同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記オブジェクト属性情報を省略したオブジェクトメタデータを前記動画再生装置に送信することを特徴とする請求項７に記載のメタデータ配信装置。
【請求項９】
前記オブジェクト属性情報は、前記オブジェクトが指示された場合に実行される処理を記述した動作情報を含み、
前記属性識別情報は、前記動作情報を識別する動作識別情報を含み、
前記メタデータ配信手段は、前記第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記動作情報の処理と同一の処理を前記オブジェクトに実行させるためのオブジェクトメタデータであって、前記動作識別情報を前記第１のオブジェクトメタデータの前記動作識別情報と同一とし、かつ前記動作情報を省略したオブジェクトメタデータを前記動画再生装置に送信することを特徴とする請求項７または８に記載のメタデータ配信装置。
【請求項１０】
前記オブジェクト属性情報は、前記オブジェクトの表示属性を示すオブジェクト表示属性情報を含み、
前記属性識別情報は、前記オブジェクト表示情報を識別する表示識別情報を含み、
前記メタデータ配信手段は、前記第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト表示属性情報が示す表示属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記表示識別情報を前記第１のオブジェクトメタデータの前記表示識別情報と同一とし、かつ前記オブジェクト表示属性情報を省略したオブジェクトメタデータを前記動画再生装置に送信することを特徴とする請求項７〜９のいずれか一つに記載のメタデータ配信装置。
【請求項１１】
前記オブジェクトメタデータは、前記オブジェクトを識別するオブジェクト識別情報を更に含み、
前記メタデータ配信手段は、さらに全てのオブジェクト領域情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト領域情報が示す領域と同一の領域で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記オブジェクト識別情報を前記第１のオブジェクトメタデータの前記オブジェクト識別情報と同一とし、かつ前記オブジェクト領域情報を省略したオブジェクトメタデータを前記動画再生装置に送信することを特徴とする請求項７〜１０のいずれか一つに記載のメタデータ配信装置。
【請求項１２】
前記オブジェクトメタデータの再生時刻情報と、前記オブジェクトメタデータの前記メタデータの先頭からの相対位置を示すオフセット情報とを対応付けたアクセス情報を記憶するアクセス情報記憶手段を更に備え、
前記メタデータ配信手段は、前記動画再生装置からメタデータ配信要求を受信した場合に、前記アクセス情報に基づいて送信する前記オブジェクトメタデータを選定し、選定された前記オブジェクトメタデータを前記動画再生装置に送信することを特徴とする請求項７〜１１のいずれか一つに記載のメタデータ配信装置。
【請求項１３】
動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータと共に動画データを再生する動画再生装置であって、
ネットワークに接続されたメタデータ配信装置から、前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの動画データ中での位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを受信するメタデータ受信手段と、
前記メタデータ受信手段によって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析手段と、
前記メタデータ解析手段によって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生手段と、
を備えたことを特徴とする動画再生装置。
【請求項１４】
前記メタデータ解析手段は、前記メタデータ受信手段によって受信したメタデータの再生対象のオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記オブジェクト属性情報を再生対象のオブジェクトメタデータの前記オブジェクト属性情報として取得することを特徴とする請求項１３に記載の動画再生装置。
【請求項１５】
前記オブジェクト属性情報は、前記オブジェクトが指示された場合に実行される処理を記述した動作情報を含み、
前記属性識別情報は、前記動作情報を識別する動作識別情報を含み、
前記メタデータ解析手段は、前記メタデータ受信手段によって受信したメタデータの再生対象のオブジェクトメタデータの前記動作識別情報が他のオブジェクトメタデータの前記動作識別情報と同一であって、かつ前記動作情報が省略されている場合に、前記他のオブジェクトメタデータの前記動作情報を再生対象のオブジェクトメタデータの前記動作情報として取得することを特徴とする請求項１３または１４に記載の動画再生装置。
【請求項１６】
前記動画データの再生中に前記オブジェクトが指示された場合、前記動作情報に基づいて、前記オブジェクトの処理を実行する動作実行手段、
をさらに備えたことを特徴とする請求項１５に記載の動画再生装置。
【請求項１７】
前記オブジェクト属性情報は、前記オブジェクトの表示属性を示すオブジェクト表示属性情報を含み、
前記属性識別情報は、前記オブジェクト表示情報を識別する表示識別情報を含み、
前記メタデータ解析手段は、前記メタデータ受信手段によって受信したメタデータの再生対象のオブジェクトメタデータの前記表示識別情報が他のオブジェクトメタデータの前記表示識別情報と同一であって、かつ前記オブジェクト表示属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記オブジェクト表示属性情報を再生対象のオブジェクトメタデータの前記オブジェクト表示属性情報として取得することを特徴とする請求項１３〜１６のいずれか一つに記載の動画再生装置。
【請求項１８】
前記メタデータ解析手段は。さらに、前記属性識別情報と前記オブジェクト属性情報とを対応づけた属性対応情報を生成し、生成された属性対応情報と省略されたオブジェクト属性情報の属性識別情報とに基づいて、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報を取得することを特徴とする請求項１３〜１７のいずれか一つに記載の動画再生装置。
【請求項１９】
前記メタデータ解析手段は、さらに、前記メタデータ受信手段によって受信したメタデータのオブジェクトメタデータに対して、前記オブジェクト属性情報の属性情報が省略されているか否かを判断し、前記オブジェクト属性情報の属性情報が省略されている場合に、前記属性識別情報が同一の他のオブジェクトメタデータから省略された属性情報を取得して、前記オブジェクト属性情報の属性情報して再構成することを特徴とする請求項１３〜１７のいずれか一つに記載の動画再生装置。
【請求項２０】
前記オブジェクトメタデータは、前記オブジェクトを識別するオブジェクト識別情報を更に含み、
前記メタデータ解析手段は、さらに、前記メタデータ受信手段によって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記オブジェクト識別情報が他のオブジェクトメタデータの前記オブジェクト識別情報と同一であって、かつ前記オブジェクト領域情報が省略されている場合に、前記他のオブジェクトメタデータの前記オブジェクト領域情報を再生対象のオブジェクトメタデータの前記オブジェクト領域情報として取得することを特徴とする請求項１３〜１８のいずれか一つに記載の動画再生装置。
【請求項２１】
動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータを配信するメタデータ配信装置と、前記メタデータ配信装置にネットワークで接続され、前記メタデータ配信装置から前記メタデータを受信して、受信したメタデータを使用しながら動画データを再生する動画再生装置とを備えた動画再生システムであって、
前記メタデータ配信装置は、
前記オブジェクトを識別するオブジェクト識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを記憶するメタデータ記憶手段と、
全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト領域情報が示す領域と同一の領域で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記オブジェクト識別情報を前記第１のオブジェクトメタデータの前記オブジェクト識別情報と同一とし、かつ前記オブジェクト領域情報を省略したオブジェクトメタデータを前記動画再生装置に送信するメタデータ配信手段、とを備え、
前記動画再生装置は、
前記メタデータを受信するメタデータ受信手段と、
前記メタデータ受信手段によって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析手段と、
前記メタデータ解析手段によって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生手段と、
を備えたことを特徴とする動画再生システム。
【請求項２２】
動画データに含まれる画像の単位であるオブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを配信するメタデータ配信方法であって、
全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置に送信する配信ステップ、
を含むことを特徴とするメタデータ配信方法。
【請求項２３】
動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータと共に動画データを再生する動画再生方法であって、
ネットワークに接続されたメタデータ配信装置から、前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの動画データ中での位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを受信するメタデータ受信ステップと、
前記メタデータ受信ステップによって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析ステップと、
前記メタデータ解析ステップによって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生ステップと、
を含むことを特徴とする動画再生方法。
【請求項２４】
動画データに含まれる画像の単位であるオブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを配信するメタデータ配信プログラムであって、
全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置に送信する配信手順、
をコンピュータに実行させることを特徴とするメタデータ配信プログラム。
【請求項２５】
動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータと共に動画データを再生する動画再生プログラムであって、
ネットワークに接続されたメタデータ配信装置から、前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの動画データ中での位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを受信するメタデータ受信手順と、
前記メタデータ受信手順によって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析手順と、
前記メタデータ解析手順によって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生ステップと、
をコンピュータに実行させることを特徴とする動画再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データの再生に同期して再生される動画データ上の画像の単位であるオブジェクトに関する情報を記述したメタデータ、このメタデータを配信するメタデータ配信装置、メタデータを受信して動画データと同期をとって再生する動画再生装置、このようなメタデータ配信方法、動画再生方法、メタデータ配信プログラムおよび動画再生プログラムに関するものである。
【背景技術】
【０００２】
近年、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式で記述されたＷＥＢサイトのハイパーリンクを使用したテキストデータや静止画像データと同様に、動画像データ中に登場する人物や物体などの動きの単位であるオブジェクトから、これらのオブジェクトを説明するテキストデータや静止画像データなどの関連コンテンツへのハイパーリンクを定義し、視聴者がこのオブジェクトをマウスなどで指示することにより、関連コンテンツを表示するようなハイパーメディアの技術が一般的に知られている（例えば、特許文献１参照）。
【０００３】
このような動画データのハイパーメディア技術では、動画データ中のオブジェクトの時空間的な領域を表すデータを示すオブジェクト領域データが必要となる。オブジェクト領域データとしては、２値以上の値を持つマスク画像系列、ＭＰＥＧ−４（非特許文献１参照）の任意形状符号化、図形の特徴点の軌跡を記述する方法などを用いることができる。動画データ中心のハイパーメディアを実現するためには、この他にオブジェクトが指定されたときに他の関連コンテンツを表示させる処理をスクリプトなどで記述した動作情報などのデータが必要となる。これらのオブジェクト領域やオブジェクトの属性、動作情報などを含むデータを動画データに対するメタデータという。
【０００４】
このようなハイパーメディア技術を利用するためには、動画データとメタデータの両方が記録されたビデオＣＤやＤＶＤを利用する他、インターネット等のネットワークを介したストリーミング配信により、動画データとメタデータの両方のデータを受信しながら動画データのハイパーメディアを視聴することが可能である。
【０００５】
しかしながら、動画データのみが記録されたビデオＣＤやＤＶＤの場合には、メタデータが記録されていないためハイパーメディア技術を利用することができない。
【０００６】
このように、動画データのみが記録されたビデオＣＤやＤＶＤによってハイパーメディア技術を利用する場合、ビデオＣＤやＤＶＤに記録された動画データ用に新たにメタデータを生成し、生成されたメタデータをサーバ装置からインターネットを介してメタデータのみを視聴者が使用するＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などのクライアント装置にストリーミング配信する技術がある。これによって、今まで再生することしかできなかったビデオＣＤやＤＶＤに記録された動画データをハイパーメディアとして視聴し、関連した情報を見ることが可能になる。
【０００７】
【特許文献１】特許第３２６６２７８号公報
【非特許文献１】ＩＳＯ／ＩＥＣ  １４４９６
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、このような従来のメタデータのストリーミング配信を利用したハイパーメディア技術では、メタデータをストリーミング配信するため、データの欠落やメタデータのランダムアクセスを考慮してメタデータを小さなサイズ単位で分割して配信する必要がある。分割されたメタデータ（オブジェクトメタデータ）は、他のオブジェクトメタデータが欠落した場合でも、単独で実行可能に構成されており、このため、配信するメタデータのデータ量が増大するという問題がある。
【０００９】
本発明は、上記に鑑みてなされたものであって、メタデータのデータ量を低減して効率的なメタデータの配信を行うとともに、データ量が小さく分割されたメタデータを受信した場合でも正確かつ効率的にハイパーメディア技術を利用した動画再生を実現することができるメタデータ、メタデータ配信装置、動画再生装置、動画再生システム、メタデータ配信方法、動画再生方法、メタデータ配信プログラムおよび動画再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータであって、前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータとを備え、前記オブジェクトメタデータは、他のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを処理させる場合に、前記属性識別情報を前記他のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したデータであることを特徴とする。
【００１１】
また、本発明は、動画データに含まれる画像の単位であるオブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを記憶するメタデータ記憶手段と、全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置に送信するメタデータ配信手段、を備えたことを特徴とする。
【００１２】
また、本発明は、動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータと共に動画データを再生する動画再生装置であって、ネットワークに接続されたメタデータ配信装置から、前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの動画データ中での位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを受信するメタデータ受信手段と、前記メタデータ受信手段によって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析手段と、前記メタデータ解析手段によって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生手段と、を備えたことを特徴とする。
【００１３】
また、本発明は、動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータを配信するメタデータ配信装置と、前記メタデータ配信装置にネットワークで接続され、前記メタデータ配信装置から前記メタデータを受信して、受信したメタデータを使用しながら動画データを再生する動画再生装置とを備えた動画再生システムであって、前記メタデータ配信装置は、前記オブジェクトを識別するオブジェクト識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを記憶するメタデータ記憶手段と、全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト領域情報が示す領域と同一の領域で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記オブジェクト識別情報を前記第１のオブジェクトメタデータの前記オブジェクト識別情報と同一とし、かつ前記オブジェクト領域情報を省略したオブジェクトメタデータを前記動画再生装置に送信するメタデータ配信手段、とを備え、前記動画再生装置は、前記メタデータを受信するメタデータ受信手段と、前記メタデータ受信手段によって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析手段と、前記メタデータ解析手段によって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生手段と、を備えたことを特徴とする。
【００１４】
また、本発明は、動画データに含まれる画像の単位であるオブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを配信するメタデータ配信方法であって、全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置に送信する配信ステップ、を含むことを特徴とする。
【００１５】
また、本発明は、動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータと共に動画データを再生する動画再生方法であって、ネットワークに接続されたメタデータ配信装置から、前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの動画データ中での位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを受信するメタデータ受信ステップと、前記メタデータ受信ステップによって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析ステップと、前記メタデータ解析ステップによって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生ステップと、を含むことを特徴とする。
【００１６】
また、本発明は、動画データに含まれる画像の単位であるオブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの画像表示位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを配信するメタデータ配信プログラムであって、全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置に送信する配信手順、をコンピュータに実行させることを特徴とする。
【００１７】
また、本発明は、動画データに含まれる画像の単位であるオブジェクトに関する情報を記述したメタデータと共に動画データを再生する動画再生プログラムであって、ネットワークに接続されたメタデータ配信装置から、前記オブジェクトの属性を示すオブジェクト属性情報と、前記オブジェクト属性情報を識別する属性識別情報と、前記オブジェクトの動画データ中での位置を示すオブジェクト領域情報とを有する複数のオブジェクトメタデータを有するメタデータを受信するメタデータ受信手順と、前記メタデータ受信手順によって受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの前記属性識別情報が他のオブジェクトメタデータの前記属性識別情報と同一であって、かつ前記オブジェクト属性情報の中の属性情報が省略されている場合に、前記他のオブジェクトメタデータの前記属性情報を再生対象のオブジェクトメタデータの前記属性情報として取得するメタデータ解析手順と、前記メタデータ解析手順によって前記属性情報を取得した前記オブジェクトメタデータとともに前記動画データを再生する再生ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、オブジェクトメタデータは、他のオブジェクトメタデータのオブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを処理させる場合に、前記属性識別情報を他のオブジェクトメタデータの前記属性識別情報と同一とし、かつ同一の属性情報を省略したデータであるので、メタデータのデータ量を低減することができるという効果を奏する。
【００１９】
また、本発明は、全てのオブジェクト属性情報を含む第１のオブジェクトメタデータと、該第１のオブジェクトメタデータの前記オブジェクト属性情報に含まれる属性と同一の属性で前記オブジェクトを表示させるためのオブジェクトメタデータであって、前記属性識別情報を前記第１のオブジェクトメタデータの前記属性識別情報と同一とし、かつ前記同一の属性情報を省略したオブジェクトメタデータを、ネットワークに接続された動画再生装置に送信することで、メタデータのデータ量を低減することができ、この結果、効率的なメタデータの配信を行うことができるという効果を奏する。
【００２０】
また、本発明は、受信したメタデータの再生対象の動画データに対応したオブジェクトメタデータの属性識別情報が他のオブジェクトメタデータの属性識別情報と同一であって、かつオブジェクト属性情報の中の属性情報が省略されている場合に、他のオブジェクトメタデータの属性情報を再生対象のオブジェクトメタデータの属性情報として取得することで、データ量が小さく分割されたメタデータを受信した場合でも正確かつ効率的にハイパーメディア技術を利用した動画再生を実現することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照して、この発明にかかるメタデータ、メタデータ配信装置、動画再生装置、動画再生システム、メタデータ配信方法、動画再生方法、メタデータ配信プログラムおよび動画再生プログラムの最良な実施の形態を詳細に説明する。
【００２２】
（実施の形態１）
図１は、本発明の実施の形態１にかかる動画再生システムの構成を示すブロック図である。本実施の形態の動画再生システムは、図１に示すように、メタデータを配信するメタデータ配信装置１０１と、メタデータを受信して動画データを受信したメタデータと同期をとって再生する動画再生装置１００とがインターネット等のネットワーク１０２に接続された構成となっている。ここで、メタデータ配信装置１０１がメタデータの配信サービスを行うサーバ、動画再生装置１００がメタデータの配信サービスの提供をうけるクライアントの機能を果たしている。
【００２３】
メタデータ配信装置１０１は、動画再生装置１００からのメタデータ要求を受信して、メタデータを動画再生装置１００に配信するものであり、ハードディスクドライブ装置（ＨＤＤ）１１３と、セッションコントローラ１１４と、送信部１１５を主に備えている。
【００２４】
ＨＤＤ１１３は、動画再生装置１００に送信するメタデータを記録した記憶媒体である。本実施の形態では、メタデータの記憶媒体としてＨＤＤ１１３を用いているが、この他、半導体メモリ、磁気テープなどをメタデータの記憶媒体として使用してもよい。ここで、メタデータは動画再生装置１００で再生する動画データに対応したものとなっており、メタデータの詳細については後述する。
【００２５】
セッションコントローラ１１４は、動画再生装置１００とネットワーク１０２を介して制御データの通信を行うものである。
【００２６】
送信部１１５は、動画再生装置１００にネットワーク１０２を介してメタデータを送信するものである。また、送信部１１５は動画再生装置１００のメタデータ要求に適合したメタデータを適切なタイミングで送れるように、メタデータの送出スケジューリングを行う。ここで、送信部１１５は、本発明におけるメタデータ配信手段を構成する。
【００２７】
動画再生装置１００は、メタデータ配信装置１０１からストリーミング配信されるメタデータを受信して、動画データの再生および動画データの再生と同期をとってメタデータの処理を行い、ハイパーメディアなど動画再生以外の付加機能を実現させるものである。動画再生装置１００は、図１に示すように、動画再生エンジン１１９とインタフェースハンドラー１０７と、Ａ／Ｖレンダラー１１２と、ネットワークマネージャ１２０とメディアデコーダ１２１と、スクリプトインタプリタ１１１と、入力装置１１７と、表示装置１１８とを主に備えている。
【００２８】
動画再生エンジン１１９は、動画データの再生処理を行うものであり、記憶媒体１０４と、コントローラ１０５と、Ａ／Ｖデコーダ１０６とから構成される。
【００２９】
記憶媒体１０４は、ＤＶＤ、ビデオＣＤ、ＨＤＤ、ビデオテープまたは半導体メモリなどの記憶媒体であり、再生するデジタル形式またはアナログ形式の動画データが記録されている。この記憶場歌い１０４は、本発明におけるメタデータ記憶手段を構成する。
【００３０】
コントローラ１０８は、記憶媒体１０４からデータの読み出し制御を行うものである。具体的には、ユーザからの指示を受けたインタフェースハンドラー１０７がコントローラ１０５に制御指令を送出し、この制御指令に従って動画データの読み出しの開始および停止や、動画データ中の所望の位置へのアクセスを行う。
【００３１】
Ａ／Ｖデコーダ１０６は、記憶媒体１０４に記録されている動画データがデジタル圧縮されている場合に、入力されてきた動画データに対して復号化処理を行うことによって動画像の各画素の情報を取り出す処理を行う。また、動画データに音声データが含まれている場合には、Ａ／Ｖデコーダ１０６は動画データから映像・音声のデータを分離し、分離した各データを復号化する処理を行う。
【００３２】
インタフェースハンドラー１０７は、動画再生エンジン１１９、ネットワークマネージャー１２０、メディアデコーダ１１０、スクリプトインタプリタ１１１、Ａ／Ｖレンダラー１１２などのモジュール間のインタフェース制御を行うものである。また、インタフェースハンドラー１０７は、ユーザからの入力装置１１７に対する入力を受け付け、適切なモジュールに入力イベントを送出する。
【００３３】
Ａ／Ｖレンダラー１１２は、Ａ／Ｖデコーダ１０６から入力された映像・音声をモニタ等の表示装置１１８に出力する処理を行う。また、Ａ／Ｖレンダラー１１２は、Ａ／Ｖデコーダ１０６からだけでなくメタデータデコーダ１１０からも画像が入力される場合には、両者の画像を合成し、合成画像を表示装置１１８に出力する処理を行う。
【００３４】
ここで、コントローラ１０５とＡ／Ｖデコーダ１０６とＡ／Ｖレンダラー１１２は、本発明における再生手段を構成する。
【００３５】
ネットワークマネージャ１２０は、セッションコントローラ１０８と受信部１０９とから構成される。
【００３６】
セッションコントローラ１０８は、ネットワーク１０２を介してメタデータ配信装置１０１と制御データの送受信を行う。動画再生装置１００からメタデータ配信装置１０１へ送信する制御データは、メディア（メタデータ）情報の要求、セッション構築の要求、セッション終了の要求、メタデータ送信開始の要求、メタデータ送信一時停止の要求などである。一方、メタデータ配信装置１０１から動画再生装置１００に送信する制御データは、ＯＫやエラーなどのステータス情報である。
【００３７】
受信部１０９は、ネットワーク１２０を介してメタデータ配信装置１０１からストリーミング配信されてきたメタデータを受信し、受信したメタデータを逐次メタデータデコーダ１１０に送出する処理を行うものである。受信部１０９は、本発明におけるメタデータ受信手段を構成する。
【００３８】
メタデータデコーダ１１０は、受信部１０９から入力されたメタデータの解析処理を行うものであり、本発明におけるメタデータ解析手段を構成する。具体的には、メタデータデコーダ１１０は、Ａ／Ｖデコーダ１０６で再生中の動画データのタイムスタンプを参照し、動画データの再生に同期させて必要なメタデータを復号化し、メタデータに含まれるオブジェクト表示情報に従って、オブジェクト領域のマスク画像など表示に必要な画像データを生成し、Ａ／Ｖレンダラー１１２に出力する処理を行う。
【００３９】
また、メタデータデコーダ１１０は、オブジェクト属性情報とＩＤとを対応付けたオブジェクト属性情報対応テーブルを生成し、このオブジェクト属性情報対応テーブルを参照してオブジェクト属性情報の一部または全部が省略されたオブジェクトメタデータに対して同一ＩＤのオブジェクトメタデータから省略されたオブジェクト属性情報を特定する。
【００４０】
さらに、メタデータデコーダ１１０は、インタフェースハンドラー１０７から入力されるユーザのクリック等の入力イベントによって指定されたオブジェクトを判定し、指定されたオブジェクトに対して定義された関連情報の表示などの動作命令を取得し、取得した動作命令をインタフェースハンドラーを介してスクリプトインタプリタ１１１に送出する処理を行う。加えて、メタデータデコーダ１１０は、メタデータに含まれるタイムスタンプと再生中の動画データのタイムスタンプとから不要になったメタデータをメモリから削除する処理を行う。
【００４１】
スクリプトインタプリタ１１１は、本発明における動作実行手段を構成するものであり、メタデータの中の後述する動作スクリプトで指定されたスクリプトを解釈して実行するインタプリタである。オブジェクトがユーザにより指定された場合に実行すべきスクリプトは、メタデータデコーダ１１０からインタフェースハンドラーを介してスクリプトインタプリタ１１１に送られてくるようになっている。
【００４２】
入力装置１１７は、マウス、タッチパネル、キーボード等のデバイスである。表示装置１１８は、モニタなどのデバイスである。
【００４３】
ネットワーク１０２を経由した動画再生装置１００からメタデータ配信装置１０１へのデータ送受信の通信プロトコルは信頼性の高い、例えばＲＴＳＰ／ＴＣＰ／ＩＰを使用する。また、メタデータ配信装置１０１に蓄積されているメタデータを動画再生装置１００に送信するネットワークの通信プロトコルは、データ送信の即時性に優れたＲＴＰ／ＵＤＰ／ＩＰを使用する。なお、動画再生装置１００からメタデータ配信装置１０１へのネットワーク、メタデータ配信装置１０１に蓄積されているメタデータを動画再生装置１００に送信するネットワークは、それぞれ別個のネットワークとしても同一のネットワークとしてもいずれに構成してもよい。
【００４４】
本実施の形態のメタデータ配信装置１０１および動画再生装置１００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えた通常のコンピュータを利用したハードウェア構成となっている。動画再生装置１００は、ＤＶＤ再生装置やビデオ再生装置などの動画再生専用の装置であってもよい。
【００４５】
本実施の形態のメタデータ配信装置１０１で実行されるメタデータ配信プログラム、動画再生装置１００で実行される動画再生プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００４６】
また、本実施の形態のメタデータ配信装置１０１で実行されるメタデータ配信プログラム、動画再生装置１００で実行される動画再生プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のメタデータ配信装置１０１で実行されるメタデータ配信プログラム、動画再生装置１００で実行される動画再生プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４７】
本実施の形態のメタデータ配信装置１０１で実行されるメタデータ配信プログラム、動画再生装置１００で実行される動画再生プログラムは、上述した各部を含むモジュール構成となっており、上記記憶媒体から読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【００４８】
次に、本実施の形態の動画再生システムによるハイパーメディアを利用した動画再生の概要について説明する。図２は動画再生装置１００におけるメタデータを利用した動画データの表示例を示す説明図である。
【００４９】
再生画面２００に表示される動画データは、動画再生装置１００の記憶媒体１０４に格納されたものである。動きの単位となる人物、物体などをオブジェクトといい、オブジェクトの動画データ中での領域（位置）であるオブジェクト領域２０２が再生画面２００に表示されている。ユーザがオブジェクト領域２０２内にマウスカーソル２０１を移動させてクリック等によりオブジェクトを選択すると、クリックされたオブジェクトに関連した情報２０３が表示される。オブジェクト領域２０２のデータは、メタデータ配信装置１０１に蓄積されたメタデータに記述されており、このメタデータがネットワークを経由して動画再生装置１００に配信される。同様に、オブジェクト領域２０２がクリック等により指定された場合の動画再生装置１００の動作（図２の例では関連情報を表示させるという動作）はオブジェクト領域２０２のデータと同様にメタデータ配信装置１０１に蓄積されたメタデータに動作スクリプトとして指定されている。
【００５０】
次に、本実施の形態の動画再生システムで使用するメタデータについて説明する。本実施の形態で使用するメタデータには、動画再生装置１００の記憶媒体１０４に記録されている動画データに登場する人物、物体などのオブジェクトの領域に関するオブジェクト領域データと、動画再生装置１００におけるオブジェクトの表示方法とユーザがオブジェクトを指定したときに動画再生装置１００で実行される処理動作に関するオブジェクト属性情報データとが含まれている。
【００５１】
まず、オブジェクトの領域データについて説明する。図３はオブジェクト領域データの構造を説明するための模式図である。図３は、映像の水平方向の座標値をＸ、映像の垂直方向の座標値をＹ、映像の時刻をＴとした３次元座標上において、オブジェクト領域３００が描く軌跡を示したものである。
【００５２】
オブジェクト領域は、あらかじめ定められた範囲の時間間隔（例えば０．５秒から１．０秒の間）ごとにオブジェクト領域データに変換される。図３では、一つのオブジェクト領域３００が５つのオブジェクト領域データ３０１〜３０５に変換されており、これらオブジェクト領域データは別々の後述するオブジェクトメタデータに格納される。オブジェクト領域データの変換方式としては、例えばＭＰＥＧ−４の形状符号化やＭＰＥＧ−７の時空間領域記述子などを使用することができる。
【００５３】
ＭＰＥＧ―４形状符号化やＭＰＥＧ−７時空間記述子はオブジェクト領域の時間的な相関を利用してデータ量を削減する方式であるため、途中からデータが復号できない場合や、ある時刻のデータが欠落した場合に周囲の時刻のデータも復号できなくなるという問題がある。しかし、本実施の形態では、図３に示すように、長時間連続して動画中に登場しているオブジェクトの領域を分割してデータ化することにより、ユーザからのランダムアクセスを容易にし、一部のデータの欠落の影響を軽減することが可能となる。
【００５４】
図４は、本実施の形態で使用するメタデータの１単位の構造を示すデータ構造図である。ここで、このメタデータの１単位をオブジェクトメタデータという。図４に示しように、オブジェクトメタデータは、タイムスタンプ４０１と、ＩＤ４０３と、オブジェクト属性情報４０２と、オブジェクト領域データ４００とから構成される。
【００５５】
オブジェクト領域データ４００は、図３を用いて説明したとおり、一つのオブジェクト領域のある連続した時間間隔における軌跡がデータ化されている。
【００５６】
タイムスタンプ４０１は、オブジェクト領域データ４００に記述されたオブジェクト領域が動画データのどの時刻に相当するデータであるかを示すものである。図３に示すように、オブジェクト領域はある時間範囲に及んでいるため、通常はタイムスタンプ４０１にはオブジェクト領域の先頭の時刻を記述する。なお、オブジェクト領域データ４００に記述されたオブジェクト領域の時間間隔やオブジェクト領域の末尾の時刻をさらに記述するように構成しても良い。
【００５７】
オブジェクト属性情報４０２は、オブジェクトの表示方法やユーザがオブジェクトを指定したときに動画再生装置１００で実行される処理動作に関するデータである。図５は、オブジェクト属性情報の構造を示すデータ構造図である。オブジェクト属性情報４０２は、図５に示すように、階層情報５００と、動作スクリプト５０１と、オブジェクト表示情報５０２とから構成される。ここで、動作スクリプト５０１は、本発明における動作情報を構成する。
【００５８】
階層情報５００は、複数のオブジェクトが動画データ中に同時に存在する場合に、オブジェクト領域の上下関係を決定するための情報である。例えば、階層情報５００として０から２５５までの値を使用し、階層情報の値が小さいオブジェクトほど前面にあることを示す。階層情報５００を利用することにより、複数のオブジェクト領域が重畳して表示される場合に重畳部分をユーザが指定したときに、どのオブジェクトが指定されたのかを判断することが可能になる。
【００５９】
動作スクリプト５０１は、ユーザによりオブジェクトが指定されたときに動画再生装置１００が実行する処理動作を記述したスクリプトである。例えば、ＨＴＭＬファイルの表示、別の動画像や再生中の動画像の別場面へのジャンプ、アプリケーションの実行などの命令を記述するように構成することができる。また、動作スクリプト５０１には、実際の処理動作を記述したスクリプトファイルのファイル名を記述し、スクリプトインタプリタ１１１によって、動作スクリプト５０１に記述されたファイル名のスクリプトファイルを参照して、スクリプトファイルに記述された処理を実行するように構成することもできる。
【００６０】
オブジェクト表示情報５０２は、オブジェクトに関連した表示方法を特定する情報である。例えば、オブジェクト領域とそれ以外の領域の明度を変更してオブジェクト領域を明示したり、オブジェクト領域を単に線で囲んだり、オブジェクトの名称をオブジェクト領域付近に表示させるなどの表示方法があり、これらのどの表示を選択するか、また表示に必要なパラメータの値がオブジェクト表示情報５０２に記述される。なお、図７にオブジェクト属性情報４０２の内容の一例を示す。
【００６１】
図４に戻り、ＩＤ４０３は、オブジェクト属性情報４０２を識別するための識別情報である。図６は、ＩＤ４０３の構造を示すデータ構造図である。図６に示すように、ＩＤ４０３は、オブジェクトＩＤ６００と、メディアＩＤ６０１と、動作ＩＤ６０２と、表示情報ＩＤ６０３とから構成されている。ここで、動作ＩＤ６０２と表示情報ＩＤ６０３は、本発明における属性識別情報を構成する。また、動作ＩＤ６０２は本発明における動作識別情報を、表示情報ＩＤは、本発明における表示識別情報を、オブジェクトＩＤは本発明におけるオブジェクト識別情報をそれぞれ構成する。
【００６２】
オブジェクトＩＤ６００は、動画データに登場するオブジェクトごとに異なる固有の識別情報である。ただし、同一の人物や物体でも、意味的に別々のオブジェクトとして扱うような場合には、異なるオブジェクトＩＤ６００を割り当てることも可能である。
【００６３】
メディアＩＤ６０１は、オブジェクトメタデータがどの動画データ用のものであるかを特定するための識別情報である。例えば、動画データには、ＤＶＤのマルチアングル機能等のように、音声言語やカメラアングルなどの選択により再生される動画が変更できるような構成のものがある。メディアＩＤは、記憶媒体１０４に記録された動画データがこのような種類の動画である場合に、オブジェクトメタデータがどの音声言語やどのカメラアングルのときに有効であるかを決定するための識別情報である。
【００６４】
動作ＩＤ６０２は、オブジェクト属性情報４０２に含まれる動作スクリプト５０１に付与された識別情報である。表示情報ＩＤ６０３は、オブジェクト属性情報４０２に含まれるオブジェクト表示情報５０２に付与された識別情報である。
【００６５】
オブジェクトＩＤ６００、メディアＩＤ６０１、動作ＩＤ６０２、表示情報ＩＤ６０３は、必ずしも全て有する必要はない。例えば、記憶媒体１０４に一つの動画データしか記録されていない場合には、メディアＩＤ６０１は不要である。また、動作スクリプトとオブジェクト表示情報が常に１対１に対応している場合には、どちらか一方のＩＤだけを有していればよい。さらに、オブジェクトごとに動作スクリプトやオブジェクト表示情報が予め決められている場合には、動作ＩＤ６０２と表示情報ＩＤ６０３は不要である。図８は、メディアＩＤ６０１を省略したオブジェクトメタデータのＩＤ６００の構造を示すデータ構造図である。
【００６６】
また、本実施の形態にかかるメタデータでは、ＩＤ４０３を利用することにより、メタデータ配信装置１０１から動画再生装置１００に送信するデータ量を削減することが可能である。例えば、同一オブジェクトが動画再生装置１００でユーザによって指示された場合で、同一動作を行わせる場合には、オブジェクトごとに動作スクリプト５０１の内容は共通である。しかし、図３に示したとおり同一オブジェクトでもオブジェクト領域データは複数存在に分けてデータ化されるため、一般にオブジェクト一つから複数のオブジェクトメタデータが生成される。
【００６７】
このような場合には、それぞれのオブジェクトメタデータに同一の動作スクリプトが含まれることになる。このような場合には、メタデータ配信装置１０１側でメタデータを生成する際に、オブジェクトメタデータのオブジェクトＩＤを先に再生する動画データに対応するオブジェクトメタデータのオブジェクトＩＤと同一とし、後に再生する動画データに対応するオブジェクトメタデータのオブジェクト属性情報を省略すれば、データ量を低減することができる。
【００６８】
図９は、オブジェクト属性情報を省略したオブジェクトメタデータの構造を示すデータ構造図である。図９に示すように、オブジェクトメタデータはタイムスタンプ１２００、ＩＤ１２０１、オブジェクト領域データ１２０２から構成され、オブジェクト属性情報が省略されており、このサイズ分だけ、データ量が削減されていることがわかる。
【００６９】
すなわち、全てのＩＤの値に対して少なくとも一つはオブジェクト属性情報４０２が省略されていないオブジェクトメタデータが存在していなければならない。これは、オブジェクト属性情報が省略されているオブジェクトメタデータを受信した動画再生装置１００が、オブジェクト属性情報が省略されていないオブジェクトメタデータを参照して動作スクリプト等のオブジェクト属性情報を取得するためである。オブジェクト表示情報についても同様の方法で取得することができる。
【００７０】
また、図９の例では、オブジェクト属性情報４０２全体を省略したオブジェクトメタデータを生成しているが、動作スクリプト５０１のみあるいはオブジェクト表示情報５０２のみ等オブジェクト属性情報の一部を省略したオブジェクトメタデータを生成して動画再生装置１００に送信することもできる。
【００７１】
図１０は、オブジェクト属性情報の中で、動作スクリプトを省略したオブジェクトメタデータのオブジェクト属性情報の構造を示すデータ構造図であり、図１１は、オブジェクト属性情報の中で、オブジェクト表示情報を省略したオブジェクトメタデータのオブジェクト属性情報の構造を示すデータ構造図である。
【００７２】
本実施の形態にかかるメタデータでは、さらに、共通のＩＤを利用することにより、先に再生されるオブジェクトメタデータに含まれるオブジェクト属性情報からの変更分のみをメタデータ配信装置１０１から動画再生装置１００に送信するようにすることもできる。
【００７３】
メタデータ配信装置１０１からオブジェクト属性情報が少しだけ異なったオブジェクトメタデータを動画再生装置１００に送信したい場合には、効率的にメタデータを送信するため、以前に動画再生装置１００に送信したオブジェクトＩＤと同一のオブジェクトＩＤを使用し、オブジェクトの属性の変更部分のみをオブジェクト属性情報として送信する。
【００７４】
このようなメタデータを受信した動画再生装置１００では、ＩＤごとにオブジェクト属性情報を記憶しておき、更新すべきオブジェクト属性情報を受け取ったときに記憶しておいたオブジェクト属性情報を更新する。動画再生装置１００での表示や動作はこのＩＤごとに記憶されたオブジェクト情報を参照して行われる。
【００７５】
オブジェクトメタデータは、メタデータ配信装置１０１において、タイムスタンプ順に並べて記録することが送信の効率化を図るために好ましい。図１２は、オブジェクトメタデータをタイムスタンプ順に並べたオブジェクトメタデータストリームを示す説明図である。図１２では、カメラアングル１とカメラアングル２の２つのカメラアングルがあり、動画再生装置１００においてカメラアングルを切り替えると表示される動画データも切り替えられることを想定している。また、選択可能な言語モードには日本語と英語の２種類があり、それぞれの言語に対して別々のオブジェクトメタデータが準備されている場合を想定している。図１２において、カメラアングル１かつ日本語用のオブジェクト・メタデータは１２００、１２０１、１２０２であり、カメラアングル２かつ日本語用のオブジェクトメタデータは１２０３である。そして英語用のオブジェクトメタデータは１２０４と１２０５である。１２００から１２０５はそれぞれ動画データ中の一つのオブジェクトに対応しており、図３で説明したとおり、複数のオブジェクトメタデータから構成されている（一つの長方形が一つのオブジェクトメタデータを示している）。
【００７６】
図１２の横軸は動画データ中の時間であり、オブジェクトの登場時間に対応させて１２００から１２０５のオブジェクトメタデータを表示してある。１２０６はこれら１２００から１２０５のオブジェクトメタデータから構成されたオブジェクトメタデータストリームである。オブジェクトメタデータストリームは単にオブジェクトメタデータをタイムスタンプ順にならべることにより構成される。
【００７７】
動画再生装置１００では、カメラアングルや音声言語の設定に合致したオブジェクトメタデータだけが必要である。例えば、カメラアングルが２に設定されている場合は１２０３のみが必要であり、１２００から１２０２や１２０４、１２０５のオブジェクトメタデータは不要である。このため、メタデータ配信装置１０１は、動画再生装置１００の設定を受信し、必要なオブジェクトメタデータのみをオブジェクトメタデータストリームから選択して送信することとしている。
【００７８】
しかし、動画再生装置１００の設定が頻繁に変更される場合には、オブジェクトメタデータストリーム全てに含まれるオブジェクトメタデータを動画再生装置１００に送信し、動画再生装置１００が必要なオブジェクトメタデータを選択する方が好ましい。
【００７９】
次に、本実施の形態にかかるメタデータ配信装置１０１によるメタデータの配信処理について説明する。図１３は、メタデータ配信装置１０１によるメタデータの配信処理の手順を示すフローチャートである。
【００８０】
メタデータ配信装置１０１では、セッションコントローラ１１４によって動画再生装置１００から要求するオブジェクトメタデータのタイムスタンプを含むメタデータ送信要求の受信待ち状態となっている（ステップＳ１３０１）。セッションコントローラ１１４がメタデータ送信要求を受信すると（ステップＳ１３０１：Ｙｅｓ）、送信部１１５は、メタデータ送信要求から要求されたメタデータのタイムスタンプを取得する（ステップＳ１３０２）。そして、送信部１１５は、アクセスポイントテーブルを参照し、タイムスタンプに対応したアクセスポイントを取得する（ステップＳ１３０３）。
【００８１】
ここで、アクセスポイントテーブルについて説明する。動画再生装置１００では、動画データが先頭から再生され、この動画データに対応したオブジェクトメタデータをストリーミング配信する場合には、メタデータ配信装置１０１は、オブジェクトメタデータストリームを先頭から順に動画再生装置１００に配信すればよい。
【００８２】
しかしながら、再生する動画データがランダムアクセスされる場合には、オブジェクトメタデータも同様にランダムアクセスされるため、オブジェクトメタデータストリームの途中からデータを配信する必要がある。このときに、オブジェクトメタデータストリーム中の所望の位置に高速にアクセスするためには、本実施の形態にかかるメタデータ配信装置１０１では、アクセスポイントテーブルを設けている。
【００８３】
図１４はアクセスポイントテーブルの一例を示す説明図である。このテーブルはあらかじめ生成されており、メタデータ配信装置１０１のＨＤＤ１３３に格納されている。アクセスポイントテーブルは、図１４に示すように、対応する動画データのタイムスタンプ１４００とアクセスポイント１４０１とを対応付けたテーブルである。アクセスポイントは、タイムスタンプに該当するオブジェクトメタデータのオブジェクトメタデータストリーム先頭からのオフセット値である。
【００８４】
そして、送信部１１５は、アクセスポイントが示すオブジェクトメタデータストリームの先頭からオフセット値のオブジェクトメタデータを取得し（ステップＳ１３０４）、取得したオブジェクトメタデータから送信するパケットを生成する（ステップＳ１３０５）。そして、送信部１１５は、生成したオブジェクトメタデータのパケットを動画再生装置１００に送信する（ステップＳ１３０６）。
【００８５】
なお、動画データのランダムアクセス先のタイムスタンプに対応した値がアクセスポイントテーブルに存在しない場合は、タイムスタンプの示す時刻に近い値のタイムスタンプのアクセスポイントを参照し、そのアクセスポイント周辺でオブジェクトメタデータストリーム内のタイムスタンプを参照しながら送信開始場所を探索する。もしくは、アクセスポイントテーブルから動画データのランダムアクセス先のタイムスタンプよりも手前の時刻のタイムスタンプを探索し、そのタイムスタンプに対応したアクセスポイントからオブジェクトメタデータを送信する。
【００８６】
以上のステップＳ１３０１からＳ１３０６までの処理をメタデータ中の要求された全てのオブジェクトメタデータに対して繰り返し実行する（ステップＳ１３０７）。
【００８７】
次に、上述したステップＳ１３０５において生成される送信用パケットについて説明する。メタデータ配信装置１０１の送信部１１５は、オブジェクトメタデータを動画再生装置１００に送信する場合に、オブジェクトメタデータをパケット化して送信する。
【００８８】
図１５は、オブジェクトメタデータのデータサイズが小さい場合の送信用パケット構成を示すデータ構造図である。図１５に示すように、送信用パケットはパケットヘッダー１５０１とペイロード１５０４から構成される。
【００８９】
パケットヘッダー１５０１には、パケットのシリアル番号、送信時刻、発信元の特定情報などが含まれている。ペイロード１５０４は送信データを格納するデータ領域であり、オブジェクトメタデータ１５０２とパディングデータ１５０３とから構成される。パディングデータ１５０３は、送信するデータのサイズが一定サイズであることから、送信用パケットのデータサイズを一定サイズに調整するためのダミーデータであり、例えば０値を連続したデータとすることができる。ペイロード１５０４のサイズがオブジェクトメタデータのサイズと等しくなる場合にはパディングデータ１５０３は不要となる。
【００９０】
一方、ペイロード１５０４にオブジェクトメタデータが収まらない場合がある。このような場合には、送信用パケットの最大サイズ分のオブジェクトメタデータをペイロード１５０４に格納し、残りのオブジェクトメタデータを次の送信用パケットのペイロード１５０４に格納して送信する。
【００９１】
図１６は、ペイロードにオブジェクトメタデータが収まりきらない場合の送信用パケットの構成を示す説明図である。オブジェクトメタデータは、まず１番目の送信用パケットのペイロードに入りきる部分（１６０２）のみペイロードに格納される。残りのデータ（１６０４）は第２の送信用パケットのペイロードに格納され、ペイロードの格納サイズに余りが生じていればパディングデータ１６０５を格納する。オブジェクトメタデータを３つ以上のパケットに分割する場合も同様である。
【００９２】
次に、動画再生装置１００とメタデータ配信装置１０１との通信手順およびそれぞれの装置の動作について説明する。
【００９３】
図１７は、ＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）とＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）の通信プロトコルを使った場合の通信手順例を示す説明図である。ＲＴＳＰの通信プロトコルは、動画再生装置１００からメタデータ配信装置１０１にメタデータ要求を行う際のデータ送受信に使用される。一方、ＲＴＰの通信プロトコルは、メタデータ配信装置１０１から動画再生装置１００にメタデータを配信する際に使用される。
【００９４】
まず、動画再生装置１００で動画データの再生をユーザが入力すると、動画再生装置１００はストリーミングされるオブジェクトメタデータに関する情報提供を、ＲＴＳＰのＤＥＳＣＲＩＢＥメソッドによってメタデータ配信装置１０１に要求する（ステップＳ１７０１）。ここで、再生される動画データに対応したデータを配信するメタデータ配信装置１０１のＩＰアドレスは、あらかじめ動画再生装置１００に通知されているものとする。
【００９５】
メタデータ配信装置１０１は、動画再生装置１００からの情報提供の要求に応答して、オブジェクトメタデータの情報（ＳＤＰ  ｆｉｌｅ）を動画再生装置１００に送信する。（ステップＳ１７０２）。具体的には、セッションのプロトコルバージョン、セッション所有者、セッション名、接続情報、セッションの時間情報、メタデータ名、メタデータ属性等の情報が動画再生装置１００に送信される。これらの情報の記述方法としては、例えば、ＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）を使用する。
【００９６】
次に、動画再生装置１００は、ＲＴＳＰのＳＥＴＵＰメソッドによって、メタデータ配信装置１０１にセッションの構築を要求する（ステップＳ１７０３）。メタデータ配信装置１０１はストリーミングの準備を整え、セッションＩＤを動画再生装置１００に応答送信する（ステップＳ１７０４）。次に、動画再生装置１００は、メタデータ配信装置１０１に対して、ＲＴＳＰのＰＬＡＹメソッドによってオブジェクトメタデータの送信を要求する（ステップＳ１７０５）。この要求には、動画データの再生開始位置のタイムスタンプの情報が含まれている。メタデータ配信装置１０１は、オブジェクトメタデータの送信要求を受信すると確認メッセージを送信する（ステップＳ１７０６）。そして、オブジェクトメタデータストリーム中の送信開始位置を特定し、オブジェクト・メタデータをパケット化してＲＴＰプロトコルにより動画再生装置１００に送信する（ステップＳ１７０７）。
【００９７】
動画再生装置１００で動画データを停止する場合や、メタデータ配信装置１０１からのオブジェクトメタデータの送信を中止したい場合には、動画再生装置１００は、ＲＴＳＰのＴＥＡＲＤＯＷＮメソッドによって、メタデータ配信装置１０１にセッションの終了要求を送信する（ステップＳ１７０８）。この要求を受信したメタデータ配信装置１０１は、データ送信を中止してセッションを終了し、動画再生装置１００に確認メッセージを送信する（ステップＳ１７０９）。かかる処理により、セッションに使用していたセッションＩＤが無効となる。
【００９８】
次に、メタデータを受信した動画再生装置１００によるメタデータの解析処理について説明する。図１８は、動画再生装置１００によるメタデータ解析処理の手順を示すフローチャートである。
【００９９】
動画再生装置１００の受信部１０９は、メタデータ配信装置１０１からオブジェクトメタデータのパケットを受信すると（ステップＳ１８０１）、受信したパケットからオブジェクトメタデータを取得し、取得したオブジェクトメタデータをメタデータデコーダ１１０に送出する（ステップＳ１８０２）。
【０１００】
メタデータデコーダ１１０は、受信部１０９から受け取ったオブジェクトメタデータをメモリに確保されたバッファ（図示せず）に格納し（ステップＳ１８０３）、メディアＩＤ６０１を参照してカメラアングルや音声言語の設定が再生する動画データに対応しているか否かを判断する（ステップＳ１８０４）。
【０１０１】
そして、再生する動画データに対応していると判断した場合には（ステップＳ１８０４：Ｙｅｓ）、タイムスタンプの早い順にオブジェクトメタデータを復号化する（ステップＳ１８０５）。一方、カメラアングルや音声言語の設定が再生する動画データに対応していないと判断した場合には（ステップＳ１８０４：Ｎｏ）、オブジェクトメタデータの復号化を行わずに処理を終了する。
【０１０２】
ステップＳ１８０５の復号化処理の後、バッファにあらかじめ決められた量のデータが格納されると、コントローラ１０５は動画データの再生を開始する。再生中の動画データのタイムスタンプは逐次メタデータデコーダ１１０に送出され、メタデータデコーダ１１０ではこのタイムスタンプに同期させてオブジェクトメタデータの解析（デコード）を行い（ステップＳ１８０６）、オブジェクト・メタデータに含まれるＩＤとオブジェクト属性情報を対応付けたオブジェクト属性情報対応テーブルを生成する（ステップＳ１８０７）。
【０１０３】
このオブジェクト属性情報対応テーブルは、ＨＤＤやメモリなどの記憶手段に生成され、オブジェクト属性情報（動作スクリプト、オブジェクト表示情報）の全部または一部が省略されたオブジェクトメタデータを受信した場合に、オブジェクト属性情報へのアクセスを容易にするために使用される。オブジェクト属性情報対応テーブルは、本発明における属性対応情報を構成し、動作スクリプトに関するテーブルとオブジェクト表示情報に関するテーブルが生成される。動作スクリプトに関するオブジェクト属性情報対応テーブルは、動作ＩＤとその動作ＩＤに対応する動作スクリプトが対応付けられたテーブルとなっており、オブジェクト表示情報に関するオブジェクト属性情報対応テーブルは、表示情報ＩＤ６０３とその表示情報ＩＤ６０３に対応するオブジェクト表示情報が対応付けられたテーブルとなっている。なお、オブジェクト属性情報対応テーブルの生成処理については後述する。
【０１０４】
次に、メタデータデコーダ１１０は、再生対象の動画データに対応したオブジェクトメタデータにおいて、オブジェクト表示情報が省略されているか否かを調べる（ステップＳ１８０８）。そして、オブジェクト表示情報が省略されていると判断した場合には（ステップＳ１８０８：Ｙｅｓ）、オブジェクト属性情報対応テーブルを参照して表示情報ＩＤ６０３に対応するオブジェクト表示情報を特定する（ステップＳ１８０９）。一方、オブジェクト表示情報が省略されていない判断した場合には（ステップＳ１８０８：Ｎｏ）、オブジェクトメタデータ中のオブジェクト表示情報を取得する。
【０１０５】
そして、メタデータデコーダ１１０は、特定したオブジェクト表示情報にオブジェクト領域の表示が指示されているか否かを判断する（ステップＳ１８１０）。そして、オブジェクト領域の表示が指示されていると判断した場合には（ステップＳ１８１０：Ｙｅｓ）、オブジェクト領域のマスク画像や輪郭線などをオブジェクト表示属性に対応した画像を生成し、生成した画像を再生中の動画データのタイムスタンプに合わせてＡ／Ｖレンダラーに送出する（ステップＳ１８１１）。
【０１０６】
一方、ステップＳ１８１０において、オブジェクト領域の表示が指示されていないと判断した場合には（ステップＳ１８１０：Ｎｏ）、オブジェクト表示情報に対応した画像を生成しない。
【０１０７】
次に、メタデータデコーダ１１０は、不要になった再生済みの動画データに対応するオブジェクトメタデータをバッファから削除する（ステップＳ１８１２）。以上のような処理でメタデータの解析処理が行われる。
【０１０８】
次に、ステップＳ１８０７におけるメタデータデコーダ１１０によるオブジェクト属性情報対応テーブルの生成処理について説明する。図１９は、オブジェクト属性情報対応テーブルの生成処理の手順を示すフローチャートである。
【０１０９】
まず、メタデータデコーダ１１０は、オブジェクト属性情報対応テーブルの生成処理でまだ未対象のオブジェクトメタデータをバッファから取得する（ステップＳ１９０１）。そして、取得したオブジェクトメタデータからＩＤを取得する（ステップＳ１９０２）。
【０１１０】
次いで、メタデータデコーダ１１０は、ＩＤが既にオブジェクト属性情報対応テーブルに登録されているか否かを調べる（ステップＳ１９０３）。そして、未登録である場合には、ＩＤとオブジェクト属性情報とを対応付けてオブジェクト属性情報対応テーブルに登録する（ステップＳ１９０４）。ここで、登録するオブジェクト属性情報は、動作スクリプトとオブジェクト表示属性であり、ＩＤは、オブジェクト属性情報の種類に対応したＩＤである。すなわち、動作ＩＤと動作スクリプトとを対応付けたオブジェクト属性情報対応テーブルと、表示情報ＩＤ６０３とオブジェクト表示属性とを対応付けたオブジェクト属性情報対応テーブルがそれぞれ別個に生成されることになる。
【０１１１】
ステップＳ１９０４によりＩＤとオブジェクト属性情報がオブジェクト属性情報対応テーブルに登録されたら、次にオブジェクト属性情報対応テーブル生成処理で未対象となっているオブジェクトメタデータがバッファに存在するか否かを調べ（ステップＳ１９０５）、バッファ中の全てのオブジェクトメタデータに対して、上記ステップＳ１９０１からＳ１９０４までの処理を繰り返し実行する。
【０１１２】
このような処理によりオブジェクト属性情報対応テーブルが生成されることになる。図２０は、動作ＩＤと動作スクリプトを対応付けたオブジェクト属性情報対応テーブルの一例を示す説明図である。図２０に示すように、オブジェクト属性情報対応テーブルには、動作ＩＤと動作スクリプトのファイル名が対応付けられて登録されている。このオブジェクト属性情報対応テーブルは、前述したオブジェクトの表示処理、ユーザによるオブジェクト領域のクリック時の処理の際に参照される。
【０１１３】
次に、ユーザがマウスによってオブジェクト領域内をクリックした場合の動画再生装置１００の動作について説明する。図２１は、オブジェクト領域のマウスクリック時の処理手順を示すフローチャートである。
【０１１４】
インタフェースハンドラー１０７は、マウスクリックにより動画データ上のクリック位置座標の入力待ち状態となっている（ステップＳ２１０１）。ユーザがマウスクリックを行うと、クリック位置座標がインタフェースハンドラー１０７に入力されるので（ステップＳ２１０１：Ｙｅｓ）、インタフェースハンドラーは入力された位置座標とクリック時の動画データのタイムスタンプをメタデータデコーダ１１０に送出する（ステップＳ２１０２）。
【０１１５】
メタデータデコーダ１１０は、タイムスタンプと位置座標から、ユーザによって指示されたオブジェクトを特定する処理を行う（ステップＳ２１０３）。メタデータデコーダ１１０では、動画データの再生に同期させてオブジェクトメタデータを解析（デコード）しているため、クリックされた時のタイムスタンプにおけるオブジェクト領域が生成されているため、かかる特定処理を容易に実行可能である。
【０１１６】
また、オブジェクトの特定処理の際に、クリックされた位置座標の位置に複数のオブジェクト領域が存在する場合には、オブジェクト属性情報の階層情報５００を参照して、最も前面にあるオブジェクトを特定する。
【０１１７】
ユーザによって指定されたオブジェクトが特定されると、メタデータデコーダ１１０は、オブジェクトメタデータにおいてオブジェクト属性情報の動作スクリプト５０１が省略されているか否かを調べる（ステップＳ２１０４）。そして、動作スクリプト５０１が省略されていると判断した場合には（ステップＳ２１０４：Ｙｅｓ）、メタデータデコーダ１１０は、オブジェクト属性情報対応テーブルを参照して、動作ＩＤに対応する動作スクリプト５０１を特定する（ステップＳ２１０５）。次いで、メタデータデコーダ１１０は、特定された動作スクリプトをスクリプトインタプリタ１１１に送出する（ステップＳ２１０６）。
【０１１８】
なお、パケットの欠落等の理由によりまだオブジェクト属性情報対応テーブルがまだ生成されていない場合には動作スクリプトが特定できないので、スクリプトインタプリタへ送信する処理は実行されない。
【０１１９】
動作スクリプト５０１を受け渡されたスクリプトインタプリタ１１１は、受け渡された動作スクリプト５０１を解釈して実行する（ステップＳ２１０７）。これにより、例えば、指定されたＨＴＭＬファイルの表示を行ったり、指定された動画データの再生を開始する。これにより、ハイパーメディア技術を実現することが可能となる。
【０１２０】
これらの動作スクリプト５０１で指定されたＨＴＭＬファイルや動画データは、動画再生装置１００に予め記録されている他、メタデータ配信装置１０１からネットワーク経由で受信したり、インターネット等のネットワーク上にアクセスして受信するように構成することができる。
【０１２１】
次に、オブジェクト表示情報に基づくオブジェクトの表示処理について、動画データの再生表示に同期させてテロップ表示を行う場合を例にあげて、説明する。
【０１２２】
図２２は、動画再生装置１００におけるテロップの表示例を示す説明図である。動画の表示領域２２００に、テロップ表示領域２２０１があり、この領域の中にテロップが表示される。テロップの文字列２２０２は静止して表示させるだけでなく、右から左に流したり、いくつかの文字だけをハイライト表示させたり、カラオケの歌詞表示のように順次色を変えたり、点滅させたりすることができる。また、この例では、テロップ表示領域２２０１が時間の経過とともに次第に上方に移動されていくものとする。
【０１２３】
図２３は、オブジェクト領域データによりテロップ表示領域２２０１を表現する場合に、移動するテロップ表示領域２３００を複数のオブジェクト領域データ２３０１〜２３０５とした状態を示す説明図である。
【０１２４】
図２３において、Ｘ軸は映像の水平方向の座標値、Ｙ軸は映像の垂直方向の座標値であり、これらの軸とＴの映像時刻の軸とからなる３次元座標上のテロップ表示領域２３００を示している。
【０１２５】
テロップ表示領域２２０１はあらかじめ決められた時間間隔あらかじめ決められた範囲の時間間隔（例えば０．５秒から１．０秒の間）ごとにオブジェクト領域データに変換される。図２３では、一つのテロップ表示領域が２３０１から２３０５の５つのオブジェクト領域データに変換されており、これらのオブジェクト領域データは別々のオブジェクトメタデータに格納される。
【０１２６】
なお、図２３では、テロップ領域が上方に移動する速度は一定としているが、速度を変化させて上方に移動する場合には、ＭＰＥＧ―４形状符号化やＭＰＥＧ−７時空間記述子を利用してオブジェクト領域データとしてデータ化することが可能である。
【０１２７】
図２４は、上方に移動するテロップ表示を行う場合のオブジェクトメタデータのオブジェクト表示情報の構造を示すデータ構造図である。図２４に示すように、オブジェクト表示情報は、表示時間情報２４００と、スタイル情報２４０１と、ハイライト情報２４０２と、カラオケ表示情報２４０３と、スクロール情報２４０４と、点滅情報２４０５と、表示テキスト長２４０６と、表示テキスト２４０７とから構成される。ただし、このオブジェクト表示情報のデータ構造は一例を示したものであり、テロップ表示の方法によっては、ハイライト情報２４０２、カラオケ表示情報２４０３、スクロール情報２４０４、点滅情報２４０５のいずれかまたは全てを省略することも可能である。また、テロップ表示の方法によっては、表示形態に応じてオブジェクト表示情報に他の情報を含むように構成してもよい。
【０１２８】
表示時間情報２４００は、テロップの表示開始時間と表示終了時間、もしくは表示開始時間と表示時間である。テロップの表示開始時間と表示終了時間がオブジェクト領域の先頭時刻と末尾時刻にそれぞれ等しい場合には、表示時間情報２４００は省略することもできる。
【０１２９】
スタイル情報２４０１は、表示させるテキストのフォント種類、サイズを特定する情報である。ハイライト情報２４０２は、テロップとして表示させるテキストの一部をハイライトして表示する際に、ハイライトさせる文字の先頭と末尾を特定するための情報である。カラオケ表示情報２４０３は、文字の色を先頭から順次変化させていく際に、表示する文字の色彩を変化させるタイミングを特定する情報である。例えば、１番目の文字から１０番目の文字は３秒かけて変化させ、１１番目の文字から２４番目の文字までは２秒で変化させるなど情報を記述する。スクロール情報２４０４は、テロップ表示領域内で文字を流して表示させる場合に、その移動速度と方向を特定する情報である。点滅情報２４０５は、点滅させる文字区間や点滅速度を特定する情報である。
【０１３０】
表示テキスト長２４０６は、テロップ表示領域内に表示させる文字の長さを特定する情報である。表示テキスト２４０７は、テロップ表示領域内に表示させる文字列が設定されており、その文字数は表示テキスト長２４０６で特定されている。
【０１３１】
図２４に示すオブジェクト表示情報を含むオブジェクトメタデータを使用することにより、動画データの再生の進行に合わせて、時間の経過とともにテロップ表示領域が上方に移動するテロップを表示させることができる。
【０１３２】
さらに、動作スクリプト５０１を使用することにより、テロップ表示領域内がクリック等により指定された場合に動作スクリプトに従って指定されたＨＴＭＬファイルの表示を行わせたり、指定された動画像の再生を開始させたりすることができる。このような表示の例として、テロップ中のオブジェクトとしての文字列がクリックされた場合に、動作スクリプト５０１が実行される場合について説明する。
【０１３３】
図２５は、クリック時に特定動作を実行するテロップ表示の表示例を示す説明図である。動画の表示領域２５００に、テロップ表示領域２５０１があり、この領域の中にテロップが表示される。テロップ表示領域２５０１内の文字列２５０２をクリックした場合には、特定の動作が実行されるようになっている。図２５では、テロップは、スクロール情報２４０４に記述された情報により右から左に流れて表示されている。従って文字列２５０２もテロップ表示領域２５０１の右から出現し、左に移動して領域内から消滅するようになっている。ここで、テロップ表示領域２５０１と文字列２５０２とはそれぞれ別のオブジェクトを構成しており、このためオブジェクトメタデータも別個となっている。
【０１３４】
図２６は、図２５のテロップに関連する表示領域を、Ｘ軸（水平方向）、Ｙ軸（垂直方向）、Ｔ軸（時間）の３次元空間上で示した説明図である。図２６において、領域２６００はテロップ表示領域２５０１に対応した領域であり、領域２６０１は文字列２５０２に対応した領域となっている。
【０１３５】
図２５に示すテロップ表示を行わせるため、オブジェクトメタデータには領域２６００のオブジェクト領域データが含まれており、また、オブジェクト属性情報の動作スクリプト５０１には、テロップ表示領域２５０１が指定されたときに実行させる処理内容を記述したスクリプトが設定されている。
【０１３６】
一方、領域２６０１のオブジェクト領域データを含むオブジェクトメタデータには、オブジェクト属性情報の動作スクリプト５０１にテロップ表示領域２５０１内の文字列２５０２が指定された場合に実行させる処理を記述したスクリプトが設定されている。
【０１３７】
テロップ表示用のオブジェクトメタデータの階層情報は、文字列２５０２のオブジェクトメタデータの階層よりも下位に設定しておくことにより、文字列２５０２がクリック等により指定された場合に、文字列用の動作スクリプト５０１を優先的に実行させることができるようになっている。
【０１３８】
次に、他のオブジェクト表示情報による表示例として、動画再生装置１００の動画再生の画面において、文字に対して枠を表示させる例について説明する。
【０１３９】
図２７は、文字に対して枠を表示させる画面の一例を示す説明図である。図２７に示すように、動画の表示領域２７００上において、表示テキストの周りに枠２７０１が表示されている。
【０１４０】
このような枠表示を利用することにより、漫画の吹き出しのように表示させることで動画データ中のどのオブジェクトに関連したテキストであるかを一見して把握させることができる。
【０１４１】
図２８は、枠表示を行うためのオブジェクト表示情報の構造の一例を示すデータ構造図である。図２８に示すように、図２４で示したオブジェクト表示情報の項目にさらに表示枠情報２８００が含まれている。
【０１４２】
表示枠情報２８００には、表示する枠の枠種番号、またはビットマップが含まれている。枠種番号は、あらかじめ定められた枠の種類の中から選択する番号である。例えば、図２９に示すように、４種類の枠種２９００〜２９０３を予め定めておき、各枠種に１から４の番号を割り当てておく。このとき、枠種番号のみでなく、枠線の太さ、枠線の色彩、枠内の色彩、枠内の透過度などを指定可能に構成してもよい。予め定められた枠種以外の枠を表示させる場合には、ビットマップを表示枠情報に付与しておけばよい。
【０１４３】
また、表示する枠の大きさや位置を決定するため、枠の代表点を決めておき、この代表点の位置座標をオブジェクト領域データに記述する。例えば、図３０に示すように、表示する枠３０００に対して３個の代表点３００１〜３００３を定めておく。そして、枠３０００の形状の矩形部分は代表点３００１と代表点３００２の位置により拡大または縮小して配置し、矩形から突出している部分は、代表点３００３の位置により決定する。この代表点の位置はＭＰＥＧ−７の時空間記述子により効率的に記述することができる。
【０１４４】
このような処理により、動画再生装置１００がオブジェクト属性情報が省略されたオブジェクトメタデータを受信した場合でも、メタデータを利用したハイパーメディアを実現することが可能となる。
【０１４５】
このように本実施の形態に係る動画再生システムでは、メタデータを構成するオブジェクトメタデータが、他のオブジェクトメタデータのオブジェクト属性情報に含まれる動作スクリプトと同一の場合に、動作ＩＤを前記他のオブジェクトメタデータの動作ＩＤと同一として動作スクリプトを省略したメタデータをメタデータ配信装置１０１から動画再生装置１００に送信し、オブジェクトメタデータが他のオブジェクトメタデータのオブジェクト属性情報に含まれるオブジェクト表示情報と同一の場合に、表示情報ＩＤ６０３を前記他のオブジェクトメタデータの表示情報ＩＤ６０３と同一としてオブジェクトひょじ情報を省略したメタデータをメタデータ配信装置１０１から動画再生装置１００に送信しているので、送信するメタデータのデータ量を削減して動画データとメタデータを利用したハイパーメディア技術を効果的に実現することができる。
【０１４６】
また、本実施の形態に係る動画再生システムでは、動画再生装置１００においてメタデータを受信したときに、動作ＩＤと動作スクリプトとを対応付けたオブジェクト属性情報対応テーブルおよび表示情報ＩＤ６０３とオブジェクト表示情報とを対応付けたオブジェクト属性情報対応テーブルを生成し、受信したメタデータを構成するオブジェクトメタデータに動作スクリプトまたはオブジェクト表示情報が省略されている場合には、オブジェクト属性情報対応テーブルを参照して省略された動作スクリプトまたはオブジェクト表示情報を特定しているので、データ量削減のために、上記のようなオブジェクト属性情報が省略されたメタデータを受信した場合でも、正確かつ効率的にハイパーメディア技術を利用した動画再生を実現することができる。
【０１４７】
（実施の形態２）
実施の形態１にかかる動画再生システムでは、動画再生装置１００は、オブジェクトの表示処理およびオブジェクトがマウスクリックされた時に、オブジェクト属性情報が省略されたオブジェクトメタデータであった場合にオブジェクト属性情報を参照して、オブジェクト属性情報を得ていたが、この実施の形態２にかかる動画再生システムでは、動画再生装置１００がオブジェクト属性情報が省略されたオブジェクトメタデータを受信した場合に、最初のオブジェクトメタデータの再構成処理を行って、省略されたオブジェクト属性情報を取得するものである。
【０１４８】
本実施の形態にかかるメタデータ配信装置１０１、動画再生装置１００の機能的構成、メタデータのデータ構造は実施の形態と同様であるため説明を省略する。
【０１４９】
本実施の形態にかかる動画再生装置１００のメディアデコーダ１１０は、受信したオブジェクトメタデータがオブジェクト属性情報の一部または全部が省略されていた場合に、省略されていないオブジェクトメタデータのオブジェクト属性情報を取得する再構成処理を行い、オブジェクト属性情報対応テーブルを生成しない点が実施の形態１のメタデータデコーダ１１０と異なっている。
【０１５０】
次に、メタデータを受信した動画再生装置１００によるメタデータの解析処理について説明する。図３１は、動画再生装置１００によるメタデータ解析処理の手順を示すフローチャートである。
【０１５１】
メタデータ配信装置１０１からオブジェクトメタデータのパケットを受信してからメタデータの解析まで処理（ステップＳ３１０１〜Ｓ３１０６）は、図１８を用いて説明した実施の形態１のメタデータ解析処理（ステップＳ１８０１〜Ｓ１８０６）と同様に行われる。
【０１５２】
次に、メタデータデコーダ１１０は、オブジェクトメタデータの再構成処理を行う（ステップＳ３１０７）。このオブジェクトメタデータの再構成処理は、オブジェクト属性情報が省略されたオブジェクトメタデータに省略部分を付加するものであり、詳細については後述する。
【０１５３】
次いで、メタデータデコーダ１１０は、オブジェクトメタデータのオブジェクト属性情報からオブジェクト表示情報を取得し（ステップＳ３１０８）、オブジェクト表示情報にオブジェクト領域の表示が指示されているか否かを判断する（ステップＳ３１０９）。そして、オブジェクト領域の表示が指示されていると判断した場合には（ステップＳ３１０９：Ｙｅｓ）、オブジェクト領域のマスク画像や輪郭線などをオブジェクト表示属性に対応した画像を生成し、生成した画像を再生中の動画データのタイムスタンプに合わせてＡ／Ｖレンダラーに送出する（ステップＳ３１１０）。
【０１５４】
一方、ステップＳ３１０９において、オブジェクト領域の表示が指示されていないと判断した場合には（ステップＳ３１０９：Ｎｏ）、オブジェクト表示情報に対応した画像を生成しない。
【０１５５】
次に、メタデータデコーダ１１０は、不要になった再生済みの動画データに対応するオブジェクトメタデータをバッファから削除する（ステップＳ３１１１）。
【０１５６】
次に、ステップＳ３１０７における動画再生装置１００のメタデータデコーダ１１０によるオブジェクトメタデータの再構成処理について説明する。図３２は、オブジェクトメタデータの再構成処理の手順を示すフローチャートである。
【０１５７】
オブジェクトメタデータの再構成処理は、オブジェクト属性情報が省略されたオブジェクトメタデータに省略部分を付加してオブジェクトメタデータを再構成するものである。
【０１５８】
まず、メタデータデコーダ１１０は、再構築がまだ行われていない未処理のオブジェクトメタデータをバッファから取得し（ステップＳ３２０１）、取得したオブジェクトメタデータのオブジェクト属性情報に省略されているものがあるか否かを調べる（ステップＳ３２０２）。ここで、省略には、オブジェクト属性情報すべてが省略されている場合と、動作スクリプトまたはオブジェクト表示情報のいずれかが省略されている場合が含まれる。
【０１５９】
オブジェクト属性情報に省略されているものがある場合には（ステップＳ３２０２：Ｙｅｓ）、同一ＩＤの再構築処理済みのオブジェクトメタデータを取得する（ステップＳ３２０３）。ここで、同一ＩＤの再構築処理済みのオブジェクトメタデータとしては、動作スクリプトが省略されている場合には、同一の動作ＩＤの再構築済みのオブジェクトメタデータを取得し、オブジェクト表示情報が省略されている場合には、同一の表示情報ＩＤ６０３の再構築済みのオブジェクトメタデータを取得する。
【０１６０】
そして、省略されたオブジェクト属性情報の内容を、取得した同一ＩＤの再構築処理済みのオブジェクトメタデータから現在の再構築処理の対象であるオブジェクトメタデータにコピーする（ステップＳ３２０４）。ここで、動作スクリプトが省略されている場合には、同一動作ＩＤの再構築処理済みのオブジェクトメタデータから動作スクリプトを、オブジェクト表示情報が省略されている場合には、同一表示情報ＩＤ６０３の再構築処理済みのオブジェクトメタデータからオブジェクト表示情報をコピーする。
【０１６１】
そして、以上のステップＳ３２０１からＳ３２０４までの処理を、再構築が未処理の全てのオブジェクトメタデータに対して実行する（ステップＳ３２０５）。以上のような処理によって、全てのオブジェクトメタデータについてオブジェクト属性情報が付加されることになる。
【０１６２】
次に、ユーザがマウスによってオブジェクト領域内をクリックした場合の動画再生装置１００の動作について説明する。図３３は、オブジェクト領域のマウスクリック時の処理手順を示すフローチャートである。
【０１６３】
ユーザがマウスクリックによるクリック位置座標のイベント取得からオブジェクトの特定までの処理（ステップＳ３３０１〜Ｓ３３０３）は実施の形態１におけるマウスクリック時の処理（ステップＳ２１０１〜Ｓ２１０３）と同様であるため説明を省略する。
【０１６４】
オブジェクトが特定されると、メタデータデコーダ１１０は、特定されたオブジェクトのオブジェクト属性情報から動作スクリプト５０１を特定し（ステップＳ３３０４）、特定された動作スクリプト５０１をスクリプトインタプリタ１１１に送出する（ステップＳ３３０５）。なお、オブジェクトメタデータは、受信時にオブジェクト属性情報が省略されていた場合でも、上述した再構成処理によって、オブジェクト属性情報が存在している。
【０１６５】
動作スクリプト５０１を受け渡されたスクリプトインタプリタ１１１は、受け渡された動作スクリプト５０１を解釈して実行する（ステップＳ３３０６）。これにより、例えば、指定されたＨＴＭＬファイルの表示を行ったり、指定された動画データの再生を開始したりする。
【０１６６】
このように本実施の形態に係る動画再生システムでは、実施の形態１と同様に、送信するメタデータのデータ量を削減して動画データとメタデータを利用したハイパーメディア技術を効果的に実現することができ、またオブジェクト属性情報が省略されたメタデータを受信した場合でも、正確かつ効率的にハイパーメディア技術を利用した動画再生を実現することができる。
【０１６７】
また、本実施の形態に係る動画再生システムでは、動画再生装置１００がメタデータ配信装置１０１からメタデータを受信したときに、動作スクリプトやオブジェクト表示情報などオブジェクト属性情報が省略されたオブジェクトメタデータの再構成処理を予め一括して行っているので、メタデータを利用した動画データの再生処理を迅速に行え、ハイパーメディア技術を効果的に実現することができる。
【０１６８】
（実施の形態３）
実施の形態１および２にかかる動画再生システムでは、メタデータにおいてオブジェクト属性情報が省略されたオブジェクトメタデータを使用したが、実施の形態３にかかる動画再生システムでは、さらにオブジェクト領域が省略されたオブジェクトメタデータを使用して送信データ量の削減を図るものである。
【０１６９】
本実施の形態にかかるメタデータ配信装置１０１、動画再生装置１００の機能的構成は、実施の形態と同様であるため説明を省略する。本実施の形態においては、オブジェクトメタデータのオブジェクト属性情報の一部または全部を省略する他、さらにオブジェクト領域に変化がない場合には、オブジェクト領域データを省略している点が実施の形態１および２のメタデータと異なっている。
【０１７０】
まず、オブジェクト領域データを省略する場合の動画再生画面の表示について説明する。図３４は、オブジェクト領域データを省略可能な動画再生装置１００におけるテロップの表示例を示す説明図である。
【０１７１】
動画の表示領域３４００に、テロップ表示領域３４０１があり、この領域の中にテロップが表示される。テロップの文字列３４０２は静止して表示させるだけでなく、右から左に流したり、いくつかの文字だけをハイライト表示させたり、カラオケの歌詞表示のように順次色を変えたり、点滅させたりすることができる。本実施の形態では、実施の形態１で説明したテロップ表示と異なり、テロップ領域は上下左右に移動せず、固定されているものとする。
【０１７２】
図３５は、オブジェクト領域データによりテロップ表示領域３４０１を表現する場合に、固定されたテロップ表示領域３５００を複数のオブジェクト領域データ３５０１〜３５０５とした状態を示す説明図である。
【０１７３】
図３５において、Ｘ軸は映像の水平方向の座標値、Ｙ軸は映像の垂直方向の座標値であり、これらの軸とＴの映像時刻の軸とからなる３次元座標上のテロップ表示領域３５００を示している。
【０１７４】
テロップ表示領域３４０１は動画上で固定されているため、図３５に示すように、テロップ表示領域３５００の座標位置に変化は生じない。このため、オブジェクト領域データは、時間的に最初のオブジェクト領域データ３５０１のみをオブジェクトメタデータに含めれば、後続のオブジェクト領域データ３５０２〜３５０５を省略しても、最初のオブジェクト領域データ３５０１からオブジェクト領域データを再構成することが可能であり、これにより、データ量の削減を図ることができる。
【０１７５】
このため、本実施の形態にかかるメタデータでは、固定されたテロップ表示領域のように経時的に座標位置が変化しないオブジェクトの場合には、最初のオブジェクトメタデータにのみオブジェクト領域データを格納し、後から再生される動画データに対応したオブジェクトメタデータではオブジェクト領域データを省略した構造とし、メタデータ配信装置１０１から動画再生装置１００に送信している。
【０１７６】
図３６は、オブジェクト領域データを省略したオブジェクトメタデータの構造を示すデータ構造図である。図３６に示すように、オブジェクトメタデータはタイムスタンプとＩＤとオブジェクト属性情報とから構成され、オブジェクト領域データは省略されている。ここで、オブジェクト属性情報の中のオブジェクト表示情報の構成は、図２４で示したオブジェクト表示情報の構造と同様である。
【０１７７】
なお、オブジェクト属性情報に変更がない場合には、さらにオブジェクト属性情報の一部または全部を省略した構造とすることも可能である。
【０１７８】
次に、メタデータを受信した動画再生装置１００によるメタデータの解析処理について説明する。図３７−１および図３７−２は、動画再生装置１００によるメタデータ解析処理の手順を示すフローチャートである。
【０１７９】
メタデータ配信装置１０１からオブジェクトメタデータのパケットを受信してからオブジェクト属性情報対応テーブルの生成までの処理（ステップＳ３７０１〜Ｓ３７０７）は、図１８を用いて説明した実施の形態１のメタデータ解析処理（ステップＳ１８０１〜Ｓ１８０７）と同様に行われる。
【０１８０】
次に、メタデータデコーダ１１０は、オブジェクトメタデータの解析結果から、オブジェクト領域対応テーブルの生成処理を行う（ステップＳ３７０８）。
【０１８１】
このオブジェクト領域対応テーブルは、ＨＤＤやメモリなどの記憶手段に生成され、オブジェクト領域データが省略されたオブジェクトメタデータを受信した場合に、オブジェクト領域データへのアクセスを容易にするために使用されるものである。オブジェクト領域対応テーブルは、オブジェクトＩＤとそのオブジェクトのオブジェクト領域データとを対応付けたテーブルとなっている。なお、オブジェクト領域対応テーブルの生成処理については後述する。
【０１８２】
次に、メタデータデコーダ１１０は、再生対象の動画データに対応したオブジェクトメタデータにおいて、オブジェクト領域データが省略されているか否かを調べる（ステップＳ３７０９）。そして、オブジェクト領域データが省略されていると判断した場合には（ステップＳ３７０９：Ｙｅｓ）、オブジェクト領域対応テーブルを参照してオブジェクトＩＤに対応するオブジェクト領域データを特定する（ステップＳ３７１０）。一方、オブジェクト領域データが省略されていない判断した場合には（ステップＳ３７０９：Ｎｏ）、オブジェクトメタデータ中のオブジェクト領域データを取得する。これ以降の処理（ステップＳ３７１１〜Ｓ３７１５）は、実施の形態１におけるメタデータ解析処理（ステップＳ１８０８〜Ｓ１８１２）と同様に行われる。
【０１８３】
次に、ステップＳ３７０８におけるメタデータデコーダ１１０によるオブジェクト領域対応テーブルの生成処理について説明する。図３８は、オブジェクト領域対応テーブルの生成処理の手順を示すフローチャートである。
【０１８４】
まず、メタデータデコーダ１１０は、オブジェクト領域対応テーブルの生成処理がまだ未対象のオブジェクトメタデータをバッファから取得する（ステップＳ３８０１）。そして、取得したオブジェクトメタデータからオブジェクトＩＤを取得する（ステップＳ３８０２）。
【０１８５】
次いで、メタデータデコーダ１１０は、オブジェクトＩＤが既にオブジェクト領域対応テーブルに登録されているか否かを調べる（ステップＳ３８０３）。そして、未登録である場合には、オブジェクトＩＤとオブジェクト領域データとを対応付けてオブジェクト領域対応テーブルに登録する（ステップＳ３８０４）。
【０１８６】
ステップＳ３８０４によりオブジェクトＩＤとオブジェクト領域データがオブジェクト領域対応テーブルに登録されたら、次にオブジェクト領域報対応テーブル生成処理で未対象となっているオブジェクトメタデータがバッファに存在するか否かを調べ（ステップＳ３８０５）、バッファ中の全てのオブジェクトメタデータに対して、上記ステップＳ３８０１からＳ３８０４までの処理を繰り返し実行する。
【０１８７】
このような処理によりオブジェクト領域対応テーブルが生成されることになる。図３９は、オブジェクト領域対応テーブルの一例を示す説明図である。図３９に示すように、オブジェクト領域対応テーブルには、オブジェクトＩＤとオブジェクト領域データが対応付けられて登録されている。
【０１８８】
このような処理により、動画再生装置１００がオブジェクト領域データが省略されたオブジェクトメタデータを受信した場合でも、メタデータを利用したハイパーメディアを実現することが可能となる。
【０１８９】
このように本実施の形態にかかる動画再生システムでは、メタデータを構成するオブジェクトメタデータが、他のオブジェクトメタデータのオブジェクト領域データと同一の場合に、オブジェクトＩＤを前記他のオブジェクトメタデータのオブジェクトＩＤと同一としてオブジェクト領域データを省略したメタデータをメタデータ配信装置１０１から動画再生装置１００に送信しているので、送信するメタデータのデータ量を削減して動画データとメタデータを利用したハイパーメディア技術を効果的に実現することができる。
【０１９０】
また、本実施の形態に係る動画再生システムでは、動画再生装置１００においてメタデータを受信したときに、オブジェクトＩＤとオブジェクト領域データを対応付けたオブジェクト領域対応テーブルを生成し、受信したメタデータを構成するオブジェクトメタデータにオブジェクト領域データが省略されている場合には、オブジェクト領域対応テーブルを参照して省略されたオブジェクト領域データを特定しているので、データ量削減のためにオブジェクト領域データが省略されたメタデータを受信した場合でも、正確かつ効率的にハイパーメディア技術を利用した動画再生を実現することができる。
【０１９１】
なお、本実施の形態では、オブジェクト領域対応テーブルを生成しているが、このようなテーブルを使用せずに、実施の形態２のように、オブジェクト領域データが省略されたオブジェクトメタデータの再構成処理を最初に実行するように構成してもよい。この場合には、予め再構成処理を行っているので、メタデータを利用した動画データの再生処理を迅速に行え、ハイパーメディア技術を効果的に実現することができる。
【０１９２】
また、実施の形態１〜３のメタデータは、メタデータ配信装置１０１で蓄積され、動画再生装置１００に配信することとしているが、動画再生装置１００側で生成して蓄積するように構成することもできる。
【０１９３】
（実施の形態４）
実施の形態１〜３のメタデータは、メタデータ配信装置１０１で蓄積されたものであるが、本実施の形態のメタデータは、動画像データ記録媒体としてエンハンスドＤＶＤビデオディスクを用いたものである。
【０１９４】
図４０は、エンハンスドＤＶＤビデオディスクにメタデータを記録した場合のデータ構造の一例を示す説明図である。エンハンスドＤＶＤビデオディスクのＤＶＤビデオエリアは、ＤＶＤビデオ規格と同じデータ構造のＤＶＤビデオコンテンツ（ＭＰＥＧ２プログラムストリーム構造を有する）を格納する。さらに、エンハンスドＤＶＤビデオディスクの他の記録エリアは、ビデオコンテンツの再生を多様性を持たせることができるエンハンスド・ナビゲーション（以下ＥＮＡＶと略記する）コンテンツを格納する。図４０の例では、オブジェクトメタデータはこのＥＮＡＶコンテンツの一部としてエンハンスドＤＶＤビデオディスクに記録されている。
【０１９５】
ここで、ＤＶＤビデオディスクの基本的なデータ構造について説明する。ＤＶＤビデオディスクの記録エリアは、内周から順にリードインエリア、ボリュームスペース、およびリードアウトエリアを含んでいる。ボリュームスペースは、ボリューム／ファイル構造情報エリア、およびＤＶＤビデオエリア（ＤＶＤビデオゾーン）を含み、さらにオプションで他の記録エリア（ＤＶＤアザーゾーン）を含むことができる。
【０１９６】
上記ボリューム／ファイル構造情報エリア２は、ＵＤＦ（Universal Disk Format）ブリッジ構造のために割り当てられた領域である。ＵＤＦブリッジフォーマットのボリュームは、ＩＳＯ／ＩＥＣ１３３４６のパート２に従って認識されるようになっている。このボリュームを認識するスペースは、連続したセクタからなり、ボリュームスペースの最初の論理セクタから始まる。その最初の１６論理セクタは、ＩＳＯ９６６０で規定されるシステム使用のために予約されている。従来のＤＶＤビデオ規格との互換性を確保するには、このような内容のボリューム／ファイル構造情報エリアが必要となる。
【０１９７】
また、ＤＶＤビデオエリアには、ビデオマネージャＶＭＧという管理情報と、ビデオタイトルセットＶＴＳ（ＶＴＳ＃１〜ＶＴＳ＃ｎ）というビデオコンテンツが１つ以上記録されている。ＶＭＧは、ＤＶＤビデオエリアに存在する全てのＶＴＳに対する管理情報であり、制御データＶＭＧＩ、ＶＭＧメニュー用データＶＭＧＭ＿ＶＯＢＳ（オプション）、およびＶＭＧのバックアップデータを含んでいる。また、各ＶＴＳは、そのＶＴＳの制御データＶＴＳＩ、ＶＴＳメニュー用データＶＴＳＭ＿ＶＯＢＳ（オプション）、そのＶＴＳ（タイトル）の内容（映画等）のデータＶＴＳＴＴ＿ＶＯＢＳ、およびＶＴＳＩのバックアップデータを含んでいる。従来のＤＶＤビデオ規格との互換性を確保するには、このような内容のＤＶＤビデオエリアも必要となる。
【０１９８】
各タイトル（ＶＴＳ＃１〜ＶＴＳ＃ｎ）の再生選択メニュー等は、ＶＭＧを用いてプロバイダ（ＤＶＤビデオディスクの制作者）により予め与えられ、特定タイトル（例えばＶＴＳ＃１）内での再生チャプタ選択メニューや記録内容（セル）の再生手順等は、ＶＴＳＩを用いてプロバイダにより予め与えられている。従って、ディスクの視聴者（ＤＶＤビデオプレーヤのユーザ）は、予めプロバイダにより用意されたＶＭＧ／ＶＴＳＩのメニューやＶＴＳＩ内の再生制御情報（プログラムチェーン情報ＰＧＣＩ）に従ってそのディスク１の記録内容を楽しむことができる。しかし、ＤＶＤビデオ規格では、視聴者（ユーザ）が、プロバイダが用意したＶＭＧ／ＶＴＳＩと異なる方法でＶＴＳの内容（映画や音楽）を再生することはできない。
【０１９９】
プロバイダが用意したＶＭＧ／ＶＴＳＩと異なる方法でＶＴＳの内容（映画や音楽）を再生したり、プロバイダが用意したＶＭＧ／ＶＴＳＩとは異なる内容を付加して再生したりする仕組みのために用意したのが、図※のエンハンスドＤＶＤビデオディスクである。このディスクに含まれるＥＮＡＶコンテンツは、ＤＶＤビデオ規格に基づき製造されたＤＶＤビデオプレーヤではアクセスできない（仮にアクセスできたとしてもその内容を利用できない）が、この発明の一例のＤＶＤビデオプレーヤではアクセスでき、その再生内容を利用できるようになっている。
【０２００】
ＥＮＡＶコンテンツは、音声、静止画、フォント・テキスト、動画、アニメーション等のデータと、これらの再生を制御するための情報であるＥＮＡＶドキュメント(これはMarkup/Script言語で記述されている)を含むように構成される。この再生を制御するための情報には、ＥＮＡＶコンテンツ(音声、静止画、フォント・テキスト、動画、アニメーション等から構成される)および／またはＤＶＤビデオコンテンツの再生方法（表示方法、再生手順、再生切換手順、再生対象の選択等）が Markup言語や Script言語を用いて記述されてる。例えば、Markup言語として、ＨＴＭＬ（Hyper Text Markup Language）／ＸＨＴＭＬ（eXtensible Hyper Text Markup Language）やＳＭＩＬ（Synchronized Multimedia Integration Language）、Script言語として、ＥＣＭＡ（European Computer Manufacturers Association）Script や JavaScriptのような Script言語などを組み合わせながら用いることができる。
【０２０１】
このＥＮＡＶコンテンツの一部としてオブジェクトメタデータを使用することにより、ＤＶＤビデオを再生中に表示されているオブジェクトをクリック操作して関連情報にアクセスすることが可能になる。ＤＶＤビデオディスクにオブジェクトメタデータを記録する際には、実施の形態１〜３で説明したメタデータ配信装置上のメタデータ記録媒体２１３と同一のデータ形式をとることができる。このとき、属性情報の間引きを用いることにより、ＤＶＤビデオディスク上に記録されるオブジェクトメタデータのデータ量を削減できるため、ＤＶＤビデオディスクの記憶容量を有効に利用することが可能となる。
【産業上の利用可能性】
【０２０２】
以上のように、本発明にかかるメタデータ、メタデータ配信装置、動画再生装置、動画再生システム、メタデータ配信方法、動画再生方法、メタデータ配信プログラムおよび動画再生プログラムは、メタデータをネットワークを介してストリーミング配信を行い、予め記憶媒体に記録されて提供される動画データと配信されたメタデータを利用してハイパーメディアを実現するメタデータ配信装置、動画再生装置、動画再生システム、メタデータ配信方法、動画再生方法、メタデータ配信プログラムおよび動画再生プログラムに適している。
【図面の簡単な説明】
【０２０３】
【図１】実施の形態１にかかる動画再生システムの構成を示すブロック図である。
【図２】動画再生装置１００おけるメタデータを利用した動画データの表示例を示す説明図である。
【図３】オブジェクト領域データの構造を説明するための模式図である。
【図４】実施の形態１で使用するメタデータの１単位の構造を示すデータ構造図である。
【図５】オブジェクト属性情報の構造を示すデータ構造図である。
【図６】ＩＤ４０３の構造を示すデータ構造図である。
【図７】オブジェクト属性情報４０２の内容の一例を示す説明図である。
【図８】メディアＩＤ６０１を省略したオブジェクトメタデータのＩＤ６００の構造を示すデータ構造図である。
【図９】オブジェクト属性情報を省略したオブジェクトメタデータの構造を示すデータ構造図である。
【図１０】オブジェクト属性情報の中で、動作スクリプトを省略したオブジェクトメタデータのオブジェクト属性情報の構造を示すデータ構造図である。
【図１１】オブジェクト属性情報の中で、オブジェクト表示情報を省略したオブジェクトメタデータのオブジェクト属性情報の構造を示すデータ構造図である。
【図１２】オブジェクトメタデータをタイムスタンプ順に並べたオブジェクトメタデータストリームを示す説明図である。
【図１３】メタデータ配信装置１０１によるメタデータの配信処理の手順を示すフローチャートである。
【図１４】アクセスポイントテーブルの一例を示す説明図である。
【図１５】オブジェクトメタデータのデータサイズが小さい場合の送信用パケット構成を示すデータ構造図である。
【図１６】ペイロードにオブジェクトメタデータが収まりきらない場合の送信用パケットの構成を示す説明図である。
【図１７】通信手順例を示す説明図である。
【図１８】動画再生装置１００によるメタデータ解析処理の手順を示すフローチャートである。
【図１９】オブジェクト属性情報対応テーブルの生成処理の手順を示すフローチャートである。
【図２０】動作ＩＤと動作スクリプトを対応付けたオブジェクト属性情報対応テーブルの一例を示す説明図である。
【図２１】オブジェクト領域のマウスクリック時の処理手順を示すフローチャートである。
【図２２】動画再生装置１００におけるテロップの表示例を示す説明図である。
【図２３】オブジェクト領域データによりテロップ表示領域２２０１を表現する場合に、移動するテロップ表示領域２３００を複数のオブジェクト領域データとした状態を示す説明図である。
【図２４】上方に移動するテロップ表示を行う場合のオブジェクトメタデータのオブジェクト表示情報の構造を示すデータ構造図である。
【図２５】クリック時に特定動作を実行するテロップ表示の表示例を示す説明図である。
【図２６】テロップに関連する表示領域を３次元空間上で示した説明図である。
【図２７】文字に対して枠を表示させる画面の一例を示す説明図である。
【図２８】枠表示を行うためのオブジェクト表示情報の構造の一例を示すデータ構造図である。
【図２９】枠種に枠種番号を割り当てた例を示す模式図である。
【図３０】表示枠に代表点を定めた例を示す模式図である。
【図３１】実施の形態２にかかる動画再生装置１００によるメタデータ解析処理の手順を示すフローチャートである。
【図３２】実施の形態２にかかるオブジェクトメタデータの再構成処理の手順を示すフローチャートである。
【図３３】実施の形態２にかかるオブジェクト領域のマウスクリック時の処理手順を示すフローチャートである。
【図３４】実施の形態３にかかるオブジェクト領域データを省略可能な動画再生装置１００におけるテロップの表示例を示す説明図である。
【図３５】オブジェクト領域データによりテロップ表示領域３４０１を表現する場合に、固定されたテロップ表示領域３５００を複数のオブジェクト領域データとした状態を示す説明図である。
【図３６】実施の形態３にかかるオブジェクト領域データを省略したオブジェクトメタデータの構造を示すデータ構造図である。
【図３７−１】動画再生装置１００によるメタデータ解析処理の手順を示すフローチャートである。
【図３７−２】実施の形態３にかかる動画再生装置１００によるメタデータ解析処理の手順を示すフローチャートである。
【図３８】実施の形態３にかかるオブジェクト領域対応テーブルの生成処理の手順を示すフローチャートである。
【図３９】オブジェクト領域対応テーブルの一例を示す説明図である。
【図４０】エンハンスドＤＶＤビデオディスクにメタデータを記録した場合のデータ構造の一例を示す説明図である。
【符号の説明】
【０２０４】
１００  動画再生装置
１０１  メタデータ配信装置
１０２  ネットワーク
１０４  記憶媒体
１０５  コントローラ
１０６  Ａ／Ｖデコーダ
１０７  インタフェースハンドラー
１０８  セッションコントローラ
１０９  受信部
１１０  メタデータデコーダ
１１１  スクリプトインタプリタ
１１２  Ａ／Ｖレンダラー
１１４  セッションコントローラ
１１５  送信部
１１７  入力装置
１１８  表示装置
１１９  動画再生エンジン
１２０  ネットワーク
１２０  ネットワークマネージャ
２００  再生画面
２０１  マウスカーソル
２０２  オブジェクト領域
３００  オブジェクト領域
３０１〜３０５  オブジェクト領域データ
４００  オブジェクト領域データ
４０１  タイムスタンプ
４０２  オブジェクト属性情報
５００  階層情報
５０１  動作スクリプト
５０２  オブジェクト表示情報
１４００  タイムスタンプ
１４０１  アクセスポイント
１５０１  パケットヘッダー
１５０２  オブジェクトメタデータ
１５０３  パディングデータ
１５０４  ペイロード
１６０５  パディングデータ
２２００  表示領域
２２０１  テロップ表示領域
２２０２  文字列
２３００  テロップ表示領域
２３０１〜２３０５  オブジェクト領域データ
２４００  表示時間情報
２４０１  スタイル情報
２４０２  ハイライト情報
２４０３  カラオケ表示情報
２４０４  スクロール情報
２４０５  点滅情報
２４０６  表示テキスト長
２４０７  表示テキスト
２５００  表示領域
２５０１  テロップ表示領域
２５０２  文字列
２６００  領域
２７００  表示領域
２７０１  枠
２８００  表示枠情報
２９００〜２９０３  枠種
３０００  枠
３００１  代表点
３００１〜３００３  代表点
３４００  表示領域
３４０１  テロップ表示領域
３４０２  文字列
３５００  テロップ表示領域
３５０１〜３５０５  オブジェクト領域データ
【図１】
2005295167.tif 000003
【図２】
2005295167.tif 000004
【図３】
2005295167.tif 000005
【図４】
2005295167.tif 000006
【図５】
2005295167.tif 000007
【図６】
2005295167.tif 000008
【図７】
2005295167.tif 000009
【図８】
2005295167.tif 000010
【図９】
2005295167.tif 000011
【図１０】
2005295167.tif 000012
【図１１】
2005295167.tif 000013
【図１２】
2005295167.tif 000014
【図１３】
2005295167.tif 000015
【図１４】
2005295167.tif 000016
【図１５】
2005295167.tif 000017
【図１６】
2005295167.tif 000018
【図１７】
2005295167.tif 000019
【図１８】
2005295167.tif 000020
【図１９】
2005295167.tif 000021
【図２０】
2005295167.tif 000022
【図２１】
2005295167.tif 000023
【図２２】
2005295167.tif 000024
【図２３】
2005295167.tif 000025
【図２４】
2005295167.tif 000026
【図２５】
2005295167.tif 000027
【図２６】
2005295167.tif 000028
【図２７】
2005295167.tif 000029
【図２８】
2005295167.tif 000030
【図２９】
2005295167.tif 000031
【図３０】
2005295167.tif 000032
【図３１】
2005295167.tif 000033
【図３２】
2005295167.tif 000034
【図３３】
2005295167.tif 000035
【図３４】
2005295167.tif 000036
【図３５】
2005295167.tif 000037
【図３６】
2005295167.tif 000038
【図３７−１】
2005295167.tif 000039
【図３７−２】
2005295167.tif 000040
【図３８】
2005295167.tif 000041
【図３９】
2005295167.tif 000042
【図４０】
2005295167.tif 000043