(57)【要約】【課題】ストリーミング配信されるフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示する系において、ネットワークや端末の負荷を無用に増大させることなく、動画像の途中から良好な画像を再生する。【解決手段】動画像“ｂ．ｍｐ４”の時間制御記述において、表示開始フレーム（２０秒）より前の直近のフレーム内符号化フレームに相当する処理開始時刻（１５秒）を指定する情報が設定される。再生装置は、処理開始時刻以降の動画像データを取得・再生し、表示開始フレーム以降の動画像を画面に表示する。【選択図】　　　図２
2004140488.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するコンピュータのためのプログラムであって、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報を生成し、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記時刻指定情報とを含む同期制御記述データを生成する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【請求項２】
複数のフレーム間符号化動画像を含むマルチメディアコンテンツを、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データに従って同期表示するコンピュータのためのプログラムであって、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報とを含む同期制御記述データを解釈して、再生用の情報を生成し、
前記再生用の情報に従って、前記処理開始時刻から前記特定区間の終点の時刻までの画像データを取得して、動画像を再生し、
再生された動画像のうち前記特定区間の動画像を画面に表示する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【請求項３】
複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するマルチメディアコンテンツ編集装置であって、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報を生成する生成手段と、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記時刻指定情報とを含む同期制御記述データを生成する編集手段と
を備えることを特徴とするマルチメディアコンテンツ編集装置。
【請求項４】
複数のフレーム間符号化動画像を含むマルチメディアコンテンツを、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データに従って同期表示するマルチメディアコンテンツ再生装置であって、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報とを含む同期制御記述データを解釈して、再生用の情報を生成する同期制御記述データ再生手段と、
前記再生用の情報に従って、前記処理開始時刻から前記特定区間の終点の時刻までの画像データを取得して、動画像を再生するメディア再生手段と、
再生された動画像のうち前記特定区間の動画像を画面に表示する表示手段と
を備えることを特徴とするマルチメディアコンテンツ再生装置。
【請求項５】
複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するコンピュータにより解釈され、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データであって、該時間制御記述は、
前記特定区間の表示開始時刻を指定する情報と、
前記特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては前記コンピュータが取得および再生は行うが表示は行わないことを表す該時刻指定情報と
を含むことを特徴とする同期制御記述データ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的にはマルチメディア情報処理の分野に属し、特に複数のデジタルメディアを時空間的にレイアウトして提示するマルチメディア同期再生処理に関する。
【０００２】
【従来の技術】
視聴者に沢山の情報を効率よく提示可能なメディア表示技術として、マルチメディア同期技術がある。この技術は、動画像、静止画像、音声、およびテキストといったモノメディアを１つないし複数の画面上に配置し、互いに時間的に同期させて表示するものである。具体的な例として、Ｗ３Ｃ（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ　Ｃｏｎｓｏｔｉｕｍ）が規格化したＳＭＩＬ（Ｓｙｎｃｒｏｎｉｚｅｄ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｇｒａｔｉｏｎ　Ｌａｎｇｕａｇｅ　）が挙げられる。
【０００３】
ＳＭＩＬは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）を用いて、各メディアのＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）、画面内の表示位置、再生開始時刻、再生時間長等を記述する言語である。ＳＭＩＬデータは、各メディアをＵＲＬで参照可能な抽象的なオブジェクトとして扱い、その実体と独立したＸＭＬデータとして存在することが特徴であり、編集等のハンドリングが容易である。
【０００４】
ＳＭＩＬが扱うコンテンツ（ＳＭＩＬコンテンツ）の中で最も大きな役割を果たすのは、一番情報量が多い動画像である。ＳＭＩＬデータを再生する端末がサポートする方式であればどのような方式の動画像であっても、原理的にＳＭＩＬを利用可能であるが、一般的には、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ　Ｃｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−１／２／４（Ｍｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＭｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ　Ｍｅｄｉａ　（登録商標）が用いられる。これらは、共通してフレーム間符号化方式を採用している。
【０００５】
フレーム間符号化方式とは、時間的に隣接するフレーム間で差分を取り（予測化）、その差分を符号化する方式のことであり、フレーム単体（フレーム内）で符号化する場合に比べて圧縮効率が良い。その代わり、フレーム間符号化により符号化されたフレームのデータのみでは画像を再構成することはできないという欠点がある。
【０００６】
これは、フレームを再構成する場合、予測に用いた参照フレームのデータが必要だからである。フレームの正しい画像を再構成するには、そのフレームの直近のフレーム内符号化フレームから再生（復号）を開始し、予測フレームを順次再構成していく必要がある。
【０００７】
フレーム内符号化フレームは、符号化データの途中から再生する場合を考慮すると、符号化データに対して定期的に挿入する必要がある。ただし、符号化効率と挿入間隔とはトレードオフの関係にあり、用途に応じて最適な間隔が選択される。
【０００８】
例えば、デジタルＴＶ（ｔｅｌｅｖｉｓｉｏｎ）放送で使用されているＭＰＥＧ−２では、チャネル切り替え後即座に画像を出すため、一般的に０．５秒間隔でフレーム内符号化フレームを挿入している。また、インターネットストリーミング等で使用されるＭＰＥＧ−４では、圧縮率を優先するため、フレーム内符号化フレームの間隔は一般的にＭＰＥＧ−２に比べて長く取る傾向（数秒〜数十秒）にある。
【０００９】
ＳＭＩＬのようなマルチメディア同期コンテンツは、主にインターネットを使ってストリーミング配信するアプリケーションに適用されるが、動画像としてＭＰＥＧ−４を採用する場合が多い。この場合、フレーム内符号化フレームの間隔が問題になる。以下、この問題について詳しく述べる。
【００１０】
図９は、マルチメディアコンテンツのためのＳＭＩＬ記述の例を示している。この例では、簡単のため、動画像のみが記述されている。ＳＭＩＬコンテンツに含まれる動画像は２つあり、１つはコンテンツ再生直後（０秒）から１０秒間再生される“ａ．ｍｐ４”である。“＊．ｍｐ４”は、ＭＰＥＧ−４ファイルフォーマット形式を意味し、ｒｔｓｐ（Ｒｅａｌ　Ｔｉｍｅ　Ｓｔｒｅａｍｉｎｇ　Ｐｒｏｔｏｃｏｌ）は、ＩＥＴＦ（Ｔｈｅ　Ｉｎｔｅｒｎｅｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｔａｓｋ　Ｆｏｒｃｅ　）が規定する実時間ストリーミングのための伝送プロトコルである。
【００１１】
もう１つの動画像は、コンテンツ再生１０秒後から１０秒間再生される“ｂ．ｍｐ４”である。この動画像では、“ｃｌｉｐＢｅｇｉｎ”という属性が追加されているが、これは動画像データの先頭から数えて２０秒後のフレームから再生を開始することを意味する。
【００１２】
図１０は、後者の動画像“ｂ．ｍｐ４”の構造例を示している。ＳＭＩＬ記述に基づいて表示を開始すべきフレーム（表示開始フレーム）ＦＳは、先頭から２０秒後のフレームであり、フレーム間符号化フレームである。２０秒以前に存在するフレーム内符号化フレームＦＩは、０秒後（先頭）および１５秒後のフレームである。
【００１３】
ＳＭＩＬデータの再生装置は、ＳＭＩＬデータ再生１０秒後において、以下のような挙動をすることが考えられる。
１．ＳＭＩＬデータに従い、動画像“ｂ．ｍｐ４”の２０秒後のフレームＦＳからデータをストリーミング取得し、再生結果をそのまま表示する。
２．２０秒よりｘ秒（読み捨て時間）前の時刻のフレームからデータをストリーミング取得し、前の動画像“ａ．ｍｐ４”を再生する裏側で再生処理（予測フレームの再構成）を行う。ただし、２０秒より前の画像は意図したものではないため表示せず、２０秒後のフレームＦＳから表示を行う。
【００１４】
１．の方式では、表示開始フレームＦＳがフレーム間符号化フレームのため、画像が完全に再構成できず、２０秒以降の次のフレーム内符号化フレームＦＩが来るまで崩れた不完全な画像が再生されることになる。
【００１５】
２．の方式では、“ｂ．ｍｐ４”を表示する場合も画像の崩れは発生しないが、ｘ秒前から２０秒までの間にフレーム内符号化フレームＦＩが存在することが必要である。このとき、ＳＭＩＬデータ再生側では、動画像中のどこにフレーム内符号化フレームがあるか分からないため、フレーム内符号化フレームの間隔の最悪値を見込んでおく必要があり、不必要な部分の画像データまでも取得してしまう可能性が高い。ＭＰＥＧ−４の場合、この最悪値が数〜数十秒となることがあり、ストリーミングサーバの負荷、ネットワーク帯域、および再生端末の処理負荷やバッファリング領域の不要な増加が生じる。
【００１６】
なお、ＳＭＩＬデータ再生の開始点（ｃｌｉｐＢｅｇｉｎで指定された時刻）のフレームがフレーム内符号化フレームとなるような符号化をあらかじめ行っておくことは、ｃｌｉｐＢｅｇｉｎの値を動画像データとは独立に、必要に応じて自由に変更できるというＳＭＩＬの柔軟性を考慮すると、非現実的である。
【００１７】
この問題に関して、以下のような従来技術が存在する。
（１）特許文献１
蓄積メディアのトリックプレイ（途中からの再生等）を実現するために、動画像データとあわせて、動画像中のすべてのエントリフレーム（正常再生が可能なフレーム、フレーム内符号化フレームに該当）の情報を格納しておき、再生時にこれらの情報を参照して、上記２．のような再生制御を行う。
（２）特許文献２
（１）の従来技術と同様に、エントリフレーム情報（この場合は、頭出し再生用テーブルファイルと称している）を用いて再生制御を行う。エントリフレーム情報は、動画像を解析することで自動作成される。
【００１８】
【特許文献１】
特開２００２−１０２１５号公報
【特許文献２】
特許第３０６０９１９号公報
【００１９】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術には次のような問題がある。
（１）および（２）の再生制御は、蓄積メディアの再生時には有効であるが、ＳＭＩＬデータを用いて個々のメディアをストリーミング再生する系には適用できない。エントリフレーム情報をＳＭＩＬデータ再生端末に伝送することも考えられるが、すべてのエントリフレームの情報を伝送するとデータが冗長であり、また、ＳＭＩＬデータとは別のデータパスを用意する必要があるので、現実的ではない。
【００２０】
本発明の課題は、ストリーミング配信されるフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示する系において、ネットワークや端末の負荷を無用に増大させることなく、動画像の途中から良好な画像を再生するためのマルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置を提供することである。
【００２１】
【課題を解決するための手段】
図１は、本発明のマルチメディアコンテンツ編集装置の原理図である。図１のマルチメディアコンテンツ編集装置は、生成手段１および編集手段２を備え、複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成する。
【００２２】
生成手段１は、特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、処理開始時刻から始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す時刻指定情報を生成する。
【００２３】
編集手段２は、特定区間の表示開始時刻を指定する情報と、特定区間を含む画像データの先頭から特定区間までのオフセット時間を表す情報と、時刻指定情報とを含む同期制御記述データを生成する。
【００２４】
同期制御記述データは、例えば、後述する図５のＳＭＩＬ記述に対応し、動画像の特定区間は、例えば、図５の動画像“ｂ．ｍｐ４”のｃｌｉｐＢｅｇｉｎおよびｄｕｒ属性により指定された表示区間（２０秒後から３０秒後までの区間）に対応する。また、表示開始時刻は、例えば、ｂｅｇｉｎ属性により指定された時刻（１０秒後）に対応し、オフセット時間は、例えば、ｃｌｉｐＢｅｇｉｎ属性により指定された時間（２０秒）に対応する。
【００２５】
処理開始時刻は、動画像を劣化させることなく再生するために必要なフレームの位置に対応する。例えば、特定区間の始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレームに相当する時刻が、処理開始時刻として用いられる。処理開始時刻を指定する時刻指定情報は、例えば、図５のｋｅｙｆｒａｍｅＯｆｆｓｅｔ属性に対応する。この場合、オフセット時間からｋｅｙｆｒａｍｅＯｆｆｓｅｔ属性により指定された時間（５秒）を減算した結果が、処理開始時刻を表している。
【００２６】
このような時刻指定情報を同期制御記述データに付加することで、マルチメディアコンテンツ再生装置は、処理開始時刻より前の画像データを取得することなく、処理開始時刻に対応するフレーム以降の画像データのみを取得・再生することが可能となる。処理開始時刻以降のフレームを用いれば、必要最小限の画像データにより劣化のない動画像を再生することができるので、ネットワークや端末の負荷を無用に増大させることはない。
【００２７】
また、マルチメディアコンテンツ再生装置は、同期制御記述データに含まれるオフセット時間から特定区間の始点の時刻を認識することができる。これにより、処理開始時刻から始点の時刻までの区間に相当する画像データについては、取得および再生は行うが表示は行わず、特定区間の画像データのみを表示するような再生制御が行われる。
【００２８】
図１の生成手段１および編集手段２は、それぞれ、後述する図３の読み捨て時間情報生成部２２およびマルチメディア同期制御記述データ編集部２６に対応する。
【００２９】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
本実施形態では、ＳＭＩＬデータのようなマルチメディア同期制御記述データにおいて、動画像データの先頭から表示開始フレームまでのオフセット時間とともに、この表示開始フレームからそれより前の直近のフレーム内符号化フレームまでの時間（読み捨て時間）を記述する構成とする。この読み捨て時間情報は、マルチメディア同期制御記述データを生成するマルチメディアコンテンツ編集装置が、動画像のメタデータを参照して生成する。
【００３０】
最初に、動画像のメタデータ、マルチメディアコンテンツ編集装置、およびマルチメディアコンテンツ再生装置の概要を説明する。
動画像メタデータとは、動画像の内容やフォーマット等を記述するデータであり、主に動画像検索等に用いられる。このメタデータの中に、フレーム内符号化フレームの位置情報を記述する。記述方法としては、例えば、以下の２つの方法がある。
１．フレーム内符号化フレームの間隔が等間隔の場合：動画像データの先頭のフレーム内符号化フレームの相対時刻（通常、０秒）と、間隔（ｘ秒）を記述する。
２．フレーム内符号化フレームの間隔が非等間隔の場合：各フレーム内符号化フレームの相対時刻のリストを記述する。
【００３１】
この動画像メタデータは、動画像データとともに、動画像ストリーミングサーバに蓄積されるか、もしくはマルチメディアコンテンツ編集装置に格納される。前者の場合、動画像の参照情報（例えば、ＵＲＬ）を用いてマルチメディアコンテンツ編集装置が参照可能な形式で蓄積される。
【００３２】
マルチメディアコンテンツ編集装置は、基本的に、従来のマルチメディアコンテンツ編集装置をベースとし、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を有する。ユーザは、ＧＵＩを介してノンリニア編集の要領で、同期制御記述データを生成していく。ユーザの編集操作により、各動画像の表示開始時刻および動画像データの先頭から表示開始フレームまでのオフセット時間が生成される。
【００３３】
次に、マルチメディアコンテンツ編集装置は、このオフセット時間と動画像メタデータ内のフレーム内符号化フレームの位置情報とを用いて、マルチメディア同期制御記述データで記述される各動画像の読み捨て時間情報を計算する。具体的には、オフセット時間をＴ１とすると、以下のような処理が行われる。
１．フレーム内符号化フレームの位置情報を先頭から検索し、先頭から各フレーム内符号化フレームまでの時間をＴとして、Ｔ＜Ｔ１となる最大のＴを得る。
２．読み捨て時間ΔＴを、ΔＴ＝Ｔ１−Ｔとして計算する。
【００３４】
こうして得られたΔＴが、読み捨て時間情報としてマルチメディア同期制御記述データに追加される。最終的なマルチメディア同期制御記述データは、マルチメディアコンテンツ再生装置（端末）に伝送される。
【００３５】
マルチメディア同期制御記述データを受け取ったマルチメディアコンテンツ再生装置は、その記述に従って各メディアを取得し、同期再生する。このとき、動画像データに関しては、以下のような処理を行う。
１．マルチメディア同期制御記述データにおけるｘ番目の動画像データのオフセット時間をＴｘとし、その動画像データの読み捨て時間をΔＴｘとして、指定された表示開始時刻より（ｙ秒）前に、ストリーミングサーバに対して、（Ｔｘ−ΔＴｘ）の時間に対応するフレームからのストリーミング配信を要求する。
２．受信した動画像を再生する。このとき、Ｔｘより前のフレームについては、再生（復号）は行うものの、表示は行わない。
３．Ｔｘに相当するフレームが再生され、かつ現在の時刻（マルチメディア同期制御記述データ再生時刻）が指定された表示開始時刻になった時点で、残りのフレームの再生および画面への表示を行う。
【００３６】
なお、「ｙ秒」の値は、（Ｔｘ−ΔＴｘ）、動画像のビットレート、伝送路帯域、再生端末の処理速度等に依存して決められるが、具体的な算出方法については特に限定しない。
【００３７】
図２は、図９に示した２つの動画像を再生する場合の制御を示している。この例では、マルチメディアコンテンツ再生装置は、動画像“ａ．ｍｐ４”の表示開始時刻である０秒よりｙａ秒前に、ストリーミングサーバに対して“ａ．ｍｐ４”のストリーミング配信を要求する。
【００３８】
この場合、オフセット時間および読み捨て時間は設定されないので、Ｔｘ＝ΔＴｘ＝０とみなして、“ａ．ｍｐ４”の先頭から１０秒までの動画像データを取得・再生し、画面に表示する。ｙａ秒の時間は、動画像データを取得してから最初のフレームを表示するまでの遅延（サーバ接続遅延、伝送遅延等）に相当する。
【００３９】
また、動画像“ｂ．ｍｐ４”については、オフセット時間として２０秒が設定され、読み捨て時間として５秒（＝２０秒−１５秒）が設定される。マルチメディアコンテンツ再生装置は、動画像“ｂ．ｍｐ４”の表示開始時刻である１０秒よりｙｂ秒前に、ストリーミングサーバに対して、１５秒（＝２０秒−５秒）の時間に対応するフレームからのストリーミング配信を要求する。
【００４０】
この場合、“ｂ．ｍｐ４”の先頭から１５秒後のフレームより取得が開始され、先頭から３０秒後のフレームで取得が終了する。このうち、１５秒から２０秒までの動画像データは再生されるが、画面には表示されない。２０秒から３０秒までの動画像データは、再生されるとともに画面に表示される。ｙｂ秒の時間は、読み捨て時間の５秒より長く設定される。
【００４１】
このようなマルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置によれば、読み捨て時間情報を含むマルチメディア同期制御記述データが自動的に生成され、その情報に従って、ストリーミング形式のフレーム間符号化動画像の再生に必要な最小限の動画像データが配信される。したがって、このような動画像を途中から同期再生する場合に、ネットワークや端末の負荷を無用に増大させることなく、フレーム内符号化フレームの間隔長に起因する動画像の劣化を防止することができる。
【００４２】
図３は、このような再生制御を行うマルチメディアシステムの構成図である。ここでは、取り扱うメディアを動画像に限定して説明を行うが、静止画像やテキスト等のメディアの取り扱いについては、公知のシステムと同様である。図３のマルチメディアシステムは、動画像ストリーミングサーバ１０、マルチメディアコンテンツ編集装置２０、およびマルチメディアコンテンツ再生端末３０を含み、これらの装置はネットワークを通じて互いに通信を行う。
【００４３】
動画像ストリーミングサーバ１０は、メタデータ蓄積装置１１、メタデータ通信Ｉ／Ｆ（インタフェース）１２、動画像蓄積装置１３、およびストリーミングＩ／Ｆ１４から構成される。
【００４４】
メタデータ蓄積装置１１は、動画像メタデータを蓄積し、メタデータ通信Ｉ／Ｆ１２から転送される動画像参照情報（ＵＲＬ等の動画像識別子）に基づいて、対応する動画像メタデータを出力する。
【００４５】
メタデータ通信Ｉ／Ｆ１２は、ネットワークを通じて外部と通信を行い、ネットワークから入力される動画像メタデータ要求から動画像識別子を取り出し、メタデータ蓄積装置１１に転送する。そして、メタデータ蓄積装置１１から出力される動画像メタデータを、ネットワークに送信する。ネットワーク通信プロトコルとしては、例えば、ＨＴＴＰ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）が用いられる。
【００４６】
動画像蓄積装置１３は、動画像を蓄積し、ストリーミングＩ／Ｆ１４から転送される動画像識別子に基づいて、対応する動画像を出力する。ストリーミングＩ／Ｆ１４は、ネットワークを通じて外部と通信を行い、ネットワークから入力される動画像要求から動画像識別子を取り出し、動画像蓄積装置１３に転送する。そして、動画像蓄積装置１３から出力される動画像を、ネットワークに送信する。ネットワーク通信プロトコルとしては、例えば、ＲＴＳＰ（Ｒｅａｌ　Ｔｉｍｅ　Ｓｔｒｅａｍｉｎｇ　Ｐｒｏｔｏｃｏｌ）が用いられる。
【００４７】
マルチメディアコンテンツ編集装置２０は、メタデータ通信Ｉ／Ｆ２１、読み捨て時間情報生成部２２、ストリーミングＩ／Ｆ２３、メディア再生部２４、表示装置２５、マルチメディア同期制御記述データ編集部２６、入力装置２７、およびマルチメディア同期制御記述データＩ／Ｆ２８から構成される。このマルチメディアコンテンツ編集装置２０は、読み捨て時間情報を利用しない場合は、公知のマルチメディアコンテンツ編集装置（例えば、ＳＭＩＬエディタソフトウェアを搭載したコンピュータ）と同様の編集処理を行う。
【００４８】
メタデータ通信Ｉ／Ｆ２１は、ネットワークを通じて外部と通信を行い、読み捨て時間情報生成部２２から転送される動画像識別子を元に、動画像メタデータ要求メッセージを生成して、ネットワークに送信する。そして、取得した動画像メタデータを、読み捨て時間情報生成部２２に転送する。
【００４９】
読み捨て時間情報生成部２２は、読み捨て時間情報を生成する。まず、マルチメディア同期制御記述データ編集部２６から、読み捨て時間情報が入っていないマルチメディア同期制御記述データを取得する。次に、このマルチメディア同期制御記述データから、動画像識別子を抽出し、メタデータ通信Ｉ／Ｆ２１に転送する。
【００５０】
さらに、メタデータ通信Ｉ／Ｆ２１から転送される動画像メタデータを解析する。ここで、マルチメディア同期制御記述データに記述されているオフセット時間と、動画像メタデータに記述されているフレーム内符号化フレームの位置情報（時刻情報）とを利用して、前述した方法により読み捨て時間情報を算出する。そして、計算結果に従ってマルチメディア同期制御記述データを修正し、マルチメディア同期制御記述データ編集部２６に転送する。
【００５１】
ストリーミングＩ／Ｆ２３は、ネットワークを通じて外部と通信を行い、メディア再生部２４から送信される動画像識別子を元に、動画像要求メッセージを生成して、ネットワークに送信する。そして、取得した動画像を、メディア再生部２４に転送する。
【００５２】
メディア再生部２４は、動画像メディアの再生を行う。まず、マルチメディア同期制御記述データ編集部２６から通知される、動画像メディア再生用の情報（動画像識別子、制御情報（再生、一時停止等の操作入力））を受け取り、ストリーミングＩ／Ｆ２３に動画像識別子を通知する。そして、ストリーミングＩ／Ｆ２３から受け取った動画像を再生し、動画像メディア再生用の制御情報に従って表示装置２５の画面に表示する。表示装置２５は、例えば、コンピュータのディスプレイに相当し、再生された動画像を表示する。
【００５３】
マルチメディア同期制御記述データ編集部２６は、マルチメディア同期制御記述データを生成し、メディア再生部２４、ストリーミングＩ／Ｆ２３、および表示装置２５を用いて、マルチメディアコンテンツを編集するユーザに対して、個々の動画像をプレビューする。ユーザは、入力装置２７を用いて、意図する動画像の再生タイミング（表示開始時刻、表示時間長等）を入力し、マルチメディア同期制御記述データを作成する。入力装置２７は、例えば、コンピュータのキーボードやマウスに相当する。
【００５４】
その後、マルチメディア同期制御記述データ編集部２６は、生成されたマルチメディア同期制御記述データを、読み捨て時間情報生成部２２に転送する。そして、読み捨て時間情報生成部２２から転送される、読み捨て時間情報が追加されたマルチメディア同期制御記述データを、マルチメディア同期制御記述データＩ／Ｆ２８に転送する。
【００５５】
マルチメディア同期制御記述データＩ／Ｆ２８は、ネットワークを通じて外部と通信を行い、マルチメディア同期制御記述データ編集部２６から転送されるマルチメディア同期制御記述データを、外部からの要求に応じてネットワークに送信する。ネットワーク通信プロトコルとしては、例えば、ＨＴＴＰが用いられる。
【００５６】
マルチメディアコンテンツ再生端末３０は、ストリーミングＩ／Ｆ３１、メディア再生部３２、表示装置３３、マルチメディア同期制御記述データ再生部３４、マルチメディア同期制御記述データＩ／Ｆ３５、および入力装置３６から構成される。
【００５７】
ストリーミングＩ／Ｆ３１は、ネットワークを通じて外部と通信を行い、メディア再生部３２から転送される動画像識別子および動画像の処理開始時刻（オフセット時間−読み捨て時間）から、動画像要求メッセージを生成し、ネットワークに送信する。そして、取得した動画像を、メディア再生部３２に送信する。
【００５８】
メディア再生部３２は、動画像メディアの再生を行う。まず、マルチメディア同期制御記述データ再生部３４から通知される、個々の動画像メディア再生用の情報（動画像識別子、表示開始時刻、オフセット時間、読み捨て時間、表示終了時刻、画面内レイアウト等）を受け取る。
【００５９】
次に、メディア再生部３２が内部に持つ時間制御に従って、適切なタイミングで動画像識別子および動画像の処理開始時刻をストリーミングＩ／Ｆ３１に通知する。この処理開始時刻は、オフセット時間から読み捨て時間を減算した結果により指定され、動画像データ内における再生処理（復号処理）の開始位置を表す。
【００６０】
メディア再生部３２は、ストリーミングＩ／Ｆ３１から受け取った動画像を再生し、動画像メディア再生用の情報に従って表示装置３３の画面に表示する。ここで、再生された動画像が表示開始フレームより前のフレームに相当する場合は、それを表示装置３３に転送せず、再生された動画像が表示開始フレームに相当し、かつ、現在時刻が表示開始時刻になった場合に、それを前記表示装置３３に転送する。表示装置３３は、例えば、コンピュータのディスプレイに相当し、同期再生されたマルチメディアコンテンツを表示する。
【００６１】
マルチメディア同期制御記述データ再生部３４は、マルチメディア同期制御記述データＩ／Ｆ３５から転送されるマルチメディア同期制御記述データを解釈して、個々の動画像メディア再生用の情報を生成し、その情報をメディア再生部３２に転送する。
【００６２】
マルチメディア同期制御記述データＩ／Ｆ３５は、ネットワークを通じて外部と通信を行い、入力装置３６から入力される、マルチメディア同期制御記述データの識別子を元に、同期制御記述データ要求メッセージを生成して、ネットワークに送信する。そして、受信したマルチメディア同期制御記述データを、マルチメディア同期制御記述データ再生部３４に転送する。入力装置３６は、例えば、コンピュータのキーボードやマウスに相当する。
【００６３】
ところで、上述した動画像メタデータの方式としては、例えば、ＭＰＥＧ−７が挙げられる。ＭＰＥＧ−７の記述形式はＸＭＬである。図４は、このＭＰＥＧ−７を用いた動画像メタデータの例を示している。
【００６４】
このメタデータは、動画像データ作成時等に符号化装置の符号化パラメータ等を用いて、自動的にもしくは人の手によって作成される。ただし、現在のＭＰＥＧ−７標準では、動画像中のフレーム内符号化フレームの位置を記述することはできないので、独自に拡張したタグを使用する必要がある。図４内で番号が付けられた重要なタグの意味は、以下の通りである。
（１）ＭＰＥＧ−７メタデータの最上位タグ。
（２）１つの動画像データを記述する場合の最上位タグ。この例では、図９の動画像“ｂ．ｍｐ４”のメタデータが記述されている。
（３）動画像データの符号化形式、符号化パラメータの記述。
（４）動画像データ実体の所在の記述（動画像識別子）。
（５）動画像データの作成に関する記述（タイトル等）。
（６）動画像データの時間情報。この例では、時間長が１分０秒０フレームであることを示している。
（７）フレーム内符号化フレームの時刻情報。ＭＰＥＧ−７標準では存在しない。この例では、フレーム内符号化フレームが０秒０フレーム、１５秒０フレーム、２５秒０フレーム、および４０秒０フレームの位置にあることを示している。
【００６５】
図５は、図４の動画像メタデータを元に、マルチメディアコンテンツ編集装置により生成されるマルチメディア同期制御記述データの例を示している。ここでは、マルチメディア同期制御記述データとしてＳＭＩＬ記述が用いられている。
【００６６】
“ｂ．ｍｐ４”の制御情報は、図５の２番目の＜ｖｉｄｅｏ＞タグ内に記述されており、その中にはｓｒｃ、ｂｅｇｉｎ、ｄｕｒ、ｃｌｉｐＢｅｇｉｎ、およびｋｅｙｆｒａｍｅＯｆｆｓｅｔの各属性が含まれている。このうち、ｓｒｃ属性は動画像識別子に対応し、ｂｅｇｉｎ属性は表示開始時刻を指定する情報に対応し、ｄｕｒ属性は表示時間長に対応し、ｃｌｉｐＢｅｇｉｎ属性はオフセット時間に対応し、ｋｅｙｆｒａｍｅＯｆｆｓｅｔ属性は読み捨て時間情報に対応する。ｂｅｇｉｎ、ｄｕｒ、ｃｌｉｐＢｅｇｉｎ、およびｋｅｙｆｒａｍｅＯｆｆｓｅｔ属性は、時間制御記述に対応する。
【００６７】
この時間制御記述は、“ｂ．ｍｐ４”の表示開始フレームが先頭から２０秒後のフレームであり、それより前の直近のフレーム内符号化フレームは、その５秒前（先頭から１５秒後）のフレームであることを意味している。したがって、図５のマルチメディア同期制御記述データを用いることで、図２に示したような再生制御が実現される。
【００６８】
図５のマルチメディア同期制御記述データでは、動画像“ｂ．ｍｐ４”についてのみｃｌｉｐＢｅｇｉｎおよびｋｅｙｆｒａｍｅＯｆｆｓｅｔ属性が付加されているが、動画像“ａ．ｍｐ４”にこれらの属性が設定されている場合も、“ｂ．ｍｐ４”と同様の再生制御が行われる。さらに、３つ以上の動画像を同期表示する場合も、それぞれの動画像について“ｂ．ｍｐ４”と同様の時間制御記述を用いることで、それぞれの動画像を途中から表示することができる。
【００６９】
図３のマルチメディアシステムでは、動画像ストリーミングサーバとマルチメディアコンテンツ編集装置が別々に設けられているが、動画像ストリーミングサーバの機能をマルチメディアコンテンツ編集装置に付加することも可能である。
【００７０】
図６は、このようなマルチメディアシステムの構成図である。図６のマルチメディアコンテンツ編集装置４０は、図３の動画像ストリーミングサーバ１０およびマルチメディアコンテンツ編集装置２０の構成要素をあわせ持っている。ただし、メタデータ蓄積装置１１および動画像蓄積装置１３はそれぞれ読み捨て時間情報生成部２２およびマルチメディア同期制御記述データ編集部２６に直接接続されるため、図３のメタデータ通信Ｉ／Ｆ１２、２１、およびストリーミングＩ／Ｆ２３は不要となる。マルチメディアコンテンツ再生装置３０については、図３と同様である。
【００７１】
このようなマルチメディアコンテンツ編集装置によれば、メタデータ蓄積装置１１および動画像蓄積装置１３からの動画像メタデータおよび動画像の読み出しに要する通信コストが削減される。
【００７２】
以上説明した実施形態では、動画像の処理開始時刻を指定するために、マルチメディア同期制御記述データに読み捨て時間情報を付加しているが、それ以外の情報により処理開始時刻を指定することも可能である。例えば、動画像の先頭から必要なフレーム内符号化フレーム（表示開始フレームより前の直近のフレーム内符号化フレーム）までの時間を、処理開始時刻を指定する時刻指定情報として、マルチメディア同期制御記述データに付加してもよい。
【００７３】
この場合、図３のマルチメディア同期制御記述データ再生部３４から、メディア再生部３２を通じてストリーミングＩ／Ｆ３１に時刻指定情報が転送され、ストリーミングＩ／Ｆ３１は、その情報と動画像識別子から動画像要求メッセージを生成する。これにより、処理開始時刻以降の動画像データを取得することができる。
【００７４】
また、処理開始時刻は、必ずしもフレーム内符号化フレームの位置に対応していなくてもよく、動画像を劣化させることなく再生するために必要なフレームの位置に対応していればよい。
【００７５】
図３および図６のマルチメディアシステムの各機能は、ハードウェアおよびソフトウェアのいずれにより実装しても構わない。ソフトウェアにより実装する場合、図３の動画像ストリーミングサーバ１０、マルチメディアコンテンツ編集装置２０、マルチメディアコンテンツ再生装置３０、および図６のマルチメディアコンテンツ編集装置４０は、例えば、図７に示すような情報処理装置（コンピュータ）を用いて構成される。
【００７６】
図７の情報処理装置は、ＣＰＵ（中央処理装置）５１、メモリ５２、入力装置５３、出力装置５４、外部記憶装置５５、媒体駆動装置５６、およびネットワーク接続装置５７を備え、それらはバス５８により互いに接続されている。
【００７７】
メモリ５２は、例えば、ＲＯＭ（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）等を含み、処理に用いられるプログラムとデータを格納する。ＣＰＵ５１は、メモリ５２を利用してプログラムを実行することにより、必要な処理を行う。
【００７８】
例えば、上述した動画像メタデータおよびマルチメディア同期制御記述データは、メモリ５２に格納された後に処理される。また、図３の読み捨て時間情報生成部２２、メディア再生部２４、マルチメディア同期制御記述データ編集部２６、メディア再生部３２、およびマルチメディア同期制御記述データ再生部３４は、メモリ５２に格納されたプログラムに対応する。ただし、メディア再生部２４、３２の一部の機能は、ハードウェアによりサポートされる。
【００７９】
入力装置５３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、図３の入力装置２７、３６に対応する。入力装置５３は、ユーザからの指示や情報の入力に用いられる。
【００８０】
出力装置５４は、例えば、ディスプレイ装置およびスピーカを含み、図３の表示装置２５、３３に対応する。出力装置５４は、マルチメディアコンテンツ、ユーザへの問い合わせ、およびその他の処理結果の出力に用いられる。
【００８１】
外部記憶装置５５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置５５に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ５２にロードして使用する。外部記憶装置５５は、図３のメタデータ蓄積装置１１および動画像蓄積装置１３としても用いられる。
【００８２】
媒体駆動装置５６は、可搬記録媒体５９を駆動し、その記録内容にアクセスする。可搬記録媒体５９としては、メモリカード、フレキシブルディスク、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ　ｄｉｓｋ　ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ　）、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体５９に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ５２にロードして使用する。
【００８３】
ネットワーク接続装置５７は、インターネット等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。情報処理装置は、上述のプログラムとデータをネットワーク接続装置５７を介して他の装置から受け取り、必要に応じて、それらをメモリ５２にロードして使用する。
【００８４】
図８は、図７の情報処理装置にプログラムとデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体５９やサーバ６０のデータベース６１に保存されたプログラムとデータは、メモリ５２にロードされる。このとき、サーバ６０は、プログラムとデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して情報処理装置に送信する。そして、ＣＰＵ５１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。
【００８５】
（付記１）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するコンピュータのためのプログラムであって、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報を生成し、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記時刻指定情報とを含む同期制御記述データを生成する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【００８６】
（付記２）　前記コンピュータは、前記始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレームに相当する時刻を前記処理開始時刻として指定する時刻指定情報を生成することを特徴とする付記１記載のプログラム。
【００８７】
（付記３）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データに従って同期表示するコンピュータのためのプログラムであって、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報とを含む同期制御記述データを解釈して、再生用の情報を生成し、
前記再生用の情報に従って、前記処理開始時刻から前記特定区間の終点の時刻までの画像データを取得して、動画像を再生し、
再生された動画像のうち前記特定区間の動画像を画面に表示する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【００８８】
（付記４）　前記時刻指定情報は、前記始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレームに相当する時刻を、前記処理開始時刻として指定することを特徴とする付記３記載のプログラム。
【００８９】
（付記５）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するコンピュータのためのプログラムであって、
前記特定区間の始点の時刻と該特定区間より前の処理開始時刻との間隔を表す読み捨て時間情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該読み捨て時間情報を生成し、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記読み捨て時間情報とを含む同期制御記述データを生成する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【００９０】
（付記６）　前記コンピュータは、前記始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレームに相当する時刻を、前記処理開始時刻として用いて、前記読み捨て時間情報を生成することを特徴とする付記５記載のプログラム。
【００９１】
（付記７）　前記コンピュータは、マルチメディアコンテンツ編集時に決定される前記オフセット時間と、各動画像に含まれるフレーム内符号化フレームの時刻情報とを参照して、該オフセット時間から前記直近のフレーム内符号化フレームの時刻を減算することにより、前記読み捨て時間情報を生成することを特徴とする付記６記載のプログラム。
【００９２】
（付記８）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データに従って同期表示するコンピュータのためのプログラムであって、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記特定区間の始点の時刻と該特定区間より前の処理開始時刻との間隔を表す読み捨て時間情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該読み捨て時間情報とを含む同期制御記述データを解釈して、再生用の情報を生成し、
前記再生用の情報に従って、前記処理開始時刻から前記特定区間の終点の時刻までの画像データを取得して、動画像を再生し、
再生された動画像のうち前記特定区間の動画像を画面に表示する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【００９３】
（付記９）　前記読み捨て時間情報は、前記始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレームに相当する時刻を、前記処理開始時刻として用いて生成されることを特徴とする付記８記載のプログラム。
【００９４】
（付記１０）　前記コンピュータは、前記複数のフレーム間符号化動画像を保持し、要求に応じてフレーム間符号化動画像をストリーミング配信する動画像ストリーミングサーバに対して、前記表示開始時刻より前に、前記オフセット時間から前記読み捨て時間情報が表す時間を減算した結果と動画像参照情報とを通知することで、前記直近のフレーム内符号化フレーム以降の画像データを取得し、取得した画像データから動画像を再生し、再生された動画像が前記表示開始フレームより前のフレームに相当する場合は、該再生された動画像を表示せず、再生された動画像が前記表示開始フレームに相当し、かつ、現在時刻が表示開始時刻になった場合に、該再生された動画像を表示することを特徴とする付記９記載のプログラム。
【００９５】
（付記１１）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報を生成し、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記時刻指定情報とを含む同期制御記述データを生成する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【００９６】
（付記１２）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データに従って同期表示するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報とを含む同期制御記述データを解釈して、再生用の情報を生成し、
前記再生用の情報に従って、前記処理開始時刻から前記特定区間の終点の時刻までの画像データを取得して、動画像を再生し、
再生された動画像のうち前記特定区間の動画像を画面に表示する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【００９７】
（付記１３）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報を生成し、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記時刻指定情報とを含む同期制御記述データを生成する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
【００９８】
（付記１４）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データに従って同期表示するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報とを含む同期制御記述データを解釈して、再生用の情報を生成し、
前記再生用の情報に従って、前記処理開始時刻から前記特定区間の終点の時刻までの画像データを取得して、動画像を再生し、
再生された動画像のうち前記特定区間の動画像を画面に表示する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
【００９９】
（付記１５）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するマルチメディアコンテンツ編集装置であって、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報を生成する生成手段と、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記時刻指定情報とを含む同期制御記述データを生成する編集手段と
を備えることを特徴とするマルチメディアコンテンツ編集装置。
【０１００】
（付記１６）　前記複数のフレーム間符号化動画像を保持し、要求に応じてフレーム間符号化動画像をストリーミング配信する動画像ストリーミングサーバから、動画像参照情報を用いて、フレーム間符号化動画像の画像データと、該フレーム間符号化動画像に含まれるフレーム内符号化フレームの時刻情報を含むメタデータとを取得するインタフェース手段をさらに備え、前記生成手段は、該フレーム内符号化フレームの時刻情報を用いて、前記始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレームに相当する時刻を前記処理開始時刻として指定する時刻指定情報を生成することを特徴とする付記１５記載のマルチメディアコンテンツ編集装置。
【０１０１】
（付記１７）　前記複数のフレーム間符号化動画像を格納する動画像蓄積手段と、要求に応じてフレーム間符号化動画像をストリーミング配信するストリーミングインタフェース手段と、各動画像に含まれるフレーム内符号化フレームの時刻情報を含むメタデータを格納するメタデータ蓄積手段とをさらに備え、前記生成手段は、該フレーム内符号化フレームの時刻情報を用いて、前記始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレームに相当する時刻を前記処理開始時刻として指定する時刻指定情報を生成することを特徴とする付記１５記載のマルチメディアコンテンツ編集装置。
【０１０２】
（付記１８）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データに従って同期表示するマルチメディアコンテンツ再生装置であって、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報とを含む同期制御記述データを解釈して、再生用の情報を生成する同期制御記述データ再生手段と、
前記再生用の情報に従って、前記処理開始時刻から前記特定区間の終点の時刻までの画像データを取得して、動画像を再生するメディア再生手段と、
再生された動画像のうち前記特定区間の動画像を画面に表示する表示手段と
を備えることを特徴とするマルチメディアコンテンツ再生装置。
【０１０３】
（付記１９）　前記メディア再生手段は、前記複数のフレーム間符号化動画像を保持し、要求に応じてフレーム間符号化動画像をストリーミング配信する動画像ストリーミングサーバに対して、前記表示開始時刻より前に、前記処理開始時刻の情報と動画像参照情報とを通知することで、前記始点の時刻に相当する表示開始フレームより前の直近のフレーム内符号化フレーム以降の画像データを取得し、取得した画像データから動画像を再生し、再生された動画像が前記表示開始フレームより前のフレームに相当する場合は、該再生された動画像を前記表示手段に転送せず、再生された動画像が前記表示開始フレームに相当し、かつ、現在時刻が表示開始時刻になった場合に、該再生された動画像を前記表示手段に転送することを特徴とする付記１８記載のマルチメディアコンテンツ再生装置。
【０１０４】
（付記２０）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するために、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データを生成するマルチメディアコンテンツ編集方法であって、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては取得および再生は行うが表示は行わないことを表す該時刻指定情報を生成し、
前記特定区間の表示開始時刻を指定する情報と、該特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、前記時刻指定情報とを含む同期制御記述データを生成する
ことを特徴とするマルチメディアコンテンツ編集方法。
【０１０５】
（付記２１）　複数のフレーム間符号化動画像を含むマルチメディアコンテンツを同期表示するコンピュータにより解釈され、各動画像の特定区間を指定された時間および順序で表示するための時間制御記述を含む同期制御記述データであって、該時間制御記述は、
前記特定区間の表示開始時刻を指定する情報と、
前記特定区間を含む画像データの先頭から該特定区間までのオフセット時間を表す情報と、
前記特定区間の始点の時刻より前の処理開始時刻を指定する時刻指定情報であって、該処理開始時刻から該始点の時刻までに相当する区間の画像データについては前記コンピュータが取得および再生は行うが表示は行わないことを表す該時刻指定情報と
を含むことを特徴とする同期制御記述データ。
【０１０６】
【発明の効果】
本発明によれば、ストリーミング形式のフレーム間符号化動画像データを同期再生する場合に、ネットワークや端末の負荷を無用に増大させることなく、画像劣化の防止に必要な動画像データを配信することが可能となる。特に、必要最小限の動画像データを配信することで、フレーム内符号化フレームの間隔長に起因する複数の動画像間のつなぎ目における画像劣化を防止することができる。
【図面の簡単な説明】
【図１】本発明のマルチメディアコンテンツ編集装置の原理図である。
【図２】動画像再生制御を示す図である。
【図３】第１のマルチメディアシステムの構成図である。
【図４】動画像メタデータを示す図である。
【図５】本発明のＳＭＩＬ記述を示す図である。
【図６】第２のマルチメディアシステムの構成図である。
【図７】情報処理装置の構成図である。
【図８】記録媒体を示す図である。
【図９】従来のＳＭＩＬ記述を示す図である。
【図１０】動画像の構造を示す図である。
【符号の説明】
１　生成手段
２　編集手段
１０　動画像ストリーミングサーバ
１１　メタデータ蓄積装置
１２、２１　メタデータ通信Ｉ／Ｆ
１３　動画像蓄積装置
１４、２３、３１　ストリーミングＩ／Ｆ
２０、４０　マルチメディアコンテンツ編集装置
２２　読み捨て時間情報生成部
２４、３２　メディア再生部
２５、３３　表示装置
２６　マルチメディア同期制御記述データ編集部
２７、３６　入力装置
２８、３５　マルチメディア同期制御記述データＩ／Ｆ
３０　マルチメディアコンテンツ再生端末
３４　マルチメディア同期制御記述データ再生部
５１　ＣＰＵ
５２　メモリ
５３　入力装置
５４　出力装置
５５　外部記憶装置
５６　媒体駆動装置
５７　ネットワーク接続装置
５８　バス
５９　可搬記録媒体
６０　サーバ
６１　データベース
【図１】
2004140488.tif 000003
【図２】
2004140488.tif 000004
【図３】
2004140488.tif 000005
【図４】
2004140488.tif 000006
【図５】
2004140488.tif 000007
【図６】
2004140488.tif 000008
【図７】
2004140488.tif 000009
【図８】
2004140488.tif 000010
【図９】
2004140488.tif 000011
【図１０】
2004140488.tif 000012