(57)【特許請求の範囲】
【請求項１】
ビデオシーケンスを有するマルチメディア・コンテンツに対する構造化された記述を生成する方法であって、
特定の符号化形式に従って上記マルチメディア・コンテンツを符号化することによって、フレーム又はビデオオブジェクトプレーン（ＶＯＰ）のいずれかである基本単位を有するビットストリームを生成する段階と、
上記ビットストリームを解析して、該ビットストリームに含まれる基本単位又は基本単位グループについて、該基本単位又は該基本単位グループの上記ビットストリーム中の位置を示すマークアップ記述を生成する段階と、
上記生成されたマークアップ記述から、基本単位グループに関する記述を探索し、その後、基本単位グループ中の独立に符号化される基本単位に関する記述を探索する段階と、
上記基本単位グループ中の独立に符号化される基本単位に関する記述から、現在の独立に符号化される基本単位を取得してそのエネルギーを計算し、１つ前の独立に符号化される基本単位のエネルギーとの差分の絶対値がある閾値以上であれば、該独立に符号化される基本単位がビデオシーケンスの切れ目であることを示す標識を上記マークアップ記述に追加する段階と
を含む、ことを特徴とする方法。
【請求項２】
プロセッサによって実行されたときに、請求項１記載の構造化された記述を生成する方法を行うための命令を含むプログラム。
【請求項３】
ビデオシーケンスを有するマルチメディア・コンテンツに対する構造化された記述を生成するシステムであって、
特定の符号化形式に従って上記マルチメディア・コンテンツを符号化することによって、フレーム又はビデオオブジェクトプレーン（ＶＯＰ）のいずれかである基本単位を有するビットストリームを生成し、且つ、上記ビットストリームを解析して、該ビットストリームに含まれる基本単位又は基本単位グループについて、該基本単位又は該基本単位グループの上記ビットストリーム中の位置を示すマークアップ記述を生成する第１のエンティティと、
上記生成されたマークアップ記述から、基本単位グループに関する記述を探索し、その後、基本単位グループ中の独立に符号化される基本単位に関する記述を探索し、且つ、上記基本単位グループ中の独立に符号化される基本単位に関する記述から、現在の独立に符号化される基本単位を取得してそのエネルギーを計算し、１つ前の独立に符号化される基本単位のエネルギーとの差分の絶対値がある閾値以上であれば、該独立に符号化される基本単位がビデオシーケンスの切れ目であることを示す標識を上記マークアップ記述に追加する第２エンティティと
を含む、ことを特徴とするシステム。
【請求項４】
ビデオシーケンスを有するマルチメディア・コンテンツを特定の符号化形式に従って符号化することによって生成されるビットストリームであって、フレーム又はビデオオブジェクトプレーン（ＶＯＰ）のいずれかである基本単位を有する上記ビットストリームの解析により生成され、該ビットストリームに含まれる基本単位又は基本単位グループについて、該基本単位又は該基本単位グループの上記ビットストリーム中の位置を示すマークアップ記述を受信する手段と、
上記マークアップ言語から、基本単位グループに関する記述を探索し、その後、基本単位グループ中の独立に符号化される基本単位に関する記述を探索する構文解析手段と、
上記基本単位グループ中の独立に符号化される基本単位に関する記述から、現在の独立に符号化される基本単位を取得してそのエネルギーを計算し、１つ前の独立に符号化される基本単位のエネルギーとの差分の絶対値がある閾値以上であれば、該独立に符号化される基本単位がビデオシーケンスの切れ目であることを示す標識を上記マークアップ記述に追加する手段と
を含む、ことを特徴とする装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、少なくとも１つのマルチメディア・コンテンツを処理する方法に関する。本発明はまた、かかる方法を実施することにより得られる製品、及びかかる製品の用途に関連する。本発明はまた、プロセッサによって実行されたときにかかる方法を実施するための命令を含むプログラムに関連する。本発明はまた、かかる方法を実施する手段を含む装置、及び、符号化形式に従ってマルチメディア・コンテンツを符号化することによって得られるビットストリームを生成するための第１のエンティティと、かかる処理を実行するための第２のエンティティとを含むシステムに関連する。本発明は、マルチメディア・コンテンツの作成及び操作の分野に重要な用途がある。本発明は消費者向け用途及び専門家向け用途に関連する。
【０００２】
【従来の技術】
特許文献１には、画素からなるディジタル化された画像をＸＭＬ、ＨＴＭＬ、ＭＰＥＧ−７といった言語のうちの１つを使用して記述する方法が記載されている。この記述は、画像のゾーンに関連するデータを含む。かかる方法は、ユーザが受信しようとする画像ゾーンを要求に応じてユーザが示すことを可能とするために製図データを送信するために使用されるためのものである。
【０００３】
【特許文献１】
国際公開第０１／６７７７１号パンフレット（２００１年３月７日出願）
【発明が解決しようとする課題】
本発明は、上述の種類の記述を用いた他の種類の用途を提案する。
【０００４】
また、本発明は、以下の様々な利点を得ることを目的とする。
・動作が重いビットストリームの構文解析は、ビットストリームの記述を生成するために繰り返されずに一回で行われる。生成された記述は様々なアプリケーションによって使用されうる。
・処理を行うためにかかる記述を使用するアプリケーションは、ビットストリームの構文解析を行う必要がないため、マルチメディア・コンテンツを符号化するために使用される符号化形式を知る必要がない。記述が書かれている言語を知るだけでよい。
・同じアプリケーションは従って様々な符号化形式の同じ処理を行いうる。
【０００５】
【課題を解決するための手段】
少なくとも１つのマルチメディア・コンテンツを処理する本発明の方法は、符号化形式に従ってマルチメディア・コンテンツを符号化することによって得られるビットストリームの構造化された記述を、符号化形式に含まれる１以上の符号化データを記述の中に復元するために解析する構文解析段階と、一つ又は複数の符号化データから処理を実行する段階とを含むことを特徴とする。この記述は、例えばマークアップ言語で書かれる。
【０００６】
本発明によるシステムは、符号化形式に従ってマルチメディア・コンテンツを符号化することにより得られるビットストリーム及びビットストリームの構造化された記述を生成するための第１のエンティティと、記述の中に符号化形式に含まれる１以上の符号化データを復元するために記述の構文解析を行い、符号化データのうちの１つ又は複数からマルチメディア・コンテンツの処理を行う第２のエンティティとを含む。
【０００７】
本発明による装置は、符号化形式に従ってマルチメディア・コンテンツを符号化することによって得られるビットストリームの構造化された記述を、符号化形式に含まれる１以上の符号化データを記述の中に復元するために解析する構文解析手段と、一つ又は複数の符号化データから処理を実行する手段とを含む。
【０００８】
マルチメディア・コンテンツの処理を行うために、本発明は符号化形式に従ってマルチメディア・コンテンツを符号化することによって得られるビットストリームの構造化された記述を使用する。本発明によれば、処理のために必要な符号化データは、ビットストリームから直接復元されるのではなく、ビットストリームの構造化された記述から復元される。
【０００９】
本発明によれば、上述の様々な利点が得られる。
【００１０】
第１の実施例では、処理は、符号化形式に含まれないビットストリームに関連する符号化情報を符号化データに基づいて生成する段階と、符号化情報を記述に加える段階とを含む。本発明の第１の実施例では、ビットストリームの記述はビットストリーム中に直接復元された符号化データに基づいて発生された符号化情報が追加される。このような追加が行われた記述は続いて様々なアプリケーションによって使用されうる。
【００１１】
第１の適用例では、マルチメディア・コンテンツは一連のビデオシーケンスを含み、符号化情報は２つのビデオシーケンス間の切れ目を示す標識である。このようなビデオシーケンス間の切れ目データは、ビデオストリームを切り取り、貼り付け、連結するためにアプリケーションにおいて有利に使用される。
【００１２】
第２の適用例では、マルチメディア・コンテンツは表示時間及び復号化時間が対応付けられた複数の基本単位を含み、一つの基本単位の符号化は他の基本単位に対して依存するか又は独立であり、符号化情報は、
一つの基本単位の符号化が他の基本単位に対して依存するか独立であるかを示す標識と、
表示時間を示す標識と、
復号化時間を示す標識とを含む。
【００１３】
このような符号化データは、有利には、ユーザによって選択された点からマルチメディア・コンテンツの読み出しを始めるために使用される。
【００１４】
第２の実施例では、処理は、マルチメディア・コンテンツを符号化することによって得られるビットストリームの一部を切り取る段階、及び／又は、第１のマルチメディア・コンテンツを符号化することによって得られる第１のビットストリームの一部を第２のマルチメディア・コンテンツを符号化することによって得られる第２のビットストリームに貼り付ける段階、及び／又は、第１のマルチメディア・コンテンツを符号化することにより得られる第１のビットストリームの一部を第２のマルチメディア・コンテンツを符号化することにより得られる第２のビットストリームの一部と連結する段階を含む。
【００１５】
第３の実施例では、ビットストリームはオーディオ部分及びビデオ部分を含む基本単位で構成され、ビットストリームの記述の中に復元される符号化データは基本単位のオーディオ部分の少なくとも一つの記述子によって構成され、処理はオーディオ部分を変更する段階を含む。
【００１６】
【発明の実施の形態】
本発明の上述及び他の面は、以下説明する限定的でない実施例を参照して明らかとなろう。図１中、マルチメディア・コンテンツを処理するための本発明による方法の例のブロック図が示されている。ブロックＣＴは、マルチメディア・コンテンツを示す。ブロックＣＯＤは、マルチメディア・コンテンツＣＴの或る符号化形式による符号化動作を示す。ブロックＢＩＮは、マルチメディア・コンテンツＣＴを符号化することにより得られるビットストリームを表わす。ブロックＰ０は、ビットストリームＢＩＮの構造化された記述を生成するためにビットストリームＢＩＮを解析するための構文解析動作を表わす。ブロックＤＮは、ビットストリームＢＩＮの構造化された記述を表わす。ブロックＰ１は、記述ＤＮ中の１以上の符号化データＤ１を復元するための記述ＤＮの構文解析動作を表わす。ブロックＴ１は、記述ＤＮ中に復元された１又は複数の符号化データＤ１に基づく処理動作を示す。任意に、処理Ｔ１は、ビットストリームＢＩＮに関連する符号化情報ＩＦを発生する段階と、符号化情報ＩＦを記述ＤＮに加える段階とを含む。符号化情報Ｄ１は、符号化形式のデータである。従って、これらは単純な構文解析により記述ＤＮ中に復元されうる。符号化情報ＩＦは、符号化情報Ｄ１を処理することによって得られる符号化形式に含まれないデータである。
【００１７】
記述ＤＮは、ビットストリームＢＩＮの構造化された記述を有し、即ち、ビットストリームの構造の或る表示レベルが記述ＤＮの中で直接的に明らかである（ビットストリームの構造は使用される符号化形式に依存する）。
【００１８】
有利には、記述ＤＮはマークアップ言語で書かれる。マークアップ言語は、マークを使用し、一組のデータ（ここではビットストリーム）の構文を記述するためにこれらのマークを使用する規則を定義する言語である。このような言語は、一組のデータを構造化すること、即ち全てのデータの構造をその内容から分離することを可能とする。例えば、Ｗ３Ｃコンソーシアムによって定義されるＸＭＬ言語（eXtensible Markup Language）が使用される。
【００１９】
ビットストリームＢＩＮの構文を解析する操作Ｐ０は、ビットストリームの構造化された記述ＤＮを生成することを目的とする。
【００２０】
本発明の第１の実施例によれば、記述ＤＮの構文解析動作Ｐ１は、構造化された記述ＤＮに符号化形式に含まれない符号化情報を追加することを目的とする。追加が行われた記述は、マルチメディア・コンテンツに対して適用されうる処理を実行するために使用されうる。
【００２１】
本発明の第２の実施例は、記述ＤＮの構文解析操作Ｐ１は、マルチメディア・コンテンツに適用されうる処理を実行することを目的とする。
【００２２】
以下、様々なビデオ符号化形式を使用して本発明の２つの実施例について説明する。
【００２３】
ビデオは、一般的には、復号化時間及び表示時間を有する複数の基本単位によって夫々が構成される複数のビデオシーケンスを含む。ＭＰＥＧ−２符号化標準では、例えば、これらの基本単位はフレームと称され、フレームのグループはＧＯＰ（Group of Pictures）と称される。ＭＰＥＧ−４符号化標準では、これらの基本単位はＶＯＰ（Video Object Plane）と称され、ＶＯＰのグループはＧＯＶ（Group of VOPs)と称される。基本単位の符号化は、他の基本単位から独立又は依存しうるものである。例えば、ＭＰＥＧ−２及びＭＰＥＧ−４の符号化標準では、他の基本単位とは独立に符号化された基本単位はＩタイプの基本単位と称される。先行する基本単位に対する予測符号化された基本単位は、Ｐタイプの基本単位と称される。先行する基本単位及び将来の基本単位に対して双方向の予測符号化された基本単位は、Ｂタイプの基本単位と称される。
【００２４】
例１
ここで、記述ＤＮに対して加えられるべき符号化情報を発生するために処理Ｔ１が行われる本発明の実施例の第１の例について説明する。一つのビデオシーケンスから次のビデオシーケンスへの移行は、ビデオ中の切れ目に対応する。第１の例では、記述に加えられる符号化情報はビデオシーケンス間の切れ目の位置を見つけることを可能とするデータである。このようなデータは、例えばビデオを取りだそうとするビデオシーケンスの始まりをユーザが識別することを可能とするために、ビデオ操作の適用において有用であることが多い。これらはまた、自動テーブル内容取り出しの適用に有用である。
【００２５】
第１の例では、ＭＰＥＧ−２又はＭＰＥＧ−４といった符号化標準のうちの１つに従ってビデオが符号化され、ビデオシーケンス間の切れ目がグループＧＯＰ又はＧＯＶの始まりと一致する場合について考える。このようにビデオシーケンスの切れ目とグループＧＯＰ又はＧＯＶの始まりが一致するのは、ビデオの放送がリアルタイムの制約下にない場合に可能であり、なぜならばそのような場合は符号化はマルチメディア・コンテンツの低位構造を考慮に入れて行われうるからである（本例では、ビデオシーケンスの間の切れ目が考慮に入れられる）。一般的には、これはビデオがスタジオで生成された場合である。
【００２６】
第１の例では、各シーケンスの切れ目は、ＧＯＰ又はＧＯＶの始まりに対応する。しかし、ＧＯＰ又はＧＯＶの期間が小さくなるにつれ、ＧＯＰ又はＧＯＶの各始まりは必ずしもビデオシーケンスの切れ目に対応しなくなる。
【００２７】
ビデオ中のシーケンスの切れ目の位置を計算する公知の技術は、グループＧＯＰ又はＧＯＶの第１のＩタイプの基本単位のエネルギーを計算し比較するものである。
【００２８】
第１の例では、記述ＤＮは特に、
ビットストリームの基本単位の各グループを記述する記述子と、
基本単位のグループの各基本単位を記述する記述子とを含む。有利には、基本単位を記述する記述子は、その基本単位に対応するデータを含むビットストリームの部分へのポインタを含む。
【００２９】
以下、本発明による方法の第１の例を実施するために使用されうるＭＰＥＧ−４標準に準拠して符号化されたビットストリームの一部のＸＭＬ記述の例について説明するが、この例は本発明を制限するものではない。
【００３０】
【表１】
0004746817.tif 000002
第１の例では、記述ＤＮの構文解析によりグループＧＯＰ又はＧＯＶの第１のＩタイプの基本単位を見つけることが可能である。従って、グループＧＯＰ又はＧＯＶの第１のＩタイプの基本単位に関する記述子を記述の中で探索することにより、この基本単位のデータはこれらの記述子に含まれるポインタを介して復元される。
【００３１】
処理Ｔ１は、これらの第１のＩタイプの基本単位の夫々のエネルギーを計算し、計算されたエネルギーを比較することを可能とする。エネルギーの大きな変化はシーケンスの切れ目に対応する。最後に、ブール値TRUEを有するビデオシーケンスの開始標識が、シーケンスの始まりに対応するグループＧＯＰ又はＧＯＶに対する記述に加えられる。全ての他のグループＧＯＰ又はＧＯＶに対してはブール値FALSEを有するビデオシーケンスの開始標識が加えられる。
【００３２】
以下、シーケンス開始の標識が加えられた記述ＤＮのバージョンについて説明する。これらの標識は、要素<<GOV>>に加えられた属性<<sceneCutFlag>>によって構成される。
【００３３】
【表２】
0004746817.tif 000003
図２は、本発明による方法の第１の例の各段階を示すフローチャートである。図２によれば、ボックスＫ１において、変数εが初期化される（ε＝０）。次に、以下の動作がループで実行される。
・ボックスＫ２において、ＧＯＰ又はＧＯＶのグループに対応する続くＸＭＬタグについて探索される（上記の例では、これらのタグを<<GOV>>と示している）。
・ボックスＫ３において、現在のグループＧＯＰ又はＧＯＶに対する第１のＩタイプの基本単位が探索され（上述の例では<<tag>I_frame>>）、対応するポインタ（例えば、上述の例ではakiyo.mpg4#51-100）が復元され、このポインタによって示される場所でビットストリーム中に配置される基本単位のエネルギーε’が計算される。
・ボックスＫ４において、εとε’が比較される。｜ε−ε’｜＞＞０であれば（符号＞＞は、「よりもはるかに大きい」ことを示す）、処理はボックスＫ５へ進む。そうでない場合は、ボックスＫ７へ進む。
・ボックスＫ５において、変数εに対して値ε’が与えられる（ε＝ε’）。
・ボックスＫ６において、現在のグループＧＯＰ又はＧＯＶの記述の中にブール値TRUEを有するビデオシーケンスの開始標識が加えられる（上述の例では、この標識は、要素<<GOV>>に加えられる属性<<sceneCutFlag='1'>>によって構成される。次に、処理はボックスＫ８に進む。
・ボックスＫ７において、ブール値FALSEを有するビデオシーケンスの開始標識が現在のグループＧＯＰ又はＧＯＶに加えられる（上述の例では、この標識は、要素<<GOV>>に加えられる属性<<sceneCutFlag='0'>>によって構成される。次に、処理はボックスＫ８に進む。
・ボックスＫ８において、全ての記述について行なったか否かを確認する。行なっていれば処理を終了する。行なっていなければ、処理はボックスＫ２から再開する。
【００３４】
例２
記述ＤＮに対して加えられるべき符号化情報を生成するために処理Ｔ１が行われる本発明の実施例の第２の例について説明する。第２の例において生成される追加が行われた記述は、ユーザによって選択された点から（例えば、ユーザはビデオを表示させようとする開始点の位置を決めるために小さい目盛りの上でカーソルを動かす）マルチメディア・コンテンツの読み出しを開始するために使用される。かかる適用を実行するために使用されることが意図される追加が行われた記述は、各基本単位について、
基本単位の符号化に依存／独立した特徴（randomAccessPoint）と、
基本単位の表示時間（presentationTime）と、
基本単位の復号化時間（decodingTime）と、
基本単位に対応するデータを含むビットストリームの部分へのポインタ（例えばbitstream.mpg4#251-900）と、を含む。
【００３５】
ビットストリーム中の基本単位の位置は、ポインタによって与えられる。位置は、特に、記述ＤＮにおいてユーザによって選択される開始点に対応する基本単位を決定するために使用される。基本単位の符号化に依存／独立した特徴は、ユーザによって選択される開始点に対応する基本単位に最も近い独立に符号化された基本単位について記述ＤＮ中を探索するために使用される（復号化は、実際は独立に符号化された基本単位の後にのみ始まることができる）。開始点として選択される基本単位の表示時間及び復号化時間は、記述ＤＮ中で復元され復号化器へ伝送されたデータから計算される。復号化されるべきデータは、復号化器へ伝送されるようポインタを介してビットストリーム中に復元される。
【００３６】
以下、本発明の方法の第２の実施例を実施するために使用されるＭＰＥＧ−４標準に準拠して符号化されたビットストリームの一部のＸＭＬ記述について例として説明するが、この例は本発明を制限するものではない。
【００３７】
【表３】
0004746817.tif 000004
ＭＰＥＧ−４ストリームは、それ自体が複数のグループＧＯＶを含むＶＯＬレイヤ（Video Object Layer）を含む。上述の説明では、要素<<VOL>>はレイヤＶＯＬのヘッダの内容を記述する。これは特に以下のものを含む。
【００３８】
（１）時間単位の値（ティック(tick)と称する）を示す要素<<vop_time_increment_resolution>>；
（２）２進値を有する要素<<fixed_vop_rate>>:要素<<fixed_vop_rate>>が<<1>>であるとき、レイヤＶＯＬのグループＧＯＶ中の全ての基本単位ＶＯＰは固定のＶＯＰ率で符号化される；要素<<fixed_vop_rate>>が<<0>>であるとき、基本単位ＶＯＰの表現時間はレイヤＶＯＬのヘッダに含まれる<<vop_time_increment_resolution>>と、各ＶＯＰヘッダに含まれるデータ<<modulo_time_base>>及び<<vop_time_increment>>とから計算される（<<modulo_time_base>>はミリ秒で示すローカル時間基準、<<vop_time_increment>>は<<modulo_time_base>>によって定義されるそれ自体の同期点からの時間単位（ティック）数を示す）；
（３）固定ＶＯＰ率を計算するために使用される要素<<fixed_vop_time_increment>>；<<fixed_vop_time_increment>>の値は、表示の順番で２つの連続するＶＯＰの間のティック数を示す。
【００３９】
これらの３つのデータは、基本単位の表現時間の値を計算することを可能とする。基本単位の復号化時間の値は、例えば、δで示される一定の差を加えつつ基本単位の表現時間の値から導出される。
【００４０】
図３は、本発明による方法の第２の実施例の各段階を示すフローチャートであり、
・ボックスＫ１０において、レイヤＶＯＬのヘッダに対応するタグＸＭＬについて探索し、データ<<vop_time_increment_resolution>>, <<fixed_vop_rate>>及び<<fixed_vop_time_increment>>が復元される。
・ボックスＫ１１において、変数ｉが初期化される（ｉ＝０）。そして、以下の動作がループで行われる。
・ボックスＫ１２において、基本単位ＶＯＰ（ｉ）に対応する次のタグＸＭＬ（上述の例では、これらのタグは、<<I_VOP>>, <<P_VOP>>及び<<B_VOP>>）を探す。
・ボックスＫ１３において、現在の基本ユニットの符号化に依存又は独立する特徴の標識が現在の基本単位の記述に加えられる。以下の例では、この標識は、ブール値を有するrandomAccessPointと示される属性によって構成される。
基本単位がＩタイプであれば、randomAccessPoint＝<<1>>であり、
基本単位がＰタイプ又はＢタイプであれば、randomAccessPoint＝<<0>>である。
・ボックス１４において、現在の基本単位ＶＯＰ（ｉ）についての表示時間（presentation_time）が計算される。
【００４１】
【表４】
0004746817.tif 000005
そして、得られた値は現在の基本単位の記述に加えられる（以下の例では、現在の要素<<VOP>>に対してpresentation_timeと示される属性が加えられる。
・ボックスＫ１５において、現在の基本単位の復号化時間（decoding_time）が計算される：
decoding_time(i)=presentation_time(i)+δ
そして、得られた値は現在の基本単位の記述に加えられる（以下の例では、現在の要素<<VOP>>にdecoding_timeと称される属性が加えられる）。
・ボックス１６において、全ての記述について行なったか否か調べる。行なっていれば処理は終了する。行なっていなければ、変数ｉがインクリメントされ、処理はボックスＫ１２から再開する。
【００４２】
ここで、図３を参照して説明した方法を用いて得られる記述の追加が行われた例について示す。
【００４３】
【表５】
0004746817.tif 000006
この追加が行われた記述は、当該の用途を実行するために必要なデータのみを含む（ユーザによって固定されたランダムな点からのビデオの読み出しの開始）。特に、ビットストリームの構文解析から得られる最初の記述の要素<<VO>>,<<VOL>>及び<<GOP>>は、<<header>>と称される単一の要素中にまとめられる。同じ要素<<VOP>>が全てのタイプの基本単位（I, P又はB）のために使用される。これらの要素<<VOP>>に対して、presentation_time, decoding_time及びrandomAccessPointの属性が加えられる。
【００４４】
例３
ここで、処理Ｔ１がマルチメディア・コンテンツに対して適用される処理である本発明を実施するための第３の例について説明する。ここで例として考えられる適用可能な処理は、２つの異なるビットストリームから入来する２つのビデオシーケンスを連結することである。このタイプの適用では、ユーザは第１のビデオ中の第１の連結点と第２のビデオ中の第２の連結点とをランダムに選択する。第１のビデオのうち第１の連結点の前に置かれた部分は、第２のビデオのうちの第２の連結点の後に置かれた部分と連結されるためのものである。しかし、これらの連結点は：
・第１のビデオ中に第１の連結点よりも前に配置された基本単位が復号化されえ、
・第２のビデオ中に第２の連結点よりも後に配置された基本単位が復号化されうるよう、補正される。
【００４５】
ＭＰＥＧ−２又はＭＰＥＧ−４標準に従ってビデオが符号化されると、基本単位はＩタイプ，Ｐタイプ又はＢタイプとなる。この場合、第２の連結点は、Ｉタイプの基本単位の前に配置されるべきである。Ｂタイプの基本単位（それらを囲む２つのＩタイプ又はＰタイプを参照して符号化される）が復号化されるべきであるとき、第１の連結点がＩタイプ又はＰタイプの基本単位の後に配置されることが必要である。
【００４６】
以下、ＭＰＥＧ−２標準に準拠して符号化されるビットストリームの記述の例について説明し、記述は、本発明による方法の第３の例を実施するために使用されうる。
【００４７】
【表６】
0004746817.tif 000007
図４は、本発明による方法の第３の実施例の各段階を示すフローチャートである。かかる方法は、第１のビデオＶ１を符号化することによって得られる第１のビットストリームＦ１の第１の記述ＤＮ１と、第２のビデオＶ２を符号化することによって得られる第２のビットストリームＦ２の第２の記述ＤＮ２とを使用する。
・ボックスＫ２０において、ユーザは、第１のビデオＶ１中の第１の連結時点Ｔ１と、第２のビデオＶ２中の第２の連結時点Ｔ２とを選択する。
・ボックスＫ２１において、ビデオＶ１及びＶ２の画像レートＴＶ１及びＴＶ２が復元される。第１の画像ランクＫ１は、時点Ｔ１及びレートＴＶ１から計算される（Ｋ１＝Ｅ［Ｔ１／ＴＶ１］，但し、Ｅは整数部関数）。第２の画像ランクＫ２は、時点Ｔ２及びレートＴＶ２から計算される（Ｋ２＝Ｅ［Ｔ２／ＴＶ２］）。
・ボックスＫ２３において、記述ＤＮ１は（Ｋ１＋１）番目の画像まで行われる。（Ｋ１＋１）番目の画像がＩタイプ又はＰタイプの画像であれば、方法はボックスＫ２５へ進む。そうでなければ、方法はボックスＫ２４へ進む。
・ボックスＫ２４において、画像ランクＫ１がインクリメントされ（Ｋ１＝Ｋ１＋１）、方法はボックスＫ２３から再開する。
・ボックスＫ２５において、記述ＤＮ２は（Ｋ２＋１）番目の画像まで実行される。
・ボックスＫ２６において、（Ｋ２＋１）番目の画像がＩタイプの画像であるか否か確認される。そうであれば、方法はボックスＫ２８へ進む。そうでなければ、方法はボックスＫ２７へ進む。
・ボックスＫ２７において、画像Ｋ２はデクリメントされ（Ｋ２＝Ｋ２−１）、方法はボックスＫ２５で再開する。
・最後に、ボックスＫ２８において、（Ｋ１＋１）以下のランクのビットストリームＦ１の画像及び（Ｋ２＋１）以上のランクのビットストリームＦ２の画像が連結される。
【００４８】
本発明による方法の他の実施例（図示せず）は、ユーザによって選択された第１及び第２の連結点の補正のためにビデオシーケンス間の切れ目を考慮に入れる。
【００４９】
当業者は、切り取り処理又は貼り付け処理のための方法を得るために例として説明する方法を容易に採用しうるであろう。
【００５０】
ＩＴＵ（国際電気連合）によって発表されたＨ２６３標準は、ビデオテレフォニー適用のためのビデオ符号化に関する。この標準は、ＭＰＥＧ標準において定義されるＩタイプ、Ｐタイプ及びＢタイプの基本単位の表記と同様の表記を用いる。上述の種類の方法は、Ｈ２６３標準に準拠して符号化されたマルチメディア・コンテンツに対しても適用可能である。
【００５１】
ＭＪＰＥＧ標準（Motion JPEG）は、格納の用途のための、更に特定的にはスタジオでの格納の用途のための、ビデオ圧縮標準である。ＭＪＰＥＧは、ビデオのためのＪＰＥＧ標準の適用である。各基本単位は、ＪＰＥＧ標準が使用されている間、独立に符号化（Ｉタイプ符号化）される。連結、切り取り、及び貼り付けの動作は、マルチメディア・コンテンツがＭＪＰＥＧ標準に準拠して符号化された場合に更に簡単となる。その場合、考慮に入れねばならない問題は、ビデオシーケンス間の切れ目の問題だけである。
【００５２】
例４
ここで、処理Ｔ１がマルチメディア・コンテンツに適用可能な処理である本発明の第４の実施例について説明する。第４の実施例は、ＤＶ（ＤＶ、ＤＶＣＡＭ、ＤＶＰＲＯ）ファミリーのビデオ符号化標準に適用される。ＤＶ符号化形式は、Ｉタイプ圧縮モード（即ち、圧縮された基本単位はそれら自身にのみ依存する）を使用する。各基本単位は、ビデオデータ及びオーディオデータの両方を含む。ここで例として考えられる適用可能な処理は、１以上の基本単位のオーディオ部分の変更である。
【００５３】
この適用のために使用されるビットストリームの記述は、各基本単位に対して基本単位のオーディオ部分を記述する少なくとも１つの記述子を含むことである。有利には、この記述子は、ビットストリームのうちの対応するオーディオデータを含む部分へのポインタを含む。以下、かかる記述の例を示す。
【００５４】
【表７】
0004746817.tif 000008
第４の例では、本発明による方法は、１以上の要素<<Audio>>を選択するため及びこの要素<<Audio>>のポインタを変更するために記述子を全て調べる。かかる変更の例は、例として上述の記述中に太字で表わされている。
【００５５】
図５中、
・マルチメディア・コンテンツＣＴを符号化することによって得られるビットストリームＢＩＮ及びビットストリームＢＩＮの構造化された記述ＤＮを生成するための第１のエンティティＥ１と、
・記述ＤＮ中の１以上のデータを復元するために記述ＤＮの構文解析Ｐ１を行ない、１又は複数のデータＤ１からマルチメディア・コンテンツＣＴの処理Ｔ１を実行するための第２のエンティティＥ２とを含む。
【００５６】
エンティティＥ１及びＥ２は、一般的には遠隔のエンティティである。エンティティＥ２は、例えば、インターネットといった伝送網ＮＥＴを介して、ビットストリームＢＩＮ及び関連付けられる記述ＤＮを受信する。
【００５７】
上述の例は、様々な符号化形式（ＭＰＥＧ，ＤＶＰＲＯ，ＭＪＰＥＧ，Ｈ２６３）等によって使用される本発明の２つの実施例（処理は、ビットストリームの記述に追加を行い、コンテンツを適用可能に処理することである）を示すために選ばれたものである。本発明は、上述の例に限られるものではない。これは一般的に、マルチメディア・コンテンツの符号化形式がいかなるものであっても適用される。そして、これは様々な処理を実行することを可能とし、即ち、マルチメディア・コンテンツを符号化することによって得られるビットストリームの記述に追加を行うことを目標とする処理、及び、マルチメディア・コンテンツに対して適用されうる処理である。
【図面の簡単な説明】
【図１】マルチメディア・コンテンツを処理するための本発明による方法の例を示す機能図である。
【図２】本発明による方法の第１の例の各段階を示すフローチャートである。
【図３】本発明による方法の第２の例の各段階を示すフローチャートである。
【図４】本発明による方法の第３の例の各段階を示すフローチャートである。
【図５】本発明によるシステムを示すブロック図である。
【符号の説明】
ＣＴ    マルチメディア・コンテンツ
ＣＯＤ    符号化
ＢＩＮ    ビットストリーム
Ｐ０    ビットストリームの構文解析
ＤＮ    ビットストリームの構造化された記述
Ｐ１    記述の構文解析
Ｔ１    符号化データの処理
ＩＦ    符号化情報
【図１】
0004746817.tif 000009
【図２】
0004746817.tif 000010
【図３】
0004746817.tif 000011
【図４】
0004746817.tif 000012
【図５】
0004746817.tif 000013