(57)【要約】視聴者に送信されるデータが複数の再生速度で複数回エンコードされる。たとえば、ビデオ広告が通常速度、通常速度の四倍、通常速度の十六倍で再生されるようエンコードされてもよい。複数のエンコードされたストリームからのフレームが組み合わされて、組み合わされたエンコードされたストリームを形成する。組み合わされたエンコードされたストリームはそれぞれの再生速度でフルモーション・ビデオを再生する。こうして、ユーザーがビデオを最低速度以外の速度で見ることを選ぶとき、デコーダは、選択された速度でビデオをデコードして、選択された再生速度で視聴者にフルモーション・ビデオ出力ストリームを提供することができる。
2014523167.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・エンコーダを実装するためのコンピュータ・プログラム・プロダクトを記憶している非一時的な有体なコンピュータ可読記憶媒体であって、前記コンピュータ・プログラム・プロダクトはデータおよび命令を含み、前記命令は、プロセッサに実行されたときに、前記プロセッサに：
複数の目標レートで複数回、ビデオ・エンコード・フォーマットを使ってビデオ・ストリームをエンコードして、前記ビデオ・ストリームの複数のエンコードを生成する段階と；
前記ビデオ・ストリームの前記複数のエンコードを、前記複数の目標レートのそれぞれでデコーダによって読まれることができる組み合わされたエンコードされたビデオ・ストリームにして、前記デコーダが前記目標レートのそれぞれにおいて前記組み合わされたエンコードされたビデオ・ストリームからフルモーション・ビデオを再生成できるようにする段階とを含む方法を実行させる、
媒体。
【請求項２】
前記ビデオ・エンコード・フォーマットがMPEGフォーマットの一つである、請求項１記載のコンピュータ・プログラム・プロダクト。
【請求項３】
前記複数の目標レートのそれぞれで前記ビデオ・ストリームをエンコードするために同じビデオ・エンコード・フォーマットが使われる、請求項２記載のコンピュータ・プログラム・プロダクト。
【請求項４】
前記複数の目標レートが通常再生レート（１ｘ）、四倍再生レート（４ｘ）および十六倍再生レート（１６ｘ）である、請求項１記載のコンピュータ・プログラム・プロダクト。
【請求項５】
前記ビデオ・ストリームの前記複数のエンコードのそれぞれが、前記目標レートでフルモーション・ビデオを提供するよう再生可能であり、前記組み合わされたエンコードされたビデオ・ストリームも前記目標レートのそれぞれでフルモーション・ビデオを提供するよう再生可能である、請求項１記載のコンピュータ・プログラム・プロダクト。
【請求項６】
前記ビデオ・ストリームを複数回エンコードする段階の結果、フレームの順序付けられたシーケンスを少なくとも三つ生じ、フレームの前記少なくとも三つの順序付けられたシーケンスのそれぞれは前記目標レートのそれぞれでの前記ビデオ・ストリームを表現する、請求項１記載のコンピュータ・プログラム・プロダクト。
【請求項７】
フレームの前記順序付けられたシーケンスのそれぞれは、前記目標レートでフルモーション・ビデオを提供する、請求項６記載のコンピュータ・プログラム・プロダクト。
【請求項８】
前記目標レートのうち第一のものが通常再生レート（１ｘ）であり、前記目標レートのうち第二のものが四倍再生レート（４ｘ）であり、前記目標レートのうち第三のものが十六倍再生レート（１６ｘ）である、請求項６記載のコンピュータ・プログラム・プロダクト。
【請求項９】
前記通常再生レートに関連付けられた第一の順序付けられたシーケンスが十六個のフレームのセグメントを含み、前記第一の順序付けられたシーケンスは、前記通常再生レートでフルモーション・ビデオが再生できるよう、各セグメント内に十六個のフレームを含む、請求項８記載のコンピュータ・プログラム・プロダクト。
【請求項１０】
前記四倍再生レート（４ｘ）に関連付けられた第二の順序付けられたシーケンスが、前記第一の順序付けられたシーケンス内の対応するセグメントの第一、第五、第九および第十三のフレームにおけるエンコーダの状態に対応する、各セグメント内の四つのフレームを含む、請求項９記載のコンピュータ・プログラム・プロダクト。
【請求項１１】
複数のエンコードを組み合わせる段階が、前記組み合わされたエンコードされたビデオ・ストリームの各セグメントの第一のフレームにおける前記ビデオの状態を表すためにIフレームが使われるようにする、請求項１０記載のコンピュータ・プログラム・プロダクト。
【請求項１２】
複数のエンコードを組み合わせる段階が、前記組み合わされたエンコードされたビデオ・ストリームのセグメントの第一、第五、第九および第十三フレームのそれぞれにおけるフレームが、前記第二の順序付けられたシーケンスにおける対応するセグメントの第一、第五、第九および第十三のフレームに対応するようにする、請求項１１記載のコンピュータ・プログラム・プロダクト。
【請求項１３】
前記フレームがIフレーム、PフレームおよびBフレームである、請求項１記載のコンピュータ・プログラム・プロダクト。
【請求項１４】
見る者に対して情報を表示する方法であって、多重エンコードされたビデオを使って、複数の目標速度で出力ビデオを生成するよう、該多重エンコードされたビデオが読まれるときに、なめらかなビデオ再生を提供する段階を含む、方法。
【請求項１５】
通常速度で再生されるときおよび複数の目標速度のそれぞれで再生されるときのフルモーション・ビデオを記述する情報を含むフレームの順序付けられたシーケンスを含むビデオ・ストリームであって、前記目標速度のそれぞれは前記通常速度より大きい、ビデオ・ストリーム。
【請求項１６】
前記目標速度が４ｘおよび１６ｘである、請求項１５記載のビデオ・ストリーム。
【請求項１７】
前記フレームがIフレーム、PフレームおよびBフレームである、請求項１５記載のビデオ・ストリーム。
【請求項１８】
フレームの前記順序付けられたシーケンスが、参照ビデオの前記目標速度での複数のエンコードから生成される、請求項１５記載のビデオ・ストリーム。
【請求項１９】
前記順序付けられたシーケンスが、最高目標速度に従ってセグメントにグループ化される、請求項１５記載のビデオ・ストリーム。
【請求項２０】
各セグメントの第一のフレームが、最高目標速度でそのフレームにおいてエンコードされた前記ビデオのビューに対応するIフレームである、請求項１９記載のビデオ・ストリーム。
【請求項２１】
各セグメントの第二のフレームが、最低目標速度のエンコードの対応するセグメントの最初の二つのフレームから生成されるIフレームである、請求項１９記載のビデオ・ストリーム。
【請求項２２】
各セグメントの第三および第四のフレームが、最低目標速度のエンコードの前記対応するセグメントのそれぞれ第三および第四のフレームに対応するよう生成されている、請求項２１記載のビデオ・ストリーム。
【請求項２３】
各セグメントの第五のフレームが、中間目標速度のエンコードの第二のフレームに対応するよう生成される、請求項１５記載のビデオ・ストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ・エンコードに、より詳細には複数速度での再生用にビデオをエンコードする方法および装置に関する。
【背景技術】
【０００２】
データ通信ネットワークは、一緒に結合され、互いにデータを渡すよう構成されたさまざまなコンピュータ、サーバー、ノード、ルータ、スイッチ、ブリッジ、ハブ、プロキシおよび他のネットワーク・デバイスを含みうる。これらのデバイスは本稿では「ネットワーク要素」と称される。データは、一つまたは複数の通信リンクを利用することによって、データ・フレーム、パケット、セルまたはセグメントのようなプロトコル・データ単位をネットワーク要素間で渡すことによってデータ通信ネットワークを通じて通信される。特定のプロトコル・データ単位が複数のネットワーク要素によって扱われ、ネットワークを通じてその源と宛先との間を進む際に複数の通信リンクを渡ることがある。
【０００３】
データはしばしば、より大量のデータがネットワーク上で伝送されることができるようにするために、通信ネットワーク上の伝送のためにエンコードされる。動画像専門家グループ（MPEG:  Motion  Picture  Experts  Group）は、データをエンコードするために使用されうる複数の規格を公開している。これらの規格のうち、MPEG-2は、放送品質のテレビジョンにおけるビデオおよびオーディオの転送のために広く採用されている。MPEG-4のような他のMPEG規格も存在し、ビデオのエンコードに使われている。エンコードされたデータは、通信ネットワーク上の転送のためにプロトコル・データ単位にパケット化される。データ・プロトコル・データ単位が受信されるとき、エンコードされたデータはプロトコル・データ単位から抽出され、デコードされて、ビデオ・ストリームまたは他の元のデータ・フォーマットを再生成する。
【０００４】
コンテンツ・プロバイダーはしばしば、エンコードされたオーディオ／ビデオ・ストリーム内に広告を含む。広告主はそうした広告を含めるためにコンテンツ・プロバイダーに支払いをし、それがネットワーク上でコンテンツを提供するコストに資金を与える助けとなる。しかしながら、最終視聴者はしばしば広告を見ることにはそれほど関心がなく、できるときには広告を避けるために広告は早送りする。たとえば、最終視聴者はパーソナル・ビデオ・レコーダー（PVR）またはデジタル・ビデオ・レコーダー（DVR）を使って番組を記録し、番組を見るのに必要とされる時間の長さを減らすために広告を素通りして早送りすることがある。これはもちろん、広告主にとっての価値を減じ、よって広告主が広告を入れる対価としてコンテンツ・プロバイダーに支払う用意のある額を減らす。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視聴者が記録された広告を通じて早送りするとき、広告のスナップショットが視聴者の画面上に見える。これは、視聴者にいつ広告が終わったかおよびいつコンテンツが再開したかを見きわめることを許容し、それにより視聴者は再び通常速度で番組の視聴を再開できる。コンテンツ・プロバイダーはこの挙動を理解しており、広告に関連した少なくともいくらかの情報が視聴者に与えられることを許容するよう手だてを講じてきた。たとえば、英国の英国放送協会（BBC）は、ボイスオーバー（voice-over）付きの静的画像を含む広告を放送するというアプローチを取ってきた。広告は静的な画像をもつので、ユーザーが広告を早送りする速度によらず、同じ画像が見えることになる。これは、視聴者が広告を早送りしている間に視聴者に何らかのレベルの広告呈示を提供するが、通常速度で広告を見る視聴者は、フルモーション・ビデオほどには静的な画像によって魅了されないであろう。
【課題を解決するための手段】
【０００６】
以下の概要および本願に付された要約は、以下の詳細な説明において論じられるいくつかの概念を紹介するために与えられている。概要および要約セクションは包括的ではなく、下記の請求項によって記載される保護可能な主題の範囲を画定することを意図したものではない。
【０００７】
視聴者に伝送されるデータは複数の再生速度で複数回エンコードされる。たとえば、ビデオ広告は通常速度、通常速度の４倍および通常速度の１６倍で再生するようエンコードされてもよい。複数のエンコードされたフレームからのフレームは次いで組み合わされて、各再生速度でフルモーション・ビデオを再生する組み合わされたエンコードされたストリームを形成する。こうして、ユーザーが最低速度以外の速度でビデオを視聴することを選ぶときは、デコーダは、選択された速度でビデオをデコードして、選択された再生速度で視聴者に対してフルモーション・ビデオ出力ストリームを提供することができる。
【図面の簡単な説明】
【０００８】
本発明の諸側面は、付属の請求項において具体的に指摘される。本発明は、例として、以下の図面によって例解される。図面において、同様の参照符号は同様の要素を示す。以下の図面は、単に例解のために本発明のさまざまな実施形態を開示しているのであって、本発明の範囲を限定することは意図されていない。明確のため、すべての図においてすべての構成要素にラベルを付すことはしないことがある。
【図１】参照ネットワークの機能ブロック図である。
【図２】本発明のある実施形態に基づくデコーダの機能ブロック図である。
【図３】本発明の実施形態に基づいて実装されうるプロセスを示すフローチャートである。
【図４】本発明の実施形態に基づいて実装されうるプロセスを示すフローチャートである。
【図５】共通のビデオ・ストリームの複数の再生速度での複数のエンコードを示す図である。
【図６】図５の複数のエンコードを組み合わせて、複数の再生速度のそれぞれでデコードされることのできる組み合わされたエンコードされたビデオ・ストリームにすることを示す図である。
【図７】複数の再生速度で共通のビデオ・ストリームを多重エンコードし、複数の再生速度のそれぞれでデコードされることのできる組み合わされたエンコードされたビデオ・ストリームを生成するよう構成されたエンコーダのブロック図である。
【発明を実施するための形態】
【０００９】
図１は、ビデオ源１２からのビデオがネットワーク１４を通じてデジタル・ビデオ・レコーダーまたはパーソナル・ビデオ・レコーダー１６のようなエンドユーザー装置に伝送されるシステム１０を示している。以下の記述では、ビデオ源１２は、動画像専門家グループ（MPEG）によって規定されている公開されているエンコード・プロセスの一つのようなエンコード方式を使って、ネットワーク１４上での伝送のためにビデオをエンコードするものと想定される。たとえば、ビデオはMPEG-2、MPEG-4またはMPEG規格のうちの別のものを使ってエンコードされてもよい。他のビデオ圧縮プロセスが使われてもよい。
【００１０】
ビデオ圧縮は、多くの異なる圧縮アルゴリズムを使って実装されうるが、一般に、ビデオ圧縮プロセスは、一般にIフレーム、PフレームおよびBフレームと称される三つの基本的なフレーム型を使うのが一般的である。ビデオ圧縮の分野では、ビデオ・フレームは異なる利点および欠点をもつ種々のアルゴリズムを使って圧縮される。ビデオ・フレーム用のこれらの種々のアルゴリズムはピクチャー型またはフレーム型と呼ばれる。種々のビデオ・アルゴリズムにおいて使用される三つの主要なピクチャー型はI、PおよびBである。
【００１１】
Iフレームは圧縮できる度合いが最も小さいものであるが、デコードするために他のビデオ・フレームを要求しない。これらはしばしばキー・フレームと称される。ある時点におけるビデオのピクチャーを記述するためのピクセル・データの形の情報を含んでいるからである。Iフレームは「イントラ符号化されたピクチャー」であり、これは事実上、通常の静的な画像ファイルと同様の完全に指定された（fully-specified）ピクチャーである。Iフレームではピクチャーは自分自身のほかいかなるピクチャーも参照することなく符号化される。Iフレームは、エンコーダによって生成され、ランダムなアクセス・ポイントを生成しうる（そのピクチャー位置ではデコーダが何もないところから適正にデコードを開始できる）。同様に、Iフレームは、差別化する画像詳細が効果的なPまたはBフレームの生成を禁止するときに生成されることがある。しかしながら、Iフレームは典型的には、他のピクチャー型よりもエンコードするためにより多くのビットを必要とする。
【００１２】
しばしば、Iフレームはランダム・アクセスのために使われ、他のピクチャーのデコードのための基準として使われる。0.5秒のイントラ・リフレッシュ期間が、デジタル・テレビジョン放送およびDVD記憶のような応用において一般的である。他の応用ではより長いリフレッシュ期間が使われてもよい。たとえば、テレビ会議システムでは、Iフレームを非常に低頻度で送ることが一般的である。
【００１３】
PフレームおよびBフレームは一般に、画像全体というよりは画像に対する変化を伝送するために使われる。これらの型のフレームは一般に画像情報の一部しか保持しないので、Iフレームよりも記憶するために必要とされるスペースが少ない。このように、PおよびBフレームはビデオ圧縮率を改善する。Pフレームは、前方予測されたフレームであり、前のフレームからの画像の変化のみを含む。たとえば、自動車が静的な背景を横断して動くシーンでは、自動車の動きをエンコードするだけでよい。エンコーダは変化しない背景ピクセルをPフレームに記憶する必要はなく、よってスペースを節約する。Pフレームはデルタ・フレームとしても知られる。Bフレーム（「双方向予測（B-predictive）ピクチャー」）は、その内容を指定するために、現在フレームと先行および後続フレーム両方との間の差を使うことによって、さらにスペースを節約する。
【００１４】
Pフレームは、デコードされるためには、デコーダが別のフレームをデコードすることを必要とする。Pフレームは、画像データおよび動きベクトル変位の両方ならびに両者の組み合わせを含みうる。同様に、Pフレームはデコード順で先行するピクチャーを参照することができる。MPEG-2のようないくつかのエンコード方式は、デコードの際に、前にデコードされたピクチャー一つのみを参照として使い、そのピクチャーが表示順においても当該Pピクチャーに先行することを要求する。H.264のような他のエンコード方式は、デコードの際に複数の前にデコードされたピクチャーを参照として使うことができ、その予測のために使用されたピクチャー（単数または複数）に対して任意の表示順関係をもつことができる。帯域幅の観点からの利点は、Pフレームは典型的には、Iピクチャーが要求するより、エンコードのために少数のビットを要求するということである。
【００１５】
Pフレーム同様、Bフレームは、デコードされるためには、他の何らかのピクチャー（単数または複数）の先行するデコードを必要とする。同様に、Bフレームは、画像データおよび動きベクトル変位の両方ならびに両者の組み合わせを含みうる。さらに、Bフレームは、二つの異なる、前にデコードされた参照領域を使って得られる予測を平均することによって、動き領域（たとえばマクロブロックまたはより小さな領域）の予測を形成するいくつかの予測モードを含んでいてもよい。
【００１６】
種々のエンコード規格は、Bフレームがどのように使用されうるかについて制約を与える。たとえばMPEG-2では、Bフレームは他のピクチャーの予測のために参照として使われることは決してない。結果として、詳細が失われてもその後のピクチャーについての予測品質を害することがないので、そのようなBピクチャーについてはより低品質のエンコード（そうでない場合よりも少数のビットの使用につながる）が使用されることができる。MPEG-2はまた、デコードの際に前にデコードされたピクチャーをちょうど二つ、参照として使用し、それらのピクチャーの一方が表示順において当該Bピクチャーより先行し、他方が後続することを要求する。
【００１７】
これとは対照的に、H.264はBフレームが他のピクチャーをデコードするための参照として使われることを許容する。さらに、Bフレームは、デコードの際に、前にデコードされたピクチャーを一つ、二つまたは三つ以上、参照として使用することができ、その予測のために使われるピクチャー（単数または複数）に対して任意の表示順関係をもつことができる。Bフレームを使うことの利点は、典型的にはIピクチャーやPピクチャーが要求するより、エンコードのためにより少数のビットを要求するということである。
【００１８】
ある実施形態では、ビデオ源１２はビデオを伝送のためにエンコードし、エンコードされたビデオをネットワーク１４上で伝送する。ビデオは上記のIフレーム、PフレームおよびBフレームを使ってエンコードされてもよい。DVR  １６がビデオを受領するとき、DVR  １６はビデオをデコードし、ビデオを表示させるか、破棄させるか、あるいは後刻表示するために記憶させるかする。図２は、DVR  １６を実装するために利用されうる一つの例示的なシステムを示している。ビデオのエンコードおよびデコードはよく知られており、ビデオのエンコードおよびデコードの種々の仕方を記述する複数の規格が開発されている。
【００１９】
図２に示されるように、例示的なDVRは、入力モジュール２０と、メディア・スイッチ２４と、出力モジュール２８とを含む。入力モジュール２０は、デジタル衛星システム（DSS）、デジタル放送サービス（DBS）または先進テレビジョン規格委員会（ATSC）のようなテレビジョン（TV）入力ストリームを受け、MPEGストリーム２２を生成する。DBS、DSSおよびATSCは、動画像専門家グループ２（MPEG-2）トランスポートを利用する規格に基づいている。MPEG-2トランスポートは、TV源送信機からのデジタル・データ・ストリームをフォーマットして、TV受信機が入力ストリームを分解して多重化された信号中の番組を見出すことができるようにするための規格である。
【００２０】
入力モジュール２０はMPEGストリーム２２を生成する。MPEG2トランスポート多重は、複数のビデオおよびオーディオ・フィードおよびプライベート・データを用いて、同じ放送チャネル中の複数の番組をサポートする。入力モジュール２０はチャネルを特定の番組にチューニングし、それから特定のMPEG番組を抽出し、それをシステムの残りの部分にフィードする。
【００２１】
メディア・スイッチ２４はマイクロプロセッサCPU  ３２、メモリ２４およびハードディスクまたは記憶装置３６の間の媒介をする。入力ストリームは入力モジュール２０によってMPEGストリーム２２に変換され、メディア・スイッチ２４に送られる。メディア・スイッチ２４は、ユーザーがリアルタイムでMPEGストリーム２２を見ていれば、選択されたMPEGストリーム２２をメモリ３４中にバッファリングし、ユーザーがリアルタイムでMPEGストリームを見ていなければMPEGストリーム２２をハードディスク３６に書き込ませる。メディア・スイッチは、メモリ３４またはハードディスク３６から記憶されたビデオを読み出させる。これにより、ビデオは、記憶され、後刻再生されることができる。
【００２２】
出力モジュール２８はMPEGストリーム２６を入力として受け、NTSC、PALまたは他の必要とされるTV規格に従ってアナログTV信号を生成する。DVRに取り付けられたテレビジョンがデジタル信号を受信することができる場合には、出力モジュール２８はデジタル信号をテレビジョン・モニタに出力する。出力モジュール２８はMPEGデコーダと、画面上表示（OSC:  onscreen  display）生成器と、（任意的にアナログTVエンコーダと）オーディオ論理とを含む。OSD生成器は、プログラム論理が、結果として得られるTV信号の上に重ねられる画像を供給することを許容する。
【００２３】
ユーザーは、どのMPEGストリーム２２がMPEGストリーム２６として表示されるべく出力モジュール２８に渡されるかと、MPEGストリーム２２のどれがハードディスク３６上に記録されるかを選択するよう、メディア・スイッチの動作を制御してもよい。例示的なユーザー制御は、ユーザーがメディア・スイッチがどのように動作しているかを選択できるようにするボタンをもつリモート・コントロールを含む。ユーザーはまた、記憶されているメディアがハードディスク３６から出力されるレートを制御するようユーザー入力３０を使ってもよい。たとえば、ユーザーは、ビデオ・ストリームを一時停止する、ビデオ・ストリームをスローモーションで再生する、ビデオ・ストリームを逆回しするまたはビデオ・ストリームを早送りすることを選択してもよい。
【００２４】
本発明のある実施形態によれば、入力ストリーム１８の一つにおけるビデオは、通常速度（１倍速）、通常速度の四倍（四倍速）および通常速度の十六倍（十六倍速）などの複数の速度で再生されるようエンコードされる。ビデオ・エンコードは、選択された複数の速度のそれぞれにおいて最終視聴者に対してフルモーション・ビデオが見えるように実行される。これは、たとえば、ビデオ・ストリームに含まれる広告に対して支払いをするエンティティが、広告を早送りすることを選ぶ視聴者に広告が到達して欲しいことがある広告コンテキストにおいて特に有利となりうる。組み合わされた多重エンコードされたビデオ・ストリームが入力モジュールにおいて受領されるとき、該ストリームはMPEGストリーム２２の一つとして抽出され、メディア・スイッチに渡される。ユーザーがリアルタイムでMPEGストリームを見ている場合には、メディア・スイッチはビデオをメモリ３４にバッファリングし、ビデオをMPEGストリーム２６を介して出力モジュール２８に渡す。ユーザーがビデオをその後の視聴のために記憶することを選んだ場合には、メディア・スイッチ２４はビデオをハードディスク３６に書き込む。ユーザーがのちにメディア・スイッチに、組み合わされた多重エンコードされたビデオ・ストリームをハードディスク３６から出力させるとき、ビデオは出力モジュール２８に与えられる。ユーザーがメモリ３４またはディスク３６から読み出されているビデオをもとのエンコード・レートの一つにおいて早送りすることを選ぶ場合には、エンドユーザーに呈示されるビデオはフルモーション・フォーマットで与えられる。
【００２５】
図３は、複数速度で再生されるようビデオをエンコードするために使用されうる例示的なプロセスの概観を示している。図３に示されるように、最初、ビデオ・ストリームは標準的なMPEGまたは他の標準的なビデオ・エンコード・プロセスを使ってエンコードされる。ビデオ・ストリームは複数回エンコードされ、ビデオが再生されるべきいくつかの速度のそれぞれについて別個のエンコードされたビデオ・ストリームが生成される（１００）。ビデオがエンコードされる速度は本稿では「目標速度」と称される。
【００２６】
ひとたび各目標速度でビデオがエンコードされたら、複数のエンコードされたストリームは単一のエンコードされたビデオ・ストリームに組み合わされる（１０２）。具体的には、結果として得られるエンコードされたビデオが各目標速度で再生されうるよう、ビデオの組み合わされたバージョンの新たなMPEGフレームが、ビデオの前にエンコードされた各バージョンから導出される。ビデオをどのように組み合わせればこのような性質が得られるかの例は、三つの目標速度（１ｘ、４ｘおよび１６ｘ）がある例を使って後述する。本方法は、三つの速度を超えて拡張することもできる。しかしながら、ビデオの複数のエンコードされたバージョンを組み合わせるプロセスは、最低速度のエンコードのフレームのいくつかを脱落させることを要求するので、通常レート・ビデオが比較的高い品質の画像を保持できるよう、好ましくは、速度の数は比較的少数に保たれる。
【００２７】
図５は、三回――一回は通常速度（１ｘ）で、一回は四倍速（４ｘ）で、一回は通常速度の十六倍（１６ｘ）で――エンコードされた例示的なビデオ・ストリームを示している。図１では、低速フレームのそれぞれは、低速（low-speed）を表す指示「L」を使ってラベル付けされている。図５に示されるように、１ｘ目標エンコードはイントラ符号化されたフレーム（Iフレーム）、予測符号化されたフレーム（Pフレーム）および双方向予測された符号化されたフレーム（Bフレーム）を含む。
【００２８】
図５に示されるように、ビデオはこの例では４ｘ目標速度でもエンコードされる。これは、視聴者が、たとえば広告を早送りしているときに、通常速度の四倍でビデオを視聴することを許容する。４ｘエンコードされたバージョンのフレームは、「中間レベル（mid-level）」速度の意味で指示「M」を使ってラベル付けされ、M1〜M4とラベル付けされている。M指定は、三つの異なる速度でエンコードされるビデオのコンテキストでは、最低速度ビデオ（１ｘ）と最高速度ビデオ（１６ｘ）との間の中間的な速度を表す。図示した例では、中間レベル目標速度は低速ビデオの四倍の速さである。図５に示されるように、４ｘ目標エンコードもイントラ符号化されたフレーム（Iフレーム）および予測符号化されたフレーム（Pフレーム）を含む。図示した例は双方向予測された符号化されたフレーム（Bフレーム）の使用は示していないが、実装によっては、そのようなフレームが４ｘ目標エンコード・ストリームに含まれてもよい。
【００２９】
ビデオは、図示した例では最低速度の十六倍（１６ｘ）である最速目標ビデオ・ストリームにおいてもエンコードされる。このビデオ・ストリームのフレームは、高速（high-speed）を表す文字Hを使って指定される。高速エンコードされたフレームは実施形態によって、I、PおよびBフレームを含みうる。
【００３０】
ひとたびビデオが前記いくつかの目標速度でエンコードされたら、あるいはビデオが前記いくつかの目標速度でエンコードされつつある際に、ビデオのいくつかのエンコードされたバージョンのフレームが新たなフレームを導出するために使われる。該新たなフレームは、いくつかの目標速度バージョンが、各目標速度で再生されうる、諸フレームの単一のエンコードされたストリームに組み合わされることを許容する。図６は、いくつかの目標速度でのもともとエンコードされていたビデオのフレームをどのように使って組み合わされたエンコードされたビデオ・ストリームのための新たなフレームを導出するかを図的に示している。
【００３１】
図４は、組み合わされたエンコードされたビデオ・ストリームのためのフレームを導出するために使用されうる例示的なプロセスの段階を示している。図６に示される結果的なビデオ・ストリームのフレームはフレームC1〜C16と示されている。このコンテキストにおいて、指示「C」はCombined〔組み合わされた〕を表す。結果的な組み合わされたエンコードされたビデオ・ストリームは、目標ビデオ・エンコード・レートの任意のもので再生されて、選択された目標エンコード・レートでビデオを再生できるからである。よって、たとえば、三つの目標ビデオ・エンコード・レート１ｘ、４ｘおよび１６ｘが単一の組み合わされたエンコードされたビデオ・ストリームC1〜C16を生成するために使われるとすると、結果的な組み合わされたエンコードされたビデオ・ストリームは１ｘ、４ｘおよび１６ｘで再生されることができる。さらに、組み合わされたエンコードされたビデオ・ストリームは、それを生成するために使われたもとのビデオ・ストリームに対して100%の忠実度を提供しない（もとのフレームの一部が脱落させられる必要がある）が、結果的なビデオ・ストリームは目標ストリームに対するよい近似を提供し、よって、組み合わされたエンコードされたビデオ・ストリームに含まれるビデオは、目標レートのそれぞれにおいて十分に閲覧されうる。
【００３２】
図６に示されるように、組み合わされたエンコードされたビデオ・ストリームは、目標ビデオ・フレームのそれぞれと同様の仕方で、Iフレーム、PフレームおよびBフレームから形成される。組み合わされたエンコードされたビデオ・ストリームが複数のレートで再生されることを許容するために、組み合わされたエンコードされたビデオ・ストリームのフレームは、目標ストリームのフレームから、選択された位置におけるフレームがその時点におけるビデオ・ストリームをエンコードするための十分な情報を含むよう、導出される。よって、たとえば、図６に示されるように、フレームC1〜C16は、デコーダが、低速フレームL1〜L16をデコードすることによってデコードするのと同じ一組の画像をデコードすることを許容するべきである。さらに、位置C1、C5、C9およびC13でのフレームは、デコーダが、フレームM1、M2、M3およびM4をデコードすることによってデコードするのと同じ画像をデコードすることを許容するべきである。この背後にある理由は、デコーダは、四倍速でビデオを早送りするとき、４番目毎のフレームを読むということである。通常、デコーダは、散発的であって一貫した／流れのよい画像を提供しないこともあるIフレームを読むときは常に画像を表示する。もとのビデオの４ｘエンコードされたバージョンとしてエンコードされた画像を再現するために４ｘ位置におけるフレームを生成することによって（M1〜M4）、デコーダは、ユーザーが四倍速でビデオを早送りする間、組み合わされたエンコードされたビデオ・ストリームをデコードして、流れのよいビデオを提供することができる。同様に、フレームC1はデコーダが、高速エンコードされた系列、たとえばH1をデコードすることによってデコードするのと同じ画像をデコードすることを許容するべきである。これは、デコーダが、高速（１６ｘ）でも流れのよいビデオを提供することを許容する。
【００３３】
組み合わされたビデオ・ストリームが生成されうる一つの方法について図４および図６との関連で述べる。この例では、再生されるべき最高のエンコードされた速度は通常速度の１６倍である。よって、この例では、フレームの組み合わされたシーケンスは16番目の位置ごとにIフレームをもつことになる。よって、図６に示されるように、フレームC1はIフレームであり、高速バージョンからのIフレームに基づく。同時に、低速バージョンおよび中速バージョンもその位置に同じIフレームをもつので、組み合わされたシーケンスの第一のフレーム（C1）は中速バージョンの第一のフレームM1と同じかつ低速（通常速度）バージョンの第一のフレームL1と同じになる。図４では、ボックス１１０が第一の組み合わされたフレームC1の生成を示している。
【００３４】
次いで、低速バージョンの最初の二つのフレームから新たなIフレームを生成することによって、第二の組み合わされたフレームC2が生成される（１１２）。具体的には、フレームL1（この例ではIフレーム）およびフレームL2（この例では双方向予測されたフレーム）がフレームC2を生成するために使われる。このエンコード・レートは１ｘ、４ｘおよび１６ｘなので、１ｘ再生レートだけが組み合わされたフレームC2〜C4を使う。フレームL1およびL2の両方からの情報を新たなIフレーム中に組み合わせることによって、低速バージョン（１ｘバージョン）は忠実さをもってC2においてビデオ・コンテンツを再現できる。
【００３５】
次いで、組み合わされたバージョンの第三のフレームC3が第三の低速フレームL3から生成され（１１４）、同様に、組み合わされたバージョンの第四のフレームC4が第四の低速フレームL4から生成される（１１６）。
【００３６】
組み合わされたフレームC5は、ビデオが低速（１ｘ）レートおよび中速レート（４ｘ）の両方で読まれるときに読まれる。よって、中速レート・ビデオのフレームM2は組み合わされたフレームC5を生成するために使われる（１１８）。図６に示される例では、中速ビデオの最初の二つのフレームがフレームC5を生成するために使われる（C5＝M1＋M2）。
【００３７】
次いで、組み合わされたフレームC6は低速バージョンのもとのフレームL5およびL6からのIフレームとして生成される（１２０）。これは、組み合わされたフレーム6におけるビデオが、低速バージョンにおいて存在するであろうビデオに一致することを許容する。よって、もとの低速バージョンのその後のBフレームおよびPフレーム（フレームL7およびL8）が組み合わされたフレームC7およびC8として使用されてもよい（１２２、１２４）。
【００３８】
組み合わされたフレームの九番目のフレームC9は、中速（４ｘ）および低速（１ｘ）再生レートの両方によって読まれる。このフレームC9は、図示した例ではPフレームである中速フレームM3から生成される（１２６）。上記のように、Pフレームはピクチャーへの変化をエンコードする、前方予測されたフレームである。中速PフレームM3はもとのエンコードされたバージョンにおけるIフレームM1を参照する。しかしながら、組み合わされたエンコードされたバージョンはC5においてIフレームをもつので（これは事実上、４ｘレートにおける位置M2についてIフレームを生成させる）、位置C9に位置されるPフレームは、中速４ｘ再生レートで読まれるとき、もとのIフレームM1に対する変化ではなく、位置C5におけるIフレームに対する変化を含むことになる。よって、組み合わされたレート・フレームC9について生成されたPフレームはもとのフレームM3から修正され、それにより、はるばるフレームM1でのエンコーダの状態まで戻って参照するのではなく、フレームM2を置き換えるよう生成された新たなIフレーム（C5）を参照する。
【００３９】
フレームC9が低速レート（１ｘ）で読まれるとき、そのフレームに含まれる変化は、最も最近のIフレームに対するものとして解釈される。最も最近のIフレームは、この場合、位置C6におけるIフレームである。任意的に、フレームC9はIフレームを使って実装されてもよい。
【００４０】
次いで、組み合わされたエンコードされたバージョンのフレームC10は、低速１ｘバージョンの９番目および１０番目のフレーム（L9＋L10）からIフレームを生成することによって生成される。次いで、低速フレームL11は組み合わされたフレームC11として使われ（１３０）、低速フレームL12は組み合わされたフレームC12として使われる。
【００４１】
組み合わされたフレームC13は、低速再生（１ｘ）中および中速再生（４ｘ）中の両方の間に読まれる。よって、フレームC13は、図示した例ではIフレームである中速フレームM4から生成される。よって、フレームC13はIフレームM4からIフレームとして生成される（１３４）。
【００４２】
フレームC14は、もとのPフレームL13およびL14に含まれる変化を組み込むよう新たなIフレームとして生成される（１３６）。次いで、組み合わされたフレームC15およびC16は低速エンコードされたフレームL15およびL16から直接取られる（１３８、１４０）。
【００４３】
このプロセスは、１６個の低速フレーム、４個の中速フレームおよび１個の高速フレームの各群について逐次反復され、三つの異なるレートで読み出されうる組み合わされたエンコードされたビデオ・ストリームを生成する。この例では、選択されたレートは１ｘ、４ｘおよび１６ｘであった。本方法は、追加的な再生レートを含めるまたは異なる再生レートを使うよう拡張可能である。ある実施形態によれば、組み合わされたストリームのフレームは、複数の再生レートで選択されたフレームがデコードされて選択されたレートで連続的な出力ビデオを提供することができるよう、生成される。
【００４４】
図７は、複数のレートでの再生のために複数回ビデオをエンコードし、次いでこれらのエンコードに基づいて組み合わされた出力ビデオ・ストリームを再エンコードして、単一のビデオ・ストリームが複数の再生速度でビデオを出力するために使用されうるようにするために使用されうる例示的なシステムを示している。図７に示した例では、エンコードされるべきビデオは入力モジュール７０において受領され、エンコード・モジュール７２のそれぞれに渡される。エンコード・モジュールは、異なる速度で再生されるよう設計された、当該出力ビデオの異なるバージョンを生成する。図示した例では、エンコード・モジュールは通常再生速度、４ｘ再生速度および１６ｘ再生速度でのMPEGを生成するよう設計されている。他の再生速度が選択されるならば、他のエンコード・モジュールが使用されてもよい。同様に、MPEG以外のビデオ・エンコード方式が使われるならば、他のエンコード・モジュールが使用されてもよい。
【００４５】
これらのエンコード・モジュールからの出力ストリームは、再エンコード・モジュール７４に渡される。再エンコード・モジュール７４は同じもとのビデオの複数のエンコードを組み合わせて、ビデオがエンコードされた各速度で再生されうる組み合わされた出力ストリームを生成する。別の言い方をすれば、入力モジュールによって受領されたビデオが三つの異なる速度でエンコードされているならば、再エンコード・モジュールは、これらの各速度でのエンコードを使って、三つの異なる速度のそれぞれでデコードされることもできる組み合わされたエンコードを生成する。出力される組み合わされたエンコードされたビデオ信号が視聴者に転送される。視聴者が組み合わされたエンコードされたビデオ信号を（たとえばメモリ３４またはハードディスク３６に）記憶することを選ぶ、あるいは選択された速度の一つで（たとえば４ｘまたは１６ｘで）エンコードされたビデオの一部にわたって早送りする場合には、組み合わされたエンコードされたビデオ信号の使用により、デコーダは、対応するビデオ・エンコーダによってエンコードされたビデオによく似るビデオをスムーズにデコードできる。
【００４６】
上記の機能は、コンピュータ可読メモリに記憶され、コンピュータ・プラットフォーム上の一つまたは複数のプロセッサで実行される一組のプログラム命令として実装されてもよい。しかしながら、本稿に記載されたあらゆる論理は、離散的なコンポーネント、特定用途向け集積回路（ASIC）のような集積回路、フィールド・プログラム可能型ゲート・アレイ（FPGA）またはマイクロプロセッサといったプログラム可能型論理デバイスとの関連で使用されるプログラム可能型論理、状態機械またはそれらの任意の組み合わせを含む他の任意のデバイスを使って具現されることもできることは、当業者には明白であろう。プログラム可能型論理は、読み出し専用メモリ・チップ、コンピュータ・メモリ、ディスクまたは他の記憶媒体のような有体媒体に一時的または恒久的に固定されることができる。あらゆるそのような実施形態は、本発明の範囲内にはいることが意図されている。
【００４７】
コンピュータ・プログラム・プロダクトはモジュールとしてコンパイルされ、処理されてもよい。プログラミングでは、モジュールは、特定のタスクを実行するまたは特定の抽象的なデータ型を実装するルーチンおよびデータ構造の集合として編成されうる。モジュールは典型的には、インターフェースおよび実装という二つの部分から構成される。インターフェースは、他のルーチンまたはモジュールによってアクセスされることのできる定数、データ型、変数およびルーチンをリストする。実装は、当該モジュールによってアクセスできるだけという意味でプライベートであってもよい。実装は、モジュール中のルーチンを実際に実装するソース・コードをも含む。このように、プログラム・プロダクトは、特定のタスクを達成するよう協働することに割かれた一連の相互接続されたモジュールまたは命令モジュールから形成されることができる。
【００４８】
図面に示され、本明細書において記述された実施形態のさまざまな変更および修正が本発明の精神および範囲内でなされうることは理解しておくべきである。よって、上記の記述に含まれ、付属の図面に示されるあらゆる事項は限定する意味ではなく、例示的な意味で解釈されることが意図されている。
【図１】
2014523167.tif 000003
【図２】
2014523167.tif 000004
【図３】
2014523167.tif 000005
【図４】
2014523167.tif 000006
【図５】
2014523167.tif 000007
【図６】
2014523167.tif 000008
【図７】
2014523167.tif 000009
【国際調査報告】
2014523167.tif 000010
2014523167.tif 000011