(57)【要約】  イントラフレーム（Ｉフレーム）およびインターフレーム（Ｐフレーム、Ｂフレーム）を含むビデオストリームの、バッファリング手法が開示される。バッファメモリは、ビデオストリームの連続するフレーム（Ｉ、ＰおよびＢフレーム）をバッファリングするための連続パート、およびビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化される。通常状態下では、ビデオストリームの復号は、バッファの連続パートから読み出されたデータに対して行われ得るが、バッファアンダーラン状態においては、ビデオストリームの復号は、イントラバッファから読み出されたデータに対して行われ得る。
2008532452.tif 000002
【特許請求の範囲】
【請求項１】
イントラフレームおよびインターフレームを含むビデオストリームを、バッファリングするための装置であって、
前記ビデオストリームの連続するフレームをバッファリングするための連続パート、および前記ビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化されているバッファメモリを備えていることを特徴とする装置。
【請求項２】
前記ビデオストリームが、イントラフレームおよび予測フレームならびに／もしくは双方向フレームを含んでおり、
前記バッファメモリが、前記ビデオストリームの連続するフレームをバッファリングするための１つのパート、および前記ビデオストリームのイントラフレームのための１つのパートという、２つの部分にセグメント化されていることを特徴とする請求項１記載の装置。
【請求項３】
通常状態下においては、前記ビデオストリームの復号が、前記バッファの前記連続パートから読み出されたデータについて行われ、
前記バッファの前記連続パートのバッファアンダーラン状態下においては、前記ビデオストリームの復号が、前記イントラパートから読み出されたデータについて行われることを特徴とする請求項１記載の装置。
【請求項４】
前記連続パートに割り当てられたセグメントと、前記イントラパートに割り当てられたセグメントとのサイズが、当該装置の固定された特性となるように、バッファのセグメントのサイズが固定されていることを特徴とする請求項１記載の装置。
【請求項５】
前記連続パートに割り当てられたセグメントと、前記イントラパートに割り当てられたセグメントとのサイズが、前記ビデオストリームのストリーミングセッション中において可変となるように、バッファのセグメントのサイズが動的に更新可能とされていることを特徴とする請求項１記載の装置。
【請求項６】
特定のビデオストリームのインターフレームに対するイントラフレームの比の分析に基づいて、特定のビデオデータのストリーミングに先立って、バッファのセグメントのサイズを決定できることを特徴とする請求項１記載の装置。
【請求項７】
前記バッファメモリ全体の少なくとも８５％が前記連続パートに割り当てられるように、前記バッファメモリがセグメント化されることを特徴とする請求項１記載の装置。
【請求項８】
前記イントラパートのサイズが、少なくとも３秒分のビデオ再生に対応することを特徴とする請求項１記載の装置。
【請求項９】
ビデオ信号を準備するためのシステムであって、
イントラフレームおよびインターフレームを含む、符号化されている受信されたビデオストリームをハンドリングし、該ビデオストリームをバッファ部に供給するストリーム処理部と、
バッファを含む、前記ビデオストリームのバッファリングを取り扱うバッファ部と、
前記ビデオストリームを復号するためのデコーダと、
復号された前記ビデオストリームを出力する出力部と、
当該システムの相互動作を制御するためのコントローラとを備えており、
前記バッファが、前記ビデオストリームの連続するフレームをバッファリングするための連続パート、および前記ビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化されていることを特徴とするシステム。
【請求項１０】
請求項１記載のバッファメモリを制御するためのコンピュータ読取可能なコード。
【請求項１１】
バッファアンダーラン状態下におけるデータストリームであって、
当該データストリームは、イントラフレームおよびインターフレームを含む通常状態下のデータストリームを基本としており、
バッファメモリは、通常状態下のビデオストリームの連続するフレームをバッファリングするための連続パート、および通常状態下の前記ビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化されており、
前記バッファアンダーラン状態下における当該データストリームは、前記イントラパートからのフレームのみを含むことを特徴とするデータストリーム。
【請求項１２】
イントラフレームおよびインターフレームを含むビデオストリームのための、バッファメモリの運用方法であって、
前記バッファメモリが、前記ビデオストリームの連続するフレームをバッファリングするための連続パート、および前記ビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームのバッファリングに関するものであり、より詳細には、イントラフレームおよびインターフレームを含むビデオストリームのバッファリングに関するものである。
【背景技術】
【０００２】
ビデオ再生に関連して用いられる光記憶装置等、今日の記憶装置は、非常に高速になってきており、記憶装置の供給レートがビデオストリームの再生レートを上回ってきている。かかる装置の例には、独立型の電子装置や、ハードディスクベースの装置が含まれる。このことは、典型的には、圧縮ビデオがバッファ内へと読み込まれ、そのバッファからユーザーへのプレゼンテーション前に圧縮ビデオが復号されるような、バッファの実装へと繋がる。バッファには、十分なレートでデータが供給されるので、映画を見ているユーザーにとって、画像が連続的に流れていると感じられるのに十分な量のデータが、バッファ内に存在することとなる。
【０００３】
ビデオフォーマットは、高度に規格化されており、重要なフォーマットには、高圧縮のＭＰＥＧフォーマットが含まれる。ＭＰＥＧフォーマットでは、イントラフレーム（Ｉフレーム）および２つのタイプのインターフレーム（ＰフレームならびにＢフレーム）という、ビデオ情報の３タイプのピクチャが用いられる。イントラフレームは、ビデオストリーム内の他のピクチャからは独立に、符号化および復号される。予測フレーム（ｐｒｅｄｉｃｔｉｖｅ  ｆｒａｍｅ；Ｐフレーム）は、最も最近の過去の参照ピクチャとの関連で符号化および復号される前方予測フレームであり、参照ピクチャはＰフレームまたはＩフレームとされる。双方向フレーム（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｆｒａｍｅ；Ｂフレーム）は、過去の参照画像および将来の参照画像の両方と関連付けられている。フレーム間の相互関係のため、１つのフレームを単純に復号、表示および無視することはできず、フレームは、少なくとも１つのフレームに依存する他の全てのフレームが表示のために復号されるまで、フレームバッファ内に保持される。
【０００４】
米国特許第５９０９２２４号は、Ｉフレーム、ＰフレームおよびＢフレームのバッファリングを扱うための４つのバッファを含むフレームバッファを伴う、ＭＰＥＧデコーダに触れている。ビデオデータ復号処理を高速化するため、バッファからは、もう使われていないデータが排除され得る。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、米国特許第５９０９２２４号は、データストリームの妨害が生じてバッファがアンダーラン状態となるような障害発生時における、ストリーミングされたビデオデータの復号には対処していない。
【０００６】
本発明の発明者は、データストリームの妨害が生じる障害発生時におけるグレースフル・デグラデーションを保証するための、改善された技術を提供することが有利であると考え、そのために本発明を発明した。
【０００７】
本発明は、フレームバッファの改善されたハンドリング方法を提供しようとするものである。好ましくは、本発明は、上記およびその他の欠点の１つ以上を、単独でまたは任意の組合せで、軽減、緩和または除去するものである。
【課題を解決するための手段】
【０００８】
このため、本発明の第１の側面によれば、イントラフレームおよびインターフレームを含むビデオストリームを、バッファリングするための装置であって、ビデオストリームの連続するフレームをバッファリングするための連続パート（ｃｏｎｔｉｇｕｏｕｓ  ｐａｒｔ）、およびビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化されているバッファメモリを備えた装置が提供される。
【０００９】
この装置は、ストリーミングされたビデオの再生に適した再生装置上の、フレームバッファを管理する装置の一部であってもよい。この再生装置には、半導体記憶手段のみならず、光ディスク、ハードディスクまたはその他の磁気記憶手段からの再生に基づく装置が含まれるが、これらに限定されるものではない。
【００１０】
装置により提供される機能は、バッファがアンダーラン状態となる危険性を有する装置と共に、有利に利用され得る。この危険性は、自動車、電車、飛行機等の中でのビデオ再生に関連した振動もしくは衝撃、低減された再生性をもたらすディスク上の埃、たとえばサーバー上に存在するハードディスクを伴うような同一の記憶装置を用いた複数アプリケーション、または任意の他の理由に起因するものであり得る。
【００１１】
連続するフレームは、イントラフレームとインターフレームとの両方を含むので、連続パート内のデータから、ビデオストリーム全体を復号することができる。
【００１２】
バッファを連続パートとイントラパートとにセグメント化することは、バッファのサイズを物理的に大きくすることなく、すなわち追加の材料コストをかけることなく、バッファを実効的に拡大することができるので有利である。ビデオのバッファリングは、高価なメモリを多く必要とする。一例として、ビットレート２メガビット／秒の圧縮ビデオを１０秒分バッファリングする場合には、２０メガビット（＝２．５メガバイト）が必要となる。
【００１３】
イントラフレームは、バイト換算ではすべてのフレームの中でも大きなフレームであるが、ストリーム中における出現回数は最も少ない。とりわけ、ＤｉｖＸやＭＰＥＧ４といった高圧縮ビデオストリームについては、イントラフレーム間の距離は大きく、３秒もの距離になることもある。イントラフレームを見ると「スライドショー」のような状態となるので、ビデオ信号の視認品質は劣化するかもしれないが、バッファメモリの一部をイントラフレーム専用とすることで、利用可能な再生時間換算の実効メモリを拡大することができる。このことの利点は、ビデオ画面がフリーズ状態になることが回避される点である。
【００１４】
請求項２に規定されたオプションの特徴は、たとえばＭＰＥＧフォーマットやＤｉｖＸフォーマットといった多くの標準的なフォーマットが、Ｉフレーム、ＰフレームおよびＢフレームを使用しているため有利である。結果として、かかる標準的なフォーマットと共に使用するように、装置を容易に実装することが可能となる。
【００１５】
請求項３に規定されたオプションの特徴は、通常の動作中においてはビデオデータの完全な品質が維持されるが、データストリームの妨害が生じてバッファがアンダーラン状態となり得る障害状況下においては、ドライブが回復するまで画面上のビデオがフリーズ状態となるのが回避される点で有利である。
【００１６】
請求項４に規定されたオプションの特徴は、バッファのセグメントのサイズを固定することにより、装置の製造業者において、ほとんどの状況に適したサイズを決定することができ、ビデオコンテンツの事前分析を不要とすることができるかもしれず、ビデオデータへの迅速なアクセスを保証できる点で有利である。
【００１７】
請求項５に規定されたオプションの特徴は、十分な計算能力を有する装置にとっては、ストリーミング工程中においてストリーミングされたデータを分析し、ビデオデータの特性、使用状況、または任意の他の要因に応じて、絶えずセグメントのサイズを最適化することができる点で有利である。
【００１８】
請求項６に規定されたオプションの特徴は、異なるタイプのビデオデータは異なる比率のイントラフレームおよびインターフレームを有するかもしれないところ、ビデオデータのタイプに応じてセグメントのサイズを適合化できる点で有利である。たとえばアクション映画は、たとえば情緒的な芸術映画よりも、多くのシーン転換を含むかもしれず、その結果より多くの数のインターフレームを有するかもしれない。
【００１９】
請求項７および８に規定されたオプションの特徴は、イントラバッファの最低限のサイズを確保することによって、画面上で画像がフリーズ状態となることを装置が回避できるべきである最悪のケースのシナリオを、装置の製造業者が設定できる点で有利である。
【００２０】
本発明の第２の側面によれば、ビデオ信号を準備するためのシステムであって、
イントラフレームおよびインターフレームを含む、符号化されている受信されたビデオストリームをハンドリングし、そのビデオストリームをバッファ部に供給するストリーム処理部と、
バッファを含む、ビデオストリームのバッファリングを取り扱うバッファ部と、
ビデオストリームを復号するためのデコーダと、
復号されたビデオストリームを出力する出力部と、
当該システムの相互動作を制御するためのコントローラとを備えており、
上記のバッファが、ビデオストリームの連続するフレームをバッファリングするための連続パート、およびビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化されているシステムが提供される。
【００２１】
このシステムは、ストリーミングされたビデオの再生に適した再生装置内の、バッファ管理システムの一部であってもよい。本発明の機能を有さないものとして製造された装置も、システムの相互動作を制御するためのコントローラを更新することにより、この機能を付与され得る。本発明の第１の側面に従う装置は、この本発明の第２の側面に従うシステムの少なくとも一部の構成要素を構成またはその一部を形成することにより、本発明の第２の側面に従うシステムの一部を形成してもよい。
【００２２】
本発明の第３の側面によれば、本発明の第１の側面に従うバッファメモリを制御するための、コンピュータ読取可能なコードが提供される。本発明の第２の側面に従うコントローラは、この本発明の第３の側面に従うコンピュータコードを含んでいてもよい。
【００２３】
本発明の第４の側面によれば、バッファアンダーラン状態下におけるデータストリームであって、当該データストリームは、イントラフレームおよびインターフレームを含む通常状態下のデータストリームを基本としており、バッファメモリは、通常状態下のビデオストリームの連続するフレームをバッファリングするための連続パート、および通常状態下のビデオストリームのイントラフレームをバッファリングするためのイントラパートという、２つの部分にセグメント化されており、バッファアンダーラン状態下におけるデータストリームは、イントラバッファからのフレームのみを含むようなデータストリームが提供される。
【００２４】
本発明の第５の側面によれば、本発明に係るバッファメモリの運用方法が提供される。
【００２５】
全体として、本発明の上記の様々な側面は、本発明の技術的範囲内において可能な任意の組合せ方により組合せまたは結合することができる。
【００２６】
本発明の上記およびその他の側面、特徴および／または利点は、以下に説明する実施形態を参照することにより明らかとなる。
【発明を実施するための最良の形態】
【００２７】
以下、例として、本発明の実施形態を図面を参照しながら説明する。
【００２８】
図１は、本発明の１つの実施形態の概略図である。この図は、イントラフレームおよびインターフレームを含む、符号化されている受信されたビデオストリームをハンドリングし、そのビデオストリームをバッファ部に供給するストリーム処理部Ｉと、復号されたビデオストリームを出力する出力部Ｏと、ビデオストリームを復号するためのデコーダ１０と、バッファ１２を含む、ビデオストリームのバッファリングを取り扱うバッファ部１１と、システムの相互動作を制御するためのコントローラＣとを含んでいる。本発明は、図１に図示された実装形態に限定されるものではなく、この実装形態は単に説明目的で示されたものである。本発明の技術的範囲内のものであればいかなる実装形態を思い浮かべてもよい。
【００２９】
バッファ１２は、ビデオストリームの連続するフレーム（ｃｏｎｔｉｇｕｏｕｓ  ｆｒａｍｅｓ）をバッファリングするための連続パート（ｃｏｎｔｉｇｕｏｕｓ  ｐａｒｔ）１３、およびビデオストリームのイントラフレームをバッファリングするためのイントラパート１４という、２つの部分にセグメント化されている。
【００３０】
以下では、ビデオストリームがイントラフレーム（Ｉフレーム）を含み、インターフレームが予測フレーム（Ｐフレーム）および／または双方向フレーム（Ｂフレーム）の形態をとる実施形態に焦点を当てる。図２は、そのような復号されたビデオ信号２０を図解している。ストリーミングされたビデオ信号内では、（一例として）フレームが１Ｉ、４Ｐ、２Ｂ、３Ｂ、７Ｐ、５Ｂ、６Ｂ、８Ｉの順序に配されて第１のピクチャ群（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ；ＧＯＰ）を構成し、その後にイントラフレームｍＩ、ｎＩを含む追加のＧＯＰが続く。ここで、ｍおよびｎはフレーム数を数えるためのラベル添数であり、ｍ＜ｎである。フレームバッファ１２内において、フレームは、１Ｉ、２Ｂ、３Ｂ、４Ｐ、５Ｂ、６Ｂ、７Ｐ、８Ｉ、・・・という正しい表示順序に整列させられる（参照番号２１）。ここで、連続パート１３はあらゆるフレームを含み、イントラパート１４はイントラフレーム１Ｉ、８Ｉ、ｍＩ、ｎＩ、・・・のみを含む。ストリーミングセッション中において、もう使われないフレームは、絶えずバッファから出されていく。
【００３１】
通常の条件下では、復号されるビデオストリームは、バッファの連続パートから読み出されたデータに基づいている。通常の状況では、イントラパート内に含まれるフレームは使用されず、表示されるビデオ２５は、連続するフレーム（Ｆ（１Ｉ）＋・・・＋Ｆ（８Ｉ）＋・・・）から構築される。一方、バッファアンダーランの状況下では、ビデオストリームの復号は、イントラバッファから読み出されたデータに基づいて行われる。一例として、時点２２においてバッファアンダーラン状態が生じた結果として、アンダーラン時点２２までの表示ビデオ２６（参照番号２３）は、連続バッファからのフレームに基づくものとされるが、アンダーラン時点以降（参照番号２４）は、表示されるビデオフレームはイントラバッファからのフレームに基づくものとされる。
【００３２】
本発明に従うバッファにおける有効バッファサイズのゲインを図解するため、ＭＰＥＧ２フォーマット５本のＤＶＤ映画／デモを、Ｉ、ＰならびにＢフレームの数（＃Ｉ、＃Ｐ、＃Ｂ）、フレームの合計サイズ（表１）、フレームの平均サイズ、および２つの推定ゲイン（表２）の観点から分析した。分析は、ＭＰＥＧ２フォーマット、およびＭＰＥＧ４  ＡＶＣ（Ａｄｖａｎｃｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）フォーマット等のより圧縮度の高いフォーマットについて行う。後者では、全体の改善された圧縮の結果、同一の信号対雑音比において５０％低いデータレートがもたらされ、ＧＯＰのサイズはより大きくなり（これは２つの連続するＩフレーム間の距離がより大きくなることを意味する）、Ｂフレームのサイズはより小さくなる。より大きなＧＯＰサイズの影響は、多かれ少なかれ、比較的大きなＩフレームサイズにより補償されることが予期され、それによりＭＰＥＧ４におけるゲインは、ＭＰＥＧ２の約２倍となる。
【表１】
2008532452.tif 000003
【表２】
2008532452.tif 000004
【００３３】
第１の例は、様々なＤＶＤ映画について、１つのＩフレームと１つのＰフレームと１つのＢフレームとを含むＧＯＰを保存するのと比較して、Ｉフレームのみをバッファ内に保存する場合のゲインを計算したものである。典型的には、ＧＯＰは複数のＰフレームおよびＢフレームからなるので、この分析から見出された４．９という平均ゲインは、極めて控えめに見積もったゲインである。各ＧＯＰが１つのＩフレームを含み、すべてのＰおよびＢフレームは複数のＧＯＰに亘って均等に分布させられていると仮定すると、３１（±１０）というゲインが見出される。このゲインは、典型的な映画に本発明を利用することにより得られる、典型的なゲインに対応するものと予想される。
【００３４】
イントラバッファのサイズとインターバッファのサイズとの選択比は、典型的な使用状況を含む、多数のファクターに依存し得る。上記で述べたように、具体的なゲインは、ＧＯＰのサイズに強く依存する。ゲインとサイズ比と再生時間との関係の一例として、ゲインが１０またはそれより良好な値であると仮定する。かかるゲインに対しては、９１％の連続バッファと、９％のイントラバッファという比が使用され得る。この結果、バッファが連続するデータにより１００％満たされている状況と比較して、バッファ内の再生時間は８０％長くなる（９１％連続＋１０×９％イントラ＝１８０％）。９１％という値は一例として述べたものであり、バッファの少なくとも８０％が連続バッファに割り当てられてもよいし、８５％から９５％の範囲内の量が連続バッファに割り当てられてもよい。具体的なサイズ比は、予測されるゲイン、見積もられたゲイン、または測定されたゲイン等に、部分的または全面的に依存する値であってもよい。
【００３５】
データストリームの妨害が生じてバッファがアンダーラン状態となる障害状況下においては、問題の装置に応じて、様々なシナリオが生じ得る。ある光ディスクドライブについては、データを取り出そうと試行するのに３−４秒の時間が使用され得る。データを取り出そうとする１回目の試行がうまくいかなかった場合には、ドライブを制御しているアプリケーションが、再試行するようにドライブに命令してもよく、その場合ドライブはさらに３−４秒ビジー状態となり得る。アプリケーションにより発せられる再試行は、数回行われてもよい。結果として、イントラバッファのサイズは、少なくともこの３−４秒の時間を克服できる程度の十分なＩフレームを記憶できるようなサイズとなり得る。しかしながら、イントラバッファのサイズは、イントラバッファのサイズがさらに大きくなり得るような、たとえば５秒ならびに１０秒のＩフレームまたはさらに長い時間のＩフレームを保存するのに十分な大きさとなるような、代替のシナリオに基づいて決められてもよい。
【００３６】
以上、本発明を好ましい実施形態との関連で説明してきたが、本発明を、本明細書で挙げた具体的な形態に限定する意図ではない。そうではなく、本発明の技術的範囲は、特許請求の範囲のみによって限定されるものである。
【００３７】
この節では、本発明の明確かつ完全な理解を与えるため、限定目的ではなく説明目的で、開示されている実施形態の特定の具体的な詳細事項、たとえば具体的なフォーマット、装置のタイプ、バッファサイズ等を挙げてきた。しかしながら、本発明は、本開示内容の精神および範囲から顕著に逸脱することなく、ここで挙げた詳細事項に厳密に従うものではない他の実施形態でも実施され得ることは、当業者には容易に理解されよう。さらに、本明細書では、簡潔さおよび明確さのために、不要な詳細事項および生じ得る混乱を避けるべく、周知の装置、回路および方法についての詳細な説明は省略してある。
【００３８】
特許請求の範囲には参照番号が含まれているが、このように参照番号を含めているのは明確さのためのみであって、特許請求の範囲の技術的範囲を限定するものと解釈されるべきではない。
【図面の簡単な説明】
【００３９】
【図１】本発明の１つの実施形態の概略図
【図２】本発明の１つの処理態様の概略図
【図１】
2008532452.tif 000005
【図２】
2008532452.tif 000006
【国際調査報告】
2008532452.tif 000007
2008532452.tif 000008
2008532452.tif 000009