(57)【要約】  空間的に異なる左側及び右側撮像装置などから得られるフレームシーケンシャル方式の立体ビデオのビデオシーケンスの符号化である。符号化処理中に、参照フレームを並べ換えることで、符号化出力からスキップできるマクロブロック（ＭＢ）数が増加し、又は符号化効率が別様に高まると判断される場合、参照フレームを並べ換える。その後、参照フレームの配列に対応して、フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を使用して符号化を完了する。シーケンシャル方式の立体ビデオ出力内で、参照フレームの配列に関するサイド情報を符号化して、デコーダが参照フレームを正しく復号できるようにする。この結果、スキップされるＭＢの数を劇的に増やし、動き予測中に参照されるＭＢの数を著しく減少させることができる。【選択図】図４
2013509048.tif 000002
【特許請求の範囲】
【請求項１】
フレームシーケンシャル方式の立体ビデオを符号化するための装置であって、
第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたコンピュータと、
前記コンピュータに結合されたメモリと、
前記メモリ上に記憶され前記コンピュータ上で実行可能なプログラムと、
を備え、前記プログラムが、
画像をブロックに分割するステップと、
参照フレームを並べ換えることにより符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、
前記並べ換えた参照フレームを含む参照フレームの配列に対応して、前記フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップと、
を実行するためのものである、
ことを特徴とする装置。
【請求項２】
前記エントロピー符号化が、変換を使用してブロックを非相関化し、変換係数を量子化し、前記変換を出力データに符号化するステップを含む、
ことを特徴とする請求項１に記載の装置。
【請求項３】
前記プログラムが、シーンカットが発生したかどうかを判断してフレームをＩタイプに設定することを含むステップを実行する、
ことを特徴とする請求項１に記載の装置。
【請求項４】
前記プログラムが、前記シーケンシャル方式の立体ビデオ出力の品質変動を低減するためにデュアルＩフレームを使用することを含むステップを実行する、
ことを特徴とする請求項１に記載の装置。
【請求項５】
並べ換えた参照フレーム及び元々の配列の参照フレームの両方でフレームを符号化し、各々の統計値を比較して、前記符号化において前記参照フレームを並べ換えるべきかどうかを判断する、
ことを特徴とする請求項１に記載の装置。
【請求項６】
前記符号化装置が、ＡＶＣ又はＨ．２６４符号化規格に準拠してビデオを符号化するようにされたエンコーダを含む、
ことを特徴とする請求項１に記載の装置。
【請求項７】
前記装置内における選択した参照フレームの前記並べ換えにより、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数が増加する、
ことを特徴とする請求項１に記載の装置。
【請求項８】
前記装置内における選択した参照フレームの前記並べ換えにより、フレーム当たりの参照されるマクロブロックの数が減少する、
ことを特徴とする請求項１に記載の装置。
【請求項９】
前記第１及び第２の画像シーケンスが、左側の撮像装置及び右側の撮像装置からの画像取り込みに対応して取り込まれる、
ことを特徴とする請求項１に記載の装置。
【請求項１０】
前記プログラムが、参照フレームの配列に関する情報をシーケンシャル方式の立体ビデオ出力に符号化して、デコーダが前記参照フレームを正しく復号できるようにすることを含むステップを実行する、
ことを特徴とする請求項１に記載の装置。
【請求項１１】
フレームシーケンシャル方式の立体ビデオを符号化するための装置であって、
第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたコンピュータと、
前記コンピュータに結合されたメモリと、
前記メモリ上に記憶され前記コンピュータ上で実行可能なプログラムと、
を備え、前記プログラムが、
画像をブロックに分割するステップと、
参照フレームを並べ換えることにより、スキップされるマクロブロック数の増加、ＰＳＮＲの上昇、及び／又はビットコスト制約条件との適合に対応して符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、
前記並べ換えた参照フレームを含む参照フレームの配列に対応して、変換を使用してブロックを非相関化し、変換係数を量子化し、前記変換を出力データに符号化することにより、前記フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップと、
前記参照フレームの配列に関するサイド情報を前記シーケンシャル方式の立体ビデオ出力に符号化して、デコーダが前記参照フレームを正しく復号できるようにするステップと、
を実行するためのものである、
ことを特徴とする装置。
【請求項１２】
前記プログラムが、前記シーケンシャル方式の立体ビデオ出力の品質変動を低減するためにデュアルＩフレームを使用することを含むステップを実行する、
ことを特徴とする請求項１１に記載の装置。
【請求項１３】
並べ換えた参照フレーム及び元々の配列の参照フレームの両方でフレームを符号化し、各々の統計値を比較して、前記符号化において前記参照フレームを並べ換えるべきかどうかを判断する、
ことを特徴とする請求項１１に記載の装置。
【請求項１４】
前記符号化装置が、ＡＶＣ又はＨ．２６４符号化規格に準拠してビデオを符号化するようにされたエンコーダを含む、
ことを特徴とする請求項１１に記載の装置。
【請求項１５】
前記装置内における選択した参照フレームの前記並べ換えにより、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数が増加し、及び／又はフレーム当たりの参照されるマクロブロック数が減少する、
ことを特徴とする請求項１１に記載の装置。
【請求項１６】
第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたビデオエンコーダ回路内のフレームシーケンシャル方式の立体ビデオを符号化する方法であって、
画像をブロックに分割するステップと、
参照フレームを並べ換えることにより符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、
前記並べ換えた参照フレームを含む参照フレームの配列に対応して、前記フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップと、
を含み、選択した参照フレームの前記並べ換えにより、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数が増加する、
ことを特徴とする方法。
【請求項１７】
前記エントロピー符号化が、変換を使用してブロックを非相関化し、変換係数を量子化し、前記変換を出力データに符号化するステップを含む、
ことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記シーケンシャル方式の立体ビデオ出力の品質変動を低減するためにデュアルＩフレームを使用するステップをさらに含む、
ことを特徴とする請求項１６に記載の方法。
【請求項１９】
並べ換えた参照フレーム及び元々の配列の参照フレームの両方でフレームを符号化し、各々の統計値を比較して、前記符号化において前記参照フレームを並べ換えるべきかどうかを判断する、
ことを特徴とする請求項１６に記載の方法。
【請求項２０】
参照フレームの配列に関する情報をシーケンシャル方式の立体ビデオ出力に符号化して、デコーダが前記参照フレームを正しく復号できるようにするステップをさらに含む、
ことを特徴とする請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、２００９年１１月６日に出願された米国仮特許出願第６１／２５８，７３７号からの優先権を主張する２０１０年１０月１８日に出願された米国特許出願第１２／９０６，７５８号からの優先権を主張するものであり、これらの特許出願はその全体が引用により本明細書に組み入れられる。
【０００２】
〔連邦政府が支援する研究又は開発に関する記述〕
該当なし
【０００３】
〔コンパクトディスクで提出された資料の引用による組み入れ〕
該当なし
【０００４】
〔著作権保護を受ける資料の通知〕
本特許文献中の資料の一部は、アメリカ合衆国及びその他の国の著作権法に従って著作権保護を受ける。著作権の権利所有者は、合衆国特許商標庁の一般公開ファイル又は記録内に表されるとおりに特許文献又は特許開示を第三者が複製することには異議を唱えないが、それ以外は全ての著作権を留保する。著作権所有者は、米国特許法施行規則§１．１４に従う権利を無制限に含め、この特許文献を秘密裏に保持しておく諸権利のいずれを放棄するものでもない。
【０００５】
本発明は、一般に立体画像化に関し、より具体的には、フレームシーケンシャル方式の立体画像化における符号化の変形形態に関する。
【背景技術】
【０００６】
画像及びビデオの高品質再生への関心が高まり続けている。高解像度の放送及び再生装置が偏在するようになりつつある。これらの広帯域ストリームの効率的な通信をサポートするために、複数の参照フレームを可能にするＨ．２６４及び他のエントロピーベースの符号化規格などの符号化規格が改善され続けてきた。
【０００７】
近年、３次元（３Ｄ）画像を再生する能力が、より多くの関心を集め発展してきた。３Ｄ画像を描画する際には、空間的に異なるフレームを取り込み、これを視聴者の左右の目に別々に伝えなければならない。数十年前の色付きの劇場用メガネから、オン／オフに切り替わる（ＬＣＤなどの）シャッターを各レンズが含んで、左右両方の画像を連続して表示する画面から各々の目にそれぞれの左又は右の画像のみが見えるようにした現在のシャッターメガネの使用まで、長年にわたり多くの技術が示されてきた。
【０００８】
画像を各々の目に対してどのように表示するかを制御するための使用される機構に関わらず、３Ｄビデオ素材を符号化するフレームシーケンシャル方式が広く採用されている。従来の２Ｄビデオでは、単一の空間的位置からの連続フレームが（毎秒３０フレーム（ｆｐｓ）などの）所与のフレームレートで出力される。フレームシーケンシャル方式で符号化された３Ｄビデオでは、出力される連続フレームが、左の空間画像と右の空間画像の間で交互になる。
【０００９】
フレームシーケンシャル方式の立体ビデオに関連する問題点の１つにストリームの伝送に関するものがあり、この原因は、これらのストリームが、従来の符号化規格では容易に「圧縮」されない高帯域を有するからである。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従って、２Ｄビデオストリームと互換性のない完全に新しい３Ｄ符号化機構を開発する必要なく、フレームシーケンシャル方式の立体ビデオをよりコンパクトな形で符号化するシステム及び方法が必要とされている。本発明では、これらの及びその他のニーズを満たし、以前に開発されたビデオ符号化システム及び方法の欠陥を克服する。
【課題を解決するための手段】
【００１１】
本発明は、複数の異なる画像（例えば、空間的に異なるような異なる種類のビデオ）を同じ出力ストリームに符号化する際の効率（品質対ビットレート）を改善し、フレームシーケンシャル方式の符号化出力ストリーム内の立体ビデオを符号化するのに特に適している。
【００１２】
フレームシーケンシャル方式の立体（ＦＳＳ）ビデオの符号化を改善するために、本発明は、ストリーム内の参照フレーム位置の選択的並べ換え（入れ替え）を可能にする。符号化方式は、画像ストリーム内の空間的及び時間的冗長性を低減するものであると理解されたい。この目的のために、これらの符号化技術は、同じ画像フレームのブロック内の空間的冗長性を低減し、マクロブロック間の時間的冗長性を、連続取り込み間隔の連続フレームにわたって低減する。
【００１３】
本明細書では単に「ビデオ」とも呼ぶビデオストリームは、一連のビデオフレームであると理解されたい。シーケンスの各フレームは、静止画像を含む。ビデオの再生は、指定されたフレームレートで、通常は毎秒３０フレームに近いレートで行われる（例えば、２３．９７６、２４、２５、２９．９７、３０ｆｐｓという従来のフレームレートから、又は適用可能な非標準レートから選択される）。
【００１４】
ＦＳＳビデオの符号化中、隣接するフレームは連続取り込み間隔を表すものではなく、空間的に異なるものであり、これが符号化されるストリームの効率（圧縮率又はビット配分）に大きな影響を与える。本発明は、参照フレームの選択的並べ換えを使用することにより、ＦＳＳビデオに適用した際に従来の２Ｄ符号化機構の効率を高める。本発明による装置及び方法は、複数の参照フレームをサポートできるＨ．２６４及びＡＶＣエンコーダ（ＡＶＣ＝ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）を含む様々な高性能エンコーダ内で実現することができる。
【００１５】
本発明は、限定されるわけではないが、以下の記述を含む多くの方法で具体化することができる。
【００１６】
本発明の１つの実施形態は、フレームシーケンシャル方式の立体ビデオを符号化するための装置であり、この装置は、（ａ）（例えば、左側の撮像装置及び右側の撮像装置からの）第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたコンピュータと、（ｂ）このコンピュータに結合されたメモリと、（ｃ）このメモリ上に記憶されコンピュータ上で実行可能なプログラムとを備え、このプログラムは、（ｃ）（ｉ）画像をブロックに分割するステップと、（ｃ）（ｉｉ）参照フレームを並べ換えることにより符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、（ｃ）（ｉｉｉ）並べ換えた参照フレームを含む参照フレームの配列に対応して、フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップとを実行するためのものである。エントロピー符号化の残り部分は、変換を使用してブロックを非相関化し、変換係数を量子化し、変換を出力データに符号化するなどの、エンコーダプロトコルに従うあらゆる所望の方法で実行できると理解されよう。
【００１７】
少なくとも１つの実施構成では、並べ換えた参照フレーム及び元々の配列の参照フレームの両方でフレームを符号化し、各々の統計値を比較して、符号化において参照フレームを並べ換えるべきかどうかを判断する。適切かつ効率的な復号を可能にするために、参照フレームの配列を示すサイド情報を符号化ビデオ出力に符号化する。
【００１８】
本発明の装置及び／又は方法による符号化は、時間的冗長性を低減するためのプログラムを含むいずれかの最新のブロックベースのビデオ符号化システム、例えば、Ｈ．２６４、ＡＶＣ符号化用のビデオエンコーダ及び同様のエンコーダにおいて利用することができる。本発明は、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数を増加させ、符号化されるフレーム当たりの参照されるマクロブロックの数を減少させるなど、符号化効率を高める。Ｈ．２６４などの高性能エンコーダは、参照フレームシーケンス情報をデコーダに転送できるようにするサイド情報を定義し、従ってシーケンス情報をデコーダに通信するためのプロトコル修正を行う必要がない。
【００１９】
本発明の少なくとも１つの実施形態では、シーンカットが発生したかどうかを判断し、これによりフレームをフレーム間タイプに設定する。本発明の少なくとも１つの実施形態では、シーケンシャル方式の立体ビデオ出力の品質変動を低減するためにデュアルＩフレームを使用することができる。
【００２０】
本発明の１つの実施形態は、第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたビデオエンコーダ回路内のフレームシーケンシャル方式の立体ビデオを符号化する方法であり、この方法は、（ａ）画像をブロックに分割するステップと、（ｂ）参照フレームを並べ換えることにより符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、（ｃ）参照フレームを並べ換えることを含む参照フレームの配列に対応して、フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップとを含む。選択した参照フレームの並べ換えにより、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数が増加する。
【００２１】
本発明は、本教示から逸脱することなく、別個に又はあらゆる所望の組み合わせで実現される多くの有益な態様を提供する。
【００２２】
本発明の態様は、フレームシーケンシャル方式の立体ビデオをより効率良く符号化するための方法及び装置である。
【００２３】
本発明の別の態様は、ビデオフレームのシーケンス内において参照フレームを選択的に並べ換えて符号化効率を改善することである。
【００２４】
本発明の別の態様は、元々の順序での符号化と少なくとも１つの並べ換えを行った符号化の比較に対応して、参照フレームを並べ換えすべきかどうかを判断することである。
【００２５】
本発明の別の態様は、フレームシーケンシャル方式の立体ビデオを符号化する際にスキップされるＭＢの数を増加させる。
【００２６】
本発明の別の態様は、フレームシーケンシャル方式の立体ビデオを符号化する際にフレーム当たりの参照されるＭＢの数を減少させる。
【００２７】
本発明のさらに別の態様は、本方法を多くの異なるビデオ符号化技術に容易に適用して、３Ｄビデオの処理に関する符号化効率を高めることができることである。
【００２８】
本発明のさらなる態様は以下の明細書の部分で明らかになるが、この詳細な説明は、本発明の好ましい実施形態を完全に開示するためのものであり、本発明をこれらに限定するためのものではない。
【００２９】
例示のみを目的とする以下の図面を参照することにより、本発明がより完全に理解されるであろう。
【図面の簡単な説明】
【００３０】
【図１】立体撮像システムによって取り込んだ左右のビデオフレームの交互配置に対応する連続する立体ビデオフレームシーケンスを示す図である。
【図２Ａ】一般的な順序のビデオフレームシーケンスを示す図である。
【図２Ｂ】本発明の実施形態による、符号化効率を高めるために、連続配列の参照フレームの選択的並べ換えに対応するビデオフレームシーケンスを示す図である。
【図３】本発明の態様による参照フレームの並べ換えに対応する参照インデックスのビット節約のデータ図である。
【図４】本発明の態様による参照フレームの並べ換えのフロー図であり、複数の参照フレームシーケンス構成をテストすることに応じて、符号化する１つのフレームシーケンスを選択する例を示している。
【図５】従来通りの、及び本発明の態様によるフレームの並べ換え後のビデオフレームシーケンスを示す図であり、参照されるマクロブロック及びスキップされるマクロブロックの相対数の対比を示している。
【図６】本発明の態様による参照フレームの並べ換えのテスト結果を示すデータ表である。
【図７】本発明の態様による参照フレームの並べ換えの別のテスト結果を示すデータ表である。
【図８】本発明の態様による、参照フレーム数が増加したことに対応する、フレーム番号ごとのピーク信号対雑音比（ＰＳＮＲ）のグラフである。
【図９】本発明の態様による、参照フレーム数が増加したことに対応する、フレーム番号ごとのピーク信号対雑音比（ＰＳＮＲ）のグラフである。
【図１０】本発明の態様による、選択的フレーム並べ換えを適用し、デュアルＩ−フレームを使用してばらつきを抑えたことに対応する、フレーム番号ごとのピーク信号対雑音比（ＰＳＮＲ）のグラフである。
【図１１】本発明の態様による図１２の参照フレームの選択的並べ換えに対応して得られるＰＳＮＲと比較するための、従来の符号化を通じて得られるＰＳＮＲでのイベントの取り込み画像である。
【図１２】図１１の従来の符号化を通じて得られるＰＳＮＲと比較するための、本発明の態様による参照フレームの選択的並べ換えに対応して得られるＰＳＮＲでのイベントの取り込み画像である。
【図１３】従来の符号化に対応する、イントラマクロブロック、前方向マクロブロック、後方向マクロブロック、及びスキップされたマクロブロックの数を示すマクロブロック状態図である。
【図１４】本発明の態様によるフレームの選択的並べ換えに対応するイントラマクロブロック、前方向マクロブロック、後方向マクロブロック、及びスキップされたマクロブロックの数を示す、スキップされるマクロブロック数が増加したことを示すマクロブロック状態図である。
【図１５】本発明の態様による、左右の画像データ（又はストリーム）をフレームシーケンシャル方式の立体ビデオストリームに符号化するように構成されたエンコーダのブロック図である。
【発明を実施するための形態】
【００３１】
図面をより詳細に参照すると、本発明は、例示として図２Ａ〜図１５に大まかに示す装置及び方法の形で具体化される。本明細書で開示する基本概念から逸脱することなく、装置は構成及び各部分の詳細が異なる場合があり、方法はステップ及び順序が異なる場合がある。
【００３２】
図１に、ビデオファイル又はストリームなどの、左右のビデオ源から得られる交互配置されたビデオとして示すフレームシーケンシャル方式の立体ビデオストリームを示す。この結果的に得られる交互配置されたビデオデータを符号化して、その帯域を送信前に減少させる。
【００３３】
空間的及び時間的冗長性を低減する従来のエンコーダは、２Ｄビデオデータファイル向けに構成されていると理解されよう。図示の立体ビデオなどの、交互配置されたビデオファイルを処理する場合、空間的には関連するが時間的には関連しない交互になった連続するＬ−Ｒフレームの存在に対応して、時間的冗長性を低減する有効性がマイナスの影響を受ける。
【００３４】
これらの符号化の問題点は、初期のＭＰＥＧ規格から利用可能であった通常の符号化処理に関するいくつかの一般的背景を示す以下の段落を受けて最もよく理解することができ、これにより本発明の態様をより良く理解できるようになる。以下では、様々なビデオ符号化規格がいくつかの点で異なるが、同様のパターンに従い、フレーム間及び予測フレームを記述するフレーム符号化を保持する。
【００３５】
ビデオフレームは、所望の画素数（例えば、８×８、１６×１６、３２×３２、又はその他のあらゆる所望の形状及びサイズ）に及ぶマクロブロックに分割される。ＹＵＶ符号化規格を考慮すると、各マクロブロックは、一定数の輝度ブロック及びクロミナンスブロックを有する。マクロブロックは、動き補償された圧縮を行う際に使用する画素単位であり、通常、これらのブロックは、離散コサイン変換（ＤＣＴ）圧縮に対応して指定される。通常、フレームは、イントラフレーム（Ｉフレーム）、前方向予測フレーム（Ｐフレーム）、両方向予測フレーム（Ｂフレーム）という３つの種類で符号化される。
【００３６】
Ｉフレームは、過去又は未来のフレームを参照することなく大部分が独立して符号化される単一画像として符号化される。１つの形の符号化によれば、フレームのブロックが、最初にＤＣＴ（離散コサイン変換）を使用して空間領域から周波数領域に変換され、これにより信号を単独の周波数バンドに分離する。或いは、これらのブロックに対して、波形符号化などの他の形の符号化を行うこともできる。ほとんどの周波数情報は、結果として得られるブロックの左上角に存在する。この後、このデータは、通常はビット配分に従っていずれかの所望のレベルに量子化され、このビット配分ではより下位のビットが十分に抑えられ又は無視されるようになる。次に、この結果得られるデータが、ゼロクラスタリング及びこれらのクラスタ化されたゼロの除去を増やすことによって圧縮を最適化するためのジグザグ配列などでランレングス符号化される。
【００３７】
Ｐフレームは、過去の参照フレームに対して符号化され、この参照フレームはＰフレーム又はＩフレームのいずれかを含むことができる。過去の参照フレームとは、直近の先行する参照フレームのことである。Ｐフレーム内の各マクロブロック（ＭＢ）は、Ｉマクロブロック又はＰマクロブロックのいずれかとして符号化することができる。Ｉマクロブロックは、Ｉフレーム内のマクロブロックと同様に符号化され、Ｐマクロブロックは、過去の参照フレームに誤差（エントロピー）項を加えた領域として符号化される。参照フレームの画素領域を指定するために、動きベクトルを含める（例えば、動きベクトル（０，０）は、ＭＢが、符号化しているマクロブロックと同じ位置にあることを示す）。非ゼロの誤差項を符号化し、量子化して、ランレングス符号化する。
【００３８】
Ｂフレームは、過去の参照フレーム、未来の参照フレーム、又は両方のフレームに対して符号化される。未来の参照フレームとは、直近の後続する参照フレーム（Ｉ又はＰ）のことである。Ｂフレームの符号化は、動きベクトルが未来の参照フレーム内の領域を参照することがある以外はＰフレームと同様である。過去の参照フレームと未来の参照フレームをいずれも使用するマクロブロックでは、２つの領域を平均化する。
【００３９】
フレームは、静的なＩＰＢパターンに従う必要はなく、各個々のフレームはいずれの種類であってもよい。出力シーケンス内のフレームのＩＰＢの配列順序は、デコーダがフレームを最低限のフレームバッファリングで容易に解凍できる方法で再配置される。例えば、ＩＢＢＰＢＢＰの入力シーケンスを、出力シーケンスにはＩＰＢＢＰＢＢとして配置することができる。しかしながら、参照フレームの配列は、従来の符号化技術に対応して依然として同じ順序のまま保たれる。
【００４０】
符号化されたビデオシーケンス（Ｈ．２６４など）は、論理セクションの先頭及び末尾をマークする特別なビットパターンを有する正しく並んだビットストリームである。従って、各ビデオシーケンスは、各々が一連のピクチャ（フレーム）で構成された一連のＧｒｏｕｐｓ  ｏｆ  Ｐｉｃｔｕｒｅｓ（ＧＯＰ）で構成される。「フレーム」の観点から本発明を説明しているが、スライスとフレームには理解において若干の重複があり、多くの場合、「スライス」という用語は「フレーム」と同義的に使用されると理解されたい。技術的には、フレームは、単独で復号可能な単位であり、フレームごとに１又はそれ以上のスライスが、又はスライスごとにわずか１つのマクロブロックが、又はこれらの間にあらゆる変形が存在することができ、従って、一般に、本発明はフレーム及びスライスの両方に適用可能である。
【００４１】
本発明は、所与のフレームを符号化して符号化効率を改善する場合、選択的並べ換えによって参照フレームの配列を選択的に変更する。従って、本発明は、フレームシーケンシャル方式の立体ビデオ符号化に適用する場合、フレーム間予測とビュー間予測の組み合わせを利用する。ビュー間予測とは、左ビューフレームから右ビューフレームを予測するなどの、複数のビュー間で行う予測のことである。フレーム間予測は、右ビューであろうと左ビューであろうと、立体シーケンス内で介入する参照フレームにより分離された同じビュー内から行われる。本発明によるマルチビュー符号化は、両方の種類の予測を行ってビュー間の冗長性を活用し、最も良い予測参照フレームを選択するが、この予測参照フレームは、必ずしもフレームシーケンシャル方式の立体ビデオシーケンス内の直近の参照フレームとは限らない。以下、この方法を立体ビデオデータに対して実行する単純な例を示す。
【００４２】
図２Ａに、複数の参照フレームを有する従来のフレームシーケンシャル方式の立体ビデオを示す。この場合、図では最新の参照フレーム（右方）が前の２つの参照フレームを逆参照していることが分かるであろう。
【００４３】
図２Ｂに、第１及び第２の参照フレームを並べ換えた例を示しており、これにより第３の参照フレームは、第２の参照フレームのみを逆参照すればよくなる。
【００４４】
図３に、マクロブロックタイプインジケータ（ｍｂ＿ｔｙｐｅ）及び動きベクトル差分（ＭＶＤ）を描くブロックデータ部分に含まれる参照インデックス符号化（ｒｅｆ＿ｉｄｘ）の例を示す。この図には、参照フレームの配列を示すための追加ビットの使用を示している。
【００４５】
本発明を、複数のフレームを参照できるＨ．２６４などの高性能エンコーダにより容易に適用して、フレームに各マクロブロックを指定できるようにすることができると理解されよう。１つの参照フレームしか参照しないエンコーダに本発明を適用するには、正しく復号を行えるように参照フレームを選択する機構を追加する必要がある。
【００４６】
また通常、高性能ビデオ符号化は、オフラインの非リアルタイム処理として行われるが、十分な処理リソースがあれば、オンラインのリアルタイム符号化を行うように本発明を実施することもできると理解されたい。
【００４７】
図４は、本発明による参照フレームの選択的並べ換えの実施形態例５０を示す。この実施形態例では、ステップ５４〜６０では第１の配列に基づいて、ステップ６６〜７２では第２の配列に基づいて符号化を行い、その後、参照フレームの並べ換えが望ましいかどうかについて比較を行い、これによりステップ７８〜８０において再びフレームを符号化する。
【００４８】
方法は、初期状態から開始し５２、第１の順序に従って参照リストを設定する５４。ステップ５６において最初のパスとして検出すると、このフレームを符号化し５８、統計値を求めて記憶する６０。パスインデックスを増分し６２、参照リストを並べ換える５４。これは、ステップ５６で検出されたような最初のパス（ｉ＝０）ではないので、第２のパス（ｉ＝１）であることをチェックし６４、真であれば、前回のフレーム符号化からのデータに基づいて６８、参照リストを並べ換える６６。
【００４９】
次に、再びフレームを符号化し７０、前回の統計値との比較を行って７２、参照の並べ換えが有利であるかどうかを判断する。この比較は、以下に限定されるわけではないが、スキップされるマクロブロック（例えば、符号化出力においてスキップされる）数の増加、コスト制約条件との適合、ＳＮＲの上昇などを含むいずれかの所望の数の因子又は因子の組み合わせに関して実行できると理解されたい。
【００５０】
再びパスインデックスを増分し６２、再び参照リストを並べ換えて、処理は（ｉ＝２に基づいて）ステップ７４へ分岐し、ここで比較データ７６を使用して、参照リストの並べ換えを行うべきかどうかを判断する。行った方が有利であれば、ステップ７８において参照フレームの並べ換えを行い、ステップ８０においてフレームを符号化し、ステップ８２においてフレームの符号化を終了する。
【００５１】
図４のフロー図及び上記の関連説明は、限定ではなく一例として示したものであると理解されたい。当業者であれば、本発明の教示を利用して、いずれかの所望の形のプログラムの実行に基づいて参照フレームを並べ換えるかどうか、及びどのように並べ換えるかを選択できると理解するであろう。並べ換えのための統計値を比較する際には、２つよりも多くの参照フレーム位置を考慮できる一方で、いくつかの符号化特性又はこれらの組み合わせに基づいて比較を行うこともできると理解されたい。例えば、この比較を、符号化するビデオのビットコストを所与の量子化レベルで最小化するように構成することができ、或いはこの比較において、符号化／復号オーバーヘッド、ピーク信号対雑音、又は並べ換えた及び元々の順序のフレームに関連して比較できるその他の所望の特性に関して他の得失評価を行うこともできる。
【００５２】
図５の上部には、現在のフレーム９４に関連する複数の参照フレーム９６ａ〜９６ｄを、並べ換え前９０及び並べ換え後９２の両方について示している。図５の下部には、参照フレームの各々に関連する符号化処理中に参照されるＭＢ数の比較結果を示している。並べ換え前は、参照フレーム０が２，８００個のＭＢを参照し、参照フレーム１が５，４８４個のＭＢを参照し、参照フレーム２が１，２８８個のＭＢを参照し、参照フレーム３が３７２個のＭＢを参照することが判明した。これは、参照フレームを並べ換えた後の結果と大きく異なり、並べ換えた後は、参照フレーム０が２，６００個のＭＢを参照し、参照フレーム１が１，６４４個のＭＢを参照し、参照フレーム２が４１２個のＭＢを参照し、参照フレーム３が３０４個のＭＢを参照することが判明した。従って、総ＭＢ参照数は、８９４４個から４９６０個に減少し、オーバーヘッドが大きく減少したことを示す。
【００５３】
また、スキップされるマクロブロック数は、並べ換え前の１，０５５個から並べ換え後の２，３２１個に改善された。スキップされるＭＢは非常に類似しているので（例えば、フレーム間で動きがないもの、パンしたもの、又はズームしたことが明らかであるもの）、これらを符号化する必要はなく、これによりスキップされるＭＢ数が増加して、符号化出力として生成されるビット数が直接減少することが理解されよう。本発明の教示によれば、参照フレームをあらゆる所望の順序で並べ換えることができる一方で、３，２，１，０→３，２，０，１→２，３，０，１のような複数の並べ換えも同様にサポートされると理解されたい。
【００５４】
図６及び図７に、Ｈ．２６４に関する符号化を用いたテストから生じた結果を示す。図６の１行目からは、参照フレームの並べ換えを行わなければ、フレーム１１３の符号化が、ビット配分のためのフレーム内コスト（Ｉｃｏｓｔ）を２８１２９８７８２、及び予測フレーム（Ｐｃｏｓｔ）を２３９７４７６１６有することが分かる。また、マクロブロックの構成は、イントラＭＢ（ｉｍｂ）を２１１個、予測ＭＢ（ｐｍｂ）を２９９６個、及びスキップされたＭＢ（ｓｍｂ）を３９３個含んでいた。図６の２行目には、本発明による参照フレームの選択的並べ換え後のフレーム１１３の結果を示している。並べ換えた場合、Ｉｃｏｓｔは３９００２０６２２に増え、Ｐｃｏｓｔは１３４５４０２９１に下がった。符号化により、スキップされたマクロブロックが２２４０個と非常に大きく増加した中で、イントラＭＢ（ｉｍｂ）がわずかに９個、予測ＭＢ（ｐｍｂ）が１３５１個という結果になった。
【００５５】
図７には、適応的シーンカット技術に対して行った別のテストを示している。このテストでは、並べ換えを行わなければ、参照フレーム２が、そのビット配分のためのフレーム内コスト（Ｉｃｏｓｔ）が４０９１６０２１８、及び予測フレーム（Ｐｃｏｓｔ）が２７４２４７４０３で符号化されたことが分かる。また、マクロブロックの構成は、イントラＭＢ（ｉｍｂ）を２８個、予測ＭＢ（ｐｍｂ）を２８１４個、及びスキップされたＭＢ（ｓｍｂ）を７５８個含んでいた。この場合、フレーム当たりのＭＢ参照は、参照フレーム０（ＬＯ［０］）では５４４個、フレーム１（ＬＯ［１］）では１０７１２個、フレーム２（ＬＯ［２］）では０、フレーム３（ＬＯ［３］）では０であることが分かる。
【００５６】
図７の２行目には、本発明による参照フレームの選択的並べ換え後に示されたフレーム２の結果を示す。並べ換えた場合、Ｉｃｏｓｔは５３３７０４９５４にわずかに増え、Ｐｃｏｓｔは５７６７９３４６に大きく下がった（以前の値のおよそ５分の１）。符号化により、イントラＭＢ（ｉｍｂ）が１８個、予測ＭＢ（ｐｍｂ）が４４７個、及びスキップされたマクロブロックが３１３５個と非常に大きく増加した結果になった。この場合、フレーム当たりのＭＢ参照は、参照フレーム０（ＬＯ［０］）では５４４個から１２９２個に増加し、フレーム１（ＬＯ［１］）では１０７１２個から４９６個に大きく減少したのに対し、この符号化状況ではフレーム２（ＬＯ［２］）及びフレーム３（ＬＯ［３］）では０のままであることが分かる。品質については、ＱＰが４３：１０、スライスタイプがＰ、ＰＯＣ符号化タイプが４、ＰＩＣパラメータセットが３であることが分かる。
【００５７】
フレーム間予測からの追加ビットのオーバーヘッドコストを考慮するならば、参照フレームを選択するためにマクロブロック当たり２ビットが加わると仮定した場合、２ビット＊８０００ＭＢ／フレーム＝１６，０００ビット、すなわち２，０００バイト／フレームが追加されることになる。しかしながら、スキップされるマクロブロックの数が増加することによって分かるように、符号化しなければならないＭＢの減少と比較すると、このコストがほんのわずかなものであることは容易に理解されるはずである。本発明の少なくとも１つの実施形態は、フレーム間予測のコストを最小化することにより、節約したビットを、符号化ビデオの所与のビット配分内でビデオ品質を改善するために使用することを目的とする。
【００５８】
本発明を構築するにあたり、フレームシーケンシャル方式の立体ビデオの符号化品質及び／又は効率を高めるために追加の又は代替の機構を利用できることが認められた。これらについて簡単に説明し、本発明の参照フレームの並べ換え技術との比較ポイントとして使用する。
【００５９】
フレームの符号化を強化するための１つの手段は、使用する参照フレームの数を増やし、従って参照の機会を増やすことである。参照フレームの数は、レベル（例えば、レベル４．１及び４．０＝最大復号画像バッファサイズ（ＭａｘＤＢＰ）で１２ＭＢ）によって制限されると理解されたい。
【００６０】
別の機構は、左右両方の符号化画像に利点を与えるデュアルＩフレームを使用することにより品質変動を低減させるものである。
【００６１】
図８及び図９に、ｈ．２６４符号化形式及びＳｏｎｙ符号化形式の参照フレーム数をそれぞれ増やしたことに対応する結果を示す。基本的には、２つの参照後にはそれ以上の利得が得られないことが分かる。修正されたＰＳＮＲは、これを利用したｘ．２６４では３２、Ｓｏｎｙ符号化技術では２５に達することが分かるであろう。
【００６２】
図１０に、本発明の態様による参照の動的並べ換えを行った結果を示す。グラフの第１の線は、元々の順序での動作を示すものであり、ＰＳＮＲは約３０から約３７に上昇している。第２の線は、参照フレームを並べ換えた結果を示すものであり、ＰＳＮＲは約３８を中心にしたままである。第３の線は、参照フレーム並べ換え方法にデュアルＩフレームを加えることに対応してＰＳＮＲがいかに平滑化されるかを示すものである。
【００６３】
図１１及び図１２は、フレーム１１３の比較を示す画像であり、図１１は、参照フレームの並べ換えを行わずにＰＳＮＲが２３．５０であり、図１２は、本発明の参照フレームの並べ換えを利用してＰＳＮＲが２７．５５である。
【００６４】
図１３及び図１４は、図１１及び図１２にそれぞれ示す画像内のイントラＭＢ、前方向ＭＢ、後方向ＭＢ、及びスキップされたＭＢを含むマクロブロックタイプのグラフである。図１４では、参照フレームの選択的並べ換えに対応して、スキップされたＭＢの数が大幅に増えたことを容易に理解することができる。
【００６５】
図１５には、立体画像データを符号化するように構成された回路１０６内で、左側撮像装置１０２及び右側撮像装置１０４（又は同等の画像データ源）から画像データを受け取る単純な立体符号化装置の実施形態例１００を示す。メモリ１１０と協働する少なくとも１つのコンピュータ（中央）処理装置（ＣＰＵ）１０８を使用してメモリからのプログラムをプロセッサ１０８上で実行することに応答して符号化が行われる。この符号化装置は、本発明の教示から逸脱することなくあらゆる数のプロセッサ、及びあらゆる所望の追加のハードウェア加速回路を含むことができると理解されたい。プログラムは、参照フレームの選択的並べ換えを含むビデオ符号化ステップを実行し、符号化出力１１２を生成する。
【００６６】
復号中は、符号化ビデオ内のデータが、マクロブロックの各々にどの参照フレームを使用すべきかを示すと理解されたい。
【００６７】
本発明は、例えば横並び及び縦並びの画像などの、１つのフレームに複数の画像を有するビデオに対して予測を行うためにも利用できると理解されたい。横並びの画像では、右側及び左側の画像が同じフレームの左側及び右側部分に含まれ、同様に縦並びの画像化では、左側及び右側の画像がフレームの上側及び下側部分に含まれる。同じフレームシーケンャル方式のビデオ内の複数のビューを左側及び右側からのビューとして説明しているが、これらは、いずれの所望の複数の有利な地点からのビューであってもよいと理解されよう。マルチビュー予測を使用すると、動きベクトルの範囲が拡大するはずであると理解されよう。
【００６８】
本発明に基づいて構成されたエンコーダ及びデコーダは、フレームシーケンシャル方式の立体ビデオを処理するために利用できるが、参照フレームの並べ換えは、符号化の利点が得られる場合にのみ選択的に行われるので、従来の（非立体）ビデオにもさらに使用することができる。
【００６９】
本明細書の説明から、本発明を様々な形で具体化できること、及び本発明が、限定するわけではないが、以下を含む様々な態様及び特徴を有することが理解されよう。
【００７０】
１．フレームシーケンシャル方式の立体ビデオを符号化するための装置であって、第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたコンピュータと、前記コンピュータに結合されたメモリと、前記メモリ上に記憶され前記コンピュータ上で実行可能なプログラムとを備え、前記プログラムが、画像をブロックに分割するステップと、参照フレームを並べ換えることにより符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、並べ換えた参照フレームを含む参照フレームの配列に対応して、フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップとを実行するためのものであることを特徴とする装置。
【００７１】
２．前記エントロピー符号化が、変換を使用してブロックを非相関化し、変換係数を量子化し、変換を出力データに符号化するステップを含むことを特徴とする実施形態１に記載の装置。
【００７２】
３．前記プログラムが、シーンカットが発生したかどうかを判断してフレームをＩタイプに設定することを含むステップを実行することを特徴とする実施形態１に記載の装置。
【００７３】
４．前記プログラムが、シーケンシャル方式の立体ビデオ出力の品質変動を低減するためにデュアルＩフレームを使用することを含むステップを実行することを特徴とする実施形態１に記載の装置。
【００７４】
５．並べ換えた参照フレーム及び元々の配列の参照フレームの両方でフレームを符号化し、各々の統計値を比較して、符号化において参照フレームを並べ換えるべきかどうかを判断することを特徴とする実施形態１に記載の装置。
【００７５】
６．前記符号化装置が、ＡＶＣ又はＨ．２６４符号化規格に準拠してビデオを符号化するようにされたエンコーダを含むことを特徴とする実施形態１に記載の装置。
【００７６】
７．前記装置内における選択した参照フレームの前記並べ換えにより、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数が増加することを特徴とする実施形態１に記載の装置。
【００７７】
８．前記装置内における選択した参照フレームの前記並べ換えにより、フレーム当たりの参照されるマクロブロックの数が減少することを特徴とする実施形態１に記載の装置。
【００７８】
９．前記第１及び第２の画像シーケンスが、左側の撮像装置及び右側の撮像装置からの画像取り込みに対応して取り込まれることを特徴とする実施形態１に記載の装置。
【００７９】
１０．前記プログラムが、参照フレームの配列に関する情報をシーケンシャル方式の立体ビデオ出力に符号化して、デコーダが参照フレームを正しく復号できるようにすることを含むステップを実行することを特徴とする実施形態１に記載の装置。
【００８０】
１１．フレームシーケンシャル方式の立体ビデオを符号化するための装置であって、第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたコンピュータと、前記コンピュータに結合されたメモリと、前記メモリ上に記憶され前記コンピュータ上で実行可能なプログラムとを備え、前記プログラムが、画像をブロックに分割するステップと、参照フレームを並べ換えることにより、スキップされるマクロブロック数の増加、ＰＳＮＲの上昇、及び／又はビットコスト制約条件との適合に対応して符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、並べ換えた参照フレームを含む参照フレームの配列に対応して、変換を使用してブロックを非相関化し、変換係数を量子化し、変換を出力データに符号化することにより、フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップと、参照フレームの配列に関するサイド情報をシーケンシャル方式の立体ビデオ出力に符号化して、デコーダが参照フレームを正しく復号できるようにするステップとを実行するためのものであることを特徴とする装置。
【００８１】
１２．前記プログラムが、シーケンシャル方式の立体ビデオ出力の品質変動を低減するためにデュアルＩフレームを使用することを含むステップを実行することを特徴とする実施形態１１に記載の装置。
【００８２】
１３．並べ換えた参照フレーム及び元々の配列の参照フレームの両方でフレームを符号化し、各々の統計値を比較して、符号化において参照フレームを並べ換えるべきかどうかを判断することを特徴とする実施形態１１に記載の装置。
【００８３】
１４．前記符号化装置が、ＡＶＣ又はＨ．２６４符号化規格に準拠してビデオを符号化するようにされたエンコーダを含むことを特徴とする実施形態１１に記載の装置。
【００８４】
１５．前記装置内における選択した参照フレームの前記並べ換えにより、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数が増加し、及び／又はフレーム当たりの参照されるマクロブロック数が減少することを特徴とする実施形態１１に記載の装置。
【００８５】
１６．第１及び第２の画像シーケンスをフレームシーケンシャル方式の立体ビデオ出力に符号化するように構成されたビデオエンコーダ回路内のフレームシーケンシャル方式の立体ビデオを符号化する方法であって、画像をブロックに分割するステップと、参照フレームを並べ換えることにより符号化が改善されるかどうかの判断に対応して、選択した参照フレームを並べ換えるステップと、並べ換えた参照フレームを含む参照フレームの配列に対応して、フレームシーケンシャル方式の立体ビデオの動き予測及びエントロピー符号化を完了するステップとを含み、選択した参照フレームの前記並べ換えにより、スキップされてフレームシーケンシャル方式の立体ビデオ出力に符号化されないマクロブロックの数が増加することを特徴とする方法。
【００８６】
１７．前記エントロピー符号化が、変換を使用してブロックを非相関化し、変換係数を量子化し、変換を出力データに符号化するステップを含むことを特徴とする実施形態１６に記載の方法。
【００８７】
１８．シーケンシャル方式の立体ビデオ出力の品質変動を低減するためにデュアルＩフレームを使用するステップをさらに含むことを特徴とする実施形態１６に記載の方法。
【００８８】
１９．並べ換えた参照フレーム及び元々の配列の参照フレームの両方でフレームを符号化し、各々の統計値を比較して、符号化において参照フレームを並べ換えるべきかどうかを判断することを特徴とする実施形態１６に記載の方法。
【００８９】
２０．参照フレームの配列に関する情報をシーケンシャル方式の立体ビデオ出力に符号化して、デコーダが参照フレームを正しく復号できるようにするステップをさらに含むことを特徴とする実施形態１６に記載の方法。
【００９０】
上記の説明は多くの詳細を含んでいるが、これらは本発明の範囲を限定するものではなく、現在のところ本発明の好ましい実施形態の一部を例示するためのものにすぎないと解釈すべきである。従って、本発明の範囲は、当業者にとって明らかになると考えられる他の実施形態も完全に含み、従って本発明の範囲は、添付の特許請求の範囲以外のいかなるものによっても限定すべきものではなく、特許請求の範囲では、単数形による要素への言及は、明述しない限り「唯一」を意味するものではなく、「１又はそれ以上」を意味することを意図するものであると理解されよう。当業者に周知の上述の好ましい実施形態の要素の構造上及び機能上の同等物は、引用により本明細書に明確に組み入れられ、本特許請求の範囲に含まれることを意図している。さらに、本発明が解決しようとする個々の及び全ての課題は本特許請求の範囲に含まれるので、装置及び方法がこれらの問題に対応する必要はない。さらに、本開示の要素、構成要素又は方法ステップは、これらが特許請求の範囲に明示されているかどうかにかかわらず、一般に公開されることを意図するものではない。本明細書に記載される請求項の要素は、この要素が「〜のための手段」という表現を使用して明確に示されない限り、米国特許法１１２条第６項の規定により解釈すべきではない。
【符号の説明】
【００９１】
５０  参照フレームの選択的並べ換えの実施形態例
５２  開始
５４  参照リストの並べ換え
５６  ｉ＝０か？
５８  スライスを符号化
６０  現在の統計値を保存
６２  ｉ＝ｉ＋１
６４  ｉ＝１か？
６６  参照リストを並べ換え
６８  前回の統計値に基づく
７０  スライスを符号化
７２  前回の統計値と比較（並べ換えするかどうか）
７４  並べ換え？
７６  前回の判定に基づく
７８  参照リストを並べ換え
８０  スライスを符号化
８２  終了
【図１】
2013509048.tif 000003
【図２Ａ】
2013509048.tif 000004
【図２Ｂ】
2013509048.tif 000005
【図３】
2013509048.tif 000006
【図４】
2013509048.tif 000007
【図５】
2013509048.tif 000008
【図６】
2013509048.tif 000009
【図７】
2013509048.tif 000010
【図８】
2013509048.tif 000011
【図９】
2013509048.tif 000012
【図１０】
2013509048.tif 000013
【図１５】
2013509048.tif 000014
【図１１】
2013509048.tif 000015
【図１２】
2013509048.tif 000016
【図１３】
2013509048.tif 000017
【図１４】
2013509048.tif 000018
【国際調査報告】
2013509048.tif 000019
2013509048.tif 000020