(57)【特許請求の範囲】
【請求項１】
ピクチャ群を符号化する方法であって、
ピクチャ群におけるピクチャそれぞれを同時に、前記ピクチャを単一のスライスとして符号化する第１の符号化モードに応じて、かつ、フレキシブル・マクロブロック配列に応じて前記ピクチャを符号化する第２の符号化モードに応じて符号化する工程と、
前記第１の符号化モード及び前記第２の符号化モードそれぞれについて前記ピクチャ群におけるピクチャそれぞれのビット・レート情報を取り出す工程と、
前記ピクチャ群を符号化するためのビット・レートを合計ビット・レートに制約する工程と、
前記第１の符号化モード及び前記第２の符号化モードそれぞれに応じて前記ピクチャ群における少なくとも１つのスライスを廃棄し、隠蔽した結果として生じるそれぞれの歪みを前記ピクチャ群におけるピクチャそれぞれについて測定する工程と、
合計ビット・レート制約、及び前記ピクチャ群の前記測定された歪みに応じて前記第１の符号化モード及び前記第２の符号化モードのうちの一方を前記ピクチャ群におけるピクチャそれぞれについて選択する工程と、
前記ピクチャ群のピクチャそれぞれを、それらのそれぞれの選択された符号化モードを使用して符号化する工程と
を含む方法。
【請求項２】
請求項１記載の方法であって、前記符号化する工程は、復号化器での符号化ピクチャ群における喪失を、フレームベースの誤り隠蔽手法及びスライスベースの誤り隠蔽手法の何れかを使用して選択的に隠蔽することができるように、単一のスライスとしてピクチャを符号化するモード及び前記少なくとも１つのフレキシブル・マクロブロック配列モードのうちでそれぞれ選択することにより、前記群内のピクチャそれぞれを符号化する方法。
【請求項３】
請求項１記載の方法であって、前記選択する工程は前記群内の前記ピクチャ毎の符号化モードを選択して、前記合計ビット・レート制約下で前記ピクチャ群の歪みを最小化し、前記最小化は、レート歪み解析及び最適化に基づいて選択される方法。
【請求項４】
請求項１記載の方法であって、前記符号化する工程は、群内のピクチャそれぞれを符号化するために使用される単一のスライスとしてピクチャを符号化するモード及び前記少なくとも１つのフレキシブル・マクロブロック配列モードのうちの選択されたモードを前記ピクチャ群に対応する少なくとも１つのピクチャ・パラメータ・セット内に規定する工程を含む方法。
【請求項５】
請求項１記載の方法であって、
前記ピクチャ群内のピクチャの少なくとも１つに対応する少なくとも１つのスライスを廃棄し、隠蔽する工程と、
単一のスライスとしてピクチャを符号化するモード及び少なくとも１つのフレキシブル・マクロブロック配列モードについて、前記ピクチャ群の残りにわたって前記少なくとも１つのスライスに対応する、結果として生じる歪みを測定する工程と、
前記合計ビット・レート制約、及び前記測定された歪みに基づいて前記ピクチャ群のピクチャ毎に単一のスライスとしてピクチャを符号化するモード及び前記フレキシブル・マクロブロック配列モードの一方を選択する工程と
を更に含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本出願は、その全体を本明細書及び特許請求の範囲に援用する「ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＯＰＴＩＭＩＺＡＴＩＯＮ  ＯＦ  ＦＲＡＭＥ  ＳＥＬＥＣＴＩＯＮ  ＦＯＲ  ＦＬＥＸＩＢＬＥ  ＭＡＣＲＯＢＬＯＣＫ  ＯＲＤＥＲＩＮＧ  （ＦＭＯ）  ＶＩＤＥＯ  ＥＮＣＯＤＩＮＧ」と題する、西暦２００５年１２月２２日付米国仮特許出願第６０／７５３,２９４号の利益を主張する。
【０００２】
本発明は、一般にビデオ符号化に関し、特に、フレキシブル・マクロブロック配列（ＦＭＯ）ビデオ符号化のためにフレーム選択を最適化する方法及び装置に関する。
【背景技術】
【０００３】
フレキシブル・マクロブロック配列（ＦＭＯ）は、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）動画像専門家グループ−４（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合電気通信標準化セクター（ＩＴＵ−Ｔ）  Ｈ．２６４標準  （以降、「ＭＰＥＧ４／Ｈ．２６４  標準」又は単に「Ｈ．２６４標準」）において公表された新たな誤り耐性ツールである。ＦＭＯは、２つ以上のスライス群に符号化ピクチャを分割することにより、ビット・レートの増加を犠牲にして、符号化ビットストリームの誤り耐性機能を向上させる。ＪＭ参照ソフトウェアでは、ＦＭＯがピクチャ群（ＧＯＰ）に施された場合、ＧＯＰ内の全てのピクチャが同じＦＭＯモードで符号化される。ＦＭＯの特性を復号化器におけるスライスベースの誤り隠蔽機能によって活用して、送信中のデータ喪失の場合に復号化ビデオ品質を向上させる。
【０００４】
しかし、非スライス・ベースの誤り隠蔽オプションがＨ．２６４のジョイント・モデル（ＪＭ）復号化器において利用可能になるので、各種のデータ喪失が存在している状態下で、種々の方法を引き起こすことが可能である。したがって、復号化器側のオプション、及びソースの特性を考慮に入れずにフレーム全てを同じＦＭＯモードで符号化させることは、ＦＭＯ符号化に費やされる余分のビット・レートに対して効率的でないことがあり得る。
【０００５】
Ｈ．２６４標準では、スライスは、ＦＭＯが使用されない場合、ラスタ走査において連続して配列される、整数のマクロブロック（ＭＢ）である。上記標準において規定されるピクチャ内予測機構は、同じスライスのマクロブロック内でのみ許容され、よって、各スライスは、他のスライスからのデータを使用することなく無関係に復号化することが可能であるように自己完結的である。スライス群は、対応するピクチャ・パラメータの組、及びスライス・ヘッダに規定されたマクロブロック割り当てマップ（ＭＢＡｍａｐ）によって割り当てられるマクロブロックの組であり、スライス群はいくつかのスライスに更に分割することが可能である。ＦＭＯは、ピクチャ内のスライス群の数が２つ以上である場合に規定される。したがって、ピクチャは複数のスライスに分割することが可能であり、この場合、各スライス内のマクロブロックはラスタ走査において空間的に連続していなければならない。あるいは、ピクチャは、ＭＢＡｍａｐに基づいてチェッカボードや「フォアグラウンド−残り」などのフレキシブル・マクロブロック走査パターンが可能になるようにＦＭＯにより、複数のスライス群に分割することが可能である。
【０００６】
図１Ａに移れば、ピクチャの２つのスライスへの例示的な分割の全体を参照符号１００で示す。図１Ａの例では、各スライスは、空間的に連続し、隣接したマクロブロックを含む。
【０００７】
図１Ｂに移れば、チェッカボード・パターンを備えた２つのスライス群にピクチャを分割する例の全体を参照符号１５０で示す。図１Ｂの例では、スライス群は一スライスを有し、スライスは、ピクチャ全体にわたって点在するマクロブロックを含む。図１Ａの例と比較すれば、図１Ｂの各スライス群におけるマクロブロックは、ＦＭＯを使用することにより、必ずしも空間近傍でない。よって、ピクチャ内予測は通常、より効率的でなく、圧縮効率に影響を及ぼし得る。
【０００８】
ＦＭＯは、Ｈ．２６４標準のロバスト性を向上させるよう企図される。まず、ＦＭＯを使用することにより、ピクチャは複数のスライス群に分割され、よって複数のスライスに分割される。各スライスは自己完結的であるので、複数のスライスは、いくつかの空間的に別個の再同期化点を設け、よって、損なわれたピクチャからのより有用な情報を場合によっては確保することが可能である。第２に、ＦＭＯにおける種々のマッピング・パターンを使用することにより、ピクチャ内の喪失された領域が、他のスライス群からの正しく復号化された近傍によって取り囲まれることが考えられる。適切な誤り隠蔽手法に関して、喪失された領域を、視覚的な影響が少ないその近傍に基づいて隠蔽することが可能である。最後に、ＦＭＯを使用することにより、スライスは比較的小さくなり、これは、無線環境におけるパケット（スライス）喪失確率の低下につながる。しかし、前述の利点は、ある程度の犠牲を払って得られる。ピクチャをスライスに分割することにより、制約付きのピクチャ内予測が理由で、符号化効率が損なわれる。更に、ＦＭＯは、シグナリング及びパケット化ビット・レートのオーバヘッドをもたらす。
【０００９】
Ｈ．２６４参照ジョイント・モデル（ＪＭ）符号化器では、ＦＭＯが施されると、ＧＯＰ内の各ピクチャに無差別に施される。この場合、データはスライス喪失の形式で喪失され、第１の従来技術の手法において説明したように、スライスベース誤りの隠蔽を使用して、喪失されたデータを隠蔽する。第１の従来技術の手法では、喪失されたイントラ・スライスがその空間近傍に基づいて隠蔽される一方、喪失されたインター・スライスは、喪失されたインター・スライスの空間近傍、及び「サイド・マッチ歪み」から予測された動きベクトルに基づいて隠蔽される。
【００１０】
「フレーム・コピー」誤り隠蔽手法及び「動きベクトル・コピー」誤り隠蔽手法を表す第２の先行技術手法の前には、スライスベースの誤り隠蔽は、ＪＭ参照復号化器内で実現される唯一の誤り隠蔽であった。より多くの誤り隠蔽オプション（例えば、第２の従来技術の手法など）が利用可能な状態で、ＪＭ参照復号化器は、より多くのタイプのデータ喪失（ピクチャ喪失など）を処理することができる。
【００１１】
ビデオ・ピクチャ及びビデオ系列、喪失パターン等の特性に応じて、種々の誤り隠蔽手法が、種々の喪失状態に対して最善の性能をもたらすことができる。したがって、ＧＯＰ内の各ピクチャをＦＭＯにおいて符号化させることは、ＦＭＯに関連付けられた余分なビット・レートのコストの使用には最も効果的なやり方である訳でないことがあり得る。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従来技術の前述並びに他の欠点及び不利点は、フレキシブル・マクロブロック配列（ＦＭＯ）ビデオ符号化のためにフレーム選択を最適化する方法及び装置に関する本発明によって解決される。
【課題を解決するための手段】
【００１３】
本発明の一局面によれば、ビデオ符号化器を提供する。ビデオ符号化器は、フレーム・モードと、少なくとも１つのフレキシブル・マクロブロック配列モードとの間で選択することにより、ピクチャ群を符号化する符号化器を含む。群内のピクチャは、フレーム・モード及び少なくとも１つのフレキシブル・マクロブロック配列モードのうちの別々のモードで同時に符号化することが可能である。群内のピクチャ毎のモード選択は、ピクチャ群の達成された最大誤り耐性機能に基づく。
【００１４】
本発明の別の局面によれば、ピクチャ群を符号化する方法を提供する。方法は、フレーム・モードと、少なくとも１つのフレキシブル・マクロブロック配列モードとの間で選択することにより、ピクチャ群を符号化する工程を含む。群内のピクチャは、フレーム・モード及び少なくとも１つのフレキシブル・マクロブロック配列モードのうちの別々のモードで同時に符号化することが可能である。群内のピクチャ毎のモード選択は、ピクチャ群の達成された最大誤り耐性機能に基づく。
【発明を実施するための最良の形態】
【００１５】
本発明の前述並びに他の局面、特徴及び利点は、添付図面に関して検討するものとする、以下の、例示的な実施例の詳細な説明から明らかになるであろう。
【００１６】
本発明は、例示的な図によって、より深く理解することができる。
【実施例】
【００１７】
本発明は、フレキシブル・マクロブロック配列（ＦＭＯ）ビデオ符号化のためにフレーム選択を最適化する方法及び装置に関する。
【００１８】
本明細書は、本発明の原理を例証する。よって、本明細書及び特許請求の範囲に明記又は明示されていないが、本発明の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を当業者が考え出すことができるであろう。
【００１９】
本明細書及び特許請求の範囲記載の例及び条件付き言い回しは全て、本発明の原理、及び、当該技術を進展させるために本願発明者が寄与する本願の概念の理解を手助けするという教示の目的のためであることが意図されており、前述の特に記載された例及び条件に限定されないと解されるものとする。
【００２０】
更に、本発明の原理、局面及び実施例、並びにその具体例を記載した、本明細書及び特許請求の範囲内の提示は全て、その構造的な均等物及び機能的な均等物を包含することが意図されている。更に、現在知られている均等物、及び、将来において開発される均等物（構造に係わらず、同じ機能を行う、開発される何れかの構成要素）を前述の均等物が含むことが意図されている。
【００２１】
よって、例えば、本明細書記載のブロック図が、本発明の原理を実施する例証的な回路の概念図を表すことが当業者によって認識されるであろう。同様に、コンピュータ又はプロセッサを明示しているか否かに係わらず、コンピュータ読み取り可能な媒体において実質的に表し、よって、コンピュータ又はプロセッサによって実行することができる種々の処理を、何れかのフローチャート、フロー図、状態遷移図、疑似コード等が表すことが認識されるであろう。
【００２２】
図に示す種々の構成要素の機能は、専用ハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを用いることによって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は複数の個々のプロセッサ（一部は共有され得る）によって備えることができる。更に、「プロセッサ」又は「コントローラ」の語を明示的に用いていることは、ソフトウェアを実行することができるハードウェアを排他的に表すと解されないものとし、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するリード・オンリー・メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び不揮発性記憶装置を限定なしで暗黙的に含み得る。
【００２３】
他のハードウェア（通常のハードウェア及び／又はカスタム）も含むことができる。同様に、図に示すスイッチは何れも、概念的なものに過ぎない。その機能は、プログラム・ロジックの処理によって、専用ロジックによって、プログラム制御と専用ロジックとの相互作用によって行うことができ、又は手作業によっても行うことができる。具体的な手法は、意味合いから、より具体的に理解されるように実施者によって選択可能である。
【００２４】
本願の特許請求の範囲では、特定された機能を行う手段として記載された構成要素は何れも、前述の機能を行う何れかの手段（例えば、ａ）その機能を行う回路要素の組み合わせ、ｂ）何れかの形態のソフトウェア（よって、上記ソフトウェアを実行して上記機能を行うために適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む）を含む）を包含することが意図されている。前述の特許請求の範囲記載の本発明は、特許請求の範囲が要求するやり方で、記載された種々の手段によって提供される機能が組み合わせられ、集約されることにある。よって、前述の機能を提供することが可能な如何なる手段も、本明細書及び特許請求の範囲記載のものと均等であるものとする。
【００２５】
図２に移れば、本願の原理を適用することができる例示的なビデオ符号化器の全体を参照符号２００で示す。ビデオ符号化器２００への入力が、加算接合部２１０の非反転入力と信号通信して接続される。加算接合部２１０の出力は、変換器／量子化器２２０と信号通信して接続される。変換器／量子化器２２０の出力は、エントロピ符号化器２４０と信号通信して接続され、エントロピ符号化器２４０の出力は符号化器２００の外部に利用可能な出力である。
【００２６】
変換器／量子化器２２０の出力は、逆変換器／量子化器２５０と信号通信して更に接続される。逆変換器／量子化器２５０の出力は、加算接合部２８８の第１の非反転入力と信号通信して接続される。加算接合部２８８の出力は、デブロック・フィルタ２６０の入力と信号通信して接続される。デブロック・フィルタ２６０の出力は参照ピクチャ記憶装置２７０と信号通信して接続される。参照ピクチャ記憶装置２７０の第１の出力は、動き推定器２８０の第１の入力と信号通信して接続される。符号化器２００への入力は、動き推定器２８０の第２の入力と信号通信して更に接続される。動き推定器２８０の出力は、動き補償器２９０の第１の入力と信号通信して接続される。参照ピクチャ記憶装置２７０の第２の出力は、動き補償器２９０の第２の入力と信号通信して接続される。動き補償器２９０の出力は、加算接合部２１０の反転入力及び加算接合部２８８の第２の非反転入力と信号通信して接続される。
【００２７】
図３に移れば、本願の原理を適用することができる例示的なビデオ復号化器の全体を参照符号３００によって示す。ビデオ復号化器３００は、ビデオ系列を受け取るためのエントロピ復号化器３１０を含む。エントロピ復号化器３１０の第１の出力は、逆量子化器／変換器３２０の入力と信号通信して接続される。逆量子化器／変換器３２０の出力は、加算接合部３４０の第１の入力と信号通信して接続される。
【００２８】
加算接合部３４０の出力はデブロック・フィルタ３９０と信号通信して接続される。デブロック・フィルタ３９０の出力は、参照ピクチャ記憶装置３５０と信号通信して接続される。参照ピクチャ記憶装置３５０は、動き補償器３６０の第１の入力と信号通信して接続される。動き補償器３６０の出力は、加算接合部３４０の第２の入力と信号通信して接続される。エントロピ復号化器３１０の第２の出力は動き補償器３６０の第２の入力と信号通信して接続される。デブロック・フィルタ３９０の出力は、ビデオ復号化器３００の出力を供給する。
【００２９】
本願の原理は、フレキシブル・マクロブロック配列（ＦＭＯ）符号化の効率を向上させる方法及び装置に関する。効果的には、本願の原理は、ＦＭＯ符号化を利用するＨ．２６４標準又は何れかの他のビデオ符号化標準に対して利用することができる。本願の原理によれば、ピクチャ群（ＧＯＰ）内の最善のピクチャは、誤り耐性機能を最大に維持することが可能であるような合計ビット・レート制約を備えたＦＭＯにおいて符号化されるよう選択される。これにより、事実上、他の目的に使用することが可能なビット・レート節減が生じる。効果的には、この方法は、Ｈ．２６４標準及び他の標準における他の誤り耐性手法と組み合わせることが可能である。本明細書及び特許請求の範囲では、「最大誤り耐性機能」は以下を表す。すなわち、フレーム・モード又はフレキシブル・マクロブロック配列モード（スライス群数は一定）におけるピクチャの符号化の選択により、符号化器は、特定のビット・レート制約でフレームを符号化する旨の判定を行うことが可能である。考えられる選択全てのうちの最適な選択により、エンドツーエンド歪みが最小になり得るものであり、これにより、最大誤り耐性機能が達成される。
【００３０】
Ｈ．２６４参照ＪＭ復号化器バージョン１０．０の前は、復号化器において考慮に入れられた誤り隠蔽のケ―スはスライス喪失のみであった。前述の第１の従来技術の手法では、喪失されたイントラ・スライスがその空間近傍に基づいて隠蔽される一方、喪失されたインター・スライスは、その空間近傍、及び「サイド・マッチ歪み」基準から予測された動きベクトルに基づいて隠蔽される。しかし、Ｈ．２６４参照ＪＭ復号化器バージョン１０．０の導入後、フレーム全体の喪失の２つの誤り隠蔽手法（すなわち、前述の第２の従来技術の手法の「フレーム・コピー」手法及び「動きベクトル・コピー」手法）が参照復号化器に導入されている。「フレーム・コピー」手法は、単純であるが、動きが少ない系列にのみ効果的である。「動きベクトル・コピー」手法は、より多くの計算を必要とするが、動きがコヒーレントな系列に効果的であり得る。したがって、Ｈ．２６４参照ＪＭ復号化器は、喪失スライス及び喪失ピクチャをともに隠蔽することができる。
【００３１】
ＦＭＯモードでのピクチャの符号化と比較すれば、フレーム・モードにおける符号化は、余分なシグナリングやパケット化のオーバヘッドを受けず、圧縮効率の劣化ももたらさない。一方、フレームベースの誤り隠蔽は一般に、スライスベースの誤り隠蔽ほど効果的でない。しかし、一部の系列における特定のピクチャの場合、前述の第２の従来技術の手法の単純なフレームベースの誤り隠蔽手法でさえ、スライスベースの誤り隠蔽手法に匹敵する性能をもたらし得る。
【００３２】
本発明の原理によれば、ＧＯＰにおけるピクチャそれぞれはＦＭＯモード又はフレーム・モードで符号化され、ＪＭ復号化器における対応する誤り隠蔽は、両方のモードからの利点を活用することが可能であるように喪失の場合に起動される。スライス群モードをフレーム単位で変更することは標準によって認められているので、この機能によって生成されたビットストリームは、完全に標準に準拠している。特に、各ピクチャ・パラメータ組（ＰＰＳ）は、ＧＯＰのスライス群モード・タイプを規定する。よって、２つ以上のタイプのスライス群モードがＧＯＰにおいて使用される場合、余分なピクチャ・パラメータの組が規定され、ＧＯＰ内のビデオ・データの前に一度のみ送出される。次いで、ＧＯＰにおける各ピクチャは、符号化及び復号化中のそのモードの適切な組を参照する。
【００３３】
ピクチャを符号化するために使用する対象のモードの決定は、例えば、誤り隠蔽の効果、チャネル状態等などの要因を考慮に入れることにより、行うべきである。レート歪み最適化フレームワークを以下に説明する。
【００３４】
符号化する対象のビデオ系列からの長さＮのＧＯＰを考えてみる。例えば、ＧＯＰの第１のピクチャはＩＤＲスライスとして符号化することができ、ＧＯＰのピクチャの残りはＰスライスとして符号化することができる。ＧＯＰの各ピクチャは、単一のスライスとして符号化することができ（フレーム・モード）、ＦＭＯモードにより、いくつかのスライスに分割することもできる。話を単純にするために、指定されたＱＰは、各ピクチャが符号化されたモードにかかわらず、ＧＯＰにわたって維持することができる。更に、一定のスライス喪失レートをスライスにその長さにかかわらず施すことができる。
【００３５】
各スライスが、ｐというランダムな喪失レートの対象になるとする。ＧＯＰにおけるピクチャｎ（１＜ｎ＜Ｎ）をフレーム・モードで符号化するものとする。このピクチャを送信することにより、ＧＯＰが受ける期待歪みは、
Ｅ［Ｄｎ］ｆｒａｍｅ＝（１−ｐ）Ｄｓ，ｎ＋ｐＤｃ，ｎ                            （１）
として記述することが可能である。
ここで、Ｄｓ，ｎは、指定されたＱＰでフレーム・モードにおいてピクチャを符号化することによって生じるソース歪みを表し、Ｄｃ，ｎは、ピクチャが喪失され、復号化器によって隠蔽される場合に生じる歪みを表す。この歪みは、ピクチャｎの隠蔽歪み、及びピクチャ後のＧＯＰの残りに与えられる誤り伝播歪みを含む。
【００３６】
同じピクチャｎが、ＦＭＯモードで符号化され、ピクチャｎがｋ個のスライスに分割されることを考えてみる。同様に、このピクチャを送信することにより、ＧＯＰが受ける期待歪みは、
【数１】
0005415081.tif 000002
として記述することが可能である。ここで、
【数２】
0005415081.tif 000003
は、ピクチャが、指定されたＱＰでＦＭＯモードにおいて符号化された場合のソース歪みであり、
【数３】
0005415081.tif 000004
は、（ｋ個のスライスのうちの）ｉ個のスライスが喪失され、隠蔽された場合の歪みである。ｉ個の喪失スライスの種々の組み合わせは、異なる歪みを有し得るので、
【数４】
0005415081.tif 000005
は、理想的には、考えられる喪失の組み合わせ全てを平均化することによって得られる値である。
【００３７】
【数５】
0005415081.tif 000006
は、ピクチャｎの誤り隠蔽歪み、及びＧＯＰの残りに伝播された歪みを表す。
【００３８】
ＧＯＰ全体が送信される場合の合計期待歪みは
【数６】
0005415081.tif 000007
として近似することが可能である。ここで、ｍｏｄｅ∈｛ｆｒａｍｅ，ｆｍｏ｝である。
【００３９】
前述の通り、前述のフレームワークの目標は、
【数７】
0005415081.tif 000008
として、又は式（３）
【数８】
0005415081.tif 000009
によって表すことが可能な合計ビット・レートの制約を前提にピクチャ毎に符号化するための最適なモードを選択することである。
【００４０】
ここで、ＲＴは、ＧＯＰの所定の合計ビット・レートである。Ｒｆｒａｍｅ及びＲｆｍｏを、ＧＯＰ内のピクチャ全てがフレーム・モード及びＦＭＯモードそれぞれで符号化された場合の、結果として生じるビット・レートとする。明らかに、Ｒｆｒａｍｅ≦ＲＴ≦Ｒｆｍｏである。
【００４１】
２値ベクトル
【数９】
0005415081.tif 000010
は、ＧＯＰにおける各ピクチャが符号化されるモードを表すものとし、０エントリはフレーム・モードを示し、１エントリはＦＭＯモードを示す。更に、
【数１０】
0005415081.tif 000011
【数１１】
0005415081.tif 000012
【数１２】
0005415081.tif 000013
【数１３】
0005415081.tif 000014
としてベクトルを定義する。
ここで、
【数１４】
0005415081.tif 000015
及び
【数１５】
0005415081.tif 000016
の各要素が、式（１）及び（２）それぞれに基づいて得られる。同様に、
【数１６】
0005415081.tif 000017
及び
【数１７】
0005415081.tif 000018
の各要素は、ピクチャｎがフレーム・モード及びＦＭＯモードそれぞれで符号化されるレートを表す。
【００４２】
上記定義により、式（５）の最適化は、２値整数プログラミング問題（ナックザック問題）に
【数１８】
0005415081.tif 000019
として書き直すことが可能である。
【００４３】
式（１０）は、分岐限定アルゴリズムに限定されないが、これを含む前述及び関連した技術分野における当業者によって容易に求められる何れかの適切なアルゴリズムによって容易に解くことが可能である。
【００４４】
式（１０）を解くために必要な情報全てを得るために、ＧＯＰは、フレーム・モード及びＦＭＯモードそれぞれで前置符号化することが可能である。２つの符号化により、２つのモードの各ピクチャのソース歪み及びビット・レート情報を正確に取り出すことが可能である。しかし、式（１）及び式（２）において、誤り隠蔽及び伝播によって生じる歪み項についての情報を得ることはより複雑である。１つのやり方は、前置符号化系列における特定のスライスを明示的に廃棄し、隠蔽し、２つのモードのＧＯＰの残りにわたる喪失によって生じる歪みを直接測定する。あるいは、歪み項についての情報は、より高度なアルゴリズムによって推定することが可能である。その場合、誤り伝播歪みが、各フレームが符号化されるモードと無関係であると、式（３）を仮定しなければならない。このことは、常にあてはまることは必ずしもないが、差異は、生じた喪失歪みの値と比較して小さい。
【００４５】
実際に、より多くの仮定では、式（１）及び式（２）に含まれたフレーム・モード及びＦＭＯモードのソース歪み情報は必要でない。Ｄｃ，ｎ及び
【数１９】
0005415081.tif 000020
は、送信によってのみ生じる（すなわち、ピクチャｎのソース歪みは含まれない）チャネル歪みとして再定義される。次いで、ソース歪みとチャネル歪みに相関がないと仮定され、
Ｅ［Ｄｎ］ｆｒａｍｅ＝（１−ｐ）Ｄｓ，ｎ＋ｐ（Ｄｓ，ｎ＋Ｄｃ，ｎ）＝Ｄｓ，ｎ＋ｐＤｃ，ｎ（１１）として更に表すことが可能である。
同様に、式（２）は
【数２０】
0005415081.tif 000021
として書き直すことが可能である。ここで、式（１１）及び（１２）では、同じＧＰがフレーム・モード及びＦＭＯモードにおいて使用されるので、ピクチャｎのＤｓ，ｎ及び
【数２１】
0005415081.tif 000022
のソース歪み値は非常に近い。式（１０）の最適化を解くと、目的関数では、Ｄｓ，ｎと
【数２２】
0005415081.tif 000023
との差は、２つのモードのチャネル歪み間の差と比較してごくわずかである。したがって、Ｄｓ，ｎと
【数２３】
0005415081.tif 000024
との差は算出において無視することができる。よって、２つのモードのソース歪み情報は、フレームワークによって必要でない。
【００４６】
前述のフレームワークが、低減されたビット・レートで、ＦＭＯの誤り耐性機能の大半を維持することが可能であることを実験は明らかにしている。特定の場合には、更に強い誤り耐性機能を達成することが可能である。
【００４７】
更に、ビデオ系列においてＦＭＯモードで符号化するよう選択される最適なピクチャの組は通常、小さな範囲で喪失レートが変動する場合、あまり変わらない。このことは、一喪失レートに最適化されたビットストリームが、別の喪失レートにも最適な状態に近いことを意味している。したがって、前述のフレームワークは、特定の喪失レートの変動に対してロバストである。代表的な喪失レートをよって、一定範囲の喪失レートの場合の最適化に選択することが可能である。前述の代表的なレートを選択するための単純な方法は、レートの範囲の中点を選ぶことである。
【００４８】
図４に移れば、フレキシブル・マクロブロック配列（ＦＭＯ）符号化モード及びフレーム・モードを任意的に使用してピクチャ群を符号化する例示的な方法を参照符号４００により、全体を示す。
【００４９】
方法４００は、ピクチャ群（ＧＯＰ）を入力する機能ブロック４０４を含み、機能ブロック４０８、機能ブロック４３６、及びループ限度ブロック４６０に制御を渡す。機能ブロック４０８は、ＧＯＰをフレーム・モードで符号化し、機能ブロック４１２に制御を渡す。機能ブロック４１２は、ＧＯＰにおけるピクチャ毎のソースレート情報を取得し、ループ限度ブロック４１６に制御を渡す。ループ限度ブロック４１６は、ＧＯＰにおける各ピクチャにわたってループし、機能ブロック４２０に制御を渡す。機能ブロック４２０は現在のピクチャを廃棄し、フレームベースの誤り隠蔽を行い、機能ブロック４２４に制御を渡す。機能ブロック４２４はチャネル歪みを測定し、ループ限度ブロック４２８に制御を渡す。ループ限度ブロック４２８はＧＯＰにおけるピクチャにわたるループを終了し、機能ブロック４３２に制御を渡す。機能ブロック４３２は、最適化問題（合計ビット・レート制約に関係する）を解いて、ＧＯＰ上の各ピクチャを符号化するために使用する対象の符号化モードに関する判定をレンダリングし、機能ブロック４６２に制御を渡す。機能ブロック４６２は、ピクチャに、同じ一定の量子化パラメータを使用し、判定ブロック４６４に制御を渡す。判定ブロック４６４は、ＧＯＰからの現在のピクチャについて、フレーム・モードを使用するか、又はＦＭＯモードを使用するかを判定する。フレーム・モードを使用する場合、制御は機能ブロック４６５に渡される。さもなければ、ＦＭＯモードを使用する場合、制御は機能ブロック４７０に渡される。
【００５０】
機能ブロック４６５は、フレームベースのピクチャ・パラメータの組を参照するピクチャを符号化し、機能ブロック４６８に制御を移す。機能ブロック４６８は、Ｈ．２６４標準によってフレーム符号化を行い、ループ限度ブロック４７６に制御を渡す。ループ限度ブロック４７６では、ＧＯＰにおける各ピクチャにわたるループを終了し、機能ブロック４８０に制御が渡される。機能ブロック４８０は対応するビットストリームを出力し、終了ブロック４８４に制御を渡す。
【００５１】
機能ブロック４７０は、スライスベースのピクチャ・パラメータ組を参照するピクチャを符号化し、機能ブロック４７２に制御を渡す。機能ブロック４７２は、Ｈ．２６４標準によってＦＭＯ符号化を行い、ループ限度ブロック４７６に制御を渡す。
【００５２】
機能ブロック４３６は、ＦＭＯモードにおいてＧＯＰを符号化し、機能ブロック４４０に制御を渡す。機能ブロック４４０は、ピクチャ毎のソースレート情報を取得し、ループ限度ブロック４４４に制御を渡す。ループ限度ブロック４４４は、ＧＯＰ内の各ピクチャにわたってループし、機能ブロック４４８に制御を渡す。機能ブロック４４８は、現在のピクチャにおけるスライスを廃棄し、スライスベースの誤り隠蔽を行い、機能ブロック４５２に制御を渡す。機能ブロック４５２はチャネル歪みを測定し、ループ限度ブロック４５６に制御を渡す。ループ限度ブロック４５６は、ＧＯＰにおける各ピクチャにわたるループを終了し、機能ブロック４３２に制御を渡す。
【００５３】
ループ限度ブロック４６０はＧＯＰにおける各ピクチャにわたってループし、判定ブロック４６４に制御を渡す。
【００５４】
図５に移れば、フレームベースの誤り隠蔽及び／又はスライスベースの誤り隠蔽を任意的に使用したピクチャ群を復号化する例示的な方法の全体を参照符号５００で示す。
【００５５】
方法５００は、ピクチャ群を入力する機能ブロック５０５を含み、ループ限度ブロック５１０に制御を渡す。ループ限度ブロック５１０は、ＧＯＰにおける各ピクチャにわたってループし、判定ブロック５１５に制御を渡す、判定ブロック５１５は、データ喪失が存在しているか否かを判定する。肯定の場合、制御は判定ブロック５２０に渡される。さもなければ、制御は機能ブロック５４５に渡される。
【００５６】
判定ブロック５２０は、フレーム喪失が存在しているか又はスライス喪失が存在しているかが判定される。フレーム喪失が存在している場合、制御は機能ブロック５２５に渡される。さもなければ、制御は機能ブロック５３０に渡される。
【００５７】
機能ブロック５２５はフレームベースの誤り隠蔽を行い、ループ限度ブロック５３５に制御を渡す。ループ限度ブロック５３５は、ＧＯＰにおける各ピクチャにわたるループを終了し、機能ブロック５４０に制御を渡す。機能ブロック５４０はＧＯＰを出力し、終了ブロック５５０に制御を渡す。
【００５８】
機能ブロック５３０は、スライスベースの誤り隠蔽を行い、ループ限度ブロック５３５に制御を渡す。
【００５９】
機能ブロック５４５は、Ｈ．２６４標準により、通常の復号化を行い、ループ限度ブロック５３５に制御を移す。
【００６０】
次に、一部を前述した本発明の多くの付随的な利点／構成の一部を説明する。例えば、一利点／構成は、フレーム・モードと、少なくとも１つのフレキシブル・マクロブロック配列モードとの間で選択することにより、ピクチャ群を符号化する符号化器を含むビデオ符号化器である。群内のピクチャは、フレーム・モード及び少なくとも１つのフレキシブル・マクロブロック配列モードのうちの別々のモードで同時に符号化することが可能である。群内のピクチャ毎のモード選択は、ピクチャ群の達成された最大誤り耐性機能に基づく。
【００６１】
別の利点／構成は、復号化器での符号化ピクチャ群における喪失を、フレームベースの誤り隠蔽手法及びスライスベースの誤り隠蔽手法の何れかを使用して選択的に隠蔽することができるようにフレーム・モードと少なくとも１つのフレキシブル・マクロブロック配列モードとの間でそれぞれ選択することにより、符号化器が群内のピクチャそれぞれを符号化する前述のビデオ符号化器である。
【００６２】
更に、別の利点／構成は、符号化器が群内のピクチャ毎に符号化モードを選択して、合計ビット・レートの制約下で、ピクチャ群の最大誤り耐性機能を達成するビデオ符号化器である。符号化モードは、レート歪み解析及び最適化に基づいて選択される。
【００６３】
更に、別の利点／構成は、ピクチャ群に対応する少なくとも１つのピクチャ・パラメータの組における群内のピクチャそれぞれを符号化するために使用されるフレーム・モード及び少なくとも１つのフレキシブル・マクロブロック配列モードのうちの選択されたモードを規定するビデオ符号化器である。
【００６４】
更に、別の利点／構成は、ピクチャ群内のピクチャ毎に、特定された量子化パラメータを維持する前述のビデオ符号化器である。
【００６５】
更に、別の利点／構成は、ピクチャ群を符号化して、国際標準化機構／国際電気標準会議の動画像専門家グループ−４パート１０高度ビデオ符号化標準／国際電気通信連合、電気通信標準化セクターのＨ．２６４標準）に準拠したビットストリームを生成する前述のビデオ符号化器である。
【００６６】
更に、別の利点／構成は、フレーム・モード及び少なくとも１つのフレキシブル・マクロブロック配列モードを使用して群内のピクチャそれぞれを前置符号化して、フレーム・モードと少なくとも１つのフレキシブル・マクロブロック配列モードとの間からのピクチャ群内のピクチャ毎に符号化モード選択をレンダリングするために使用するソース歪み及びビット・レート情報を得る前述のビデオ符号化器である。
【００６７】
更に、別の利点／構成は、ピクチャ群内のピクチャの少なくとも１つに対応する少なくとも１つのスライスを廃棄し、隠蔽し、フレーム・モード及び少なくとも１つのフレキシブル・マクロブロック配列モードについて、ピクチャ群の残りにわたって少なくとも１つのスライスに対応する、結果として生じる歪みを測定し、測定された歪みに基づいてピクチャ群のピクチャ毎にフレーム・モード及びフレキシブル・マクロブロック配列モードの一方を選択する前述のビデオ符号化器である。
【００６８】
更に、別の利点／構成は、ピクチャ群内の少なくとも１つのピクチャを廃棄し、隠蔽し、フレーム・モード及びフレキシブル・マクロブロック配列モードについて少なくとも１つのピクチャに対応する、結果として生じる歪みを測定し、測定された歪みに基づいてピクチャ群のピクチャ毎にフレーム・モード及びフレキシブル・マクロブロック配列モードの一方を選択する前述のビデオ符号化器である。
【００６９】
本発明の前述並びに他の構成及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて当業者によって容易に確認することができる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向プロセッサ、又はこれらの組み合わせの種々の形態で実現することができる。
【００７０】
最も好ましくは、本発明の教示はハードウェア及びソフトウェアの組み合わせとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを備えるマシンにアップロードすることができ、前述のマシンによって実行することができる。好ましくは、マシンは、ハードウェア（１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や入出力（「Ｉ／Ｏ」）インタフェースなど）を有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部若しくはアプリケーション・プログラムの一部、又はそれらの何れかの組み合わせであり得る。更に、種々の他の周辺装置（更なるデータ記憶装置や印刷装置など）をコンピュータ・プラットフォームに接続することができる。
【００７１】
更に、添付図面に表した構成システム部分及び構成方法の一部は好ましくはソフトウェアで実現されるので、システム構成部分間又は処理機能ブロック間の実際の接続は、本発明がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲に記載の教示が与えられれば、当業者は、本発明の前述及び同様の実現形態又は構成を考え出すことができるであろう。
【００７２】
添付図面を参照して例証的な実施例を本明細書及び特許請求の範囲において説明したが、本発明は前述のまさにその実施例に限定されるものでなく、本発明の範囲又は趣旨から逸脱しない限り、当業者によって種々の変更及び修正を行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本発明の範囲内に含まれることが意図されている。  
【図面の簡単な説明】
【００７３】
【図１Ａ】２つのスライスにピクチャを分割する例を示す図である。
【図１Ｂ】チェッカボード・パターンを有する２つのスライス群にピクチャを分割する例を示す図である。
【図２】本発明を適用することができる例示的なビデオ符号化器を示す図である。
【図３】本発明を適用することができる例示的なビデオ復号化器を示す図である。
【図４Ａ】フレキシブル・マクロブロック配列（ＦＭＯ）符号化モード及び／又はフレーム・モードを任意的に使用してピクチャ群を符号化する例示的な方法を示す図である。
【図４Ｂ】フレキシブル・マクロブロック配列（ＦＭＯ）符号化モード及び／又はフレーム・モードを任意的に使用してピクチャ群を符号化する例示的な方法を示す図である。
【図５】フレームベースの誤り隠蔽及び／又はスライスベースの誤り隠蔽を任意的に使用してピクチャ群を復号化する例示的な方法を示す図である。
【図１Ａ】
0005415081.tif 000025
【図１Ｂ】
0005415081.tif 000026
【図２】
0005415081.tif 000027
【図３】
0005415081.tif 000028
【図４Ａ】
0005415081.tif 000029
【図４Ｂ】
0005415081.tif 000030
【図５】
0005415081.tif 000031