(57)【要約】  スケーラブルなビデオ符号化において使用されるエンコーダは、エンハンスメントレイヤ映像用のマクロブロックモード選択を実行するメカニズムを具備している。このメカニズムは、エラー伝播によって影響を受けたビデオセグメント内のパケット損失又はエラーなどのチャネルエラーに反応するそれぞれのマクロブロック用の歪み推定器と、推定又はシグナリングされたチャネルエラーレートに従って重み係数を選択するラグランジュ乗算子セレクタと、符号化パラメータに基づいて最適なモードを選択するモード決定モジュール又はアルゴリズムと、を含んでいる。モード決定モジュールは、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計に基づいて、符号化モードを選択するべく構成されている。
2009522972.tif 000002
【特許請求の範囲】
【請求項１】
複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するためのスケーラブルなビデオ符号化法であって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、且つ、符号化歪みに晒された状態において前記エンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている方法において、
ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える前記符号化歪みを推定する段階と、
前記推定された符号化歪みに基づいて、前記マクロブロックを符号化するための前記マクロブロック符号化モードの中の１つを選択する段階と、
を有することを特徴とする方法。
【請求項２】
前記１つ又は複数のレイヤのそれぞれの重み係数を決定する段階をさらに有し、前記選択段階は、前記重み係数によって乗算された推定符号化レートにも基づいていることを特徴とする請求項１記載の方法。
【請求項３】
前記選択段階は、前記推定符号化歪みと、前記重み係数によって乗算された前記推定符号化レートの合計によって判定されることを特徴とする請求項２記載の方法。
【請求項４】
前記推定段階は、エラー伝播歪みを推定する段階を有することを特徴とする請求項１記載の方法。
【請求項５】
前記推定段階は、前記ビデオセグメントに対するパケット損失を推定する段階を有することを特徴とする請求項１記載の方法。
【請求項６】
前記ターゲットチャネルエラーレートは、推定されたチャネルエラーレートを有することを特徴とする請求項１記載の方法。
【請求項７】
前記ターゲットチャネルエラーレートは、シグナリングされたチャネルエラーレートを有することを特徴とする請求項１記載の方法。
【請求項８】
スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記推定段階は、前記異なるターゲットチャネルエラーレートを考慮していることを特徴とする請求項１記載の方法。
【請求項９】
スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記重み係数は、前記異なるターゲットチャネルエラーレートに基づいて決定されていることを特徴とする請求項２記載の方法。
【請求項１０】
スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、エラー伝播歪みの前記推定段階は、前記異なるターゲットチャネルエラーレートにも基づいていることを特徴とする請求項４記載の方法。
【請求項１１】
複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するためのスケーラブルなビデオエンコーダであって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、且つ、符号化歪みに晒された状態において前記エンハンスメントレイヤ内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されているエンコーダにおいて、
ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える前記符号化歪みを推定する歪み推定器と、
前記推定された符号化歪みに基づいて、前記マクロブロックを符号化するための前記マクロブロック符号化モードの中の１つを選択するモード決定モジュールと、
を有することを特徴とするエンコーダ。
【請求項１２】
前記１つ又は複数のレイヤのそれぞれの重み係数を、当該重み係数によって乗算された推定符号化レートに基づいて決定する重み係数セレクタをさらに有することを特徴とする請求項１１記載のエンコーダ。
【請求項１３】
前記モード決定モジュールは、前記推定符号化歪みと、前記重み係数によって乗算された前記推定符号化レートの合計に基づいて前記符号化モードを選択するべく構成されていることを特徴とする請求項１２記載のエンコーダ。
【請求項１４】
前記歪み推定器は、エラー伝播歪みをも推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
【請求項１５】
前記歪み推定器は、前記ビデオセグメントに対するパケット損失をも推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
【請求項１６】
前記歪み推定器は、推定されたチャネルエラーレートに基づいて前記ターゲットチャネルエラーレートをも推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
【請求項１７】
前記歪み推定器は、シグナリングされたチャネルエラーレートにも基づいて前記ターゲットチャネルエラーレートを推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
【請求項１８】
スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラベルレイヤと異なっており、且つ、前記歪み推定器は、前記異なるターゲットチャネルエラーレートを考慮するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
【請求項１９】
スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記重み係数セレクタは、前記異なるターゲットチャネルエラーレートに基づいて前記重み係数を選択するべく構成されていることを特徴とする請求項１２記載のエンコーダ。
【請求項２０】
スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記歪み推定器は、前記異なるターゲットチャネルエラーレートに基づいて前記エラー伝播歪みを推定するべく構成されていることを特徴とする請求項１４記載のエンコーダ。
【請求項２１】
複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するためのスケーラブルなビデオ符号化において使用されるソフトウェアアプリケーションを具備したコンピュータ可読ストレージ媒体を有するソフトウェアアプリケーションプロダクトであって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、且つ、符号化歪みに晒された状態において前記エンハンスメントレイヤ内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されているソフトウェアアプリケーションプロダクトにおいて、
ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える前記符号化歪みを推定するプログラミングコードと、
前記１つ又は複数のレイヤのそれぞれの重み係数を決定するプログラミングコードであって、前記選択は、前記重み係数によって乗算された推定符号化レートにも基づいている、プログラミングコードと、
前記推定符号化歪みに基づいて、前記マクロブロックを符号化するための前記マクロブロック符号化モードの中の１つを選択するプログラミングコードと、
を有することを特徴とするソフトウェアアプリケーションプロダクト。
【請求項２２】
前記符号化モードを選択する前記プログラミングコードは、前記推定符号化歪みと、前記重み係数によって乗算された前記推定符号化レートの合計に基づいていることを特徴とする請求項２１記載のソフトウェアアプリケーションプロダクト。
【請求項２３】
前記推定段階は、エラー伝播歪みを推定する段階を有することを特徴とする請求項１記載の方法。
【請求項２４】
請求項１１記載のエンコーダを有するビデオ符号化装置。
【請求項２５】
請求項１１記載のエンコーダを有する電子装置。
【請求項２６】
モバイル端末を有する請求項２５記載の電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、スケーラブルなビデオ符号化に関するものであり、更に詳しくは、符号化されたスケーラブルなストリームのエラー耐性性能に関するものである。
【背景技術】
【０００２】
ビデオ圧縮規格が過去数十年にわたって開発されており、これらが、今日のデジタルテレビ放送システムを実現する技術を構成している。現在のビデオ圧縮規格は、いずれも、ビットストリームのシンタックス及びセマンティクスと復号化プロセスに焦点を絞っている。又、エンコーダメカニズムについて記述する非標準のガイドライン文書も存在しており、これらは、一般に試験モデルと呼ばれている。これらは、特に帯域幅要件及びデータ伝送レート要件について検討している。従来の開発においてターゲットとされたストレージ及び放送媒体には、DVD（Digital Versatile Disc）などのデジタルストレージ媒体と、デジタル衛星（例えば、DVB-S：Digital Video Broadcast-Satellite）、ケーブル（例えば、DVB-C：Digital Video Broadcast-Cable）、及び地上（例えば、DVB-T：Digital Video Broadcast-Terrestrial）プラットフォームなどのテレビ放送システムが含まれている。特に、利用可能な高周波スペクトルが不十分であるDVB-T規格における最適な帯域幅使用法について集中的に研究されている。但し、これらのストレージ及び放送媒体は、基本的に十分なエンドツーエンドのサービス品質を保証しており、従って、サービス品質の側面については、あまり重要視されてはこなかった。
【０００３】
しかしながら、近年、マルチメディアコンテンツを転送／ブロードキャストするべく、インターネットなどのパケット交換データ通信ネットワークの重要性が益々増大しており、当然のことながら、これには、デジタルビデオシーケンスも含まれている。原則的に、パケット交換データ通信ネットワークは、パケット消去、パケット損失、及び／又はビット障害を基本的に有するデータ通信における限られたエンドツーエンドのサービス品質という制約を有しており、障害のない自由なデータ通信を保証するべく、これらの問題に対処しなければならない。パケット交換ネットワークにおいては、データパケットは、ネットワークの中間ノードにおけるバッファのオーバーフローに起因して破棄される可能性があり、伝送遅延に起因して失われる可能性があり、或いは、受信機側におけるキューイングミスアライメントに起因して拒絶される可能性がある。
【０００４】
更には、デジタルビデオシーケンスの伝送を実現する相当なデータ伝送レートを有する無線パケット交換データ通信ネットワークも利用可能であり、これに対してアクセス可能であるエンドユーザーの市場が発展しつつある。このような無線ネットワークは、エンドツーエンドのサービス品質における更なるボトルネックを形成することになると予想されている。特に、UMTS（Universal Mobile Telecommunications System）などの第３世代公衆地上移動通信網及びGPRS（General Packet Radio Service）及び／又はEDGE（Enhanced Data for GSM Evolution）機能を有するGSM（Global System for Mobile Communications）などの改良型の第２世代公衆地上移動通信網がデジタルビデオ放送のためにサポートされている。しかしながら、例えば、IEEE（Institute of Electrical and Electronics Engineers）の802.xx規格に準拠した無線データ通信ネットワークにおいても、限られたエンドツーエンドのサービス品質を経験することになる可能性がある。
【０００５】
更には、ビデオ通信サービスは、いまや、無線回線交換サービス上においても、例えば、UMTSネットワークの3G.324Mビデオ会議の形態において利用可能になっている。この環境においては、ビデオのビットストリームは、ビットエラー及び消失を経験する可能性がある。
【０００６】
提示されている本発明は、これらのすべてのタイプのネットワーク上において搬送されるビデオのビットストリームを生成するビデオエンコーダに好適である。尚、以下においては、わかりやすくするべく、以下の実施例は、パケット交換型の消失が発生しやすい通信のケースにおけるエラー耐性を有するビデオ符号化アプリケーションに焦点を絞っているが、これに限定されるものではない。
【０００７】
予測ビデオ符号化を利用している現在のビデオ符号化規格との関連においては、例えば、符号化ビデオセグメント内の（パケット損失又はパケット破棄による）消失又はビットエラーの形態における圧縮ビデオ（ビット）ストリーム内のエラーにより、再生ビデオ品質が大幅に低減されることになる。フレームの復号化が以前に復号化されたフレームに依存しているビデオの予測特性に起因し、エラーは、時間と共に伝播及び増幅すると共に、非常に面倒なアーチファクトを生成する可能性がある。これは、このようなエラーにより、再生ビデオシーケンス内において相当の劣化が発生することを意味している。この劣化は、しばしば、観察者が再生ビデオシーケンス内になんの構造をも認識しないほどに破滅的なものである。
【０００８】
このようなエラー伝播と闘っており、且つ、エラー隠蔽と呼ばれているデコーダのみの技法は、この問題を多少軽減するのに有用ではあるが、当業者であれば、エンコーダ実装されたツールも同様に必要であることを理解するであろう。完全なイントラフレームを送信することは、大きな映像サイズに結び付くため、この周知のエラー耐性法は、会話型のビデオ伝送などの低遅延環境においては、適切ではない。
【０００９】
理想的には、デコーダは、影響を受けたエリアのみのエンコーダによる修復を実現するべく、損傷を受けた再生映像内のエンコーダエリアに対して通信することになろう。しかしながら、これには、フィードバックチャネルが必要であり、このようなフィードバックチャネルは、多くのアプリケーションにおいて利用不可能である。その他のアプリケーションにおいては、良好なビデオ経験を実現するには、往復遅延が大き過ぎる。影響を受けたエリア（このエリア内においては、損失に関係したアーチファクトが可視状態である）は、通常、モーション補償に起因して時間と共に空間的に成長するため、大きな往復遅延は、相対的に大きな修復データの必要性に結び付き、そしてこれが、相対的に大きな（平均及びピーク）帯域幅の需要に結び付くことになる。従って、往復遅延が大きくなると、フィードバックに基づいたメカニズムの魅力は、大幅に低下することになる。
【００１０】
フォワードのみの修復アルゴリズムの場合には、フィードバックメッセージに依存してはいないが、その代わりに、モード決定プロセスにおいて、エンコーダにおいてローカルに利用可能である知識にのみ基づいて修復対象のエリアを選択している。これらのアルゴリズムの中のいくつかのものは、ビットストリームを更に安定したものにするべく、レート−歪みモデルの観点において最適ではない場合にも、ビットストリーム内に非予測（イントラ）符号化領域を配置することにより、モード決定プロセスを変更している。この種類のモード決定アルゴリズムは、一般に、イントラリフレッシュと呼ばれている。大部分のビデオコーデックにおいては、独立したモード決定を実現する最小単位は、マクロブロックと呼ばれている。可能な伝送エラーと機先を制して闘うためのイントラ符号化用の個別のマクロブロックを選択するアルゴリズムは、イントラリフレッシュアルゴリズムと呼ばれている。
【００１１】
RIR（Random Intra Refresh）及びCIR（Cyclic Intra Refresh）は、周知の方法であり、広範に使用されている。RIRにおいては、イントラ符号化マクロブロックは、符号化対象の映像のすべてのマクロブロックから又は映像の有限なシーケンスからランダムに選択されている。CIRによれば、それぞれのマクロブロックは、固定された「更新パターン」に従って、固定された周期において、イントラ更新されている。いずれのアルゴリズムも、映像コンテンツ又はビットストリーム特性について考慮してはいない。
【００１２】
MPEG-4 Part 2規格の性能を示すべくISO/IEC JTC1/SG29によって開発された試験モデルは、AIR（Adaptive Intra Refresh）と呼ばれるアルゴリズムを含んでいる。AIRにおいては、基準映像バッファ内の空間的に対応した動き補償されたマクロブロック間において算出された最大のSAD（差の絶対値和）を具備したマクロブロックを選択している。
【００１３】
ITU-Tの勧告H.264の性能を示すべくJVT（Joint Video Team）によって開発された試験モデルは、それぞれのマクロブロックのレート−歪み特性に従ってイントラマクロブロックを配置する非常に複雑なマクロブロック選択法を含んでおり、これは、LA-RDO（Loss Aware Rate Distortion Optimization）と呼ばれている。LA-RDOアルゴリズムは、エンコーダにおいていくつかのデコーダをシミュレートしており、それぞれのシミュレートされたデコーダは、独立的に所与のパケット損失レートにおいてマクロブロックをデコードしている。更に正確な結果を得るべく、シミュレートされたデコーダは、マクロブロックの消失が判明した場合に、エラー隠蔽をも適用している。マクロブロックの予想歪みをシミュレートされたデコーダのすべてにわたって平均化し、この平均歪みをモード選択に使用している。LA-RDOは、一般に、良好な性能を有しているが、エンコーダの複雑性が、潜在的に大きな数のデコーダのシミュレートに起因して大幅に増大することから、多くの実装において、実現可能なものではない。
【００１４】
別の非常に複雑な方法は、ROPE（Recursive Optimal Per-pixel Estimate）と呼ばれている。ROPEは、マクロブロックが消失した場合に、歪みを非常に正確に予測すると考えられている。しかしながら、ピクセルレベルにおいて演算を実行する必要があるため、LA-RDOと同様に、ROPEも、非常に複雑である。
【００１５】
スケーラブルなビデオ符号化（Scalable Video Coding：SVC）は、現在、H.264/AVC規格の拡張として開発の過程にある。SVCは、スケーラブルなビデオビットストリームを提供可能である。スケーラブルなビデオビットストリームの一部を抽出し、劣化した再生視覚品質を有するように復号化可能である。スケーラブルなビデオビットストリームは、１つのスケーラブルではないベースレイヤと、１つ又は複数のエンハンスメントレイヤを含んでいる。エンハンスメントレイヤは、下位レイヤ又はその一部によって表現されるビデオコンテンツの時間分解能（即ち、フレームレート）、空間分解能、又は単純に品質を向上させることができる。いくつかのケースにおいては、特定の位置の後において、場合によっては、任意の位置において、エンハンスメントレイヤのデータを切り捨て可能であり、それぞれの切り捨て位置は、なんらかの追加データを包含することにより、更に向上した視覚品質を表現可能である。このようなスケーラビリティは、FGS（Fine-Grained（Granularity） Scalability）と呼ばれている。FGSとは対照的に、微細な粒度のスケーラビリティを提供しない品質エンハンスメントレイヤによって提供されるスケーラビリティは、CGS（Coarse-grained scalability）と呼ばれている。ベースレイヤは、FGSとしてスケーラブルになるように設計することも可能であるが、現在のビデオ圧縮規格又はドラフト規格は、いずれも、この概念を実装してはいない。
【００１６】
最新のSVC規格において時間的なスケーラビリティを提供しているメカニズムは、H.264/AVC規格のものを上回るものではない。この場合には、所謂、Hierarchical B picture符号化構造が使用されている。この機能は、AVCによって完全にサポートされており、シグナリング部分は、サブシーケンスに関係したSEI（Supplement Enhancement Information）メッセージを使用することにより、実行可能である。
【００１７】
空間及びCGSスケーラビリティを提供するメカニズムの場合には、以前の規格のものに類似した従来の階層化符号化法が、いくつかの新しいインターレイヤ予測法と共に使用されている。例えば、インターレイヤ予測可能なデータは、イントラテクスチャ、動き、及び残差を包含可能であろう。所謂シングルループ復号化は、制約されたイントラテクスチャ予測モードによって有効になり、これにより、インターレイヤイントラテクスチャ予測は、ベースレイヤの対応するブロックがイントラマクロブロック内に配置されているエンハンスメントレイヤマクロブロックに対してのみ適用され、ベースレイヤ内のこれらのイントラマクロブロックは、H.264/AVCによって規定されている制約されたイントラモード（即ち、constrained_intra_pred_flagが１である）を使用している。
【００１８】
シングルループ復号化においては、デコーダは、再生に望ましいスケーラブルなレイヤについてのみ、動き補償及び完全な映像再構築を実行する必要があり、従って、復号化の複雑性が大幅に低減されている。空間的なスケーラビリティが一般化されており、ベースレイヤをエンハンスメントレイヤのクロッピング及びズーミングされたバージョンにすることができる。
【００１９】
SVCにおいては、量子化及びエントロピー符号化モジュールを調節することにより、FGS機能を提供している。この符号化モードは、プログレッシブリファインメントと呼ばれており、この場合には、量子化ステップサイズを反復的に減少させると共に、サブビットプレーン符号化に似た「循環的」なエントロピー符号化を適用することにより、変換係数の連続的なリファインメントを符号化している。
【００２０】
現在のドラフトＳＶＣ規格におけるスケーラブルなレイヤ構造は、temporal_level、dependency_id、及びquality_levelと呼ばれる３つの変数によって特徴付けられている。これらの変数は、ビットストリーム内においてシグナリングするか、又は仕様に従って導出可能である。temporal_level変数を使用することにより、時間的なスケーラビリティ又はフレームレートを通知している。相対的に小さなtemporal_level値の映像を有するレイヤは、相対的に大きなtemporal_levelの映像を有するレイヤよりも小さなフレームレートを具備している。dependency_id変数を使用することにより、インターレイヤ符号化依存階層構造を通知している。任意の時間的な位置において、相対的に小さなdependency_id値の映像を、相対的に大きなdependency_id値を有する映像の符号化のためのインターレイヤ予測に使用可能である。quality_level（Q）変数を使用することにより、FGSレイヤ階層構造を通知している。任意の時間的な位置において、且つ、同一のdependency_id値において、Qに等しいquality_level値を有するFGS映像は、インターレイヤ予測のために、(Q-1)に等しいquality_level値を有するFGS映像又はベース品質映像（即ち、Q-1=0である際の非FGS映像）を使用している。
【００２１】
図１は、これらの３つの変数の表示値を有する模範的なスケーラブルなビデオストリームの時間的なセグメントを示している。これらの時間値は、相対的なものであり、即ち、time=0は、必ずしも、ビットストリーム内の表示順序における第１映像の時間を意味してはいないことに留意されたい。この例の代表的な予測基準の関係が図２に示されており、この場合に、実線の矢印は、水平方向におけるインターレイヤ予測基準の関係を示しており、破線のブロック矢印は、インターレイヤ予測基準の関係を示している。ポイントされているインスタンスは、予測基準として、その他の方向におけるインスタンスを使用している。
【００２２】
レイヤは、それぞれ、同一のtemporal_level、dependency_id、及びquality_levelの値を具備した映像の組として定義されている。エンハンスメントレイヤの復号化におけるインターレイヤ予測のために下位レイヤを直接的又は間接的に使用可能であるため、エンハンスメントレイヤを復号化及び再生するには、通常、ベースレイヤを含む下位レイヤも利用可能である必要がある。例えば、図１及び図２においては、(0,0,0,0)及び(8,0,0,0)に等しい(t,T,D,Q)を有する映像は、ベースレイヤに属しており、これは、エンハンスメントレイヤとは無関係に復号化可能である。(4,1,0,0)に等しい(t,T,D,Q)を有する映像は、ベースレイヤのフレームレートを倍増させるエンハンスメントレイヤに属しており、このレイヤの復号化には、ベースレイヤ映像の存在が必要である。(0,0,0,1)及び(8,0,0,1)に等しい(t,T,D,Q)を有する映像は、FGS方式においてベースレイヤの品質及びビットレートを向上させるエンハンスメントレイヤに属しており、このレイヤの復号化も、ベースレイヤ映像の存在を必要としている。
【発明の開示】
【発明が解決しようとする課題】
【００２３】
スケーラブルなビデオ符号化においては、エンハンスメントレイヤ映像内のマクロブロックを符号化する際に、シングルレイヤ符号化における従来のマクロブロック符号化モードと、新しいマクロブロック符号化モードを使用可能である。新しいマクロブロック符号化モードは、インターレイヤ予測を使用している。シングルレイヤ符号化におけると同様に、スケーラブルなビデオ符号化におけるマクロブロックのモード選択も、符号化されたビットストリームのエラー耐性性能に影響を与えている。現在、符号化されたスケーラブルなビデオストリームにターゲット損失レートに対する耐性を付与可能であるスケーラブルなビデオ符号化におけるマクロブロックモード選択を実行するメカニズムは存在していない。
【課題を解決するための手段】
【００２４】
本発明は、エラーが発生しやすい条件において再生ビデオ品質を向上させるべく、スケーラブルなビデオ符号化におけるエンハンスメントレイヤ映像のためのマクロブロックモード選択を実行するメカニズムを提供している。このメカニズムは、それぞれのマクロブロック用の歪み推定器、ラグランジュ（Lagrange）乗算子セレクタ、及び最適モードを選択するモード決定アルゴリズムを有している。
【００２５】
従って、本発明の第１の態様は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオ符号化法であり、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、符号化歪みに晒された状態においてエンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。この方法は、ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える符号化歪みを推定する段階と、前述の１つ又は複数のレイヤのそれぞれの重み係数を決定する段階であって、前述の選択段階は、重み係数によって乗算された推定符号化レートにも基づいている、段階と、推定符号化歪みに基づいてマクロブロックを符号化するためのマクロブロック符号化モードの中の１つを選択する段階とを有している。
【００２６】
本発明によれば、選択段階は、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計によって決定されている。又、歪みの推定は、エラー伝播歪みと、ビデオセグメントに対するパケット損失を推定する段階をも含んでいる。
【００２７】
本発明によれば、ターゲットチャネルエラーレートは、推定されたチャネルエラーレート及び／又はシグナリングされたチャネルエラーレートを有している。
【００２８】
スケーラブルなレイヤのターゲットチャネルエラーレートが別のスケーラブルなレイヤと異なっている場合には、歪みの推定において、これらの異なるターゲットチャネルエラーレートを考慮している。又、重み係数も、異なるターゲットチャネルエラーレートに基づいて判定されている。エラー伝播歪みの推定は、異なるターゲットチャネルエラーレートに基づいている。
【００２９】
本発明の第２の態様は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオエンコーダであり、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、符号化歪みに晒された状態においてエンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。このエンコーダは、ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える符号化歪みを推定する歪み推定器と、重み係数によって乗算された推定符号化レートに基づいて、前述の１つ又は複数のレイヤのそれぞれの重み係数を決定する重み係数セレクタと、推定符号化歪みに基づいて、マクロブロックを符号化するためのマクロブロック符号化モードの中の１つを選択するモード決定モジュールと、を有している。モード決定モジュールは、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計に基づいて符号化モードを選択するべく構成されている。
【００３０】
本発明の第３の態様は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオ符号化において使用されるソフトウェアアプリケーションを具備したコンピュータ可読ストレージ媒体を有するソフトウェアアプリケーションプロダクトであって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、符号化歪みに晒された状態においてエンハンスメントレヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。このソフトウェアアプリケーションは、前述の方法を実行するプログラミングコードを有している。
【００３１】
本発明の第４の態様は、前述のエンコーダを有するビデオ符号化装置である。
【００３２】
本発明の第５の態様は、前述のエンコーダを有するビデオ符号化装置を具備した、例えば、モバイル端末などの電子装置である。
【発明を実施するための最良の形態】
【００３３】
本発明は、エラーが発生しやすい条件において再生ビデオ品質を向上させるべく、スケーラブルなビデオ符号化においてエンハンスメントレイヤ映像用のマクロブロックモード選択を実行するメカニズムを提供している。このメカニズムは、
・再生ビデオ内における潜在的なエラー伝播を考慮したビデオセグメント内のパケット損失又はエラーなどのチャネルエラーに反応するそれぞれのマクロブロック用の歪み推定器、
・様々なレイヤの推定又はシグナリングされたチャネル損失レートに応じたラグランジュ乗算子セレクタ、
・符号化パラメータ（即ち、動き推定法、量子化パラメータ、マクロブロックパーティショニング法を含むマクロブロックの符号化ビット数に影響を与えるすべてのマクロブロック符号化パラメータ）、チャネルエラーに起因した推定歪み、及び最新のラグランジュ乗算子に基づいて最適なモードを選択するモード決定アルゴリズム、
という要素を有している。
【００３４】
本発明によるマクロブロックモード選択は、
１．すべての候補モードにわたってループし、且つ、それぞれの候補モードについて、可能なパケット損失及び符号化レートの結果として得られる再構築マクロブロックのひずみを推定する段階と（例えば、マクロブロックを表現するビット数）、
２．式（１）によって表されるそれぞれのモードのコストを算出し、且つ、最小コストを付与するモードを選択する段階と、
に従って決定されている。
【００３５】
【数１】
2009522972.tif 000003
式（１）において、Ｃは、コストを表しており、Ｄは、推定歪みを表しており、Ｒは、推定符号化レートを表しており、λは、ラグランジュ乗算子である。ラグランジュ乗算子は、事実上、コストを定義するための推定符号化レートに対する重み係数である。
【００３６】
本発明によるマクロブロックモード選択法は、シングルレイヤ符号化と、マルチレイヤ符号化に適用可能である。
【００３７】
（シングルレイヤ法）
（Ａ．歪みの推定）
損失レートがｐlであると仮定した場合に、候補符号化選択肢ｏを有するｎ番目の映像内のｍ番目のマクロブロックの全体的な歪みは、次式によって表される。
【数２】
2009522972.tif 000004
ここで、Ds(n,m,o)及びDep_ref(n,m,o)は、それぞれ、ソース符号化歪みとエラー伝播歪みを表しており、Dec(n,m)は、マクロブロックが失われた場合のエラー隠蔽歪みを表している。Dec(n,m)は、マクロブロックの符号化モードとは無関係である。
【００３８】
ソース符号化歪みDs(n,m,o)は、オリジナルの信号とエラーのない再構築信号の間の歪である。これは、MSE（平均二乗誤差）、SAD（差の絶対値和）、又はSSE（二乗誤差和）として算出可能である。エラー隠蔽歪みDec(n,m)は、オリジナル信号とエラー隠蔽信号の間のMSE、SAD、又はSSEとして算出可能である。これらの使用基準であるMSE、SAD、又はSSEは、Ds(n,m,o)及びDec(n,m)についてアライメントされることになる。
【００３９】
エラー伝播歪みDep_ref(n,m,o)の計算においては、ブロック（例えば、４×４の輝度サンプル）ごとにそれぞれの映像の歪みマップDepを定義している。歪みマップが付与された場合に、Dep_ref(n,m,o)は、次式のように算出される。
【数３】
2009522972.tif 000005
ここで、Kは、１つのマクロブロック内のブロック数であり、Dep_ref(n,m,k,o)は、現在のマクロブロック内のk番目のブロックのエラー伝播歪みを表している。Dep_ref(n,m,k,o)は、現在のブロックが基準としているブロック｛kl｝のエラー伝播歪み（｛Dep(nl,ml,kl,ol｝）の荷重平均として算出される。それぞれの基準ブロックの重みwlは、基準として使用されている面積に比例している。
【００４０】
歪みマップDepは、それぞれの基準映像の符号化の際に算出されている。非基準映像について歪みマップを具備する必要はない。
【００４１】
現在の映像内のそれぞれのブロックについて、最適な符号化モードｏ*を有するDep(n,m,k)を次のように算出している。
【００４２】
双方向予測（bi-prediction）を使用していない又は基準映像を１つだけ使用しているインター符号化ブロックの場合には、歪みマップは、式（４）に従って算出される。
【数４】
2009522972.tif 000006
ここで、Dec_rec(n,m,k,o*)は、エラー隠蔽ブロックと再構築ブロックの間の歪であり、Dec_ep(n,m,k)は、エラー隠蔽及びエラー隠蔽に使用されている基準映像内のエラー伝播歪みに起因した歪である。エラー隠蔽法が既知であると仮定した場合には、Dec_ep(n,m,k)は、現在のブロックの隠蔽に使用されているブロックのエラー伝播歪みの加重平均として算出され、且つ、それぞれの基準ブロックの重みwlは、エラー隠蔽に使用されている面積に比例している。
【００４３】
本発明によれば、双方向予測を使用している又は基準映像を２つ使用しているインター符号化ブロックの歪みマップは、式（５）に従って算出される。
【数５】
2009522972.tif 000007
ここで、wr0及びwr1は、それぞれ、双方向予測に使用されている２つの基準映像の重みである。
【００４４】
エラー伝播歪が伝送されないイントラ符号化ブロックの場合には、次のように、エラー隠蔽歪のみを考慮している。
【数６】
2009522972.tif 000008
【００４５】
（Ｂ．ラグランジュ乗算子の選択）
D(n,m,o)がDs(n,m,o)に等しいエラーのないケースにおいては、ラグランジュ乗算子は、量子化パラメータＱの関数である。H.264/AVC及びSVCの場合には、Qの値は、(0.85×2Q/3-4)に等しい。但し、伝送エラーを有する場合には、恐らく、異なるラグランジュ乗算子が必要となろう。
【００４６】
エラーのないラグランジュ乗算子は、次式によって表される。
【数７】
2009522972.tif 000009
DsとRの間の関係は、式（１）及び式（２）において見出すことができる。
【００４７】
式（１）及び式（２）を組み合わせることにより、次式が得られる。
【数８】
2009522972.tif 000010
【００４８】
Rとの関係におけるCの微分係数をゼロとすれば、次式が得られる。
【数９】
2009522972.tif 000011
【００４９】
この結果、式（１）は、次のようになる。
【数１０】
2009522972.tif 000012
Dec(n,m)は、符号化モードとは無関係であるため、これがすべての候補モードから除去される限り、これは、全体的なコストから除去可能である。Dec(n,m)を含む項を除去した後に、共通的な係数(1-pl)も除去可能であり、この結果、最終的に次式が得られる。
【数１１】
2009522972.tif 000013
【００５０】
（マルチレイヤ法）
マルチレイヤを有するスケーラブル符号化においては、ベースレイヤ映像用のマクロブロックモード決定は、前述のシングルレイヤ法とまったく同一である。
【００５１】
エンハンスメントレイヤ映像内のスライスの場合に、シンタックス要素base_id_plus1が０に等しい場合には、インターレイヤ予測は使用されない。この場合には、シングルレイヤ法が使用されることになり、使用する損失レートは、現在のレイヤの損失レートである。
【００５２】
シンタックス要素base_id_plus1が０に等しくない場合には、インターレイヤテクスチャ、動き、又は残差予測を使用する新しいマクロブロックモードを使用可能である。この場合における歪みの推定及びラグランジュ乗算子の選択プロセスについて以下に提示する。
【００５３】
現在のマクロブロックを含む現在のレイヤをln、現在のマクロブロックのインターレイヤ予測に使用されるコロケートされたマクロブロックを含む下位レイヤをln-1、ln-1内のコロケートされたマクロブロックのインターレイヤ予測に使用されるマクロブロックを含む更なる下位レイヤをln-2、．．．、現在のマクロブロック用のインターレイヤ依存ブロックを含む最低レイヤをl0とし、且つ、損失レートを、それぞれ、pl,n、pl,n-1、．．．、pl,0としよう。インターレイヤ予測を使用可能である現在のスライスの場合には（即ち、シンタックス要素base_id_plus1が０に等しくない場合には）、現在のレイヤのマクロブロックは、現在のマクロブロック及びすべての従属する下位レイヤブロックが受信された場合にのみ、復号化され、さもなければ、スライスは、隠蔽されることになると仮定されている。インターレイヤ予測を使用しないスライスの場合には（即ち、シンタックス要素base_id_plus1が０に等しい場合には）、現在のマクロブロックは、受信さえされれば、復号化されることになろう。
【００５４】
（Ａ．歪みの推定）
候補符号化選択肢ｏを有するレイヤln内のn番目の映像内のm番目のマクロブロックの全体的な歪みは、次式によって表される。
【数１２】
2009522972.tif 000014
ここで、Ds(n,m,o)及びDec(n,m)は、シングルレイヤ法のものと同一の方式によって算出される。同一レイヤ又は下位レイヤ内の基準映像の歪みマップが付与された場合に（インターレイヤテクスチャ予測の場合）、Dep_ref(n,m,o)は、式（３）を使用して算出される。
【００５５】
歪みマップは、以下に提示しているように導出される。現在のレイヤが最高の空間分解能を有するものである際には、まず、下位レイヤln-1の歪みマップをアップサンプリングする。例えば、分解能が幅及び高さの両方について２倍だけ変更される場合には、歪みマップ内のそれぞれの値を同一値の２×２のブロックになるようにアップサンプリングする。
【００５６】
（（ａ）インターレイヤイントラテクスチャ予測を使用するマクロブロックモード）
インターレイヤイントラテクスチャ予測においては、再構築された下位レイヤのマクロブロックを現在のレイヤ内の現在のマクロブロック用の予測として使用している。JSVM（Joint Scalable Video Model）においては、この符号化モードをIntra_Baseマクロブロックモードと呼んでいる。このモードにおいては、歪みは、インターレイヤ予測に使用される下位レイヤから伝播可能である。この結果、現在のマクロブロック内のk番目のブロックの歪みマップは、次式の通りである。
【数１３】
2009522972.tif 000015
【００５７】
Dep_ref(n,m,k,o*)は、下位レイヤln-1内のコロケートされたマクロブロック内のk番目のブロックの歪みマップであることに留意されたい。Dec_rec(n,m,k,o*)及びDec_ep(n,m,k)は、シングルレイヤ法におけるものと同一の方式によって算出される。
【００５８】
（（ｂ）インターレイヤ動き予測を使用するマクロブロックモード）
JSVMにおいては、ベースレイヤモード及び1/4画素改良モードという２つのマクロブロックモードがインターレイヤ動き予測を利用している。ベースレイヤモードを使用する場合には、現在のレイヤ内の対応するマクロブロックについて、下位レイヤの動きベクトルフィールド、基準インデックス、及びマクロブロックパーティショニングを使用している。マクロブロックを復号化する場合には、インター予測のために、同一レイヤ内の基準映像を使用している。この結果、インターレイヤ動き予測を使用しており、且つ、双方向予測を使用していないブロックの場合には、現在のマクロブロック内のk番目のブロックの歪みマップは、次式の通りである。
【数１４】
2009522972.tif 000016
【００５９】
インターレイヤ動き予測を使用しており、且つ、双方向予測をも使用しているブロックの場合には、現在のマクロブロック内のｋ番目のブロックの歪みマップは、次式のとおりである。
【００６０】
【数１５】
2009522972.tif 000017
Dep_ref(n,m,k,o*)は、同一レイヤｌnの基準映像内のコロケートされたマクロブロック内のｋ番目のブロックの歪みマップであることに留意されたい。Dec_rec(n,m,k,o*)及びDec_ep(n,m,k)は、シングルレイヤ法におけるものと同一の方式によって算出される。
【００６１】
1/4画素改良モードは、下位レイヤが現在のレイヤとの関係において低減された空間分解能を有するレイヤを表している場合にのみ、使用される。このモードにおいては、マクロブロックパーティショニングと基準インデックス及び動きベクトルは、ベースレイヤモードのものと同一の方式によって導出されており、唯一の相違点は、動きベクトルリファインメントが更に伝送されており、導出された動きベクトルに対して追加されているという点にある。従って、動きリファインメントが、結果的に得られた動きベクトル内に含まれているため、このモードにおける歪みマップを導出するべく、式（１４）及び式（１５）を使用することも可能である。
【００６２】
（（ｃ）インターレイヤ残差予測を使用するマクロブロックモード）
インターレイヤ残差予測においては、下位レイヤの符号化残差を現在のレイヤの残差の予測として使用しており、現在のレイヤの残差と下位レイヤの残差の間の差を符号化している。下位レイヤの残差を受信した場合には、残差予測に起因してエラー伝播は存在しないことになる。従って、インターレイヤ残差予測を使用するマクロブロックモードにおける歪みマップを導出するべく、式（１４）及び式（１５）が使用される。
【００６３】
（（ｄ）インターレイヤ予測を使用しないマクロブロックモード）
双方向予測を使用していないインター符号化ブロックの場合には、次式のとおりである。
【数１６】
2009522972.tif 000018
【００６４】
双方向予測を使用しているインター符号化ブロックの場合には、次式のとおりである。
【数１７】
2009522972.tif 000019
【００６５】
イントラ符号化ブロックの場合には、次式のとおりである。
【数１８】
2009522972.tif 000020
【００６６】
式（１６）〜式（１８）の各要素は、式（４）〜式（６）と同一の方法によって算出される。
【００６７】
（Ｂ．ラグランジュ乗算子の選択）
式（１）及び式（１２）を組み合わせることにより、次式が得られる。
【数１９】
2009522972.tif 000021
【００６８】
Rとの関係におけるCの微分係数がゼロであるとすれば、次式が得られる。
【数２０】
2009522972.tif 000022
【００６９】
この結果、式（１）は、次のようになる。
【数２１】
2009522972.tif 000023
【００７０】
ここで、デコーダは、既知の符号化モードを利用することにより、相対的に良好なエラー隠蔽法を使用可能であり、マクロブロックは、受信された場合にも隠蔽可能であるため、Dec(n,m)は、符号化モードに依存可能である。従って、Dec(n,m)を有する項を保持する必要がある。この結果、第１及び第３項についてのみ共通している係数
【数２２】
2009522972.tif 000024
も、保持する必要がある。
【００７１】
本発明は、推定及び／又はシグナリングされたターゲットチャネルエラーレートに従ってマクロブロック符号化モードにおいて再構築セグメントに影響を与える符号化歪みを推定するべくエンコーダが構成されているスケーラブルなビデオ符号化に対して適用可能であることに留意されたい。又、このエンコーダは、異なるレイヤの推定又はシグナリングされたチャネル損失レートに基づいたラグランジュ乗算子セレクタと、１つ又は複数の符号化パラメータに基づいて最適なモードを選択するべく構成されたモード決定モジュール又はアルゴリズムをも含んでいる。図３は、ベースレイヤ及び空間的エンハンスメントレイヤを有する現在のＳＶＣコーダ構造に内蔵可能であるモード決定プロセスを示している。エンハンスメントレイヤは、ベースレイヤと同一の空間分解能を具備可能であり、且つ、１つのスケーラブルなビットストリーム内に２つを上回る数のレイヤが存在可能であることに留意されたい。ベースレイヤ及び空間的エンハンスメントレイヤを有する最適化されたマクロブロックモード決定プロセスの詳細が図４に示されている。図４において、Ｃは、例えば、式（１１）又は式（２１）に従って算出されるコストを表しており、出力Ｏ*は、結果的に最小コストをもたらすと共に、図５に示されているように、モード決定アルゴリズムが歪みマップを計算することを実現する最適な符号化選択肢である。
【００７２】
図６は、本発明の一実施例による代表的なモバイル装置を示している。図６に示されているモバイル装置１０は、セルラーデータ及び音声通信の機能を有している。本発明は、この特定の実施例に限定されるものではなく、これは、様々な多数の実施例の中の１つを表していることに留意されたい。モバイル装置１０は、（メイン）マイクロプロセッサ又はマイクロコントローラ１００と、モバイル装置の動作を制御しているマイクロプロセッサと関連したコンポーネントを含んでいる。これらのコンポーネントは、ディスプレイモジュール１３５に接続しているディスプレイコントローラ１３０、不揮発性メモリ１４０、ランダムアクセスメモリ（RAM）などの揮発性メモリ１５０、マイクロフォン１６１、スピーカー１６２、及び／又はヘッドセット１６３に接続しているオーディオ入出力（Ｉ／Ｏ）インターフェイス１６０、キーパッド１７５又はキーボードに接続されたキーパッドコントローラ１７０、任意の補助入出力（I/O）インターフェイス２００、及び近距離通信インターフェイス１８０を含んでいる。又、このような装置は、通常、参照符号１９０によって概略的に示されているその他の装置サブシステムをも含んでいる。
【００７３】
モバイル装置１０は、音声ネットワーク上において通信可能であると共に／又は、例えば、特に、GSM（Global System for Mobile communication）又はUMTS（Universal Mobile Telecommunications System）などのデジタルセルラーネットワークの形態における任意の公衆地上移動通信網（PLMN）などのデータネットワーク上において同様に通信可能である。通常、音声及び／又はデータ通信は、無線インターフェイス、即ち、セルラーネットワークのインフラストラクチャの無線アクセスネットワーク（RAN）の一部である基地局（BS）又はノードB（図示されてはいない）に対する更なるコンポーネント（前述の内容を参照されたい）と協働状態にあるセルラー通信インターフェイスサブシステムを介して動作している。
【００７４】
図６に例示のために示されているセルラー通信インターフェイスサブシステムは、セルラーインターフェイス１１０、デジタル信号プロセッサ（DSP）１２０、受信機（RX）１２１、送信機（TX）１２２、及び１つ又は複数の局部発振器（LO）１２３を有しており、これは、１つ又は複数の公衆地上移動通信網（PLMN）との間の通信を実現している。デジタル信号プロセッサ（DSP）１２０は、通信信号１２４を送信機（TX）１２２に送信し、受信機（RX）１２１から通信信号１２５を受信している。通信信号の処理に加えて、デジタル信号プロセッサ１２０は、受信機制御信号１２６及び送信機制御信号１２７をも供給している。例えば、それぞれ、送信信号及び受信信号の変調及び復調以外に、デジタル信号プロセッサ（DSP）１２０内に実装された自動利得制御アルゴリズムを通じて、受信機（RX）１２１及び送信機（TX）１２２内において通信信号に対して適用される利得レベルを適応制御可能である。トランシーバ１２１／１２２の更に高度な制御を提供するべく、その他のトランシーバ制御アルゴリズムをデジタル信号プロセッサ（DSP）１２０内に実装することも可能であろう。
【００７５】
PLMNを通じたモバイル装置１０の通信が単一周波数又は近接して離隔した周波数の組において実行される場合には、送信機（TX）１２２及び受信機（RX）１２１との関連において、単一の局部発振器（LO）１２３を使用可能である。或いは、この代わりに、様々な周波数が音声／データ通信又は送信対受信において利用されている場合には、複数の局部発振器を使用することにより、複数の対応する周波数を生成可能である。
【００７６】
図６に示されているモバイル装置１０は、ダイバーシティアンテナシステム（図示されてはいない）としての又はこれを有するアンテナ１２９と共に使用されているが、モバイル装置１０は、信号の受信及び送信用のシングルアンテナ構造と共に使用可能であろう。音声及びデータ情報の両方を含む情報が、セルラーインターフェイス１１０との間において、デジタル信号プロセッサ（DSP）１２０との間のリンクを介して伝達されている。周波数帯域、コンポーネント選択、パワーレベルなどのセルラーインターフェイス１１０の詳細な設計は、そのモバイル装置１０が動作するべく意図されている無線ネットワークに依存することになる。
【００７７】
セルラーネットワークにおける登録に必要な加入者識別モジュール（SIM）２１０を必要とし得る必要なネットワークの登録又は起動手順が完了した後に、モバイル装置１０は、音声及びデータ信号の両方を含む通信信号を無線ネットワーク上において送受信可能である。無線ネットワークからアンテナ１２９によって受信された信号は、受信機１２１にルーティングされており、この受信機が、信号の増幅、周波数のダウンコンバージョン、フィルタリング、チャネルの選択、及びアナログ／デジタル変換などの動作を提供している。受信信号をアナログ／デジタル変換することにより、デジタル復調及び復号化などの相対的に複雑な通信機能をデジタル信号プロセッサ（DSP）１２０を使用して実行可能である。同様の方式により、ネットワークに送信する信号の、例えば、変調及び符号化を含む処理がデジタル信号プロセッサ（DSP）１２０によって実行されており、次いで、この信号は、デジタル／アナログ変換、周波数のアップコンバージョン、フィルタリング、増幅、及びアンテナ１２９を介した無線ネットワークへの伝送のために、送信機１２２に供給されている。
【００７８】
装置プラットフォームのマイクロプロセッサと呼ぶことも可能でもあるマイクロプロセッサ／マイクロコントローラ（μＣ）１１０は、モバイル装置１０の機能を管理している。プロセッサ１１０によって使用されているオペレーティングシステムソフトウェア１４９は、好ましくは、不揮発性メモリ１４０などの永久的な記憶装置内に保存されており、この記憶装置は、例えば、フラッシュメモリ、電池バックアップ型のRAM、任意のその他の不揮発性ストレージ技術、又はこれらの組み合わせとして実装可能である。モバイル装置１０の低レベルの機能と（グラフィカル）基本ユーザーインターフェイス機能を制御しているオペレーティングシステム１４９に加えて、不揮発性メモリ１４０は、音声通信ソフトウェアアプリケーション１４２、データ通信ソフトウェアモジュール１４１、オーガナイザモジュール（図示されてはいない）、又は任意のその他のタイプのソフトウェアモジュール（図示されてはいない）などの複数のハイレベルなソフトウェアアプリケーションプログラム又はモジュールをも含んでいる。これらのモジュールは、プロセッサ１００によって実行されており、且つ、モバイル装置１０のユーザーとモバイル装置１０の間におけるハイレベルなインターフェイスを提供している。このインターフェイスは、通常、ディスプレイコントローラ１３０によって制御されたディスプレイ１３５を通じて提供されるグラフィカルコンポーネントと、キーパッドコントローラ１７０を介してプロセッサ１００に接続されたキーパッド１７５、補助入出力（I/O）インターフェイス２００、及び／又は近距離（SR）通信インターフェイス１８０を通じて提供される入出力コンポーネントと、を含んでいる。補助I/Oインターフェイス２００は、特に、USB（Universal Serial Bus）インターフェイス、シリアルインターフェイス、MMC（マルチメディアカード）インターフェイス及び関連するインターフェイス技術／規格、並びに、任意のその他の標準化された又はプロプライエタリなデータ通信バス技術を有しており、この場合に、近距離通信インターフェイスの高周波（RF）低パワーインターフェイスは、特に、WLAN（Wireless Local Area Network）及びBluetooth（登録商標）通信技術、又はIRDA（InfraRed Data Access）インターフェイスを含んでいる。本明細書において参照されているＲＦ低パワーインターフェイス技術は、特に、その説明をInstitute of Electrical and Electronics Engineersから入手可能である任意のIEEE801.xx規格の技術を含んでいるものと理解されたい。更には、補助I/Oインタフェイス２００と近距離通信インターフェイス１８０は、それぞれ、１つ又は複数の入出力インターフェイス技術及び通信インターフェイス技術をサポートする１つ又は複数のインターフェイスをそれぞれ表現可能である。オペレーティングシステム、特定装置のソフトウェアアプリケーション又はモジュール、或いは、その一部は、ランダムアクセスメモリ（通常は、高速動作のためにDRAM（Direct Random Access Memory）技術に基づいて実装されている）などの揮発性記憶装置１５０内に一時的に読み込み可能である。更には、受信した通信信号も、好ましくはデータを保存するべく補助I/Oインターフェイスを介して着脱自在に接続されている不揮発性メモリ１４０又は任意のマスストレージ内に配置されたファイルシステムに永久的に書き込む前に、揮発性メモリ１５０内に一時的に保存可能である。以上のコンポーネントは、セルラー電話機の形態において本明細書において実施されている従来のモバイル装置１０の代表的なコンポーネントを表していることを理解されたい。本発明は、これらの特定のコンポーネントに限定されるものではなく、且つ、示されているこれらの実装は、例示及び完全性を目的としたものに過ぎない。
【００７９】
モバイル装置１０の模範的なソフトウェアアプリケーションモジュールは、通常は、コンタクトマネージャ、カレンダー、タスクマネージャ、及びこれらに類似したものを含むＰＤＡ機能を提供するパーソナル情報マネージャアプリケーションである。このようなパーソナル情報マネージャは、プロセッサ１００によって実行されており、モバイル装置１０のコンポーネントに対するアクセスを具備可能であり、且つ、その他のソフトウェアアプリケーションモジュールとやり取り可能である。例えば、音声通信ソフトウェアアプリケーションとのやり取りは、電話通話や音声メールなどの管理を実現しており、データ通信ソフトウェアアプリケーションとのやり取りは、SMS（Soft Message Service）、MMS（MultiMedia Service）、電子メール通信、及びその他のデータ伝送の管理を実現している。不揮発性メモリ１４０は、好ましくは、ファイルシステムを提供することにより、特にカレンダーのエントリやコンタクトなどを含むデータ項目の装置上における永久的な保存を円滑に実行している。例えば、セルラーインターフェイス、近距離通信インターフェイス、又は補助I/Oインターフェイスを介したネットワークとのデータ通信機能は、このようなネットワークを介したアップロード、ダウンロード、及び同期化を実現している。
【００８０】
アプリケーションモジュール１４１〜１４９は、プロセッサ１００によって実行されるべく構成された装置機能又はソフトウェアアプリケーションを表している。大部分の既知のモバイル装置においては、モバイル装置及びすべての装置機能並びにソフトウェアアプリケーションの全体的な動作をシングルプロセッサによって管理及び制御している。このような概念は、今日のモバイル装置に適用可能である。機能強化されたマルチメディア機能の実装は、例えば、ビデオストリーミングアプリケーションの再生、デジタル映像の操作、及び統合された又は着脱自在に接続されたデジタルカメラ機能によるビデオシーケンスのキャプチャを含んでいる。又、この実装は、高度なグラフィック及び必要な演算パワーを有するゲームアプリケーションをも包含可能である。過去において実行されている演算パワー要件を処理するための１つの方法は、強力でユニバーサルなプロセッサコアを実装することにより、増大する演算パワーの問題を解決している。演算パワーを提供するための別の方法は、複数の独立したプロセッサコアを実装するというものであり、これは、当技術分野において周知の方法である。いくつかの独立したプロセッサコアの利点については、当業者であれば即座に理解可能であろう。１つのユニバーサルなプロセッサは、予め選択された個々のタスクに対する専門化を必要とすることなしに様々な異なるタスクを実行するべく設計されており、マルチプロセッサ構成は、１つ又は複数のユニバーサルなプロセッサ及び予め定義されたタスクの組を処理するべく適合された１つ又は複数の専門的なプロセッサを包含可能である。しかしながら、１つの装置、特にモバイル装置１０などのモバイル装置内におけるいくつかのプロセッサの実装は、従来、完全且つ高度なコンポーネントの再設計を必要としている。
【００８１】
以下において、本発明は、既存の処理装置の実装に対する追加プロセッサコアの単純な統合を実現すると共に、これにより、高価な完全且つ高度な再設計を省略可能である概念を提供している。本発明の概念については、SoC（System-on-a-Chip）設計を参照して説明することとする。SoCは、処理装置の少なくとも多数の（又は、すべての）コンポーネントを単一の高集積チップ内に統合するという概念である。このようなSoCによれば、デジタル、アナログ、混合信号、並びに、しばしば、高周波機能のすべてを１つのチップ上に収容可能である。代表的な処理装置は、異なるタスクを実行するいくつかの集積回路を有している。これらの集積回路は、特に、マイクロプロセッサ、メモリ、UART（Universal Asynchronous Receiver-Transmitter）、シリアル／パラレルポート、DMA（Direct Memory Access）コントローラ、及びこれらに類似したものを包含可能である。UART（Universal Asynchronous Receiver-Transmitter）は、データのパラレルビットとシリアルビット間の変換を実行している。半導体技術における最近の改良により、VLSI（Very-Large-Scale Integration）集積回路の複雑性を大幅に増大させることが可能であり、これにより、システムの多数のコンポーネントを単一のチップ内に統合することが可能になっている。図６を参照すれば、例えば、コントローラ１３０及び１７０、メモリコンポーネント１５０及び１４０、並びに、インターフェイス２００、１８０、及び１１０の中の１つ又は複数のものなどのその１つ又は複数のコンポーネントを、最終的にSoC（System-on-a Chip）を形成している単一チップ内において、プロセッサ１００と一緒に統合可能である。
【００８２】
更には、装置１０は、本発明の動作に従ってビデオデータのスケーラブルな符号化１０５及びスケーラブルな復号化１０６のためのモジュールをも装備している。ＣＰＵ１００により、前述のモジュール１０５、１０６を個別に使用可能である。但し、装置１０は、ビデオデータの符号化及び復号化を個別に実行するべく適合されている。前述のビデオデータは、装置の通信モジュールによって受信可能であり、或いは、装置１０内の任意の想像可能なストレージ手段内に保存することも可能である。
【００８３】
要すれば、本発明は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオ符号化のための方法及びエンコーダを提供しており、この場合に、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、この場合に、符号化歪みに晒された状態においてエンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。この方法は、異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える符号化歪みを推定する段階であって、この場合に、推定歪みは、ビデオセグメントに発生する可能性が高いチャネルエラーによって少なくとも発生する歪みを有している、段階と、前述の１つ又は複数のレイヤのそれぞれのものの重み係数を判定する段階と、推定された符号化歪みに基づいて、マクロブロックを符号化するためのマクロブロック符号化モードの中の１つを選択する段階と、を有している。符号化歪みは、ターゲットチャネルエラーレートに従って推定されている。ターゲットチャネルエラーレートは、推定されたチャネルエラーレート及びシグナリングされたチャネルエラーレートを含んでいる。マクロブロック符号化モードの選択は、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計によって判定されている。更には、歪みの推定は、エラー伝播歪みを推定する段階をも含んでいる。
【００８４】
従って、その１つ又は複数の実施例を参照し、本発明について説明したが、当業者であれば、本発明の範囲を逸脱することなしに、その形態及び詳細における以上の並びに様々なその他の変更、省略、及び逸脱を実行可能であることを理解するであろう。
【図面の簡単な説明】
【００８５】
【図１】模範的なスケーラブルなビデオストリームの時間的なセグメントを示している。
【図２】図１に示されている例の代表的な予測基準の関係を示している。
【図３】ベースレイヤ及び空間的エンハンスメントレイヤを有する現在のSVCコーダ構造内における変更されたモード決定プロセスを示している。
【図４】ベースレイヤ及び空間的エンハンスメントレイヤを有するLA-RDO（Loss Aware Rate Distortion Optimization）マクロブロックモード決定プロセスを示している。
【図５】本発明による符号化歪みの推定を示すフローチャートである。
【図６】本発明によるスケーラブルエンコーダ及びスケーラブルデコーダの中の少なくとも１つを具備した電子装置を示している。
【図１】
2009522972.tif 000025
【図２】
2009522972.tif 000026
【図３】
2009522972.tif 000027
【図４】
2009522972.tif 000028
【図５】
2009522972.tif 000029
【図６】
2009522972.tif 000030
【国際調査報告】
2009522972.tif 000031
2009522972.tif 000032
2009522972.tif 000033
2009522972.tif 000034