(57)【特許請求の範囲】
【請求項１】
ビデオ配信を行うための前処理フィルタを選択する装置であって、
１つ以上の入力画像を複数の前処理フィルタに入力する手段であって、前記１つ以上の入力画像に属する入力画像の各々は少なくとも１つの領域に分割されている、手段と、
前処理フィルタ各々について、出力画像又はデータストリームを形成するように前処理フィルタ各々の出力を処理する手段と
を有し、該出力を処理する手段は、前処理フィルタ各々について、
前記１つ以上の入力画像に属する入力画像を第１の解像度でサブサンプリングすることで、サブサンプリングされた画像を取得し、
サブサンプリングされた画像の適応的な補間により前記出力画像又はデータストリームを取得し、フィルタパラメータはサブサンプリングされた画像における異なる領域毎に異なり、当該装置は、
前処理フィルタ各々について前記出力画像又はデータストリームのメトリックを算出する手段と、
前処理フィルタ各々について算出されたメトリック及び適応的な補間によるフィードバックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する手段と
を有し、前記フィードバックは、前記補間に使用されるフィルタパラメータについての情報をもたらす、装置。
【請求項２】
前記前処理フィルタ各々の出力を処理する前記手段において、前記前処理フィルタ各々の前記出力を３Ｄ方式でインタリーブする、請求項１記載の装置。
【請求項３】
前記前処理フィルタ各々の出力を処理する前記手段において、前記前処理フィルタ各々の前記出力をデシメートする、請求項１記載の装置。
【請求項４】
前記前処理フィルタを選択する前の第１段階のエンコーディング、及び前記前処理フィルタを選択した後の第２段階のエンコーディングである２つの段階を行う手段を更に有し、前記第１段階のエンコーディングの仕方は前記第２段階のエンコーディングに基づいて更新される、請求項１−３の何れか１項に記載の装置。
【請求項５】
前記入力画像を前記複数のフィルタに入力する前に前記入力画像を分析する手段と、
前記入力画像が入力されるフィルタの数又は後に選択される領域の数を分析結果に基づいて減らす手段と
をさらに有する請求項１−４の何れか１項に記載の装置。
【請求項６】
ビデオ配信を行うための前処理フィルタを選択する方法であって、
１つ以上の入力画像を複数の前処理フィルタに入力するステップであって、前記１つ以上の入力画像に属する入力画像の各々は少なくとも１つの領域に分割されている、ステップと、
前処理フィルタ各々について、出力画像又はデータストリームを形成するように前処理フィルタ各々の出力を処理するステップと
を有し、該出力を処理するステップにおいて、前処理フィルタ各々について、
前記１つ以上の入力画像に属する入力画像を第１の解像度でサブサンプリングすることで、サブサンプリングされた画像を取得し、
サブサンプリングされた画像の適応的な補間により前記出力画像又はデータストリームを取得し、フィルタパラメータはサブサンプリングされた画像における異なる領域毎に異なり、当該方法は、
前処理フィルタ各々について前記出力画像又はデータストリームのメトリックを算出するステップと、
前処理フィルタ各々について算出されたメトリック及び適応的な補間によるフィードバックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップと
を有し、前記フィードバックは、前記補間に使用されるフィルタパラメータについての情報をもたらす、方法。
【請求項７】
前記前処理フィルタ各々の出力を処理する前記ステップにおいて、前記前処理フィルタ各々の前記出力を３Ｄ方式でインタリーブする、請求項６記載の方法。
【請求項８】
前記前処理フィルタ各々の出力を処理する前記ステップにおいて、前記前処理フィルタ各々の前記出力をデシメートする、請求項６記載の方法。
【請求項９】
前記前処理フィルタを選択する前の第１段階のエンコーディング、及び前記前処理フィルタを選択した後の第２段階のエンコーディングである２つの段階を行うステップを更に有し、前記第１段階のエンコーディングの仕方は前記第２段階のエンコーディングに基づいて更新される、請求項６−８の何れか１項に記載の方法。
【請求項１０】
前記入力画像を前記複数のフィルタに入力する前に前記入力画像を分析するステップと、
前記入力画像が入力されるフィルタの数又は後に選択される領域の数を分析結果に基づいて減らすステップと
をさらに有する請求項６−９の何れか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は前処理フィルタを選択する方法及びフィルタセレクタ等に関連する。  
【背景技術】
【０００２】
開示される発明はビデオアプリケーションに関連する。特に、本発明の実施形態は、ELデコーダ及びエンコーダにおいて行われるエンハンスメントレイヤ(EL)前処理に対するベースレイヤ(BL)の情報に基づいて前処理フィルタ及びフィルタパラメータを選択する方法及び装置に関連する。本方法及び装置は、例えば、空間的な又は時間的なスケーラブルビデオ符号化や、スケーラブル3Dビデオアプリケーション等のような様々なアプリケーションに適用可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の課題は、前処理フィルタを選択する方法及び装置を提供することである。
【課題を解決するための手段】
【０００４】
一実施例形態による方法は、
ビデオ配信を行うための前処理フィルタを選択する方法であって、
1つ以上の入力画像を複数の前処理フィルタに入力し、
前処理フィルタ各々について出力画像又はデータストリームを形成するように、前処理フィルタ各々の出力を処理し、
前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、
前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップ
を有する方法である。
【図面の簡単な説明】
【０００５】
【図１】ベースレイヤ(BL)のエンコーディング選択及びエンハンスメントレイヤ(EL)のエンコーディング選択を行うスケーラブルエンコーディングアーキテクチャを示す図。
【図２】図1に示すエンコーディングシステムに対応するデコーディングアーキテクチャを示す図。
【図３】前処理最適化を行う開ループ処理を説明するための図。
【図４】前処理最適化を行う閉ループ処理を説明するための図。
【図５】簡略化されたエンコーディングを行う別の閉ループ処理を説明するための図。
【図６】シーケンス/画像分析の段階が先行する前処理フィルタ部を示す図。
【図７】ELエンコーダから受信したフィードバックにより前処理フィルタを選択する様子を示す図。
【図８】先行する画像に使用されたフィルタに基づいて前処理フィルタパラメータが予測されるアーキテクチャを示す図。
【発明を実施するための形態】
【０００６】
前処理フィルタを選択する方法及び装置が開示される。
【０００７】
第1の実施形態により提供される方法は、ビデオ配信用の前処理フィルタを選択する方法であって、本方法は、1つ以上の入力画像を複数の前処理フィルタに入力し、前処理フィルタ各々の出力を処理し、前処理フィルタ各々について出力画像又はデータストリームを形成し、前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、前処理フィルタ各々について算出されたメトリックに基づいて、複数の前処理フィルタの中から前処理フィルタを選択するステップを有する方法である。
【０００８】
第2の実施形態により提供される方法は、ビデオ配信用の前処理フィルタを選択する方法であって、本方法は、入力画像を分析し、該入力画像の或る領域を選択し、選択した領域について前処理フィルタを新たに選択する必要があるか否かを判定し、新たに選択する必要があった場合には前処理フィルタを選択し、新たに選択する必要がなかった場合には以前に選択されている前処理フィルタを選択するステップを有する方法である。
【０００９】
第3の実施形態により提供されるビデオ配信用の前処理フィルタセレクタは、入力画像を受信する複数の前処理フィルタと、前処理フィルタ各々の出力を処理し、出力画像又はデータストリームを形成する処理モジュールと、前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出するメトリック算出モジュールと、歪モジュールにより前処理フィルタ各々について算出されたメトリックに基づいて、複数の前処理フィルタの中から前処理フィルタを選択する前処理フィルタセレクタとを有する前処理フィルタセレクタである。
【００１０】
第4の実施形態により提供されるエンコーダは、上記の方法に応じてビデオ信号をエンコードする。
【００１１】
第5の実施形態により提供される装置は、上記の方法に応じてビデオ信号をエンコードする。
【００１２】
第6の実施形態により提供されるシステムは、上記の方法に応じてビデオ信号をエンコードする。
【００１３】
第7の実施形態により提供されるコンピュータ読取可能な媒体は、コンピュータに上記の方法を実行させる一群の命令を含む。
【００１４】
第8の実施形態によれば、ビデオ信号をエンコードするために上記の方法が使用される。
【００１５】
スケーラブルビデオ配信法の1つは、元のビデオを低解像度にサブサンプリングし、サブサンプリングしたデータをベースレイヤ(BL)のビットストリームにエンコードすることである。デコードされたベースレイヤのビデオは、元の完全な解像度のビデオを予測するためにアップサンプリングされる。エンハンスメントレイヤ(EL)はこの予測又は予測信号(prediction)をリファレンスとして使用し、元の完全な解像度のビデオを復元するのに必要な残りの情報をエンコードする。解像度のサブサンプリングは空間的な、時間的な及び画素による単位の領域で実行されてもよい。この点については非特許文献1に記載されている。スケーラブルビデオ配信はビット深度スケーラビリティ(bitdepth  scalability)だけでなく、3D又はマルチビュースケーラビリティ(multiview  scalability)にも適用可能である。
【００１６】
開示される発明の実施形態及び図面は単独のエンハンスメントレイヤを示しているが、開示される発明は、デコードされたビデオの品質を更に改善するため、又はビデオ配信システムの機能/柔軟性/複雑さ等を改善するために1つより多いエンハンスメントレイヤが使用される場合にも適用可能である。
【実施例１】
【００１７】
図1はそのようなスケーラブルビデオコーディングシステムの一例を示し、単なる一例として、唯1つのエンハンスメントレイヤが使用されている。BL(ベースレイヤ)−EL(エンハンスメントレイヤ)予測モジュール(110)は、再構築されたBLビデオからELを予測し、その予測又は予測信号(prediction)をELエンコーダ(120)にリファレンスとして入力する。
【００１８】
ステレオ又はマルチビュービデオデータ伝送の場合、既存のビデオ配信パイプラインを通じて通信するための1つの画像として、サブサンプリングは、異なる映像をインタリーブしたものでもよい。例えば、チェッカーボード方式、行毎の方式(line-by-line)、隣接方式(side-by-side)、上下方式(over-under)等は、2つの3D立体映像を配信用の1つの左/右インタリーブ画像にインタリーブする技術の具体例である。何れの場合においても、5点形(quincunx)、水平、垂直等の方式のような様々なサンプリング方式が使用されてもよい。
【００１９】
2008年12月25日付で出願され本願のリファレンス及び付録Aに組み入れられている米国仮出願第61/140,886号は、図1のBL-EL予測ブロック(110)において使用可能な様々なコンテンツ適応補間方法を示している。また、2009年4月20日付で出願され本願のリファレンス及び付録Bに組み入れられている米国仮出願第61/170,995号は、補間された画像領域及びコンテンツに依存して適合させる技術を開示しており、最適なフィルタがエンハンスメントレイヤデコーダにメタデータとして通知される。
【００２０】
図2はBL及びELの対応するデコーダアーキテクチャを示す。デコーダ側のBL-EL予測器(210)は通知された補間メタデータ(230)(図1の予測メタデータ(130)に対応する)とともにベースレイヤの再構築画像(220)を利用して、ELの予測又は予測信号(240)を生成する。予測メタデータ自体については2009年4月20日付けで出願され本願のリファレンスに組み入れられている米国仮出願第61/170,995号に詳細に説明されている。
【００２１】
再び図1を参照する。BL及びEL画像の作成の前に前処理モジュール(140)、(150)が先行している。前処理又は予備処理(pre-processing)は、圧縮効率や減衰アーチファクトを改善するために圧縮処理に先行して画像又はビデオに適用される。前処理モジュールは、例えば、サブサンプル画像からのエイリアシングのようなアーチファクトを除去するように設計されたダウンサンプリングフィルタを有する。ダウンサンプリングフィルタは、一定の有限インパルス応答フィルタ(FIR)(例えば、W.Li,J-R.Ohm,M.van  der  Schaar,  H.Jiang  and  S.Li,“MPEG-4  Video  Verification  Model  Version  18.0,”IEO/IEC  JTC1/SC29/WG11  N3908,  January  2001)、動き補償テンポラルフィルタ(例えば、E.Dubois  and  S.Sabri,  “Noise  Reduction  in  Image  Sequences  Using  Motion-Compensated  Temporal  Filtering,”IEEE  Trans.  on  Communications,  Vol.  COM-32,  No.7,  July  1984)、又は適応フィルタ(S.Chang,  B.Yu,  and  M.Vetterli,“Adaptive  Wavelet  Thresholding  for  Image  Denoising  and  Compression,”IEEE  Trans.  On  Image  Processing,  vol.9,  no.9,  pp.1532-1546,  September  2000)とすることができる。ダウンサンプリングフィルタは、特定のアップサンプリング/補間プロセスとともに最適化されてもよい(そのようなプロセスについては、例えば、Y.Tsaig,M.Elad,  P.Milanfar,  and  G.Golub,“Variable  Projection  for  Near-Optimal  Filtering  in  Low  Bit-Rate  Coders,”IEEE  Trans.  on  Circuits  and  Systems  for  Video  Technology,  vol.15,  no.1,  pp.154-160,  January  2005)。
【００２２】
以下、添付図面とともに、或るレイヤから他のレイヤ(例えば、BLからEL)への予測処理に関する情報に基づいて、前処理フィルタ及びフィルタパラメータを選択する方法及び装置の具体例を説明する。特に、図3に示す例は、BL-EL予測がどのように実行されるかを説明するための図を示す。そのような説明は、圧縮後に構築された実際のBL画像からの予測に基づくものではなく、非圧縮画像からの予測に基づくものである(開ループ)。これに対して、図4に示す例は圧縮後に再構築されたBL画像からの予測に関連している(閉ループ)。しかしながら図5に示されているように、簡略化された圧縮を行って、フィルタ選択処理の複雑さを軽減してもよい。簡略化された圧縮は、完全な圧縮処理を近似し、圧縮処理で導入される符号化アーチファクト及びビットレートを考察できるようにする。
【００２３】
図3は、開示される発明による前処理部(プレプロセッサ)及び前処理最適化法を説明するための図を示す。オプション領域選択モジュール(310)は、入力の画像又はソース(320)を複数の領域に分割する。そのような領域選択モジュールの具体例については、2009年4月20日付けで出願された米国仮出願第61/170,995号に説明されており、本願のリファレンス及び付録Bに組み込まれている。入力画像を複数の領域に分割することは、領域のコンテンツの特徴に基づいて、各領域に異なる前処理及び適応的補間を実行可能にする。
【００２４】
各領域について、(330-1)、(330-2)、(330-3)、．．．、(330-N)として示されている一群のフィルタ1-Nの中で最適な前処理フィルタが探索される。前処理フィルタは、分離可能な又は分離可能でないフィルタ、FIRフィルタ(様々なサポート長を有する)、水平、垂直又はダイアゴナルフィルタのような方向性フィルタ、ウェーブレット又は離散コサイン変換ン(DCT)方式のフィルタのような周波数領域フィルタ、エッジアダプティブフィルタ、動き補償時間フィルタ等でもよい。
【００２５】
各フィルタ(330-i)の出力は、各自のサブサンプリングモジュール(340-1)、(340-2)、(340-3)、．．．、(340-N)においてBL用の解像度又は分解能にサブサンプリングされる。
【００２６】
前処理フィルタ及びサブサンプリングモジュールの他の形態も可能であることを当業者は認めるであろう。例えば、前処理フィルタ及びサブサンプリングモジュールが単独の素子に一緒に統合されてもよいし、図3に示すものとは異なり前処理フィルタがサブサンプリングモジュールの後に続いていてもよい。
【００２７】
3D立体スケーラブルビデオ符号化システムの場合、各フィルタのサブサンプルされた出力は3Dインタリーバに送付され、ベースレイヤビデオの一部をなすサブサンプルされた3Dインタリーブ画像を形成する。3Dインタリーバの具体例については米国特許第5,193,000号に示されており、その内容全体は本願のリファレンスに組み入れられる。一方、3Dでないケースの場合、デシメータが使用されてもよい。サブサンプリングされた画像は、例えば米国仮出願第61/140,886号及び米国仮出願第61/170,995号に示されているような方法を用いて適応的にアップサンプリングされる。3Dインタリーバ又はデシメータ及び適応アップサンプリング部は、図3において(350-1)、(350-2)、(350-3)、．．．、(350-N)のブロックのように概略的に示されている。図示されているように、適応補間部はフィルタリングされていない元の情報を用いて最適な補間フィルタを判定する。そのような情報は領域選択モジュール(310)からの出力されている。
【００２８】
歪算出モジュール(360-1)、(360-2)、(360-3)、．．．、(360-N)において、アップサンプリングされた画像が元の入力ソースと比較され、元の画像及び処理された画像の間の歪測定値又は歪指標が算出される。平均二乗誤差(MSE)、ピーク信号対雑音比(PSNR)その他の知覚的歪メトリック(人間の視覚系の性質にいっそう適合する計量値)のような歪メトリック又は歪計量値が歪測定値の計算に使用されてもよい。
【００２９】
フィルタ選択モジュール(370)は、前処理フィルタ(330-i)の歪属性を比較し、ビデオのその領域のエンコード処理に最適な前処理フィルタを選択する。その後、選択されたフィルタの出力はダウンサンプリングされ(385)、エンコーディング処理部(390)に送られる。代替的に、ブロック370は、フィルタの中から選択を行うのではなく、既にダウンサンプルしたフィルタの出力の中から選択を行ってもよい。その場合、ダウンサンプリングモジュール385は必要ではない。
【００３０】
フィルタ選択モジュール(370)は、テクスチャ(texture)、エッジ情報又は境界情報等のような領域に関する追加的な統計情報を領域選択部(310)からの入力として受信し、その入力はフィルタの判定に役立つ。例えば、領域に依存して、或るフィルタの歪推定値が他の値に対して増加する方向に重み付けされてもよい。
【００３１】
図1に示すような実際のシステムにおいて、BL-EL予測に関する適応補間がデコーダの再構築BL画像には行われるが元の前処理コンテンツには行われないという点において、図3に示す開ループ処理は最適なものではない。しかしながら開ループ処理は演算負担が少なくて済み、コンテンツの実際の符号化に先立って「個別に又はオフライン(offline)」で実行可能である。
【００３２】
図3に示す実施形態はスケーラブルアーキテクチャに固有のものでないことを当業者は認めるであろう。更に、そのような実施形態はELのみに対して、BLのみに対して、或いはEL及びEL双方に対して適用可能である。更に、必要に応じて異なる前処理部(プレセレクタ)がBL及びELに使用されてもよい。EL前処理の場合、例えばBLに含まれていなかったサンプルについてダウンサンプリングが更に行われてもよい。
【００３３】
図4は開示される発明の別の実施形態を示し、前処理最適化のための閉ループ処理が行われる。特に、各フィルタ(430-i)のサブサンプル出力にエンコードステップ処理部(450-i)が設けられている。エンコードステップ処理部(450-i)において、フィルタの出力の各々が完全にエンコード又は符号化され、その後、例えば図1に示す方式に従って再構築される(455-i)。スケーラブルビデオエンコード処理の場合、そのようなエンコード処理は、BLエンコード処理、BL-EL予測に関する適応補間処理、及びELエンコード処理を含む。図4は、ELフィルタ(435-11)．．．(435-1M)がBLフィルタ(430-1)に対して設けられ、以下同様にBLフィルタ(430-N)に至るまでELフィルタが同様に設けられ、BLフィルタ(430-N)に対してはELフィルタ(435-N1)．．．(435-NM)が設けられている。
【００３４】
モジュール(455-i)の出力におけるエンコード及び再構築されたビットストリームは、（i）歪計算(460-i)及び(ii)フィルタ選択モジュール(470)の入力(465)という2つの目的に使用される。特に、フィルタ選択モジュール(470)は、歪モジュール(460-i)の出力に従って、何れかの入力(465)を出力エンコードビットストリーム(490)として選択する。より具体的には、各領域について最小の歪を示すフィルタが前処理選択部(プレセレクタ)として選択される。
【００３５】
図4の実施形態によるフィルタの最適化は、歪だけでなく、ターゲット、目標値又は結果のビットレートを考慮することもできる。言い換えれば、選択されたフィルタに応じて、エンコーダは画像をエンコードする際に異なるビット数を必要としてもよい。すなわち、開示される発明の一実施形態によれば、最適なフィルタ選択において、エンコーディング後の歪及び/又は後処理(post-processing)に加えて、エンコード処理に必要なビットを考慮してもよい。これは、あるビットレートの制約の下で対象又が歪を最小化するようにする最適化問題として定立できる。これを行うのに可能な技法はラグランジアン最適化法(Lagrangian  optimization)である。そのような処理は、フィルタ選択部(470)において行われ、i)Dモジュール(460-i)において算出された歪及びii)エンコードモジュール(450-i)から利用可能なビットレートを利用する。
【００３６】
より一般的には、いくつものタイプのメトリックの内の1つ以上に基づく最適化が実行されてもよい。そのようなメトリックは、上述したような歪及び/又はビットレートを含むが、コスト、電力、パワー、時間、演算負担及び/又はその他のタイプのメトリックに拡張可能である。
【００３７】
上述した方法は速度歪最適化フィルタ結果(rate-distortion  optimal  filter  result)をもたらすが、非常に演算負担が大きい。そのような実施形態における演算負担を軽減するいくつかの方法を以下において説明する。
【００３８】
図5は代替例を示し、可能性のあるフィルタの選択肢各々について、真にエンコードされデコーダで再構築された画像を算出するのではなく、簡略化されたエンコード(550-i)及び再構築されたものが、真のデコーダ再構築の推定値として使用される。
【００３９】
例えば、完全なエンコード処理(575)は、フィルタの選択(570)が完了した後でしか実行されない。簡略化エンコーダ(550-i)は、例えば、完全なエンコーダ(575)からの動き及び再構築画像情報(577)を用いて更新可能である。例えば、簡略化されたエンコーダのリファレンス画像バッファ(図1の要素160，170)は、簡略化されたエンコーダにより再構築された画像を含むように更新されてもよい。同様に、先行する領域に関して完全なエンコーダで生成された動き情報は、簡略化されたエンコーダ(550-i)のディスパリティ(disparity)推定モジュールで使用可能である。一例として、簡略化エンコーダは、完全なエンコーダにより使用されるのと同じ量子化パラメータを用いるイントラのみのエンコードに基づいて、モデルを形成してもよい。或いは、簡略化エンコーダは、例えば量子化パラメータ・周波数モデルを形成することで、使用される量子化パラメータに対する周波数関係に基づくフィルタリングを行ってもよい。更に、より高い精度が必要な場合、簡略化エンコーダと完全なエンコーダとの間の相違が、モデルを更に更新するのに使用されてもよい。
【００４０】
フィルタ選択に先行するブロック(550-i)により実行される簡略化されたエンコード処理は、例えば、動き推定及び補償の複雑さを軽減するためにイントラのみのエンコードとしてもよい。一方、動き推定が行われる場合、サブピクセル動き推定(sub-pixel  motion  estimation)がディセーブルされてもよい。更なる代替例は、圧縮の際に可能な全ての符号化判定を調査するのではなく、より簡易な速度歪最適化法(a  low  complexity  rate  distortion  optimization  method)を使用するものである。ループフィルタ及び後処理フィルタのような追加的なフィルタは、ディセーブルにされる又は簡略化される。簡略化を行うため、フィルタを完全にオフにする或いはフィルタリングに使用されるサンプル数を制限してもよい。フィルタが頻繁には使用されないように及び/又はフィルタが特定のブロックエッジ又は境界について使用されるか否かを判定する簡略化処理を使用するように、フィルタパラメータが調整されてもよい。更に、何らかの彩度(chroma)成分に使用されるフィルタが、他の彩度成分又は光度(luma)成分に使用されるフィルタに応じて、ディセーブルに及び推定されてもよい。別の実施形態において、フィルタの選択は、領域全体を最適化するのではなく、一部の領域(例えば、各領域の中心部分)について最適化されてもよい。場合によっては、簡略化されたエンコーダは、より低い解像度又はより低い速度歪最適化(Rate  Distortion  Optimization:  RDO)の複雑さによりエンコード処理を実行してもよい。更に、不均衡、視差、相違又はディスパリティ(disparity)の推定は、サブピクセル単位ではなく、完全なピクセルを単位としてディスパリティを測定するように制限されてもよい。更に、画像の光度(luma)成分のみがエンコードされ、彩度成分の歪及びレート(rate)が光度の関数として推定されてもよい。他の実施形態において、簡略化されたエンコード処理は、完全なエンコーダ(ブロック575)の先行する出力に基づいてブロック550-iの出力をモデル化する精密プロセス(precision  process)を単に使用してもよい。
【００４１】
上記の選択肢の全ては簡略化されたエンコーダ(550-i)において使用可能である。換言すれば、簡略化されたエンコーダ(550-i)は図1に示されるエンコードモジュールの全てを備え、それらのモジュールの各々が上述したように簡略化され、完全なエンコーダの出力から出力が大幅に逸脱しないように維持してもよい。
【００４２】
図6は開示される発明の別の実施形態を示し、前処理フィルタステージ部(610)に先行してシーケンス/画像分析ステージ部(620)が設けられている。分析ステージ部(620)は、前処理フィルタのうち最適化に使用する一部分(630)を決定することができる。画像/シーケンス分析部(620)は、(空間的な領域で及び/又は時間的な期間にわたって)テクスチャ(texture)及び/又は分散(variance)の計算を行い、問題としている特定のアプリケーションに必要なフィルタのタイプを判定する。例えば、エンコード処理の前において、画像が滑らかな領域であれば、プレフィルタリング処理を一切必要としないかもしれない。また、ある領域は空間的及び時間的なフィルタリングの双方を必要とするが、他の領域は空間的又は時間的なフィルタリングの片方のみを必要とするかもしれない。ビット深度スケーラビリティの場合、トーンマッピング曲線(tonemapping  curves)が各領域について最適化されてもよい。方向性フィルタ(directional  filter)が使用される場合、画像分析モジュール(620)は、エッジ分析を行い、方向性フィルタが最適化に含められるべきか否かを判定し、含められるべき場合、フィルタリングを実行する支配的な方向を判定する。必要に応じて、これらの技法は領域選択モジュールに組み込まれてもよい。また、あるフィルタが所定の閾値を上回る速度歪パフォーマンスを示す場合、最適化において更なるフィルタは一切評価されないようにすることで、早期に終了する基準が使用されてもよい。そのような方法は、画像分析とともに簡易に結合可能であり、探索が実行されるフィルタ数を更に減らすことができる。
【００４３】
図7は開示される発明の更に別の実施形態を示し、前処理フィルタ選択部(710)が、エンハンスメントレイヤエンコーダ(720)から受信した追加的なフィードバック(740)を利用している。例えば、フィードバックは、BL-EL予測信号を生成するのに使用された適応アップサンプリングフィルタパラメータについての情報を含んでいてもよい。その場合、ダウンサンプリングフィルタ選択部は、先行する最適化処理ステージにより、最良に機能する適応アップサンプリングフィルタに適合することができる。これは、前処理に関する領域の選択にも貢献できる。
【００４４】
例えば、画像が複数の小さな領域に分割され、最初の段階において、各領域に異なる前処理フィルタが想定されてもよい。このような実施形態は、先行する画像分析が一切行われていないような簡易なシステムにおいて有用である。そのような場合、アップサンプリング情報(例えば、アップサンプラが複数の領域について同じアップサンプリングフィルタを選択したか否かの情報)は、最良のダウンサンプリングフィルタ選択がどのように動作すべきかを示すインジケータとして使用可能である。例えば、アップサンプリングフィルタが画像全体について同一であった場合、おそらくは、画像を複数の領域に分割する必要はなく、領域各々について別個にダウンサンプリングフィルタを最適化する必要はない。
【００４５】
しかしながら、モジュール(730)においてBLをエンコードした後に、BL-EL予測最適化が、複数の画像の領域の予測に関して同じアップサンプリングフィルタで十分であることを判定するかもしれない。その場合、プレプロセッサはそれらの領域に関して同一の又は同様な前処理フィルタを選択してもよい。これは、全体的な閉ループ最適化が実行される必要のある領域数を減らし、それ故に処理の演算時間を減らすことになる。より一般的には、このステップはBL/ELコンフィギュレーションとは異なるコンフィギュレーションにも適用可能である。
【００４６】
プレプロセッサ最適化の演算負担は、シーケンス中の先行する画像又は画像領域に使用されたフィルタに基づく前処理フィルタパラメータにより更に減少させることができる。図8はそのようなシステムの一例を示す。
【００４７】
例えば、プレプロセッサ最適化(810)はN個の画像/領域毎に一度実行され、Nは、一定値でもよいし或いは利用可能な演算リソース及び時間に基づく可変値でもよい。一実施形態において、過去に最適であったフィルタパラメータを使用するか否かの判断は、画像分析モジュール(820)から得られた情報に依存してもよい(例えば、図6の画像分析モジュール(620))。例えば、2つの画像又は2つの画像領域が非常に高い相関を示していた場合、フィルタパラメータは、その領域の一方について一度だけ最適化されればよく、他方の領域についてはそれを再利用/改善することができる。画像領域は、空間的に隣接していてもよいし、時間的に隣接していてもよいし、或いはマルチビューの場合、各々の映像に対応する画像領域であってもよい。例えば、2つの連続するビデオシーケンスを考察した場合、2つの画像同士の間の画素値の平均的な絶対差分は、時間的な相関の指標又は測定値(measure)として使用可能であり、その平均的な絶対差分が閾値より低かった場合、フィルタが再利用されてもよい(840)。
【００４８】
別の実施形態において、同じフィルタを再利用するか否かの判定は、デコード画像を再構築した後における元のビデオソースに対する歪計算値に基づいて行われてもよい。算出された歪が特定の閾値を上回っていた場合、又は算出された歪が先行する画像/領域の歪から大幅に増加していた場合に、プレプロセッサ最適化が実行される。
【００４９】
更に別の実施形態において、画像分析段階において又はビデオエンコード処理の最中に計算された動き情報(motion information)が、画像に含まれている領域の動きを判定するのに使用可能である。すなわち、先行する画像に使用されたフィルタパラメータは、対応する領域の動きに従う。
【００５０】
別の実施形態において、隣接する領域は、最適なフィルタの探索を実行する際のフィルタ群を決定するのに使用可能である。例えば、隣接する領域に関する最適化の結果が、可能性のあるN個のフィルタの内のM個の部分が他よりも優れていることを常に示していた場合、そのM個の部分のみが現在の画像領域の最適化に使用されてもよい。
【００５１】
現在の領域に使用されているフィルタは次の形式を使用することができる：
a*f(L,T,D,P)+b
ここで、Lは現在の領域の左側に対する画像領域について最適化されたフィルタを使用する場合のフィルタ値であり、Tは上側に対する画像領域について最適化されたフィルタを使用することに関連し、Pは先行する画像と同じ場所にある画像領域に関するものである。関数fは、平均、メジアンその他の指標(隣接する領域各々に対する現在の領域の類似性を考慮に入れることが可能な指標)を利用して各フィルタからのフィルタ値を合成する。変数a及びbは定数であってもよいし、或いは動きやテクスチャのような空間的/時間的な属性に依存して変化してもよい。より一般的には、考察されるフィルタは、既に選択されている隣接する領域におけるものであってもよい。ラスタスキャン(raster  scan)を行う具体例は、上記のL、T、D、Pのみの場合である。
【００５２】
更に別の実施形態において、フィルタの速度歪パフォーマンスに加えて、フィルタの「リソース歪(resource-distortion)」パフォーマンスが考慮されてもよい。その場合、リソースは、利用可能なビットを含む概念であるが、それに限定されず、エンコード装置において利用可能な電力又はパワー、演算処理能力、時間的制約のあるアプリケーションの場合には遅延時間の制約等も含まれる。
【００５３】
更に別の実施形態において、歪指標(distortion  measurement)は、複数の歪指標の組み合わせを含んでもよいし、或いは追加的な因子(伝送エラー、誤り隠蔽(error  concealment)、ディスプレイ又は再生装置で使用されるその他の後処理)を考慮してもよい。
【００５４】
要するに、開示される実施形態による方法はビデオシーケンスの領域について適応的に前処理を施すのに使用可能である。本方法は、出力ビデオの速度歪特性を改善しつつ最適化処理の演算負担を最小化することを意図している。本方法は個々の実施形態により説明されたが、それらは簡易なスケーラブルビデオエンコーダにおいて組み合わせて使用されてもよい。
【００５５】
本願により開示された実施形態はスケーラブルビデオ配信の観点から説明されてきたが、開示される発明はスケーラブルビデオ配信以外の用途にも適用可能である。例えば、エンコードに先立って、帯域幅の要請を減らすためにビデオがダウンサンプリングされ、デコードの後に完全な解像度を得るために補間される製品に広く適用可能である。適応的な補間法が使用される場合、適応的な補間を行うためにダウンサンプリングが最適化されてもよい。そのようなスケーラブルではない用途の場合、出力は、ELエンコーダの出力ではなく、適応的にアップサンプルされた出力である。
【００５６】
別の応用例はインタレースビデオコーディング(interlaced  video  coding)であり、前処理フィルタは、デコーダにおいて解除されたインタレースに基づいて最適化されてもよい。更に、開示される発明はインタレースされたビデオコーディングと同様なスケーラブルでない3Dアプリケーションにも適用可能であり、その場合、左及び右映像がエンコード処理に先立って空間的又は時間的にダウンサンプル及びインタリーブされ、デコーダにおいて適応的に補間され、空間的又は時間的に完全な解像度を得る。この例の場合、右側及び左側の映像が互に予測可能である。別の例の場合、あるレイヤ又は層が、色空間表現、ビット深度及び/又はスケール(例えば、対数又は線形の尺度)が第1タイプであるフレームを含み、別のレイヤ又は層が、色空間表現、ビット深度及び/又はスケールが第2タイプであるフレームを含んでもよい。開示される発明は、あるレイヤにおけるサンプルから他のレイヤにおけるサンプルを予測及び圧縮する処理を最適化する際に使用されてもよい。
【００５７】
開示される発明による方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせにより実現されてもよい。複数のブロック、複数のモジュール又は複数の素子として説明された要素は、(例えば、統合された論理装置のような論理装置において)一緒に実現されてもよいし、或いは(個別に接続された論理装置のように)別々に実現されてもよい。開示される発明による方法を実現するソフトウェアの部分は、実行された場合に、開示された方法の少なくとも一部をコンピュータに実行させる命令により形成され、その命令はコンピュータ読取可能な媒体に保存される。コンピュータ読取可能な媒体は、例えば、ランダムアクセスメモリ(RAM)及び/又はリードオンリメモリ(ROM)を含む概念である。命令はプロセッサにより実行され、プロセッサは例えばディジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)又はフィールドプログラマブル論理アレイ(FPGA)等である。
【００５８】
以下、開示される発明による実施形態を例示的に列挙する。
【００５９】
［実施形態1］
ビデオ配信用の前処理フィルタを選択する方法であって、
1つ以上の入力画像を複数の前処理フィルタに入力し、
前処理フィルタ各々について出力画像又はデータストリームを形成するように、前処理フィルタ各々の出力を処理し、
前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、
前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップ
を有する方法。
【００６０】
［実施形態2］
当該方法はスケーラブルビデオ配信用の方法であり、該スケーラブルビデオ配信は、ベースレイヤ及び1つ以上のエンハンスメントレイヤにより入力画像をエンコード及び再構築することを含む、実施形態1記載の方法。
【００６１】
［実施形態3］
前記前処理フィルタはベースレイヤ前処理フィルタであり、前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力を前記ベースレイヤの解像度に合わせてサブサンプリングする、実施形態2記載の方法。
【００６２】
［実施形態4］
前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力を3D方式でインタリーブする、実施形態1記載の方法。
【００６３】
［実施形態5］
前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力をデシメートする、実施形態1記載の方法。
【００６４】
［実施形態6］
前記出力画像又はビットストリームの前記メトリックが前記入力画像に対して算出される、実施形態1記載の方法。
【００６５】
［実施形態7］
前記出力画像又はデータストリームのメトリックを算出する場合において、前処理フィルタ各々について別様に歪を算出する、実施形態1記載の方法。
【００６６】
［実施形態8］
前記出力画像又はデータストリームのメトリックを算出する場合において、前記入力画像の選択された領域に応じて別様に前記メトリックを算出する、実施形態1記載の方法。
【００６７】
［実施形態9］
別様に前記メトリックを算出する場合において、1つ以上の領域を選択していた場合に生成された領域に関する統計値に基づいて前記メトリックを算出する、実施形態8記載の方法。
【００６８】
［実施形態10］
当該方法が前記ビデオ画像をエンコードする前に実行される、上記実施形態の何れか1項に記載の方法。
【００６９】
［実施形態11］
前記出力画像又はデータストリームを形成するように、前記前処理フィルタ各々の前記出力を処理する場合において、エンコードされた出力データストリームを形成するように前記前処理フィルタ各々の前記出力をエンコードする、実施形態1-10の何れか1項に記載の方法。
【００７０】
［実施形態12］
前記出力をエンコードする場合において、ベースレイヤのエンコーディング、エンハンスメントレイヤの予測に対するベースレイヤの適応的な補間、及びエンハンスメントレイヤのエンコーディングを行う、実施形態11記載の方法。
【００７１】
［実施形態13］
前記前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する場合において、選択された前記前処理フィルタに対応するエンコードされた前記出力データストリームを選択する、実施形態11又は12に記載の方法。
【００７２】
［実施形態14］
前記前処理フィルタを選択する前に第1段階のエンコーディングを実行し、前記前処理フィルタを選択した後に第2段階のエンコーディングを行うステップを更に有する、上記実施形態の何れか1項に記載の方法。
【００７３】
［実施形態15］
前記第1段階のエンコーディングが、前記前処理フィルタの前記出力を処理する場合に行われる、実施形態14記載の方法。
【００７４】
［実施形態16］
前記第1段階のエンコーディングが、簡略化されたエンコーディングである、実施形態14又は15に記載の方法。
【００７５】
［実施形態17］
前記第1段階のエンコーディングが、イントラのエンコーディングのみに限定されている、実施形態16に記載の方法。
【００７６】
［実施形態18］
前記第1段階のエンコーディングが、サブピクセル動き推定、ブロック化の解除、再度エンコーディングの内の1つ以上を実行せず、及び/又は低レート歪最適化処理及び低解像度エンコーディングの内の1つ以上を実行する、実施形態16又は17に記載の方法。
【００７７】
［実施形態19］
前記第1段階のエンコーディングの仕方が、前記第2段階のエンコーディングに基づいて更新される、実施形態14-18の何れか1項に記載の方法。
【００７８】
［実施形態20］
前記第1段階のエンコーディングの仕方が、前記第1段階のエンコーディングにおけるリファレンス画像バッファを更新することで更新される、実施形態19記載の方法。
【００７９】
［実施形態21］
前記1つ以上の入力画像における複数の領域が選択される、上記実施形態の何れか1項に記載の方法。
【００８０】
［実施形態22］
前記入力画像を前記複数の前処理フィルタに入力する前に前記入力画像を分析し、
前記入力画像が入力される前処理フィルタの数又は後に選択される領域の数を分析結果に基づいて減らすステップ
をさらに有する上記実施形態の何れか1項に記載の方法。
【００８１】
［実施形態23］
前記出力画像又はデータストリームのメトリックを算出する前に、前記出力画像又はデータストリームをエンコーディング又は再構築するステップ
をさらに有する上記実施形態の何れか1項に記載の方法。
【００８２】
［実施形態24］
当該方法がスケーラブルビデオ配信を行うためのものであり、該スケーラブルビデオ配信は、ベースレイヤ及び1つ以上のエンハンスメントレイヤにより前記入力画像をエンコード及び再構築することを含み、
前記複数の前処理フィルタは、複数のベースレイヤフィルタ及びベースレイヤフィルタ各々に対する複数のエンハンスメントレイヤフィルタを含む、実施形態23記載の方法。
【００８３】
［実施形態25］
当該方法が、前記出力画像又はデータストリームをエンコードするステップを更に含み、前記前処理フィルタを選択する場合において、該エンコードによるフィードバックに基づいて前記前処理フィルタを選択する、上記実施形態の何れか1項に記載の方法。
【００８４】
［実施形態26］
当該方法がスケーラブルビデオ配信を行うためのものであり、前記エンコードするステップにおいて、ベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを行い、前記フィードバックは前記エンハンスメントレイヤのエンコーディングにより得られる、実施形態25記載の方法。
【００８５】
［実施形態27］
前記フィードバックによる信号が、ベースレイヤを生成してエンハンスメントレイヤの予測を行うのに使用される適応アップサンプリングフィルタパラメータについての情報を含む、実施形態26記載の方法。
【００８６】
［実施形態28］
前記入力画像が、同一の画像に属する異なる領域を含み、1つ以上の前記前処理フィルタが各領域について別個に選択される、実施形態25-27の何れか1項に記載の方法。
【００８７】
［実施形態29］
前記入力画像が、同一の画像に属する異なる領域を含み、1つ以上の前記前処理フィルタが各領域について別個に選択される、実施形態の何れか1項に記載の方法。
【００８８】
［実施形態30］
当該方法が、ビット深度、スケール及び/又は色空間表現が異なるビデオのスケーラブル配信のための方法である、実施形態2記載の方法。
【００８９】
［実施形態31］
当該方法が、スケーラブルでないビデオ配信のための方法である、実施形態1記載の方法。
【００９０】
［実施形態32］
前記スケーラブルでないビデオ配信が、エンコーディングに先立つサブサンプリングと、デコーディング後のビデオ補間とを含む、実施形態31記載の方法。
【００９１】
［実施形態33］
前記ビデオ補間が適応的なビデオ補間である、実施形態32記載の方法。
【００９２】
［実施形態34］
前記スケーラブルでないビデオ配信が、スケーラブルでない3Dビデオ配信である、実施形態31記載の方法。
【００９３】
［実施形態35］
前記スケーラブルでない3Dビデオ配信が、エンコーディングの前に左側及び右側の画像をサブサンプリング及びインタリーブし、デコーディングの際に前記左側及び右側の画像を適応的に補間することを含む、実施形態34記載の方法。
【００９４】
［実施形態36］
前記左側の画像が前記右側の画像から予測可能であり、かつ前記右側の画像が前記左側の画像から予測可能である、実施形態35記載の方法。
【００９５】
［実施形態37］
前記ビデオ配信が、インタレース処理を行うことを含むビデオエンコーディングと、インタレース処理を解除することを含むビデオデコーディングとを行うことを含み、前記出力画像又はデータストリームの前記メトリックが前記インタレース処理を解除することに基づく、実施形態1記載の方法。
【００９６】
［実施形態38］
前記ビデオ配信がマルチビュービデオ配信である、実施形態1記載の方法。
【００９７】
［実施形態39］
前記メトリックが、歪、ビットレート、電力、コスト、時間及び演算負担の内の1つ以上により表現される、上記実施形態の何れか1項に記載の方法。
【００９８】
［実施形態40］
前記歪が複数の歪メトリックの組み合わせにより表現される、実施形態39記載の方法。
【００９９】
［実施形態41］
ビデオ配信を行うための前処理フィルタを選択する方法であって、
入力画像を分析し、
該入力画像の或る領域を選択し、
選択した領域について前処理フィルタを新たに選択する必要があるか否かを判定し、
新たに選択する必要があった場合には前処理フィルタを選択し、
新たに選択する必要がなかった場合には以前に選択されている前処理フィルタの選択を維持するステップを
有する方法。
【０１００】
［実施形態42］
前処理の後に前記領域をエンコーディング及び再構築するステップを更に有する、実施形態41記載の方法。
【０１０１】
［実施形態43］
当該方法がスケーラブルビデオ配信のための方法であり、前記エンコーディングがベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを含み、前記再構築がベースレイヤの再構築及びエンハンスメントレイヤの再構築を含む、実施形態42記載の方法。
【０１０２】
［実施形態44］
前処理フィルタを新たに選択する必要があるか否かを判定する場合において、再構築された領域からのフィードバックに基づいて判定する、実施形態42又は43記載の方法。
【０１０３】
［実施形態45］
前処理フィルタを新たに選択する必要があるか否かを判定する場合において、選択された領域の近傍に基づいて判定する、実施形態42-43の何れか1項に記載の方法。
【０１０４】
［実施形態46］
ビデオ配信を行うための前処理フィルタセレクタであって、
入力画像を受信する複数の前処理フィルタと、
出力画像又はデータストリームを形成するように前処理フィルタ各々の出力を処理する処理モジュールと、
前処理フィルタ各々について前記出力画像又はデータストリームのメトリックを算出するメトリック算出モジュールと、
歪モジュールにより前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する前処理フィルタセレクタと
を有する前処理フィルタセレクタ。
【０１０５】
［実施形態47］
当該前処理フィルタセレクタが前記入力画像の1つ以上の領域を選択する領域セレクタを更に有し、前記複数の前処理フィルタが、前記領域セレクタに接続されかつ選択された1つ以上の領域の画像を処理する、実施形態46記載の方法。
【０１０６】
［実施形態48］
前記ビデオ配信がスケーラブルビデオ配信であり、ベースレイヤエンコーディング及びエンハンスメントレイヤエンコーディングを行うことを含む、実施形態46又は47に記載の前処理フィルタセレクタ。
【０１０７】
［実施形態49］
前記ビデオ配信がスケーラブルでないビデオ配信である、実施形態46又は47に記載の前処理フィルタセレクタ。
【０１０８】
［実施形態50］
前記メトリックが、歪、ビットレート及び複雑さの内の1つ以上により表現される、実施形態43-46の何れか1項に記載の前処理フィルタセレクタ。
【０１０９】
［実施形態51］
実施形態1又は41に記載の方法によりビデオ信号をエンコードするエンコーダ。
【０１１０】
［実施形態52］
実施形態1又は41に記載の方法によりビデオ信号をエンコードする装置。
【０１１１】
［実施形態53］
実施形態1又は41に記載の方法によりビデオ信号をエンコードするシステム。
【０１１２】
［実施形態54］
実施形態1又は41の何れか1項に記載の方法をコンピュータに実行させる一群の命令を含むコンピュータ読取可能な媒体。
【０１１３】
［実施形態55］
ビデオ信号をエンコードするための実施形態1又は41の何れか1項に記載の方法の使用。
【０１１４】
上記の実施形態は、開示される発明によるビデオアプリケーションのビデオ前処理用のフィルタ選択法を如何にして実現及び使用するかの説明を補完するためのものであり、発明者が開示した範囲を限定することは意図されていないことが、当業者には明らかであろう。本願による開示を実現する上記の実施形態の変形例が、当業者によりなされてもよく、そのような変形例は添付の特許請求の範囲内に包含されるように意図されている。本願において言及された特許及び出願の全ては開示される発明の技術水準を示す。本願において言及された全てのリファレンスは、各リファレンスがあたかも完全にそれぞれ組み込まれていた場合と同じ範囲をもたらすように組み込まれる。
【０１１５】
開示される発明は具体的な方法やシステムに限定されず、当然に変更されてもよいことが理解されるであろう。本願において使用される用語は特定の実施形態を説明する観点から使用されているに過ぎず、本発明を限定するようには使用されていないことが理解されるであろう。本願及び特許請求の範囲において使用されているように、要素に付随する「ある」、「或る」、「該」、「その」等の用語は、特に断りのない限りその要素が複数個存在することを含むものとする。「複数の」という用語は、特に断りのない限り、2以上であることを含む。特に断りのない限り、本願において使用されている全ての技術用語及び具体的な用語は、開示される発明が関連する技術分野における通常の知識を有する者が通常使用する用語と共通する意味を有する。
【０１１６】
以上、開示される発明について多くの実施形態が説明されてきた。しかしながら開示される発明の精神及び範囲から逸脱することなく、様々な変形例がなされてもよいことは明らかであろう。従って例示したもの以外の実施形態も特許請求の範囲に包含される。
【０１１７】
［関連出願］
本願は、2009年4月20日付けで出願された米国仮出願第61/170,995号、2009年7月4日付けで出願された米国仮出願第61/223,027号及び2009年9月14日付けで出願された米国仮出願第61/242,242号による優先的な利益を享受し、それらの出願の内容は本願に組み入れられる。また、本願は2008件12月25日付けで出願された米国仮出願第61/140,886号にも関連し、その内容も補願に組み入れられる。
【先行技術文献】
【非特許文献】
【０１１８】
【非特許文献１】J.R.  Ohm,“Advances  in  Scalable  Video  Coding,”Proceedings  of  the  IEEE,  vol.93,  no.1,  January  2005
【図１】
0005364820.tif 000002
【図２】
0005364820.tif 000003
【図３】
0005364820.tif 000004
【図４】
0005364820.tif 000005
【図５】
0005364820.tif 000006
【図６】
0005364820.tif 000007
【図７】
0005364820.tif 000008
【図８】
0005364820.tif 000009