(57)【特許請求の範囲】
【請求項１】
トーンマッピング関数、逆トーンマッピング関数及びビットアップサンプリングを使用して、あるピクチャの少なくとも一部のレイヤ間の残差の予測を生成することで、前記少なくとも一部のピクチャデータを符号化するエンコーダを備え、
前記トーンマッピング関数及び前記逆トーンマッピング関数は、同じビット深度の表現を維持して、ビット深度スケーラビリティについて残差の領域から画素の領域への前記レイヤ間の残差の予測の変換を行い、
前記エンコーダは、エンハンスメントレイヤの参照を使用して動き補償を行ってエンハンスメントレイヤの予測を生成し、前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングしてトーンマッピングされた予測を生成し、ベースレイヤの残差をビットアップサンプリングし、前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得し、前記和をフィルタリングして平滑化されたベースレイヤの参照を取得し、前記平滑化されたベースレイヤの参照を逆トーンマッピングして逆トーンマッピングされた予測を生成することで前記レイヤ間の残差の予測を生成し、
前記エンコーダは、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差を符号化して送信する、
ことを特徴とする装置。
【請求項２】
前記エンコーダは、エンハンスメントレイヤの参照を使用して動き補償を行ってエンハンスメントレイヤの予測を生成し、前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングしてトーンマッピングされた予測を生成し、ベースレイヤの残差をビットアップサンプリングし、前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得し、前記和をフィルタリングして平滑化されたベースレイヤの参照を取得し、前記平滑化されたベースレイヤの参照を逆トーンマッピングして逆トーンマッピングされた予測を生成することで前記レイヤ間の残差の予測を生成し、
前記エンコーダは、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差を符号化して送信する、
請求項１記載の装置。
【請求項３】
前記ベースレイヤの残差は、ｍを前記ピクチャに対応するエンハンスメントレイヤのビット深度とし、ｎを前記ピクチャに対応するベースレイヤのビット深度として、（ｍ−ｎ）ビットだけビットアップサンプリングされる、
請求項２記載の装置。
【請求項４】
前記エンコーダは、前記トーンマッピングされた予測を生成するために使用されるトーンマッピング関数と前記逆トーンマッピングされた予測を生成するために使用される逆トーンマッピング関数との少なくとも一方を、信号伝達するか又は送信する、
請求項２記載の装置。
【請求項５】
前記エンコーダは、１以上のシンタックスエレメント及び１以上のフラグの少なくとも一方を使用して、前記トーンマッピング関数と前記逆トーンマッピング関数の少なくとも一方を信号伝達する、
請求項４記載の装置。
【請求項６】
前記ビットアップサンプリングされたベースレイヤの残差は、ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差を取得するために、空間的にアップサンプリングされ、前記ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差は、前記和を得るために前記トーンマッピングされた予測に加えられる、
請求項２記載の装置。
【請求項７】
トーンマッピング関数、逆トーンマッピング関数及びビットアップサンプリングを使用して、あるピクチャの少なくとも一部のレイヤ間の残差の予測を生成することで、前記少なくとも一部のピクチャデータを符号化するステップを含み、
前記トーンマッピング関数及び前記逆トーンマッピング関数は、同じビット深度の表現を維持して、ビット深度スケーラビリティについて残差の領域から画素の領域への前記レイヤ間の残差の予測の変換を行い、
エンコーダは、エンハンスメントレイヤの参照を使用して動き補償を行ってエンハンスメントレイヤの予測を生成し、前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングしてトーンマッピングされた予測を生成し、ベースレイヤの残差をビットアップサンプリングし、前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得し、前記和をフィルタリングして平滑化されたベースレイヤの参照を取得し、前記平滑化されたベースレイヤの参照を逆トーンマッピングして逆トーンマッピングされた予測を生成することで前記レイヤ間の残差の予測を生成し、
前記エンコーダは、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差を符号化して送信する、
ことを特徴とする方法。
【請求項８】
前記レイヤ間の残差の予測を生成するステップは、
エンハンスメントレイヤの参照を使用して動き補償を行い、エンハンスメントレイヤの予測を生成するステップと、
前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングを施してトーンマッピングされた予測を生成するステップと、
ベースレイヤの残差をビットアップサンプリングするステップと、
前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得するステップと、
前記和をフィルタリングして平滑化されたベースレイヤの参照を取得するステップと、
前記平滑化されたベースレイヤの参照に逆トーンマッピングを施して逆トーンマッピングされた予測を生成するステップと、を含み、
当該方法は、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差を符号化して送信するステップを更に含む、
請求項７記載の方法。
【請求項９】
前記ベースレイヤの残差は、ｍを前記ピクチャに対応するエンハンスメントレイヤのビット深度とし、ｎを前記ピクチャに対応するベースレイヤのビット深度として、（ｍ−ｎ）ビットだけビットアップサンプリングされる、
請求項８記載の方法。
【請求項１０】
前記トーンマッピングされた予測を生成するために使用されるトーンマッピング関数と前記逆トーンマッピングされた予測を生成するために使用される逆トーンマッピング関数との少なくとも一方を、信号伝達するか又は送信するステップを更に含む、
請求項８記載の方法。
【請求項１１】
前記エンコーダは、１以上のシンタックスエレメント及び１以上のフラグの少なくとも一方を使用して、前記トーンマッピング関数と前記逆トーンマッピング関数の少なくとも一方を信号伝達する、
請求項１０記載の方法。
【請求項１２】
前記ビットアップサンプリングされたベースレイヤの残差は、ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差を取得するために、空間的にアップサンプリングされ、前記ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差は、前記和を得るために前記トーンマッピングされた予測に加えられる、
請求項８記載の方法。
【請求項１３】
トーンマッピング関数、逆トーンマッピング関数及びビットアップサンプリングを使用して、あるピクチャの少なくとも一部のレイヤ間の残差の予測を生成することで、前記少なくとも一部のピクチャデータを復号化するデコーダを備え、
前記トーンマッピング関数及び前記逆トーンマッピング関数は、同じビット深度の表現を維持して、ビット深度スケーラビリティについて残差の領域から画素の領域への前記レイヤ間の残差の予測の変換を行い、
エンコーダは、エンハンスメントレイヤの参照を使用して動き補償を行ってエンハンスメントレイヤの予測を生成し、前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングしてトーンマッピングされた予測を生成し、ベースレイヤの残差をビットアップサンプリングし、前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得し、前記和をフィルタリングして平滑化されたベースレイヤの参照を取得し、前記平滑化されたベースレイヤの参照を逆トーンマッピングして逆トーンマッピングされた予測を生成することで前記レイヤ間の残差の予測を生成し、
前記エンコーダは、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差を符号化して送信する、
ことを特徴とする装置。
【請求項１４】
前記変換の間にビット深度の低減により引き起こされる量子化誤差は、前記変換の間に前記同じビット深度を維持することで最小にされる、
請求項１３記載の装置。
【請求項１５】
前記デコーダは、エンハンスメントレイヤの参照を使用して動き補償を行い、エンハンスメントレイヤの予測を生成し、前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングして、トーンマッピングされた予測を生成し、ベースレイヤの残差をビットアップサンプリングし、前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得し、前記和をフィルタリングして平滑化されたベースレイヤの参照を取得し、前記平滑化されたベースレイヤの参照を逆トーンマッピングして、逆トーンマッピングされた予測を生成することで、前記レイヤ間の残差の予測を生成し、
前記デコーダは、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差に基づいて前記少なくとも一部の再構成されたバージョンを生成する、
請求項１３記載の装置。
【請求項１６】
前記ベースレイヤの残差は、ｍを前記ピクチャに対応するエンハンスメントレイヤのビット深度とし、ｎを前記ピクチャに対応するベースレイヤのビット深度として、（ｍ−ｎ）ビットだけビットアップサンプリングされる、
請求項１５記載の装置。
【請求項１７】
前記デコーダは、前記トーンマッピングされた予測を生成するために使用されるトーンマッピング関数と前記逆トーンマッピングされた予測を生成するために使用される逆トーンマッピング関数との少なくとも一方を、復号化するか又は決定する、
請求項１５記載の装置。
【請求項１８】
前記ビットアップサンプリングされたベースレイヤの残差は、ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差を取得するために、空間的にアップサンプリングされ、前記ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差は、前記和を得るために前記トーンマッピングされた予測に加えられる、
請求項１５記載の装置。
【請求項１９】
トーンマッピング関数、逆トーンマッピング関数及びビットアップサンプリングを使用して、あるピクチャの少なくとも一部のレイヤ間の残差の予測を生成することで、前記少なくとも一部のピクチャデータを復号化するステップを含み、
前記トーンマッピング関数及び前記逆トーンマッピング関数は、同じビット深度の表現を維持して、ビット深度スケーラビリティについて残差の領域から画素の領域への前記レイヤ間の残差の予測の変換を行い、
エンコーダは、エンハンスメントレイヤの参照を使用して動き補償を行ってエンハンスメントレイヤの予測を生成し、前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングしてトーンマッピングされた予測を生成し、ベースレイヤの残差をビットアップサンプリングし、前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得し、前記和をフィルタリングして平滑化されたベースレイヤの参照を取得し、前記平滑化されたベースレイヤの参照を逆トーンマッピングして逆トーンマッピングされた予測を生成することで前記レイヤ間の残差の予測を生成し、
前記エンコーダは、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差を符号化して送信する、
ことを特徴とする方法。
【請求項２０】
前記変換の間にビット深度の低減により引き起こされる量子化誤差は、前記変換の間に前記同じビット深度を維持することで最小にされる、
請求項１９記載の方法。
【請求項２１】
前記レイヤ間の残差の予測を生成するステップは、
エンハンスメントレイヤの参照を使用して動き補償を行い、エンハンスメントレイヤの予測を生成するステップと、
前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングして、トーンマッピングされた予測を生成するステップと、
ベースレイヤの残差をビットアップサンプリングするステップと、
前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得するステップと、
前記和をフィルタリングして平滑化されたベースレイヤの参照を取得するステップと、
前記平滑化されたベースレイヤの参照を逆トーンマッピングして、逆トーンマッピングされた予測を生成するステップとを含み、
当該方法は、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差に基づいて前記少なくとも一部の再構成されたバージョンを生成するステップを更に含む、
請求項１９記載の方法。
【請求項２２】
前記ベースレイヤの残差は、ｍを前記ピクチャに対応するエンハンスメントレイヤのビット深度とし、ｎを前記ピクチャに対応するベースレイヤのビット深度として、（ｍ−ｎ）ビットだけビットアップサンプリングされる、
請求項２１記載の方法。
【請求項２３】
前記トーンマッピングされた予測を生成するために使用されるトーンマッピング関数と前記逆トーンマッピングされた予測を生成するために使用される逆トーンマッピング関数との少なくとも一方を、復号化するか又は決定するステップを更に含む、
請求項２１記載の方法。
【請求項２４】
前記ビットアップサンプリングされたベースレイヤの残差は、ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差を取得するために、空間的にアップサンプリングされ、前記ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差は、前記和を得るために前記トーンマッピングされた予測に加えられる、
請求項２１記載の方法。
【請求項２５】
エンコードされた映像信号データを有するコンピュータ読み取り可能な記憶媒体であって、
トーンマッピング関数、逆トーンマッピング関数及びビットアップサンプリングを使用して、あるピクチャの少なくとも一部のレイヤ間の残差の予測を生成することで符号化される、前記少なくとも一部のピクチャデータを含み、
前記トーンマッピング関数及び前記逆トーンマッピング関数は、同じビット深度の表現を維持して、ビット深度スケーラビリティについて残差の領域から画素の領域への前記レイヤ間の残差の予測の変換を行い、
エンコーダは、エンハンスメントレイヤの参照を使用して動き補償を行ってエンハンスメントレイヤの予測を生成し、前記エンハンスメントレイヤの予測をベースレイヤの参照にトーンマッピングしてトーンマッピングされた予測を生成し、ベースレイヤの残差をビットアップサンプリングし、前記トーンマッピングされた予測を前記ビットアップサンプリングされたベースレイヤの残差に加えて和を取得し、前記和をフィルタリングして平滑化されたベースレイヤの参照を取得し、前記平滑化されたベースレイヤの参照を逆トーンマッピングして逆トーンマッピングされた予測を生成することで前記レイヤ間の残差の予測を生成し、
前記エンコーダは、前記逆トーンマッピングされた予測と前記ピクチャとの間の誤差を符号化して送信する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化及び復号化に関するものであり、トーンマッピング及び逆トーンマッピングを利用したビット深度スケーラブル映像符号化及び復号化に関する。  
本出願は、2009年2月11日に提出された米国特許仮出願61/151569号の利益を請求するものである。
【背景技術】
【０００２】
近年、8よりも大きいビット深度をもつデジタル画像／ビデオは、たとえば医療画像処理、製作中及びポストプロダクションにおけるデジタルシネマワークフロー、ホームシアターに関連する応用等のような多くの応用分野において益々望まれている。ビット深度スケーラビリティは、将来的なある時点で、従来の８ビット深度及び高いビット深度のデジタル画像形成システムが同時に存在するであろうという点を考慮して潜在的に有効である。８ビットビデオと１０ビットビデオの共存に対処する幾つかの方法が存在する。第一の従来技術のソリューションでは、１０ビット符号化ビットストリームが送信され、１０ビット表現にトーンマッピング手法を適用することで、標準的な８ビット表示装置の８ビット表現が得られる。第二の従来技術のソリューションでは、８ビット符号化表現と１０ビット符号化表現を含むマルチキャストビットストリームが送信される。どのビット深度を復号化すべきかを選択することはデコーダの好みである。たとえば１０ビット可能なデコーダは、１０ビットビデオをデコードして出力する一方、８ビットのみをサポートする通常のデコーダは、８ビットビデオのみを出力する。第一の従来技術のソリューションは、ISO/IEC(International  Organization  for  Standardization/International  Electrotechnical  Commission)  MPEG-4(Moving  Picture  Experts  Group-4)  Part10  AVC(Advanced  Video  Coding)規格／ITU-T(International  Telecommunication  Union,  Telecommunication  Sector)  H.264  Recommendation（以下、「MPEG-4  AVC」規格）の８ビットプロファイルに本質的に準拠していない。第二の従来技術のソリューションは、全ての現在の規格に準拠しているが、更なるオーバヘッドを必要とする。しかし、ビット低減と規格の後方互換性との間の良好なトレードオフは、スケーラブルなソリューションである。スケーラブルビデオ符号化（SVC）は、MPEG-4  AVC規格のスケーラブル拡張としても知られ、ビット深度スケーラビリティのサポートを考慮する。後処理又は同時方法に対するビット深度スケーラブル符号化に関して少なくとも３つの利点が存在する。１つの利点は、ビット深度スケーラブル符号化は、MPEG-4  AVC規格のハイプロファイルとの後方互換のやり方で１０ビットビデオを可能にすることである。第二の利点は、ビット深度スケーラブル符号化は、異なるネットワーク帯域幅又はデバイス機能への適合を可能にすることである。第三の利点は、ビット深度スケーラブル符号化は低い複雑度、高い効率及び高い柔軟性を提供することである。
【０００３】
［MPEG-4  AVC  SVC拡張］
MPEG-4  AVC規格のSVC拡張の現在のバージョンでは、復号化の複雑度を低減するためにシングルループ復号化がサポートされる。インタ符号化されたマクロブロックの動き補償された予測及びデブロッキングを含む完全な復号化は、現在の空間又は粗い粒状度のスケーラビリティ（Course  Grain  Scalability）レイヤについてのみ必要とされる。これは、レイヤ間のイントラテクスチャ予測を、イントラマクロブロックで符号化された下位レイヤのピクチャの部分に拘束することで実現される。ビット深度スケーラビリティについてレイヤ間のイントラテクスチャ予測を拡張するため、逆トーンマッピングが使用される。また、SVCは、レイヤ間の残差予測をサポートする。トーンマッピングは、画素領域において典型的に使用されるので、残差の領域において対応する逆トーンマッピングを発見することは非常に難しい。第三及び第四の従来技術のアプローチでは、レイヤ間の残差予測についてビットシフトが使用される。
【０００４】
以下第三の従来技術のアプローチとも呼ばれるMPEG-4  AVC規格のスケーラブルビデオ符号化（SVC）拡張のジョイントドラフト８（JD8）は、スムーズレファレンス予測（SRP）と呼ばれる技術は提案される。シンタックスエレメントresidual_prediction_flag及びbase_mode_flagの両者が送出されるとき、１ビットシンタックスエレメントsmoothed_reference_flagが送出される。smoothed_reference_flag=1であるとき、再構成されたビデオブロックを得るために、以下のステップがデコーダで行われる。
１．エンハンスメントレイヤリファレンスフレーム及びベースレイヤからのアップサンプリングされた動きベクトルを使用して、予測ブロックＰが得られる。
２．対応するベースレイヤ残差ブロックｒbは、アップサンプリングされ、Ｕ(ｒb)は、Ｐに加えられ、Ｐ+Ｕ(ｒb)が形成される。  
３．はじめに水平方向、次いで垂直方向においてタップ[１,２,１]をもつ平滑化フィルタが適用され、Ｓ(Ｐ＋Ｕ(ｒb))が形成される。  
４．エンハンスメントレイヤの残差ブロックは、直前のステップの結果に加えられ、再構成ブロックＲ＝Ｓ(Ｐ＋Ｕ(ｒb))＋ｒeが得られる。
【０００５】
さらに、第四の従来技術のアプローチは、BDS（ビット深度スケーラビリティ）についてレイヤ間の残差予測の技術を提案する。第四の従来技術のアプローチは、レイヤ間の残差予測について、残差の領域から画素の領域に逆トーンマッピングの問題を変換する。レイヤ間の残差の予測が使用される場合、トーンマッピングされた動き補償された予測とベースレイヤからのアップサンプリングされた残差との合計に対して、逆トーンマッピングが適用される。レイヤ間の残差予測が使用されるとき、再構成されたビデオブロックを得るために、以下のステップがデコーダで行われる。
１．エンハンスメントレイヤの基準フレームを使用して予測ブロックＰが得られ、次いで、Ｐがベースレイヤのビット深度にトーンマッピングされ、Ｔ(Ｐ)が得られる。
２．対応するベースレイヤの残差ブロックｒbは、空間的にアップサンプリングされ、Ｕ(ｒb)がＰに加えられてＴ(Ｐ)＋Ｕ(ｒb)が形成される。
３．Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb))を得るためにフィルタが使用される。
４．次いで、Ｔ-1(Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb)))を得るために逆トーンマッピングが適用される。
５．エンハンスメントレイヤの残差ブロックは、直前のステップ（４）の結果に加えられ、再構成ブロックＲ＝Ｔ-1(Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb)))＋ｒeが取得される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このアプローチを使用して、予測ブロックＰは、ベースレイヤのビット深度にトーンマッピングされ、次いで、エンハンスメントレイヤのビット深度に逆トーンマッピングされる。ベースレイヤは低いビット深度を有するので、この変換は量子化誤差をもたらす。
【０００７】
従って、全ての先の従来技術のソリューションは不十分である。たとえば、第三の従来技術のアプローチは、トーンマッピング及び逆トーンマッピング演算がないために、エンハンスメント及びベースレイヤにおける異なるビット深度に対処することができない。第四の従来技術のアプローチは、量子化誤差を導入する。
【課題を解決するための手段】
【０００８】
従来技術のこれらの問題点及び欠点並びに他の問題点及び欠点は、トーンマッピング及び逆トーンマッピングを利用したビット深度スケーラブル映像符号化及び復号化の方法及び装置に向けられる本発明により対処される。
【０００９】
本発明の態様によれば、装置が提供され、本装置は、トーンマッピング関数と逆トーンマッピング関数とを使用してあるピクチャの少なくとも一部についてレイヤ間の残差の予測を生成することで、あるピクチャの少なくとも１部についてピクチャデータを符号化するエンコーダを含む。トーンマッピング関数と逆トーンマッピング関数は、同じビット深度の表現を維持する一方で、ビット深度のスケーラビリティについて残差の領域から画素の領域へのレイヤ間の残差の予測の変換を実行する。
【００１０】
本発明の別の態様によれば、方法が提供され、本方法は、トーンマッピング関数と逆トーンマッピング関数とを使用してあるピクチャの少なくとも１部についてレイヤ間の残差の予測を生成することで、あるピクチャの少なくとも１部についてピクチャデータを符号化するステップを含む。トーンマッピング関数と逆トーンマッピング関数は、同じビット深度の表現を維持する一方、ビット深度のスケーラビリティについて残差の領域から画素の領域へのレイヤ間の残差の予測の変換を実行する。
【００１１】
本発明の更なる別の態様によれば、装置が提供され、本装置は、トーンマッピング関数と逆トーンマッピング関数を使用して、あるピクチャの少なくとも１部についてレイヤ間の残差の予測を生成することで、あるピクチャの少なくとも１部についてピクチャデータを復号化するデコーダを含む。トーンマッピング関数と逆トーンマッピング関数とは、同じビット深度の表現を維持する一方で、ビット深度のスケーラビリティについて残差の領域から画素の領域へのレイヤ間の残差の予測の変換を実行する。
【００１２】
本発明の更なる態様によれば、方法が提供され、本方法は、トーンマッピング関数と逆トーンマッピング関数とを使用して、あるピクチャの少なくとも１部についてレイヤ間の残差の予測を生成することで、あるピクチャの少なくとも１部についてピクチャデータを復号化するステップを含む。トーンマッピング関数と逆トーンマッピング関数とは、同じビット深度の表現を維持する一方で、ビット深度のスケーラビリティについて残差の領域から画素の領域へのレイヤ間の残差の予測の変換を実行する。
【００１３】
本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれることとなる、例示的な実施の形態の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１４】
本発明は、以下の例示的な図面に従って良好に理解される場合がある。
【図１】本発明の実施の形態に係る、本発明が適用される例示的なビデオエンコーダを示すブロック図である。
【図２】本発明の実施の形態に係る、本発明が適用される例示的なビデオデコーダを示すブロック図である。
【図３】本発明の実施の形態に係る、ビデオエンコーダにおけるビット深度スケーラビリティのレイヤ間の残差の予測の例示的な方法を示すフローチャートである。
【図４】本発明の実施の形態に係る、ビデオデコーダにおけるビット深度スケーラビリティのレイヤ間の残差の予測の例示的な方法を示すフローチャートである。
【図５】本発明の実施の形態に係る、トーンマッピング関数と逆トーンマッピング関数を作成する例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
本発明は、トーンマッピングと逆トーンマッピングを利用してビット深度スケーラブルビデオ符号化及び復号化の方法及び装置に向けられる。
【００１６】
本実施の形態は、本発明の原理を例示する。本明細書に明示的に記載又は図示されないが、本発明を実施し、本発明の精神及び範囲に含まれる様々なアレンジメントを当業者であれば創作することができることを理解されたい。
【００１７】
本実施の形態で述べられる全ての例及び条件付き言語は、当該技術分野を普及させるために本発明者により寄与される本発明及び概念の理解において読者を支援することが意図されており、係る特に言及される例及び条件に限定するものではないことを理解されたい。
【００１８】
さらに、本発明の特定の例と同様に、本発明の原理、態様及び実施の形態を言及する全ての説明は、本発明の構造的及び機能的に等価なものを包含することが意図される。さらに、係る等価なものは、現在知られている等価なもの及び将来的に開発される等価なもの、すなわち構造に係らず、同じ機能を実行する開発されたエレメントの両者を含むことが意図される。
【００１９】
従って、たとえば、当業者であれば、本実施の形態で提示されるブロック図は本発明を実施する例示的な回路の概念図を表すことを理解されるであろう。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コードは、コンピュータ読み取り可能な記録媒体で実質的に表され、コンピュータ又はプロセッサが明示的に示されているか否かに係らず、コンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されたい。
【００２０】
図示される様々な構成要素の機能は、適切なソフトウェアと関連するソフトウェアを実行可能なハードウェアと同様に、専用のハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、１つの専用プロセッサにより、１つの共有のプロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより機能が提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）及び不揮発性記憶装置を暗黙的に含む。
【００２１】
他のハードウェア、従来及び／又はカスタムも含まれる場合がある。同様に、図示される任意のスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックの相互作用を通して、又は更には手動的に実行される場合があり、特定の技術は、文脈からより詳細に理解されるように実現者により選択可能である。
【００２２】
本発明の請求項では、特定の機能を実行する手段として表現される任意の構成要素は、たとえばａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）機能を実行するそのソフトウェアを実行する適切な回路で結合される、ファームウェア、マイクロコード等を含む任意の形式のソフトウェア、を含む機能を実行する方法を包含することが意図される。係る請求項により定義される本発明は、様々な参照される手段により提供される機能は請求項が求められるやり方で結合されて纏められる事実にある。それらの機能を提供することができる任意の手段は、図示されるものに等価である。
【００２３】
本発明の「１実施の形態」又は「実施の形態」への明細書における参照は、その他のバリエーションと同様に、本実施の形態に関連して記載される特定の特徴、構造、特性等が本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、フレーズ「１実施の形態において」又は「実施の形態において」の出現は、明細書を通して様々な位置に現れる他のバリエーションと同様に、必ずしも全ての同じ実施の形態を示すものではない。
【００２４】
「／」、「及び／又は」及び「少なくとも１つの」の使用について、たとえば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合、第一の列挙されたオプション（Ａ）のみの選択、第二の列挙されたオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図されることを理解されたい。更なる例として、「Ａ，Ｂ及び／又はＣ」、「Ａ，Ｂ及びＣの少なくとも１つ」の場合、係る記載は、第一の列挙されたオプション（Ａ）のみの選択、第二の列挙されたオプション（Ｂ）のみの選択、第三の列挙されたオプション（Ｃ）のみの選択、第一及び第二の列挙されたオプション（Ａ及びＢ）のみの選択、第一及び第三の列挙されたオプション（Ａ及びＣ）のみの選択、第二及び第三の列挙されたオプション（Ｂ及びＣ）のみの選択、又は全ての３つのオプション（Ａ，Ｂ及びＣ）の選択を包含することが意図される。このことは、多数の項目が列挙される場合、当業者により容易に理解されるように拡張される。
【００２５】
さらに、従来技術と同様に本発明を説明するため、用語「低ビット深度」及び「高ビット深度」が本実施の形態で使用される。２つの異なるレベルのビット深度の定義を定義するため、これら用語が使用される。低ビット深度よりも高いビット深度である点で、高ビット深度が特徴付けされ、従って相対的な用語である。説明及び図示のため、低ビット深度は８ビットであると想定され、高ビット深度は１０ビットであると想定される。これらの用語「低ビット深度」及び「高ビット深度」の相対的な性質のため、低ビット深度は高ビット深度よりも低いことが要件であること、さもなければ用語は任意であることが容易に理解されるであろう。従って、たとえな低ビット深度は４ビット、６ビット、更には１２ビットであり、想定される高ビット深度は、低ビット深度の知れよりも高いことが要件である。従って、低ビット深度として１２ビットのビット深度が定義される場合、高ビット深度は、１４ビット、１６ビットまたは１２よりも大きい他のビット深度と考えられる。ここで、本発明の説明及び図示が低ビット深度が８ビットに等しいと想定する場合、高ビット深度の要件は、８ビットよりも高いビット深度である（説明のために本実施の形態では１０ビットが想定されるが、１２ビット、１４ビットのビット深度、８よりも高い任意の他のビット深度を包含する）。低ビット深度及び高ビット深度の比較を説明する別の方法は、ベースレイヤのビット深度とエンハンスメントレイヤのビット深度であり、エンハンスメントレイヤのビット深度は、ベースレイヤのビット深度よりも高い。従って、本発明の１以上の実施の形態は、高ビット深度の例として１０ビットピクチャの使用を含むが、本発明はこれに限定されるものではなく、高ビット深度を含む本発明の使用は、限定されるものではないが、１２ビット、１４ビット等を含む８ビットよりも大きい（１０以外の）他の値を採用する。
【００２６】
さらに、例示のため、１以上の実施の形態は、本明細書で記載され、ビット深度スケーラビリティのみが含まれ、シングルループの復号化アーキテクチャが使用される。しかし、本発明は先のものに限定されず、本実施の形態で提供される本発明の教示が与えられると、本発明の精神を維持しつつ、マルチループ復号化アーキテクチャと同様に、ビット深度及び空間スケーラビリティのような結合されたスケーラビリティを含むように当業者により容易に拡張される。
【００２７】
本明細書で使用されたとき、単語「ピクチャ」及び「画像」は区別しないで使用され、静止画像又はビデオ系列からのピクチャを示す。知られているように、ピクチャ、フレーム又はフィールドである。
【００２８】
さらに、本明細書で使用されたとき、単語「信号」は、対応するデコーダに何かを示すことを意味する。たとえば、エンコーダは、どの特定の関数がエンコーダ側で使用されたをデコーダに知らせるため、トーンマッピング関数又は逆トーンマッピング関数からなるグループのうちの特定の１つを信号で伝達する。このように、エンコーダ側とデコーダ側とで同じ関数が使用される。従って、たとえば、デコーダが同じ特定のマッピング関数を使用するように、エンコーダは特定のマッピング関数をデコーダに送信するか、又は、デコーダが他と同様に特定のマッピング関数を既に有する場合に、デコーダが特定のマッピング関数を知り且つ選択するのを可能にするため、（送信することなしに）シグナリングが使用される。実際の関数の送信を回避することで、ビットの節約が実現される。シグナリングは様々なやり方で達成される。たとえば、対応するデコーダに情報を伝達するために、１以上のシンタックスエレメント、フラグ等が使用される。
【００２９】
さらに、本明細書で使用されるように、記載「同じビット深度の表現」は、同じビット深度の値を有する（たとえば予測、残差等といった）１以上のアイテムを示す。たとえば、２以上のアイテムの場合、係るアイテムは、それら自身に関して同じビット深度値を有する。従って、たとえば、２つの予測が同じビット深度の表現を有する場合、それら２つの予測は、同じビット深度の値を有する。従って両方の予測は、８ビット深度を有するか、又は両者は１０ビット深度を有する等である。勿論、本発明の精神を維持しつつ、高ビット値及び低ビット値が使用される場合がある。たとえば残差といった１つのアイテムの場合、残差は、限定されるものではないが、トーンマッピング関数、逆トーンマッピング関数、及び、トーンマッピング関数と逆トーンマッピング関数の両者を含む残差の領域形画素の領域への変換を含む特定の関数の前後で同じビット深度を有する。
【００３０】
図１を参照して、本発明に係るビデオ符号化を実行可能なビデオエンコーダは、参照符号１００により一般的に示される。
【００３１】
ビデオエンコーダ１００は、結合手段１８５の非反転入力と接続される出力を有するフレームオーダリング１１０を含む。結合手段１８５の出力は、変換器及び量子化器１２５の第一の入力と接続される。変換器及び量子化器１２５の出力は、エントロピーコーダ１４５の第一の入力、逆変換器及び逆量子化器１５０の第一の入力と接続される。エントロピーコーダ１４５の出力は、結合手段１９０の第一の非反転入力と接続される。結合手段１９０の出力は、出力バッファ１３５の第一の入力と接続される。
【００３２】
エンコーダコントローラ１０５の第一の出力は、フレームオーダリングバッファ１１０の第二の入力、逆変換器及び逆量子化器１５０の第二の入力、ピクチャタイプ反転モジュール１１５の入力、マクロブロックタイプ（MBタイプ）判定モジュール１２０の第一の入力、イントラ予測モジュール１６０の第二の入力、デブロッキングフィルタ１６５の第二の入力、動き補償器１７０の第一の入力、動き予測器１７５の第一の入力、参照画像バッファ１８０の第二の入力と接続される。
【００３３】
エンコーダ１０５の第二の出力は、SEI（Supplemental  Enhancement  Information）挿入器１３０の第一の入力、変換器及び量子化器１２５の第二の入力、エントロピーコーダ１４５の第二の入力、出力バッファ１３５の第二の入力、SPS（Sequence  Parameter  Set）及びPPS（Picture  Parameter  Set）挿入器１４０の入力と接続される。
【００３４】
SEI挿入器１３０の出力は、結合器１９０の第二の非反転入力と接続される。
【００３５】
ピクチャタイプ判定モジュール１１５の第一の出力は、フレームオーダリングバッファ１１０の第三の入力と接続される。ピクチャタイプ判定モジュール１１５の第二の出力は、マクロブロックタイプの判定モジュール１２０の第二の入力と接続される。
【００３６】
SPS及びPPS挿入器１４０の出力は、結合器１９０の第三の非反転入力と接続される。
【００３７】
逆量子化器及び逆変換器１５０の出力は、結合器１１９の第一の非反転入力と接続される。結合器１１９の出力は、イントラ予測モジュール１６０の第一の入力とデブロッキングフィルタ１６５の第一の入力と接続される。デブロッキングフィルタ１６５の出力は、参照画像バッファ１８０の第一の入力と接続される。参照画像バッファ１８０の出力は、動き予測記１７５の第二の入力と動き補償器１７０の第三の入力と接続される。動き予測器１７５の第一の出力は、動き補償器１７０の第二の入力と接続される。動き予測器１７５の第二の出力は、エントロピーコーダ１４５の第三の入力と接続される。
【００３８】
動き補償器１７０の出力は、スイッチ１９７の第一の入力と接続される。イントラ予測モジュール１６０の出力は、スイッチ１９７の第二の入力と接続される。マクロブロックタイプ判定モジュール１２０の出力は、スイッチ１９７の第三の入力と接続される。スイッチ１９７の第三の入力は、（制御入力、すなわち第三の入力に比較して）スイッチの「データ」入力が動き補償器１７０により供給されるべきか又はイントラ予測モジュール１６０により供給されるべきかを判定する。スイッチ１９７の出力は、結合器１１９の第二の非反転入力と結合器１８５の反転入力と接続される。
【００３９】
フレームオーダリングバッファ１１０の第一の入力及びエンコーダコントローラ１０５の入力は、入力ピクチャを受信するため、エンコーダ１００の入力として利用可能である。さらに、SEI挿入器１３０の第二の入力は、メタデータを受信するため、エンコーダ１００の入力として利用可能である。出力バッファ１３５の出力は、ビットストリームを出力するため、エンコーダ１００の出力として利用可能である。
【００４０】
図２を参照して、本発明に係るビデオ復号化を実行可能なビデオデコーダは、参照符号２００により一般的に示される。
【００４１】
ビデオデコーダ２００は、エントロピーデコーダ２４５の第一の入力と接続される出力を有する入力バッファ２１０を含む。エントロピーデコーダ２４５の第一の出力は、逆変換器及び逆量子化器２５０の第一の入力と接続される。逆変換器及び逆量子化器２５０の出力は、結合器２２５の第二の非反転入力と接続される。結合器２２５の出力は、デブロッキングフィルタ２６５の第二の入力とイントラ予測モジュール２６０の第一の入力と接続される。デブロッキングフィルタ２６５の第二の出力は、参照画像バッファ２８０の第一の入力と接続される。参照画像バッファ２８０の出力は、動き補償器２７０の第二の入力と接続される。
【００４２】
エントロピーデコーダ２４５の第二の出力は、動き補償器２７０の第三の入力、デブロッキングフィルタ２６５の第一の入力、イントラ予測器２６０の第三の入力と接続される。エントロピーデコーダ２４５の第三の出力は、デコーダコントローラ２０５の入力と接続される。デコーダコントローラ２０５の第一の出力は、エントロピーデコーダ２４５の第二の入力と接続される。デコーダコントローラ２０５の第二の出力は、逆変換器及び逆量子化器２５０の第二の入力と接続される。デコーダコントローラ２０５の第三の出力は、デブロッキングフィルタ２６５の第三の入力と接続される。デコーダコントローラ２０５の第四の出力は、動き補償器２７０の第一の入力と参照画像バッファ２８０の第二の入力と接続される。
【００４３】
動き補償器２７０の出力は、スイッチ２９７の第一の入力と接続される。イントラ予測モジュール２６０の出力は、スイッチ２９７の第二の入力と接続される。スイッチ２９７の出力は、結合器２２５の第一の非反転入力と接続される。
【００４４】
入力バッファ２１０の入力は、たとえば入力ビットストリームを受信するため、デコーダ２００の入力として利用可能である。デブロッキング２６５の第一の出力は、出力ピクチャを出力するため、デコーダ２００の出力として利用可能である。
【００４５】
先に述べたように、本発明は、トーンマッピング及び逆トーンマッピングを利用したビット深度スケーラブルビデオ符号化及び復号化の方法及び装置に向けられる。先に述べたように、上述された第四の従来技術のアプローチに関して、第四の従来技術のアプローチは、予測ブロックＰをベースレイヤのビット深度にトーンマッピングし、次いで、エンハンスメントレイヤのビット深度に逆トーンマッピングを施す。ベースレイヤは、低いビット深度を有するので、この変換は量子化誤差を導入する。従来技術のこの量子化誤差を防止するため、本発明は、同じビット深度で実行されたトーンマッピング及び逆トーンマッピングの演算のための方法及び装置を提供する。
【００４６】
MPEG-4  AVC規格の現在のSVC拡張においてビット深度のスケーラビリティを達成する１つの方法は、異なるビット深度で符号化された２つの粗い粒状度スケーラブル（CGS:Coarse  Grain  Scalable）SNRレイヤの復号化処理を規定することである。現在のSVC  CGS設計において、最上位レイヤ（高ビット深度レイヤ）で動き補償が実行される。レイヤ間の残差の予測をダイレクトに適用することは困難である。これは、２つのレイヤ間でビット深度が異なるからである。従って、レイヤ間の残差予測のための逆トーンマッピングが使用される。しかし、逆トーンマッピングは、通常、残差の領域の代わりに画素の領域で定義される。本発明は、残差の領域においてレイヤ間の残差の予測の逆トーンマッピングを実行する代わりに、レイヤ間の残差の予測について逆トーンマッピングが画素の領域で実行されるように問題を変換するように、新たな技術を提案する。この新たなレイヤ間の予測の技術は、ビット深度スケーラビリティの符号化効率を改善するという利点を有する。
【００４７】
従って、本発明は、エンハンスメントレイヤのビット深度で動作するトーンマップ及び逆トーンマップを使用する。前の従来技術のアプローチでは、トーンマップ関数は、１０ビットの入力を８ビットの出力にマッピングし、逆トーンマップ関数は、８ビット入力を１０ビット出力にマッピングする。本発明によれば、トーンマップ及び逆トーンマップ関数は、１０ビット入力を１０ビット出力にマッピングする。実施の形態では、逆トーンマップテーブルがビットストリームで伝達される。
【００４８】
本発明の実施の形態に係るビデオ符号化手順は、以下の通りである。
１．予測ブロックＰは、エンハンスメントレイヤの参照フレームを使用して得られる。次いで、Ｐは、Ｔ(Ｐ)を得るために関数Ｔによりトーンマッピングされる。  
２．対応するベースレイヤの残差ブロックｒbは、(ｍ−ｎ)ビットだけ左シフトされ（さもなければビットアップサンプルされ）、次いで（空間スケーラビリティがビット深度スケーラビリティと組み合わせされる場合）空間的にアップサンプリングされ、Ｕ(ｒb<<(ｍ−ｎ))が得られる。ここでｍはエンハンスメントレイヤビデオのビット深度であり、ｎはベースレイヤビデオのビット深度である。次いで、Ｕ(ｒb<<(ｍ−ｎ))は、Ｐに加えられ、Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ))が形成される。
３．Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ)))を得るためにフィルタが使用される。
４．Ｔ-1(Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ))))を得るために逆トーンマッピングが適用される。
５．エンハンスメントレイヤの残差ブロックｒeは、以下のように、オリジナルブロックＯから直前のステップ（４）の結果を引くことで計算される。  
ｒe＝Ｏ−Ｔ-1(Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ))))
６．エンハンスメントレイヤの残差ブロックｒeは、エントロピー符号化され、ビットストリームで伝達される。Ｔ又はＴ-1は、ビットストリームで伝達される。
【００４９】
図３を参照して、ビデオエンコーダにおけるビット深度スケーラビリティのレイヤ間の残差予測の例示的な方法は、参照符号３００により示される。本方法３００は、開始ブロック３０５を含み、この開始ブロックは、機能ブロック３０６に制御を移す。機能ブロック３０６は、トーンマッピング又は逆トーンマッピング関数を生成し、機能ブロック３０７に制御を移す。機能ブロック３０７は、トーンマッピング又は逆トーンマッピング関数を符号化し、符号化をビットストリームに書き込み、制御を機能ブロック３１０に移す。機能ブロック３１０は、ベースレイヤの動きベクトル（MV）及びエンハンスメントレイヤの参照フレームにより動き補償を行い、制御を機能ブロック３１５に移す。機能ブロック３１５は、動き補償されたブロックＰを取得し、制御を機能ブロック３２０に移す。機能ブロック３２０は、低ビット深度の予測Ｔ(Ｐ)を得るためにＰにトーンマッピングを実行し、制御を機能ブロック３２５に移す。機能ブロック３２５は、ｒb<<（ｍ−ｎ）となるように、（ｍ−ｎ）ビットだけベースレイヤのテクスチャの残差ｒbを左シフト（又はさもなければビットアップサンプル）し、制御を機能ブロック３３０に移す。機能ブロック３３０は、Ｐ’＝Ｔ(Ｐ)＋ｒb<<（ｍ−ｎ）となるように、左シフトされたベースレイヤのテクスチャの残差をＴ(Ｐ)に加えてＰ’を形成し、制御を判定ブロック３３５に移す。判定ブロック３３５は、平滑化の参照（smooth  reference）を適用すべきか否かを判定する。適用すべきであると判定した場合、制御は機能ブロック３４０に移る。さもなければ、制御は機能ブロック３４５に移る。
【００５０】
機能ブロック３４０は、平滑化フィルタをＰ’に適用し、制御を機能ブロック３４５に移す。
【００５１】
機能ブロック３４５は、逆トーンマッピングをＰ’に施し、高ビット深度の予測Ｔ-1(Ｐ’)を取得し、制御を機能ブロック２５０に移す。機能ブロック３５０は、ｒe＝Ｏ−Ｔ-1(Ｐ’)となるように、オリジナルピクチャＯからＴ-1(Ｐ)を引くことで、エンハンスメントの残差ｒeを取得し、制御を終了ブロック３９９に移す。
【００５２】
本発明の実施の形態に係るビデオ復号化手順は、以下の通りである。
１．エンハンスメントレイヤの参照フレームを使用して、予測ブロックＰが取得される。次いで、Ｐは、関数Ｔでトーンマッピングされ、Ｔ(Ｐ)が得られる。
２．対応するベースレイヤ残差ブロックｒbは、(ｍ−ｎ)ビットだけ左シフトされ（又はさもなければビットアップサンプルされ）、次いで、（空間スケーラビリティがビット深度スケーラビリティと結合される場合に）空間的にアップサンプルされるここでｍは、エンハンスメントビデオのビット深度であり、ｎはベースレイヤビデオのビット深度である。次いで、Ｕ(ｒb<<(ｍ−ｎ))は、Ｐに加えられ、Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ))が形成される。
３．Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ)))を得るためにフィルタが使用される。
４．Ｔ-1(Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ))))を得るため、逆トーンマッピングが適用される。
５．エンハンスメントレイヤの残差ブロックｒeは、直前のステップ（４）に加えられ、再構成ブロックＲ＝Ｔ-1(Ｓ(Ｔ(Ｐ)＋Ｕ(ｒb<<(ｍ−ｎ))))＋ｒeが得られる。
【００５３】
図４を参照して、ビデオデコーダにおけるビット深度スケーラビリティについてレイヤ間の残差の予測の例示的な方法は、参照符号４００により示される。本方法４００は、開始ブロック４０５を含み、この開始ブロックは、制御を機能ブロック４０６に移す。機能ブロック４０６は、ビットストリームからトーンマッピング及び逆トーンマッピング関数を復号化し、制御を機能ブロック４１０に移す。機能ブロック４１０は、ベースレイヤ動きベクトル（MV）及びエンハンスメントレイヤの参照フレームにより動き補償を行い、制御を機能ブロック４１５に移す。機能ブロック４１５は、動き補償されたブロックＰを取得し、制御を機能ブロック４２０に移す。機能ブロック４２０は、Ｐにトーンマッピングを施して低ビット深度の予測Ｔ(Ｐ)を取得し、制御を機能ブロック４２５に移す。機能ブロック４２５は、ｒb<<（ｍ−ｎ）となるように、（ｍ−ｎ）ビットだけベースレイヤのテクスチャの残差ｒbを左シフト（又はさもなければビットアップサンプル）し、制御を機能ブロック４３０に移す。機能ブロック４３０は、Ｐ’＝Ｔ(Ｐ)＋ｒb<<(ｍ−ｎ)となるように、左シフトされたベースレイヤテクスチャの残差をＴ(Ｐ)に加えてＰ’を形成し、制御を判定ブロック４３５に移す。判定ブロック４３５は、平滑化の参照を適用すべきか否かを判定する。平滑化の参照を適用すべきと判定した場合、制御は機能ブロック４４０に移る。さもなければ、制御は機能ブロック４４５に移る。機能ブロック４４０は、平滑化フィルタをＰ’に適用し、制御を機能ブロック４４５に移す。
【００５４】
機能ブロック４４５は、逆トーンマッピングをＰ’に施して高ビット深度の予測Ｔ-1(Ｐ’)を取得し、制御を機能ブロック４５０に移す。機能ブロック４５０は、ｒe＝Ｏ−Ｔ-1(Ｐ’)であるように、Ｔ-1(Ｐ)をエンハンスメントレイヤの残差ｒeに加えることで、再構成ブロックＲを取得し、制御を終了ブロック４９９に移す。
【００５５】
トーンマップＴ又はＴ-1の１つの例示的な実施の形態が提示される。Ｔ又はＴ-1は、２mエントリをもつテーブルとして実現される。それぞれのエントリは、０から２m−１までを含む。
【００５６】
Ｔ及びＴ-1を作成するため、実施の形態では、ヒストグラム仕様と呼ばれる手順が以下に記載されるように起動される。
ａ）ベースレイヤの信号がはじめに（ｍ−ｎ）ビットだけ左シフトされる。  
ｂ）エンハンスメントレイヤの信号と左シフトされたベースレイヤの信号からなるヒストグラムを計算する。  
ｃ）ｃｄｆel及びｃｄｆblとそれぞれ示されるエンハンスメントレイヤのヒストグラムとベースレイヤのヒストグラムから累積密度関数（CDF）を計算する。  
ｄ）Ｔを取得するため、エンハンスメントレイヤのヒストグラムにおけるそれぞれのビンｉについて、ｃｄｆbl(ｊ)≧ｃｄｆel(ｉ)となるように、左シフトされたベースレイヤのヒストグラムにおける最小のビンｊを発見する。
ｅ）Ｔ-1を得るため、左シフトされたベースレイヤのヒストグラムにおけるそれぞれのビンｊについて、ｃｄｆbl(ｊ)≦ｃｄｆel(ｉ)となるように、エンハンスメントレイヤのヒストグラムにおける最小のビンｉを発見する。
【００５７】
図５を参照して、トーンマッピング関数Ｔ及び逆トーンマッピング関数Ｔ-1を作成する例示的な方法は、参照符号５００により示される。本方法は、開始ブロック５０５を含み、この開始ブロックは、制御を機能ブロック５１０に移す。機能ブロック５１０は、ｍをエンハンスメントビデオのビット深度、ｎをベースレイヤビデオのビット深度としてベースレイヤ信号を（ｍ−ｎ）ビットだけ左にシフトし、制御を機能ブロック５１５に移す。機能ブロック５１５は、エンハンスメントレイヤ信号と左シフトされたベースレイヤ信号からなるヒストグラムを計算し、制御を機能ブロック５２０に移す。機能ブロック５２０は、ｃｄｆel及びｃｄｆblでそれぞれ示されるエンハンスメントレイヤのヒストグラムとベースレイヤのヒストグラムからの累積密度関数（CDF）を計算し、制御を機能ブロック５２５に移す。機能ブロック５２５は、ｃｄｆbl(ｊ)≧ｃｄｆel(ｉ)となるように左シフトされたベースレイヤヒストグラムにおいて最小のビンｊを発見することで、エンハンスメントレイヤのヒストグラムにおけるそれぞれのビンｉについてＴを取得し、制御を機能ブロック５３０に移す。機能ブロック５３０は、ｃｄｆbl(ｊ)≦ｃｄｆel(ｉ)となるようにエンハンスメントレイヤのヒストグラムにおいて最小のビンｊを発見することで、左シフトされたベースレイヤヒストグラムにおいてそれぞれのビンｊについてＴ-1を取得し、制御を終了ブロック５９９に移す。
【００５８】
本発明の多くの付随する利点／特徴の幾つかに関する説明が以下に与えられ、そのうちの幾つかは上述された。たとえば、１つの利点／特徴は、トーンマッピング関数と逆トーンマッピング関数を使用してあるピクチャにおける少なくとも１部についてレイヤ間の残差予測を生成することで、前記少なくとも１部のピクチャデータを符号化するエンコーダを有する装置である。トーンマッピング関数と逆トーンマッピング関数は、同じビット深度の表現を維持しつつ、ビット深度のスケーラビリティについて残差の領域から画素の領域へのレイヤ間の残差の予測の変換を実行する。
【００５９】
別の利点／特徴は、上述されたエンコーダを有する装置であり、変換の間にビット深度の低減により引き起こされる量子化誤差は、変換の間に同じビット深度の表現を維持することで最小にされる。
【００６０】
更に別の利点／特徴は、上述されたエンコーダを有する装置であり、エンコーダは、エンハンスメントレイヤの予測を生成するためにエンハンスメントレイヤの参照を使用して動き補償を行い、トーンマッピングされた予測を生成するため、エンハンスメントレイヤの予測をにベースレイヤの参照にトーンマッピングし、ベースレイヤの残差をビットアップサンプリングし、トーンマッピングされた予測をビットアップサンプリングされたベースレイヤの残差と結合して合計を取得し、合計をフィルタリングして平滑なベースレイヤの参照を取得し、逆トーンマッピングされた予測を生成するため、平滑なベースレイヤの参照を逆トーンマッピングすることでレイヤ間の残差の予測を生成する。エンコーダは、逆トーンマッピングされた予測とピクチャとの間の誤差を符号化して送信する。
【００６１】
更に別の利点／特徴は、上述された逆トーンマッピングされた予測とピクチャとの間の誤差を符号化及び送信するエンコーダを有する装置であり、ベースレイヤの残差は、（ｍ−ｎ）ビットだけビットアップサンプリングされ、ｍはピクチャに対応するエンハンスメントレイヤのビット深度であり、ｎはピクチャに対応するベースレイヤのビット深度である。
【００６２】
さらに、別の利点／特徴は、上述された逆トーンマッピングされた予測とピクチャとの間の誤差を符号化及び送信するエンコーダを有する装置であり、エンコーダは、トーンマッピングされた予測を生成するために使用されるトーンマッピング関数と逆トーンマッピングされた予測を生成するために使用される逆トーンマッピング関数を生成するために使用される少なくとも１つを信号伝達（signal）又は送信する。
【００６３】
更に別の特徴は、上述された信号伝達又は送信するエンコーダを有する装置であり、エンコーダは、１以上のシンタックスエレメント及び１以上のフラグの少なくとも一方を使用して、トーンマッピング関数と逆トーンマッピング関数の少なくとも一方を信号伝達する。
【００６４】
また、別の利点／特徴は、上述された逆トーンマッピングされた予測とピクチャとの間の誤差を符号化及び送信するエンコーダを有する装置であり、ビットアップサンプリングされたベースレイヤの残差は、ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差を得るために空間的にアップサンプリングされ、ビットアップサンプリングされた空間的にアップサンプリングされたベースレイヤの残差は、トーンマッピングされた予測と結合されて合計が得られる。
【００６５】
さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、同じビット深度の表現は、トーンマッピング関数と逆トーンマッピング関数の両者に関して同じビット深度を有する値を入力及び出力することで維持される。
【００６６】
本発明のこれらの特徴及び他の特徴は、本実施の形態の教示に基づいて当業者により容易に確かめられるであろう。本発明の教示はハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ又はその組み合わせの様々な形式で実現されることを理解されたい。
【００６７】
最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットとして実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされて実行される。好ましくは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本実施の形態で記載された様々な処理及び機能は、CPUにより実行される、マイクロ命令コードの一部又はアプリケーションプログラムの一部、或いはそれらの組み合わせである。さらに、様々な他の周辺装置は、更なるデータ記憶装置及び印刷装置のようなコンピュータプラットフォームに接続される。
【００６８】
添付図面に示されるシステムの構成要素及び方法の幾つかはソフトウェアで実現されることが好ましいので、システム構成要素間又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる。本明細書の教示が与えられると、当業者であれば、本発明のこれらの実現又はコンフィギュレーション及び類似の実現又はコンフィギュレーションを創作することができる。
【００６９】
例示的な実施の形態は添付図面を参照して記載されたが、本発明はこれら正確な実施の形態に限定されるものではなく、本発明の精神又は範囲から逸脱することなしに、様々な変形及び変更が当業者により実施される場合がある。全ての係る変形及び変更は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。
【図１】
0005646514.tif 000002
【図２】
0005646514.tif 000003
【図３】
0005646514.tif 000004
【図４】
0005646514.tif 000005
【図５】
0005646514.tif 000006