(57)【要約】【課題】マルチ再構成ポイントベースの量子化のための組み込みコーデック回路（ＥＢＣ）回路及び方法を提供すること。【解決手段】組み込みコーデック（ＥＢＣ）回路は、順次符号化方式の適用により画像ブロックを符号化して符号化画像ブロックを生成する符号器回路を含む。この符号器回路は、符号化画像ブロックの各画素の量子化ビンサイズに基づいて、符号化画像ブロックの複数の画素の各画素のローカル画素値を決定する。符号器回路は、符号化画像ブロックの各画素のローカル画素値と入力画素値の累積差に基づいて、複数の再構成ポイントから１つの再構成ポイントを選択する。符号器回路は、符号化画像ブロックのビットストリームに選択された再構成ポイントを示すシグナリングビットのセットを割り当てる。ＥＢＣ回路は、シグナリングビットのセットに基づいて、前記符号化画像ブロックにおける各画素の入力画素値を再構成する復号器回路を含む。【選択図】図１
2020109937.tif 000002
【特許請求の範囲】
【請求項１】
組み込みコーデック（ＥＢＣ）回路であって、
順次符号化方式の適用によって１次元（１Ｄ）画像ブロックを符号化して符号化１Ｄ画像ブロックを生成する段階であって、前記１Ｄ画像ブロックは複数の画素を含み、前記符号化１Ｄ画像ブロックは、前記複数の画素の各画素に対する第１の複数のビットプレーンにおける未符号化ビットを含み、前記未符号化ビットに等価の十進数は、前記複数の画素の各画素の第１画素値に対応する、段階と、
前記複数の画素の各画素の量子化ビンサイズに基づいて、前記符号化１Ｄ画像ブロックにおける前記複数の画素の各画素の第２画素値を決定する段階であって、前記第２画素値は、前記量子化ビンサイズの半分であり、前記量子化ビンサイズは、前記第１の複数のビットプレーンのカウントに基づく、段階と、
前記複数の画素の各画素の前記第１画素値と前記第２画素値の累積差に基づいて複数の再構成ポイントから１つの再構成ポイントを選択する段階と、
前記選択された再構成ポイントを示すシグナリングビットのセットを前記符号化１Ｄ画像ブロックのビットストリームに割り当てる段階と、
を実行するよう構成された符号器回路と、
前記シグナリングビットのセットに基づいて、前記符号化１Ｄ画像ブロックにおける前記複数の画素の各画素の第１画素値を再構成する段階であって、前記再構成された第１画素値は、前記シグナリングビットのセットによって示される再構成ポイントに対応する、段階を実行するよう構成された復号器回路と、
を備える、組み込みコーデック（ＥＢＣ）回路。
【請求項２】
前記符号器回路は更に、前記複数の画素の各画素の量子化ビンパラメータ（Ｑｎ）に基づいて前記複数の画素の各画素の量子化ビンサイズを決定するよう構成され、前記Ｑｎは、前記第１の複数のビットプレーンのカウントに等しい、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項３】
前記符号器回路は、
前記複数の画素の各画素の第２画素値の追加による第１の総和を計算する段階と、
前記複数の画素の各画素に対応する前記第１画素値と前記第２画素値の間の差を計算する段階と、
前記複数の画素の各画素に対応する前記第１画素値と前記第２画素値の間の計算された差の追加による累積差を計算する段階と、
を実行するよう構成される、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項４】
前記符号器回路は更に、
前記第１の総和に基づいて複数の範囲を決定する段階であって、前記複数の範囲の各範囲は、前記複数の再構成ポイントのうちの異なる再構成ポイントに対応する、段階と、
前記累積差に基づいて前記複数の範囲のうちの１つの範囲を選択する段階であって、前記累積差は前記範囲内に存在する、段階と、
前記複数の再構成ポイントから、前記選択された範囲に対応する再構成ポイントを選択する段階と、
を実行するよう構成される、ことを特徴とする請求項３に記載のＥＢＣ回路。
【請求項５】
前記符号器回路は更に、
前記複数の画素の各画素の前記第１画素値の追加による第１の総和を計算する段階と、
前記複数の画素の各画素の前記量子化ビンサイズの追加による第２の総和を計算する段階と、
を実行するよう構成される、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項６】
前記符号器回路は更に、
前記第２の総和に基づいて複数の範囲を決定する段階であって、前記複数の範囲の各範囲は、前記複数の再構成ポイントのうちの異なる再構成ポイントに対応する、段階と、
前記第１の総和に基づいて前記複数の範囲のうちの１つの範囲を選択する段階であって、前記第１の総和は前記範囲内に存在する、段階と、
前記複数の再構成ポイントから、前記選択された範囲に対応する再構成ポイントを選択する段階と、
を実行するよう構成される、ことを特徴とする請求項５に記載のＥＢＣ回路。
【請求項７】
前記符号器回路は更に、前記符号化１Ｄ画像ブロックの最大量子化ビンパラメータ（Ｑｎ）を決定するよう構成され、前記最大Ｑｎは、前記符号化１Ｄ画像ブロックにおける第１の複数のビットプレーンの最大カウントに対応する、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項８】
前記符号器回路は更に、
前記最大Ｑｎが閾値より大きいことを決定する段階と、
前記最大Ｑｎが前記閾値より大きいという決定に基づいて、前記複数の再構成ポイントから再構成ポイントを選択する段階と、
を実行するよう構成される、ことを特徴とする請求項７に記載のＥＢＣ回路。
【請求項９】
前記符号器回路は更に、
前記最大Ｑｎが閾値より小さいことを決定する段階と、
前記最大Ｑｎが前記閾値より小さいという決定に基づいて、前記量子化ビンサイズの半分として前記再構成ポイントを選択する段階と、
を実行するよう構成される、ことを特徴とする請求項７に記載のＥＢＣ回路。
【請求項１０】
前記符号器回路は更に、
前記符号化１Ｄ画像ブロックのビット深度及び前記符号化１Ｄ画像ブロックの量子化ビンパラメータ（Ｑｎ）に基づいて、前記符号化１Ｄ画像ブロックのグレイ値を決定する段階と、
前記符号化１Ｄ画像ブロックの量子化係数が前記グレイ値に等しいことを決定する段階と、
前記符号化１Ｄ画像ブロックの量子化係数が前記グレイ値に等しいという決定に基づいて、前記複数の再構成ポイントを決定する段階と、
を実行するよう構成される、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項１１】
前記符号器回路は更に、前記１Ｄ画像ブロックに前記順次符号化方式を実行して、前記符号化１Ｄ画像ブロックのビットストリームを生成するよう構成され、前記ビットストリームは、前記順次符号化方式を示すヘッダ情報を含む、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項１２】
前記順次符号化方式は、前記１Ｄ画像ブロックに対して量子化方式、続いて残差予測方式、及びリファインメント方式の順次適用を含み、前記残差予測方式は、差分パルス符号変調（ＤＰＣＭ）方式である、ことを特徴とする請求項１１に記載のＥＢＣ回路。
【請求項１３】
前記復号器回路は更に、前記ビットストリームのヘッダ情報に基づいて、順次復号化方式の適用により前記符号化１Ｄ画像ブロックのビットストリームを復号化するよう構成される、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項１４】
前記順次復号化方式は、逆量子化方式、その後に続く残差予測復号化方式、リファインメント復号化方式、及び前記第１画素値の再構成の順次適用を含む、ことを特徴とする請求項１３に記載のＥＢＣ回路。
【請求項１５】
前記再構成ポイントは、０と１の間の正規化値に対応し、前記複数の画素の再構成された第１画素値は、前記再構成ポイントと前記画素の量子化ビンサイズとの乗算したものに等しい、ことを特徴とする請求項１に記載のＥＢＣ回路。
【請求項１６】
符号器回路及び復号器回路を含む組み込みコーデック（ＥＢＣ）回路において、
前記符号器回路によって、順次符号化方式の適用により一次元（１Ｄ）画像ブロックを符号化して符号化１Ｄ画像ブロックを生成する段階であって、前記１Ｄ画像ブロックは複数の画素を含み、前記符号化１Ｄ画像ブロックは、前記複数の画素の各画素に対する第１の複数のビットプレーンの未符号化ビットを含み、前記未符号化ビットに等価の十進数は、前記複数の画素の各画素の第１画素値に対応する、段階と、
前記符号器回路によって、前記複数の画素の各画素の量子化ビンサイズに基づいて前記符号化１Ｄ画像ブロックにおける前記複数の画素の各画素の第２画素値を決定する段階であって、前記第２画素値は、前記量子化ビンサイズの半分であり、前記量子化ビンサイズは、前記第１の複数のビットプレーンのカウントに基づく、段階と、
前記符号器回路によって、前記複数の画素の各画素の前記第１画素値と前記第２画素値の累積差に基づいて複数の再構成ポイントから１つの再構成ポイントを選択する段階と、
前記符号器回路によって、前記選択された再構成ポイントを示すシグナリングビットのセットを前記符号化１Ｄ画像ブロックのビットストリームに割り当てる段階と、
前記復号器回路によって、前記シグナリングビットのセットに基づいて、前記符号化１Ｄ画像ブロックにおける前記複数の画素の各画素の第１画素値を再構成する段階であって、前記再構成された第１画素値は、前記シグナリングビットのセットによって示される再構成ポイントに対応する、段階と、
を含む、方法。
【請求項１７】
前記符号器回路によって、前記複数の画素の各画素の量子化ビンパラメータ（Ｑｎ）に基づいて前記複数の画素の各画素の量子化ビンサイズを決定する段階を更に含み、前記Ｑｎは、前記第１の複数のビットプレーンのカウントに等しい、ことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記符号器回路によって、前記複数の画素の各画素の第２画素値の追加による第１の総和を計算する段階と、
前記符号器回路によって、前記複数の画素の各画素に対応する第１画素値と第２画素値の間の差を計算する段階と、
前記符号器回路によって、前記複数の画素の各画素に対応する第１画素値と第２画素値の間の計算された差の追加による前記累積差を計算する段階と、
を更に含む、ことを特徴とする請求項１６に記載の方法。
【請求項１９】
前記符号器回路によって、前記第１の総和に基づいて複数の範囲を決定する段階であって、前記複数の範囲の各範囲は、前記複数の再構成ポイントのうちの異なる再構成ポイントに対応する、段階と、
前記符号器回路によって、前記累積差に基づいて前記複数の範囲から１つの範囲を選択する段階であって、前記累積差は前記範囲内に存在する、段階と、
前記符号器回路によって、前記複数の再構成ポイントから、前記選択された範囲に対応する再構成ポイントを選択する段階と、
を更に含む、ことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記符号器回路によって、前記符号化１Ｄ画像ブロックの最大ビン量子化パラメータ（Ｑｎ）を決定する段階を含み、前記最大Ｑｎは、前記符号化１Ｄ画像ブロックの第１の複数のビットプレーンの最大カウントに対応する、ことを特徴とする請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照／引用による組み入れ）
なし
【０００２】
（技術分野）
本開示の様々な実施形態は、画像及びビデオ圧縮又は解凍のための組み込みコーデックに関する。より具体的には、本開示の様々な実施形態は、マルチ再構成ポイントベースの量子化のための組み込みコーデック回路に関する。
【背景技術】
【０００３】
画像化技術における最近の進歩により、幅広い種類の画像解像度（例えば、低解像度から高解像度の画像／ビデオ）の様々な画像又はビデオの圧縮及びストレージを扱うことが可能な画像取り込み及びディスプレイデバイスにおけるオンチップコーデックに対する需要が増加している。現在のところ、画像又はビデオは、例えば、変換符号化、残差予測、量子化、エントロピー符号化、リファインメント（ｒｅｆｉｎｅｍｅｎｔ）など、複数の符号化技術を受けて、所望の圧縮を達成することができる。通常は、復号段階では、量子化ビンの中央値を用いて符号化画像又はビデオを復号化する。幾つかのシナリオでは、画像又はビデオの様々な画像ブロックの入力画素値が、量子化ビン内の異なる数値範囲に存在する可能性がある。例えば、「０−３１」ビンサイズの量子化ビンでは、画素値は、１つの画像ブロックでは「０−１０」の数値範囲で、別の画像ブロックでは「２０−３１」の数値範囲とすることができる。このようなシナリオでは、量子化ビンの中央値による符号化画像又はビデオの各画像ブロックの再構成は、再構成された値と入力画素値の大きな差による量子化誤差を大幅に増加させる場合がある。これは、可視の画像アーティファクトを結果として生じるだけでなく、特に、オンチップメモリ使用を最小にすると同時にスループットに関するエリア効率の達成が望まれるオンチップコードにおいて圧縮の非効率さ及び最善以下のメモリ使用をもたらす可能性がある。
【０００４】
従来的な手法の更なる制限及び欠点は、記載のシステムと本出願の残りの部分及び図面を参照して記載される本開示の一部の態様との比較を通して当業者には明らかになるであろう。
【発明の概要】
【課題を解決するための手段】
【０００５】
請求項においてより完全に記載されるように、図面の少なくとも１つにおいて実質的に示され及び／又はそれに関連して説明される、マルチ再構成ポイントベースの量子化のための組み込みコーデック（ＥＢＣ）回路及び方法が提供される。
【０００６】
本開示のこれらの及び他の特徴及び利点は、全体を通して同じ参照数字が同じ要素を示す添付図面を参照しながら本開示の以下の詳細な説明を検討することで理解することができる。
【図面の簡単な説明】
【０００７】
【図１】本開示の一実施形態による、マルチ再構成ポイントベースの量子化のための組み込みコーデック（ＥＢＣ）回路を含む回路を有する例示的メディアデバイスを示すブロック図である。
【図２Ａ】本開示の一実施形態による、マルチ再構成ポイントベースの量子化のための様々な周辺構成要素を備えた図１のＥＢＣ回路を示すブロック図である。
【図２Ｂ】本開示の一実施形態による、マルチ再構成ポイントベースの量子化のための図２Ａの符号器回路及び復号器回路の動作を示す図である。
【図３Ａ】本開示の一実施形態による、図２のＥＢＣ回路による最適再構成ポイントの選択を全体で示す図である。
【図３Ｂ】本開示の一実施形態による、図２のＥＢＣ回路による最適再構成ポイントの選択を全体で示す図である。
【図４Ａ】本開示の別の実施形態による図２のＥＢＣ回路による最適再構成ポイントの選択を全体で示す図である。
【図４Ｂ】本開示の別の実施形態による図２のＥＢＣ回路による最適再構成ポイントの選択を全体で示す図である。
【図５Ａ】本開示の一実施形態による、マルチ再構成ポイントベースの量子化の例示的な方法を全体で示す流れ図である。
【図５Ｂ】本開示の一実施形態による、マルチ再構成ポイントベースの量子化の例示的な方法を全体で示す流れ図である。
【図６】本開示の一実施形態による、マルチ再構成ポイントベースの量子化の別の例示的な方法を示す流れ図である。
【発明を実施するための形態】
【０００８】
本開示の様々な実施形態は、マルチ再構成ポイントベースの量子化のための方法及び組み込みコーデック（ＥＢＣ）回路において見出すことができる。ＥＢＣ回路は、１次元（１Ｄ）画像ブロックの符号化ビットストリームの生成を扱う符号器回路を含むことができる。開示するＥＢＣ回路は、１Ｄ画像ブロックを符号化し、ビットプレーンにおいてパルスコード変調（ＰＣＭ）符号化ビット、差分ＰＣＭ（ＤＰＣＭ）符号化ビット、リファインメントビット、及び未符号化ビットを含む符号化１Ｄ画像ブロックを生成する。ビットプレーンの数は、定義されたビット深度として符号化動作の前に定義することができる。開示するＥＢＣ回路は、画素値を含む対応する量子化ビンの量子化ビンサイズに基づいて１Ｄ画像ブロックにおける複数の画素の各画素の画素値を決定する。量子化ビンサイズは、未符号化ビットを含むビットプレーンのカウントに基づいて決定することができる。例えば、符号化１Ｄ画像ブロックは、４ビットプレーンにおける画素に対応する未符号化ビットを含むことができる。画素の量子化ビンサイズは、２4（すなわち１６）として決定することができる。開示するＥＢＣ回路は、複数の画素の各画素の未符号化ビットに等価の十進数に対応する決定された画素値と入力画素値の間の量子化誤差に基づいて、各符号化１Ｄ画像ブロックに対する複数の再構成ポイントから１つの再構成ポイントを選択する。再構成ポイントは、量子化ビンの再構成値を決定する基準値（又は正規化値）に対応する。量子化ビンは、ある範囲の画素値を含み、この範囲の画素値からのある値を、再構成ポイントに基づく特定の量子化ビンに対応する再構成値として選択することができる。再構成ポイントは、異なる１Ｄ画像ブロックに対して変えることができる。ＥＢＣ回路は、各符号化１Ｄ画像ブロックに対して選択された再構成ポイントに従って１Ｄ画像ブロックの符号化ビットストリームからの各符号化１Ｄ画像ブロックの再構成を扱う復号器回路を含むことができる。符号化１Ｄ画像ブロックの入力画素値の大多数は、再構成ポイントに対応する再構成値の周りに存在することができる。対応する再構成値の周りの符号化ビットストリームの再構成は、全体の量子化誤差を大幅に低減できるので画像品質を向上させる。ブロックレベルの選択された再構成ポイントに基づく符号化ビットストリームの再構成の結果として、符号化画像の品質に悪影響を及ぼすことなく圧縮効率が大幅に向上される。開示するＥＢＣ回路のスループットに対するエリア効率が拡張され、オンチップメモリ使用が最適化される。
【０００９】
従来の画像圧縮技術では、単一の再構成ポイント（又は事前に決められた再構成ポイント）が一般的に、画像に対応する各１Ｄ画像ブロックに用いられる。再構成に用いられる再構成ポイント（一般的には、量子化ビンの中央再構成ポイント）は、複数の画素の値の分布を考慮することなく、１Ｄ画像ブロックの全てに類似している。他の１Ｄ画像ブロックと比較して画素値と再構成ポイントの差が高い１Ｄ画像ブロックでは、量子化誤差が大幅に増加する。この結果、全体の画像品質が低下する。従って、量子化誤差が大幅に低減できるように画素値の分布に基づいて各１Ｄ画像ブロックの再構成ポイントを選択できる方法が提供される。
【００１０】
開示するＥＢＣ回路は、入力画素値とローカルに復号された画素値との間の量子化誤差に基づいて、各１Ｄ画像ブロックに対して複数の再構成ポイントから１つの再構成ポイントを選択する。複数の再構成ポイントは、符号化動作の前に指定される正規化値とすることができる。ローカルに復号される画素値は、従来の中央再構成ポイントに基づいて決定することができる。各１Ｄ画像ブロックの選択された再構成ポイントは、全体の量子化誤差を最小化する最適再構成ポイントとすることができる。従って、再構成ポイントのこのような選択の結果として全体の画像品質が大幅に向上される。
【００１１】
図１は、本開示の一実施形態による、マルチ再構成ポイントベースの量子化のための組み込みコーデック（ＥＢＣ）回路を含む回路を有する例示的メディアデバイスを示すブロック図である。図１を参照すると、プロセッサ１０６、組み込みコーデック（ＥＢＣ）回路１０８、及び外部メモリ１１０を含むメディアデバイス１０２が示されている。一部の実施形態では、画像センサ１０４は、プロセッサ１０６、ＥＢＣ回路１０８、及び外部メモリ１１０に通信可能に結合することができる。更に、画像センサ１０４、プロセッサ１０６、ＥＢＣ回路１０８、及び外部メモリ１１０を相互接続するシステムバス１１２が示されている。
【００１２】
メディアデバイス１０２は、符号化（すなわち、圧縮された）画像及び／又はビデオとして未圧縮生画像及び／又はビデオを外部メモリ１１０に格納するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。メディアデバイス１０２は、媒体コンテンツ（例えば、符号化画像及び／又はビデオ）の符号化並びに復号、及びメディアデバイス１０２での復号媒体コンテンツの再生を管理するよう構成することができる。メディアデバイス１０２は、オフライン（インターネット／ネットワークの必要なし）処理及び画像／ビデオの圧縮／解凍の専用オンチップコーデック（ＥＢＣ回路１０８など）を含むことができる。一部の実施形態では、メディアデバイス１０２は、未圧縮ファイルフォーマットである生画像ファイルフォーマットの画像を取り込むために１又は２以上の画像センサ（画像センサ１０４など）を含むこともできる。このような場合、取り込まれた画像は、メディアデバイス１０２のＥＢＣ回路１０８によって符号化することができる。メディアデバイス１０２の実施例は、限定されないが、デジタルカメラ、携帯式通信デバイス（例えば、ラップトップ、スマートフォン、タブレット、ファブレット、スマートウォッチ、スマートグラスなど）、媒体サーバ、ワークステーション、デスクトップコンピュータ、及び拡張現実／仮想現実／混合現実（ＡＲ／ＶＲ／ＭＲ）デバイスを含むことができる。
【００１３】
図１には示していないが、メディアデバイス１０２はまた、通信ネットワーク（図示せず）を介して他の周辺又はピア接続デバイスとの符号化及び／又は未圧縮の生画像及び／又はビデオの共有を管理するよう構成することができるネットワークインタフェースを含むことができる。ネットワークインタフェース及び通信ネットワークの詳細な説明は、簡潔にするために本開示から省略されている。
【００１４】
画像センサ１０４は、画像センサ１０４の視野（ＦＯＶ）におけるシーンの未圧縮の生画像又は未圧縮の生画像のシーケンスを取り込むよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。画像センサ１０４は、相補型金属酸化膜半導体（ＣＭＯＳ）センサなどのアクティブ画素センサとして実施することができる。このような実施では、画像センサ１０４は、ＣＭＯＳセンサのセンサコアでの画素の各行又は列（１次元（１Ｄ）画素アレイ又は１Ｄ画像ブロック）のプログレッシブ走査（１ラインずつ）を実行するよう構成することができる。プログレッシブ走査は、垂直走査（列幅）又は水平走査（行幅）とすることができる。一部の実施形態では、アクティブ画素センサの代わりに、画像センサ１０４を、パッシブ画素センサ（電荷結合デバイス（ＣＣＤ）センサ、オーバーサンプルバイナリ画像センサ、平面フーリエキャプチャアレイ（ＰＦＣＡ）、バック照明（ＢＳＩ又はＢＩ）センサなど）の１つとして実施することができる。図示してないが、画像センサ１０４は、画像センサ１０４からの画像データに従って図形処理ユニット（ＧＰＵ）を動作し、フレームバッファ、及び／又は画像センサ１０４に一体化したメモリに格納された画像を処理するよう構成された専用マイクロプロセッサ（又はマイクロコントローラ）を含むこともできる。
【００１５】
プロセッサ１０６は、専用メモリ（例えば、外部メモリ１１０又はＥＢＣ回路１０８のオンチップメモリ）に格納された命令のセットを実行するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。プロセッサ１０６は、当技術で公知の幾つかのプロセッサ技術に基づいて実施することができる。プロセッサ１０６の例は、限定されないが、グラフィカル処理ユニット（ＧＰＵ）、プロセッサのためのコプロセッサ（専用画像コプロセッサなど）、専用デジタル信号プロセッサ、中央処理ユニット（ＣＰＵ）、ｘ８６ベースのプロセッサ、ｘ６４ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複数命令セットコンピュータ（ＣＩＳＣ）プロセッサを含むことができる。
【００１６】
ＥＢＣ回路１０８は、特定の圧縮因数に対して１Ｄ画像ブロック（例えば、１６×１又は８×１画像ブロック）を符号化するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。ＥＢＣ回路１０８は、ＥＢＣ回路１０８で受信された命令に応じて、符号化１Ｄ画像ブロックに対して複数の再構成ポイントの１つの再構成ポイントを選択するよう構成することができる。一部の実施形態では、１Ｄ画像ブロックは、画像センサ１０４による行幅又は列幅走査に続いて画像センサ１０４の読み出しレジスタから直接取り出された入力画像（すなわち、未圧縮の生画像）又は画素アレイ（行又は列）の一部とすることができる。ＥＢＣ回路１０８は、外部メモリ１１０への符号化１Ｄ画像ブロックのビットストリームのストレージを管理することができるか、又は専用通信ネットワークを介して他のメディアデバイスへの符号化１Ｄ画像のビットストリームの転送を管理することができる。開示するＥＢＣ回路の実施が１Ｄ画像ブロックに制限されない点に留意されたい。従って一部の実施形態では、本開示の範囲から逸脱することなく２Ｄ画像ブロックをＥＢＣ回路１０８によって符号化することもできる。
【００１７】
ＥＢＣ回路１０８は、符号化１Ｄ画像ブロックに関連付けられるヘッダ情報に従って符号化１Ｄ画像ブロックを復号化するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。ＥＢＣ回路１０８は、複数の再構成ポイントからの選択された再構成ポイントに従って各画素の画素値を再構成するよう構成することができる。ＥＢＣ回路１０８は、メディアデバイス１０２のディスプレイでの復号画像の表示を管理することができる。
【００１８】
ＥＢＣ回路１０８は、メディアデバイス１０２の他のコンピュータ回路に接続された専用ハードウェア符号器／復号器として実施することができる。このような実施では、ＥＢＣ回路１０８は、特定のコンピュータ回路での固有の形式因子に関連付けることができる。特定のコンピュータ回路の例は、限定されないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ），プログラマブルＡＳＩＣ（ＰＬ−ＡＳＩＣ）、特定用途向け集積部品（ＡＳＳＰ）、及び標準的マイクロプロセッサ（ＭＰＵ）又はデジタル信号プロセッサ（ＤＳＰ）に基づくシステムオンチップ（ＳＯＣ）を含むことができる。別の実施形態により、ＥＢＣ回路１０８は、グラフィカル処理ユニット（ＧＰＵ）に接続してＥＢＣ回路１０８の動作を並列処理にすることができる。別の実施形態により、ＥＢＣ回路１０８を、メディアデバイス１０２のハードウェア回路のメモリ及び論理ユニット（又はプログラマブル論理ユニット）に格納されたプログラマブル命令の組合せとして実施することができる。
【００１９】
外部メモリ１１０は、入力画像（未圧縮の生の又は符号化）又は入力画像のシーケンスを格納するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。外部メモリ１１０は、画像センサ１０４から直接取り出された生の未圧縮１Ｄ画像ブロックを格納するための画像バッファとして動作するよう構成することができる。加えて、外部メモリ１１０は、符号化１Ｄ画像ブロックのビットストリームを生成するためにＥＢＣ回路１０８によって加えることができる順次符号化／復号化方式に関連付けられる命令を格納することができる。例示的実施形態では、外部メモリ１１０を、ＥＢＣ回路１０８に外部から接続することができる永続ストレージメモリ又は動的ランダムアクセスメモリ（ＤＲＡＭ）とすることができる。別の例示的実施形態では、外部メモリ１１０は、ＥＢＣ回路１０８に外部から接続することができる静的ランダムアクセスメモリ（ＳＲＡＭ）回路とすることができる。外部メモリ１１０の実施の例は、限定されないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電子的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、又はセキュアデジタル（ＳＤ）カードを含むことができる。
【００２０】
一部の実施形態では、ＥＢＣ回路１０８は、例えば、アドバンスドビデオコーデック（ＡＶＣ）／媒体エキスパートグループ（ＭＰＥＧ−４／ＡＶＣ）又はＨ．２６４、ＭＰＥＧ−４／ＨＥＶＣ又はＨ．２６５などを含むことができる他の異なるコーデック規格の支援（例えば、後方互換性）を提供することもできる。加えて、ビデオコーデックは、ＦＦｍｐｅｇ、Ｘｖｉｄ、ＤＩＶｘ、ＶＰ１−９、Ｗｉｎｄｏｗｓメディアコーデック、ＦＦａｖｓ（あらゆるビデオフォーマットからＡＶＳフォーマットへの高速転送又はトランス符号化）などを含むことができる他のコーデックライブラリによって支援することができる。
【００２１】
システムバス１１２は、メディアデバイス１０２の異なる構成要素へのデータチャネルのセット（又は導電性経路）を含むことができるハードウェアバスとすることができる。つまり、システムバス１１２は、メディアデバイス１０２の異なる構成要素の少なくともデータポート、アドレスポート、及び制御信号ポートを相互接続することができる。例えば、システムバス１１２は、画像センサ１０４、プロセッサ１０６、ＥＢＣ回路１０８、外部メモリ１１０、及び他の回路を互いに相互接続することができる。システムバス１１２は、メディアデバイス１０２上の異なる構成要素間のシリアルデータ通信又はパラレルデータ通信を容易にするよう構成することができる。システムバス１１２の例は、８ビットパラレルシングルシステムバス、１６ビットパラレルシングルシステムバス、３２ビットパラレルシングルシステムバス、６４ビットパラレルシングルシステムバス、シリアルデータバスなどを含むことができる。
【００２２】
動作中、１Ｄ画像ブロック又は１Ｄ画像ブロックのシーケンスをメディアデバイス１０２によって受信することができる。一部の実施形態では、１Ｄ画像ブロック又は１Ｄ画像ブロックのシーケンスを、メディアデバイス１０２に接続されたオンチップ画像センサ（画像センサ１０４など）の読取りレジスタ又はカメラデバイスから直接取り出すことができる。他の実施形態では、１Ｄ画像ブロック又は１Ｄ画像ブロックのシーケンスを、メディアデバイス１０２の外部メモリ１１０などの永続ストレージに格納された未圧縮生入力画像から取り出すことができるか、又はカメラ、データサーバなどの他の媒体ストレージデバイスから外部で受信することができる。図１の動作を、１Ｄ画像ブロックの例を用いることによって説明する。しかし、本開示の範囲は、１Ｄ画像ブロックに制限されず、２Ｄ画像又はビデオを、１Ｄ画像ブロックに加えらえる動作と同様に処理することができる。
【００２３】
ＥＢＣ回路１０８は、外部メモリ１１０から又は画像センサ１０４の読取りレジスタから直接、１Ｄ画像ブロック又は１Ｄ画像ブロックのシーケンスを取り出すよう構成することができる。ＥＢＣ回路１０８は、１Ｄ画像ブロックに順次符号化方式を実行し符号化１Ｄ画像ブロックのビットストリームを生成するよう構成することができる。符号化１Ｄ画像ブロックのビットストリームは、１Ｄ画像ブロックの符号化に加えられる順次符号化方式を示すことができるヘッダ情報を含み、符号化１Ｄ画像ブロックのビットストリームを取得することができる。１つの実施では、順次符号化方式は、量子化、続いて残差予測、及びリファインメント方式の順次適用を含むことができる。他の実施では、順次符号化方式は、１Ｄ変換、次に量子化、残差予測、エントロピー符号化、及びリファインメント方式の順次適用を含むことができる。
【００２４】
順次符号化方式では、ＥＢＣ回路１０８は、各１Ｄ画像ブロックの複数の入力画素値を量子化して複数の量子化レベルを生成するよう構成することができる。複数の量子化レベルは、複数の打ち切り量子化ビンによって互いから分離することができる。複数の量子化ビンのステップサイズは、入力画素値の１Ｄ画像ブロックを複数の量子化レベルに効率的に量子化するために適応的又は均一に選択することができる。適応選択では、ステップサイズを、入力画素値の分布に基づいて異なる１Ｄ画像ブロックに対して異なるものにすることができる。均一選択では、ステップサイズを各１Ｄ画像ブロックに対して等しくすることができる。各量子化レベルは、量子化ビンの上位境界及び下位境界からの中央値とすることができ、例えば、”（１５５,１７５）”の量子化ビンは、”（１５５＋１７５）／２”の量子化変換レベル、すなわち「１６５」を含むことができる。量子化によって、ＥＢＣ回路１０８は、視覚的に目立つ品質の劣化なしに変換ドメインデータ（すなわち、複数の変換係数）から余剰係数情報を取り除くことができる。
【００２５】
複数の量子化ビンは、媒体コンテンツを符号化又は復号化するための適応量子化方式に従って変えることができる量子化パラメータ（ＱＰ）に基づいて決定することができる。ＱＰは、０から符号化１Ｄ画像ブロックのビットストリームのビット深度に変えることができる。例えば、圧縮１Ｄ画像ブロックの８ビットビットストリームのＱＰは、第１の１Ｄ画像ブロックに「５」及び第２の１Ｄ画像ブロックに「４」として選択することができる。これは、第２の１Ｄ画像ブロックを第１の１Ｄ画像ブロックと比較して細かいステップサイズで量子化できることを指示できる（例えば、第２の１Ｄ画像ブロックの１６のステップサイズは、第１の１Ｄ画像ブロックの３２のステップサイズと比較して小さい）。一定の実施形態では、各１Ｄ画像ブロックにおける複数の画素値で実施される量子化方式は、ビットプレーン量子化方式である。
【００２６】
ＥＢＣ回路１０８は、量子化レベルの各１Ｄ画像ブロックに残差予測方式を適用するよう構成することができ、各１Ｄ画像ブロックは複数の量子化レベルを含むことができる。残差予測方式の例は、限定されないが、パルス符号化変調（ＰＣＭ）方式、差分パルス符号変調（ＤＰＣＭ）方式、又は適応ＤＰＣＭ（ＡＤＰＣＭ）方式を含むことができる。残差予測方式の適用後、量子化余剰レベルの１Ｄ画像ブロックを量子化レベルの各１Ｄ画像ブロックから取得することができる。量子化余剰レベルの１Ｄ画像ブロックは、外部メモリ１１０又はＥＢＣ回路１０８のオンチップメモリ（例えば、専用ＳＲＡＭ又はオンチップキャッシュ）などのメモリに格納することができる。
【００２７】
ＥＢＣ回路１０８は、量子化余剰レベルの各１Ｄ画像ブロックを符号化して定義したビット深度の符号化１Ｄ画像ブロックを生成するよう構成することができる。定義されるビット深度は、符号化動作の前に指定することができ、符号化１Ｄ画像ブロックにおける複数のビットプレーンの合計カウントに対応することができる。複数のビットプレーンは、符号化ビット（例えば、ＤＰＣＭ符号化ビット及びＰＣＭ符号化ビット）並びに未符号化ビット位置を含むことができる。１つの実施形態により、エントロピー符号化方式の適用により量子化余剰レベルの各１Ｄ画像ブロックを符号化するようＥＢＣ回路１０８を構成することができる。エントロピー符号化方式は、限定されないが、ハフマン符号化方式、指数的Ｇｏｌｏｍｂ符号化方式、プログレッシブＧｏｌｏｍｂ符号化方式、Ｇｏｌｏｍｂ−Ｒｉｃｅ符号化方式、及びハフマン符号化方式及び指数的Ｇｏｌｏｍｂ符号化方式の組合せを含むことができる。
【００２８】
ＥＢＣ回路１０８は、リファインメントバジェット及びリファインメント順序に従って未符号化ビット位置のリファインメントビットの割り当てによって符号化１Ｄ画像ブロックをリファインメントするよう構成することができる。リファインメントバジェットは、符号化１Ｄ画像ブロックにおける合計ビットバジェット及び符号化ビットのカウントに基づいて決定することができる。リファインメント順序は、限定されないが、境界対中央リファインメント順序、左対右リファインメント順序、又は右対左リファインメント順序とすることができる。リファインメントビットの割り当て後に、符号化１Ｄ画像ブロックは、符号化ビットに加えてリファインメントビットを含むことができる。符号化１Ｄ画像ブロックは、定義されたビット深度に対応する複数のビットプレーンのビットプレーン内の未符号化ビットを含むことができる。未符号化ビットを含むビットプレーンのカウントは、１Ｄ画像ブロックにおける対応する画素の量子化ビンパラメータ（Ｑｎ）を定義することができる。例えば、符号化１Ｄ画像ブロックは、第１画素及び第２画素それぞれの「４」最下位ビットプレーン及び「５」最下位ビットプレーンの未符号化ビットを含む。第１画素及び第２画素のＱｎは、それぞれ「４」及び「５」である。
【００２９】
ＥＢＣ回路１０８は、符号化１Ｄ画像ブロックの各画素の量子化ビンサイズに基づいて複数の再構成ポイントから１つの再構成ポイントを選択するよう構成することができる。量子化ビンサイズは、各画素のＱｎ値に基づいて決定することができる。例えば、４のＱｎ値に対して、量子化ビンサイズは、２4、すなわち１６として決定することができる。ＥＢＣ回路１０８は、復号段階の符号化１Ｄ画像ブロックの再構成に対して選択された再構成ポイントのシグナリングビットを割り当てるよう構成することができる。
【００３０】
１つの実施形態により、ＥＢＣ回路１０８は、ヘッダ情報及びシグナリングビットを含むことができる符号化１Ｄ画像ブロックのビットストリームを生成するよう構成することができる。ＥＢＣ回路１０８のＥＢＣ復号器回路（図１には図示せず）は、異なる符号化テーブル（例えば、ハフマン符号化方式、指数的Ｇｏｌｏｍｂ符号化方式のカスタム符号化テーブル、又はシグナリングビットテーブル）及び量子化テーブルを事前に格納しておくことができる。ＥＢＣ復号器回路は、ヘッダ情報に基づいて符号化１Ｄ画像ブロックのビットストリームを復号化するよう構成することができる。ＥＢＣ復号器回路は、シグナリングビットによって示された再構成ポイントに従って復号１Ｄ画像ブロックの画素値を再構成するよう構成することができる。
【００３１】
別の実施形態により、ＥＢＣ回路１０８は、符号化１Ｄ画像ブロックのビットストリームを復号化するために異なる復号化方式を利用することができる異なる外部復号器によってビットストリームが復号可能であるように符号化１Ｄ画像ブロックのビットストリームを生成するよう構成することができる。このような場合、ＥＢＣ回路１０８は、異なる符号化テーブル（例えば、ハフマン符号化方式、指数的Ｇｏｌｏｍｂ符号化方式のカスタム符号化テーブル、又はシグナリングビットテーブル）及び量子化テーブルを、符号化１Ｄ画像ブロックのビットストリームに関連付けられるヘッダ情報又は異なるメタストリームに追加するよう構成することができる。ビットストリームへのこのようなカスタムテーブル及び量子化テーブルの追加によって、ＥＢＣ回路１０８の出力を他の復号器回路によって復号化することができる。幾つかのシナリオでは、異なる符号化テーブルを、外部復号器に事前に格納しておくことができる。このようなシナリオでは、異なる符号化テーブルをヘッダ情報又は符号化１Ｄ画像ブロックのビットストリームに関連付けられる異なるメタストリームに追加するよう要求されることはない。
【００３２】
１つの実施形態により、符号化１Ｄ画像ブロックのビットストリームを、入力画像（２Ｄ画像など）、完全画像、又はビデオ部分の一部として、外部メモリ１１０又はＥＢＣ回路１０８のオンチップメモリなどのメモリに格納することができる。１つの実施では、プロセッサ１０６は、符号化１Ｄ画像ブロックのビットストリームをシステムバス１１２を介して、メディアデバイス１０２のシステムバス１１２に通信可能に接続されたディスプレイ回路（例えば、ビデオカード）のフレームバッファ（又はフレームストア）に転送するよう構成することができる。フレームバッファは、ディスプレイ回路の圧縮フレームバッファとして動作することができる。ディスプレイ回路（図１には図示せず）は、１Ｄ画像ブロックの符号化ビットストリームのビットストリームを復号して用い、メディアデバイス１０２に画像のパッチを表示することができる。別の実施では、システムバス１１２を介して、メディアデバイス１０２のビデオ復号器の復号ピクチャバッファ（ＤＰＢ）、画像復号器のバッファメモリ、又はビデオコーデックの符号化ピクチャバッファ（ＣＰＢ）などの復号器バッファに符号化１Ｄ画像ブロックのビットストリームを転送するようプロセッサ１０６を構成することができる。
【００３３】
例示的実施では、メディアデバイス１０２は、デジタルビデオカメラ又はデジタル画像カメラなどのカメラとすることができ、符号化１Ｄ画像ブロックのビットストリームが、カメラのＣＭＯＳセンサの読出しレジスタから直接受信される画素値の１Ｄアレイに対応することができる。例示的実施形態では、ＥＢＣ回路１０８は、ＣＭＯＳセンサ回路に実施することができる。図２Ａは、本開示の一実施形態による、マルチ再構成ポイントベースの量子化のための様々な周辺構成要素を備えた組み込みコーデック（ＥＢＣ）回路を示すブロック図である。図２Ａは、図１からの要素に関して説明されている。図２Ａを参照すると、ＥＢＣ回路１０８のブロック図２００が示されている。ＥＢＣ回路１０８は、入力／出力（Ｉ／Ｏ）インタフェース２０２、オンチップメモリ２０４、符号器回路２０６、及び復号器回路２０８を含むことができる。ブロック図２００には、システムバス１１２を介して、ＥＢＣ回路１０８に通信可能に結合された画像センサ１０４、プロセッサ１０６、及び外部メモリ１１０を示している。一部の実施形態では、本開示の範囲から逸脱することなく、ＥＢＣ回路１０８の内側でプロセッサ１０６及び外部メモリ１１０を実施することができる。
【００３４】
Ｉ／Ｏインタフェース２０２は、システムバス１１２を介して、他の周辺回路、例えば、外部メモリ１１０、プロセッサ１０６、又は画像センサ１０４からの通信データの交換を容易にするために複数のＩ／Ｏポートを管理するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。通信データは、符号化１Ｄ画像ブロックのビットストリーム、制御信号、ＣＰＵ命令などを含むことができる。Ｉ／Ｏポートの構成は、ＥＢＣ回路１０８の仕様、例えば、ＡＳＩＣ、ＦＰＧＡ又はＳｏＣチップの物理的Ｉ／Ｏピンに依存することができる。
【００３５】
オンチップメモリ２０４は、１Ｄ画像ブロックを符号化するためにＥＢＣ回路１０８の異なる構成要素によって利用することができる異なる動作データ（例えば、変換ドメインデータ、余剰レベル、量子化レベル、エントロピー符号化ビットなど）を格納するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。オンチップメモリ２０４に格納された動作データの例は、限定されないが、符号化１Ｄ画像ブロックのビットストリーム、変換ドメインデータ、量子化変換レベル、量子化変換余剰レベル、コンピュータ計算変数、及び一時処理データ、及び１Ｄ／２Ｄ画像ブロックを含むことができる。オンチップメモリ２０４は、読取り／書込み速度、メモリサイズ、製造因子などの定義されたメモリ仕様によって設計された特定のメモリとして実施することができる。オンチップメモリ２０４の例は、限定ではないが、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的アクセスメモリ（ＤＲＡＭ）、及び静的動的ＲＡＭ（ＳＤ−ＲＡＭ）を含むことができる。
【００３６】
符号器回路２０６は、１Ｄ画像ブロックへの順次符号化方式及び続く符号化１Ｄ画像ブロックのリファインメントの適用によって符号化１Ｄ画像ブロックのビットストリームを生成するよう構成することができる適切な論理、回路、及びインタフェースを含むことができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素に対応する量子化ビンサイズに基づいて複数の再構成ポイントの１つの再構成を選択することもできる。符号器回路２０６は、符号化１Ｄ画像ブロックのビットストリームに選択された再構成ポイントのシグナリングビットを割り当てることができる。再構成ポイントは、最大画素値が選択された再構成の周りにあるように選択することができ、実際の画素値と再構成画素値の間の量子化誤差が大幅に低減される場合に全体の主観的画像品質を向上させる。一部の実施形態では、符号器回路２０６は、ＡＳＩＣ、プログラマブル論理デバイス（ＰＬＤ）、ＳＯＣ、ＦＰＧＡ、デジタル信号プロセッサ（ＤＳＰ）又は他の専用回路の１つに基づいて実施することができるハードウェア符号器チップとすることができる。他の実施形態では、符号器回路２０６は、ハードウェアとオンチップメモリ２０４の命令の格納されたセット（例えば、ＶＨＤＬ又はＨＤＬ論理に基づく命令）の組合せとして実施することができる。
【００３７】
復号器回路２０８は、シグナリングビットを含むヘッダ情報に基づく順次復号化方式の適用によって符号化１Ｄ画像ブロックのビットストリームを復号化するよう構成できる適切な論理、回路、及びインタフェースを含むことができる。１つの実施では、順次復号化方式は、符号化１Ｄ画像ブロックのビットストリームへの、逆量子化、続いて残差予測復号、及びリファインメント復号の順次適用を含むことができる。復号器回路２０８は、シグナリングビットによって示される再構成ポイントに基づいて符号化１Ｄ画像ブロックの各画素の画素値を再構成することもできる。一部の実施形態では、復号器回路２０８は、符号化１Ｄ画像ブロックのビットストリームを復号化するための復号器回路２０８の基準として動作することができる量子化テーブル及び符号化テーブルを事前に格納しておくことができる。一部の実施形態では、復号器回路２０８は、ＡＳＩＣ、プログラマブル論理デバイス（ＰＬＤ）、ＳＯＣ、ＦＰＧＡ、デジタル信号プロセッサ（ＤＳＰ）又は他の専用回路の１つに基づいて実施することができるハードウェア符号器チップとすることができる。一部の実施形態では、復号器回路２０８は、ハードウェアとオンチップメモリ２０４のプログラムされた命令（例えば、ＶＨＤＬ又はＨＤＬ論理に基づく命令）の組合せとして実施することができる。
【００３８】
図２Ｂは、本開示の一実施形態による、マルチ再構成ポイントベースの量子化の図２Ａの符号器回路及び復号器回路における動作を示す。図２Ｂは、図１及び図２Ａからの要素に関して説明している。図２Ｂを参照すると、符号化側の第１の動作シーケンス２１０及び復号側の第２の動作シーケンス２２４を示している。
【００３９】
動作中、入力画像２１２（又は画像／ビデオのシーケンス）に対応する複数の１Ｄ画像ブロックを、外部メモリ１１０又はオンチップメモリ２０４などのメモリに格納することができる。符号器回路２０６は、メモリからの入力画像２１２に対応する複数の１Ｄ画像ブロックを受信するよう構成することができる。
【００４０】
符号化側の第１の動作シーケンス２１０では、２１４で、順次符号化方式のモードを決定することができる。このモードは、入力画像２１２に対応する複数の１Ｄ画像ブロックに加えられる異なる符号化動作のシーケンスに対応することができる。例えば、１つのモードが残差予測が続く量子化に対応することができ、別のモードが、量子化及び残差予測が続く変換符号化に対応することができる。一部の実施形態では、順次符号化方式のモードは、圧縮率要件、ランダムアクセス要件、待ち時間要件、画像データなどのアプリケーション固有の要件に基づいて決定することができる。モード決定後に、決定されたモードによって指示される順次符号化方式に従って複数の１Ｄ画像ブロックを符号化することができる。
【００４１】
２１６で、順次符号化方式を複数の１Ｄ画像ブロックに実行し各１Ｄ画像ブロックに対応する符号化１Ｄ画像ブロックを生成することができる。符号器回路２０６は、各１Ｄ画像ブロックに順次符号化方式を実行し符号化１Ｄ画像ブロックを生成するよう構成することができる。順次符号化方式は、限定ではないが、各１Ｄ画像ブロックにおける量子化及び続く残差予測の順次適用とすることができる。量子化は、”７”の量子化パラメータのビットプレーン量子化とすることができ、残差予測はＤＰＣＭ符号化方式とすることができる。順次符号化方式の実行は、第１の複数のビットプレーンの符号化ビット（例えば、１６ビットプレーンの定義されたビット深度の’７’最上位ビットプレーンの符号化ビット）、及び第２の複数のビットプレーンの未符号化ビット（例えば、１６ビットプレーンの定義されたビット深度の’９’最下位ビットプレーンの未符号化ビット）を含む各１Ｄ画像ブロックに対応する符号化１Ｄ画像ブロックの生成を結果として生じることができる。
【００４２】
２１８で、リファインメントビットバジェットの利用可能度のせいで、未符号化ビット位置の一部に、第２の複数のビットプレーン内のリファインメントビットを割り当てることができる。符号器回路２０６は、利用可能なリファインメントビットバジェットに従ってリファインメントビットを割り当てるよう構成することができる。リファインメント後に、未符号化ビット位置を含む第２の複数のビットプレーンのカウントを低減することができる。異なる画素は、未符号化ビットの異なるカウントを含むことができるか、又は換言すると、第２の複数のビットプレーンのカウントは、特定の画素に割り当てられるリファインメントビットのカウントに基づいて画素毎に変えることができる。
【００４３】
符号１Ｄ画像ブロックの各画素に対応する第２の複数のビットプレーンのカウントは、各画素の量子化ビンパラメータ（Ｑｎ）に対応することができる。換言すると、各画素に対応する未符号化ビットのカウントを画素のＱｎに等しくすることができる。１つの実施形態により、符号器回路２０６は、符号化１Ｄ画像ブロックのＱｎの最大値が閾値より大きいかどうか決定するよう構成することができる。閾値は、以前の実験及び／又はユーザ入力に基づいて指定することができ、０とビット深度の間の何れの値にもすることができる。符号化１Ｄ画像ブロックのＱｎの最大値が閾値より大きいと決定された場合、符号器回路２０６を、復号段階で再構成のために複数の再構成ポイントを利用するよう構成することができる。そうでなければ、符号器回路２０６は、復号段階で再構成のために単一の再構成ポイントを利用するよう構成することができる。
【００４４】
異なる１Ｄ画像ブロックは入力画素値の異なる範囲を有することができる。従って、１つの１Ｄ画像ブロックに適した再構成ポイントが、他の１Ｄ画像ブロックに適さないことがある。従って、各１Ｄ画像ブロックに対して再構成ポイントの選択をする方法を有することが望ましい。複数の量子化ビンは、量子化パラメータ（ＱＰ）に基づいて異なる範囲の値として定義することができる。例えば、「５」に等しいＱＰの量子化ビンを（０−３１）として決定することができる。中央再構成技術により、この量子化ビンに対応する再構成ポイントを１６とすることができる。入力画素値を６から８の範囲にすることができ「１６」の中央再構成ポイントを用いて再構成することができる１Ｄ画像ブロックは、再構成ポイントが「７」として選択される場合と比較して非常に高い量子化誤差を有することがある。従って、中央再構成ポイントベースの符号化１Ｄ画像ブロックの再構成は、復号画像の画像品質に悪影響を与える可能性がある。
【００４５】
２２０で、複数の再構成ポイントの１つの再構成ポイントを、各符号化１Ｄ画像ブロックに対して選択することができる。符号器回路２０６は、各符号化１Ｄ画像ブロックに対する複数の再構成ポイントから１つの再構成ポイントを選択するよう構成することができる。再構成ポイントは、符号化１Ｄ画像ブロックの各画素の未符号化ビットに対応する量子化ビンサイズに基づいて選択することができる。選択された再構成ポイントは、量子化誤差を最小にし主観的画像品質を向上させる複数の再構成ポイントの最適再構成ポイントとすることができる。複数の再構成ポイントは、符号化動作の前に指定することができる。例えば、「４」再構成ポイントを再構成のために指定することができる（０．１２５、０．３７５、０．６２５、及び０．８７５など）。再構成ポイントに基づいて再構成される画素値は、再構成ポイントと量子化ビンサイズの乗算に等しくすることができる。例えば、０．１２５の再構成ポイント及び３２の量子化ビンサイズに対して、再構成画素値を「０．１２５×３２」、すなわち４とすることができる。
【００４６】
再構成ポイントを選択するために、符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の未符号化ビットに対応する第１画素値を決定するよう構成することができる。第１画素値は、未符号化ビットに等価の十進数とすることができる。符号器回路２０６は、各画素内の未符号化ビットのカウントに基づいて各画素に対応する量子化ビンパラメータ（Ｑｎ）を決定するよう構成することができる。符号器回路２０６は、Ｑｎに基づいて各画素の量子化ビンサイズを決定するよう構成することができる。例えば、符号１Ｄ画像ブロックの画素Ｐは、「５」未符号化ビット（１１１００）を有することができる。画素Ｐの第１画素値は、「２８」（「１１１００」に等価の十進数）として決定することができる。未符号化ビットのカウントが「５」であるので、画素Ｐの量子化ビンサイズは、２5、すなわち３２として決定することができる。
【００４７】
１つの実施形態により、符号器回路２０６は、各画素の量子化ビンサイズに基づいて符号化１Ｄ画像ブロックの各画素の第２画素値を決定するよう構成することができる。第２画素値は、量子化ビンサイズの半分に等しくすることができる。例えば、画素Ｐの第２画素値は「１６」（３２の半分）として決定することができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の第１画素値と第２画素値の累積差を決定するよう構成することができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の第２画素値の和として第１の総和を計算するよう構成することができる。
【００４８】
符号器回路２０６は、第１の総和に基づいて複数の範囲を決定するよう構成することができる。複数の再構成ポイントの１つの再構成ポイントは、複数の範囲の各範囲に関連付けることができる。複数の範囲の端点は、第１の総和に基づくことができる（ＭＡＸとして表される）。例として、「４」再構成ポイントの複数の範囲を、第１範囲（−ＭＡＸから−３*ＭＡＸ／４）、第２範囲（−３*ＭＡＸ／４から０）、第３範囲（０から３*ＭＡＸ／４）、及び第４範囲（３*ＭＡＸ／４からＭＡＸ）のように決定することができる。複数の範囲のカウントを複数の再構成ポイントのカウントに従って変えることができる点に留意されたい。符号器回路２０６は、累積差が存在する複数の範囲のうちの１つの範囲を決定するよう構成することができる。符号器回路２０６は、決定された範囲に関連付けられる再構成ポイントを複数の再構成ポイントから選択するよう構成することができる。
【００４９】
別の実施形態により、符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の量子化ビンサイズの和として第１の総和を計算するよう構成することができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の第１画素値の和として第２の総和を計算するよう構成することができる。
【００５０】
符号器回路２０６は、第１の総和に基づいて複数の範囲を決定するよう構成することができる。複数の再構成ポイントの１つの再構成ポイントは、複数の範囲の各範囲に関連付けることができる。複数の範囲の端点は、第１の総和に基づくことができる（ｓｕｍＱとして表される）。例として、「４」再構成ポイントの複数の範囲は、第１範囲（０からｓｕｍＱ／４）、第２範囲（ｓｕｍＱ／４からｓｕｍＱ／２）、第３範囲（ｓｕｍＱ／２から３*ｓｕｍＱ／４）、及び第４範囲（３*ｓｕｍＱ／４からｓｕｍＱ）として決定することができる。符号器回路２０６は、第２の総和が存在する複数の範囲のうちの１つの範囲を決定するよう構成することができる。符号器回路２０６は、決定された範囲に関連付けられる再構成ポイントを複数の再構成ポイントから選択するよう構成することができる。
【００５１】
符号器回路２０６は、符号化１Ｄ画像ブロックのビットストリーム２２２のヘッダ情報にシグナリングビットのセットを割り当てるよう構成することができる。シグナリングビットのカウントは、複数の再構成ポイントのカウントに依存することができる。例えば、２シグナリングビットは、「４」の異なる再構成ポイントを表すよう割り当てることができる。シグナリングビットのセットは、選択された再構成ポイントを復号器回路２０８に指示することができる。
【００５２】
図２Ｂを参照すると、復号側の第２の動作のシーケンス２２４が示されている。符号化１Ｄ画像ブロックのビットストリーム２２２を、外部メモリ１１０又はオンチップメモリ２０４などのメモリに格納することができる。復号器回路２０８は、メモリから符号化１Ｄ画像ブロックのビットストリームを取り出すことができる。
【００５３】
２２６で、ビットストリーム２２２を順次復号化方式（例えば、ＤＰＣＭ復号及び逆量子化）の適用によって復号化することができる。順次復号化方式は、１Ｄ画像ブロックを符号化するために実行される符号化動作の逆動作を含むことができる。復号器回路２０８は、ビットストリーム２２２に含まれたヘッダ情報に基づく順次復号化方式の適用によって符号化１Ｄ画像ブロックのビットストリーム２２２を復号化するよう構成することができる。順次復号化方式は、逆量子化及び続く残差予測復号の順次適用を含むことができる。順次復号化方式の適用は、復号１Ｄ画像ブロックを生成することができる。
【００５４】
２２８で、リファインメント復号化方式を復号１Ｄ画像ブロックに適用することができる。リファインメント復号化方式は、符号化回路２０６によって実行されるリファインメント方式の逆動作とすることができる。リファインメント復号化方式の適用は、リファインメント復号１Ｄ画像ブロックの生成を結果として生じることができる。
【００５５】
２３０で、リファインメント復号１Ｄ画像ブロックの各画素の画素値を再構成して、復号画像２３２を生成することができる。再構成画素値は、シグナリングビットのセットによって指示される再構成ポイントに基づくことができる。復号器回路２０８は、シグナリングビットのセットによって指示される再構成ポイントに基づいてリファインメント復号１Ｄ画像ブロックの各画素の画素値を再構成するよう構成することができる。
【００５６】
再構成のために、復号器回路２０８を、復号１Ｄ画像ブロックの各画素に関連付けられる量子化ビンを決定するよう構成することができる。量子化ビンは、画素値の範囲（０から３１、又は０から６３など）とすることができる。復号器回路２０８は、シグナリングビットのセットによって示される再構成ポイントを決定するよう構成することができる。シグナリングビットのセットと再構成ポイントの間の関係を設定することができる復号テーブルをメモリ（外部メモリ１１０又はオンチップメモリ２０４など）に格納することができる。復号器回路２０８は、再構成ポイントに基づいて各画素の画素値を再構成するよう構成することができる。再構成画素値は、再構成ポイントと量子化ビンサイズの乗算に対応する量子化ビンの値に等しくすることができる。例えば、再構成ポイントは、第１の１Ｄ画像ブロックの「０．１２５」及び第２の１Ｄ画像ブロックの「０．６２５」として決定することができる。０から３１の量子化ビンを備えた第１の１Ｄ画像ブロックの第１画素は、「４」（０＋０．１２５*３２）として再構成することができ、０から６３の量子化ビンを備えた第１の１Ｄ画像ブロックの第２画素は、「８」（０＋０．１２５*６４）として再構成することができる。同様に、０から３２の量子化ビンを有する第２の１Ｄ画像ブロックの第１画素は、「２０」（０＋０．６２５*３２）として再構成することができ、０から６３の量子化ビンを備えた第１の１Ｄ画像ブロックの第２画素は、「４０」（０＋０．６２５*６４）として再構成することができる。
【００５７】
一定の実施形態では、符号器回路２０６は、マルチ再構成ポイントベースの量子化のための量子化ビンを決定するよう構成することができる。決定された量子化ビンは、人間の視覚システムに従う視覚的に重要なエリアに対応することができるある範囲の画素値を含むことができる。換言すると、量子化ビンに対応する元の画素値からの偏差は、他の量子化ビンと比較してより知覚される可能性がある。符号器回路２０６は、ビット深度と量子化ビンパラメータ（Ｑｎ）の差に基づいて各符号化１Ｄ画像ブロックの量子化深度を決定するよう構成することができる。符号器回路２０６は、量子化深度に基づいて各符号化１Ｄ画像ブロックのグレイ値を決定するよう構成することができる。画素値がマルチ再構成ポイントに基づく量子化のために決定された量子化ビンに対応するかどうか決定するための決定因子としてグレイ値を用いることができる。画素値がマルチ再構成のための量子化ビンに対応すると決定された場合、選択された再構成ポイントに従って画素値を再構成するよう復号器回路２０８を構成することができる。そうでなければ、中央再構成ポイントに従って画素値を再構成するよう復号器回路２０８を構成することができる。
【００５８】
復号段階の従来の再構成技術では、画素値の分布を考慮することなく、各符号化１Ｄ画像ブロックの再構成に単一の再構成ポイントを用いることができる。一般的に、量子化ビンの中央再構成ポイントが、画素値を再構成するために用いられる。符号化１Ｄ画像ブロックが画素値の異なる範囲を有する（又は、画素値と量子化ビンの中央再構成ポイントの間に大きな差がある）場合、中央再構成ポイントを用いた再構成は、量子化誤差を大幅に増加させることがある。このような場合、各符号化１Ｄ画像ブロックの中央再構成ポイントを用いた再構成は、主観的な画像品質を低下させることがある。
【００５９】
例として、量子化ビンＱＢ０から３１を有する第１の「４×１」画像ブロックは、画素値Ｐ１＝６、Ｐ２＝６、Ｐ３＝８、及びＰ４＝７を含むことができる。画素値の全てが量子化ビンＱＢに属する場合、中央再構成ポイント、すなわち１６の周りの第１画像ブロックの再構成は、ＲＰ１＝１６、ＲＰ２＝１６、ＲＰ３＝１６、ＲＰ４＝１６として再構成された画素値を提供することができる。元の及び再構成された画素値の間の絶対差の和として量子化誤差を計算することができる。第１の画像ブロックの量子化誤差を以下のように計算することができる。
Ｑｕａｎｔｉｚａｔｉｏｎ  Ｅｒｒｏｒ（ＱＥ１）＝（１６−６）＋（１６−６）＋（１６−８）＋（１６−７）＝３７
【００６０】
量子化ビンＱＢ０から３１を有する第２の「４×１」画像ブロックは、画素値Ｐ１＝２８、Ｐ２＝３０、Ｐ３＝２６、及びＰ４＝２６を含むことができる。画素値の全てが量子化ビンＱＢに属する場合、中央再構成ポイント、すなわち１６の周りの第２画像ブロックの再構成は、ＲＰ１＝１６、ＲＰ２＝１６、ＲＰ３＝１６、ＲＰ４＝１６として再構成画素値を提供することができる。第２画像ブロックの量子化誤差は、次式のように計算することができる。
Ｑｕａｎｔｉｚａｔｉｏｎ  Ｅｒｒｏｒ（ＱＥ２）＝｜１６−２８｜＋｜１６−３０｜＋｜１６−２６｜＋｜１６−２６｜＝４６
【００６１】
同じ例を考え且つマルチ再構成ポイントベースの量子化を適用して、量子化ビンＱＢ（０から３１）の再構成ポイントは、４（０．１２５*３２）、１２（０．３７５*３２）、２０（０．６２５*３２）、及び２８（０．８７５*３２）とすることができる。第１画像ブロック及び第２画像ブロックそれぞれに対して４及び２８として再構成ポイントを選択するよう符号器回路２０６を構成することができる。第１画像ブロックの再構成値は、ＲＰ１＝４、ＲＰ２＝４、ＲＰ３＝４、及びＲＰ４＝４とすることができる。第１画像ブロックの量子化誤差を次式のように計算することができる。
Ｑｕａｎｔｉｚａｔｉｏｎ  Ｅｒｒｏｒ（ＱＥ１）＝｜４−６｜＋｜４−６｜＋｜４−８｜＋｜４−７｜＝１１
第２画像ブロックの再構成値を、ＲＰ１＝２８、ＲＰ２＝２８、ＲＰ３＝２８、及びＲＰ４＝２８とすることができる。第２画像ブロックの量子化誤差を次式のように計算することができる。
Ｑｕａｎｔｉｚａｔｉｏｎ  Ｅｒｒｏｒ（ＱＥ２）＝｜２８−２８｜＋｜２８−３０｜＋｜２８−２６｜＋｜２８−２６｜＝６
中央再構成ポイントベースの量子化のための合計量子化誤差（８３、すなわち３７＋４６）は、中央再構成ポイントベースの量子化のための合計量子化誤差（１７、すなわち１１＋６）より極めて高い。従って、本開示の一実施形態による、符号化１Ｄ画像ブロックの再構成は、量子化誤差を大幅に低減し視覚画像品質を向上させることができる。
【００６２】
図３Ａ及び３Ｂは、本開示の一実施形態による、図２のＥＢＣ回路による最適再構成ポイントの選択を示す。図３Ａ及び３Ｂは、図１、２Ａ及び２Ｂからの要素に関して説明する。図３Ａを参照すると、図３００が示されている。図３００は、１Ｄ画像ブロックへの量子化、残差予測、及び続くリファインメントの順次適用後に取得される符号化１Ｄ画像ブロックのビットプレーン表現を示している。
【００６３】
１Ｄ画像ブロックにおける量子化、残差予測、及び続くリファインメントの順次適用後に取得される符号化１Ｄ画像ブロック３０２が示されている。符号化１Ｄ画像ブロック３０２は、最上位ビットプレーンとしてビットプレーン「１５」及び最下位ビットプレーンとしてビットプレーン「０」を有する「１６」ビットプレーンのビット深度３０４を有することができる。符号化１Ｄ画像ブロックは、各画素位置３１４に対応するＤＰＣＭ符号化ビット３０６、ＰＣＭ符号化ビット３０８、リファインメントビット３１０などの符号化ビット、及び未符号化ビット３１２を含むことができる。位置０、１、及び１１の画素は、ビットプレーン４から０の未符号化ビット３１２を含む。位置２から１０の画素は、ビットプレーン５から０の未符号化ビット３１２を含む。
【００６４】
符号器回路２０６は、未符号化ビット３１２に等価の十進数に基づく各画素位置に対応する未符号化画素値３１６を決定するよう構成することができる。位置「０」の画素では、未符号化画素値３１６を２８（２4＋２3＋２2）として決定することができる。同様に、位置１から１１の画素では、未符号化画素値３１６を、３１、４９、２７、３６、３５、６０、３６、３２、４３、４及び４としてそれぞれ決定することができる。
【００６５】
中央再構成ポイントに基づいてローカルに復号された１Ｄ画像ブロック３１８が示されている。ローカルに復号された１Ｄ画像ブロック３１８は、未符号化ビット３１２を含むビットプレーンの最上位ビットプレーン内のバイナリビット「１」を含む。最上位ビットプレーンのバイナリビット「１」は、画素の中央再構成値に対応する。位置「０」の画素では、量子化ビンサイズは３２（すなわち、２5）である。従って、中央再構成値は１６であり、「１００００」としてバイナリで表すことができる。従って、画素位置０、１、及び１１のビットプレーン４は、バイナリビット「１」を含み、画素位置２から１０のビットプレーン５はバイナリビット「１」を含む。符号器回路２０６は、ローカルに復号された１Ｄ画像ブロック３１８の各画素位置に対応する復号画素値３２０を決定するよう構成することができる。位置０から１１の画素では、復号画素値３２０を、１６、１６、３２、３２、３２、３２、３２、３２、３２、３２、３２、及び１６としてそれぞれ決定することができる。
【００６６】
図３Ｂを参照すると、図３２２が示されている。図３２２は、未符号化画素値３１６及び復号画素値３２０に基づく再構成ポイントの選択を記述する。
【００６７】
３２４で、符号器回路２０６は、符号化１Ｄ画像ブロック３０２の各画素位置３１４に対する未符号化画素値３１６と復号画素値３２０の差を計算（又はコンピュータ計算）するよう構成することができる。この計算は、符号化１Ｄ画像ブロック３０２に対応する差分値３２６の生成を結果として生じることができる。例えば、差分値３２６は、位置０から１１の画素それぞれに対して１２、１５、１７、−５、４、３、２８、４、０、１１、−２８及び−１２として決定することができる。
【００６８】
３２８で累積動作を実行することができる。符号器回路２０６は、ローカルに復号された１Ｄ画像ブロック３１８の各画素位置３１４の復号画素値３２０を累積するよう構成することができる。復号画素値３２０の累積は、符号化１Ｄ画像ブロック３０２に対応するＭＡＸ値３３０の生成を結果として生じることができる。例えば、符号化１Ｄ画像ブロック３０２のＭＡＸ値３３０を「３３６」として決定することができる。
【００６９】
３３２で、符号器回路２０６は、符号化１Ｄ画像ブロック３０２の差分値３２６を累積するよう構成することができる。差分値３２６の累積は、符号化１Ｄ画像ブロック３０２に対応する累積差分値３３４の生成を結果として生じることができる。例えば、符号化１Ｄ画像ブロック３０２の累積差分値３３４を「４９」として決定することができる。
【００７０】
３３６で、符号器回路２０６は、ＭＡＸ値３３０及び累積差分値３３４に基づいて符号化１ｄ画像ブロック３０２の再構成ポイントを選択するよう構成することができる。この目的で、符号器回路２０６は、複数の再構成ポイントの指定されたカウントに基づいて、範囲３３８、範囲３４０、範囲３４２、及び範囲３４４などの複数の範囲を決定するよう構成することができる。複数の再構成ポイントのカウントは、以前の実験及び／又はユーザ入力に基づいて指定することができる。Ｒ１、Ｒ２、Ｒ３、又はＲ４などの再構成ポイントは、複数の範囲の各範囲に関連付けることができる。例として、Ｒ１を範囲３３８に関連付けることができ、Ｒ２を範囲３４０に関連付けることができ、Ｒ３を範囲３４２に関連付けることができ、Ｒ４を範囲３４４に関連付けることができる。各範囲の端点は、ＭＡＸ値３３０に基づいて決定することができる。例えば、「３３６」に等しいＭＡＸ値３３０に基づく複数の範囲を（−３３６、−２５２）、（−２５２、０）、（０、２５２）、及び（２５２、３３６）として決定することができる。
【００７１】
再構成ポイントのカウントが「４」として指定された場合の実施例として再構成ポイントＲ１、Ｒ２、Ｒ３、及びＲ４の値が示されている点に留意されたい。再構成ポイントの値は、再構成ポイントのカウントの変化につれて変化することができる。一般化の目的で、「Ｎ」数の再構成ポイントの再構成ポイントは、１／２Ｎとしての第１項及び１／Ｎとしての共通差を備えた等差数列として計算することができる。ｉ番目の再構成ポイントＲｉを以下のように式１に従って計算することができる。
Ｒｉ＝（１／２Ｎ）＋（ｉ−１）*（１／Ｎ）            （１）
例えば、５再構成ポイントで、再構成ポイントは、０．１、０．３、０．５、０．７、及び０．９として計算することができる。
【００７２】
符号器回路２０６は、累積差分値３３４が存在する複数の範囲のうちの１つの範囲に構成することができる。符号器回路２０６は、累積差分値３３４が存在する範囲に関連付けられる再構成ポイントを選択するよう構成することができる。例えば、「４９」に等しい累積差分値３３４は、範囲３４２（すなわち、０から２５２）に入り、符号器回路２０６はＲ３＝０．６２５として再構成ポイントを決定することができる。
【００７３】
図４Ａ及び４Ｂは、本開示の別の実施形態による図２のＥＢＣ回路による最適再構成ポイントの選択を示す。図４Ａ及び４Ｂは、図１、２Ａ、及び２Ｂからの要素に関して説明されている。図４Ａを参照すると、図４００が示されている。図４００は、１Ｄ画像ブロックにおける量子化、残差予測、及び続くリファインメントの順次適用後に取得される符号化１Ｄ画像ブロックのビットプレーン表現を記述している。
【００７４】
１Ｄ画像ブロックにおける量子化、残差予測、及び次にリファインメントの順次適用後に取得された符号化１Ｄ画像ブロック３０２が示されている。符号器回路２０６は、未符号化ビット３１２に等価の十進数に基づく各画素位置に対応する未符号化画素値４０２を決定するよう構成することができる。位置「０」の画素では、未符号化画素値４０２を２８（２4＋２3＋２2）として決定することができる。同様に、位置１から１１の画素では、未符号化画素値４０２を、３１、４９、２７、３６、３５、６０、３６、３２、４３、４及び４としてそれぞれ決定することができる。
【００７５】
符号化１Ｄ画像ブロック３０２の量子化ビンサイズに基づく画像ブロック４０４が示されている。画像ブロック４０４は、符号化１Ｄ画像ブロック３０２の未符号化ビット３１２の各位置のバイナリビット「１」を含む。未符号化ビット３１２の各位置のバイナリビット「１」は、画素の最大量子化ビン値４０６に対応する。最大量子化ビン値は、量子化ビンサイズ−１として見ることもできる。位置「０」の画素では、量子化ビンサイズは３２（すなわち、２5）であり、最大量子化ビン値４０６は３１（すなわち、３２−１）である。符号器回路２０６は、画像ブロック４０４の各画素位置に対応する最大量子化ビン値４０６を決定するよう構成することができる。位置０から１１の画素では、最大量子化ビン値４０６を、３１、３１、６３、６３、６３、６３、６３、６３、６３、６３、６３、及び３１としてそれぞれ決定することができる。
【００７６】
図４Ｂを参照すると、図４０８が示されている。図４０８は、未符号化画素値４０２及び最大量子化ビン値４０６に基づく再構成ポイントの選択を記述している。
【００７７】
４１０で、符号器回路２０６は、画像ブロック４０２の各画素位置３１４の最大量子化ビン値４０６を累積するよう構成することができる。最大量子化ビン値４０６の累積は、符号化１Ｄ画像ブロック３０２に対応するＳｕｍＱ値４１２の生成を結果として生じることができる。例えば、符号化１Ｄ画像ブロック３０２のＳｕｍＱ値４１２を「６６３」として決定することができる。
【００７８】
４１４で、符号器回路２０６は、符号化１Ｄ画像ブロック３０２の各画素位置３１４の未符号化画素値４０２を累積するよう構成することができる。未符号化画素値４０２の累積は、符号化１Ｄ画像ブロック３０２に対応する累積画素値４１６の生成を結果として生じることができる。例えば、符号化１Ｄ画像ブロック３０２の累積画素値４１６は、「３８５」として決定することができる。
【００７９】
４１８で、符号器回路２０６は、ＳｕｍＱ値４１２及び累積画素値４１６に基づいて符号化１Ｄ画像ブロック３０２の再構成ポイントを選択するよう構成することができる。この目的で、符号器回路２０６は、複数の再構成ポイントの指定されたカウントに基づいて、範囲４２０、範囲４２２、範囲４２４、及び範囲４２６などの複数の範囲を決定するよう構成することができる。複数の再構成ポイントのカウントは、以前の実験及び／又はユーザ入力に基づいて指定することができる。Ｒ１、Ｒ２、Ｒ３、又はＲ４などの再構成ポイントは、複数の範囲の各範囲に関連付けることができる。例として、Ｒ１は、範囲４２０に関連付けることができ、Ｒ２を範囲４２２に関連付けることができ、Ｒ３を範囲４２４に関連付けることができ、Ｒ４を範囲４２６に関連付けることができる。各範囲の端点は、ＳｕｍＱ値４１２に基づいて決定することができる。例えば、「６６３」に等しいＳｕｍＱ値４１２に基づく複数の範囲を、（０、１６７．７５）、（１６７．７５、３３１．５）、（３３１．５,  ５０３．２５）、及び（５０３．２５、６６３）として決定することができる。再構成ポイントのカウントが「４」として指定された場合の例として再構成ポイントの値Ｒ１＝０．１２５、Ｒ２＝０．３７５、Ｒ３＝０．６２５、及びＲ４＝０．８７５が示されている点に留意されたい。再構成ポイントの値は、再構成ポイントのカウントの変化につれて変えることもできる。
【００８０】
符号器回路２０６は、累積画素値４１６が存在する範囲を複数の範囲（すなわち、指定された数値範囲）から決定するよう構成することができる。符号器回路２０６は、累積画素値４１６が存在する範囲に関連付けられる再構成ポイントを選択するよう構成することができる。例えば、「３８５」に等しい累積画素値４１６は範囲４２４（すなわち、３３１．５から５０３．２５）に入り、符号器回路２０６はＲ３＝０．６２５として再構成ポイントを決定することができる。
【００８１】
図５Ａ及び５Ｂは、本開示の一実施形態による、マルチ再構成ポイントベースの量子化の例示的な方法を示す流れ図を示している。図５Ａ及び５Ｂは、図１、２Ａ、２Ｂ、３Ａ、及び３Ｂからの要素に関して説明されている。図５Ａ及び５Ｂを参照すると、ＥＢＣ回路１０８で実施される流れ図５００が示されている。この方法は５０２で開始し５０４に進む。
【００８２】
５０４で、１Ｄ画像ブロックに量子化、続く残差予測、及びリファインメントの順次適用を実行して、符号化１Ｄ画像ブロックを生成することができる。符号化１Ｄ画像ブロックは、複数のビットプレーンにおける符号化ビット及び未符号化ビットを含むことができる。符号器回路２０６は、１Ｄ画像ブロックにおける量子化、続く残差予測、及びリファインメントの順次適用を実行して符号化１Ｄ画像ブロックを生成するよう構成することができる。
【００８３】
５０６で、符号化１Ｄ画像ブロックの各画素の未符号化ビットに対応する第１画素値を決定することができる。第１画素値は、未符号化ビットに等価の十進数とすることができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の未符号化ビットに対応する第１画素値を決定するよう構成することができる。
【００８４】
５０８で、符号化１Ｄ画像ブロックの各画素の第２画素値を決定することができ、これは各画素に対応する量子化ビンサイズの半分に等しい。量子化ビンサイズは、未符号化ビットを含むビットプレーンのカウントに等しい量子化ビンパラメータに基づいて決定することができる。符号器回路２０６は、各画素に対応する量子化ビンサイズの半分に等しい符号化１Ｄ画像ブロックの各画素の第２画素値を決定するよう構成することができる。
【００８５】
５１０で、各画素の第２画素値を累積して、符号化１Ｄ画像ブロックのＭＡＸ値を生成することができる。符号器回路２０６は、各画素の第２画素値を累積して符号化１Ｄ画像ブロックのＭＡＸ値を生成するよう構成することができる。
【００８６】
５１２で、第１画素値と第２画素値の差を、符号化１Ｄ画像ブロックの各画素に対して計算することができる。この差は量子化誤差に対応することができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の第１画素値と第２画素値の差を計算するよう構成することができる。
【００８７】
５１４で、各画素の第１画素値と第２画素値の差を累積して、符号化１Ｄ画像ブロックの累積差分値を生成することができる。符号器回路２０６は、各画素の第１画素値と第２画素値の間の差を累積して符号化１Ｄ画像ブロックの累積差分値を生成するよう構成することができる。
【００８８】
５１６で、複数の再構成ポイントに対応する複数の範囲をＭＡＸ値に基づいて決定することができる。複数の範囲の各範囲は、累積差分値の値の範囲を指示することができる。符号器回路２０６は、ＭＡＸ値に基づいて複数の再構成ポイントに対応する複数の範囲を決定するよう構成することができる。
【００８９】
５１８で、符号化１Ｄ画像ブロックの累積差分値が存在する複数の範囲のうちの１つの範囲を決定することができる。符号器回路２０６は、符号化１Ｄ画像ブロックの累積差分値が存在する複数の範囲のうちの１つの範囲を決定するよう構成することができる。
【００９０】
５２０で、決定された範囲に関連付けられる複数の再構成ポイントの１つの再構成ポイントを選択することができる。符号器回路２０６は、決定された範囲に関連付けられる複数の再構成ポイントの中の１つの再構成ポイントを選択するよう構成することができる。
【００９１】
５２２で、シグナリングビットのセットを符号化１Ｄ画像ブロックのビットストリームのヘッダ情報に割り当てることができる。シグナリングビットのセットは、選択された再構成ポイントを指示することができる。符号器回路２０６は、シグナリングビットのセットを符号化１Ｄ画像ブロックのビットストリームのヘッダ情報に割り当てるよう構成することができる。
【００９２】
５２４で、符号化１Ｄ画像ブロックのビットストリームは、ヘッダ情報に基づいて復号化することができる。復号器回路２０８は、ヘッダ情報に基づいて符号化１Ｄ画像ブロックのビットストリームを復号化するよう構成することができる。
【００９３】
５２６で、符号化１Ｄ画像ブロックの各画素の画素値を、シグナリングビットのセットによって指示された再構成ポイントに基づいて再構成することができる。復号器回路２０８は、シグナリングビットのセットによって指示された再構成ポイントに基づいて符号化１Ｄ画像ブロックの各画素の画素値を再構成するよう構成することができる。制御を終了に渡すことができる。
【００９４】
図６は、本開示の一実施形態による、マルチ再構成ポイントベースの量子化のための別の例示的な方法を示す流れ図を示している、図６は、図１、２Ａ、２Ｂ、４Ａ、及び４Ｂからの要素に関して説明されている。図６を参照すると、ＥＢＣ回路１０８で実施される流れ図６００が示されている。本方法は６０２で開始し６０４に進む。
【００９５】
６０４で、量子化、続いて残差予測、及びリファインメントの順次適用を１Ｄ画像ブロックに実行して符号化１Ｄ画像ブロックを生成することができる。符号化１Ｄ画像ブロックは、複数のビットプレーン内の符号化ビット及び未符号化ビットを含むことができる。符号器回路２０６は、１Ｄ画像ブロックにおける量子化、続く残差予測、及びリファインメントの順次適用を実行し符号化１Ｄ画像ブロックを生成するよう構成することができる。
【００９６】
６０６で、符号化１Ｄ画像ブロックの各画素の未符号化ビットに対応する第１画素値を決定することができる。第１画素値は、未符号化ビットに等価の十進数とすることができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の未符号化ビットに対応する第１画素値を決定するよう構成することができる。
【００９７】
６０８で、符号化１Ｄ画像ブロックの各画素の第１画素値を累積して、符号化１Ｄ画像ブロックの累積画素値を生成することができる。符号器回路２０６は、符号化１Ｄ画像ブロックの各画素の第１画素値を累積して符号化１Ｄ画像ブロックの累積画素値を生成するよう構成することができる。
【００９８】
６１０で、各画素の量子化ビンパラメータに基づいて符号化１Ｄ画像ブロックの各画素に対して量子化ビンサイズを決定することができる。量子化ビンパラメータは、未符号化ビットを含むビットプレーンのカウントに等しくすることができる。符号器回路２０６は、各画素の量子化ビンパラメータに基づいて符号化１Ｄ画像ブロックの各画素の量子化ビンサイズを決定するよう構成することができる。
【００９９】
６１２で、各画素の量子化ビンサイズを累積して、符号化１Ｄ画像ブロックのＳｕｍＱ値を生成することができる。符号器回路２０６は、各画素の量子化ビンサイズを累積して符号化１Ｄ画像ブロックのＳｕｍＱ値を生成するよう構成することができる。
【０１００】
６１４で、複数の再構成ポイントに対応する複数の範囲をＳｕｍＱ値に基づいて決定することができる。複数の範囲の各範囲は、累積画素値の値の範囲を指示することができる。符号器回路２０６は、ＳｕｍＱ値に基づく複数の再構成ポイントに対応する複数の範囲を決定するよう構成することができる。
【０１０１】
６１６で、符号化１Ｄ画像ブロックの累積画素値が存在する複数の範囲のうちの１つの範囲を決定することができる。符号器回路２０６は、複数の範囲から符号化１Ｄ画像ブロックの累積画素値が存在する範囲を決定するよう構成することができる。
【０１０２】
６１８で、複数の再構成ポイントから決定された範囲に関連付けられる再構成ポイントを選択することができる。符号器回路２０６は、複数の再構成ポイントから決定された範囲に関連付けられる再構成ポイントを選択するよう構成することができる。
【０１０３】
６２０で、シグナリングビットのセットを符号化１Ｄ画像ブロックのビットストリームのヘッダ情報に割り当てることができる。シグナリグビットのセットは、選択された再構成ポイントを示すことができる。符号器回路２０６は、符号化１Ｄ画像ブロックのビットストリームのヘッダ情報にシグナリングビットのセットを割り当てるよう構成することができる。
【０１０４】
６２２で、符号化１Ｄ画像ブロックのビットストリームをヘッダ情報に基づいて復号化することができる。復号器回路２０８は、ヘッダ情報に基づいて符号化１Ｄ画像ブロックのビットストリームを復号化するよう構成することができる。
【０１０５】
６２４で、符号化１Ｄ画像ブロックの各画素の画素値を、シグナリングビットのセットによって示される再構成ポイントに基づいて再構成することができる。復号器回路２０８は、シグナリングビットのセットによって示される再構成ポイントに基づいて符号化１Ｄ画像ブロックの各画素の画素値を再構成するよう構成することができる。制御を終了に移すことができる。
【０１０６】
本開示の一定の実施形態は、組み込みコーデック（ＥＢＣ）回路（例えば、ＥＢＣ回路１０８（図１））に見出すことができる。本開示の様々な実施形態は、符号器回路（例えば、符号器回路２０６（図２））を含むことができるＥＢＣ回路を提供することができる。この符号器回路は、順次符号化方式の適用によって１次元（１Ｄ）画像ブロックを符号化して符号化１Ｄ画像ブロックを生成するよう構成することができる。１Ｄ画像ブロックは、複数の画素を含むことができ、符号化１Ｄ画像ブロックは、複数の画素の各画素に対して第１の複数のビットプレーンにおける未符号化ビットを含むことができる。未符号化ビットに等価の十進数は、複数の画素の各画素の第１画素値に対応することができる。符号器回路は、複数の画素の各画素の量子化ビンサイズに基づいて、符号化１Ｄ画像ブロックにおける複数の画素の各画素の第２画素値を決定するよう構成することができる。第２画素値は、量子化ビンサイズの半分とすることができる。量子化ビンサイズは、第１の複数のビットプレーンのカウントに基づくことができる。符号器回路は、複数の画素の各画素の第１画素値及び第２画素値の累積差に基づいて複数の再構成ポイントから１つの再構成ポイントを選択するよう構成することができる。符号器回路は、符号化１Ｄ画像ブロックのビットストリームに選択された再構成ポイントを示すシグナリングビットのセットを割り当てるよう構成することができる。ＥＢＣ回路は、復号器回路（例えば、復号器回路２０８（図２））を含むことができる。この復号器回路は、シグナリングビットのセットに基づいて符号化１Ｄ画像ブロックにおける複数の画素の各画素の第１画素値を再構成するよう構成することができる。再構成第１画素値は、シグナリングビットのセットによって示される再構成ポイントに対応することができる。
【０１０７】
１つの実施形態により、符号器回路は、複数の画素の各画素の量子化ビンパラメータ（Ｑｎ）に基づいて複数の画素の各画素の量子化ビンサイズを決定するよう構成することができる。Ｑｎは、第１の複数のビットプレーンのカウントに等しくすることができる。
【０１０８】
１つの実施形態により、符号器回路は、複数の画素の各画素の第２画素値の追加による第１の総和を計算するよう構成することができる。符号器回路は、複数の画素の各画素に対応する第１画素値と第２画素値の間の差を計算するよう構成することができる。符号器回路は、複数の画素の各画素に対応する第１画素値と第２画素値の間の計算された差の追加による累積差を計算するよう構成することができる。符号器回路は、第１の総和に基づいて複数の範囲を決定するよう構成することができる。複数の範囲の各範囲は、複数の再構成ポイントのうちの異なる再構成ポイントに対応することができる。符号器回路は、累積差に基づいて複数の範囲のうちの１つの範囲を選択するよう構成することができる。累積差はこの範囲内に存在することができる。符号器回路は、複数の再構成ポイントから、選択された範囲に対応する再構成ポイントを選択するよう構成することができる。
【０１０９】
１つの実施形態により、符号器回路は、複数の画素の各画素の第１画素値の追加による第１の総和を計算するよう構成することができる。符号器回路は、複数の画素の各画素の量子化ビンサイズの追加による第２の総和を計算するよう構成することができる。符号器回路は、第２の総和に基づいて複数の範囲を決定するよう構成することができる。複数の範囲の各範囲は、複数の再構成ポイントのうちの異なる再構成ポイントに対応することができる。符号器回路は、この範囲に存在することができる第１の総和に基づいて複数の範囲のうちの１つの範囲を選択するよう構成することができる。符号器回路は、複数の再構成ポイントから、選択された範囲に対応する再構成ポイントを選択するよう構成することができる。
【０１１０】
１つの実施形態により、符号器回路は、符号化１Ｄ画像ブロックの最大量子化ビンパラメータ（Ｑｎ）を決定するよう構成することができる。最大Ｑｎは、符号化１Ｄ画像ブロックにおける第１の複数のビットプレーンの最大カウントに対応することができる。符号器回路は、最大Ｑｎが閾値より大きいことを決定するよう構成することができる。符号器回路は、最大Ｑｎが閾値より大きいという決定に基づいて複数の再構成ポイントから再構成ポイントを選択するよう構成することができる。符号器回路は、最大Ｑｎが閾値より小さいことを決定するよう構成することができる。符号器回路は、最大Ｑｎが閾値より小さいという決定に基づいて量子化ビンサイズの半分として再構成ポイントを選択するよう構成することができる。
【０１１１】
１つの実施形態により、符号器回路は、符号化１Ｄ画像ブロックのビット深度及び符号化１Ｄ画像ブロックの量子化ビンパラメータ（Ｑｎ）に基づいて符号化１Ｄ画像ブロックのグレイ値を決定するよう構成することができる。符号器回路は、符号化１Ｄ画像ブロックの量子化係数がグレイ値に等しいことを決定するよう構成することができる。符号器回路は、第１の複数のビットプレーンのカウントが閾値より小さいことを決定するよう構成することができる。符号器回路は、符号化１Ｄ画像ブロックの量子化係数がグレイ値に等しいという決定に基づいて複数の再構成ポイントを決定するよう構成することができる。
【０１１２】
１つの実施形態により、符号器回路は、１Ｄ画像ブロックに順次符号化方式を実行して符号化１Ｄ画像ブロックのビットストリームを生成するよう構成することができる。ビットストリームは、順次符号化方式を示すヘッダ情報を含むことができる。順次符号化方式は、１Ｄ画像ブロックに対して量子化方式、続く残差予測方式、及びリファインメント方式の順次適用を含むことができる。残差予測方式は、差分パルス符号変調（ＤＰＣＭ）方式とすることができる。
【０１１３】
１つの実施形態により、復号器回路は、ビットストリームのヘッダ情報に基づいて、順次復号化方式の適用によって符号化１Ｄ画像ブロックのビットストリームを復号化するよう構成することができる。順次復号化方式は、逆量子化方式、続く残差予測復号化方式、リファインメント復号化方式の順次適用、及び第１画素値の再構成を含むことができる。
【０１１４】
１つの実施形態により、再構成ポイントは、０と１の間の正規化値に対応することができ、複数の画素の１つの画素の再構成された第１画素値は、再構成ポイントと画素の量子化ビンサイズの乗算したものに等しい。
【０１１５】
本開示は、ハードウェア、又はハードウェアとソフトウェアの組合せで実現することができる。本開示は、集中化方式で、少なくとも１つのコンピュータシステムで、又は分散方式で実現することができ、異なる要素を幾つかの相互接続されたコンピュータシステムに渡って分散させることができる。本明細書で説明した方法を実行するよう適応されたコンピュータシステム又は他の装置を一組にすることができる。ハードウェアとソフトウェアの組合せは、ロード及び実行された時に本明細書で説明する方法を実行するようコンピュータシステムを制御することができるコンピュータプログラムを備えた汎用コンピュータシステムとすることができる。本開示は、他の機能を実行する集積回路の一部を含むハードウェアで実現することができる。
【０１１６】
本開示は、本明細書で説明する方法の実施を可能にする特徴の全てを含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み入れることができる。コンピュータプログラムは、本文脈では、直接、又はａ）別の言語、コード又は注釈への変換、ｂ）異なる材料形態での再生の何れか又は両方の後で、情報処理能力を有するシステムに特定の機能を実行させるよう意図された命令のセットの何れかの言語、コード又は注釈における何れの表現も意味する。
【０１１７】
本開示を一定の実施形態に関して説明してきたが、本開示の範囲から逸脱することなく様々な変更を行い得ること及び等価物を置き換えられることが当業者によって理解されるであろう。加えて、本開示の教示の範囲から逸脱することなく本開示の教示に特定の状況又は材料を適応させるよう多くの修正を行い得る。従って、本開示は、開示した特定の実施形態に制限されず、本開示は添付の請求項の範囲内に存在する全ての実施形態を含むものとする。
【符号の説明】
【０１１８】
１０２  メディアデバイス
１０４  画像センサ
１０６  プロセッサ
１０８  組み込みコーデック回路
１１０  外部メモリ
１１２  システムバス
【図１】
2020109937.tif 000003
【図２Ａ】
2020109937.tif 000004
【図２Ｂ】
2020109937.tif 000005
【図３Ａ】
2020109937.tif 000006
【図３Ｂ】
2020109937.tif 000007
【図４Ａ】
2020109937.tif 000008
【図４Ｂ】
2020109937.tif 000009
【図５Ａ】
2020109937.tif 000010
【図５Ｂ】
2020109937.tif 000011
【図６】
2020109937.tif 000012
【外国語明細書】
2020109937000001.pdf