(57)【要約】【課題】高ビット深度画像を符号化する際のビット深度変換処理において画像の局所的性質を考慮し，符号量の削減を図る。【解決手段】ビット深度変換処理部１０は，領域分割部１００により入力画像信号の画面を複数個の領域に分割し，分割された領域ごとに入力画像信号を低ビット深度信号に変換する。このとき，領域分割部１００は，ビット深度変換誤差の和が最小となるように領域を分割する。符号化ストリームとして，分割情報符号化データ，領域ごとの変換テーブル符号化データ，低ビット深度信号符号化データおよびビット深度変換による入力画像信号との残差信号符号化データを出力する。【選択図】図１
2011176407.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を入力し，低ビット深度信号へのビット深度変換処理を行い，前記低ビット深度信号の符号化と，入力画像信号と前記低ビット深度信号との残差信号の符号化と，前記ビット深度変換処理に用いた変換テーブルの符号化とを行い，符号化ストリームを出力する画像符号化装置において，
入力画像信号の画面を，複数個の領域に分割する領域分割手段と，
前記分割された領域ごとに作成した変換テーブルを用いて，入力画像信号を低ビット深度信号に変換するビット深度変換処理手段と，
前記低ビット深度信号を符号化する低ビット深度信号符号化手段と，
符号化された低ビット深度信号を復号する復号手段と，
前記変換テーブルを用いて，復号された低ビット深度信号を入力画像信号のビット深度に変換する逆ビット深度変換処理手段と，
前記逆ビット深度変換処理手段の出力信号と前記入力画像信号との差分を算出する残差信号生成手段と，
前記残差信号を符号化する残差信号符号化処理手段と，
前記変換テーブルを符号化する変換テーブル符号化処理手段と，
前記領域分割手段で分割した位置を示す分割情報を符号化する分割情報符号化手段と，
前記低ビット深度信号符号化手段，前記残差信号符号化処理手段，前記変換テーブル符号化処理手段および前記分割情報符号化手段の出力する符号化データを含む符号化ストリームを出力する手段とを備え，
前記領域分割手段は，複数定められた分割位置のそれぞれについて，順次領域分割を行い，前記入力画像信号と前記ビット深度変換処理後の画像信号との画面全領域にわたる誤差が最小となる領域分割を，最終的に符号化に用いる領域分割とする
ことを特徴とする画像符号化装置。
【請求項２】
請求項１記載の画像符号化装置において，
前記領域分割手段において分割する領域の分割数が可変であり，
画面全領域にわたる前記変換テーブルの符号量と前記残差信号の符号量との和が最小となる分割数を，領域の分割数として決定する手段を備える
ことを特徴とする画像符号化装置。
【請求項３】
請求項１または請求項２記載の画像符号化装置において，
前記領域分割手段は，領域を３個以上の領域に分割する場合に，領域を２分割し，分割された領域の中で，前記入力画像信号と前記ビット深度変換処理後の画像信号との誤差が大きいほうの領域をさらに２分割する処理を繰り返す
ことを特徴とする画像符号化装置。
【請求項４】
請求項１，請求項２または請求項３記載の画像符号化装置において，
前記変換テーブル符号化処理手段は，
前記変換テーブルの要素を固定長で符号化する符号化手段と，
前記変換テーブルの要素を同じ変換テーブル内における一つ前の要素との差分で符号化する符号化手段と，
前記変換テーブルの要素を符号化済みの他の変換テーブルにおける要素との差分で符号化する符号化手段のうち，
少なくともいずれか複数の符号化手段を備え，
前記複数の符号化手段の中で符号量が最小となる符号化手段を選択して前記変換テーブルを符号化する
ことを特徴とする画像符号化装置。
【請求項５】
請求項１記載の画像符号化装置により符号化された符号化ストリームを入力し，画像信号を復号する画像復号装置であって，
入力した符号化ストリームに含まれる分割情報の符号化データを復号する分割情報復号処理手段と，
前記復号した分割情報に従って画面の領域ごとに，入力した符号化ストリームに含まれる変換テーブルの符号化データを復号する変換テーブル復号処理手段と，
入力した符号化ストリームに含まれる低ビット深度信号の符号化データを復号する低ビット深度信号復号処理手段と，
入力した符号化ストリームに含まれる残差信号の符号化データを符号化する残差信号復号処理手段と，
前記低ビット深度信号復号処理手段により復号された低ビット深度信号を，前記変換テーブル復号処理手段により復号された変換テーブルを用いて，符号化時における画像信号のビット深度に変換する逆ビット深度変換処理手段と，
前記残差信号復号処理手段の出力と前記逆ビット深度変換処理手段の出力とを合成して出力する復号信号生成手段とを備える
ことを特徴とする画像復号装置。
【請求項６】
画像信号を入力し，低ビット深度信号へのビット深度変換処理を行い，前記低ビット深度信号の符号化と，入力画像信号と前記低ビット深度信号との残差信号の符号化と，前記ビット深度変換処理に用いた変換テーブルの符号化とを行い，符号化ストリームを出力する画像符号化方法において，
入力画像信号の画面を，複数個の領域に分割する領域分割ステップと，
前記分割された領域ごとに作成した変換テーブルを用いて，入力画像信号を低ビット深度信号に変換するビット深度変換処理ステップと，
前記低ビット深度信号を符号化する低ビット深度信号符号化ステップと，
符号化された低ビット深度信号を復号する復号ステップと，
前記変換テーブルを用いて，復号された低ビット深度信号を入力画像信号のビット深度に変換する逆ビット深度変換処理ステップと，
前記逆ビット深度変換処理ステップの出力信号と前記入力画像信号との差分を算出する残差信号生成ステップと，
前記残差信号を符号化する残差信号符号化処理ステップと，
前記変換テーブルを符号化する変換テーブル符号化処理ステップと，
前記領域分割ステップで分割した位置を示す分割情報を符号化する分割情報符号化ステップと，
前記低ビット深度信号符号化ステップ，前記残差信号符号化処理ステップ，前記変換テーブル符号化処理ステップおよび前記分割情報符号化ステップで出力された符号化データを含む符号化ストリームを出力するステップとを有し，
前記領域分割ステップでは，複数定められた分割位置のそれぞれについて，順次領域分割を行い，前記入力画像信号と前記ビット深度変換処理後の画像信号との画面全領域にわたる誤差が最小となる領域分割を，最終的に符号化に用いる領域分割とする
ことを特徴とする画像符号化方法。
【請求項７】
請求項６記載の画像符号化方法により符号化された符号化ストリームを入力し，画像信号を復号する画像復号方法であって，
入力した符号化ストリームに含まれる分割情報の符号化データを復号する分割情報復号処理ステップと，
前記復号した分割情報に従って画面の領域ごとに，入力した符号化ストリームに含まれる変換テーブルの符号化データを復号する変換テーブル復号処理ステップと，
入力した符号化ストリームに含まれる低ビット深度信号の符号化データを復号する低ビット深度信号復号処理ステップと，
入力した符号化ストリームに含まれる残差信号の符号化データを符号化する残差信号復号処理ステップと，
前記低ビット深度信号復号処理ステップで復号された低ビット深度信号を，前記変換テーブル復号処理ステップで復号された変換テーブルを用いて，符号化時における画像信号のビット深度に変換する逆ビット深度変換処理ステップと，
前記残差信号復号処理ステップでの出力と前記逆ビット深度変換処理ステップでの出力とを合成して出力する復号信号生成ステップとを有する
ことを特徴とする画像復号方法。
【請求項８】
コンピュータを，請求項１から請求項４までのいずれか１項に記載された画像符号化装置が備える前記各手段として機能させるための画像符号化プログラム。
【請求項９】
コンピュータを，請求項５に記載された画像復号装置が備える前記各手段として機能させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，高ダイナミックレンジを持つ画像信号の符号化および復号技術に関し，特に高ビット深度映像符号化における符号量を削減するための技術に関する。
【背景技術】
【０００２】
近年，画像の高品質化に伴い，高ダイナミックレンジ映像への期待が高まっている。これにともない，取得する信号のビット深度を従来の８ビットから１０ビット以上へと拡張した高ビット深度信号を取得可能なデバイスが登場してきている。しかし，画像信号の高ビット深度化により，画像の符号量が増大するため効率的な符号化手法が必要である。そこで，高ビット深度信号に対する符号化・復号に関する研究が進められている。
【０００３】
高ビット深度信号の符号化手法として，図１４に示すような手法が，非特許文献１にて提案されている。
【０００４】
図１４に示す手法では，高ビット深度信号（Ｎビット信号とする）の画像信号を入力とし，ビット深度変換処理部３００によりビット深度変換処理を行うことで，Ｎビット信号を（Ｎ−Δ）ビット信号の低ビット深度信号に変換する。それを符号化処理部３０１で符号化処理し，さらに復号処理部３０２で復号する。その（Ｎ−Δ）ビット信号の復号画像に対し，逆ビット深度変換処理部３０３により逆ビット深度変換処理を行い，Ｎビット信号の高ビット深度画像を生成する。
【０００５】
続いて，この高ビット深度画像と入力信号との差分を，減算器３０４で算出し，結果の残差信号を符号化器３０５で符号化する。出力は，残差信号の符号化ストリームと，低ビット深度信号の符号化ストリームとなる。このように同手法は，ビット深度のスケーラブル符号化に対応した手法である。
【０００６】
また，高ビット信号画像と入力信号との差分を出力するのではなく，画像信号を入力とし，ビット深度変換処理を行うことで低ビット深度信号に変換し，符号化・復号処理を行い，その後，低ビット深度画像に対し，逆ビット深度変換処理を行い，高ビット深度画像を出力する方法もある。
【０００７】
図１４に示す手法における符号化効率は，ビット深度変換処理に大きく依存する。同手法においては，入力信号と逆ビット深度変換処理後の信号の差分値の二乗和（以下，ビット深度変換誤差）を抑えることで，出力信号の符号量を抑えることができる。
【０００８】
ビット深度変換処理において，いくつかのＴｏｎｅ  Ｍａｐｐｉｎｇを用いた手法が，非特許文献２等により提案されている。
【０００９】
しかし，この従来手法はビット深度変換後の画像に対する主観画質の保持が目的であり，ビット深度変換誤差が最小となる保証はなく，復号信号が劣化している可能性がある。そこで，非特許文献３では，ビット深度変換誤差を最小化するビット深度変換処理部を設計するために，以下のように，入力画像の画素値のヒストグラムに着目した設計を行う手法が提案されている。
【００１０】
入力画像のビット深度をＮビットとし，ビット深度変換処理後のビット深度を（Ｎ−Δ）ビット（Δ＞０）とする。Ｎビットの画像信号を（Ｎ−Δ）ビットの画像信号へ変換する場合を考えると，ビット深度変換処理においてヒストグラムの２N 個のクラスを２の（Ｎ−Δ）乗個のクラスに分割する処理を行うことから，ビット深度変換処理に対し量子化の考え方を適用する。また，頻度が高い個所では細かく分割し，頻度が低い個所では粗く分割するなど，ヒストグラムの分布に応じて，分割区間の幅を最適化させることで，ビット深度変換誤差を低減することができる。
【００１１】
以上の理由により，非特許文献３では，ビット深度変換誤差の最小化のために，ビット深度変換処理に最適量子化手法（Ｌｌｏｙｄ−Ｍａｘ量子化）を適用した手法が考えられている。Ｎビットの画像信号を（Ｎ−Δ）ビットの画像信号へ変換する場合，出力として，（Ｎ−Δ）ビットの画像信号とクラス番号と代表値の画素値の関係を記した変換テーブルが得られる。この変換テーブルは，逆ビット深度変換処理において，（Ｎ−Δ）ビットの画像信号からＮビットの画像信号に逆ビット深度変換処理を行う際に使用される。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】“Bit-Depth Scalable Video Coding ”, M.Winken, D.Marpe, H.Schwarz, and T.Wiegand, Proc.IEEE Intl. Conf. on Images Processing (ICIP2007), 2007．
【非特許文献２】“Photographic Tone Reproduction for Digital Images ”，Erik Reinhard, Michael Stark, Peter Shirley, and Jim Ferwerda, In SIGGRAPH 2002 Conference Proceeding, ACM SIGGRAPH, Addison Wesley, pp.267-277, August 2002．
【非特許文献３】“ビット深度変換処理を用いた高ビット深度画像の符号化に関する基礎検討”，伊藤健，坂東幸浩，高村誠之，上倉一人，八島由幸，電子情報通信学会総合大会，2009．
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前記の従来手法においては，フレームごとのビット深度変換誤差を低減することができるが，フレーム内の局所性は考慮できていない。空と陸地などのようにテクスチャが異なる部分でも１つの変換テーブルを用いて逆ビット深度変換を行うため，ビット深度変換誤差が大きくなってしまう場合がある。そこで，フレーム内の局所性を考慮したビット深度変換処理を設計する必要がある。
【００１４】
本発明はかかる事情に鑑みてなされたものであって，フレーム内の局所性を考慮してビット深度変換誤差を，従来技術よりもさらに低減することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は，上記の課題を解決するため，ビット深度変換誤差を最小化するように，フレーム内を最適な分割位置で複数の領域に分割するということを最も主要な特徴としている。本発明では，以下に説明するような領域分割を行うビット深度変換処理手法を用いて高ビット深度の画像信号を符号化する。
【００１６】
〔ビット深度変換処理の適応化〕
本発明では，ビット深度変換誤差を低減するために，フレーム内において領域分割を行うビット深度処理を提案する。領域分割するための分割点の決定方法は，例えばフレームの端上に分割点を移動させながら，それぞれの分割点においてフレームを２つの領域に分け，それぞれの領域でビット深度変換処理・逆ビット深度変換処理を行うことでそれぞれの領域におけるビット深度変換誤差を計算する。このビット深度変換誤差の和が最小となる位置を分割点とすることで，フレーム内全体におけるビット深度変換誤差の低減につながる。分割数Ｍの場合においては，Ｍ−１個の分割点を移動させながら，それぞれの領域においてビット深度変換処理・逆ビット深度変換処理を行うことで，各領域ごとのビット深度変換誤差を計算し，Ｍ個のビット深度変換誤差の和が最小となるように，Ｍ−１個の分割点を決定する。
【００１７】
３分割以上の分割点の決定には，多次元探索を用いて決定する方法も考えられる。他に，分割して得られた領域のうち，ビット深度変換誤差が大きい領域をさらに２分割する作業を繰り返し適用することで，３分割以上に対応する方法を用いることもできる。しかし，分割数を増やすことで，ビット深度変換誤差が減少し，残差信号の符号量を低減することができるが，分割した領域ごとに変換テーブル（コードブックともいう）が生成されるため，変換テーブル数が増加し変換テーブルの符号量が増加してしまう。
【００１８】
〔適応化に付随する付加情報の削減〕
増加した変換テーブルの符号量を削減するために，テーブル内・テーブル間の相関情報を用いて符号化を行う。テーブル内相関においては，一つ前の要素との差が少ないことを利用し，一つ前の要素との差分を計算し，符号化を行うことで情報量を削減する（テーブル内差分）。テーブル間相関においては，一つ前のフレームの変換テーブルとの差が少ないことを利用し，一つ前のフレームとの差分を計算し，符号化を行うことで情報量を削減する（テーブル間差分）。
【００１９】
また，これらの符号化には，指数分布に従う情報源に対して適した符号化手法であるＧｏｌｏｍｂ符号化を適用する。さらに，入力信号のビット数であるＮビットでの固定長符号化も行う。以上のテーブル内差分・テーブル間差分・固定長符号化の３方式のうち，変換テーブルの符号量が最小となる方式を領域ごとに適用することで付加情報の削減を行う。
【００２０】
〔最適分割数の決定〕
分割数を増やすことで，ビット深度変換誤差の低減による残差信号の符号量の低減と変換テーブル数の増加による同テーブル符号量の増加が生じる。これにより，ある分割数において，残差信号の符号量と変換テーブル符号量の和が最小となることが予想される。この符号量の和が最小となる分割数を最適分割数とし，本発明では，最適分割数の数に領域を分割する手法を提案する。
【発明の効果】
【００２１】
本発明によれば，高ビット深度画像を符号化する際のビット深度変換処理において，画像の局所的性質を考慮した領域分割を行うことにより，符号量の削減が可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る画像符号化装置の構成例を示す図である。
【図２】画像符号化装置による符号化処理のフローチャートである。
【図３】ビット深度変換処理部の構成例を示す図である。
【図４】領域分割方法の例を示す図である。
【図５】ビット深度変換処理のフローチャートである。
【図６】他のビット深度変換処理のフローチャートである。
【図７】変換テーブル符号化処理部の構成例を示す図である。
【図８】変換テーブル符号化処理のフローチャートである。
【図９】本発明の一実施形態に係る画像復号装置の構成例を示す図である。
【図１０】画像復号装置による復号処理のフローチャートである。
【図１１】変換テーブル復号処理部の構成例を示す図である。
【図１２】変換テーブル復号処理のフローチャートである。
【図１３】効果検証のための実験結果を示す図である。
【図１４】従来のビット深度変換を用いる画像符号化装置の構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下，図面を用いながら本発明の実施の形態について説明する。
【００２４】
〔画像符号化装置〕
図１は，本発明の一実施形態に係る画像符号化装置の構成例を示す図である。画像符号化装置１は，Ｎビットの高ビット深度信号を，（Ｎ−Δ）ビット（Δ＞０）の低ビット深度信号に変換し，低ビット深度信号の符号化と，入力画像信号と低ビット深度信号との残差信号の符号化と，ビット深度変換処理に用いた変換テーブルの符号化とを行い，符号化ストリームを出力する。図１４で説明した従来技術との大きな違いは，入力画像信号の画面（フレーム）を，複数個の領域に分割し，分割された領域ごとに作成した変換テーブルを用いて，入力画像信号を低ビット深度信号に変換することであり，領域分割についても，ビット深度変換誤差が最小になるように，画面内における最適な分割位置（さらには分割数）を決定することである。
【００２５】
画像符号化装置１は，画面を分割した領域ごとにＮビットの入力画像信号を（Ｎ−Δ）ビットの低ビット深度信号に変換するビット深度変換処理部１０と，ビット深度変換に用いられる変換テーブルを記憶する変換テーブル記憶部１１と，（Ｎ−Δ）ビットの低ビット深度信号を符号化する低ビット深度信号符号化処理部１２と，符号化された低ビット深度信号を復号する復号処理部１３と，（Ｎ−Δ）ビットの復号信号をＮビットの復号信号に変換する逆ビット深度変換処理部１４と，Ｎビットの入力画像信号とＮビットの復号信号との差分を算出する減算器１５と，変換テーブルを符号化する変換テーブル符号化処理部１６と，減算器１５の出力である残差信号を符号化する残差信号符号化処理部１７と，領域の分割情報を符号化する分割情報符号化処理部１８とを備える。
【００２６】
分割情報符号化処理部１８が出力する分割情報符号化データ，変換テーブル符号化処理部１６が出力する変換テーブル符号化データ，残差信号符号化処理部１７が出力する残差信号符号化データ，低ビット深度信号符号化処理部１２が出力する（Ｎ−Δ）ビット信号符号化データは，図示省略したストリーム結合部によって結合され，符号化ストリームとして出力される。
【００２７】
画像符号化装置１の出力する符号化ストリームが，図１４に示した従来例と異なる点は，符号化ストリーム内に，低ビット深度信号の符号化データと，残差信号の符号化データの他に，フレームごとに画面領域の分割位置を示す分割情報の符号化データが含まれること，また分割された領域ごとに変換テーブルの符号化データが付加されることである。分割情報には，実施の形態によって分割数の情報が含まれることもある。
【００２８】
ビット深度変換処理部１０は，Ｎビットの入力画像信号のビット深度変換にあたって，画面をＭ個（Ｍ≧２）の領域に分割する領域分割部１００を備える。なお，この例では，領域分割部１００がビット深度変換処理部１０内に設けられるように示されているが，領域分割部１００をビット深度変換処理部１０の前段に別モジュールとして設けても，本発明の実施には何ら差し支えない。
【００２９】
図２は，画像符号化装置１による符号化処理のフローチャートである。
【００３０】
ステップＳ１０では，ビット深度変換処理部１０が，領域分割部１００によって入力画像をＭ個の領域に分割し，それぞれの領域について変換テーブルを作成しながら入力信号を低ビット深度信号に変換する。作成した変換テーブルは，必要に応じて領域情報を付加して変換テーブル記憶部１１に記憶する。領域の分割位置は，各領域でのビット深度変換誤差の和が最小となるように選ばれる。
【００３１】
ステップＳ１１では，分割情報符号化処理部１８が，領域をどのように分割したかを示す分割情報を符号化する。なお，分割情報の符号化は，ヘッダ情報または他の符号化パラメータの情報と組み合わせて行ってもよい。
【００３２】
ステップＳ１２では，低ビット深度信号符号化処理部１２が，ビット深度変換後の（Ｎ−Δ）ビット信号を符号化する。なお，低ビット深度信号符号化処理部１２における（Ｎ−Δ）ビット信号の符号化処理は，例えば従来のＨ．２６４符号化方式におけるエンコーダの処理とまったく同様でよいので，その内部処理構成についての詳しい説明は省略する。
【００３３】
ステップＳ１３では，復号処理部１３が，符号化された（Ｎ−Δ）ビット信号の符号化ストリームを復号する。ここで，復号処理部１３による復号処理は，例えば従来のＨ．２６４符号化方式におけるデコーダの処理とまったく同様でよいので，その内部処理構成についての詳しい説明は省略する。
【００３４】
ステップＳ１４では，逆ビット深度変換処理部１４が，変換テーブル記憶部１１に記憶されている変換テーブルを用いて，（Ｎ−Δ）ビットの復号信号をＮビットの高ビット深度信号に変換する。
【００３５】
ステップＳ１５では，減算器１５が，逆ビット深度変換処理部１４の出力する高ビット深度信号とＮビットの入力信号との差分を算出し，その差分を残差信号として残差信号符号化処理部１７へ出力する。
【００３６】
ステップＳ１６では，変換テーブル符号化処理部１６が，分割された領域ごとに変換テーブル記憶部１１に記憶されている変換テーブルを符号化する。
【００３７】
ステップＳ１７では，残差信号符号化処理部１７が，ビット深度変換および逆変換後の信号と入力信号との差分の残差信号を符号化する。
【００３８】
ステップＳ１８では，符号化された分割情報，（Ｎ−Δ）ビットの低ビット深度信号，残差信号，変換テーブルの符号化データを結合して，画像符号化結果の符号化ストリームとして出力する。
【００３９】
図３は，ビット深度変換処理部１０の構成例を示す図である。図１に示すビット深度変換処理部１０は，例えば図３に示すように，領域分割部１００，クラス分割部１０１，変換テーブル作成部１０２，画素値変換部１０３，誤差計算部１０４，分割決定部１０５，低ビット深度信号生成部１０６を備えている。変換テーブル記憶部１１は，図１に示すものと同じであっても，別なものとして用意されたものであってもどちらでもよい。
【００４０】
領域分割部１００は，符号化対象フレームをＭ個の領域に分割する処理を行う。分割数Ｍは，予め定められた固定値とする方法と，可変な値として適応的に定める方法とがある。最初に，分割数Ｍが固定値の場合の例について説明する。
【００４１】
図４は，領域分割方法の例を示す図である。領域の分割は，分割数Ｍに応じて，予めいくつかの分割パターンを定めておいてもよいが，例えば図４に示すような２分割を繰り返す方法を用いてもよい。
【００４２】
この例では，図４（Ａ）に示すように，入力画像（フレーム）の上端および左端の線上に分割点を定め，各分割点について順番に分割していく。ここでは，分割点（分割位置）の候補がＤ１からＤ６まで，６箇所ある例を示している。この分割点の候補の数が多いほど最適化が促進されるが，演算時間が増加することになる。
【００４３】
図４（Ｂ）〜（Ｇ）は領域を２分割する例を示しており，（Ｂ）は分割点Ｄ１で分割した場合，（Ｃ）は分割点Ｄ２で分割した場合，…，（Ｇ）は分割点Ｄ６で分割した場合の例を示している。
【００４４】
３分割以上に分割する場合には，２分割した領域のいずれか一方を同様な分割方法によってさらに２分割する方法を繰り返す。図４（Ｈ）〜（Ｌ）は，図４（Ｅ）のように２分割した領域のうち，大きいほうの領域をさらに２分割して，３分割した例を示している。４分割以上の分割についても同様に，３分割した領域のどれか一つをさらに２分割することを繰り返していけばよい。
【００４５】
分割を繰り返す場合に，さらに分割する領域を選択する方法としては，
(1) 領域内の画像のビット深度変換誤差が大きい領域を選択する方法，
(2) 領域内の単位面積あたりのビット深度変換誤差が大きい領域を選択する方法，
などがあり，どの方法を用いてもよい。
【００４６】
クラス分割部１０１は，分割された各領域について，Ｌｌｏｙｄ−Ｍａｘアルゴリズムを用いて，Ｎビットで表される画素値の値域を，２の（Ｎ−Δ）乗個のクラスに分割する。変換テーブル作成部１０２は，クラス分割部１０１の分割結果から，各クラスの代表値をクラス番号順に並べた変換テーブルを作成し，変換テーブル記憶部１１に格納する。
【００４７】
画素値変換部１０３は，Ｎビットの入力信号の画素値を，変換テーブルにおける最も近い代表値を持つクラスに分類し，そのクラス番号を（Ｎ−Δ）ビットで表して，変換結果とする。誤差計算部１０４は，分割された全領域についてのビット深度変換誤差の和を算出する。ビット深度変換誤差の和とは，変換前の入力信号の画素値と，変換されたクラスの代表値との差の，全画素値についての二乗和である。なお，二乗和ではなく，絶対値和としてもよい。
【００４８】
領域を２分割する場合には，例えば図４（Ｂ）〜（Ｇ）に示す６種類の分割方法について，領域分割部１００から誤差計算部１０４までの処理を繰り返す。３分割以上の場合にも，前述した分割方法によって同様に領域分割を行い，ビット深度変換誤差の和を算出する。
【００４９】
分割決定部１０５は，誤差計算部１０４が算出したビット深度変換誤差の和の中で，最も小さい値になった領域分割を，実際に採用する領域分割として決定し，分割位置を示す分割点の情報を分割情報として出力する。低ビット深度信号生成部１０６は，採用された領域分割のときに作成された領域ごとの変換テーブルを用いて，Ｎビットの入力信号を（Ｎ−Δ）ビットの低ビット深度信号に変換し，出力する。
【００５０】
図５は，ビット深度変換処理部１０が行うビット深度変換処理のフローチャートである。
【００５１】
ステップＳ１０１では，領域分割部１００が入力画像の領域をＭ分割する。次に，ステップＳ１０２では，クラス分割部１０１が，分割された各領域ごとに画素値のヒストグラムを生成する。ステップＳ１０３では，生成されたヒストグラムの重心値を求め，求めた重心値を中心値として，ヒストグラムを２つに分ける。ステップＳ１０４では，二分されたヒストグラムの中心値より小さい画素値部分と大きい画素値部分とを，それぞれ等間隔に２の（Ｎ−Δ−１）乗個のクラスに分割する。これにより，全体で２の（Ｎ−Δ）乗個のクラスが生成される。
【００５２】
ステップＳ１０５では，各クラス内でヒストグラムの重心を求め，求めた重心をそのクラスの代表点とする。ステップＳ１０６では，各クラスの代表点の間隔をもとにクラスを再設定し，それぞれの画素値から代表点までの距離に応じて，各画素値を代表点が近いクラスに振り分け，新しいクラスについて重心を再計算する。ステップＳ１０７では，重心の再計算によって重心が更新されたかをどうかを判定し，重心が更新された場合には，ステップＳ１０６，Ｓ１０７を繰り返す。
【００５３】
ステップＳ１０８では，重心の更新がなくなった場合に，変換テーブル作成部１０２が，そのときのクラスの代表点の値（代表値）から変換テーブルを作成する。なお，変換テーブルは，分割された領域ごとに作成される。
【００５４】
ステップＳ１０９では，画素値変換部１０３が，各領域ごとに，各クラス内の画素値（Ｎビット）を，（Ｎ−Δ）ビットのクラス番号に変換する。
【００５５】
ステップＳ１１０では，誤差計算部１０４が，入力画像と変換後の画像の誤差，すなわち全領域についてのビット深度変換誤差の和を計算し，その誤差を分割情報とともに記憶する。
【００５６】
ステップＳ１１１では，領域分割の候補についてすべてビット深度変換の誤差を計算したかどうかを判定し，未終了の場合には，ステップＳ１０１へ戻り，他の分割点について同様に領域の分割を行い，すべての領域分割の候補についての誤差の計算が終了するまで，処理を繰り返す。
【００５７】
ステップＳ１１２では，すべての領域分割の候補についての誤差の計算が終了した場合に，分割決定部１０５が，誤差が最小となる領域分割を選び，その分割位置を示す分割情報を出力する。また，その領域分割時に採用した各領域ごとの変換テーブルと，低ビット深度信号生成部１０６によるビット深度変換後の（Ｎ−Δ）ビット信号とを出力する。
【００５８】
図６は，領域の分割数Ｍが可変であり，これを適応的に定めるときのビット深度変換処理のフローチャートである。図５の例では，領域の分割数Ｍが予め定められているものとしたが，図６に示すように，適応的に最適な分割数を定めるような処理も可能である。
【００５９】
まず，ステップＳ１２０では，分割数Ｍの初期値をＭ＝２として，Ｍ個の領域についての低ビット深度信号変換処理を行う。ここでは，図５で説明したステップＳ１０１〜Ｓ１１１の処理を実行する。
【００６０】
次に，ステップＳ１２１では，図３に示す分割決定部１０５において，Ｍ個の最適な領域分割における変換テーブルの符号量と残差信号の符号量との，画面の全領域についての和を見積もる。
【００６１】
ステップＳ１２２では，分割数を変更するかどうかを判定する。分割数を変更するかどうかは，予め定められた分割数の上限値までの処理が終了したかどうかを判定してもよいし，他の終了条件，例えば変換テーブルの符号量と残差信号の符号量との和が，前回の分割数の場合よりも，ある閾値以上大きくなったかどうかで判定してもよい。
【００６２】
分割数を変更する場合には，ステップＳ１２３へ進み，分割数Ｍに１を加算して，ステップＳ１２０へ戻り，同様に処理を繰り返す。
【００６３】
その後，ステップＳ１２４では，分割決定部１０５において，変換テーブルの符号量と残差信号の符号量との和が最小となる分割数を決定する。ステップＳ１２５では，決定された分割数とその分割数のときの最適な分割位置とを示す分割情報と，領域ごとの変換テーブルと，低ビット深度変換後の信号とを出力する。
【００６４】
図７は，変換テーブル符号化処理部１６の構成例を示す図である。また，図８は，変換テーブル符号化処理部１６による変換テーブル符号化処理のフローチャートである。
【００６５】
変換テーブル符号化処理部１６は，固定長符号化処理部１６１と，テーブル内差分計算部１６２と，テーブル内差分をＧｏｌｏｍｂ符号化するＧｏｌｏｍｂ符号化処理部１６３と，テーブル間差分計算部１６４と，テーブル間差分をＧｏｌｏｍｂ符号化するＧｏｌｏｍｂ符号化処理部１６５と，符号長判定部１６６とを備える。
【００６６】
変換テーブル符号化処理部１６の動作を，図８のフローチャートに従って説明する。まず，ステップＳ１３０では，固定長符号化処理部１６１が変換テーブルの各要素をＮビットで固定長符号化する。
【００６７】
ステップＳ１３１では，テーブル内差分計算部１６２が，変換テーブル内の差分，すなわち，変換テーブルの各要素について一つ前の要素との差分を計算し，その差分情報をＧｏｌｏｍｂ符号化処理部１６３によりＧｏｌｏｍｂ符号化する。
【００６８】
ステップＳ１３２では，テーブル間差分計算部１６４が，変換テーブル間の差分，すなわち，符号化済みの他の変換テーブルの各要素と，符号化対象の変換テーブルの各要素との差分を計算し，その差分情報をＧｏｌｏｍｂ符号化処理部１６５によりＧｏｌｏｍｂ符号化する。符号化済みの他の変換テーブルは，一つ前の変換テーブルでも，１フレーム前の領域が最も重なる位置の変換テーブルでもよい。
【００６９】
ステップＳ１３３では，符号長判定部１６６が，ステップＳ１３０〜Ｓ１３２の出力である固定長符号化，テーブル内差分，テーブル間差分の符号化データのうち，符号長が最小となるものを選び，どの符号化方式を用いたかを示す情報とともに，符号長が最小となる変換テーブル符号化データを出力する。
【００７０】
〔画像復号装置〕
図９は，本発明の一実施形態に係る画像復号装置の構成例を示す図である。
【００７１】
画像復号装置２は，ストリーム分解部２０と，分割情報復号処理部２１と，変換テーブル復号処理部２２と，変換テーブル記憶部２３と，低ビット深度信号復号処理部２４と，残差信号復号処理部２５と，逆ビット深度変換処理部２６と，加算器２７とを備え，図１に示す画像符号化装置１の出力である符号化ストリームを復号する。
【００７２】
図１０に，画像復号装置２が実行する復号処理のフローチャートを示す。まず，ステップＳ２０では，ストリーム分解部２０が，復号対象の符号化ストリームを入力し，符号化ストリームを，分割情報符号化データと，変換テーブル符号化データと，低ビット深度信号符号化データと，残差信号符号化データとに分解する。
【００７３】
ステップＳ２１では，分割情報復号処理部２１が，フレームの領域をどのように分割したかを示す分割情報を復号する。なお，分割情報が他の符号化パラメータ等とともに符号化されている場合には，その符号化パラメータ等の復号に合わせて復号する。
【００７４】
ステップＳ２２では，変換テーブル復号処理部２２が，分割情報復号処理部２１が復号した分割情報をもとに，分割された領域ごとに作成された変換テーブルの符号化データを復号し，変換テーブル記憶部２３に格納する。
【００７５】
ステップＳ２３では，残差信号復号処理部２５が，残差信号符号化データを復号し，ステップＳ２４では，低ビット深度信号復号処理部２４が，（Ｎ−Δ）ビットの低ビット深度信号符号化データを復号する。この復号では，例えば従来のＨ．２６４符号化データのデコーダと同様な復号処理が行われる。
【００７６】
ステップＳ２５では，逆ビット深度変換処理部２６が，復号された低ビット深度信号を，変換テーブル記憶部２３に格納された領域ごとの変換テーブルを用いて，Ｎビットの高ビット深度信号に変換する。すなわち，低ビット深度信号が示すクラス番号に対応するクラスの代表値を各画素の画素値とする。
【００７７】
ステップＳ２６では，加算器２７により，残差信号の復号信号と逆ビット深度変換処理部２６により変換された高ビット深度信号とを加算し，Ｎビットの復号信号を合成して出力する。
【００７８】
図１１は，変換テーブル復号処理部２２の構成例を示す図である。変換テーブル復号処理部２２は，符号化方式判定部２２１と，固定長復号処理部２２２と，テーブル内差分復号処理部２２３と，テーブル間差分復号処理部２２４とを備える。
【００７９】
図１２は，変換テーブル復号処理部２２が行う変換テーブル復号処理のフローチャートである。ステップＳ３０では，符号化方式判定部２２１が，変換テーブル符号化データに含まれる符号化方式の情報から，変換テーブルを固定長符号化，テーブル内差分，テーブル間差分のどの方式で符号化したのかを判定する。
【００８０】
ステップＳ３１では，符号化方式の判定結果により，固定長符号化であれば，固定長復号処理部２２２により変換テーブルを復号し，テーブル内差分であれば，テーブル内差分復号処理部２２３によりテーブル内差分情報をＧｏｌｏｍｂ復号し，テーブル間差分であれば，テーブル間差分復号処理部２２４によりテーブル間差分情報をＧｏｌｏｍｂ復号する。
【００８１】
〔効果の検証実験〕
本発明の効果を検証するために，次のような実験を行った。符号化対象として用いた画像は，１０ビットの４：２：０のＹＣｂＣｒ画像（７種類）で，解像度は１９２０×１０８０である。ビット深度変換は，１０ビットを８ビットに変換した。すなわち，上述の実施例においてＮ＝１０，Δ＝２である。
【００８２】
図１に示す低ビット深度信号符号化処理部１２，復号処理部１３および残差信号符号化処理部１７として，Ｈ．２６４／ＡＶＣの参照ソフトウェア（ＪＭ  １４．０）を用いた。なお，領域分割を行わない場合には，低ビット深度信号符号化処理部１２，復号処理部１３および残差信号符号化処理部１７は，それぞれ図１４に示す従来技術の符号化処理部３０１，復号処理部３０２および符号化器３０５に相当する。
【００８３】
実験は，７種類の画像シーケンス（映像１〜映像７）について，次のような４種類の実験を行った。各映像１〜映像７のフレーム数は６０である。
・［実験１］：〔従来技術〕領域分割を行わないで，変換テーブルは固定長で符号化した（図１４の画像符号化装置による符号化）。
・［実験２］：領域の分割数は固定値の２とし，各領域について，変換テーブルは固定長で符号化した。
・［実験３］：領域の分割数は可変として最適分割数を求めて領域分割を行い，各領域について，変換テーブルは固定長で符号化した。
・［実験４］：領域の分割数は可変として最適分割数を求めて領域分割を行い，各領域について，変換テーブルは固定長，テーブル内差分，テーブル間差分のうち，符号長が最短となる符号化方式を用いる適応符号化を行った。
【００８４】
以上の実験において，１０ビットの入力シーケンスを，Ｈ．２６４／ＡＶＣの参照ソフトウェア（ＪＭ  １４．０）で直接符号化した場合の結果に対して，画質が同程度のときに符号量がどれだけ削減されるかを調べた。すなわち，画質（ＰＳＮＲ）を同程度としたときのビットレートを比較した。
【００８５】
実験結果の符号量削減率は，図１３（Ａ）に示すとおりであった。図１３（Ｂ）は，図１３（Ａ）に示す数値をグラフ化して示している。実験１に比べて，実験２〜実験４は，どの映像１〜映像７についても符号量の削減率が大きいことが確認できた。特に，実験４では，参照ソフトウェアＪＭを用いて直接符号化した場合に比べて，符号量が平均で約１１％低減できることがわかった。
【００８６】
なお，実験３，実験４において，分割数を可変として最適分割数で領域を分割したときの各映像１〜映像７の分割数は，図１３（Ｃ）に示すとおりであった。これらの実験結果から，画像の局所的性質に応じて，最適な領域の分割数も大きく変動することが確認できた。
【００８７】
以上の画像符号化および復号の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００８８】
１    画像符号化装置
１０  ビット深度変換処理部
１１  変換テーブル記憶部
１２  低ビット深度信号符号化処理部
１３  復号処理部
１４  逆ビット深度変換処理部
１５  減算器
１６  変換テーブル符号化処理部
１７  残差信号符号化処理部
１８  分割情報符号化処理部
１００  領域分割部
【図１】
2011176407.tif 000003
【図２】
2011176407.tif 000004
【図３】
2011176407.tif 000005
【図４】
2011176407.tif 000006
【図５】
2011176407.tif 000007
【図６】
2011176407.tif 000008
【図７】
2011176407.tif 000009
【図８】
2011176407.tif 000010
【図９】
2011176407.tif 000011
【図１０】
2011176407.tif 000012
【図１１】
2011176407.tif 000013
【図１２】
2011176407.tif 000014
【図１３】
2011176407.tif 000015
【図１４】
2011176407.tif 000016