(57)【要約】【課題】  高ビット深度でも一定の精度を保った符号化処理を２種類以上の符号化処理を実装するよりも少ない実装コストで実現する。【解決手段】  画像を符号化してビットストリームを生成する画像符号化方法であって、入力された画像をブロック単位で予測し、予測誤差を生成し、前記予測誤差を上位ｍビット（ｍは１以上の整数）と下位ｎビット（ｎは１以上の整数）に分割し、前記上位ｍビットの予測誤差に対して直交変換処理及び量子化処理を行い、上位ビット量子化係数を生成し、前記上位ビット量子化係数を符号化し、前記下位ｎビットの予測誤差を符号化する。【選択図】  図１
2015019305.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化してビットストリームを生成する画像符号化装置であって、
入力された画像をブロック単位で予測し、予測誤差を生成する予測手段と、
前記予測誤差を上位ｍビット（ｍは１以上の整数）と下位ｎビット（ｎは１以上の整数）に分割する予測誤差ビット分割手段と、
前記上位ｍビットの予測誤差に対して直交変換処理及び量子化処理を行い、上位ビット量子化係数を生成する変換量子化手段と、
前記上位ビット量子化係数を符号化する上位ビット符号化手段と、
前記下位ｎビットの予測誤差を符号化する下位ビット符号化手段とを有することを特徴とする画像符号化装置。
【請求項２】
前記下位ビット符号化手段は、前記上位ｍビットの予測誤差の変換量子化手段における量子化誤差が十分に小さいと認められる場合に下位ｎビットの予測誤差を符号化することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記下位ビット符号化手段は、前記上位ｍビットの予測誤差が量子化誤差の発生しないロスレス符号化される場合に下位ｎビットの予測誤差を符号化することを特徴とする請求項１乃至２のいずれか１項に記載の画像符号化装置。
【請求項４】
前記下位ビット符号化手段は、前記上位ｍビットの予測誤差が所定の値の量子化スケールよりも小さい値で量子化される場合に予測誤差を符号化することを特徴とする請求項１乃至２のいずれか１項に記載の画像符号化装置
【請求項５】
ビットストリームを復号して画像を再生する画像復号装置であって、
前記ビットストリームから予測誤差の下位ｎビット（ｎは１以上の整数）に相当する下位ビット予測誤差を復号し再生する下位ビット復号手段と、
前記ビットストリームから予測誤差の上位ｍビット（ｍは１以上の整数）が直交変換処理及び量子化処理されたものに相当する上位ビット量子化係数を復号し再生する上位ビット復号手段と、
前記上位ビット量子化係数に対して逆量子化処理及び逆変換処理を行い、上位ビット予測誤差を再生する逆量子化逆変換手段と、
前記上位ビット予測誤差と前記下位ビット予測誤差とを合成して予測誤差を再生し、前記予測誤差と復号済みの画素からの予測画像から再生画像を生成する画像再生手段とを有することを特徴とする画像復号装置。
【請求項６】
前記下位ビット復号手段は、前記上位ビット予測誤差が量子化誤差の発生しないロスレス符号化されている場合に下位ビット予測誤差を復号し再生することを特徴とする請求項５に記載の画像復号装置。
【請求項７】
前記下位ビット復号手段は、前記上位ビット予測誤差が所定の量子化スケールよりも小さい値で量子化されている場合に下位ビット予測誤差を復号し再生することを特徴とする請求項５に記載の画像復号装置。
【請求項８】
画像を符号化してビットストリームを生成する画像符号化方法であって、
入力された画像をブロック単位で予測し、予測誤差を生成する予測工程と、
前記予測誤差を上位ｍビット（ｍは１以上の整数）と下位ｎビット（ｎは１以上の整数）に分割する予測誤差ビット分割工程と、
前記上位ｍビットの予測誤差に対して直交変換処理及び量子化処理を行い、上位ビット量子化係数を生成する変換量子化工程と、
前記上位ビット量子化係数を符号化する上位ビット符号化工程と、
前記下位ｎビットの予測誤差を符号化する下位ビット符号化工程とを有することを特徴とする画像符号化方法。
【請求項９】
ビットストリームを復号して画像を再生する画像復号方法であって、
前記ビットストリームから予測誤差の下位ｎビット（ｎは１以上の整数）に相当する下位ビット予測誤差を復号し再生する下位ビット復号工程と、
前記ビットストリームから予測誤差の上位ｍビット（ｍは１以上の整数）が直交変換処理及び量子化処理されたものに相当する上位ビット量子化係数を復号し再生する上位ビット復号工程と、
前記上位ビット量子化係数に対して逆量子化処理及び逆変換処理を行い、上位ビット予測誤差を再生する逆量子化逆変換工程と、
前記上位ビット予測誤差と前記下位ビット予測誤差とを合成して予測誤差を再生し、前記予測誤差と復号済みの画素からの予測画像から再生画像を生成する画像再生工程とを有することを特徴とする画像復号方法。
【請求項１０】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の画像符号化装置として機能させることを特徴とするプログラム。
【請求項１１】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項５に記載の画像復号装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に高ビット深度の画像の符号化・復号処理に関する。
【背景技術】
【０００２】
動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ．２６４と略す）が知られている。（非特許文献１）Ｈ．２６４においては、符号化技術の制限を定義した複数のプロファイルが定義されており、例えばＨｉｇｈ  １０プロファイルは８ビット〜１０ビットまでのビット深度の画像に対応している。
【０００３】
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。このＪＣＴ−ＶＣにおいて、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと略す）として標準化が進められている。
【０００４】
ＨＥＶＣにおいても８ビット〜１０ビットまでのビット深度の画像に対応したＭａｉｎ  １０プロファイルが定義されている。（非特許文献２）また、さらにビット深度の大きい画像の符号化を目的として、ＨＥＶＣのレンジ拡張の標準化が現在進められている。ＨＥＶＣレンジ拡張においては、１６ビット深度の画像の符号化への要求も根強く、１６ビット深度の画像の符号化も検討の対象となっている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６４（０１／２０１２）  Ａｄｖａｎｃｅｄｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ
【非特許文献２】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ｌ１００３  インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ‐ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／＞
【非特許文献３】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ｇ４９５  インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ‐ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／７＿Ｇｅｎｅｖａ／ｗｇ１１／＞
【非特許文献４】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ｍ０１７８  インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ‐ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＨＥＶＣでは、直交変換や動き補償といった処理において、画像のビット深度に応じて演算精度を低下させることにより、実装の容易性を重視した構成となっている。例えば、ＨＥＶＣにおける直交変換は他の符号化方式同様、水平・垂直方向の２段階で行列の演算を行うが、下記の式（１）は１段階目の行列の演算後のスケーリング処理に用いる計算式である。（非特許文献３）
ｙ＝（ｘ＋ｏｆｆｓｅｔ）＞＞（Ｍ−１＋（Ｂ−８））…（１）
（ただし、ｏｆｆｓｅｔ＝（１＜＜（Ｍ−２＋（Ｂ−８）））であり、「＞＞」は右へのビットシフトを、「＜＜」は左へのビットシフトを表す。また、Ｍ＝ｌｏｇ２（直交変換サイズ）であり、直交変換サイズが３２の時はＭ＝５に、直交変換サイズが８の時はＭ＝３となる。Ｂは画像のビット深度である。）
上記の式（１）において、ｘは直交変換前の予測誤差を、ｙは直交変換後の変換係数を算出するための中間値を表している。式（１）では必ずビット深度に依存した右へのビットシフト処理が含まれるため、中間値ｙの取りうる値の範囲は画像のビット深度によらず一定となっている。こうした演算処理が導入されているため、ＨＥＶＣにおいてはより高ビット深度の画像をサポートする場合においてもハードウェアの実装コストはさほど上昇しないと考えられている。その反面、上述のビットシフト処理に代表される演算により、高ビット深度の画像に対しては演算精度の低下が発生し、画質が向上しないといった問題が生じている。
【０００７】
例えばＨＥＶＣのＭａｉｎ／Ｍａｉｎ１０プロファイルでは、式（１）の演算結果ｙはビット深度に関わらず１６ビットとなる。上述の式（１）をそのまま１６ビット深度への拡張に用いるとすると、入力の有効ビット数が８／１０ビットから１６ビットに増加しているにも関わらず、出力の有効ビット数が１６ビットと変わらない。そのため、入力のビット深度を大きくして有効ビット数を大きくしても、出力の演算結果の有効ビット数が変わらず、結果として画質の向上につながらないといった問題がある。また、非特許文献４においては、上述の問題を解決するため、画像のビット深度に応じて直交変換などの符号化処理における中間値のビット深度を増加させ、演算精度を維持する手法が提案されている。このような手法をとることにより、演算精度自体を維持することは可能であるが、Ｍａｉｎ１０プロファイルなどで定義されている符号化処理とは異なるため、２種類以上の符号化処理を実装する必要があり、実装コストが増加してしまう。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本願発明の画像符号化装置は、画像を符号化してビットストリームを生成する画像符号化装置であって、入力された画像をブロック単位で予測し、予測誤差を生成する予測手段と、前記予測誤差を上位ｍビット（ｍは１以上の整数）と下位ｎビット（ｎは１以上の整数）に分割する予測誤差ビット分割手段と、前記上位ｍビットの予測誤差に対して直交変換処理及び量子化処理を行い、上位ビット量子化係数を生成する変換量子化手段と、前記上位ビット量子化係数を符号化する上位ビット符号化手段と、前記下位ｎビットの予測誤差を符号化する下位ビット符号化手段とを有することを特徴とする。
【０００９】
また、本願発明の画像復号装置は、ビットストリームを復号して画像を再生する画像復号装置であって、前記ビットストリームから予測誤差の下位ｎビット（ｎは１以上の整数）に相当する下位ビット予測誤差を復号し再生する下位ビット復号手段と、前記ビットストリームから予測誤差の上位ｍビット（ｍは１以上の整数）が直交変換処理及び量子化処理されたものに相当する上位ビット量子化係数を復号し再生する上位ビット復号手段と、前記上位ビット量子化係数に対して逆量子化処理及び逆変換処理を行い、上位ビット予測誤差を再生する逆量子化逆変換手段と、前記上位ビット予測誤差と前記下位ビット予測誤差とを合成して予測誤差を再生し、前記予測誤差と復号済みの画素からの予測画像から再生画像を生成する画像再生手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明により、高ビット深度でも一定の精度を保った符号化処理を２種類以上の符号化処理を実装するよりも少ない実装コストで実現できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１における画像符号化装置の構成を示すブロック図
【図２】実施形態２における画像復号装置の構成を示すブロック図
【図３】実施形態３における画像符号化装置の構成を示すブロック図
【図４】実施形態４における画像復号装置の構成を示すブロック図
【図５】実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート
【図６】実施形態２に係る画像復号装置における画像復号処理を示すフローチャート
【図７】実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャート
【図８】実施形態４に係る画像復号装置における画像復号処理を示すフローチャート
【図９】実施形態１によって生成され、実施形態２によって復号されるビットストリーム構造の一例を示す図
【図１０】実施形態１によって生成され、実施形態２によって復号されるビットストリーム構造の一例を示す図
【図１１】実施形態３によって生成され、実施形態４によって復号されるビットストリーム構造の一例を示す図
【図１２】本発明の画像符号化装置、画像復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本願発明は図示された構成に限定されるものではない。
【００１３】
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は画像データを入力する端子である。
【００１４】
１０２は入力部であり、入力された画像データのビット深度を解析するとともにブロック単位に分割する。１０３はビット分割情報生成部であり、予測誤差ビット分割部１０６で用いられる予測誤差の上位ビット・下位ビット分割処理に用いられる予測誤差ビット分割情報を生成する。すなわち上位ｍビット（ｍは１以上の整数）と下位ｎビット（ｎは１以上の整数）に分割する。
【００１５】
１０４はヘッダ符号化部であり、画像のビット深度情報を初めとするビットストリームの復号に必要な情報を符号化し、ヘッダ符号データを生成する。１０５は予測部であり、分割されたブロック単位でフレームメモリ１１２を参照してフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などの予測処理を行い、予測誤差を生成する。
【００１６】
１０６は予測誤差ビット分割部であり、予測部１０５で生成された予測誤差をビット分割情報生成部１０３で生成された予測誤差ビット分割情報に基づいて、上位ビット予測誤差と下位ビット予測誤差に分割する。１０７は変換量子化部であり、予測誤差ビット分割部１０６で生成された上位ビット予測誤差をブロック単位で直交変換して変換係数を算出し、さらに変換係数を量子化して上位ビット量子化係数を算出する。
【００１７】
１０８は変換量子化部１０７で生成された上位ビット量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して上位ビット予測誤差を再生する逆量子化逆変換部である。１０９は下位ビット量子化部であり、予測誤差ビット分割部１０６で生成された下位ビット予測誤差を量子化して下位ビット量子化係数を算出する。
【００１８】
１１０は下位ビット量子化部１０９で生成された下位ビット量子化係数を逆量子化して下位ビット予測誤差を再生する下位ビット逆量子化部である。１１１は画像再生部であり、フレームメモリ１１２を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部１０８で再生された上位ビット予測誤差や下位ビット逆量子化部１１０で再生された下位ビット予測誤差から再生画像を生成する。
【００１９】
１１２は画像再生部１１１で再生された画像を保持しておくフレームメモリである。１１３は上位ビット符号化部であり、変換量子化部１０７で生成された上位ビット量子化係数を符号化して上位ビット符号データを生成する。
【００２０】
１１４は下位ビット符号化部であり、下位ビット量子化部１０９で生成された下位ビット量子化係数を符号化して下位ビット符号データを生成する。１１５は前段で生成されたヘッダ符号データ、上位ビット符号データおよび下位ビット符号データからビットストリームを形成して出力する統合符号化部である。
【００２１】
１１６は端子であり、統合符号化部１１５で生成されたビットストリームを外部に出力する。
【００２２】
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。
【００２３】
端子１０１から入力された１フレーム分の画像データは入力部１０２に入力される。本実施形態では１６ビット深度の画像データが入力されるものとするが、入力される画像データのビット深度はこれに限定されない。
【００２４】
入力部１０２は入力画像データのビット深度の解析を行い、ビット深度情報として後段のビット分割情報生成部１０３およびヘッダ符号化部１０４に出力する。ただし、ビット深度情報は外部から別途与えられ、ビット分割情報生成部１０３およびヘッダ符号化部１０４にそれぞれ入力する構成とすることも可能である。また、入力された画像データはブロック単位に分割され、予測部１０５に出力される。
【００２５】
ビット分割情報生成部１０３では、予測部１０５で生成される予測誤差の上位ビット・下位ビット分割の境界を決定し、その情報を予測誤差ビット分割情報とする。予測誤差ビット分割情報の決定方法は特に限定されず、本符号化装置および対応する復号装置が使用されるアプリケーションを想定して符号化処理に先立って決定しても良いし、不図示のユーザによって選択されても良い。また、既存の１０ビット深度までの画像に対応した変換量子化部の再利用を目的として、予測誤差ビット分割情報を決定しても良い。例えば、変換量子化部１０７に既存のＨＥＶＣの変換量子化を用いる場合においては、変換量子化部１０７はＭａｉｎ１０プロファイルにおいて１０ビットの深度を持つ画像の符号化に対応している。したがって、その入力は１０ビットに正負の符号分の１ビットを加えた１１ビットである。予測部１０５で生成される予測誤差の最大ビット深度は入力画像のビット深度である１６ビットに正負の符号分の１ビットを加えた１７ビットである。そのため、予測誤差ビット分割部１０６においては上位ビット予測誤差を上位１１ビットとし、下位ビット予測誤差を下位６ビットとするといった具合である。本実施形態ではこのようにして決定された下位６ビットを境界とし、６を予測誤差ビット分割情報とするが、値と意味の組み合わせはこれに限定されず、予測誤差の上位ビットと下位ビットの境界の位置を示すことができる情報であれば良い。
【００２６】
生成された予測誤差ビット分割情報はヘッダ符号化部１０４、予測誤差ビット分割部１０６、変換量子化部１０７、逆量子化逆変換部１０８、画像再生部１１１に出力される。
【００２７】
ヘッダ符号化部１０４では、入力部１０２から入力されたビット深度情報およびビット分割情報生成部１０３から入力された予測誤差ビット分割情報を初めとする復号に必要な情報を符号化し、ヘッダ符号データを生成する。このヘッダ符号データはビットストリームのヘッダに相当する。生成されたヘッダ符号データは統合符号化部１１５に出力される。
【００２８】
一方、予測部１０５では入力部１０２で分割されたブロック単位の画像データが入力され、フレームメモリ１１２に格納されている符号化済みの画素を適宜参照してブロック単位の予測が行われ、予測画像が生成される。ブロック単位の入力画像と予測画像の差分として、予測誤差が生成され、予測誤差ビット分割部１０６に出力される。
【００２９】
予測誤差ビット分割部１０６では、まず、ビット分割情報生成部１０３から予測誤差ビット分割情報を入力し、予測誤差のビット分割処理における上位ビットと下位ビットの境界を決定する。本実施形態では、上述の通り、上位１１ビットを上位ビット予測誤差とし、残りの６ビットを下位ビット予測誤差とする。ビット分割処理には、下記の（２）式および（３）式で示したような処理が用いられるが、これに限定されない。
【００３０】
ｙｈ＝（ｘ＞＞（Ｂ−１０））                …（２）
ｙｌ＝（ｘ＆（（１＜＜（Ｂ−１０））−１））…（３）
上記の式（２）、（３）において、ｘは予測誤差を、ｙｈは上位ビット予測誤差を、ｙｌは下位ビット予測誤差を表している。また、Ｂは入力画像のビット深度を表している。上記の式（２）、（３）は予測誤差ビット分割情報が６であることを前提としているが、予測誤差ビット分割情報をＤとして一般化すると、下記の（２’）、（３’）式のように表すこともできる。
【００３１】
ｙｈ＝（ｘ＞＞Ｄ）                …（２’）
ｙｌ＝（ｘ＆（（１＜＜Ｄ）−１））…（３’）
次に、上述のビット分割方法に基づいて、予測誤差ビット分割部１０６は予測部１０５から入力された予測誤差を上位ビット予測誤差と下位ビット予測誤差とに分割する。そして上位ビット予測誤差は変換量子化部１０７に出力され、下位ビット予測誤差は下位ビット量子化部１０９に出力される。
【００３２】
変換量子化部１０７では、ビット分割情報生成部１０３から入力された予測誤差ビット分割情報を用いて、予測誤差ビット分割部１０６から入力された上位ビット予測誤差に対して上位ビット予測誤差のビット深度に対応した直交変換処理及び量子化処理を行う。その結果、上位ビット量子化係数を生成する。生成された上位ビット量子化係数は逆量子化逆変換部１０８および上位ビット符号化部１１３に出力される。
【００３３】
逆量子化逆変換部１０８では、ビット分割情報生成部１０３から入力された予測誤差ビット分割情報を用いて、変換量子化部１０７から入力された上位ビット量子化係数を上位ビット予測誤差のビット深度に対応した逆量子化・逆直交変換を行う。その結果、上位ビット予測誤差を再生する。再生された上位ビット予測誤差は画像再生部１１１に出力される。
【００３４】
下位ビット量子化部１０９では、予測誤差ビット分割部１０６から入力された下位ビット予測誤差を量子化し、下位ビット量子化係数を生成する。生成された下位ビット量子化係数は下位ビット逆量子化部１１０および下位ビット符号化部１１４に出力する。
【００３５】
下位ビット逆量子化部１１０では、下位ビット量子化部１０９から入力された下位ビット量子化係数を逆量子化して下位ビット予測誤差を再生する。再生された下位ビット予測誤差は画像再生部１１１に出力される
画像再生部１１１では、フレームメモリ１１２の符号化済み画素を適宜参照して予測画像を生成する。次に逆量子化逆変換部１０８から入力された上位ビット予測誤差および下位ビット逆量子化部１１０から入力された下位ビット予測誤差をビット分割情報生成部１０３から入力された予測誤差ビット分割情報を用いて合成し、予測誤差を生成する。そして生成された予測画像と予測誤差から再生画像を生成する。生成された再生画像はフレームメモリ１１２に出力され、格納される。再生画像の生成処理には、下記の（４）式で示したような処理が用いられるが、これに限定されない。
ｒ＝ｐ＋（ｒｈ＜＜Ｄ）＋ｒｌ…（４）
上記の式（４）、ｒは再生画像を、ｐは予測画像を、ｒｈは上位ビット予測誤差を、Ｄは予測誤差ビット分割情報を、ｒｌは下位ビット予測誤差を表している。
【００３６】
上位ビット符号化部１１３では、ブロック単位で、変換量子化部１０７から入力された上位ビット量子化係数をエントロピー符号化し、上位ビット符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された上位ビット符号データは統合符号化部１１５に出力される。
【００３７】
下位ビット符号化部１１４では、同じくブロック単位で、下位ビット量子化部１０９から入力された下位ビット量子化係数をエントロピー符号化し、下位ビット符号データを生成する。
【００３８】
統合符号化部１１５ではヘッダ符号化部１０４で生成されたヘッダ符号データ、上位ビット符号化部１１３から入力された上位ビット符号データおよび下位ビット符号化部１１４から入力された下位ビット符号データを多重化してビットストリームが形成される。最終的に、統合符号化部１１５で形成されたビットストリームは端子１１６から外部に出力される。
【００３９】
図９（ａ）に本実施形態で生成されたビットストリームの一例を示す。予測誤差ビット分割情報は予測誤差ビット分割情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。また、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。
【００４０】
ただし、ビットストリームの構成はこれに限定されず、図９（ｂ）に示されるように、予測誤差ビット分割情報符号を符号化する代わりに、対応するプロファイルを決定し、決定したプロファイルをプロファイル情報符号として符号化してもよい。例えば、１６ビット画像に対応した１６ビットプロファイルが存在し、それが予測誤差ビット分割情報＝６に対応するものとする。すなわち、１６ビットプロファイルでは予測誤差ビット分割情報＝６となり、予測処理後の予測誤差は上位１１ビットと下位６ビットに分割されることになる。この場合、予測誤差ビット分割情報が６の場合には１６ビットプロファイルを示す符号をプロファイル情報符号として符号化する構成をとっても構わない。
【００４１】
さらには、図９（ｃ）に示されるように、予測誤差ビット分割情報符号を省略し、ビット深度情報符号から一意に予測誤差ビット分割情報を算出する構成としても良い。例えば、予測誤差ビット分割情報は入力画像のビット深度とある特定の値との差分と定義しておくことも可能である。本実施形態においては、前述の特定の値を１０として定義しておき、入力画像のビット深度１６と特定の値１０との差分である６を予測誤差ビット分割情報とする。
【００４２】
図１０（ａ）に本実施形態で生成されたビットストリームの上位ビット符号データおよび下位ビット符号データのビットストリームへの格納例を示す。ヘッダの構成については図９（ａ）をベースとしているが、ピクチャデータについてはブロック単位で上位ビット符号データと下位ビット符号データを交互に配置する構成となっている。
【００４３】
ただし、上位ビット符号データと下位ビット符号データのビットストリーム内の配置についてはこれに限定されない。図１０（ｂ）に示されるようにピクチャデータの前半部分に上位ビット符号データを配置し、後半部分に下位ビット符号データを配置させる構成をとっても構わない。また、図１０（ａ）の構成と図１０（ｂ）の構成を判別するフラグをヘッダ内に設けても切り替えることも可能である。さらには、図１０（ｃ）に示されるようにピクチャ単位で上位ビット符号データと下位ビット符号データにそれぞれヘッダを設け、独立した単位として符号化する構成としても良い。これにより、上位ビットと下位ビットの符号化を並列に処理し、符号化処理の高速化が可能となる。また、それぞれのヘッダ部分に識別子を設けることで、復号装置側でそれぞれの符号データ位置を判別することができるようになり、結果として並列処理による復号処理の高速化が可能となる効果もある。
【００４４】
図５は、実施形態１に係る画像符号化装置における１フレーム分の画像符号化処理を示すフローチャートである。
【００４５】
まず、ステップＳ５０１にて、入力部１０２は入力された画像データのビット深度の解析を行い、ビット深度情報を生成する。ステップＳ５０２にて、ビット分割情報生成部１０３は、後段で生成される予測誤差の上位ビット・下位ビット分割の境界を決定し、その情報を予測誤差ビット分割情報として生成する。
【００４６】
ステップＳ５０３にて、ヘッダ符号化部１０４は、ステップＳ５０１で生成されたビット深度情報およびステップＳ５０２で生成された予測誤差ビット分割情報を初めとする復号に必要な情報を符号化してヘッダ符号データを生成する。ステップＳ５０４にて、統合符号化部１１５はステップＳ５０４で生成されたヘッダ符号データからビットストリームのヘッダを形成し、出力する。
【００４７】
ステップＳ５０５にて、入力部１０２は入力された画像データからブロックを切り出し、予測部１０５は切り出されたブロック単位の画像データに対し、ブロック単位の予測を行い、予測画像を生成する。ブロック単位の入力画像データと予測画像との差分として予測誤差が生成される。ステップＳ５０６にて、予測誤差ビット分割部１０６は、ステップＳ５０２で生成された予測誤差ビット分割情報に基づいて、ステップＳ５０５で生成された予測誤差を上位ビット予測誤差と下位ビット予測誤差とに分割する。
【００４８】
ステップＳ５０７にて、変換量子化部１０７は、ステップＳ５０６で生成された上位ビット予測誤差に直交変換を行って変換係数を生成し、さらに生成された変換係数を量子化し、上位ビット量子化係数を生成する。ステップＳ５０８にて、逆量子化逆変換部１０８は、ステップＳ５０７で生成された上位ビット量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して上位ビット予測誤差を再生する。
【００４９】
ステップＳ５０９にて、下位ビット量子化部１０９はステップＳ５０６で生成された下位ビット予測誤差に量子化を行い、下位ビット量子化係数を生成する。ステップＳ５１０にて、下位ビット逆量子化部１１０はステップＳ５０９で生成された下位ビット量子化係数を逆量子化して下位ビット予測誤差を再生する。
【００５０】
ステップＳ５１１にて、画像再生部１１１はまず、フレームメモリ１１２を適宜参照して予測画像を生成する。そして生成された予測画像とステップＳ５０８で再生された上位ビット予測誤差、ステップＳ５１０で再生された下位ビット予測誤差、ステップＳ５０２で生成された予測誤差ビット分割情報から再生画像を生成する。ステップＳ５１２にて、上位ビット符号化部１１３はステップＳ５０７で生成された上位ビット量子化係数を符号化して上位ビット符号データを生成する。また、統合符号化部１１５は他の符号データも含め、ビットストリームを生成する。
【００５１】
ステップＳ５１３にて、下位ビット符号化部１１４はステップＳ５０９で生成された下位ビット量子化係数を符号化して下位ビット符号データを生成する。また、統合符号化部１１５は他の符号データも含め、ビットストリームを生成する。ステップＳ５１４にて、画像符号化装置はフレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば１フレーム分の符号化処理を終了し、そうでなければ次のブロックを対象としてステップＳ５０５に戻る。
【００５２】
以上の構成により、特にステップＳ５０６で予測誤差を上位ビットと下位ビットに分割し後段で別々に処理することにより、既存の直交変換処理及び量子化処理の実装を利用しつつ、高ビット深度の画像が符号化されたビットストリームを生成することができる。特にハードウェア実装する場合においては、既存の直交変換のハードウェアをそのまま利用することができるため、コストを抑えることができる。
【００５３】
なお、本実施形態では、ステップＳ５０７からＳ５１３の順序で符号化処理のフローを説明したが、順序はこれに限らない。ステップＳ５１１はステップＳ５０８、Ｓ５１０の後に、ステップＳ５１２はステップＳ５０７の後に、ステップＳ５１３はステップＳ５０９の後に実行されれば良い。
【００５４】
また、符号化する画像データのビット深度が例えば８ビットで、予測誤差をビット分割することなく変換・量子化処理できる場合、予測誤差ビット分割情報符号を省略することも可能である。すなわち、ビット深度が８ビットであった場合、冗長な符号を削減することができる。
【００５５】
また、変換量子化部１０７を既存のＭａｉｎ１０プロファイルでの量子化変換部として説明を行ったが既存のＭａｉｎプロファイルとすれば（２’）式、（３’）式のＤの値が８とすることで対応できることは明らかである。
【００５６】
また本実施形態では、下位ビット予測誤差に対しては、直交変換を行わずに下位ビット量子化部１０９で量子化のみを行う構成としたが、直交変換を行う構成としても良い。例えば、１０９、１１０をそれぞれ下位ビット変換量子化部・下位ビット逆量子化逆変換部として、離散コサイン変換や離散サイン変換、アダマール変換などを用いることができる。さらには、変換量子化部１０７と同様の変換・量子化処理を行うことにより、ハードウェアを共通化し、実装コストをさらに低くすることもできる。
【００５７】
＜実施形態２＞
図２は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成されたビットストリームの復号を例にとって説明する。
【００５８】
２０１はビットストリームを入力する端子である。２０２は分離復号部であり、ビットストリームから復号処理に関する情報であるヘッダ符号データおよびブロック単位の情報である上位ビット符号データ、下位ビット符号データに分離し、後段に出力する。
【００５９】
２０３はヘッダ復号部であり、前述のヘッダ符号データを復号し、復号処理に関する情報を再生する。２０４は上位ビット復号部であり、上位ビット符号データを復号して上位ビット量子化係数を再生する。
【００６０】
２０５は逆量子化逆変換部であり、上位ビット復号部２０４で再生された上位ビット量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して上位ビット予測誤差を再生する。２０６は下位ビット復号部であり、下位ビット符号データを復号して下位ビット量子化係数を再生する。
【００６１】
２０７は下位ビット逆量子化部であり、下位ビット復号部２０６で再生された下位ビット量子化係数を逆量子化して下位ビット予測誤差を再生する。２０８は画像再生部であり、フレームメモリ２０９を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部２０５で生成された上位ビット予測誤差および下位ビット逆量子化部２０７で生成された下位ビット予測誤差から再生画像データを生成する。
【００６２】
２０９は画像再生部２０８で再生された画像データを保持しておくフレームメモリである。２１０は端子であり、再生された画像データを外部に出力する。
【００６３】
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態１で生成されたビットストリームを復号する。
【００６４】
図２において、端子２０１から入力されたビットストリームは分離復号部２０２に入力される。本実施形態では図９（ａ）に示されたビットストリームが入力されるものとする。
【００６５】
分離復号部２０２では、入力されたビットストリームから復号処理に関する情報であるヘッダ符号データおよびブロック単位の情報である上位ビット符号データ、下位ビット符号データに分離し後段に出力する。ヘッダ符号データはヘッダ復号部２０３に出力され、上位ビット符号データは上位ビット復号部２０４に出力され、下位ビット符号データは下位ビット復号部２０６に出力される。
【００６６】
ヘッダ復号部２０３では、分離復号部２０２から入力されたヘッダ符号データから復号に必要な情報を復号し、予測誤差ビット分割情報を再生する。再生された予測誤差ビット分割情報は逆量子化逆変換部２０５、画像再生部２０８に出力される。
【００６７】
一方、上位ビット復号部２０４では、分離復号部２０２から入力された上位ビット符号データを復号し、上位ビット量子化係数を再生する。再生された上位ビット量子化係数は逆量子化逆変換部２０５に出力される。
【００６８】
逆量子化逆変換部２０５は、ヘッダ復号部２０３から入力された予測誤差ビット分割情報を用い、上位ビット復号部２０４から入力された上位ビット量子化係数を上位ビット予測誤差のビット深度に対応した逆量子化・逆直交変換を行う。その結果、上位ビット予測誤差を再生する。この動作は実施形態１の逆量子化逆変換部１０８同様である。再生された上位ビット予測誤差は画像再生部２０８に出力される。
【００６９】
また、下位ビット復号部２０６は、分離復号部２０２から入力された下位ビット冨居いうデータを復号し、下位ビット量子化係数を再生する。再生された下位ビット量子化係数は下位ビット逆量子化部２０７に出力される。
【００７０】
下位ビット逆量子化部２０７では、実施形態１の下位ビット逆量子化部１１０と同様に、下位ビット復号部２０６から入力された下位ビット量子化係数を逆量子化して下位ビット予測誤差を再生する。再生された下位ビット予測誤差は画像再生部２０８に出力される。
【００７１】
画像再生部２０８では、フレームメモリ２０９の復号済み画素を適宜参照して予測画像を生成する。次に逆量子化逆変換部２０５から入力された上位ビット予測誤差と下位ビット逆量子化部２０７から入力された下位ビット予測誤差をヘッダ復号部２０３から入力された予測誤差ビット分割情報を用いて合成し、予測誤差を生成する。そして、生成された予測画像と予測誤差から再生画像を生成する。再生画像の生成処理には、実施形態１の画像再生部１１１同様、（４）式で示されたような処理が用いられるが、これに限定されない。再生された画像データはフレームメモリ２０９に出力され格納される。同時に、再生された画像データは端子２１０から外部に出力される。
【００７２】
図６は、実施形態２に係る画像復号装置における１フレーム分の画像の復号処理を示すフローチャートである。
【００７３】
まず、ステップＳ６０１にて、分離復号部２０２は入力されたビットストリームから復号処理に関する情報であるヘッダ符号データを分離する。ステップＳ６０２にて、ヘッダ復号部２０３はステップＳ６０１で分離されたヘッダ符号データから復号に必要な情報を復号し、予測誤差ビット分割情報を再生する。
【００７４】
ステップＳ６０３にて、分離復号部２０２はビットストリームからブロック単位の符号化データとして上位ビット符号データを分離する。そして上位ビット復号部２０４では、分離された上位ビット符号データを復号し、上位ビット量子化係数を再生する。ステップＳ６０４にて、逆量子化逆変換部２０５はステップＳ６０３で再生された上位ビット量子家係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して上位ビット予測誤差を再生する。
【００７５】
ステップＳ６０５にて、分離復号部２０２はビットストリームからブロック単位の符号化データとして下位ビット符号データを分離する。そして下位ビット復号部２０６では、分離された下位ビット符号データを復号し、下位ビット量子化係数を再生する。ステップＳ６０６にて、下位ビット逆量子化部２０７は、ステップＳ６０５で生成された下位ビット量子化係数を逆量子化して下位ビット予測誤差を再生する。
【００７６】
ステップＳ６０７にて、画像再生部２０８はフレームメモリ２０９を適宜参照して予測画像を生成する。そして生成された予測画像とステップＳ６０４で再生された上位ビット予測誤差、ステップＳ６０６で再生された下位ビット予測誤差、ステップＳ６０２で再生された予測誤差ビット分割情報から再生画像を生成し、フレームメモリ２０９に格納する。また、再生された画像データは端子２１０から外部に出力される。ステップＳ６０８にて、画像復号装置はフレーム内の全てのブロックの復号が終了したか否かの判定を行い、終了していれば１フレーム分の復号処理を終了し、そうでなければ次のブロックを対象としてステップＳ６０３に戻る。
【００７７】
以上の構成により、特にステップＳ６０３〜Ｓ６０７で上位ビットと下位ビットを別々に復号することにより、実施形態１で生成された既存の直交変換処理及び量子化処理の実装を利用しつつ、高ビット深度の画像が符号化されたビットストリームを復号できる。
【００７８】
なお、本実施形態では、ステップＳ６０３からＳ６０６の順序で復号処理のフローを説明したが、順序はこれに限らない。ステップＳ６０４はステップＳ６０３の後に、ステップＳ６０６はステップＳ６０５の後に実行されれば良く、並列処理をしても構わない。
【００７９】
なお、本実施形態では、入力されるビットストリームは図９（ａ）に示された予測誤差ビット分割情報が独立して符号化されたものであるとしたが、これに限定さない。例えば、図９（ｂ）に示されるように、予測誤差ビット分割情報符号を符号化する代わりに、対応するプロファイルを示すプロファイル情報符号が符号化されたものであっても良い。この場合、ヘッダ復号部２０３では、プロファイル情報符号およびビット深度情報から予測誤差ビット分割情報を生成することになる。
【００８０】
また、本実施形態では、下位ビット量子化係数に対しては逆直交変換を行わずに下位ビット逆量子化部２０７で逆量子化のみを行う構成としたが、符号化側で直交変換を行っているのであれば、逆直交変換を行う構成としても良い。例えば、２０７を下位ビット逆量子化逆変換部として、逆離散コサイン変換、逆離散サイン変換、逆アダマール変換などを用いることができる。さらには、逆量子化逆変換部２０５と同様の逆量子化処理及び逆変換処理を行うことにより、ハードウェアを共通化し、実装コストをさらに低くすることもできる。
【００８１】
＜実施形態３＞
図３は本実施形態の画像符号化装置を示すブロック図である。図３において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【００８２】
３２１は上位ビットロスレス決定部であり、符号化対象のブロックにおいて上位ビット予測誤差をロスレス符号化するか否かを示す上位ビットロスレスブロック情報を生成する。上位ビットロスレスブロック情報の決定方法は特に限定されず、画像の特性を分析して決定しても良いし、不図示のユーザによって選択されても良い。また、ピクチャ全体に対して一律に上位ビットロスレスブロック情報を指定しても構わない。
【００８３】
３０６は予測誤差ビット分割部である。予測部１０５で生成された予測誤差をビット分割情報生成部１０３で生成された予測誤差ビット分割情報および上位ビットロスレス決定部３２１で生成された上位ビットロスレスブロック情報に基づいて上位ビットと下位ビットに分割する。実施形態１の予測誤差ビット分割部１０６とは上位ビットロスレスブロック情報を入力し、上位ビット予測誤差をロスレス符号化する場合のみ下位ビット予測誤差を出力するところが異なる。
【００８４】
３１１は画像再生部であり、フレームメモリ１１２を参照してイントラ予測やインター予測などを行い、予測画像を生成する。次に逆量子化逆変換部１０８で生成された上位ビット予測誤差と下位ビット逆量子化部１１０で生成された下位ビット予測誤差を合成して予測誤差を生成する。そして、生成された予測画像と予測誤差から再生画像を生成する。実施形態１の画像再生部１１１とは、上位ビットロスレスブロック情報を入力し、上位ビットがロスレス符号化される場合は上位ビット予測誤差と下位ビット予測誤差を、ロッシー符号化される場合は上位ビット予測誤差のみを用いて再生処理を行う点が異なる。
【００８５】
３１３は上位ビット符号化部である。上位ビットロスレス決定部３２１から入力された上位ビットロスレスブロック情報によって、予測誤差ビット分割部３０６で生成された上位ビット予測誤差か変換量子化部１０７で生成された上位ビット量子化係数を選択して符号化する。符号化の結果、上位ビット符号データが生成される。
【００８６】
３１５は統合符号化部であり、前段で生成されたヘッダ符号データ、上位ビットロスレスブロック情報、上位ビット符号データ、下位ビット符号データからビットストリームを形成して出力する。
【００８７】
上記画像符号化装置における画像の符号化動作を以下に説明する。
【００８８】
上位ビットロスレス決定部３２１は、ブロック単位で符号化対象ブロックの上位ビット予測誤差をロスレス符号化するか否かを決定し、その情報を上位ビットロスレスブロック情報として生成する。本実施形態では、上位ビット予測誤差をロスレス符号化する場合に上位ビットロスレスブロック情報を１とし、ロッシー符号化する場合に上位ビットロスレスブロック情報を０とするが、値と意味の組み合わせはこれに限定されない。生成された上位ビットロスレスブロック情報は予測誤差ビット分割部３０６、画像再生部３１１および上位ビット符号化部３１３、統合符号化部３１５に出力される。
【００８９】
予測誤差ビット分割部３０６では、まず、実施形態１の予測誤差ビット分割部１０６と同様に、ビット分割情報生成部１０３から予測誤差ビット分割情報を入力し、予測誤差のビット分割処理における上位ビットと下位ビットの境界を決定する。本実施形態では、実施形態１同様、予測誤差の上位１１ビットを上位ビット予測誤差とし、残りの６ビットを下位ビット予測誤差とする。具体的なビット分割処理は実施形態１と同様である。
【００９０】
そして上位ビットロスレス決定部３２１から入力された上位ビットロスレスブロック情報に基づいて、生成された上位ビット予測誤差および下位ビット予測誤差を後段に出力する。具体的には、上位ビットロスレスブロック情報が１であり上位ビット予測誤差がロスレス符号化される場合、上位ビット予測誤差は上位ビット符号化部３１３に出力され、下位ビット予測誤差は下位ビット量子化部１０９に出力される。一方、上位ビットロスレスブロック情報が０であり上位ビット予測誤差がロッシー符号化される場合、上位ビット予測誤差は変換量子化部１０７に出力されるが、下位ビット予測誤差はどこにも出力されず、符号化もされない。これは、上位ビット予測誤差がロッシー符号化される場合、変換量子化部１０７で発生する量子化誤差が下位ビット予測誤差自体よりも支配的であると考えられるため、そのようなケースでは下位ビット予測誤差を符号化しないことで圧縮効率を向上させる。
【００９１】
画像再生部３１１では、まず、フレームメモリ１１２の符号化済み画素を適宜参照して予測画像を生成する。次に上位ビットロスレス決定部３２１から入力された上位ビットロスレスブロック情報及びビット分割情報生成部１０３から入力された予測誤差ビット分割情報に基づいて、前段から入力された上位ビット予測誤差及び下位ビット予測誤差から予測誤差を再生する。上位ビットロスレスブロック情報が１であり上位ビット予測誤差がロスレス符号化されている場合、予測誤差ビット分割部３０６から入力された上位ビット予測誤差と下位ビット逆量子化部１１０から入力された下位ビット予測誤差から予測誤差を再生する。一方、上位ビットロスレスブロック情報が０であり上位ビット予測誤差がロッシー符号化されている場合、逆量子化逆変換部１０８から入力された上位ビット予測誤差のみから予測誤差を再生する。そして、再生された予測誤差と予測画像から再生画像を生成する。再生画像の生成処理には、実施形態１の画像再生部１１１同様、（４）式で示されたような処理が用いられる。ただし、これに限定されない。上位ビット予測誤差がロッシー符号化されている場合、下位ビット予測誤差ｒｌは０となっている。
【００９２】
生成された再生画像はフレームメモリ１１２に出力され、格納される。
【００９３】
上位ビット符号化部３１３では、上位ビットロスレス決定部３２１から入力された上位ビットロスレスブロック情報に基づいて上位ビット符号データを生成する。具体的には、上位ビットロスレスブロック情報が１であり、上位ビット予測誤差がロスレス符号化される場合には予測誤差ビット分割部３０６から入力される上位ビット予測誤差を符号化し、上位ビット符号データを生成する。一方、上位ビットロスレスブロック情報が０であり、上位ビット予測誤差がロッシー符号化される場合には変換量子化部１０７から入力される上位ビット量子化係数を符号化し、上位ビット符号データを生成する。
【００９４】
統合符号化部３１５では、前段から入力された符号データを多重化してビットストリームを形成する。具体的にはまず、ピクチャのヘッダに対応するヘッダ符号データをヘッダ符号化部１０４から入力する。そしてブロック単位で上位ビットロスレス決定部３２１から上位ビットロスレスブロック情報を入力する。入力された上位ビットロスレスブロック情報が１である場合は、上位ビット符号化部３１３から上位ビット符号データを、下位ビット符号化部１１４から下位ビット符号データをさらに入力して多重化し、ビットストリームを形成する。入力された上位ビットロスレスブロック情報が０である場合は、上位ビット符号化部３１３から上位ビット符号データを入力して多重化し、ビットストリームを形成する。最終的に統合符号化部３１５で形成されたビットストリームは端子１１６から外部に出力される。
【００９５】
図１１（ａ）に本実施形態で生成されたビットストリームの一例、特に上位ビット符号データおよび下位ビット符号データのビットストリームへの格納例を示す。ヘッダの構成については実施形態１の図９（ａ）をベースとしているが、ピクチャデータについてはブロック単位で上位ビットロスレスブロック情報、上位ビット符号データ、下位ビット符号データの順で配置されている。ピクチャデータ内のＢ１、Ｂ２、Ｂｎはそれぞれピクチャ内の１番目のブロック、２番目のブロック、ｎ番目のブロックに対応する符号データを示している。特に図１１（ａ）においては、１番目（Ｂ１）とｎ番目のブロック（Ｂｎ）の上位ビットロスレスブロック情報が１であり、２番目のブロック（Ｂ２）の上位ビットロスレスブロック情報が０である例を示している。そのため、下位ビット符号データは２番目のブロック（Ｂ２）には存在していない。
【００９６】
ただし、ビットストリームの構成はこれに限定されず、ヘッダの構成については実施形態１の図９（ｂ）や図９（ｃ）に示されるような構成でも構わない。また、ピクチャデータについても、図１１（ｂ）に示されるようにピクチャデータの前半部分に上位ビットロスレスブロック情報および上位ビット符号データを配置し、後半部分に下位ビット符号データを配置される構成をとっても構わない。図１１（ｂ）では、ピクチャデータ内のＢ１、Ｂ２、Ｂｎはそれぞれピクチャ内の１番目のブロック、２番目のブロック、ｎ番目のブロックに対応する上位ビットロスレスブロック情報および上位ビット符号データを示している。また、図１１（ｂ）のｂ１、ｂｎはそれぞれピクチャ内の１番目のブロック、ｎ番目のブロックに対応する下位ビット符号データを示している。下位ビット符号データの先頭を表す符号を挿入したり、ヘッダで下位ビット符号データの先頭へのオフセット値を入れたりすることにより、復号時に同時の読み出しが可能になる。さらには、図１１（ｃ）に示されるように、ピクチャ単位で上位ビットロスレスブロック情報および上位ビット符号データと、下位ビット符号データにそれぞれヘッダを設け、独立した単位として符号化する構成としても良い。図１１（ｃ）でも、ピクチャデータ内のＢ１、Ｂ２、Ｂｎはそれぞれピクチャ内の１番目のブロック、２番目のブロック、ｎ番目のブロックに対応する上位ビットロスレスブロック情報および上位ビット符号データを示している。また、図１１（ｃ）のｂ１、ｂｎはそれぞれピクチャ内の１番目のブロック、ｎ番目のブロックに対応する下位ビット符号データを示している。この場合、ヘッダ内の識別子によって、ピクチャデータが上位ビット符号データを含んでいるのか、下位ビット符号データを含んでいるのかを区別する。
【００９７】
図７は、実施形態３に係る画像符号化装置における符号化処理を示すフローチャートである。実施形態１の図５と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【００９８】
ステップＳ７２１にて、上位ビットロスレス決定部３２１は符号化対象のブロックにおいて上位ビット予測誤差をロスレス符号化するか否かを示す上位ビットロスレスブロック情報を生成する。
【００９９】
ステップＳ７２２にて、画像符号化装置はステップＳ７２１にて生成された上位ビットロスレスブロック情報に基づいた判定を行う。上位ビットロスレスブロック情報が１であり上位ビット予測誤差がロスレス符号化される場合にはＳ５０９に進み、上位ビットロスレスブロック情報が０であり上位ビット予測誤差がロッシー符号化される場合にはＳ５０７に進む。
【０１００】
ステップＳ７１２にて、上位ビット符号化部３１３はステップＳ５０６で分割された上位ビット予測誤差をロスレス符号化して上位ビット符号データを生成する。また、統合符号化部３１５はステップＳ７２１で生成された上位ビットロスレスブロック情報など他の符号データを含め、ビットストリームを生成する。
【０１０１】
ステップＳ７１１にて、画像再生部３１１はまず、フレームメモリ１１２を適宜参照して予測画像を生成する。そして生成された予測画像とステップＳ５０８で再生された上位ビット予測誤差およびステップＳ５０２で生成された予測誤差ビット分割情報から再生画像を生成する。
【０１０２】
ステップＳ７１４にて、画像符号化装置はフレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば１フレーム分の符号化処理を終了し、そうでなければ次のブロックを対象としてステップＳ７２１に戻る。
【０１０３】
以上の構成と動作により、特にステップＳ７２２で、上位ビット予測誤差がロッシー符号化されている場合には下位ビット予測誤差を符号化しないよう制御することにより、より圧縮効率の高いビットストリームを生成することができる。
【０１０４】
なお、本実施形態では、ステップＳ５１２、Ｓ５１３、Ｓ７１２の後に画像再生のステップであるステップＳ５１１、Ｓ７１１という順序で符号化処理のフローを説明したが、順序はこれに限らない。ステップＳ５１１はステップＳ５１０の後であり、ステップＳ７１１はステップＳ５０８の後に実行されれば良い。
【０１０５】
また、本実施形態では、上位ビット予測誤差がロスレス符号化されるか否かを下位ビット予測誤差の符号化を行うかの判定の基準としたが、他の判定基準を用いても良い。例えば上位ビット予測誤差がロッシー符号化される場合でも、上位ビット予測誤差に対する量子化スケールが所定の値よりも小さく、上位ビットの量子化誤差が十分に小さいと考えられる場合では、下位ビット予測誤差を符号化することも可能である。そのような構成にしても本実施形態の効果である、より圧縮効率の高いビットストリームの符号化は実現可能である。
【０１０６】
＜実施形態４＞  
図４は本実施形態の画像復号装置を示すブロック図である。図４において、実施形態２の図２と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。本実施形態では、実施形態３で生成されたビットストリームの復号を例にとって説明する。
【０１０７】
４０２は分離復号部であり、ビットストリームから復号処理に関する情報であるヘッダ符号データおよびブロック単位の情報である上位ビットロスレスブロック情報、上位ビット符号データ、下位ビット符号データに分離し、後段に出力する。実施形態２の分離復号部２０２とは上位ビットロスレスブロック情報も分離するところが異なる。
【０１０８】
４０４は上位ビット復号部であり、上位ビット符号データを復号し、復号結果を後段に出力する。実施形態２の上位ビット復号部２０４とは上位ビットロスレスブロック情報に基づいて、復号結果の出力先が選択されることが異なる。
【０１０９】
４０８は画像再生部であり、フレームメモリ２０９を参照してイントラ予測やインター予測などを行い、前段から入力された上位ビット予測誤差および下位ビット予測誤差から再生画像データを生成する。実施形態２の画像再生部２０８とは、上位ビットロスレスブロック情報に基づいてどの予測誤差を再生に用いるかを選択するところが異なる。
【０１１０】
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態３で生成されたビットストリームを復号する。
【０１１１】
分離復号部４０２では、入力されたビットストリームから復号処理に関する情報であるヘッダ符号データおよびブロック単位の情報である上位ビットロスレスブロック情報、上位ビット符号データ、下位ビット符号データに分離し、後段に出力する。ヘッダ符号データはヘッダ復号部２０３に出力され、上位ビットロスレスブロック情報および上位ビット符号データは上位ビット復号部４０４に出力される。また、上位ビットロスレスブロック情報が１、すなわち上位ビット予測誤差がロスレス符号化されている場合には、下位ビット符号データは下位ビット復号部２０６に出力される。
【０１１２】
上位ビット復号部４０４では、分離復号部４０２から入力された上位ビット符号データを復号し、復号結果を同じく分離復号部４０２から入力された上位ビットロスレスブロック情報に基づいて後段に出力する。上位ビットロスレスブロック情報が１、すなわち上位ビット予測誤差がロスレス符号化されている場合には復号結果を上位ビット予測誤差として画像再生部４０８に出力する。また、上位ビットロスレスブロック情報が０、すなわち上位ビット予測誤差がロッシー符号化されている場合には復号結果を上位ビット量子化係数として逆量子化逆変換部２０５に出力する。
【０１１３】
画像再生部４０８では、まず、フレームメモリ２０９の復号済み画素を適宜参照して予測画像を生成する。次に、分離復号部４０２から入力された上位ビットロスレスブロック情報およびヘッダ復号部から入力された予測誤差ビット分割情報に基づいて、前段から入力された上位ビット予測誤差および下位ビット予測誤差を合成して予測誤差を再生する。上位ビットロスレスブロック情報が１、すなわち上位ビット予測誤差がロスレス符号化されている場合、上位ビット復号部４０４から入力された上位ビット予測誤差と下位ビット逆量子化部２０７から入力された下位ビット予測誤差から予測誤差を再生する。一方、上位ビットロスレスブロック情報が０、すなわち上位ビット予測誤差がロッシー符号化されている場合、逆量子化逆変換部２０５から入力された上位ビット予測誤差のみから予測誤差を再生する。そして、再生された予測誤差と予測画像から再生画像を生成する。再生画像の生成処理には実施形態３の画像再生部３１１同様、（４）式で示されたような処理が用いられる。但し、これに限定されない。上位ビット予測誤差がロッシー符号化されている場合、下位ビット予測誤差ｒｌは０となっている。再生された画像データはフレームメモリ２０９に出力され格納される。同時に、再生された画像データは端子２１０から外部に出力される。
【０１１４】
図８は、実施形態４に係る画像復号装置における復号処理を示すフローチャートである。実施形態２の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【０１１５】
ステップＳ８２１にて、分離復号部４０２はブロック単位の情報をストリームから分離・復号し、上位ビットロスレスブロック情報を再生する。
【０１１６】
ステップＳ８２２にて、画像復号装置はステップＳ８２１にて生成された上位ビットロスレスブロック情報に基づいた判定を行う。上位ビットロスレスブロック情報が１、すなわち上位ビット予測誤差がロスレス符号化されている場合にはＳ８０３に進み、上位ビットロスレスブロック情報が０であり上位ビット予測誤差がロッシー符号化されている場合にはＳ６０３に進む。
【０１１７】
ステップＳ８０３にて、分離復号部４０２はビットストリームからブロック単位の符号化データとして上位ビット符号データを分離する。そして上位ビット復号部４０４では、分離された上位ビット符号データを復号し、上位ビット予測誤差を再生する。
【０１１８】
ステップＳ８０７にて、画像再生部４０８はフレームメモリ２０９を適宜参照して予測画像を生成する。そして生成された予測画像とステップＳ６０４で再生された上位ビット予測誤差から再生画像を生成し、フレームメモリ２０９に格納する。また、端子２１０から再生画像データを出力する。
【０１１９】
以上の構成と動作により、特にステップＳ８０７で、上位ビット予測誤差がロッシー符号化されている場合には下位ビット予測誤差を０として再生することにより、実施形態３で生成されたより圧縮効率の高いビットストリームを復号することができる。
【０１２０】
なお、本実施形態では、ステップＳ８０３、Ｓ６０５、Ｓ６０６の順序で復号処理のフローを説明したが、順序はこれに限らない。ステップＳ６０６がステップＳ６０５の後に実行されれば良く、並列処理をしても構わない。
【０１２１】
また、本実施形態では、上位ビット予測誤差がロスレス符号化されているか否かを下位ビット予測誤差の復号を行うかの判定の基準としたが、他の判定基準を用いても良い。例えば上位ビット予測誤差がロッシー符号化されている場合でも、上位ビット予測誤差に対する量子化スケールが所定の値よりも小さく、上位ビットの量子化誤差が十分に小さいと考えられる場合では、下位ビット予測誤差を復号することも可能である。そのような構成にしても本実施形態の効果である、より圧縮効率の高いビットストリームの復号は実現可能である。
【０１２２】
＜実施形態５＞
図１、図２、図３、図４に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
【０１２３】
図１２は、上記各実施形態に係る画像符号化装置・画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【０１２４】
ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像符号化装置・画像復号装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１２０１は、図１、図２、図３、図４に示した各処理部として機能することになる。
【０１２５】
ＲＡＭ１２０２は、外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
【０１２６】
ＲＯＭ１２０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１２０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１２０１に対して入力することができる。出力部１２０５は、ＣＰＵ１２０１による処理結果を表示する。また出力部１２０５は例えば液晶ディスプレイで構成される。
【０１２７】
外部記憶装置１２０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、図１、図２、図３、図４に示した各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１２０６には、処理対象としての各画像データが保存されていても良い。
【０１２８】
外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜、ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。Ｉ／Ｆ１２０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１２０７を介して様々な情報を取得したり、送出したりすることができる。１２０８は上述の各部を繋ぐバスである。
【０１２９】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１２０１が中心となってその制御を行う。
【０１３０】
＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【０１３１】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【０１３２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
2015019305.tif 000003
【図２】
2015019305.tif 000004
【図３】
2015019305.tif 000005
【図４】
2015019305.tif 000006
【図５】
2015019305.tif 000007
【図６】
2015019305.tif 000008
【図７】
2015019305.tif 000009
【図８】
2015019305.tif 000010
【図９】
2015019305.tif 000011
【図１０】
2015019305.tif 000012
【図１１】
2015019305.tif 000013
【図１２】
2015019305.tif 000014