(57)【要約】  符号化ブロックから生成された予測画像と符号化ブロックとの差分である予測残差画像から、優先対象の画素を含む優先成分Ｇ０を分離するとともに、非優先対象の画素を含む非優先成分Ｇ１，Ｇ２，Ｇ３を分離する成分分離部（７）を設け、変換量子化部（８）が、成分分離部（７）により分離された優先成分Ｇ０を第１の圧縮条件で圧縮し、成分分離部７により分離された非優先成分Ｇ１，Ｇ２，Ｇ３を第２の圧縮条件で圧縮するように構成する。
2018003008.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像から生成された予測画像と前記符号化対象の画像との差分である予測残差画像から、第１の抽出対象の画素を含む第１の成分を分離するとともに、第２の抽出対象の画素を含む第２の成分を分離する成分分離部と、
前記成分分離部により分離された第１の成分を第１の圧縮条件で圧縮し、前記成分分離部により分離された第２の成分を第２の圧縮条件で圧縮する圧縮部と、
前記圧縮部により圧縮された第１及び第２の成分を符号化して符号化データを生成する符号化部と
を備えた画像符号化装置。
【請求項２】
前記第１の圧縮条件は、第１の成分を圧縮する処理として、第１の成分の量子化処理を行う際に用いる第１の量子化ステップサイズを示し、
前記第２の圧縮条件は、第２の成分を圧縮する処理として、第２の成分の量子化処理を行う際に用いる第２の量子化ステップサイズを示し、
前記第１の量子化ステップサイズは、前記第２の量子化ステップサイズより低い量子化ステップサイズであり、
前記圧縮部は、前記成分分離部により分離された第１の成分を前記第１の量子化ステップサイズで量子化し、前記成分分離部により分離された第２の成分を前記第２の量子化ステップサイズで量子化することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記第１の圧縮条件は、第１の成分を圧縮する処理として行う量子化処理をスキップする条件であり、
前記第２の圧縮条件は、第２の成分を圧縮する処理として、第２の成分の量子化処理を行う際に用いる量子化ステップサイズを示し、
前記圧縮部は、前記第１の圧縮条件にしたがって前記成分分離部により分離された第１の成分に対する量子化処理をスキップし、前記成分分離部により分離された第２の成分を前記量子化ステップサイズで量子化することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記成分分離部は、前記予測画像が生成される際に実施されるイントラ予測の予測方向から、前記第１の抽出対象の画素と前記第２の抽出対象の画素とを決定して、前記予測残差画像から、前記第１の抽出対象の画素を含む第１の成分を分離するとともに、前記第２の抽出対象の画素を含む第２の成分を分離することを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記圧縮部により圧縮された第１の成分の圧縮を前記第１の圧縮条件で解除する圧縮解除部を備え、
前記圧縮部は、前記成分分離部により分離された第２の成分を圧縮する代わりに、前記圧縮解除部により圧縮が解除された第１の成分と前記成分分離部により分離された第２の成分との差分を前記第２の圧縮条件で圧縮し、
前記符号化部は、前記圧縮部により圧縮された第１の成分を符号化するとともに、第２の成分を符号化する代わりに、前記圧縮部により圧縮された差分を符号化して符号化データを生成することを特徴とする請求項１記載の画像符号化装置。
【請求項６】
符号化データから、圧縮されている第１及び第２の成分を復号する復号部と、
前記復号部により復号された第１の成分の圧縮を第１の圧縮条件で解除するとともに、前記復号部により復号された第２の成分の圧縮を第２の圧縮条件で解除する圧縮解除部と、
前記圧縮解除部により圧縮が解除された第１の成分と第２の成分を結合し、前記第１の成分と前記第２の成分の結合画像を出力する成分結合部と、
前記成分結合部より出力された結合画像から復号画像を算出して、前記復号画像を出力する復号画像出力部と
を備えた画像復号装置。
【請求項７】
前記第１の圧縮条件は、第１の成分の圧縮を解除する処理として、第１の成分の逆量子化処理を行う際に用いる第１の量子化ステップサイズを示し、
前記第２の圧縮条件は、第２の成分の圧縮を解除する処理として、第２の成分の逆量子化処理を行う際に用いる第２の量子化ステップサイズを示し、
前記第１の量子化ステップサイズは、前記第２の量子化ステップサイズより低い量子化ステップサイズであり、
前記圧縮解除部は、前記復号部から出力された第１の成分を前記第１の量子化ステップサイズで逆量子化し、前記復号部から出力された第２の成分を前記第２の量子化ステップサイズで逆量子化することを特徴とする請求項６記載の画像復号装置。
【請求項８】
前記第１の圧縮条件は、第１の成分の圧縮を解除する処理として行う逆量子化処理をスキップする条件であり、
前記第２の圧縮条件は、第２の成分の圧縮を解除する処理として、第２の成分の逆量子化処理を行う際に用いる量子化ステップサイズを示し、
前記圧縮解除部は、前記第１の圧縮条件にしたがって前記復号部から出力された第１の成分に対する量子化処理をスキップし、前記復号部から出力された第２の成分を前記量子化ステップサイズで逆量子化することを特徴とする請求項６記載の画像復号装置。
【請求項９】
前記成分結合部は、前記復号画像の予測画像が生成される際に実施されるイントラ予測の予測方向から、前記第１の抽出対象の画素と前記第２の抽出対象の画素とを決定し、その決定した結果にしたがって前記圧縮解除部により圧縮が解除された第１の成分と第２の成分を結合することを特徴とする請求項６記載の画像復号装置。
【請求項１０】
前記復号部は、前記符号化データから、圧縮されている第１の成分を復号するとともに、第２の成分を復号する代わりに、圧縮されている差分を復号し、
前記圧縮解除部は、前記復号部により復号された第１の成分の圧縮を前記第１の圧縮条件で解除するとともに、第２の成分の圧縮を解除する代わりに、前記復号部により復号された差分の圧縮を前記第２の圧縮条件で解除し、圧縮解除後の第１の成分と圧縮解除後の差分とから第２の成分を特定することを特徴とする請求項６記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を符号化する画像符号化装置と、画像を復号する画像復号装置とに関するものである。
【背景技術】
【０００２】
例えば、監視カメラや車載カメラなどで撮影された静止画像や動画像を圧縮して、静止画像や動画像のデータ量を低減する装置として、画像符号化装置がある。
画像符号化装置が用いる画像符号化方式として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、Ｈ．２６４やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２などの国際標準方式が存在する。【０００３】
これらの画像符号化方式は、動き補償予測処理、直交変換処理、可変長符号化処理などの要素技術の組み合わせによって高い符号化効率を実現している。
また、近年では、Ｈ．２６４やＭＰＥＧ−２よりも更に圧縮率が高いＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などの新しい画像符号化方式も登場している。
以下の特許文献１には、高い符号化効率を得る手段を備えた画像符号化装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１２７８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像符号化装置は以上のように構成されているので、高い圧縮率で画像を圧縮することができる。しかし、圧縮率の上昇に伴って画像にぼけが発生し、テクスチャが失われる傾向がある。監視カメラなどで撮影された画像から被写体を識別することが求められる用途では、画像にぼけが発生していると、画像の視認性や判読性が劣化してしまうという課題があった。【０００６】
この発明は上記のような課題を解決するためになされたもので、高い圧縮率で画像を圧縮しても、画像のぼけを抑えて、画像の視認性や判読性を維持することができる画像符号化装置を得ることを目的とする。
また、この発明は、上記の画像符号化装置により符号化された画像を復号することができる画像復号装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像符号化装置は、符号化対象の画像から生成された予測画像と符号化対象の画像との差分である予測残差画像から、第１の抽出対象の画素を含む第１の成分を分離するとともに、第２の抽出対象の画素を含む第２の成分を分離する成分分離部と、成分分離部により分離された第１の成分を第１の圧縮条件で圧縮し、成分分離部により分離された第２の成分を第２の圧縮条件で圧縮する圧縮部とを設け、符号化部が、圧縮部により圧縮された第１及び第２の成分を符号化して符号化データを生成するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、符号化対象の画像から生成された予測画像と符号化対象の画像との差分である予測残差画像から、第１の抽出対象の画素を含む第１の成分を分離するとともに、第２の抽出対象の画素を含む第２の成分を分離する成分分離部を設け、圧縮部が、成分分離部により分離された第１の成分を第１の圧縮条件で圧縮し、成分分離部により分離された第２の成分を第２の圧縮条件で圧縮するように構成したので、高い圧縮率で画像を圧縮しても、画像のぼけを抑えて、画像の視認性や判読性を維持することができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による画像符号化装置のハードウェア構成である。
【図３】画像符号化装置がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
【図４】画像符号化装置がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。
【図５】この発明の実施の形態１による画像復号装置を示す構成図である。
【図６】この発明の実施の形態１による画像復号装置のハードウェア構成である。
【図７】画像復号装置がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
【図８】画像復号装置がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。
【図９】成分分離部７による優先成分及び非優先成分の分離処理を示す説明図である。
【図１０】この発明の実施の形態２による画像符号化装置を示す構成図である。
【図１１】この発明の実施の形態２による画像復号装置を示す構成図である。
【図１２】この発明の実施の形態３による画像符号化装置を示す構成図である。
【図１３】この発明の実施の形態３による画像復号装置を示す構成図である。
【図１４】図１４Ａはイントラ予測の予測方向が横方向となる５つのモードである場合の優先成分及び非優先成分の一例を示す説明図、図１４Ｂはイントラ予測の予測方向が縦方向となる５つのモードである場合の優先成分及び非優先成分の一例を示す説明図、図１４Ｃはイントラ予測の予測方向が横方向及び縦方向以外の方向である場合の優先成分及び非優先成分の一例を示す説明図である。
【図１５】この発明の実施の形態４による画像符号化装置を示す構成図である。
【図１６】この発明の実施の形態４による画像復号装置を示す構成図である。
【図１７】逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と、非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇを求める処理を示す説明図である。
【図１８】逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と、非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇを求める処理を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図であり、図２はこの発明の実施の形態１による画像符号化装置のハードウェア構成である。
図１において、符号化制御部１は例えば図２の符号化制御回路２１で実現されるものであり、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部１は選択可能な１以上の符号化モードの中から、ブロック分割部２から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。
【００１２】
また、符号化制御部１は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部１は変換量子化部８及び逆量子化逆変換部９に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際に用いる量子化ステップサイズを示す第１及び第２の圧縮条件などが含まれる。
【００１３】
ブロック分割部２は例えば図２のブロック分割回路２２で実現されるものであり、画像データが入力される毎に、その画像データが示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロック（符号化対象の画像）に分割する処理を実施する。
切換スイッチ３は例えば図２の切換回路２３で実現されるものであり、符号化制御部１により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部２から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により決定された符号化モードがインター符号化モードであれば、ブロック分割部２から出力された符号化ブロックをインター予測部５に出力する処理を実施する。
【００１４】
イントラ予測部４は例えば図２のイントラ予測回路２４で実現されるものであり、切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部１によりイントラ符号化モードが選択された場合、イントラ予測用メモリ１１に格納されている局部復号画像を参照しながら、その符号化ブロックに対して、符号化制御部１により決定されたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
【００１５】
インター予測部５は例えば図２のインター予測回路２５で実現されるものであり、切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、その符号化ブロックとフレームメモリ１３に格納されている１フレーム以上の局部復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。
【００１６】
減算部６は例えば図２の減算回路２６で実現されるものであり、ブロック分割部２より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、インター予測部５により生成されたインター予測画像を減算して、その符号化ブロックとイントラ予測画像又はインター予測画像との差分である予測残差画像を出力する処理を実施する。
成分分離部７は例えば図２の成分分離回路２７で実現されるものであり、減算部６より出力された予測残差画像から、優先対象（第１の抽出対象）の画素を含む優先成分（第１の成分）を分離するとともに、非優先対象（第２の抽出対象）の画素を含む非優先成分（第２の成分）を分離する処理を実施する。
また、成分分離部７は予測残差画像から分離した優先成分を示す優先予測差分信号及び非優先成分を示す非優先予測差分信号を変換量子化部８に出力する処理を実施する。
【００１７】
変換量子化部８は例えば図２の変換量子化回路２８で実現されるものであり、成分分離部７から出力された優先予測差分信号が示す優先成分を第１の圧縮条件で圧縮し、成分分離部７から出力された非優先予測差分信号が示す非優先成分を第１の圧縮条件と異なる第２の圧縮条件で圧縮する圧縮部である。
即ち、変換量子化部８は符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、成分分離部７から出力された優先予測差分信号に対する直交変換処理を変換ブロック単位に実施して変換係数を算出するとともに、成分分離部７から出力された非優先予測差分信号に対する直交変換処理を変換ブロック単位に実施して変換係数を算出する処理を実施する。
また、変換量子化部８は符号化制御部１により決定された予測差分符号化パラメータに含まれる第１の圧縮条件を参照して、優先成分における変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化逆変換部９及び可変長符号化部１４に出力する処理を実施する。
また、変換量子化部８は符号化制御部１により決定された予測差分符号化パラメータに含まれる第２の圧縮条件を参照して、非優先成分における変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化逆変換部９及び可変長符号化部１４に出力する処理を実施する。
【００１８】
この実施の形態１では、符号化制御部１により決定される第１の圧縮条件は、優先成分を圧縮する処理として、優先成分の量子化処理を行う際に用いる第１の量子化ステップサイズを示している。
また、符号化制御部１により決定される第２の圧縮条件は、優先成分を圧縮する処理として、優先成分の量子化処理を行う際に用いる第２の量子化ステップサイズを示している。
この実施の形態１では、第１の量子化ステップサイズは、第２の量子化ステップサイズより低い量子化ステップサイズであるものとする。
なお、変換量子化部８により実施される直交変換処理として、例えば、離散コサイン変換や離散サイン変換など考えられる。
【００１９】
逆量子化逆変換部９は例えば図２の逆変換逆量子化回路２９で実現されるものであり、符号化制御部１により決定された予測差分符号化パラメータに含まれる第１の圧縮条件を参照して、変換ブロック単位に変換量子化部８から出力された優先成分の圧縮データを逆量子化するとともに、その予測差分符号化パラメータに含まれる第２の圧縮条件を参照して、変換ブロック単位に変換量子化部８から出力された非優先成分の圧縮データを逆量子化する処理を実施する。
また、逆量子化逆変換部９は符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、逆量子化後の優先成分の圧縮データである変換係数に対する逆直交変換処理を実施して、成分分離部７から出力された優先予測差分信号に相当する局部復号予測差分信号を算出する処理を実施する。
また、逆量子化逆変換部９は逆量子化後の非優先成分の圧縮データである変換係数に対する逆直交変換処理を実施して、成分分離部７から出力された非優先予測差分信号に相当する局部復号予測差分信号を算出する処理を実施する。
さらに、逆量子化逆変換部９は優先予測差分信号に相当する局部復号予測差分信号が示す画像と、非優先予測差分信号に相当する局部復号予測差分信号が示す画像とを合わせた画像を局部復号差分画像として、加算部１０に出力する処理を実施する。
【００２０】
加算部１０は例えば図２の加算回路３０で実現されるものであり、逆量子化逆変換部９から出力された局部復号差分画像と、イントラ予測部４により生成されたイントラ予測画像、または、インター予測部５により生成されたインター予測画像とを加算して、ブロック分割部２から出力された符号化ブロックに相当する局部復号画像を算出する処理を実施する。
【００２１】
イントラ予測用メモリ１１は例えば図２の画像記録回路３１で実現されるものであり、加算部１０により算出された局部復号画像を格納する。
ループフィルタ部１２は例えば図２のフィルタ回路３２で実現されるものであり、加算部１０により算出された局部復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局部復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するデブロッキングフィルタ処理、画素単位に適応的にオフセットを加算する画素適応オフセット処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
フレームメモリ１３は図２の画像記録回路３３で実現されるものであり、ループフィルタ部１２によるフィルタ処理後の局部復号画像を格納する。
【００２２】
可変長符号化部１４は例えば図２の可変長符号化回路３４で実現されるものであり、変換量子化部８から出力された優先成分の圧縮データ及び非優先成分の圧縮データと、符号化制御部１の出力信号と、インター予測部５により探索された動きベクトルとを可変長符号化して符号化データを生成し、その符号化データを符号ビット列として出力する符号化部である。
符号化制御部１の出力信号としては、最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータなどが考えられる。
インター予測部５により探索された動きベクトルは、符号化モードがインター符号化モードである場合に、可変長符号化部１４によって可変長符号化される。
【００２３】
図１では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７、変換量子化部８、逆量子化逆変換部９、加算部１０、イントラ予測用メモリ１１、ループフィルタ部１２、フレームメモリ１３及び可変長符号化部１４のそれぞれが、図２に示すような専用のハードウェア、即ち、符号化制御回路２１、ブロック分割回路２２、切換回路２３、イントラ予測回路２４、インター予測回路２５、減算回路２６、成分分離回路２７、変換量子化回路２８、逆変換逆量子化回路２９、加算回路３０、画像記録回路３１、フィルタ回路３２、画像記録回路３３及び可変長符号化回路３４で実現されるものを想定している。
【００２４】
ここで、画像記録回路３１，３３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などが該当する。
また、符号化制御回路２１、ブロック分割回路２２、切換回路２３、イントラ予測回路２４、インター予測回路２５、減算回路２６、成分分離回路２７、変換量子化回路２８、逆変換逆量子化回路２９、加算回路３０、フィルタ回路３２及び可変長符号化回路３４は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。
【００２５】
画像符号化装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェアやファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などが該当する。
図３は画像符号化装置がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像符号化装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ１１及びフレームメモリ１３をコンピュータのメモリ４１上に構成するとともに、符号化制御部１、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７、変換量子化部８、逆量子化逆変換部９、加算部１０、ループフィルタ部１２及び可変長符号化部１４の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納し、コンピュータのプロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図４は画像符号化装置がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。
【００２６】
また、図２では画像符号化装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、画像符号化装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像符号化装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
【００２７】
図５はこの発明の実施の形態１による画像復号装置を示す構成図であり、図６はこの発明の実施の形態１による画像復号装置のハードウェア構成である。
図５において、可変長復号部５１は例えば図６の可変長復号回路７１で実現されるものであり、図１の画像符号化装置から出力された符号ビット列である符号化データを可変長復号する復号部である。
即ち、可変長復号部５１は符号化データに含まれている最大符号化ブロック内のブロック分割情報を復号することで、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る優先成分の圧縮データ及び非優先成分の圧縮データと、符号化モードと、予測差分符号化パラメータと、イントラ予測パラメータ又はインター予測パラメータと、符号化モードがインター符号化モードであれば、動きベクトルとを可変長復号する処理を実施する。
可変長復号部５１は優先成分の圧縮データ及び非優先成分の圧縮データと、予測差分符号化パラメータとを逆量子化逆変換部５２に出力し、符号化モードと、イントラ予測パラメータ又はインター予測パラメータとを切換スイッチ５５に出力する処理を実施する。
可変長復号部５１は符号化モードがインター符号化モードであれば、動きベクトルも切換スイッチ５５に出力する。
【００２８】
逆量子化逆変換部５２は例えば図６の逆変換逆量子化回路７２で実現されるものであり、可変長復号部５１から出力された優先成分（第１の成分）の圧縮を第１の圧縮条件で解除するとともに、可変長復号部５１から出力された非優先成分（第２の成分）の圧縮を第２の圧縮条件で解除する圧縮解除部である。
即ち、逆量子化逆変換部５２は可変長復号部５１から出力された予測差分符号化パラメータに含まれる第１の圧縮条件を参照して、可変長復号部５１から出力された優先成分の圧縮データを変換ブロック単位に逆量子化するとともに、その予測差分符号化パラメータに含まれる第２の圧縮条件を参照して、可変長復号部５１から出力された非優先成分の圧縮データを変換ブロック単位に逆量子化する処理を実施する。
また、逆量子化逆変換部５２は逆量子化後の優先成分の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の成分分離部７から出力された優先予測差分信号に相当する局部復号予測差分信号を算出するとともに、逆量子化後の非優先成分の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の成分分離部７から出力された非優先予測差分信号に相当する局部復号予測差分信号を算出する処理を実施する。
【００２９】
成分結合部５３は例えば図６の成分結合回路７３で実現されるものであり、逆量子化逆変換部５２により算出された優先予測差分信号に相当する局部復号予測差分信号が示す画像と、非優先予測差分信号に相当する局部復号予測差分信号が示す画像とを結合し、その結合した画像（以下、「結合画像」と称する）を出力する処理を実施する。
【００３０】
復号画像出力部５４は成分結合部５３から出力された結合画像と予測画像を加算し、その結合画像と予測画像との加算画像である復号画像を出力する処理を実施する。
切換スイッチ５５は例えば図６の切換回路７４で実現されるものであり、可変長復号部５１から出力された符号化モードがイントラ符号化モードであれば、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５６に出力し、その符号化モードがインター符号化モードであれば、可変長復号部５１から出力されたインター予測パラメータ及び動きベクトルをインター予測部５７に出力する処理を実施する。
【００３１】
イントラ予測部５６は例えば図６のイントラ予測回路７５で実現されるものであり、切換スイッチ５５からイントラ予測パラメータが出力された場合、イントラ予測用メモリ５９に格納されている復号画像を参照しながら、そのイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
インター予測部５７は例えば図６のインター予測回路７６で実現されるものであり、切換スイッチ５５からインター予測パラメータ及び動きベクトルが出力された場合、フレームメモリ６１に格納されている復号画像を参照しながら、そのインター予測パラメータ及び動きベクトルを用いたインター予測処理を実施してインター予測画像を生成する処理を実施する。
【００３２】
加算部５８は例えば図６の加算回路７７で実現されるものであり、成分結合部５３から出力された結合画像とイントラ予測部５６により生成されたイントラ予測画像、または、インター予測部５７により生成されたインター予測画像とを加算して、図１の加算部１０から出力された局部復号画像に相当する復号画像を算出する処理を実施する。
イントラ予測用メモリ５９は例えば図６の画像記録回路７８で実現されるものであり、加算部５８により算出された復号画像を格納する。
【００３３】
ループフィルタ部６０は例えば図６のフィルタ回路７９で実現されるものであり、加算部５８により算出された復号画像に対して、図１のループフィルタ部１２と同様のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
フレームメモリ６１は図６の画像記録回路８０で実現されるものであり、ループフィルタ部６０によるフィルタ処理後の復号画像を格納する。
【００３４】
図５では、画像復号装置の構成要素である可変長復号部５１、逆量子化逆変換部５２、成分結合部５３、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８、イントラ予測用メモリ５９、ループフィルタ部６０及びフレームメモリ６１のそれぞれが、図６に示すような専用のハードウェア、即ち、可変長復号回路７１、逆変換逆量子化回路７２、成分結合回路７３、切換回路７４、イントラ予測回路７５、インター予測回路７６、加算回路７７、画像記録回路７８、フィルタ回路７９及び画像記録回路８０で実現されるものを想定している。
【００３５】
ここで、画像記録回路７８，８０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
また、可変長復号部５１、逆量子化逆変換部５２、成分結合部５３、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８及びループフィルタ部６０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。
【００３６】
画像復号装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
図７は画像復号装置がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像復号装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ５９及びフレームメモリ６１をコンピュータのメモリ９１上に構成するとともに、可変長復号部５１、逆量子化逆変換部５２、成分結合部５３、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８及びループフィルタ部６０の処理手順をコンピュータに実行させるためのプログラムをメモリ９１に格納し、コンピュータのプロセッサ９２がメモリ９１に格納されているプログラムを実行するようにすればよい。
図８は画像復号装置がソフトウェアやファームウェアなどで実現される場合の処理手順を示すフローチャートである。
【００３７】
また、図６では画像復号装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図７では、画像復号装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像復号装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
【００３８】
次に動作について説明する。
最初に、画像符号化装置の動作について説明する。
符号化制御部１は、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部１は、選択可能な１以上の符号化モード、即ち、予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モードや、予測ブロックのサイズなどが異なる１以上のインター符号化モードの中から、ブロック分割部２から出力される符号化ブロックに適用する符号化モードを選択する。
選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部２から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
【００３９】
また、符号化制御部１は、符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する。
さらに、符号化制御部１は、変換量子化部８及び逆量子化逆変換部９に与える予測差分符号化パラメータを決定する。
予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際に用いる量子化ステップサイズを示す第１及び第２の圧縮条件が含まれる。
この実施の形態１では、符号化制御部１により決定される第１の圧縮条件が示す第１の量子化ステップサイズは、第２の圧縮条件が示す第２の量子化ステップサイズより低いサイズであるものとする。
【００４０】
ブロック分割部２は、画像データが入力される毎に、その画像データが示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックに分割し、各々の符号化ブロックを切換スイッチ３及び減算部６に出力する（図４のステップＳＴ１）。
切換スイッチ３は、符号化制御部１により決定された符号化モードがイントラ符号化モードであれば（ステップＳＴ２：ＹＥＳの場合）、ブロック分割部２から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により決定された符号化モードがインター符号化モードであれば（ステップＳＴ２：ＮＯの場合）、ブロック分割部２から出力された符号化ブロックをインター予測部５に出力する。
【００４１】
イントラ予測部４は、符号化制御部１によりイントラ符号化モードが選択されている場合、切換スイッチ３から符号化ブロックを受けると、イントラ予測用メモリ１１に格納されている局部復号画像を参照しながら、その符号化ブロックに対して、符号化制御部１により決定されたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する（ステップＳＴ３）。イントラ予測処理によるイントラ予測画像の生成処理自体は、公知の技術であるため詳細な説明は省略する。
【００４２】
インター予測部５は、符号化制御部１によりインター符号化モードが選択されている場合、切換スイッチ３から符号化ブロックを受けると、その符号化ブロックとフレームメモリ１３に格納されている１フレーム以上の局部復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成する（ステップＳＴ４）。動きベクトルの探索処理や、インター予測処理によるインター予測画像の生成処理自体は、公知の技術であるため詳細な説明は省略する。
【００４３】
減算部６は、符号化制御部１によりイントラ符号化モードが選択されて、イントラ予測部４によりイントラ予測画像が生成されている場合、ブロック分割部２より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像を減算することで、その符号化ブロックとイントラ予測画像との差分である予測残差画像を求め、その予測残差画像を成分分離部７に出力する（ステップＳＴ５）。
減算部６は、符号化制御部１によりインター符号化モードが選択されて、インター予測部５によりインター予測画像が生成されている場合、ブロック分割部２より出力された符号化ブロックから、インター予測部５により生成されたインター予測画像を減算することで、その符号化ブロックとインター予測画像との差分である予測残差画像を求め、その予測残差画像を成分分離部７に出力する（ステップＳＴ６）。
【００４４】
成分分離部７は、減算部６から予測残差画像を受けると、その予測残差画像から、優先対象の画素を含む優先成分を分離するとともに、非優先対象の画素を含む非優先成分を分離する（図４のステップＳＴ７）。
ここで、図９は成分分離部７による優先成分及び非優先成分の分離処理を示す説明図である。
図９の例では、予測残差画像を構成している複数の画素のうち、図中、左上の画素を基準として、一番上側の行の画素を０行目の画素、即ち、偶数行の画素としている。また、一番左側の列の画素を０列目の画素、即ち、偶数列の画素としている。
このため、予測残差画像の左側から（２×ｎ＋１）番目の行位置にある画素が偶数行の画素であり、左側から（２×ｎ＋２）番目の行位置にある画素が奇数行の画素である。ｎ＝０，１，２・・・である。
また、予測残差画像の上側から（２×ｎ＋１）番目の列位置にある画素が偶数列の画素であり、上側から（２×ｎ＋２）番目の列位置にある画素が奇数列の画素である。ｎ＝０，１，２・・・である。
図９では、予測残差画像を構成している複数の画素のうち、偶数行かつ偶数列の画素が、優先対象の画素である例を示している。
また、図９では、予測残差画像を構成している複数の画素のうち、偶数行かつ奇数列の画素と、奇数行かつ偶数列の画素と、奇数行かつ奇数列の画素とが、非優先対象の画素である例を示している。
【００４５】
したがって、図９の例では、成分分離部７により分離される優先成分Ｇ０は、予測残差画像を構成している複数の画素の中から、偶数行かつ偶数列の画素がそれぞれ抽出された画素群となる。
また、成分分離部７により分離される非優先成分Ｇ１は、予測残差画像を構成している複数の画素の中から、偶数行かつ奇数列の画素がそれぞれ抽出された画素群となり、非優先成分Ｇ２は、予測残差画像を構成している複数の画素の中から、奇数行かつ偶数列の画素がそれぞれ抽出された画素群となる。また、非優先成分Ｇ３は、予測残差画像を構成している複数の画素の中から、奇数行かつ奇数列の画素がそれぞれ抽出された画素群となる。
【００４６】
ここでは、予測残差画像を構成している複数の画素のうち、偶数行かつ偶数列の画素が、優先対象の画素である例を示しているが、これに限るものではなく、例えば、偶数行かつ奇数列の画素が、優先対象の画素であるとしてもよいし、奇数行かつ偶数列の画素が、優先対象の画素であるとしてもよいし、奇数行かつ奇数列の画素が、優先対象の画素であるとしてもよい。
また、予測残差画像を構成している複数の画素の行番号を４で除算し、例えば、除算の余りｒが０の画素を、優先対象の画素としてもよい。この場合も、ｒ＝０の画素を優先対象の画素とするものに限るものではなく、ｒ＝１、ｒ＝２、または、ｒ＝３の画素を優先対象の画素とするものであってもよい。
また、予測残差画像を構成している複数の画素の列番号を４で除算し、例えば、除算の余りｒが０の画素を、優先対象の画素としてもよい。この場合も、ｒ＝０の画素を優先対象の画素とするものに限るものではなく、ｒ＝１、ｒ＝２、または、ｒ＝３の画素を優先対象の画素とするものであってもよい。
【００４７】
また、ここでは、予測残差画像が成分分離部７によって４分割されて、１つの優先成分Ｇ０と、３つの非優先成分Ｇ１，Ｇ２，Ｇ３とが得られる例を示しているが、これに限るものではなく、例えば、予測残差画像が８分割や１６分割されるものであってもよい。
この場合、予測残差画像を構成している複数の画素の行番号又は列番号を分割数Ｓで除算し、除算の余りｒで、優先対象の画素を決めるようにしてもよい。
【００４８】
成分分離部７は、予測残差画像から優先成分Ｇ０と非優先成分Ｇ１，Ｇ２，Ｇ３を分離すると、その優先成分Ｇ０を示す優先予測差分信号及び非優先成分Ｇ１，Ｇ２，Ｇ３を示す非優先予測差分信号を変換量子化部８に出力する。
成分分離部７は、例えば、偶数行かつ偶数列の画素を含む優先成分Ｇ０を示す優先予測差分信号、偶数行かつ奇数列の画素を含む非優先成分Ｇ１を示す非優先予測差分信号、奇数行かつ偶数列の画素を含む非優先成分Ｇ２を示す非優先予測差分信号、奇数行かつ奇数列の画素を含む非優先成分Ｇ３を示す非優先予測差分信号の順番に変換量子化部８に出力する。
【００４９】
変換量子化部８は、成分分離部７から優先成分Ｇ０を示す優先予測差分信号を受けると、その優先予測差分信号が示す優先成分Ｇ０を符号化制御部１により決定された第１の圧縮条件で圧縮して、優先成分Ｇ０の圧縮データを出力する（ステップＳＴ８）。
また、変換量子化部８は、成分分離部７から非優先成分Ｇ１，Ｇ２，Ｇ３を示す非優先予測差分信号を受けると、その非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３を第２の圧縮条件で圧縮して、非優先成分の圧縮データを出力する（ステップＳＴ９）。
即ち、変換量子化部８は、符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、成分分離部７から出力された優先予測差分信号に対する直交変換処理を変換ブロック単位に実施して変換係数を算出する。
また、変換量子化部８は、符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、成分分離部７から出力された非優先予測差分信号に対する直交変換処理を変換ブロック単位に実施して変換係数を算出する。
直交変換処理を実施することによる変換係数の算出処理自体は、公知の技術であるため詳細な説明は省略する。
【００５０】
次に、変換量子化部８は、優先成分Ｇ０における変換ブロック単位の変換係数を第１の圧縮条件が示す第１の量子化ステップサイズで量子化し、量子化後の変換係数である圧縮データを逆量子化逆変換部９及び可変長符号化部１４に出力する。
また、変換量子化部８は、非優先成分Ｇ１，Ｇ２，Ｇ３における変換ブロック単位の変換係数を第２の圧縮条件が示す第２の量子化ステップサイズで量子化し、量子化後の変換係数である圧縮データを逆量子化逆変換部９及び可変長符号化部１４に出力する。
変換ブロック単位の変換係数を量子化する処理自体は、公知の技術であるため詳細な説明は省略する。
【００５１】
ここで、第１の圧縮条件が示す第１の量子化ステップサイズは、上述したように、第２の圧縮条件が示す第２の量子化ステップサイズより低いサイズである。
即ち、この実施の形態１では、優先成分Ｇ０に対する第１の量子化ステップサイズは、定常的に小さい量子化ステップサイズが設定され、非優先成分Ｇ１，Ｇ２，Ｇ３に対する第２の量子化ステップサイズは、目標の圧縮率に応じて適応的変更されることを想定している。
したがって、非優先成分Ｇ１，Ｇ２，Ｇ３に対する圧縮率が高い場合でも、優先成分Ｇ０は高精細に符号化されるため、優先対象の画素についてはテクスチャが保持される。
図９の分割例では、優先対象の画素が１画素おきであるため、少なくとも１画素おきにテクスチャが保持される。これにより、画像全体がぼけてテクスチャが完全に失われることを防ぐことができる。
【００５２】
逆量子化逆変換部９は、変換量子化部８から優先成分Ｇ０の圧縮データを受けると、変換ブロック単位に優先成分Ｇ０の圧縮データを第１の圧縮条件が示す第１の量子化ステップサイズで逆量子化する。
逆量子化逆変換部９は、変換量子化部８から非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データを受けると、変換ブロック単位に非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データを第２の圧縮条件が示す第２の量子化ステップサイズで逆量子化する。
変換ブロック単位の圧縮データを逆量子化する処理自体は、公知の技術であるため詳細な説明は省略する。
【００５３】
また、逆量子化逆変換部９は、符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、逆量子化後の優先成分Ｇ０の圧縮データである変換係数に対する逆直交変換処理を実施することで、成分分離部７から出力された優先予測差分信号に相当する局部復号予測差分信号を算出する。
逆量子化逆変換部９は、符号化制御部１により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、逆量子化後の非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データである変換係数に対する逆直交変換処理を実施することで、成分分離部７から出力された非優先予測差分信号に相当する局部復号予測差分信号を算出する。
逆直交変換処理を実施することによる局部復号予測差分信号の算出処理自体は、公知の技術であるため詳細な説明は省略する。
逆量子化逆変換部９は、優先予測差分信号に相当する局部復号予測差分信号が示す画像と、非優先予測差分信号に相当する局部復号予測差分信号が示す画像とを合わせた画像を局部復号差分画像として、加算部１０に出力する。
【００５４】
加算部１０は、逆量子化逆変換部９から出力された局部復号差分画像と、イントラ予測部４により生成されたイントラ予測画像、または、インター予測部５により生成されたインター予測画像とを加算して、ブロック分割部２から出力された符号化ブロックに相当する局部復号画像を算出し、その局部復号画像をイントラ予測用メモリ１１に格納する。
また、加算部１０は、その局部復号画像をループフィルタ部１２に出力する。
ループフィルタ部１２は、加算部１０から局部復号画像を受けると、その局部復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局部復号画像をフレームメモリ１３に格納する。フィルタ処理自体は、公知の技術であるため詳細な説明は省略する。
【００５５】
可変長符号化部１４は、変換量子化部８から出力された優先成分Ｇ０の圧縮データ及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データと、符号化制御部１の出力信号と、インター予測部５により探索された動きベクトルとを可変長符号化して符号化データを生成し、その符号化データを符号ビット列として出力する（図４のステップＳＴ１０）。
符号化制御部１の出力信号としては、最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータなどが考えられる。
インター予測部５により探索された動きベクトルは、符号化モードがインター符号化モードである場合に、可変長符号化部１４によって可変長符号化される。
【００５６】
図９の例では、予測残差画像が、１つの優先成分Ｇ０と３つの非優先成分Ｇ１，Ｇ２，Ｇ３の合計４つのブロックに分かれて符号化されることになるが、分割された各ブロックにおける符号化データの記述は、例えば、ＨＥＶＣのＲＱＴ（Ｒｅｓｉｄｕａｌ Ｑｕａｄ−Ｔｒｅｅ）に準じた方法で行うことができる。即ち、ＨＥＶＣでは、符号化の単位として定義されたブロックＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）に対し、そのブロックＣＵを４等分した単位の変換ブロックＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）を定義することができるが、符号ビット列のデータ構造については、これと同様のものを用いることができる。
そのため、ＨＥＶＣ等の画像符号化プログラムの簡易な変更により、図１の画像符号化装置を簡易に実現することができる。
【００５７】
この実施の形態１では、可変長符号化部１４が、優先成分Ｇ０の圧縮データ及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データに対して、可変長符号化を実施する順番、即ち、可変長符号化部１４から出力される符号化ビット列に含まれる優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の符号化データの順番が、図５の画像復号装置では既知であるものとする。このため、符号化ビット列に含まれる優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の符号化データの順番を示す情報を符号化する必要がなく、冗長な符号の発生を抑えることができる。ただし、符号化データの順番を示す情報を符号化すれば、図５の画像復号装置が事前に順番を知っておく必要がなくなる。
【００５８】
この実施の形態１では、可変長符号化部１４が、変換係数の量子化を行う際に用いる第１及び第２の量子化ステップサイズを示す第１及び第２の圧縮条件が含まれる予測差分符号化パラメータを可変長符号化する例を示しているが、画像符号化方式が例えばＨＥＶＣであれば、この予測差分符号化パラメータを、ピクチャパラメータセットなどのパラメータ群の一要素として定義することで、冗長な符号の発生を抑えるようにしてもよい。
【００５９】
次に画像復号装置の動作について説明する。
可変長復号部５１は、図１の画像符号化装置から符号ビット列を受けると、その符号ビット列を可変長復号する（図８のステップＳＴ２１）。
即ち、可変長復号部５１は、符号ビット列に含まれている最大符号化ブロック内のブロック分割情報を復号することで、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る優先成分Ｇ０の圧縮データ及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データと、符号化モードと、予測差分符号化パラメータと、イントラ予測パラメータ又はインター予測パラメータと、符号化モードがインター符号化モードであれば、動きベクトルとを可変長復号する。
可変長復号部５１は、優先成分Ｇ０の圧縮データ及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データと、予測差分符号化パラメータとを逆量子化逆変換部５２に出力し、符号化モードと、イントラ予測パラメータ又はインター予測パラメータとを切換スイッチ５５に出力する。
可変長復号部５１は、符号化モードがインター符号化モードであれば、動きベクトルも切換スイッチ５５に出力する。
【００６０】
予測差分符号化パラメータに含まれている第１の圧縮条件が示す第１の量子化ステップサイズは、優先成分Ｇ０の量子化処理に用いる量子化ステップサイズを示しているが、優先成分Ｇ０の圧縮データの逆量子化処理に用いる量子化ステップサイズに対応している。
また、予測差分符号化パラメータに含まれている第２の圧縮条件が示す第２の量子化ステップサイズは、非優先成分Ｇ１，Ｇ２，Ｇ３の量子化処理に用いる量子化ステップサイズを示しているが、非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データの逆量子化処理に用いる量子化ステップサイズに対応している。
【００６１】
逆量子化逆変換部５２は、可変長復号部５１から出力された優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮を解除する（ステップＳＴ２２）。
即ち、逆量子化逆変換部５２は、可変長復号部５１から優先成分Ｇ０の圧縮データを受けると、可変長復号部５１から出力された予測差分符号化パラメータに含まれる第１の圧縮条件を参照し、図１の逆量子化逆変換部９と同様に、変換ブロック単位に優先成分Ｇ０の圧縮データを第１の圧縮条件が示す第１の量子化ステップサイズで逆量子化する。
逆量子化逆変換部５２は、可変長復号部５１から非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データを受けると、可変長復号部５１から出力された予測差分符号化パラメータに含まれる第２の圧縮条件を参照し、図１の逆量子化逆変換部９と同様に、変換ブロック単位に非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データを第２の圧縮条件が示す第２の量子化ステップサイズで逆量子化する。
【００６２】
また、逆量子化逆変換部５２は、可変長復号部５１から出力された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、逆量子化後の優先成分Ｇ０の圧縮データである変換係数に対する逆直交変換処理を実施することで、図１の成分分離部７から出力された優先予測差分信号に相当する局部復号予測差分信号（以下、「優先成分に係る局部復号予測差分信号」と称する）を算出し、優先成分Ｇ０に係る局部復号予測差分信号を成分結合部５３に出力する。
逆量子化逆変換部５２は、可変長復号部５１から出力された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、逆量子化後の非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データである変換係数に対する逆直交変換処理を実施することで、図１の成分分離部７から出力された非優先予測差分信号に相当する局部復号予測差分信号（以下、「非優先成分に係る局部復号予測差分信号」と称する）を算出し、非優先成分Ｇ１，Ｇ２，Ｇ３に係る局部復号予測差分信号を成分結合部５３に出力する。
【００６３】
成分結合部５３は、逆量子化逆変換部５２から出力された優先成分Ｇ０に係る局部復号予測差分信号が示す画像と、非優先成分Ｇ１，Ｇ２，Ｇ３に係る局部復号予測差分信号が示す画像とを結合し、その結合した画像である結合画像を加算部５８に出力する（ステップＳＴ２３）。
即ち、成分結合部５３は、図９に示すように、優先成分Ｇ０に含まれている優先対象の画素を、結合画像における偶数行かつ偶数列の位置に配置する。
また、成分結合部５３は、非優先成分Ｇ１に含まれている非優先対象の画素を、結合画像における偶数行かつ奇数列の位置に配置し、非優先成分Ｇ２に含まれている優先対象の画素を、結合画像における奇数行かつ偶数列の位置に配置する。また、非優先成分Ｇ３に含まれている非優先対象の画素を、結合画像における奇数行かつ奇数列の位置に配置する。
【００６４】
切換スイッチ５５は、可変長復号部５１から出力された符号化モードがイントラ符号化モードであれば、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５６に出力し、その符号化モードがインター符号化モードであれば、可変長復号部５１から出力されたインター予測パラメータ及び動きベクトルをインター予測部５７に出力する。
【００６５】
イントラ予測部５６は、切換スイッチ５５からイントラ予測パラメータを受けると、イントラ予測用メモリ５９に格納されている復号画像を参照しながら、図１のイントラ予測部４と同様に、そのイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する。
インター予測部５７は、切換スイッチ５５からインター予測パラメータ及び動きベクトルを受けると、フレームメモリ６１に格納されている復号画像を参照しながら、図１のインター予測部５と同様に、そのインター予測パラメータ及び動きベクトルを用いたインター予測処理を実施してインター予測画像を生成する。
【００６６】
加算部５８は、成分結合部５３から出力された結合画像とイントラ予測部５６により生成されたイントラ予測画像、または、インター予測部５７により生成されたインター予測画像とを加算することで、図１の加算部１０から出力された局部復号画像に相当する復号画像を算出し、その復号画像をイントラ予測用メモリ５９に格納する（図８のステップＳＴ２４）。
また、加算部５８は、その復号画像をループフィルタ部６０に出力する。
ループフィルタ部６０は、加算部５８から復号画像を受けると、その復号画像に対して、図１のループフィルタ部１２と同様のフィルタ処理を実施して、フィルタ処理後の復号画像をフレームメモリ６１に格納するとともに、フィルタ処理後の復号画像を外部に出力する。
【００６７】
以上で明らかなように、この実施の形態１の画像符号化装置によれば、符号化ブロックから生成された予測画像と符号化ブロックとの差分である予測残差画像から、優先対象の画素を含む優先成分Ｇ０を分離するとともに、非優先対象の画素を含む非優先成分Ｇ１，Ｇ２，Ｇ３を分離する成分分離部７を設け、変換量子化部８が、成分分離部７により分離された優先成分Ｇ０を第１の圧縮条件で圧縮し、成分分離部７により分離された非優先成分Ｇ１，Ｇ２，Ｇ３を第２の圧縮条件で圧縮するように構成したので、高い圧縮率で画像を圧縮しても、画像のぼけを抑えて、画像の視認性や判読性を維持することができる効果を奏する。
【００６８】
また、この実施の形態１の画像復号装置によれば、可変長復号部５１から出力された優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮を解除する逆量子化逆変換部５２と、逆量子化逆変換部５２により圧縮が解除された優先成分Ｇ０と非優先成分Ｇ１，Ｇ２，Ｇ３を結合し、優先成分Ｇ０と非優先成分Ｇ１，Ｇ２，Ｇ３の結合画像を出力する成分結合部５３とを備えるように構成したので、図１の画像符号化装置により符号化された画像を復号することができる効果を奏する。
【００６９】
実施の形態２．
上記実施の形態１では、変換量子化部８が、成分分離部７により分離された優先成分Ｇ０を第１の圧縮条件で圧縮し、成分分離部７により分離された非優先成分Ｇ１，Ｇ２，Ｇ３を第２の圧縮条件で圧縮する例を示したが、この実施の形態２では、第１の圧縮条件が、量子化処理をスキップする条件であり、変換量子化部８が、成分分離部７により分離された優先成分Ｇ０に対する量子化処理をスキップするものについて説明する。
【００７０】
図１０はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図１０において、図１と同一符号は同一または相当部分を示すので説明を省略する。
符号化制御部１ａは例えば図２の符号化制御回路２１で実現されるものであり、図１の符号化制御部１と同様に、符号化ブロックのサイズの決定処理や符号化モードの選択処理などを実施するが、予測差分符号化パラメータに含まれる圧縮条件の決定処理だけが、図１の符号化制御部１と異なっている。
即ち、符号化制御部１ａは非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮に用いる第２の圧縮条件が示す量子化ステップサイズについては図１の符号化制御部１と同様に決定するが、優先成分Ｇ０の圧縮に用いる第１の圧縮条件として、量子化処理をスキップする条件を決定する点で相違している。
【００７１】
変換量子化部８ａは例えば図２の変換量子化回路２８で実現されるものであり、図１の変換量子化部８と同様に、成分分離部７から出力された優先予測差分信号が示す優先成分Ｇ０を第１の圧縮条件で圧縮し、成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３を第２の圧縮条件で圧縮する処理を実施する。
ただし、変換量子化部８ａは、符号化制御部１ａにより決定された第１の圧縮条件が、量子化処理をスキップする条件であるため、図１の変換量子化部８と異なり、成分分離部７から出力された優先予測差分信号に対する直交変換処理を変換ブロック単位に実施して変換係数を算出するだけで、その変換係数を量子化する処理を実施せずに、その変換係数を圧縮データとして、逆量子化逆変換部９ａ及び可変長符号化部１４に出力する。
【００７２】
逆量子化逆変換部９ａは例えば図２の逆変換逆量子化回路２９で実現されるものであり、図１の逆量子化逆変換部９と同様に、優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮を解除する処理を実施する。
ただし、逆量子化逆変換部９ａは、符号化制御部１ａにより決定された第１の圧縮条件が、量子化処理をスキップする条件であるため、図１の逆量子化逆変換部９と異なり、変換量子化部８ａから出力された優先成分Ｇ０の圧縮データを逆量子化する処理を実施せずに、その優先成分Ｇ０の圧縮データである変換係数に対する逆直交変換処理を実施して、成分分離部７から出力された優先予測差分信号に相当する局部復号予測差分信号を算出する。
【００７３】
図１０では、画像符号化装置の構成要素である符号化制御部１ａ、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７、変換量子化部８ａ、逆量子化逆変換部９ａ、加算部１０、イントラ予測用メモリ１１、ループフィルタ部１２、フレームメモリ１３及び可変長符号化部１４のそれぞれが、図２に示すような専用のハードウェア、即ち、符号化制御回路２１、ブロック分割回路２２、切換回路２３、イントラ予測回路２４、インター予測回路２５、減算回路２６、成分分離回路２７、変換量子化回路２８、逆変換逆量子化回路２９、加算回路３０、画像記録回路３１、フィルタ回路３２、画像記録回路３３及び可変長符号化回路３４で実現されるものを想定している。
【００７４】
ただし、画像符号化装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像符号化装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ１１及びフレームメモリ１３を図３に示すコンピュータのメモリ４１上に構成するとともに、符号化制御部１ａ、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７、変換量子化部８ａ、逆量子化逆変換部９ａ、加算部１０、ループフィルタ部１２及び可変長符号化部１４の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納し、コンピュータのプロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
【００７５】
図１１はこの発明の実施の形態２による画像復号装置を示す構成図であり、図１１において、図５と同一符号は同一または相当部分を示すので説明を省略する。
逆量子化逆変換部５２ａは例えば図６の逆変換逆量子化回路７２で実現されるものであり、図５の逆量子化逆変換部５２と同様に、可変長復号部５１から出力された優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮を解除する処理を実施する。
ただし、逆量子化逆変換部５２ａは、可変長復号部５１により復号された第１の圧縮条件が、量子化処理をスキップする条件であると同時に、逆量子化処理をスキップする条件であるため、図５の逆量子化逆変換部５２と異なり、可変長復号部５１から出力された優先成分Ｇ０の圧縮データを逆量子化する処理を実施せずに、その優先成分Ｇ０の圧縮データである変換係数に対する逆直交変換処理を実施して、図１１の成分分離部７から出力された優先予測差分信号に相当する局部復号予測差分信号を算出する処理を実施する。
【００７６】
図１１では、画像復号装置の構成要素である可変長復号部５１、逆量子化逆変換部５２ａ、成分結合部５３、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８、イントラ予測用メモリ５９、ループフィルタ部６０及びフレームメモリ６１のそれぞれが、図６に示すような専用のハードウェア、即ち、可変長復号回路７１、逆変換逆量子化回路７２、成分結合回路７３、切換回路７４、イントラ予測回路７５、インター予測回路７６、加算回路７７、画像記録回路７８、フィルタ回路７９及び画像記録回路８０で実現されるものを想定している。
【００７７】
ただし、画像復号装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像復号装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ５９及びフレームメモリ６１を図７に示すコンピュータのメモリ９１上に構成するとともに、可変長復号部５１、逆量子化逆変換部５２ａ、成分結合部５３、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８及びループフィルタ部６０の処理手順をコンピュータに実行させるためのプログラムをメモリ９１に格納し、コンピュータのプロセッサ９２がメモリ９１に格納されているプログラムを実行するようにすればよい。
【００７８】
次に動作について説明する。
最初に、画像符号化装置の動作について説明する。
符号化制御部１ａ、変換量子化部８ａ及び逆量子化逆変換部９ａ以外は、上記実施の形態１と同様であるため詳細な説明を省略する。
符号化制御部１ａは、図１の符号化制御部１と同様に、符号化ブロックのサイズの決定処理や符号化モードの選択処理などを実施する。
ただし、符号化制御部１ａは、図１の符号化制御部１と異なり、優先成分Ｇ０の圧縮に用いる第１の圧縮条件として、量子化処理をスキップする条件を決定する。
非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮に用いる第２の圧縮条件が示す量子化ステップサイズについては図１の符号化制御部１と同様に決定する。
【００７９】
変換量子化部８ａは、成分分離部７から優先成分Ｇ０を示す優先予測差分信号を受けると、その優先予測差分信号が示す優先成分Ｇ０を符号化制御部１ａにより決定された第１の圧縮条件で圧縮して、優先成分Ｇ０の圧縮データを逆量子化逆変換部９ａ及び可変長符号化部１４に出力する。
即ち、変換量子化部８ａは、符号化制御部１ａにより決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、成分分離部７から出力された優先予測差分信号に対する直交変換処理を変換ブロック単位に実施して変換係数を算出する。
変換量子化部８ａは、符号化制御部１ａにより決定された第１の圧縮条件が、量子化処理をスキップする条件であるため、直交変換処理を実施して算出した変換係数を量子化する処理を実施せずに、その変換係数を圧縮データとして、逆量子化逆変換部９ａ及び可変長符号化部１４に出力する。
これにより、量子化処理に伴う情報落ちがない変換係数が可変長符号化部１４で可変長符号化されるため、優先成分Ｇ０がロスレスで符号化されるようになる。
変換量子化部８ａは、成分分離部７から優先成分Ｇ０を示す非優先予測差分信号を受けると、図１の変換量子化部８と同様に、非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３を符号化制御部１ａにより決定された第２の圧縮条件で圧縮して、非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データを逆量子化逆変換部９ａ及び可変長符号化部１４に出力する。
【００８０】
次に、画像復号装置の動作について説明する。
逆量子化逆変換部５２ａ以外は、上記実施の形態１と同様であるため詳細な説明を省略する。
逆量子化逆変換部５２ａは、可変長復号部５１から優先成分Ｇ０の圧縮データを受けると、可変長復号部５１により復号された第１の圧縮条件が、量子化処理をスキップする圧縮条件であると同時に、逆量子化処理をスキップする条件であるため、図５の逆量子化逆変換部５２と異なり、可変長復号部５１から出力された優先成分Ｇ０の圧縮データを逆量子化する処理を実施せずに、その優先成分Ｇ０の圧縮データである変換係数に対する逆直交変換処理を実施して、図１１の成分分離部７から出力された優先予測差分信号に相当する局部復号予測差分信号を算出する。
逆量子化逆変換部５２ａは、可変長復号部５１から非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データを受けると、図５の逆量子化逆変換部５２と同様に、可変長復号部５１から出力された予測差分符号化パラメータに含まれる第２の圧縮条件を参照して、非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮を解除する。
【００８１】
以上で明らかなように、この実施の形態２の画像符号化装置によれば、変換量子化部８ａが、直交変換処理を実施して算出した変換係数を量子化する処理を実施せずに、その変換係数を圧縮データとして、逆量子化逆変換部９ａ及び可変長符号化部１４に出力するように構成したので、高い圧縮率で画像を圧縮しても、画像のぼけを抑えて、画像の視認性や判読性を維持することができる効果を奏する。
また、優先成分Ｇ０がロスレスで符号化されるため、上記実施の形態１よりも、さらに画像のぼけを抑えることができる。
【００８２】
実施の形態３．
上記実施の形態１，２では、成分分離部７が、予測残差画像から、優先対象の画素を含む優先成分Ｇ０を分離する際、偶数行かつ偶数列の画素が、優先対象の画素であるとして、優先成分Ｇ０を分離する例を示している。
この実施の形態３では、符号化制御部１又は１ａにより決定された符号化モードがイントラ符号化モードである場合、イントラ符号化モードにおけるイントラ予測の予測方向から、優先対象の画素を決定するものについて説明する。
【００８３】
図１２はこの発明の実施の形態３による画像符号化装置を示す構成図であり、図１２において、図１と同一符号は同一または相当部分を示すので説明を省略する。
成分分離部７ａは例えば図２の成分分離回路２７で実現されるものであり、図１の成分分離部７と同様に、減算部６より出力された予測残差画像から、優先対象の画素を含む優先成分Ｇ０を分離するとともに、非優先対象の画素を含む非優先成分Ｇ１，Ｇ２，Ｇ３を分離する処理を実施する。
また、成分分離部７ａは予測残差画像から分離した優先成分Ｇ０を示す優先予測差分信号及び非優先成分Ｇ１，Ｇ２，Ｇ３を示す非優先予測差分信号を変換量子化部８に出力する処理を実施する。
ただし、成分分離部７ａは、図１の成分分離部７と異なり、符号化制御部１により決定された符号化モードがイントラ符号化モードである場合、イントラ符号化モードにおけるイントラ予測の予測方向から、優先対象の画素と非優先対象の画素とを決定する。
図１２は、成分分離部７ａが図１の画像符号化装置に適用されている例を示しているが、成分分離部７ａが図１０の画像符号化装置に適用されているものであってもよい。
【００８４】
図１２では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７ａ、変換量子化部８、逆量子化逆変換部９、加算部１０、イントラ予測用メモリ１１、ループフィルタ部１２、フレームメモリ１３及び可変長符号化部１４のそれぞれが、図２に示すような専用のハードウェア、即ち、符号化制御回路２１、ブロック分割回路２２、切換回路２３、イントラ予測回路２４、インター予測回路２５、減算回路２６、成分分離回路２７、変換量子化回路２８、逆変換逆量子化回路２９、加算回路３０、画像記録回路３１、フィルタ回路３２、画像記録回路３３及び可変長符号化回路３４で実現されるものを想定している。
【００８５】
ただし、画像符号化装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像符号化装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ１１及びフレームメモリ１３を図３に示すコンピュータのメモリ４１上に構成するとともに、符号化制御部１、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７ａ、変換量子化部８、逆量子化逆変換部９、加算部１０、ループフィルタ部１２及び可変長符号化部１４の処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納し、コンピュータのプロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
【００８６】
図１３はこの発明の実施の形態３による画像復号装置を示す構成図であり、図１３において、図５と同一符号は同一または相当部分を示すので説明を省略する。
成分結合部５３ａは例えば図６の成分結合回路７３で実現されるものであり、可変長復号部５１から出力された符号化モードがイントラ符号化モードである場合、イントラ符号化モードにおけるイントラ予測の予測方向から、優先対象の画素と非優先対象の画素とを決定する処理を実施する。
また、成分結合部５３ａは優先対象の画素と非優先対象の画素との決定結果にしたがって逆量子化逆変換部５２により算出された優先予測差分信号に相当する局部復号予測差分信号が示す画像と、非優先予測差分信号に相当する局部復号予測差分信号が示す画像とを結合し、その結合した画像（以下、「結合画像」と称する）を出力する処理を実施する。
図１３は、成分結合部５３ａが図５の画像復号装置に適用されている例を示しているが、成分結合部５３ａが図１１の画像復号装置に適用されているものであってもよい。
【００８７】
図１３では、画像復号装置の構成要素である可変長復号部５１、逆量子化逆変換部５２、成分結合部５３ａ、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８、イントラ予測用メモリ５９、ループフィルタ部６０及びフレームメモリ６１のそれぞれが、図６に示すような専用のハードウェア、即ち、可変長復号回路７１、逆変換逆量子化回路７２、成分結合回路７３、切換回路７４、イントラ予測回路７５、インター予測回路７６、加算回路７７、画像記録回路７８、フィルタ回路７９及び画像記録回路８０で実現されるものを想定している。
【００８８】
ただし、画像復号装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像復号装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ５９及びフレームメモリ６１を図７示すコンピュータのメモリ９１上に構成するとともに、可変長復号部５１、逆量子化逆変換部５２、成分結合部５３ａ、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８及びループフィルタ部６０の処理手順をコンピュータに実行させるためのプログラムをメモリ９１に格納し、コンピュータのプロセッサ９２がメモリ９１に格納されているプログラムを実行するようにすればよい。
【００８９】
次に動作について説明する。
最初に、画像符号化装置の動作について説明する。
成分分離部７ａ以外は、上記実施の形態１と同様であるため、ここでは、成分分離部７ａの処理内容だけを説明する。
ただし、この実施の形態３では、符号化制御部１から符号化モードが成分分離部７ａに知らされるものとする。
図１４は成分分離部７ａにより分離される優先成分及び非優先成分の一例を示す説明図である。
図１４Ａはイントラ予測の予測方向が横方向となる５つのモードである場合の優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の一例を示し、図１４Ｂはイントラ予測の予測方向が縦方向となる５つのモードである場合の優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の一例を示している。また、図１４Ｃはイントラ予測の予測方向が横方向及び縦方向以外の方向である場合の優先成分Ｇ０及び非優先成分Ｇ１，Ｇ２，Ｇ３の一例を示している。
図１４Ａの例では、横長の長方形に含まれている５つのモードを、イントラ予測の予測方向が横方向のモードとしている。
図１４Ｂの例では、縦長の長方形に含まれている５つのモードを、イントラ予測の予測方向が縦方向のモードとしている。
図１４Ｃの例では、予測残差画像を構成している複数の画素のうち、図中、左上の画素を基準として、一番上側の行の画素を０行目の画素、即ち、偶数行の画素としている。また、一番左側の列の画素を０列目の画素、即ち、偶数列の画素としている。
このため、予測残差画像の左側から（２×ｎ＋１）番目の行位置にある画素が偶数行の画素であり、左側から（２×ｎ＋２）番目の行位置にある画素が奇数行の画素である。ｎ＝０，１，２・・・である。
また、予測残差画像の上側から（２×ｎ＋１）番目の列位置にある画素が偶数列の画素であり、上側から（２×ｎ＋２）番目の列位置にある画素が奇数列の画素である。ｎ＝０，１，２・・・である。
【００９０】
成分分離部７ａは、符号化制御部１から出力された符号化モードがインター符号化モードである場合、図１の成分分離部７と同様に、例えば、偶数行かつ偶数列の画素が、優先対象の画素であるとして、優先成分Ｇ０を分離する。
成分分離部７ａは、符号化制御部１から出力された符号化モードがイントラ符号化モードである場合、イントラ符号化モードにおけるイントラ予測の予測方向から、優先対象の画素を決定する。
【００９１】
以下、符号化モードがイントラ符号化モードである場合の優先成分Ｇ０と非優先成分Ｇ１，Ｇ２，Ｇ３の分離例を説明する。
一般的に、イントラ予測処理を実施すると、イントラ予測の予測方向に沿ってテクスチャが失われる傾向がある。このため、イントラ予測の予測方向に応じて優先対象の画素を切り換えることで、テクスチャの損失を抑制することができる。
成分分離部７ａは、イントラ予測の予測方向が横方向となる５つのモードである場合、図１４Ａに示すように、画像の列の位置に応じて優先成分Ｇ０と非優先成分Ｇ１，Ｇ２，Ｇ３を分離している。
即ち、成分分離部７ａは、予測残差画像を構成している複数の画素のうち、予測残差画像の左側から（４×ｎ＋１）番目の列位置にある画素を優先対象の画素としている。ｎ＝０，１，２・・・である。
また、成分分離部７ａは、予測残差画像の左側から（４×ｎ＋２）番目の列位置にある画素、予測残差画像の左側から（４×ｎ＋３）番目の列位置にある画素、予測残差画像の左側から（４×ｎ＋４）番目の列位置にある画素を非優先対象の画素としている。
【００９２】
成分分離部７ａは、イントラ予測の予測方向が縦方向となる５つのモードである場合、図１４Ｂに示すように、画像の行の位置に応じて優先成分Ｇ０と非優先成分Ｇ１，Ｇ２，Ｇ３を分離している。
即ち、成分分離部７ａは、予測残差画像を構成している複数の画素のうち、予測残差画像の上側から（４×ｎ＋１）番目の行位置にある画素を優先対象の画素としている。ｎ＝０，１，２・・・である。
また、成分分離部７ａは、予測残差画像の上側から（４×ｎ＋２）番目の行位置にある画素、予測残差画像の上側から（４×ｎ＋３）番目の行位置にある画素、予測残差画像の上側から（４×ｎ＋４）番目の行位置にある画素を非優先対象の画素としている。
【００９３】
成分分離部７ａは、イントラ予測の予測方向が横方向となる５つのモードではなく、かつ、イントラ予測の予測方向が縦方向となる５つのモードではない場合、図１４Ｃに示すように、上記実施の形態１と同様に、優先対象の画素及び非優先対象の画素を決定する。
例えば、予測残差画像を構成している複数の画素のうち、偶数行かつ偶数列の画素を優先対象の画素とし、予測残差画像を構成している複数の画素のうち、偶数行かつ奇数列の画素と、奇数行かつ偶数列の画素と、奇数行かつ奇数列の画素とを、非優先対象の画素とする。
【００９４】
次に、画像復号装置の動作について説明する。
成分結合部５３ａ以外は、上記実施の形態１と同様であるため、ここでは、成分結合部５３ａの処理内容だけを説明する。
成分結合部５３ａは、可変長復号部５１から出力された符号化モードがインター符号化モードである場合、優先対象の画素が偶数行かつ偶数列の画素であり、非優先対象の画素が、偶数行かつ奇数列の画素、奇数行かつ偶数列の画素、奇数行かつ奇数列の画素であるとする。
この場合、成分結合部５３ａは、図１の成分結合部５３と同様に、逆量子化逆変換部５２から出力された優先成分Ｇ０に係る局部復号予測差分信号が示す画像と、非優先成分Ｇ１，Ｇ２，Ｇ３に係る局部復号予測差分信号が示す画像とを結合し、その結合した画像である結合画像を加算部５８に出力する。
即ち、成分結合部５３ａは、図９に示すように、優先成分Ｇ０に含まれている優先対象の画素を、結合画像における偶数行かつ偶数列の位置に配置する。
また、成分結合部５３ａは、非優先成分Ｇ１に含まれている非優先対象の画素を、結合画像における偶数行かつ奇数列の位置に配置し、非優先成分Ｇ２に含まれている優先対象の画素を、結合画像における奇数行かつ偶数列の位置に配置する。また、非優先成分Ｇ３に含まれている非優先対象の画素を、結合画像における奇数行かつ奇数列の位置に配置する。
【００９５】
成分結合部５３ａは、可変長復号部５１から出力された符号化モードがイントラ符号化モードである場合、成分分離部７ａと同様に、イントラ符号化モードにおけるイントラ予測の予測方向から、優先対象の画素と非優先対象の画素とを決定する。
成分結合部５３ａは、優先対象の画素と非優先対象の画素との決定結果にしたがって逆量子化逆変換部５２から出力された優先成分Ｇ０に係る局部復号予測差分信号が示す画像と、非優先成分Ｇ１，Ｇ２，Ｇ３に係る局部復号予測差分信号が示す画像とを結合し、その結合した画像である結合画像を加算部５８に出力する。
【００９６】
即ち、成分結合部５３ａは、イントラ予測の予測方向が横方向となる５つのモードである場合、図１４Ａに示すように、優先成分Ｇ０に含まれている優先対象の画素を、結合画像における左側から（４×ｎ＋１）番目の列位置に配置する。
また、成分結合部５３ａは、非優先成分Ｇ１に含まれている優先対象の画素を、結合画像における左側から（４×ｎ＋２）番目の列位置に配置し、非優先成分Ｇ２に含まれている優先対象の画素を、結合画像における左側から（４×ｎ＋３）番目の列位置に配置し、非優先成分Ｇ３に含まれている優先対象の画素を、結合画像における左側から（４×ｎ＋４）番目の列位置に配置する。
【００９７】
成分結合部５３ａは、イントラ予測の予測方向が縦方向となる５つのモードである場合、図１４Ｂに示すように、優先成分Ｇ０に含まれている優先対象の画素を、結合画像における上側から（４×ｎ＋１）番目の行位置に配置する。
また、成分結合部５３ａは、非優先成分Ｇ１に含まれている優先対象の画素を、結合画像における上側から（４×ｎ＋２）番目の行位置に配置し、非優先成分Ｇ２に含まれている優先対象の画素を、結合画像における上側から（４×ｎ＋３）番目の行位置に配置し、非優先成分Ｇ３に含まれている優先対象の画素を、結合画像における上側から（４×ｎ＋４）番目の行位置に配置する。
【００９８】
成分結合部５３ａは、イントラ予測の予測方向が横方向となる５つのモードではなく、かつ、イントラ予測の予測方向が縦方向となる５つのモードではない場合、図１４Ｃに示すように、優先成分Ｇ０に含まれている優先対象の画素を、結合画像における偶数行かつ偶数列の位置に配置する。
また、成分結合部５３ａは、非優先成分Ｇ１に含まれている非優先対象の画素を、結合画像における偶数行かつ奇数列の位置に配置し、非優先成分Ｇ２に含まれている優先対象の画素を、結合画像における奇数行かつ偶数列の位置に配置し、非優先成分Ｇ３に含まれている非優先対象の画素を、結合画像における奇数行かつ奇数列の位置に配置する。
【００９９】
以上で明らかなように、この実施の形態３によれば、成分分離部７ａが、イントラ予測の予測方向から、優先対象の画素及び非優先対象の画素を決定するように構成したので、上記実施の形態１よりも更に、テクスチャの損失を抑制することができる効果を奏する。
【０１００】
実施の形態４．
上記実施の形態１では、変換量子化部８が、成分分離部７から出力された優先予測差分信号が示す優先成分Ｇ０を第１の圧縮条件で圧縮するとともに、成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３を第２の圧縮条件で圧縮する例を示している。
この実施の形態４では、成分分離部７から出力された優先予測差分信号が示す優先成分Ｇ０を第１の圧縮条件で圧縮するとともに、逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を第２の圧縮条件で圧縮する例を説明する。
【０１０１】
図１５はこの発明の実施の形態４による画像符号化装置を示す構成図であり、図１５において、図１と同一符号は同一または相当部分を示すので説明を省略する。
変換量子化部８ｂは例えば図２の変換量子化回路２８で実現されるものであり、成分分離部７から出力された優先予測差分信号が示す優先成分Ｇ０を第１の圧縮条件で圧縮するとともに、非優先成分Ｇ１，Ｇ２，Ｇ３を圧縮する代わりに、逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と、成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を第２の圧縮条件で圧縮する処理を実施する。
【０１０２】
可変長符号化部１４ａは例えば図２の可変長符号化回路３４で実現されるものであり、変換量子化部８ｂから出力された優先成分Ｇ０の圧縮データを可変長符号化するとともに、変換量子化部８ｂから出力された差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮データを可変長符号化する。
また、可変長符号化部１４ａは図１の可変長符号化部１４と同様に、符号化制御部１の出力信号と、インター予測部５により探索された動きベクトルとを可変長符号化して符号化データを生成し、その符号化データを符号ビット列として出力する処理を実施する。
図１５は、変換量子化部８ｂ及び可変長符号化部１４ａが図１の画像符号化装置に適用されている例を示しているが、変換量子化部８ｂ及び可変長符号化部１４ａが図１０又は図１２の画像符号化装置に適用されているものであってもよい。
【０１０３】
図１５では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７、変換量子化部８ｂ、逆量子化逆変換部９、加算部１０、イントラ予測用メモリ１１、ループフィルタ部１２、フレームメモリ１３及び可変長符号化部１４ａのそれぞれが、図２に示すような専用のハードウェア、即ち、符号化制御回路２１、ブロック分割回路２２、切換回路２３、イントラ予測回路２４、インター予測回路２５、減算回路２６、成分分離回路２７、変換量子化回路２８、逆変換逆量子化回路２９、加算回路３０、画像記録回路３１、フィルタ回路３２、画像記録回路３３及び可変長符号化回路３４で実現されるものを想定している。
【０１０４】
ただし、画像符号化装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像符号化装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ１１及びフレームメモリ１３を図３に示すコンピュータのメモリ４１上に構成するとともに、符号化制御部１、ブロック分割部２、切換スイッチ３、イントラ予測部４、インター予測部５、減算部６、成分分離部７、変換量子化部８ｂ、逆量子化逆変換部９、加算部１０、ループフィルタ部１２及び可変長符号化部１４ａの処理手順をコンピュータに実行させるためのプログラムをメモリ４１に格納し、コンピュータのプロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
【０１０５】
図１６はこの発明の実施の形態４による画像復号装置を示す構成図であり、図１６において、図５と同一符号は同一または相当部分を示すので説明を省略する。
可変長復号部５１ａは例えば図６の可変長復号回路７１で実現されるものであり、図１５の画像符号化装置から出力された符号ビット列である符号化データを可変長復号する処理を実施する。
ただし、可変長復号部５１ａは、優先成分Ｇ０の局部復号差分画像と、非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮データとの差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３が可変長符号化されているため、図５の可変長復号部５１と異なり、符号化データから優先成分Ｇ０の圧縮データを可変長復号するとともに、差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を可変長復号する。
【０１０６】
逆量子化逆変換部５２ｂは例えば図６の逆変換逆量子化回路７２で実現されるものであり、可変長復号部５１ａから出力された優先成分Ｇ０の圧縮を第１の圧縮条件で解除するとともに、可変長復号部５１ａから出力された差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮を第２の圧縮条件で解除し、圧縮解除後の優先成分Ｇ０と圧縮解除後の差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３とから非優先成分Ｇ１，Ｇ２，Ｇ３を特定する処理を実施する。
図１６は、可変長復号部５１ａ及び逆量子化逆変換部５２ｂが図５の画像復号装置に適用されている例を示しているが、可変長復号部５１ａ及び逆量子化逆変換部５２ｂが図１１又は図１３の画像復号装置に適用されているものであってもよい。
【０１０７】
図１６では、画像復号装置の構成要素である可変長復号部５１ａ、逆量子化逆変換部５２ｂ、成分結合部５３、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８、イントラ予測用メモリ５９、ループフィルタ部６０及びフレームメモリ６１のそれぞれが、図６に示すような専用のハードウェア、即ち、可変長復号回路７１、逆変換逆量子化回路７２、成分結合回路７３、切換回路７４、イントラ予測回路７５、インター予測回路７６、加算回路７７、画像記録回路７８、フィルタ回路７９及び画像記録回路８０で実現されるものを想定している。
【０１０８】
ただし、画像復号装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像符号化装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像復号装置がソフトウェアやファームウェアなどで実現される場合、イントラ予測用メモリ５９及びフレームメモリ６１を図７示すコンピュータのメモリ９１上に構成するとともに、可変長復号部５１ａ、逆量子化逆変換部５２ｂ、成分結合部５３、切換スイッチ５５、イントラ予測部５６、インター予測部５７、加算部５８及びループフィルタ部６０の処理手順をコンピュータに実行させるためのプログラムをメモリ９１に格納し、コンピュータのプロセッサ９２がメモリ９１に格納されているプログラムを実行するようにすればよい。
【０１０９】
次に動作について説明する。
最初に、画像符号化装置の動作について説明する。
変換量子化部８ｂ及び可変長符号化部１４ａ以外は、上記実施の形態１と同様であるため、ここでは、主に変換量子化部８ｂ及び可変長符号化部１４ａの処理内容を説明する。
図１７は逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と、非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を求める処理を示す説明図である。
【０１１０】
逆量子化逆変換部９は、上記実施の形態１と同様に、優先予測差分信号に相当する局部復号予測差分信号が示す画像と、非優先予測差分信号に相当する局部復号予測差分信号が示す画像とを合わせた画像を局部復号差分画像として、加算部１０に出力する。
また、逆量子化逆変換部９は、上記実施の形態１と異なり、圧縮が解除された優先成分Ｇ０として、局部復号予測差分信号が示す局部復号差分画像を変換量子化部８ｂに出力する。
【０１１１】
変換量子化部８ｂは、成分分離部７から優先成分Ｇ０を示す優先予測差分信号を受けると、図１の変換量子化部８と同様に、その優先予測差分信号が示す優先成分Ｇ０を符号化制御部１により決定された第１の圧縮条件で圧縮して、優先成分Ｇ０の圧縮データを逆量子化逆変換部９及び可変長符号化部１４ａに出力する。
また、変換量子化部８ｂは、逆量子化逆変換部９から圧縮が解除された優先成分Ｇ０を受けると、図１７に示すように、その優先成分Ｇ０と成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を算出する。
変換量子化部８ｂは、差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を符号化制御部１により決定された第２の圧縮条件で圧縮して、差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮データを可変長符号化部１４ａに出力する。差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を圧縮する処理は、上記実施の形態１で示している非優先成分Ｇ１，Ｇ２，Ｇ３を圧縮する処理と同様である。
【０１１２】
可変長符号化部１４ａは、変換量子化部８ｂから出力された優先成分Ｇ０の圧縮データ及び差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮データと、符号化制御部１の出力信号と、インター予測部５により探索された動きベクトルとを可変長符号化して符号化データを生成し、その符号化データを符号ビット列として出力する。
符号化制御部１の出力信号としては、最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータなどが考えられる。
インター予測部５により探索された動きベクトルは、符号化モードがインター符号化モードである場合に、可変長符号化部１４によって可変長符号化される。
【０１１３】
次に、画像復号装置の動作について説明する。
可変長復号部５１ａ及び逆量子化逆変換部５２ｂ以外は、上記実施の形態１と同様であるため、ここでは、可変長復号部５１ａ及び逆量子化逆変換部５２ｂの処理内容だけを説明する。
【０１１４】
可変長復号部５１ａは、図１５の画像符号化装置から符号ビット列を受けると、その符号ビット列を可変長復号する。
即ち、可変長復号部５１ａは、符号ビット列に含まれている最大符号化ブロック内のブロック分割情報を復号することで、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る優先成分Ｇ０の圧縮データと、差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮データと、符号化モードと、予測差分符号化パラメータと、イントラ予測パラメータ又はインター予測パラメータと、符号化モードがインター符号化モードであれば、動きベクトルとを可変長復号する。
可変長復号部５１ａは、優先成分Ｇ０の圧縮データと、差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮データと、予測差分符号化パラメータとを逆量子化逆変換部５２ｂに出力し、符号化モードと、イントラ予測パラメータ又はインター予測パラメータとを切換スイッチ５５に出力する。
可変長復号部５１ａは、符号化モードがインター符号化モードであれば、動きベクトルも切換スイッチ５５に出力する。
【０１１５】
逆量子化逆変換部５２ｂは、図５の逆量子化逆変換部５２と同様に、可変長復号部５１ａから出力された優先成分Ｇ０の圧縮を第１の圧縮条件で解除し、圧縮解除後の優先成分Ｇ０を成分結合部５３に出力する。
逆量子化逆変換部５２ｂは、図５の逆量子化逆変換部５２と異なり、可変長復号部５１ａから出力された差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮を第２の圧縮条件で解除する。差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮を解除する処理は、上記実施の形態１で示している非優先成分Ｇ１，Ｇ２，Ｇ３の圧縮を解除する処理と同様である。
逆量子化逆変換部５２ｂは、圧縮解除後の優先成分Ｇ０から圧縮解除後の差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を減算することで非優先成分Ｇ１，Ｇ２，Ｇ３を特定し、非優先成分Ｇ１，Ｇ２，Ｇ３を成分結合部５３に出力する。
【０１１６】
以上で明らかなように、この実施の形態４によれば、変換量子化部８ｂが、逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を第２の圧縮条件で圧縮し、可変長符号化部１４ａが、差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３の圧縮データを可変長符号化するように構成したので、上記実施の形態１よりも、非優先成分Ｇ１，Ｇ２，Ｇ３の符号化効率を高めることができるとともに、優先成分Ｇ０と非優先成分Ｇ１，Ｇ２，Ｇ３との画質差の発生を抑制することができる。
【０１１７】
図１８は逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と、非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を求める処理を示す説明図である。
図１７の例では、変換量子化部８ｂが、逆量子化逆変換部９により圧縮が解除された優先成分Ｇ０と成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を第２の圧縮条件で圧縮しているが、図１８に示すように、優先成分Ｇ０の局部復号差分画像に対する変換処理を付加するようにしてもよい。
即ち、変換量子化部８ｂは、優先成分Ｇ０の局部復号差分画像を非優先成分Ｇ１，Ｇ２，Ｇ３に近づけるために、図１８に示すように、優先成分Ｇ０の局部復号差分画像に対する変換処理を実施し、変換処理後の局部復号差分画像と成分分離部７から出力された非優先予測差分信号が示す非優先成分Ｇ１，Ｇ２，Ｇ３との差分Ｇ０−Ｇ１，Ｇ０−Ｇ２，Ｇ０−Ｇ３を第２の圧縮条件で圧縮する。
優先成分Ｇ０の局部復号差分画像に対する変換処理としては、例えば、優先成分Ｇ０の局部復号差分画像を位相シフトフィルタなどに通す処理などが考えられる。
【０１１８】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１１９】
この発明は、画像を符号化する画像符号化装置と、画像を復号する画像復号装置とに適している。
【符号の説明】
【０１２０】
１，１ａ  符号化制御部、２  ブロック分割部、３  切換スイッチ、４  イントラ予測部、５  インター予測部、６  減算部、７，７ａ  成分分離部、８，８ａ，８ｂ  変換量子化部（圧縮部）、９，９ａ  逆量子化逆変換部（圧縮解除部）、１０  加算部、１１  イントラ予測用メモリ、１２  ループフィルタ部、１３  フレームメモリ、１４，１４ａ  可変長符号化部（符号化部）、２１  符号化制御回路、２２  ブロック分割回路、２３  切換回路、２４  イントラ予測回路、２５  インター予測回路、２６  減算回路、２７  成分分離回路、２８  変換量子化回路、２９  逆変換逆量子化回路、３０  加算回路、３１  画像記録回路、３２  フィルタ回路、３３  画像記録回路、３４  可変長符号化回路、４１  メモリ、４２  プロセッサ、５１，５１ａ  可変長復号部（復号部）、５２，５２ａ，５２ｂ  逆量子化逆変換部（圧縮解除部）、５３，５３ａ  成分結合部、５４  復号画像出力部、５５  切換スイッチ、５６  イントラ予測部、５７  インター予測部、５８  加算部、５９  イントラ予測用メモリ、６０  ループフィルタ部、６１  フレームメモリ、７１  可変長復号回路、７２  逆変換逆量子化回路、７３  成分結合回路、７４  切換回路、７５  イントラ予測回路、７６  インター予測回路、７７  加算回路、７８  画像記録回路、７９  フィルタ回路、８０  画像記録回路、９１  メモリ、９２  プロセッサ。
【図１】
2018003008.tif 000003
【図２】
2018003008.tif 000004
【図３】
2018003008.tif 000005
【図４】
2018003008.tif 000006
【図５】
2018003008.tif 000007
【図６】
2018003008.tif 000008
【図７】
2018003008.tif 000009
【図８】
2018003008.tif 000010
【図９】
2018003008.tif 000011
【図１０】
2018003008.tif 000012
【図１１】
2018003008.tif 000013
【図１２】
2018003008.tif 000014
【図１３】
2018003008.tif 000015
【図１４】
2018003008.tif 000016
【図１５】
2018003008.tif 000017
【図１６】
2018003008.tif 000018
【図１７】
2018003008.tif 000019
【図１８】
2018003008.tif 000020
【手続補正書】
【提出日】平成29年1月4日(2017.1.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化対象の画像から生成された予測画像と前記符号化対象の画像との差分である予測残差画像から、第１の抽出対象の画素を含む第１の成分を分離するとともに、第２の抽出対象の画素を含む第２の成分を分離する成分分離部と、
前記成分分離部により分離された第１の成分を第１の圧縮条件で圧縮し、前記成分分離部により分離された第２の成分を第２の圧縮条件で圧縮する圧縮部と、
前記圧縮部により圧縮された第１及び第２の成分を符号化して符号化データを生成する符号化部と
を備えた画像符号化装置。
【請求項２】
前記第１の圧縮条件は、第１の成分を圧縮する処理として、第１の成分の量子化処理を行う際に用いる第１の量子化ステップサイズを示し、
前記第２の圧縮条件は、第２の成分を圧縮する処理として、第２の成分の量子化処理を行う際に用いる第２の量子化ステップサイズを示し、
前記第１の量子化ステップサイズは、前記第２の量子化ステップサイズより低い量子化ステップサイズであり、
前記圧縮部は、前記成分分離部により分離された第１の成分を前記第１の量子化ステップサイズで量子化し、前記成分分離部により分離された第２の成分を前記第２の量子化ステップサイズで量子化することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記第１の圧縮条件は、第１の成分を圧縮する処理として行う量子化処理をスキップする条件であり、
前記第２の圧縮条件は、第２の成分を圧縮する処理として、第２の成分の量子化処理を行う際に用いる量子化ステップサイズを示し、
前記圧縮部は、前記第１の圧縮条件にしたがって前記成分分離部により分離された第１の成分に対する量子化処理をスキップし、前記成分分離部により分離された第２の成分を前記量子化ステップサイズで量子化することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記成分分離部は、前記予測画像が生成される際に実施されるイントラ予測の予測方向から、前記第１の抽出対象の画素と前記第２の抽出対象の画素とを決定して、前記予測残差画像から、前記第１の抽出対象の画素を含む第１の成分を分離するとともに、前記第２の抽出対象の画素を含む第２の成分を分離することを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記圧縮部により圧縮された第１の成分の圧縮を前記第１の圧縮条件で解除する圧縮解除部を備え、
前記圧縮部は、前記成分分離部により分離された第２の成分を圧縮する代わりに、前記圧縮解除部により圧縮が解除された第１の成分と前記成分分離部により分離された第２の成分との差分を前記第２の圧縮条件で圧縮し、
前記符号化部は、前記圧縮部により圧縮された第１の成分を符号化するとともに、第２の成分を符号化する代わりに、前記圧縮部により圧縮された差分を符号化して符号化データを生成することを特徴とする請求項１記載の画像符号化装置。
【請求項６】
前記成分分離部は、前記予測残差画像を構成している複数の画素のうち、偶数行かつ偶数列の画素、偶数行かつ奇数列の画素、奇数行かつ偶数列の画素、あるいは、奇数行かつ奇数列の画素を前記第１の抽出対象の画素として、前記予測残差画像から前記第１の抽出対象の画素を含む第１の成分を分離し、前記予測残差画像を構成している複数の画素の中で、偶数行かつ偶数列の画素、偶数行かつ奇数列の画素、奇数行かつ偶数列の画素、奇数行かつ奇数列の画素のうち、前記第１の抽出対象の画素以外の画素を前記第２の抽出対象の画素として、前記予測残差画像から前記第２の抽出対象の画素を含む第２の成分を分離することを特徴とする請求項１記載の画像符号化装置。
【請求項７】
符号化データから、圧縮されている第１及び第２の成分を復号する復号部と、
前記復号部により復号された第１の成分の圧縮を第１の圧縮条件で解除するとともに、前記復号部により復号された第２の成分の圧縮を第２の圧縮条件で解除する圧縮解除部と、
前記圧縮解除部により圧縮が解除された第１の成分と第２の成分を結合し、前記第１の成分と前記第２の成分の結合画像を出力する成分結合部と、
前記成分結合部より出力された結合画像から復号画像を算出して、前記復号画像を出力する復号画像出力部と
を備えた画像復号装置。
【請求項８】
前記第１の圧縮条件は、第１の成分の圧縮を解除する処理として、第１の成分の逆量子化処理を行う際に用いる第１の量子化ステップサイズを示し、
前記第２の圧縮条件は、第２の成分の圧縮を解除する処理として、第２の成分の逆量子化処理を行う際に用いる第２の量子化ステップサイズを示し、
前記第１の量子化ステップサイズは、前記第２の量子化ステップサイズより低い量子化ステップサイズであり、
前記圧縮解除部は、前記復号部から出力された第１の成分を前記第１の量子化ステップサイズで逆量子化し、前記復号部から出力された第２の成分を前記第２の量子化ステップサイズで逆量子化することを特徴とする請求項７記載の画像復号装置。
【請求項９】
前記第１の圧縮条件は、第１の成分の圧縮を解除する処理として行う逆量子化処理をスキップする条件であり、
前記第２の圧縮条件は、第２の成分の圧縮を解除する処理として、第２の成分の逆量子化処理を行う際に用いる量子化ステップサイズを示し、
前記圧縮解除部は、前記第１の圧縮条件にしたがって前記復号部から出力された第１の成分に対する量子化処理をスキップし、前記復号部から出力された第２の成分を前記量子化ステップサイズで逆量子化することを特徴とする請求項７記載の画像復号装置。
【請求項１０】
前記成分結合部は、前記復号画像の予測画像が生成される際に実施されるイントラ予測の予測方向から、前記第１の抽出対象の画素と前記第２の抽出対象の画素とを決定し、その決定した結果にしたがって前記圧縮解除部により圧縮が解除された第１の成分と第２の成分を結合することを特徴とする請求項７記載の画像復号装置。
【請求項１１】
前記復号部は、前記符号化データから、圧縮されている第１の成分を復号するとともに、第２の成分を復号する代わりに、圧縮されている差分を復号し、
前記圧縮解除部は、前記復号部により復号された第１の成分の圧縮を前記第１の圧縮条件で解除するとともに、第２の成分の圧縮を解除する代わりに、前記復号部により復号された差分の圧縮を前記第２の圧縮条件で解除し、圧縮解除後の第１の成分と圧縮解除後の差分とから第２の成分を特定することを特徴とする請求項７記載の画像復号装置。
【請求項１２】
前記復号部により復号される第１の成分は、符号化対象の画像から生成された予測画像と前記符号化対象の画像との差分である予測残差画像を構成している複数の画素のうち、偶数行かつ偶数列の画素、偶数行かつ奇数列の画素、奇数行かつ偶数列の画素、あるいは、奇数行かつ奇数列の画素を含んでいる成分であり、
前記復号部により復号される第２の成分は、前記予測残差画像を構成している複数の画素の中で、偶数行かつ偶数列の画素、偶数行かつ奇数列の画素、奇数行かつ偶数列の画素、奇数行かつ奇数列の画素のうち、前記第１の成分に含まれている画素以外の画素を含んでいる成分であることを特徴とする請求項７記載の画像復号装置。
【国際調査報告】
2018003008.tif 000021
2018003008.tif 000022
2018003008.tif 000023
2018003008.tif 000024