(57)【要約】【課題】画面間予測処理を行う複数のブロックサイズと直交変換処理を行う複数のブロックサイズの組み合わせを選択して符号化を行う動画像符号化装置において、ブロックサイズの決定処理を少ない処理量で適切に行うことを可能とする。【解決手段】本発明に係る動画像符号化装置１００は、画面間予測処理部１０７においてブロック毎に予測画像を生成し、差分演算部１０９において当該ブロック毎に差分画像を生成し、さらに直交変換ブロックサイズ決定部１０３において複数の当該ブロックに対応付けられた差分画像の画素値の振幅の大きさに応じて、直交変換処理を行うブロックサイズを決定する。【選択図】図１
2016106444.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象ピクチャを画面間予測処理が含まれた所定の符号化規格にて符号化し、符号列を生成する動画像符号化装置であって、
前記符号化対象ピクチャを構成する画素を、予め設定される複数のブロックサイズのうちいずれかのサイズを有する出力用のブロック毎に出力するブロック分割部と、
前記出力用のブロックに属する画素に対して、前記出力用のブロックサイズ以下のブロックサイズを有する予測処理用のブロックを設定し、この予測処理用のブロック毎に予測画像を生成する画面間予測処理部と、
前記予測処理用のブロック毎に生成された予測画像と、当該予測画像のそれぞれに対応する前記出力用のブロックに属する画素とを差分演算し、前記予測処理用のブロック単位で差分画像を生成する差分演算部と、
前記予測処理用のブロックのうち隣接するブロックに属する差分画像に基づいて、（１）前記隣接する予測処理用のブロックを統合し得られる正方形状のブロックを直交変換用のブロックとして設定する第１動作と、（２）前記予測処理用のブロックを正方形状に分割し、分割して得られたブロックを直交変換用のブロックとして設定する第２動作を実行する直交変換ブロックサイズ決定部と、
前記設定した直交変換用のブロック毎に、直交変換および量子化処理し、残差係数を生成する残差係数符号化部と、を備える、
動画像符号化装置。
【請求項２】
前記直交変換ブロックサイズ決定部は、属するすべての差分画像の画素値が所定の閾値以下である予測処理用のブロックが隣接する場合、この隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成する請求項１に記載の動画像符号化装置。
【請求項３】
前記残差係数符号化部は、前記直交変換ブロックサイズ決定部において、隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成した場合、統合後における直交変換用のブロックに属するすべての残差係数を０として生成する請求項２に記載の動画像符号化装置。
【請求項４】
前記直交変換ブロックサイズ決定部は、属する差分画像の画素値の最小値と最大値の幅が所定の範囲内の値である予測処理用のブロックが隣接する場合、この隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成する請求項１に記載の動画像符号化装置。
【請求項５】
前記直交変換ブロックサイズ決定部は、隣接する予測処理用のブロックに属する差分画像の画素値のうち、隣接境界を挟む画素値の差が所定の閾値以下の場合、この隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成する請求項１に記載の動画像符号化装置。
【請求項６】
符号化対象ピクチャを画面間予測処理が含まれた所定の符号化規格にて符号化し、符号列を生成する動画像符号化方法であって、
前記符号化対象ピクチャを構成する画素を、予め設定される複数のブロックサイズのうちいずれかのサイズを有する出力用のブロック毎に出力し、
前記出力用のブロックに属する画素に対して、前記出力用のブロックサイズ以下のブロックサイズを有する予測処理用のブロックを設定し、この予測処理用のブロック毎に予測画像を生成し、
前記予測処理用のブロック毎に生成された予測画像と、当該予測画像のそれぞれに対応する前記出力用のブロックに属する画素とを差分演算し、前記予測処理用のブロック単位で差分画像を生成し、
前記予測処理用のブロックのうち隣接するブロックに属する差分画像に基づいて、（１）前記隣接する予測処理用のブロックを統合し得られる正方形状のブロックを直交変換用のブロックとして設定する第１動作と、（２）前記予測処理用のブロックを正方形状に分割し、分割して得られたブロックを直交変換用のブロックとして設定する第２動作を実行し、
前記設定した直交変換用のブロック毎に、直交変換および量子化処理し、残差係数を生成する、
動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、入力された画像をブロックに分割して符号化する動画像符号化装置に関する。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代動画像符号化方式の標準化活動が進んでいる。
【０００３】
このような動画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の生成を行う。そして、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報をから予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換処理および量子化処理を行い、可変長符号化および算術符号化を用いて符号列を生成することで情報量が圧縮される。
【０００４】
ＨＥＶＣ（非特許文献１）では、前述の画面間予測符号化において予測画像を生成する単位として、３２×３２画素、１６×３２画素、１６×１６画素等の８種類のブロックサイズの中から任意のサイズを選択して使用することができる。撮像物の動きが複雑な画像では小さなブロックサイズを使用し、撮像物の動きが単純な画像では大きなブロックサイズを使用することで高い符号化効率を実現している。
【０００５】
また、前述の直交変換処理および量子化処理を行う単位として、３２×３２画素、１６×１６画素、８×８画素、４×４画素の４種類のブロックサイズの中から任意のサイズを選択して使用することができる。細かい範囲で特徴が異なる画像では小さなブロックサイズを使用し、広い範囲で特徴が同じような画像では大きなブロックサイズを使用することで高い符号化効率を実現している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ＪＣＴＶＣ-Ｌ１００３: Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ (ＨＥＶＣ) ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ１０ (０１/２０１３)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＨＥＶＣでは前述の通り、画面間予測符号化において予測画像を生成する単位として８種類のブロックサイズを持つ。さらに、直交変換処理および量子化処理を行う単位として４種類のブロックサイズを持つ。そのため、符号化処理においてその中から最適なブロックサイズの組み合わせを決定するために、膨大な処理量が必要となってしまう。
【０００８】
本開示は、例えばＨＥＶＣを用いた動画像符号化装置において、画面間予測符号化において予測画像を生成する単位であるブロックのサイズと、直交変換処理および量子化処理を行う単位であるブロックのサイズとの組み合わせを、少ない処理量で効率的に決定できる動画像符号化装置を提供する。
【課題を解決するための手段】
【０００９】
本開示における動画像符号化装置は、符号化対象ピクチャを画面間予測処理が含まれた所定の符号化規格にて符号化し、符号列を生成する動画像符号化装置であって、符号化対象ピクチャを構成する画素を、予め設定される複数のブロックサイズのうちいずれかのサイズを有する出力用のブロック毎に出力するブロック分割部と、出力用のブロックに属する画素に対して、出力用のブロックサイズ以下のブロックサイズを有する予測処理用のブロックを設定し、この予測処理用のブロック毎に予測画像を生成する画面間予測処理部と、予測処理用のブロック毎に生成された予測画像と、当該予測画像のそれぞれに対応する出力用のブロックに属する画素とを差分演算し、予測処理用のブロック単位で差分画像を生成する差分演算部と、予測処理用のブロックのうち隣接するブロックに属する差分画像に基づいて、（１）隣接する予測処理用のブロックを統合し得られる正方形状のブロックを直交変換用のブロックとして設定する第１動作と、（２）予測処理用のブロックを正方形状に分割し、分割して得られたブロックを直交変換用のブロックとして設定する第２動作を実行する直交変換ブロックサイズ決定部と、設定した直交変換用のブロック毎に、直交変換および量子化処理し、残差係数を生成する残差係数符号化部とを備える。
【００１０】
なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
【発明の効果】
【００１１】
本開示における動画像符号化装置は、例えばＨＥＶＣを用いた動画像符号化装置において、画面間予測符号化において予測画像を生成する単位であるブロックのサイズと、直交変換処理および量子化処理を行う単位であるブロックのサイズとの組み合わせを、少ない処理量で効率的に決定できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る動画像符号化装置を示すブロック図
【図２】処理単位となるブロックサイズの組み合わせを説明するための概念を示す図
【図３】本発明の実施の形態に係る直交変換ブロックサイズ決定処理および残差係数符号化処理を示すフローチャート
【図４】直交変換ブロックサイズ決定処理において差分画像の画素値を用いた判定を行う方法の一例を説明するための概念をしめす図
【図５】本発明の実施の形態において決定される直交変換ブロックサイズの一例を説明するための概念を示す図
【図６】本発明の実施の形態に係る別の直交変換ブロックサイズ決定処理および残差係数符号化処理を示すフローチャート
【図７】本発明の実施の形態に係るまた別の直交変換ブロックサイズ決定処理および残差係数符号化処理を示すフローチャート
【図８】直交変換ブロックサイズ決定処理において差分画像の画素値を用いた判定を行う方法の別の一例を説明するための概念を示す図
【図９】本発明の実施の形態に係るまた別の直交変換ブロックサイズ決定処理および残差係数符号化処理を示すフローチャート
【図１０】直交変換ブロックサイズ決定処理において差分画像の画素値を用いた判定を行う方法のまた別の一例を説明するための概念を示す図
【発明を実施するための形態】
【００１３】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１４】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１５】
（実施の形態１）
以下、図１〜１０を用いて、実施の形態１を説明する。
【００１６】
（符号化装置全体の処理説明）
図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された画像をブロックに分割し、ブロック単位で符号化処理し、符号列を生成する。
【００１７】
この動画像符号化装置１００は、ピクチャメモリ１０１と、ブロック分割部１０２と、直交変換ブロックサイズ決定部１０３と、残差係数符号化部１０４と、残差係数復号化部１０５と、ピクチャバッファ１０６と、画面間予測処理部１０７と、符号列生成部１０８とを備えている。
【００１８】
ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号を、符号化を行う順にピクチャの並び替えを行って格納する。そしてピクチャメモリ１０１は、ブロック分割部１０２からの読出し命令を受け付けると当該読出し命令に係る入力画像信号を出力する。
【００１９】
ブロック分割部１０２は、符号化対象ピクチャを構成する画素を、予め設定される複数のブロックサイズのうちいずれかのサイズを有する出力用のブロック毎に出力する。
【００２０】
具体的にブロック分割部１０２は，ピクチャメモリ１０１から入力される入力画像信号を、符号化処理単位であるコーディングユニット（ＣＵ）と呼ばれるブロックに分割する。図２は選択可能なブロックのサイズを示す図である。
【００２１】
図２に示されているように、ＣＵは６４×６４画素から８×８画素の４種類のブロックサイズの中から選択することができる。一般的に、入力画像の画素値や対象物の動きが複雑な領域では小さなブロックサイズを選択し、入力画像の画素値や対象物の動きが単純な領域では大きなブロックサイズを選択する。以降の処理はこのＣＵのブロック単位で処理が行われる。
【００２２】
画面間予測処理部１０７は、出力用のブロックに属する画素に対して、出力用のブロックサイズ以下のブロックサイズを有する予測処理用のブロックを設定し、この予測処理用のブロック毎に予測画像を生成する。
【００２３】
具体的に画面間予測処理部１０７は、ブロック分割部１０２から入力される入力画像信号を基に、ピクチャバッファ１０６に格納されている既に符号化済みの過去のピクチャの再構成画像信号を用いて画面間予測処理する。画面間予測処理では、前記入力画像の画素構成と最も似ている画素構成を持った領域を前記再構成画像の中から探索（動き探索）し、探索された前記再構成画像内の領域を予測画像として生成（動き補償）する。このとき、前記ＣＵ単位のブロックをさらに分割したプレディクションユニット（ＰＵ）と呼ばれるブロック単位で動き補償を行う。図２は選択可能なブロックのサイズを示す図である。図２に示されているように、例えばＣＵが３２×３２画素のブロックサイズの場合、ＰＵは３２×３２画素から２４×３２画素の８種類のブロックサイズの中から選択することができる。一般的に、撮像物の動きが複雑な画像では小さなブロックサイズを選択し、撮像物の動きが単純な画像では大きなブロックサイズを選択する。
【００２４】
差分演算部１０９は、ブロック分割部１０２から入力されるＰＵ単位の入力画像信号と、画面間予測処理部１０７から入力されるＰＵ単位の予測画像信号との差分値である差分画像信号を生成する。生成した差分画像信号は直交変換ブロックサイズ決定部１０３に出力する。
【００２５】
直交変換ブロックサイズ決定部１０３は、予測処理用のブロックのうち隣接するブロックに属する差分画像に基づいて、（１）隣接する予測処理用のブロックを統合し得られる正方形状のブロックを直交変換用のブロックとして設定する第１動作と、（２）予測処理用のブロックを正方形状に分割し、分割して得られたブロックを直交変換用のブロックとして設定する第２動作を実行する。
【００２６】
具体的に直交変換ブロックサイズ決定部１０３は、差分演算部１０９から入力されるＰＵ単位の差分画像信号を用いて、残差係数符号化部１０４における直交変換処理を行う単位となるトランスフォームユニット（ＴＵ）と呼ばれるブロックのサイズを決定する。図２は選択可能なブロックのサイズを示す図である。図２に示されているように、例えばＣＵが６４×６４画素のブロックサイズの場合、ＴＵは３２×３２画素から４×４画素の４種類のブロックサイズの中から選択することができる。
【００２７】
残差係数符号化部１０４は、設定した直交変換用のブロック毎に、直交変換および量子化処理し、残差係数を生成する。
【００２８】
具体的に残差係数符号化部１０４は、直交変換ブロックサイズ決定部１０３において決定されたブロックサイズのＴＵを処理単位として、差分演算部１０９において生成された差分画像信号に対して直交変換処理する。そして残差係数符号化部１０４は、得られた各周波数成分の直交変換係数に対し量子化処理を行うことで残差係数信号を生成する。
【００２９】
残差係数復号化部１０５は、直交変換ブロックサイズ決定部１０３において決定されたブロックサイズのＴＵを処理単位として、残差係数符号化部１０４から入力される残差係数信号に対して逆量子化処理する。さらに残差係数復号化部１０５は、逆直交変換処理を行うことで再構成差分画像信号を生成する。
【００３０】
加算演算部１１０は、残差係数復号化部１０５から入力される再構成差分画像信号と、画面間予測処理部１０７から入力される予測画像信号とをＰＵ単位で加算することにより再構成画像信号を生成する。
【００３１】
ピクチャバッファ１０６は、現在の符号化対象ピクチャより時間的に後に符号化するピクチャの画面間予測処理で参照するために、加算演算部１１０から入力される再構成画像信号を格納する。
【００３２】
符号列生成部１０８は、残差係数符号化部１０４から入力される残差係数信号、およびその他の復号化処理時に必要となる符号化情報信号に対して、可変長符号化および算術符号化を行うことで符号列を生成する。
【００３３】
（直交変換ブロックサイズ決定部および残差係数符号化部の具体的な説明）
ここで、直交変換ブロックサイズ決定部１０３および残差係数符号化部１０４において、ＴＵのブロックサイズを決定し、直交変換処理および量子化処理を行って残差係数信号を生成する方法について、図３のフローチャートを用いて具体的に説明する。
【００３４】
まず、直交変換ブロックサイズ決定部１０３は、差分演算部１０９が生成するＰＵ単位の差分画像信号を入力として、符号化対象ＣＵ内の全ＰＵの差分画像の画素値の集計を行う（Ｓ３０１）。さらに直交変換ブロックサイズ決定部１０３は、集計結果より全画素値が閾値以下かどうかを判定する（Ｓ３０２）。
【００３５】
図４は、ステップＳ３０１およびステップＳ３０２における判定の例を示す図である。
【００３６】
図４（ａ）の例は、符号化対象ＣＵ内の各々の画素位置における差分画像の画素値をグラフにしたものであり、符号化対象ＣＵ内の１つめのＰＵをＰＵ１、２つめのＰＵをＰＵ２としている。ＰＵ１およびＰＵ２に属する全ての画素値が閾値以下の値であるため、ステップＳ３０２の判定の結果として全画素値が閾値以下であると判定される。
【００３７】
一方、図４（ｂ）の例では、ＰＵ１およびＰＵ２に属する画素値の一部の値が閾値よりも大きな値となっているため、ステップＳ３０２の判定の結果として全画素値が閾値以下でないと判定される。
【００３８】
ステップＳ３０２において全画素値が閾値以下でないと判定された場合、ステップＳ３０３において符号化対象ＣＵ内の各ＰＵを正方形状に分割したサイズをＴＵブロックサイズとして決定する。一方、ステップＳ３０２において全画素値が閾値以下であると判定された場合、ステップＳ３０４において符号化対象ＣＵ内の全ＰＵを正方形状に統合したサイズをＴＵブロックサイズとして決定する。
【００３９】
図５は、ステップＳ３０３およびステップＳ３０４によってＴＵブロックサイズが決定される例を示す図である。図５の例では、符号化対象ＣＵ内のＰＵは、３２×８画素のＰＵと３２×２４画素のＰＵとの２つである。
【００４０】
ステップＳ３０３においてＰＵを分割する場合、図５（ａ）のように、各々のＰＵ内で正方形状のＴＵが隙間なく敷き詰められるようにＴＵブロックサイズが決定される。図５（ａ）では、３２×８画素のＰＵは４つの８×８画素のＴＵに分割され、３２×２４画素のＰＵは４つの８×８画素のＴＵと２つの１６×１６画素のＴＵに分割されている。
【００４１】
一方、ステップＳ３０４においてＰＵを統合する場合、図５（ｂ）のように、全てのＰＵを１つに統合した正方形状としてＴＵブロックサイズが決定される。図５（ｂ）では、３２×８画素のＰＵと３２×２４画素のＰＵが１つの３２×３２画素のＴＵに統合されている。
【００４２】
次に、残差係数符号化部１０４は、ステップ３０３もしくはステップＳ３０４によって決定された各々のＴＵに対してＴＵ単位で直交変換処理を行う（Ｓ３０５）。そして残差係数符号化部１０４は、得られた各周波数成分の直交変換係数に対しＴＵ単位で量子化処理する（Ｓ３０６）ことで残差係数信号を生成する。
【００４３】
直交変換処理を行う単位であるＴＵ内の全ての差分画像の画素値が同じような値である場合、直交変換処理によって生成される直交変換係数は低周波数成分の係数のみに値が集中する。そのため、量子化処理を行うことで高い効率で情報を圧縮することができる。
【００４４】
本来、画面間予測処理はＰＵ単位で行われるため、ＰＵ毎に別々の領域から動き補償が行われて予測画像が生成され、その結果生成される差分画像もＰＵ毎に異なる画素構造を持つ。そのため１つのＰＵの中で閉じた小さなブロック単位で直交変換処理を行うことが一般的である。しかし、直交変換処理を行うブロックの数が増えると、ブロック毎に符号列に記載する情報が発生するため、発生符号量が大きくなってしまう。
【００４５】
ところが、画面間予測が効率良く行われ、符号化対象内の全てのＰＵの差分画像の画素値を極めて小さくすることができた場合、ＰＵを統合した大きなブロック単位で直交変換処理を行っても、低周波数成分の係数のみに値が集中するため画質を劣化させることなく発生符号量を小さくすることができる。
【００４６】
本実施の形態では、符号化対象ＣＵ内の全ＰＵの差分画像の画素値が閾値以下のときのみＰＵを統合した大きなブロック単位で直交変換処理する。そのため、画面間予測が効率良く行われなかった場合は従来相当の符号化効率でありながら、画面間予測が効率良く行われた場合は極めて高い符号化効率で符号化することが可能となる。これにより、高画質化と発生符号量の削減を同時に実現することができる。
【００４７】
（直交変換ブロックサイズ決定部および残差係数符号化部の別の形態１）
ここで、直交変換ブロックサイズ決定部１０３および残差係数符号化部１０４において、ＴＵのブロックサイズを決定し、直交変換処理および量子化処理を行って残差係数信号を生成する別の方法について、図６のフローチャートを用いて説明する。
【００４８】
ステップＳ３０１からステップＳ３０６における処理は図３を用いて説明した処理と全く同様であるためここでは説明を省略し、新たに追加されたステップＳ６０７に係る処理についてのみ詳しく説明する。
【００４９】
ステップＳ３０２において全画素値が閾値以下であると判定され、ステップＳ３０４において符号化対象ＣＵ内の全ＰＵを正方形状に統合したサイズをＴＵブロックサイズとして決定した場合、残差係数符号化部１０４において、ステップＳ３０５およびステップＳ３０６の処理を行わず、替わりにステップＳ６０７の処理が行われる。
【００５０】
ステップＳ６０７では決定されたＴＵに対して、直交変換処理および量子化処理を行うことなく、残差係数符号化部１０４が生成する残差係数信号を全て値が０のものとする。
【００５１】
ステップＳ６０７の処理が適用されるＴＵは、ステップＳ３０２において全ての差分画像の画素値が小さいことが分かっている。そのため、残差係数信号の値を全て０としても画質を劣化させることなく発生符号量を削減することが可能となる。さらに直交変換処理と量子化処理を行う必要がないため処理量を削減することが可能となる。
【００５２】
なお、ステップＳ６０７において、ステップＳ３０５の直交変換処理とステップＳ３０６の量子化処理と同様の処理を行って生成される残差係数信号に対して、後から全ての値を０に変更するという処理を行ってもよい。これにより、ステップＳ３０２の判定結果に依存することなく処理フローを共通化することが可能となり、処理量の削減効果はなくなるが処理フローの単純化を実現することが可能となる。
【００５３】
なお、上記においては残差係数の信号をすべて０とする例を示したが、０と近似できる値であればどのような値を利用しても構わない。
【００５４】
（直交変換ブロックサイズ決定部および残差係数符号化部の別の形態２）
ここで、直交変換ブロックサイズ決定部１０３および残差係数符号化部１０４において、ＴＵのブロックサイズを決定し、直交変換処理および量子化処理を行って残差係数信号を生成するまた別の方法について、図７のフローチャートを用いて説明する。
【００５５】
ステップＳ３０３からステップＳ３０６における処理は図３を用いて説明した処理と全く同様であるためここでは説明を省略する。そして、図３におけるステップＳ３０１およびステップＳ３０２に替わって新たに追加されたステップＳ７０１およびステップＳ７０２に係る処理についてのみ詳しく説明する。
【００５６】
直交変換ブロックサイズ決定部１０３は、差分演算部１０９が生成するＰＵ単位の差分画像信号を入力として、符号化対象ＣＵ内の全ＰＵの差分画像の画素値の最大値と最小値を抽出する（Ｓ７０１）。さらに直交変換ブロックサイズ決定部１０３は、抽出された最大値と最小値の幅が閾値以下かどうかを判定する（Ｓ７０２）。
【００５７】
図８は、ステップＳ７０１およびステップＳ７０２における判定の例を示す図である。
【００５８】
図８（ａ）の例は、符号化対象ＣＵ内の各々の画素位置における差分画像の画素値をグラフにしたものであり、符号化対象ＣＵ内の１つめのＰＵをＰＵ１、２つめのＰＵをＰＵ２としている。ＰＵ１およびＰＵ２に属する全ての画素値の最大値と最小値の幅が閾値以下の値であるため、ステップＳ７０２の判定の結果として最大値と最小値の幅が閾値以下であると判定される。
【００５９】
一方、図４（ｂ）の例では、ＰＵ１およびＰＵ２に属する全ての画素値の最大値と最小値の幅が閾値より大きい値であるため、ステップＳ７０２の判定の結果として最大値と最小値の幅が閾値以下でないと判定される。
【００６０】
ステップＳ７０２において最大値と最小値の幅が閾値以下でないと判定された場合、ステップＳ３０３において符号化対象ＣＵ内の各ＰＵを正方形状に分割したサイズをＴＵブロックサイズとして決定する。一方、ステップＳ７０２において最大値と最小値の幅が閾値以下であると判定された場合、ステップＳ３０４において符号化対象ＣＵ内の全ＰＵを正方形状に統合したサイズをＴＵブロックサイズとして決定する。
【００６１】
直交変換処理を行う単位であるＴＵ内の全ての差分画像の画素値が同じような値である場合、直交変換処理によって生成される直交変換係数は低周波数成分の係数のみに値が集中する。そのため、量子化処理を行うことで高い効率で情報を圧縮することができる。
【００６２】
図４（ａ）の例と図８（ａ）の例とを比較すると、図８（ａ）の例の方が、各々の画素値は大きな値を持っている。しかし、ばらつきを比較した場合、図８（ａ）に示す例は、図４（ａ）と同様に小さいため、直交変換処理によって生成される直交変換係数は低周波数成分の係数のみに値が集中する。そのため、ＰＵを統合した大きなブロック単位で直交変換処理を行っても、画質を劣化させることなく発生符号量を小さくすることができる。
【００６３】
（直交変換ブロックサイズ決定部および残差係数符号化部の別の形態３）
ここで、直交変換ブロックサイズ決定部１０３および残差係数符号化部１０４において、ＴＵのブロックサイズを決定し、直交変換処理および量子化処理を行って残差係数信号を生成するまた別の方法について、図９のフローチャートを用いて説明する。
【００６４】
ステップＳ３０３からステップＳ３０６における処理は図３を用いて説明した処理と全く同様であるためここでは説明を省略する。そして、図３におけるステップＳ３０１およびステップＳ３０２に替わって新たに追加されたステップＳ９０１およびステップＳ９０２に係る処理についてのみ詳しく説明する。
【００６５】
直交変換ブロックサイズ決定部１０３は、差分演算部１０９が生成するＰＵ単位の差分画像信号を入力として、符号化対象ＣＵ内のＰＵとＰＵの境界の差分画像の画素値の差である境界差分値を抽出する（Ｓ９０１）。さらに直交変換ブロックサイズ決定部１０３は、抽出された全境界差分値が閾値以下かどうかを判定する（Ｓ９０２）。
【００６６】
図１０は、ステップＳ９０１およびステップＳ９０２における判定の例を示す図である。
【００６７】
図１０（ａ）の例は、符号化対象ＣＵ内の各々の画素位置における差分画像の画素値をグラフにしたものであり、符号化対象ＣＵ内の１つめのＰＵをＰＵ１、２つめのＰＵをＰＵ２としている。ＰＵ１とＰＵ２の境界に隣接する画素値の差（境界差分値）が閾値以下となっていることを示している。図１０（ａ）の例では画素位置を１次元のグラフで表現している。そのため、境界差分値が１つしかないが、本来、処理対象とする差分画像は２次元の画像である。よって、境界差分値はＰＵとＰＵの境界に隣接する画素のペアの数だけ存在する。それらの全ての境界差分値が同様に閾値以下であると、ステップＳ９０２の判定の結果として全境界差分値が閾値以下であると判定される。
【００６８】
一方、図１０（ｂ）の例では、ＰＵ１とＰＵ２の境界に隣接する画素値の差（境界差分値）が閾値より大きい値であるため、ステップＳ９０２の判定の結果として全境界差分値が閾値以下でないと判定される。
【００６９】
ステップＳ９０２において全境界差分値が閾値以下でないと判定された場合、ステップＳ３０３において符号化対象ＣＵ内の各ＰＵを正方形状に分割したサイズをＴＵブロックサイズとして決定する。一方、ステップＳ９０２において全境界差分値が閾値以下であると判定された場合、ステップＳ３０４において符号化対象ＣＵ内の全ＰＵを正方形状に統合したサイズをＴＵブロックサイズとして決定する。
【００７０】
直交変換処理を行う単位であるＴＵ内の全ての差分画像の画素値が同じような値である場合、直交変換処理によって生成される直交変換係数は低周波数成分の係数のみに値が集中する。そのため、量子化処理を行うことで高い効率で情報を圧縮することができる。
【００７１】
図１０（ｂ）の例のように、ＰＵ１とＰＵ２の境界に隣接する画素値の差が大きな値であると、ＰＵ１とＰＵ２を統合した大きなブロック単位で直交変換処理を行った場合に、直交変換係数の高周波数成分の係数にも情報が分散されてしまう。そのため量子化処理を行っても生成される残差係数が多く発生してしまい、高い効率で情報を圧縮することができなくなる。
【００７２】
一方、図１０（ａ）の例のように、ＰＵ１とＰＵ２の境界に隣接する画素値の差が小さな値であると、ＰＵ１とＰＵ２を統合した大きなブロック単位で直交変換処理を行った場合でも、直交変換係数の高周波数成分の係数に情報が分散される可能性が低くなる。そのため、画質を劣化させることなく発生符号量を小さくすることができる。
【００７３】
（まとめ）
本実施形態における動画像符号化装置１００は、符号化対象ピクチャを画面間予測処理が含まれた所定の符号化規格にて符号化し、符号列を生成する動画像符号化装置であって、符号化対象ピクチャを構成する画素を、予め設定される複数のブロックサイズのうちいずれかのサイズを有する出力用のブロック毎に出力するブロック分割部１０２と、出力用のブロックに属する画素に対して、出力用のブロックサイズ以下のブロックサイズを有する予測処理用のブロックを設定し、この予測処理用のブロック毎に予測画像を生成する画面間予測処理部１０７と、予測処理用のブロック毎に生成された予測画像と、当該予測画像のそれぞれに対応する出力用のブロックに属する画素とを差分演算し、予測処理用のブロック単位で差分画像を生成する差分演算部１０９と、予測処理用のブロックのうち隣接するブロックに属する差分画像に基づいて、（１）隣接する予測処理用のブロックを統合し得られる正方形状のブロックを直交変換用のブロックとして設定する第１動作と、（２）予測処理用のブロックを正方形状に分割し、分割して得られたブロックを直交変換用のブロックとして設定する第２動作を実行する直交変換ブロックサイズ決定部１０３と、設定した直交変換用のブロック毎に、直交変換および量子化処理し、残差係数を生成する残差係数符号化部１０４と、を備える。
【００７４】
また本実施形態における直交変換ブロックサイズ決定部１０３は、属するすべての差分画像の画素値が所定の閾値以下である予測処理用のブロックが隣接する場合、この隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成する。
【００７５】
また本実施形態における残差係数符号化部１０４は、直交変換ブロックサイズ決定部１０３において、隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成した場合、統合後における直交変換用のブロックに属するすべての残差係数を０として生成する。
【００７６】
本実施形態における直交変換ブロックサイズ決定部１０３は、属する差分画像の画素値の最小値と最大値の幅が所定の範囲内の値である予測処理用のブロックが隣接する場合、この隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成する。
【００７７】
本実施形態における直交変換ブロックサイズ決定部１０３は、隣接する予測処理用のブロックに属する差分画像の画素値のうち、隣接境界を挟む画素値の差が所定の閾値以下の場合、この隣接する予測処理用のブロックを統合し正方形状の直交変換用のブロックとして生成する。
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００７８】
また、上記実施の形態で示した動画像符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【００７９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００８０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【００８１】
また、上記実施の形態に係る、動画像符号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【００８２】
本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置として有用である。
【符号の説明】
【００８３】
１００  動画像符号化装置
１０１  ピクチャメモリ
１０２  ブロック分割部
１０３  直交変換ブロックサイズ決定部
１０４  残差係数符号化部
１０５  残差係数復号化部
１０６  ピクチャバッファ
１０７  画面間予測処理部
１０８  符号列生成部
１０９  差分演算部
１１０  加算演算部
【図１】
2016106444.tif 000003
【図２】
2016106444.tif 000004
【図３】
2016106444.tif 000005
【図４】
2016106444.tif 000006
【図５】
2016106444.tif 000007
【図６】
2016106444.tif 000008
【図７】
2016106444.tif 000009
【図８】
2016106444.tif 000010
【図９】
2016106444.tif 000011
【図１０】
2016106444.tif 000012