(57)【要約】［課題］  符号化効率の劣化を抑制しつつ、少ない演算量で符号化モードが決定できるようにする。［解決手段］  符号化モード決定部を過去に符号化されたフレームにおける符号化モードの予測モード割合を算出するモード割合算出部と、予め設定された割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値より小さい場合にのみ、参照フレームを用いて画素を予測する共にスキップＲＤコストを算出するスキップ情報決定部と、参照フレームを用いて符号化対象ブロックを予測し、イントラ情報及びイントラＲＤコストを算出するイントラ予測情報決定部と、参照フレームの画素を用いて符号化対象ブロックを予測し、該参照フレームの動き情報と予測残差とを符号化する共にインターＲＤコストを算出するインター予測情報決定部と、ブロックを分割したサブブロックのＲＤコストの合計を求めるサブブロックコスト算出部と、割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値より小さい場合にのみ、イントラ予測情報決定部により得られたイントラ予測モードにおける残差の有無を決定し、そのイントラ残差ＲＤコストを算出するイントラ側残差除去判定部と、割合判断閾値と予測モード割合とを比較して、割合判断閾値より小さい場合にのみ、インター予測情報決定部により得られたインター予測モードにおける残差の有無を決定し、そのインター残差ＲＤコストを算出するインター側残差除去判定部と、イントラ残差ＲＤコスト、インター残差ＲＤコスト、スキップＲＤコストの少なくとも１つのＲＤコストとサブＲＤコストを比較し、最小となるモードを選択して予測モードを決定するモード決定部と、により構成する。
2017122604.tif 000002
【特許請求の範囲】
【請求項１】
ブロックごとに複数の符号化モードの組み合わせを決定する符号化モード決定手段を備えた動画像符号化装置であって、
前記符号化モード決定手段は、
過去に符号化されたフレームにおける符号化モードの予測モード割合を算出するモード割合算出手段と、
予め設定された割合判断閾値と前記予測モード割合とを比較して、前記予測モード割合が前記割合判断閾値以下である場合（予測モード割合≦前記割合判断閾値）にのみ、参照フレームを用いて画素を予測する共にスキップＲＤコストを算出するスキップ情報決定手段と、
符号化対象フレームの符号化済みの画素を用いて符号化対象ブロックを予測し、イントラ情報及びイントラＲＤコストを算出するイントラ予測情報決定手段と、
前記参照フレームの画素を用いて符号化対象ブロックを予測し、該参照フレームの動き情報を算出すると共にインターＲＤコストを算出するインター予測情報決定手段と、
前記ブロックを分割したサブブロックのＲＤコストの合計を求めるサブブロックコスト算出手段と、
前記割合判断閾値と前記予測モード割合とを比較して、前記予測モード割合が前記割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、前記イントラ予測情報決定手段により得られたイントラ予測モードにおける残差の有無を決定し、そのイントラ残差ＲＤコストを算出するイントラ側残差除去判定手段と、
前記割合判断閾値と前記予測モード割合とを比較して、前記割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、前記インター予測情報決定手段により得られたインター予測モードにおける残差の有無を決定し、そのインター残差ＲＤコストを算出するインター側残差除去判定手段と、
前記イントラ残差ＲＤコスト、前記インター残差ＲＤコスト、前記スキップＲＤコストの少なくとも１つのＲＤコストと前記サブＲＤコストを比較し、最小となるモードを選択して予測モードを決定するモード決定手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置であって、
前記予測モード割合は、前記イントラ予測情報決定手段において予測される前記ブロックの割合であることを特徴とする動画像符号化装置。
【請求項３】
請求項１に記載の動画像符号化装置であって、
前記予測モード割合は、前記残差がゼロである前記ブロックの割合であることを特徴とする動画像符号化装置。
【請求項４】
請求項１から３に記載の動画像符号化装置であって、
前記割合判断閾値は、輝度又は色差で異なる値に設定されていることを特徴とする動画像符号化装置。
【請求項５】
ブロックごとに複数の符号化モードの組み合わせを決定する動画像符号化方法であって、
過去に符号化されたフレームにおける符号化モードの予測モード割合を算出し、
予め設定された割合判断閾値と前記予測モード割合とを比較して、前記予測モード割合が前記割合判断閾値以下である場合（予測モード割合≦前記割合判断閾値）にのみ、参照フレームを用いて画素を予測する共にスキップＲＤコストを算出し、
前記参照フレームを用いて符号化対象ブロックを予測し、イントラ情報及びイントラＲＤコストを算出し、
前記参照フレームの画素を用いて符号化対象ブロックを予測し、該参照フレームの動き情報と予測残差とを符号化する共にインターＲＤコストを算出し、
前記ブロックを分割したサブブロックのＲＤコストの合計を求め、
前記割合判断閾値と前記予測モード割合とを比較して、前記予測モード割合が前記割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、イントラ予測モードにおける残差の有無を決定し、そのイントラ残差ＲＤコストを算出し、
前記割合判断閾値と前記予測モード割合とを比較して、前記割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、インター予測モードにおける残差の有無を決定し、そのインター残差ＲＤコストを算出し、
前記イントラ残差ＲＤコスト、前記インター残差ＲＤコスト、前記スキップＲＤコストの少なくとも１つのＲＤコストと前記サブＲＤコストを比較し、最小となるモードを選択して予測モードを決定する、
ことを特徴とする動画像符号化方法。
【請求項６】
請求項５に記載の動画像符号化方法であって、
前記予測モード割合は、前記イントラ予測モードにおいて予測される前記ブロックの割合であることを特徴とする動画像符号化方法。
【請求項７】
請求項５に記載の動画像符号化方法であって、
前記予測モード割合は、前記残差がゼロである前記ブロックの割合であることを特徴とする動画像符号化方法。
【請求項８】
請求項５に記載の動画像符号化方法であって、
前記割合判断閾値は、輝度又は色差で異なる値に設定されていることを特徴とする動画像符号化方法。
【請求項９】
ブロックごとに複数の符号化モードの組み合わせを決定する動画像符号化プログラムが記憶された記憶媒体であって、
過去に符号化されたフレームにおける符号化モードの予測モード割合を算出するステップと、
予め設定された割合判断閾値と前記予測モード割合とを比較して、前記予測モード割合が前記割合判断閾値以下である場合（予測モード割合≦前記割合判断閾値）にのみ、参照フレームを用いて画素を予測する共にスキップＲＤコストを算出するステップと、
前記参照フレームを用いて符号化対象ブロックを予測し、イントラ情報及びイントラＲＤコストを算出するステップと、
前記参照フレームの画素を用いて符号化対象ブロックを予測し、該参照フレームの動き情報と予測残差とを符号化する共にインターＲＤコストを算出するステップと、
前記ブロックを分割したサブブロックのＲＤコストの合計を求めるステップと、
前記割合判断閾値と前記予測モード割合とを比較して、前記予測モード割合が前記割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、イントラ予測モードにおける残差の有無を決定し、そのイントラ残差ＲＤコストを算出するステップと、
前記割合判断閾値と前記予測モード割合とを比較して、前記割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、インター予測モードにおける残差の有無を決定し、そのインター残差ＲＤコストを算出するステップと、
前記イントラ残差ＲＤコスト、前記インター残差ＲＤコスト、前記スキップＲＤコストの少なくとも１つのＲＤコストと前記サブＲＤコストを比較し、最小となるモードを選択して予測モードを決定するステップと、
を含むことを特徴とする動画像符号化プログラムが記憶された記憶媒体。
【請求項１０】
請求項９に記載の動画像符号化プログラムが記憶された記憶媒体であって、
前記予測モード割合は、前記イントラ予測モードにおいて予測される前記ブロックの割合、又は、前記残差がゼロである前記ブロックの割合であることを特徴とする動画像符号化プログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化効率を低下させずに演算量を削減することができる動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが記憶された記憶媒体に関する。
【背景技術】
【０００２】
動画像符号化の標準規格では、画像を多数の画素ブロックに分割し、ブロック毎に同一画面（フレーム）内の画素又は異なるフレームの画素を用いて、符号化対象ブロックの画素を予測する。そして、実際の画素と予測された画素との差分（残差）のみを符号化することで情報圧縮を行う。なお、標準規格として、Ｈ．２６４／ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−４  ＡＶＣ（以下、Ｈ．２６４）やＨ．２６５／ＨＥＶＣ（以下、Ｈ．２６５）が例示でき、非特許文献１にはＨ．２６５規格に基づく情報圧縮方法が提案されている。【０００３】
Ｈ．２６５動画像符号化処理においては、ＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）と呼ばれる最大６４ｘ６４画素のブロック単位で符号化を行う。このＣＴＵは、さらに可変サイズのＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）に分割されて、ＣＵ毎に予測処理が行われる。なお、ＣＵサイズは、６４ｘ６４〜８ｘ８画素まで変化させることができる。そして、各ＣＵは、イントラ予測モード、インター予測モード、スキップモードのいずれかを選択して予測・符号化処理を行う。【０００４】
以下、過去に符号化されたフレーム（又は、符号化済みのフレーム）や参照フレームの用語を用いることがある。符号化済みのフレームは、現在の符号化処理を行うフレームに対して過去に符号化処理が行われたフレームを意味している。そして、参照フレームは、このような符号化済みのフレームであって、現在の予測処理において用いるフレームを言う。【０００５】
イントラ予測モードは、フレーム内の符号化済みの画素を用いて符号化対象ブロックを予測し、予測方向と予測残差とを符号化するモードである。【０００６】
インター予測モードは、参照フレームの画素を用いて符号化対象ブロックを予測し、参照フレームへの動き情報と予測残差とを符号化するモードである。【０００７】
スキップモードは、参照フレームを用いて画素を予測するインター予測の一種であるが、動き情報や予測残差を符号化しない特殊なモードである。Ｈ．２６５では、隣接ブロックから作成する動きベクトルリスト（マージリスト）の中から動き情報をコピーして符号化する。このスキップモードは、選択される確率が高く符号化効率に大きく寄与する重要な予測モードであるが、動きベクトル（スキップベクトル又は移動量）を最大５つの候補（スキップベクトル候補）から選択するため、全てのスキップベクトル候補についてモード判定処理を行うと演算量が増大してしまう。【０００８】
なお、予測モードとは別に（独立に）、残差の有無を色成分ごとに指定することも可能である。強制的に残差をゼロにすることで、画質劣化はあるものの、符号量を低減することができる利点がある。【０００９】
図６に、Ｈ．２６５規格に基づいた動画像符号化装置１００の構成例を示す。この動画像符号化装置１００は、変換量子化部１０１、符号化部１０２、逆変換・逆量子化部１０３、合成器１０４、ループフィルタ１０５、フレームバッファ１０６、符号化モード決定部１０７、イントラ予測部１０８、インター予測部１０９、加算器１１０を備えている。【００１０】
そして、当該動画像符号化装置１００は、以下のように動作する。先ず、入力画像Ｇ１に対して、符号化モード決定部１０７は、ＣＵサイズを決定すると共に、イントラ予測モード／インター予測モード／スキップモードのいずれのモードを用いるかを決定する。このとき、イントラ予測モードが決定されると予測方向の決定も行う。また、インター予測モード／スキップモードが決定されると動き情報の決定も行う。【００１１】
イントラ予測部１０８又はインター予測部１０９は、決定されたモードに応じて予測画像Ｇ２を生成する。予測画像Ｇ２は、加算器１１０に入力して、入力画像Ｇ１と予測画像Ｇ２との差分が求められる。求められた差分は、残差信号Ｇ３として変換量子化部１０１に入力する。【００１２】
変換量子化部１０１は、残差信号Ｇ３を整数変換し、さらに変換された係数を量子化する。これを量子化変換信号Ｇ４として符号化部１０２及び逆変換・逆量子化部１０３に出力する。【００１３】
符号化部１０２は、量子化変換信号Ｇ４を符号化して出力する。一方、逆変換・逆量子化部１０３は、量子化変換係数Ｇ４を逆量子化した上で逆整数変換し、これを逆量子化変換信号Ｇ５として合成器１０４に出力する。【００１４】
合成器１０４は、逆量子化変換信号Ｇ５と予測画像Ｇ２とを合成し、これを再構築画像Ｇ６としてループフィルタ１０５、符号化モード決定部１０７、イントラ予測部１０８に出力する。【００１５】
ループフィルタ１０５は、再構築画像Ｇ６のブロック歪を除去し、これをフレームバッファ１０６に格納する。このフレームバッファ１０６は、要求に応じて格納している再構築画像Ｇ６をインター予測部１０９に出力する。【００１６】
イントラ予測部１０８は、再構築画像Ｇ６を用いて同一フレームのイントラ予測を行う。また、インター予測部１０９は、ブロック歪が除去された再構築画像Ｇ６を用いてインター予測を行う。【００１７】
符号化モード決定部１０７は、再構築画像Ｇ６を用いてモードを決定する。一般に、高い符号化効率を達成するためには、符号化モード決定部１０７でＣＵサイズや予測モード、残差の有無を最適に組み合わせることが重要である。そこで、近年の動画像符号化装置においては、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化と呼ばれる手法が広く用いられている。【００１８】
このＲＤ最適化では、各符号化モードに対して、Ｊ＝Ｄ＋λＲで表されるレート歪み（ＲＤ）コストを算出し、これが最小になる組み合わせを採用する。ここで、Ｄは符号化に起因する歪み量、Ｒは符号化で発生する符号量、λは画像の複雑さ等に依存する重み係数である。【００１９】
歪み量Ｄには、入力画像Ｇ１の画素と再構築画像Ｇ６の画素との残差の平方和（ＳＳＥ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ）が用いられる。【００２０】
しかし、歪み量Ｄと符号量Ｒとを算出するには、予測画像Ｇ２と入力画像Ｇ１との差分を変換・量子化、符号化、逆変換・逆量子化等の多くの処理が必要となり、演算量が増大してしまう。【００２１】
また、Ｈ．２６５は、Ｈ．２６４に対して、符号化ブロックサイズの多様化やイントラ予測方向の拡張、ＲＤＯＱ（レート歪み最適量子化）等の新ツールが追加されている。このため、Ｈ．２６５では符号化モードの組み合わせ数が著しく増大し、演算量を増大させている。【００２２】
特に、４Ｋ（よんけい）等の高解像度映像において、全ての符号化モードの組み合わせとなるＲＤコストを算出し、比較する処理は、得られる効果の観点から現実的ではない。即ち、無駄となる処理が多くなってしまう。なお、ＲＤコストは、入力画像との予測残差の大きさ、及び、発生するデータ量の重み付き加算で表される。従って、ＲＤコストが最も小さくなるブロックサイズを選択するならば、客観画質とデータ量との最適なバランスが実現できる。【００２３】
図７は、上記符号化モード決定部１０７のブロック図である。この符号化モード決定部１０７は、スキップ情報決定部１２１、インター予測情報決定部１２２、及び、イントラ予測情報決定部１２３を備える。また、サブブロックコスト算出部１２４、インター側残差除去判定部１２５、イントラ側残差除去判定部１２６、モード決定部１２７を備える。【００２４】
なお、スキップ情報決定部１２１には、現画像、参照フレーム、スキップベクトル候補が入力する。インター予測情報決定部１２２には、現画像、参照フレームが入力する。イントラ予測情報決定部１２３には現画像、再構築画像が入力する。【００２５】
スキップ情報決定部１２１は、近接ブロックの動き情報から生成される複数のスキップベクトル候補に対して、参照フレームによる予測画像Ｇ２を生成する。そして、予測画像Ｇ２と符号化対象の現画像とを変換・量子化、符号化、逆変換・逆量子化することでＲＤコストを求める。その後、複数のスキップベクトル候補のうち最もＲＤコストの小さいものを選択してＲＤコストと共に出力する。【００２６】
インター予測情報決定部１２２は、画像の動き量を推定する動きベクトル探索によって動き情報を決定する。そして、決定された動き情報に基づいて現画像と参照フレームとから予測画像Ｇ２を生成してＲＤコストを求め、動き情報と共に出力する。【００２７】
イントラ予測情報決定部１２３は、多数の予測方向の中からＲＤコストが最小となる方向を選択し、選択された予測方向におけるＲＤコストと共に出力する。【００２８】
サブブロックコスト算出部１２４は、内包するサブブロックのＲＤコストの合計を求める。例えば、ＣＵサイズが１６ｘ１６であれば、４つに分割した８ｘ８ＣＵをサブブロックとし、これらのＲＤコストの合計をサブブロックコストとする。【００２９】
インター側残差除去判定部１２５は、インター予測モードにおいて、残差（即ち、変換係数）を強制的にゼロにした場合のＲＤコストを算出し、残差がある場合よりもコストが小さければ残差ゼロモードを選択する。【００３０】
イントラ側残差除去判定部１２６は、イントラ予測モードにおいて、残差（即ち、変換係数）を強制的にゼロにした場合のＲＤコストを算出し、残差がある場合よりもコストが小さければ残差ゼロモードを選択する。【００３１】
以下、スキップ情報決定部１２１が算出するＲＤコストをスキップＲＤコスト、インター予測情報決定部１２２が算出するＲＤコストをインターＲＤコスト、イントラ予測情報決定部１２３が算出するＲＤコストをイントラＲＤコスト、インター側残差除去判定部１２５が算出するＲＤコストをインター残差ＲＤコスト、イントラ側残差除去判定部１２６が算出するＲＤコストをイントラ残差ＲＤコスト、サブブロックコスト算出部１２４が算出するＲＤコストをサブＲＤコストと記載する。そして、これらを総称する場合には、単にＲＤコストと記載する。【００３２】
そして、モード決定部１２７は、スキップモード、インター予測モード、イントラ予測モードにおけるＲＤコストとサブＲＤコストとを比較し、最小となるモードを選択して予測モードを決定する。決定された予測モードとＲＤコストとは、より大きいＣＵのサブＲＤコストとして使用される。【００３３】
このような処理においては多くの演算が必要となるので、ＲＤコストを算出する符号化モードを限定することで演算量の低減を図る技術が特許文献１、非特許文献２に開示されている。【００３４】
特許文献１は、Ｈ．２６４の下で一部の符号化モードのＲＤコストに基づいて評価する符号化モードを限定することにより演算量を削減する。この技術は、例えば、初めに１６ｘ１６画素スキップモードのスキップＲＤコストと１６ｘ１６画素インター予測モードのインターＲＤコストとを算出する。そして、スキップＲＤコストがインターＲＤコストよりも小さいと共に、１６ｘ１６画素インター予測モードの残差がなく、かつ、スキップモードとインター予測モードの動き情報が同一であれば、より小さいサイズのインター予測モードを評価せずに符号化モードを決定する。これにより使用する可能性のあるモードの数、即ちＲＤコストの算出処理が削減できる。【００３５】
また、非特許文献２には、初めにスキップＲＤコストを評価し、コストが一定の閾値以下ならば他のモードは評価せずにスキップモードと決定する技術が開示されている。この場合も、スキップＲＤコストに基づいて他のモードのＲＤコストの算出処理が削減できる。
【先行技術文献】
【特許文献】
【００３６】
【特許文献１】特許第４９６８７２６号公報
【非特許文献】
【００３７】
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６５  "  Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，"  Ａｐｒ  ２０１３．
【非特許文献２】Ｈ．  Ｚｅｎｇ，  ｅｔ．  ａｌ．  ，  "Ｆａｓｔ  ｍｏｄｅ  ｄｅｃｉｓｉｏｎ  ｆｏｒ  Ｈ．２６４／ＡＶＣ  ｂａｓｅｄ  ｏｎ  ｍａｃｒｏｂｌｏｃｋ  ｍｏｔｉｏｎ  ａｃｔｉｖｉｔｙ"，  ＩＥＥＥ  Ｔｒａｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，  ｖｏｌ．  １９，  ｐｐ．  ４９１−４９９，  Ｍａｒｃｈ，  ２００９．
【発明の概要】
【発明が解決しようとする課題】
【００３８】
しかしながら、全ての符号化モードのＲＤコストを比較すると最適解が求まり高い符号化効率を達成できる反面、演算量が膨大となる問題がある。【００３９】
即ち、特許文献１や非特許文献２にかかる技術では、スキップＲＤコストから他の符号化モードを限定することで演算量を削減している。しかし、この方法ではスキップＲＤコストは必ず算出する必要があるため、スキップモードが選択される可能性が低くてもスキップＲＤコストの算出処理は削減できないことになる。【００４０】
また、特許文献１や非特許文献２にかかる技術では、イントラ予測モード、インター予測モードにおける残差除去時のＲＤコスト算出も削減できないので、演算量を充分に削減できない問題がある。【００４１】
そこで、本発明の主目的は、符号化効率の劣化を抑制しつつ、少ない演算量で符号化モードが決定できる動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムを提供することである。
【課題を解決するための手段】
【００４２】
上記課題を解決するため、ブロックごとに複数の符号化モードの組み合わせを決定する符号化モード決定部を備えた動画像符号化装置にかかる発明の一態様は、符号化モード決定部は、過去に符号化されたフレームにおける符号化モードの予測モード割合を算出するモード割合算出部と、予め設定された割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、参照フレームを用いて画素を予測する共にスキップＲＤコストを算出するスキップ情報決定部と、符号化対象フレームを用いて符号化対象ブロックを予測し、イントラ情報及びイントラＲＤコストを算出するイントラ予測情報決定部と、参照フレームの画素を用いて符号化対象ブロックを予測し、該参照フレームの動き情報と予測残差とを符号化すると共にインターＲＤコストを算出するインター予測情報決定部と、ブロックを分割したサブブロックのＲＤコストの合計を求めるサブブロックコスト算出部と、割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、イントラ予測情報決定部により得られたイントラ予測モードにおける残差の有無を決定し、そのイントラ残差ＲＤコストを算出するイントラ側残差除去判定部と、割合判断閾値と予測モード割合とを比較して、割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、インター予測情報決定部により得られたインター予測モードにおける残差の有無を決定し、そのインター残差ＲＤコストを算出するインター側残差除去判定部と、イントラ残差ＲＤコスト、インター残差ＲＤコスト、スキップＲＤコストの少なくとも１つのＲＤコストとサブＲＤコストを比較し、最小となるモードを選択して予測モードを決定するモード決定部と、を備える。【００４３】
また、ブロックごとに複数の符号化モードの組み合わせを決定する動画像符号化方法にかかる発明の一態様は、過去に符号化されたフレームにおける符号化モードの予測モード割合を算出し、予め設定された割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、参照フレームを用いて画素を予測する共にスキップＲＤコストを算出し、参照フレームを用いて符号化対象ブロックを予測し、イントラ情報及びイントラＲＤコストを算出し、参照フレームの画素を用いて符号化対象ブロックを予測し、該参照フレームの動き情報と予測残差とを符号化する共にインターＲＤコストを算出し、ブロックを分割したサブブロックのＲＤコストの合計を求め、割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、イントラ予測情報決定部により得られたイントラ予測モードにおける残差の有無を決定し、そのイントラ残差ＲＤコストを算出し、割合判断閾値と予測モード割合とを比較して、割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、インター予測情報決定部により得られたインター予測モードにおける残差の有無を決定し、そのインター残差ＲＤコストを算出し、イントラ残差ＲＤコスト、インター残差ＲＤコスト、スキップＲＤコストの少なくとも１つのＲＤコストとサブＲＤコストを比較し、最小となるモードを選択して予測モードを決定する。【００４４】
さらに、ブロックごとに複数の符号化モードの組み合わせを決定する動画像符号化プログラムにかかる発明の一態様は、過去に符号化されたフレームにおける符号化モードの予測モード割合を算出するステップと、予め設定された割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、参照フレームを用いて画素を予測する共にスキップＲＤコストを算出するステップと、参照フレームを用いて符号化対象ブロックを予測し、イントラ情報及びイントラＲＤコストを算出するステップと、参照フレームの画素を用いて符号化対象ブロックを予測し、該参照フレームの動き情報と予測残差とを符号化する共にインターＲＤコストを算出するステップと、ブロックを分割したサブブロックのＲＤコストの合計を求めるステップと、割合判断閾値と予測モード割合とを比較して、予測モード割合が割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、イントラ予測情報決定部により得られたイントラ予測モードにおける残差の有無を決定し、そのイントラ残差ＲＤコストを算出するステップと、割合判断閾値と予測モード割合とを比較して、割合判断閾値以下である場合（予測モード割合≦割合判断閾値）にのみ、インター予測情報決定部により得られたインター予測モードにおける残差の有無を決定し、そのインター残差ＲＤコストを算出するステップと、イントラ残差ＲＤコスト、インター残差ＲＤコスト、スキップＲＤコストの少なくとも１つのＲＤコストとサブＲＤコストを比較し、最小となるモードを選択して予測モードを決定するステップと、を含む。
【発明の効果】
【００４５】
本発明によれば、残差がゼロとなる可能性が低い場合にスキップモードや残差除去時のＲＤコスト算出演算を演算量が削減でき、動画像符号化処理を高速化できる。
【図面の簡単な説明】
【００４６】
【図１】第１実施形態にかかる動画像符号化装置のブロック図である。
【図２】符号化モード決定部のブロック図である。
【図３】符号化モード決定部における符号化モード決定処理を示すフローチャートである。
【図４】第２実施形態にかかる符号化モード決定部における符号化モード決定処理を示すフローチャートである。
【図５】第３実施形態にかかる符号化モード決定部における符号化モード決定処理を示すフローチャートである。
【図６】関連技術の説明に適用される、Ｈ．２６５規格に基づいた動画像符号化装置の構成例を示す図である。
【図７】符号化モード決定部のブロック図である。
【発明を実施するための形態】
【００４７】
本発明の主要な特徴は、残差がゼロとなる可能性が低いか否かを判断して、可能性が低い場合には残差を強制的にゼロとした場合のＲＤコストの算出をすることなく符号化モードを決定することで、ＲＤコストの算出に要する演算量を削減する点である。また、スキップモードは、全ての残差をゼロとし、かつ、特定の動きベクトルを使用する予測モードであるので、スキップモードについても同様の判断を行うことでＲＤコストに要する演算量の削減を行う点である。このとき、残差がゼロとなる可能性を、符号化済みのフレームの符号化モードの割合（予測モード割合）を用いて判断する。以下、詳細に説明する。
【００４８】
なお、本発明にかかる動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムは、符号化効率を保ちつつ演算量を削減することができるため、高解像度映像の高速処理を実現することができ、高解像度処理を要求する撮像システムやトランスコードシステムなどにも有用な技術である。
【００４９】
＜第１実施形態＞
本発明の第１実施形態を説明する。図１は、本実施形態にかかる動画像符号化装置２のブロック図である。この動画像符号化装置２は、変換量子化部１０１、符号化部１０２、逆変換・逆量子化部１０３、合成器１０４、ループフィルタ１０５、フレームバッファ１０６、符号化モード決定部１７、イントラ予測部１０８、インター予測部１０９、加算器１１０を備えている。
【００５０】
先に図６を用いて説明した動画像符号化装置１００と概ね同じブロック構成であるが、符号化モード決定部１７の内部構成が異なっている。図２は、このような符号化モード決定部１７のブロック図である。
【００５１】
この符号化モード決定部１７は、スキップ情報決定部１２１、インター予測情報決定部１２２、イントラ予測情報決定部１２３、サブブロックコスト算出部１２４、インター側残差除去判定部１２５、イントラ側残差除去判定部１２６、モード決定部１２７、予測モード割合算出部１８を備える。即ち、図７に示した符号化モード決定部１０７に対して、予測モード割合算出部１８が追加された構成となっている。
【００５２】
以下、図６及び図７と同じ構成に関しては同一符号を付して説明を適宜省略する。
【００５３】
符号化モード決定部１７の動作を説明する。図３は、符号化モード決定部１７における符号化モード決定処理を示すフローチャートである。
【００５４】
ステップＳＡ１：  先ず、予測モード割合算出部１８は、１つ以上の符号化済みのフレームの予測モード割合（例えば、イントラＣＵ割合）を算出する。参照フレームは、符号化済みのフレームに含まれるフレームであり、符号化処理が行われるたびに符号化モード決定部１７の図示しないレジスタ等の記憶手段に更新可能に記憶されている。算出された予測モード割合は、スキップ情報決定部１２１、インター側残差除去判定部１２５、イントラ側残差除去判定部１２６に出力される。なお、予測モード割合は、符号化対象フレームの符号化済みのＣＵを対象として算出しても良い。
【００５５】
ステップＳＡ２，ＳＡ３：  インター予測情報決定部１２２は、動きベクトル探索を行うことにより動き情報を決定すると共に、決定した動き情報に対応するインターＲＤコストを算出する。また、イントラ予測情報決定部１２３は、イントラ予測方向を決定すると共に、決定したイントラ予測方向に対応するイントラＲＤコストを算出する。
【００５６】
なお、ＲＤコストは、現画像と再構築画像Ｇ６との残差の平方和（ＳＳＥ）、及び、符号量によって求めるが、現画像と予測画像Ｇ２との残差の絶対値の和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等の別の指標を用いても良い。
【００５７】
ステップＳＡ４，ＳＡ５：  次に、スキップ情報決定部１２１は、予測モード割合とスキップ情報決定部１２１に格納されている予め定められた割合判断閾値との比較を行う。なお、割合判断閾値は、スキップ情報決定部１２１、インター側残差除去判定部１２５、イントラ側残差除去判定部１２６にそれぞれ格納されている。この割合判断閾値は、符号化モード決定の全演算量が削減でき、かつ、符号化効率が低下しないように統計的に決定することが好ましい。また、割合判断閾値は、符号化条件や符号化シーンに応じて変化させたり、輝度や色差で異なる値に設定してもよい。
【００５８】
この比較により、イントラＣＵ割合が割合判断閾値より大きい場合（イントラＣＵ割合＞割合判断閾値）は、ステップＳＡ６に進む。一方、イントラＣＵ割合が割合判断閾値以下である場合（イントラＣＵ割合≦割合判断閾値）は、ステップＳＡ５に進んで、スキップ情報決定部１２１によるスキップ情報決定及びスキップＲＤコスト算出が行われる。
【００５９】
ステップＳＡ６〜ＳＡ９：  次に、イントラ側残差除去判定部１２６は、予測モード割合とイントラ側残差除去判定部１２６に格納されている予め定められた割合判断閾値との比較を行う。そして、イントラＣＵ割合が割合判断閾値より大きい場合（イントラＣＵ割合＞割合判断閾値）は、イントラ側残差除去判定及びイントラ残差ＲＤコスト算出処理を行なわない。一方、イントラＣＵ割合が割合判断閾値以下である場合（イントラＣＵ割合≦割合判断閾値）は、イントラ側残差除去判定及びイントラ残差ＲＤコスト算出処理を行なう。
【００６０】
同様にインター側残差除去判定部１２５も予測モード割合とインター側残差除去判定部１２５に格納されている割合判断閾値との比較を行う。この結果、イントラＣＵ割合が割合判断閾値より大きい場合（イントラＣＵ割合＞割合判断閾値）は、インター側残差除去判定及びインター残差ＲＤコスト算出処理を行なわない。一方、イントラＣＵ割合が割合判断閾値以下である場合（イントラＣＵ割合≦割合判断閾値）は、インター側残差除去判定及びインター残差ＲＤコスト算出処理を行なう。
【００６１】
このように、イントラＣＵ割合を算出し、割合判断閾値との比較を行うことにより、スキップ情報決定部１２１、インター側残差除去判定部１２５、イントラ側残差除去判定部１２６におけるそれぞれの処理が無駄になるか否かを当該処理実行前に判断するので演算量の削減が図れる。
【００６２】
即ち、一般に、イントラ予測モードは、インター予測モードよりも残差量が多い。このため、イントラ予測モードが多い状況では、残差も多くなり、残差除去モードやスキップモードが選択される可能性が低くなる。従って、選択される可能性が低いモード処理を実行するスキップ情報決定部１２１、インター側残差除去判定部１２５、イントラ側残差除去判定部１２６を省略することで、ＲＤコスト算出等に要する演算量が削減できる。このとき、イントラＣＵ割合の算出処理が新たに必要となるが、この算出処理は、１フレーム〜数フレームに対して１回行えば良いので、上記判断処理により削減できる演算量に対して増加する演算量は無視できる程度である。
【００６３】
ステップＳＡ１０：  次に、サブブロックコスト算出部１２４は、処理対象ＣＵを複数に分割したＣＵ（サブブロック）のサブＲＤコストの合計を求める。サブＲＤコスト算出は、サブブロックにおける符号化モード決定処理であり、再帰的に処理されても良い。
【００６４】
ステップＳＡ１１：  その後、モード決定部１２７は、サブブロック、スキップモード、イントラ予測モード、インター予測モードのそれぞれの残差有無におけるＲＤコストを比較し、最小コストのモードを選択する。選択されたモードのＲＤコストは、一階層大きいＣＵのサブブロックのコストとなる。
【００６５】
なお、上記説明では、予測モード割合としてイントラＣＵ割合を例に説明した。これは、イントラＣＵ割合は、一般に、イントラ予測モードの残差量が多いことを考慮したものであるので、例えばインター予測モードの残差が多くなる系では、予測モード割合としてインター割合を用いればよい。
【００６６】
また、上記説明では、イントラＣＵ割合と割合判断閾値との比較処理は、スキップ情報決定部１２１、イントラ側残差除去判定部１２６、インター側残差除去判定部１２５の順で行う場合を示したが、かかる手順は並列処理としてもよい。即ち、ステップＳＡ４，ＳＡ５と、ステップＳＡ６，ＳＡ７と、ステップＳＡ８，ＳＡ９との間には、処理優先度はない。
【００６７】
以上説明したように、予測モード割合と割合判断閾値とを比較し、この比較結果に応じて選択される可能性が低い処理を行わないようにしたので、符号化効率の劣化を抑制しつつ、低演算量で符号化モードを決定できるようになる。
【００６８】
＜第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、第１実施形態と同一構成に関しては、同一符号を付して説明を適宜省略する。
【００６９】
本実施形態においては、特許文献１のように、特定のモードのＲＤコストに応じて他のＲＤコストの算出処理を省略すると共に、イントラブロック割合（イントラＣＵ割合）に応じてスキップＲＤコストの算出処理が省略できるようにした。
【００７０】
なお、以下の説明においては、Ｈ．２６４を対象として記述された特許文献１と同様に、ブロックサイズを４ｘ４から１６ｘ１６に変化させる場合を例に説明するが、当然ブロックサイズが６４ｘ６４まで拡張されたＨ．２６５に対しても適用可能であることを敢えて付言する。
【００７１】
図４は、本実施形態にかかる符号化モード決定部１７における符号化モード決定処理を示すフローチャートである。
【００７２】
ステップＳＢ１：  先ず、予測モード割合算出部１８により算出された符号化済みのフレームにおける予測モード割合（ここでは、イントラＣＵ割合）を算出する。
【００７３】
ステップＳＢ２，ＳＢ３：  そして、スキップ情報決定部１２１は、イントラＣＵ割合と割合判断閾値との比較を行う。この比較結果が、イントラＣＵ割合≦割合判断閾値の場合は、スキップ情報決定部１２１は、１６ｘ１６スキップベクトルに対応するスキップＲＤコストを算出する。
【００７４】
一方、イントラＣＵ割合＞割合判断閾値の場合は、スキップ情報決定部１２１は、スキップＲＤコスト算出は不要と判断し、処理はステップＳＢ４に進む。スキップＲＤコストには取り得る最大値を予め設定しておく。
【００７５】
ステップＳＢ４，ＳＢ５：  次に、インター予測情報決定部１２２は、１６ｘ１６ブロックの動きベクトル探索を行いインター予測モードの情報を決定し、インターＲＤコストを算出する。そして、インター予測情報決定部１２２は、スキップＲＤコストとインターＲＤコストとの比較を行う。なお、ステップＳＢ２においてイントラＣＵ割合＞割合判断閾値の場合には、ステップＳＢ５では、スキップＲＤコスト≧インターＲＤコストとなり、ステップＳＢ７に進む。
【００７６】
ステップＳＢ６：  一方、スキップＲＤコストが１６ｘ１６ブロックのインターＲＤコストよりも小さい場合には、スキップ動き情報と１６ｘ１６インター動き情報とが同じか否かを判断する。この判断により、スキップ動き情報＝インター動き情報の場合には、他のブロックサイズのインターＲＤコストの算出処理を省略し、ステップＳＢ１３に進む。即ち、１６ｘ１６ブロックでのスキップ動き情報＝インター動き情報の場合には、処理はステップＳＢ１３に進み、８ｘ８ブロックや４ｘ４ブロックにおけるインターＲＤコストの算出が省略される。
【００７７】
ステップＳＢ７，ＳＢ８：  １６ｘ１６ブロックでのスキップ動き情報がインター動き情報と等しくない場合、インター予測情報決定部１２２は、ブロックサイズを８ｘ８に変更して動きベクトル探索によりインター予測モードの情報を決定し、インターＲＤコストを算出する。そして、インター予測情報決定部１２２は、８ｘ８ブロックでの動き情報（８ｘ８動き情報）が１６ｘ１６ブロックでの動き情報（１６ｘ１６動き情報）と等しいか否かを判断する。
【００７８】
ステップＳＢ９：  ８ｘ８動き情報＝１６ｘ１６動き情報の場合、インター予測情報決定部１２２は、１６ｘ８及び８ｘ１６ブロックのインター予測モードの情報をそれぞれ決定してインターＲＤコストを算出する。
【００７９】
ステップＳＢ１０，ＳＢ１１：  ステップＳＢ８において、１６ｘ１６動き情報≠８ｘ８動き情報と判断した場合やステップＳＢ９で１６ｘ８及び８ｘ１６ブロックのインターＲＤコストが算出された場合には、インター予測情報決定部１２２は、４ｘ４ブロックのインター予測モードの情報を決定し、インターＲＤコストを算出する。そして、８ｘ８動き情報が４ｘ４動き情報に等しいか否かを判断する。
【００８０】
ステップＳＢ１２：  このとき、８ｘ８動き情報≠４ｘ４動き情報の場合は、インター予測情報決定部１２２は、８ｘ４及び４ｘ８ブロックのインター予測モードの情報を決定し、インターＲＤコストを算出する。
【００８１】
ステップＳＢ１３，ＳＢ１４：  ８ｘ８動き情報＝４ｘ４動き情報の場合、及び、ステップＳＢ１２で８ｘ４及び４ｘ８ブロックのイントラＲＤコストが算出された場合には、インター予測モードの処理が終了する。そこで、イントラ予測情報決定部１２３は各ブロックサイズにおけるイントラ予測モードの予測方向の決定とイントラＲＤコストの算出を行い、モード決定部１２７はイントラＲＤコストが最小のモードを選択する。
【００８２】
図４の例では残差除去判定については記載していないが、第１実施形態と同様に、各サイズのイントラ予測モード・インター予測モードで残差を除去したインター残差ＲＤコストを比較しても良く、その残差除去判定もイントラＣＵ割合に応じて要否を決定して良い。
【００８３】
以上説明したように、スキップＲＤコストとインターＲＤコストの関係に応じて他のモードのＲＤコストの算出を省略する符号化モード決定処理でも、スキップモードが選択される可能性が低い場合にスキップＲＤコストの算出を削減することができる。
【００８４】
＜第３実施形態＞
次に、本発明の第３実施形態を説明する。なお、上述した各実施形態と同一構成に関しては、同一符号を付して説明を適宜省略する。
【００８５】
非特許文献２においては、初めにスキップＲＤコストを評価し、このスキップＲＤコストがスキップ決定のための閾値（スキップ決定閾値）以下ならば他のモードは評価せずに、スキップモードに決定した。これによりスキップモードのコストがスキップ決定閾値以下の場合では、演算量が大きく削減できた。
【００８６】
しかし、かかる方法では、スキップ決定閾値が適切な値に設定されていない場合には、過剰にスキップモードが選択され易くなることがある。しかし、他の符号化モードとのコスト比較が行われないため、符号化効率は劣化してしまう。
【００８７】
そこで、本実施形態では、スキップ決定閾値を適正に設定して、スキップＲＤコスト算出の演算量を削減することに加え、符号化効率の劣化を抑制する。なお、以下では、第２実施形態と同様にブロックサイズを４ｘ４から１６ｘ１６とした場合について説明する。
【００８８】
図５は、本実施形態にかかる符号化モード決定部１７における符号化モード決定処理を示すフローチャートである。
【００８９】
ステップＳＣ１：  先ず、予測モード割合算出部１８により算出された符号化済みのフレームにおける予測モード割合（ここでは、イントラＣＵ割合）を算出する。
【００９０】
ステップＳＣ２，ＳＣ３：  そこで、スキップ情報決定部１２１は、イントラＣＵ割合と割合判断閾値とを比較する。
【００９１】
また、イントラＣＵ割合＞割合判断閾値の場合には、ステップＳＣ５に進む。即ち、ステップＳＣ３，ＳＣ４の処理がパスされる。これによりスキップＲＤコストの算出を削減することができる。一方、イントラＣＵ割合≦割合判断閾値の場合には、ステップＳＣ３に進む。
【００９２】
ステップＳＣ３，ＳＣ４：  イントラＣＵ割合≦割合判断閾値の場合、スキップ情報決定部１２１は、１６ｘ１６ブロックのスキップ情報を決定し、１６ｘ１６スキップモードにおけるスキップＲＤコストを算出する。そして、スキップ情報決定部１２１は、スキップＲＤコストと予め設定されたスキップ判断閾値との比較を行う。なお、スキップ判断閾値は演算量削減と符号化効率向上の双方を満たすように統計的に決定することが好ましい。
【００９３】
イントラＣＵ割合≦割合判断閾値の場合には、ステップＳＣ５に進むが、スキップＲＤコスト＜スキップ判断閾値の場合は、ステップＳＣ７に進む。
【００９４】
スキップＲＤコスト＜スキップ判断閾値の場合は、スキップモードが選択される可能性が高いことを意味している。そこで、処理は、ステップＳＣ５，ＳＣ６をパスして、インター情報決定及びインターＲＤコストの算出処理やイントラ情報決定処理及びイントラコスト算出処理を省くことができる。即ち、スキップＲＤコスト＜スキップ判断閾値の場合は、スキップモード以外のモードのＲＤコストが算出され、スキップＲＤコスト≧スキップ判断閾値の場合は、スキップモードのみが行われ、他のモードのＲＤコストは算出されない。
【００９５】
ステップＳＣ５，ＳＣ６：  そして、スキップＲＤコスト≧スキップ判断閾値である場合には、スキップ情報決定部１２１は、１６ｘ１６〜４ｘ４ブロックのインター情報決定、及び、インターＲＤコストを算出する。また、イントラ予測情報決定部１２３は、イントラ情報決定、及び、イントラＲＤコストを算出する。
【００９６】
ステップＳＣ７：  モード決定部１２７は、これまでの手順で算出されたＲＤコストから最良のモードを決定する。
【００９７】
以上説明したように、スキップ判定閾値とスキップＲＤコストとの関係に応じて、他のモードのＲＤコストの算出を省略できるようになり、スキップＲＤコストの算出を削減することができる。
【００９８】
また、イントラＣＵ割合と割合判断閾値との比較により、スキップＲＤコストとスキップ判断基準との比較判断を行うか否かの判断処理が選択できるため、イントラＣＵが多いシーンで過剰にスキップモードを選択し他のモードのＲＤコストが算出されなくなることが防止できるので、符号化効率を向上することができる。
【００９９】
上記説明では、残差除去判断については述べなかったが、第１実施形態と同様に各サイズのイントラ予測モードやインター予測モードで残差を除去したＲＤコストを比較しても良い。
【０１００】
なお、上記モード選択処理を予めプログラムにコーディングし、コンピュータに読み取り実行可能な情報記録媒体に記録することも可能である。
【０１０１】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０２】
この出願は、２０１６年１月１５日に出願された日本出願特願２０１６−００６２７６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１０３】
２    動画像符号化装置
１７    符号化モード決定部
１８    予測モード割合算出部
１０１    変換量子化部
１０２    符号化部
１０３    逆変換・逆量子化部
１０４    合成器
１０５    ループフィルタ
１０６    フレームバッファ
１０７    符号化モード決定部
１０８    イントラ予測部
１０９    インター予測部
１１０    加算器
１２１    スキップ情報決定部
１２２    インター予測情報決定部
１２３    イントラ予測情報決定部
１２４    サブブロックコスト算出部
１２５    インター側残差除去判定部
１２６    イントラ側残差除去判定部
１２７    モード決定部
【図１】
2017122604.tif 000003
【図２】
2017122604.tif 000004
【図３】
2017122604.tif 000005
【図４】
2017122604.tif 000006
【図５】
2017122604.tif 000007
【図６】
2017122604.tif 000008
【図７】
2017122604.tif 000009
【国際調査報告】
2017122604.tif 000010
2017122604.tif 000011
2017122604.tif 000012
2017122604.tif 000013