(57)【要約】【課題】画像の符号化の処理において、符号化に必要とされる計算量を減少させること。【解決手段】入力された動画像から情報量が削減された動画像を生成する、情報量削減部と、前記情報量が削減された動画像を符号化することによって、前記入力された動画像の符号化に用いられる符号化パラメータを推定する、符号化パラメータ推定部と、前記推定された符号化パラメータを基にして、前記入力された動画像の符号化を行う、符号化部と、を有する。【選択図】図４
2014230031.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像から情報量が削減された動画像を生成する、情報量削減部と、
前記情報量が削減された動画像を符号化することによって、前記入力された動画像の符号化に用いられる符号化パラメータを推定する、符号化パラメータ推定部と、
前記推定された符号化パラメータを基にして、前記入力された動画像の符号化を行う、符号化部と、
を有する画像符号化装置。
【請求項２】
前記情報量削減部は、前記入力された動画像に含まれる複数のフレームの各々の画素数を削減する画素数削減部、前記フレームの画素のビット数を削減するビット数削減部、及び前記入力された動画像の単位時間当たりのフレーム数を削減するフレーム数削減部、のうち少なくとも１つを含む、請求項１記載の画像符号化装置。
【請求項３】
前記符号化パラメータ推定部は、前記入力された動画像と、前記情報量が削減された動画像との関係に基づいて、前記情報量が削減された動画像の符号化によって得られた符号化パラメータを、前記推定された符号化パラメータに変換する、パラメータ変換部、を有する請求項２記載の画像符号化装置。
【請求項４】
前記画素数削減部で、前記入力された動画像に含まれる複数のフレームの各々の画素数が削減された場合、
前記パラメータ変換部は、前記入力された動画像の所定のフレームにおける画素数と、画素数が削減された前記所定のフレームの画素数との比を用いて、ブロックの大きさ及び動きベクトルの長さを変換する、
請求項３記載の画像符号化装置。
【請求項５】
前記フレーム数削減部で、前記入力された動画像の単位時間当たりのフレーム数が削減された場合、
前記パラメータ変換部は、前記削減されたフレーム以外の複数のフレームから得られた動きベクトルを外挿することで、前記削減されたフレームの動きベクトルを算出する、
請求項３記載の画像符号化装置。
【請求項６】
前記符号化部は、前記推定された符号化パラメータのうち，所定の符号化パラメータを、所定の範囲内で修正する、請求項１ないし５のうちのいずれか１項記載の画像符号化装置。
【請求項７】
コンピュータを、請求項１ないし６のうちのいずれか１項記載の画像符号化装置として機能させるための、画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、及び画像符号化プログラムに関する。
【背景技術】
【０００２】
現在、超高精細の動画像の伝送、蓄積が一般化している。たとえば、非圧縮のＨＤＴＶの情報量は１Ｇｂｐ／ｓｅｃを超える。このため、高精細の動画像を効率的に圧縮する技術が必要とされている。動画データの符号化標準技術としては、ＭＰＥＧ  ２、ＭＰＥＧ  ４、Ｈ．２６４／ＡＶＣ（Advanced  Video  Coding）、Ｈ．２６５／ＨＥＶＣ（High  Efficiency  Video  Coding）などが挙げられる。
【０００３】
Ｈ．２６５／ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層的な分割構造（ＣＴＵ：Coding  Tree  Unit）を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding  Unit）や符号化ブロックとも称す。Ｈ．２６５／ＨＥＶＣでは、６４×６４、３２×３２、１６×１６、８×８などのサイズに画像を分割して、符号化を行うことができる。
【０００４】
また、Ｈ．２６５／ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵ（Transform  Unit）や変換ブロックとも称す。
【０００５】
図１（Ａ）はＣＵを示す。図１（ｂ）はＴＵを示す。図１に示すように、例えば３２×３２のＣＵに対し、階層分割０回のＴＵは３２×３２のＣＵと同じブロックであり、階層分割１回のＴＵは、１６×１６に分割されたブロックである。また、階層分割２回のＴＵは、８×８に分割されたブロックである。
【０００６】
なお、ＴＵは、ＣＵのサイズに応じて階層分割されるので、各階層におけるＴＵのサイズはＣＵのサイズに応じてそれぞれ異なる。
【０００７】
図１（Ｃ）は、予測単位を示す。Ｈ．２６５／ＨＥＶＣでは、ＣＵを複数種類の矩形領域である予測単位に分割し、それぞれの予測単位で予測処理が行われる。この予測単位は、ＰＵ（Prediction  Unit）や予測ブロックとも称す。ＰＵの分割形状は、８種類である。
【０００８】
ここで分割されたブロックに対し、次に予測符号化が行われる。画面内符号化（イントラ符号化）は、画面内の空間的な信号予測を行って画像を符号化する。この技術は、画面内予測（イントラ予測）とも称す。また、画面間予測（インター符号化）は、異なるフレーム間で類似した領域を探索し、予測に用いて画像を符号化する。この技術は、動き補償予測（インター予測）とも称す。
【０００９】
たとえば、Ｈ．２６５／ＨＥＶＣでは、上述の多様な分割形状をＲＤ（Rate-Distortion）最適化といった手法によって決定する。
【００１０】
ＲＤ最適化とは、ビットレートと歪の関係であるＲＤ（Rate-Distortion）コストを算出し、異なる符号化パラメータで算出したＲＤコスト同士の比較を行い、目標ビットレートに最適な符号化パラメータの組合せを求める最適化手法である。
【００１１】
以下ＲＤ最適化による具体的なＣＵサイズ、ＰＵサイズの選択手法を説明する。
【００１２】
まず、符号化システムは、最上位階層のＣＵを８種類のＰＵ形状に分割し、イントラ予測、インター予測のそれぞれの場合のＲＤコストを計算し、ＰＵ形状と予測手法、予測モードの最適な組合せを求める。
【００１３】
符号化システムは、続いてＣＵを４分割し、下位階層の４つのＣＵ全てについて同様にＲＤコストを算出し、ＰＵ形状と予測手法、予測モードの最適な組合せを求める。以上の処理を再帰的に行い、最も深いＣＵまで、ＰＵ形状と予測手法、予測モードの最適な組合せを求める。
【００１４】
最も深い階層まで、最適な組合せを求めることができたら、同一階層の４つのＣＵのＲＤコストを合計し、一つ上位階層のＣＵとＲＤコストを比較する。下位階層のＲＤコストの合計の方が大きい場合は分割しないこととし、一つ上位の階層で同様の処理を行う。
一方、下位階層のＲＤコストの合計の方が小さい場合には、該当するＣＵは分割することとし、次のCUで処理に移る。これら処理を最上階層まで繰り返し、ＣＴＵ内のＣＵ全てについて分割形状及び変換サイズを計算する（非特許文献１参照）。
【００１５】
このように、１つのＣＴＵ内全てのＣＵについて、各種ブロック分割形状を確定するのにＲＤ最適化を用いる場合、符号化効率は高くなるものの、各種符号化パラメータ全ての組合せでＲＤコスト計算が必要となり、膨大な計算量となる。原画像の空間解像度が高い場合は、単一の符号化器での処理が間に合わないことがある。
【００１６】
このため、原画像を空間的に複数に分割し、分割した数だけ符号化器を用意して並列な符号化処理を行う解決法が知られている。例えば、画像を８分割し、８台のエンコーダで並列処理を行う技術が報告されている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】K.McCann,  B.Bross,  W.-J.Han,  etc..."High  Efficiency  Video  Coding  (HEVC)  Test  Model  9  (HM  9)  Encoder  Description",  JCT-VC  K1002,  Shanghi,  China,  Oct.  2012
【非特許文献２】Y.Shishikui,  K.Iguchi,  S.Sakaida,  etc…"High-Performance  Video  Codec  for  Super  Hi-Vision",  Proceedings  of  the  IEEE,  Vol.  101  Issue.  1,  pp  130-139,  2013
【発明の概要】
【発明が解決しようとする課題】
【００１８】
Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣは、基準となるサイズのブロックから階層的な分割を繰り返す。この場合、ブロックサイズ、分割形状、予測手法、予測モード等の符号化パラメータを求めるために、例えばＲＤ最適化などを用いる。しかしながら、ＲＤ最適化は、全ての符号化パラメータの組合せでＲＤコストの計算を行う必要がある。上述のように、この処理は、膨大な計算量が必要となる。特に、空間解像度が高い画像に対しては、長時間の計算が必要となる。
【００１９】
また、計算を分散させるために空間的に画面分割を行い、複数の符号化装置を並列に用いる場合には、原画像の分割の数だけ符号化器が必要となる。加えて、複数の符号化器の同期処理など、複雑な構成が必要とされる。更に、複数の符号化器では、原則として別々に符号化処理が行われるため、分割境界における画質の劣化が生じる場合がある。
【００２０】
そこで、本発明は、画像の符号化の処理において、符号化パラメータの決定に必要とされる計算量を減少させることを目的とする。
【課題を解決するための手段】
【００２１】
本発明の一態様における画像符号化装置は、入力された動画像から情報量が削減された動画像を生成する、情報量削減部と、前記情報量が削減された動画像を符号化することによって、前記入力された動画像の符号化に用いられる符号化パラメータを推定する、符号化パラメータ推定部と、前記推定された符号化パラメータを基にして、前記入力された動画像の符号化を行う、符号化部と、を有する。
【００２２】
また、前記符号化部は、前記推定された符号化パラメータのうち，所定の符号化パラメータを、所定の範囲内で修正してもよい。
【００２３】
また、前記符号化パラメータ推定部は、前記入力された動画像と、前記情報量が削減された動画像との関係に基づいて、前記情報量が削減された動画像の符号化によって得られた符号化パラメータを、前記推定された符号化パラメータに変換する、パラメータ変換部、を有してもよい。
【００２４】
また、前記情報量削減部は、前記入力された動画像に含まれる複数のフレームの各々の画素数を削減する画素数削減部、前記フレームの画素のビット数を削減するビット数削減部、及び前記入力された動画像の単位時間当たりのフレーム数を削減するフレーム数削減部、のうち少なくとも１つを含んでもよい。
【００２５】
また、前記画素数削減部で、前記入力された動画像に含まれる複数のフレームの各々の画素数が削減された場合、前記符号化パラメータ推定部は、前記入力された動画像の所定のフレームにおける画素数と、画素数が削減された前記所定のフレームの画素数との比を用いて、前記推定された符号化パラメータのうち、ブロックの大きさ及び動きベクトルの長さを算出してもよい。
また、前記フレーム数削減部で、前記入力された動画像の単位時間当たりのフレーム数が削減された場合、前記符号化パラメータ推定部は、前記削減されたフレーム以外の複数のフレームから得られた前記推定された符号化パラメータを補間することにより、前記削減されたフレームに係る前記推定された符号化パラメータのうち、動きベクトルを算出してもよい。
【００２６】
また、他の態様における画像符号化プログラムは、コンピュータを、上記のうちのいずれかの画像符号化装置として機能させる。
【発明の効果】
【００２７】
一側面において、本発明は、画像の符号化の処理において、符号化に必要とされる計算量を減少させることができる。
【図面の簡単な説明】
【００２８】
【図１】Ｈ．２６５／ＨＥＶＣにおけるＣＵ、ＴＵ、ＰＵの分割を示した図。
【図２】実施例の概要を示すブロック図。
【図３】原画像と１／２縮小画像の例を示す図。
【図４】実施例の詳細を示すブロック図。
【図５】実施例の動作を示すフローチャート。
【図６】パラメータ変換部の例を示すブロック図。
【図７】パラメータ変換部の動作を示すフローチャート。
【図８】スライスの例を示す図。
【発明を実施するための形態】
【００２９】
以下、添付図面を参照しながら、実施例について詳細に説明する。なお、同様の構成要素については、異なる図において、同じ参照番号が付されている場合がある点に留意すべきである。
【００３０】
［実施例］
実施例では、原画像（動画像）１００を符号化部２００が符号化し、ビットストリーム３００を出力する際に、符号化部２００での符号化に必要とされる計算量を減少させることができる。
【００３１】
＜構成の概要＞
図２は、実施例の概要を示すブロック図である。画像符号化装置１０は、符号化部２００、情報量削減部４００、及び符号化パラメータ推定部５００を有する。各部についての概略を以下に説明する。
【００３２】
符号化部２００は、原画像１００を符号化しビットストリーム３００を出力する。本明細書では、符号化部２００の符号化処理として、Ｈ．２６５／ＨＥＶＣに準拠した符号化を例として符号化処理の説明を行うが、符号化部２００が利用する符号化処理は、Ｈ．２６５／ＨＥＶＣに限定されるものではない。
【００３３】
情報量削減部４００は、例えば、画素数削減部４１０、ビット数削減部４２０、及びフレーム数削減部４３０のうち、少なくとも１つを有する。情報量削減部４００は、原画像１００の情報量を削減し、情報量が削減された画像４１２、及び情報量の削減処理として何が用いられたかを示す情報４１１を、符号化パラメータ推定部５００に与える。
【００３４】
画素数削減部４１０は、原画像１００の画素数を削減することにより、縮小画像を生成することができる。
【００３５】
図３は、図３（ｂ）の原画の画素を１つ置きに間引き、図３（ａ）に示されるように１／２の縮小画像を形成した例を示している。例えば、画素を１つ置きに間引くことによって、縦横の画像のサイズは１／２となる。面積比は１／４となる（情報量も１／４となる）。原画像１００のＣＵ３１０は、１／２縮小画像におけるＣＵ３２０に対応している。原画像１００において、２Ｎの長さは、１／２縮小画像においては、Ｎの長さになる。また、ＣＵ３１０の面積の１／４が、ＣＵ３２０の面積となっている。なお、図３においては、ＣＵ、ＰＵの分割形状が示されている。ＰＵの分割線を３２１、３２２、３１１、３１２で示す。
【００３６】
図２に戻る。ビット数削減部４２０は、原画像１００の各画素が持つ情報を削減する機能を有する。例えば、各画素が１０ｂｉｔの情報量を持つ場合には、下位の２ビットを切り捨てて、８ビットとする。この処理によって、原画像１００よりも情報量が削減された画像４１２が得られる。
【００３７】
フレーム数削減部４３０は、原画像（動画像）１００のフレーム数を削減する処理を施す。たとえば、フレーム数削減部４３０が、１つ置きにフレームを削減すると、原画像（動画像）１００のフレームレートは、１／２に低減される。この処理によって、原画像（動画像）１００の単位時間当たりの情報量を１／２に削減することができる。
【００３８】
なお、以上の説明は、一例であり、情報量を削減する割合は、上述の例に限られるものではない。
【００３９】
符号化パラメータ推定部５００は、パラメータ変換部５１１を含む。符号化パラメータ推定部５００は、情報量削減部４００から、情報量が削減された画像４１２を受け取る。符号化パラメータ推定部５００は、受け取った画像を符号化する処理を行う。
【００４０】
符号化パラメータ推定部５００で処理される画像は、原画像１００よりも情報量が削減されているため、原画像１００を符号化するよりも、少ない計算量で画像を符号化することができる。そして、符号化パラメータ推定部５００は、画像の符号化において得られた符号化パラメータを取得することができる。
【００４１】
符号化パラメータ推定部５００で取得される符号化パラメータとしては、例えば、以下のものが挙げられる。
・ブロック分割形状（ＣＵ、ＴＵ、ＰＵ）
・ブロック分割階層（ＣＵ、ＴＵ）
・ブロックサイズ（ＣＵ、ＴＵ、ＰＵ）
・予測手法（例えば、インター予測、イントラ予測）
・予測モード（動きベクトル値、予測方向）
・量子化パラメータ（Ｑｐ）
以上の符号化パラメータは、情報量が削減された画像４１２に基づいて求められたものであるが、原画像１００と、情報が削減された画像４１２とは、極めて類似した画像であるため、情報量が削減された画像４１２に基づいて求められた符号化パラメータを用いて、原画像１００を符号化した際に得られる符号化パラメータを、十分な確度で推定することができる。
【００４２】
なお、原画像１００と、情報量が削減された画像４１２とは、画像の大きさ、フレームレートなどに差異がある場合があるため、その差異を考慮して、符号化パラメータの種類に応じて、情報量が削減された画像４１２に基づいて求められた符号化パラメータを適切に変換することが望ましい。
【００４３】
パラメータ変換部５１１は、符号化パラメータの種類に応じて、情報量が削減された画像４１２に基づいて求められた符号化パラメータを適切に変換する処理を行う。この変換された符号化パラメータを、推定符号化パラメータ６００と呼ぶ。推定符号化パラメータ６００は、符号化部２００に与えられる。
【００４４】
符号化部２００は、推定符号化パラメータ６００を用いて、原画像１００の符号化を行い、ビットストリーム３００を出力する。
【００４５】
以下に、パラメータ変換部５１１の主要な変換処理を説明する。
（１）原画像１００の画素数を削減し、短辺が１／Ｎの縮小画像を符号化パラメータ推定部で処理した場合。
【００４６】
この場合には、ブロック分割形状、ブロック分割階層に係るブロックサイズについては、Ｎ倍することで、符号化パラメータを推定できる。なお、Ｈ．２６５／ＨＥＶＣなどのブロックのサイズが２のべき乗で離散的に規定されている標準では、Ｎの値も２のべき乗とすることが望ましい。
【００４７】
また、たとえば、上述のＮ倍したサイズがＣＵサイズの規格上の上限サイズ（たとえばＨ．２６５／ＨＥＶＣでは６４×６４）を超える場合には、この上限サイズ（例えばＨ．２６５／ＨＥＶＣでは６４×６４）を推定されたＣＵサイズとする。なお、このような状況が発生する場合には、原画像（動画像）１００のうち、該当するＣＵの画像が静止している、もしくは予測処理が容易であると判断される。このため、上述のような処理を実行し、上限サイズのブロックを用いて原画像を符号化しても、確度の高いパラメータで符号化することができると判断できる。
【００４８】
なお、上記のようにＮ倍したブロックサイズが、規格上の上限サイズを超えないよう、符号化パラメータ推定部５００の符号化におけるブロックサイズの上限サイズを、規格上の上限サイズの１／Ｎに予め制限しておいてもよい。
【００４９】
予測手法は、符号化パラメータ推定部５００の予測手法と同じ手法を、符号化部２００でも用いることができる。例えば、符号化パラメータ推定部５００の予測手法がイントラ予測であれば（例えば図３におけるブロックａ２）、符号化部２００の予測手法もイントラ予測を用いればよい（例えば図３におけるブロックａ１）。
【００５０】
予測モードについては、以下のように処理する。符号化パラメータ推定部５００の予測手法がイントラ予測である場合は、予測モードとしての予測方向は、符号化部２００においても同じ方向を用いればよい。符号化パラメータ推定部５００の予測手法がインター予測であった場合には、符号化部２００に対しては、符号化パラメータ推定部５００で得られた予測ベクトルと同じ方向とし、ベクトルの距離はＮ倍に変換すればよい。
【００５１】
図３（ｂ）におけるブロック分割は、図３（ａ）に示すように、Ｎ＝２の場合において、符号化パラメータ推定部５００で得られたＣＵ又はＰＵの分割形状を、符号化部２００で用いるために、パラメータ変換部５１１で変換した結果の一例を示している。
（２）原画像（動画像）１００のフレーム数を削減し、１／Ｎのフレームレートの動画像を符号化パラメータ推定部で処理した場合。
【００５２】
この場合には、削除されていないフレームに関する符号化パラメータ推定部５００の符号化パラメータは、符号化部２００においてそのまま利用することができる。削除されたフレームについては、符号化パラメータ推定部５００において符号化パラメータが取得されていないため、例えば、過去に取得された２つの時刻のフレームによって得られた符号化パラメータから、削除された時刻の符号化パラメータを補間（外挿）によって予測することができる。このため、このフレーム削減による符号化パラメータの推定方法は、画像の動きが少ないような入力動画像に適している。
【００５３】
フレームを１つ置きに削除し、原画像（動画像）１００のフレームレートを１／２に削減して、符号化パラメータ推定部５００において、符号化パラメータを推定する具体例を以下に示す。そして、フレーム番号２、３、４、５のうち、フレーム番号３及び５が削除され、既にフレーム番号２及び４の符号化パラメータが符号化パラメータ推定部５００において取得済であり、現在処理フレームのフレーム番号が５である場合を想定する。
【００５４】
この場合、予測手法がインター予測である場合、フレーム５のブロック分割は、例えば直前のフレーム４のブロック分割を採用すればよい。そして、フレーム５の注目するブロックにおいて、対応するフレーム２のブロック分割と、フレーム４のブロック分割が同じである場合、注目するブロックのフレーム番号２の動きベクトルがα２、フレーム番号４の動きベクトルがα４とすると、削除された現在処理フレーム５の注目するブロックの動きベクトルα５は、
α５＝aα４−bα２(ただしa, bは処理フレームからの時間距離に応じた任意の係数)
として推定できる。
【００５５】
なお、フレーム２と、４とで、ブロック分割が異なる場合には、フレーム５で注目しているブロックに、空間的に近い、フレーム２及びフレーム４のブロックの動きベクトルから、上述の補間（外挿）を行ってもよい。或いは、フレーム４の対応するブロックの動きベクトルをそのまま採用してもよい。
【００５６】
同様に、予測手法がイントラ予測である場合も、同様の補間（外挿）を行う。なお、規格においてイントラ予測の予測方向については、所定のパターンが定められている（Ｈ．２６５／ＨＥＶＣの場合には３４方向）。このため、外挿によって求めたイントラ予測の方向に一番近い、所定のイントラ予測方向のパターンを、特定すればよい。
（３）ビット数の削減処理のみが行われた場合には、符号化パラメータ推定部５００で得られた符号化パラメータを、符号化部２００でそのまま用いることができる。なお、このビット数削減による場合は、計算に用いるリソース（メモリ）を減らす効果が期待できる。
【００５７】
以上、（１）ないし（３）に場合分けして、パラメータ変換部５１１の具体的な処理を説明した。上記以外の符号化パラメータについては、符号化パラメータ推定部５００で得られた推定符号化パラメータ６００を、符号化部２００においてそのまま用いることができる。なお、情報量削減部４００において、情報量の削減方式としていずれの方式を用いるかは、外部から指定するか、または各削減方式を試行後に、システム全体の処理能力を考慮して、符号化パラメータ推定部５００、および符号化部２００での処理量の削減効果を基準に選択されるようにしてもよい。
【００５８】
なお、図２における画像符号化装置１０は、ハードウェアとして構成することができる。また、コンピュータを動作させるプログラムとして実現することもできる。
【００５９】
符号化パラメータ推定部５００、及び符号化部２００の両者は、同様の符号化処理を行うため、両者を同一のハードウェアによって兼用してもよい。この場合には、１回目の処理において、情報量が削減された画像４１２を処理して推定符号化パラメータ６００を求め、２回目の処理において、推定符号化パラメータ６００を用いて、原画像の符号化を行ってもよい。また、画像符号化装置１０がコンピュータとプログラムにより実現されている場合においても、１つのコンピュータが、符号化パラメータ推定部５００、及び符号化部２００の両者の処理を時間的に直列に処理してもよい。
【００６０】
なお、符号化パラメータ推定部５００、及び符号化部２００が、別個のハードウェアで実現される場合には、両者はパイプライン的に処理を実行することができる。
【００６１】
＜詳細な構成＞
図４は、図２に示した画像符号化装置１０を、より詳細に記載したブロック図である。図２と同じ機能を有する要素には同じ符号が付されている。図２において既に説明した要素については、以下の説明において省略する。また、符号化パラメータ推定部５００と、符号化部２００とは、パラメータ変換部５１１を除いて、同じ構成要素を用いることができる。このため、以下の説明では、符号化部２００の構成要素について説明を行う。
【００６２】
符号化制御部２０１は、符号化パラメータ推定部５００からの推定符号化パラメータ６００を受け取り、原画像１００の符号化に用いる。あるいは、符号化制御部２０１は、一部のパラメータについてさらにＲＤ最適化などを行い、適切な符号化パラメータを求める。
【００６３】
画面分割部２２０は、ブロック分割を行い、ブロック分割の境界情報をループフィルタ部２９０に出力する。
【００６４】
予測誤差信号生成部２２５は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。予測誤差信号生成部２２５は、そのブロックデータと、予測手法切り換え部２１０を介して得られたイントラ予測部２６０又は動き補償予測部２７０の出力とにより、予測誤差信号を生成する。予測誤差信号生成部２２５は、生成された予測誤差信号を変換・量子化部２３０に出力する。
【００６５】
変換・量子化部２３０は、入力された予測誤差信号を直交変換処理し、量子化する。変換・量子化部２３０は、この処理によって出力信号の符号量を低減させる。変換・量子化部２３０は、この出力信号をエントロピー符号化部２４０及び逆量子化・逆変換部２５０に出力する。変換・量子化部２３０は、量子化パラメータのＱｐ値をループフィルタ部２９０に出力してもよい。
【００６６】
エントロピー符号化部２４０は、変換・量子化部２３０からの出力信号、動き検出部２８０から出力された動きベクトル情報、ループフィルタ部２９０からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００６７】
逆量子化・逆変換部２５０は、変換・量子化部２３０からの出力信号を逆量子化し、逆直交変換する。変換・量子化部２３０によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００６８】
復号画像生成部２５５は、イントラ予測部２６０で画面内予測された画像或いは動き補償予測部２７０で動き補償された画像のブロックデータと、逆量子化・逆変換部により復号処理された予測誤差信号とを加算する。復号画像生成部２５５は、加算して生成した復号画像のブロックデータを、ループフィルタ部２９０に出力する。
【００６９】
ループフィルタ部２９０は、例えばＡＬＦ（Adaptive  Loop  Filter）やデブロッキングフィルタである。ループフィルタ部２９０は、フィルタ処理結果を参照画像として保持する。
【００７０】
ループフィルタ部２９０は、保持した参照画像をイントラ予測部２６０、動き補償予測部２７０及び動き検出部２８０に出力する。
【００７１】
イントラ予測部２６０は、符号化対象画像の処理対象ブロックに対して、既に符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部２６０は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２４０に出力される。
【００７２】
動き補償予測部２７０は、参照画像のデータを動き検出部２８０から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトル（予測ベクトル）との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２４０に出力される。
【００７３】
動き検出部２８０は、符号化対象画像におけるブロックデータと、参照画像とを用いて、動きベクトルを求める。
【００７４】
動き検出部２８０は、求めた動きベクトルを動き補償予測部２７０に出力し、参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部２４０に出力する。
【００７５】
イントラ予測部２６０と動き補償予測部２７０から出力されたブロックデータは、予測手法切り換え部２１０に入力される。
【００７６】
予測手法切り換え部２１０は、イントラ予測部２６０と動き補償予測部２７０とから取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部２２５に出力される。
【００７７】
符号化パラメータ推定部５００が有する構成要素は、パラメータ変換部５１１を除き、上述の符号化部２００の構成要素と同様の構成要素を用いることができるため、説明を省略する。
【００７８】
なお、図４に示す符号化部２００及び符号化パラメータ推定部５００の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。
【００７９】
＜動作＞
次に、実施例における画像符号化装置１０の動作について説明する。
【００８０】
図５は、画像符号化装置１０の動作の一例を示すフローチャートである。
【００８１】
ステップ５０２で、情報量削減部４００は、入力された原画像１００の情報量を削減する。情報量が削減された画像４１２は、符号化パラメータ推定部５００に与えられる。原画像１００の情報量の削減の具体的動作については、図５（Ｂ）で説明する。
【００８２】
ステップ５０４で、符号化パラメータ推定部５００は、情報量が削減された画像４１２を符号化し、符号化パラメータを取得し、必要な変換を施すことによって、符号化パラメータの推定を行う。推定符号化パラメータ６００は、符号化部２００に与えられる。
【００８３】
ステップ５０６で、符号化部２００は、与えられた推定符号化パラメータ６００を用いて、原画像１００を符号化し、ビットストリーム３００を出力する。
【００８４】
図５（Ｂ）は、原画像１００の情報量の削減の動作を示すフローチャートである。
【００８５】
ステップ５９１で、情報量削減部４００は、画素数削減の指定があるか否かをチェックする。このチェックが「はい」であれば（画素数削減の指定がなされていれば）、ステップ５９２に進む。このチェックが「いいえ」であれば、ステップ５９３に進む。
【００８６】
ステップ５９２で、情報量削減部４００は、原画像１００の画素数を削減する動作を行う。例えば、１画素置きに画素を削減する場合には、原画像１００を１／２に縮小された画像が得られる（面積比で１／４となる）。
【００８７】
なお、画素数の削減は、単純に画素を間引くことによって行われてもよい。
【００８８】
ステップ５９３で、情報量削減部４００は、ビット数削減の指定があるか否かをチェックする。このチェックが「はい」であれば（ビット数削減の指定がなされていれば）、ステップ５９４に進む。このチェックが「いいえ」であれば、ステップ５９５に進む。
【００８９】
ステップ５９４で、情報量削減部４００は、原画像１００の画素の情報のビット数の削減を行う。例えば、１画素を１０ｂｉｔで表現している原画像１００に対して、１画素のビット数を８ｂｉｔにすることにより、原画像１００の情報量を削減することができる。なお、ビット数の削減は、例えば、下位のビットを単純に切り捨てることにより行うことができる。
【００９０】
ステップ５９５で、情報量削減部４００は、フレーム数削減の指定があるか否かをチェックする。このチェックが「はい」であれば（フレーム数削減の指定がなされていれば）、ステップ５９６に進む。このチェックが「いいえ」であれば、ステップ５９７に進む。
【００９１】
ステップ５９６で、原画像（動画像）１００のフレーム数を減少させる処理を行う。例えば、フレームを１つ置きに間引く処理を行ってもよい。例えば、偶数のフレーム番号を持つフレームを間引いてもよい。この処理を行うことにより、原画像（動画像）１００のフレームレートを減少させることができる。
【００９２】
ステップ５９７で、情報量削減部４００は、エラーを返す。この場合には、情報量の削減が行われないことを意味するため、予め定めたエラー処理を実行してもよい。
【００９３】
以上のようにして、複数の情報量削減の手段のうち少なくとも１つの情報削減処理が行われる。また、複数の情報削減処理を組み合わせてもよい。なお、本実施例の情報削減処理は、例示であり、この例示以外の情報削減処理がなされてもよい。
【００９４】
なお、いずれの処理を行わせるかは、予め定めておくことができる。或いは、いずれの情報量の削減の処理を行うかを、デフォルトとして定めておいてもよい。また、デフォルトとして、各情報量削減方法を試行し、最もＲＤコストが少ない削減方法を選択するというモードを設定することもできる。
【００９５】
＜パラメータ変換部５１１について＞
パラメータ変換部５１１については、既に図２を用いて説明した。以下、図６及び図７を用いて、構成と動作の例を示す。
【００９６】
＜パラメータ変換部５１１の構成例＞
図６は、パラメータ変換部５１１の構成の例を示している。パラメータ変換部５１１は、パラメータ保存部５１２と、切換制御部５１３と、パラメータ倍率変更部５１４と、パラメータ補間部５１５とを有する。
【００９７】
パラメータ保存部５１２は、符号化パラメータ推定部５００が、情報量が削減された画像４１２を符号化した際に得た符号化パラメータを、図４に示す符号化制御部５０１から取得し、一時的に保存する。この取得された符号化パラメータは、情報量が削減された画像４１２の符号化によって求まった値であるため、符号化部２００が利用できるよう、必要な変換を施し、推定符号化パラメータ６００として、符号化部２００に提供される。
【００９８】
情報量削減部４００において、フレーム数の削減が行われた場合には、削減されたフレームに対応する推定符号化パラメータ６００を、補間（外挿）により求めることが望ましい。この点に関する処理については、既に述べたとおりである。補間（外挿）を行うためには、少なくとも、過去に符号化された２つのフレームの符号化パラメータがパラメータ保存部５１２に保存されていることが望ましい。
【００９９】
なお、フレーム数の削減が行われていない場合には、現在処理しているフレームの符号化パラメータが保存されていればよい。或いは、パラメータ保存部５１２には、符号化の単位である、現在処理している独立スライスセグメントに対応する符号化パラメータが少なくとも保存されていればよい。
【０１００】
スライスは、スライスセグメントと呼ばれる単位の集合として定義される。スライスセグメントには、全ての符号化データを独立して符号化できる独立スライスセグメントと、同一スライス内の独立スライスセグメントと復号処理に関して依存性がある依存スライスセグメントがある。このように、独立スライスセグメントは、符号化データの処理単位となっている。したがって、パラメータ変換部５１１は、符号化の処理単位である独立スライスセグメント単位で、推定符号化パラメータ６００を生成し、符号化部２００に提供することができればよい。
【０１０１】
図８は、フレーム７００が、独立スライスセグメント７１０、７２０、及び７３０に分割されていることを示している。独立スライスセグメント７１０は、先頭ＣＴＵ７１１から始まっている。独立スライスセグメント７２０は、先頭ＣＴＵ７２１から始まっている。独立スライスセグメント７３０は、先頭ＣＴＵ７３１から始まっている。
【０１０２】
図６に戻る。パラメータ倍率変更部５１４は、例えば、画素数削減の指定がおこなわれて、原画像１００の縮小画像が、符号化パラメータ推定部５００において処理された場合に機能する。たとえば、１／２に縮小された縮小画像が符号化パラメータ推定部５００において処理された場合には、原則としてブロックの大きさを２倍にして推定符号化パラメータ６００とする。また、符号化パラメータ推定部５００予測手法がインター予測であった場合には、符号化パラメータ推定部５００で得られた予測ベクトルと同じ方向とし、パラメータ倍率変更部５１４は、ベクトルの距離を２倍に変換すればよい。
【０１０３】
パラメータ補間部５１５は、フレーム数の削減の処理がなされた場合に、削除されたフレームの推定符号化パラメータ６００を求めるために補間（外挿）を行う。補間（外挿）の処理の具体例については、既に述べたとおりである。
【０１０４】
切換制御部５１３は、図４に示すように情報量削減部４００から、情報量の削減処理として何が用いられたかを示す情報４１１を受け取る。切換制御部５１３は、この情報４１１を基にして、パラメータ倍率変更部５１４、及びパラメータ補間部５１５に対して、パラメータ保存部５１２からの符号化パラメータを必要に応じて与える。
【０１０５】
パラメータ変換部５１１は、このようにして得られた推定符号化パラメータ６００を出力する。
【０１０６】
＜パラメータ変換部５１１の動作＞
図７は、パラメータ変換部５１１の動作のフローチャートを示している。
【０１０７】
ステップ６０２で、パラメータ変換部５１１は、画素数の削減が指定されているかチェックする。このチェックが「はい」であれば（画素数の削減がなされていれば）、ステップ６０４に進む。このチェックが「いいえ」であれば、ステップ６０６に進む。
【０１０８】
ステップ６０４で、パラメータ変換部５１１は、所定のパラメータを所定の倍率を用いて変換する。この変換の具体的内容は、既に述べたとおりである。
【０１０９】
ステップ６０６で、パラメータ変換部５１１は、フレーム数の削減指定がなされているかをチェックする。このチェックが「はい」であれば（フレーム数の削減がなされていれば）、ステップ６０８に進む。このチェックが「いいえ」であれば処理は終了する。
【０１１０】
ステップ６０８で、パラメータ変換部５１１は、削除されたフレームの推定符号化パラメータ６００を得るために、既に取得された符号化パラメータを用いて補間（外挿）を行う。
【０１１１】
以上の処理によって、符号化パラメータ推定部５００によって取得された符号化パラメータを、適切に変換し、推定符号化パラメータ６００を得ることができる。なお、ビット数の削減処理のみが行われた場合には、符号化パラメータ推定部５００で得られた符号化パラメータを、符号化部２００でそのまま用いることができる。この推定符号化パラメータ６００は、符号化部２００に与えられる。
【０１１２】
＜符号化部２００における推定符号化パラメータ６００の利用について＞
上述のように、符号化パラメータ推定部５００によって得られた推定符号化パラメータ６００を利用して、符号化部２００は、原画像１００の符号化を行うことができる。この場合に、符号化部２００は、推定符号化パラメータ６００をそのまま利用することによって、上述のＲＤ最適化などの網羅的計算を省略して、原画像１００を符号化し、ビットストリーム３００を得ることができる。符号化パラメータ推定部５００は、削減された画像の符号化によって、推定符号化パラメータ６００を得ることができるため、画像符号化装置１０の処理効率を向上させることができる。
【０１１３】
なお、符号化部２００の処理能力に余裕があれば、符号化部２００における推定符号化パラメータ６００の利用を一部のみとしてもよい。残りのパラメータについては、符号化部２００が、原画像１００の符号化の際に再度ＲＤ最適化などの最適化手法を用いて、符号化パラメータを求め直してもよい。
【０１１４】
例えば、推定符号化パラメータ６００から、ＣＴＵの分割形状をＲＤ最適化によって求め直す場合の例を以下に示す。
【０１１５】
符号化部２００が、ＣＴＵの分割形状を求め直す場合、まず、各ＣＵについて推定符号化パラメータ６００の値を利用して符号化した場合のＲＤコストを計算する。
【０１１６】
その後、各ＣＵを分割する。符号化部２００が、下位階層で各符号化パラメータの組合せの全ての符号化を試行して、ＲＤコスト（合計値）を計算する。分割前と比べて、よりＲＤコストの小さい方を選択する。これを、符号化規格で許される階層（Ｈ．２６５／ＨＥＶＣでは４階層）まで繰り返し、ＣＴＵの分割形状を求める。
【０１１７】
なお、この場合、下位階層への分割を検討する範囲を、例えば、下位階層方向に１、若しくは２階層までに制限してもよい。
【０１１８】
また、下位階層へのＣＵの分割を検討する際に、ＲＤコストを計算する予測手法、予測モードは、推定符号化パラメータ６００と同じものを利用してもよい。
【０１１９】
例えば、縮小画像の推定符号化パラメータ６００で、インター予測となっているＣＵについては、下位階層への分割を検討する場合も、符号化部２００は、インター予測に限定して、ＲＤコストを計算してもよい。イントラ予測が推定符号化パラメータ６００で利用されている場合も、符号化部２００で、同様にイントラ予測を用いてもよい。
【０１２０】
なお、上述の場合、符号化部２００は、下位階層へ処理を進めたが、上位階層に処理を進めてもよい。
【０１２１】
このように、インター予測とイントラ予測とのいずれを採用するかは、推定符号化パラメータ６００で推定された予測手法と同じ手法を用いて、符号化部２００で、改めて予測手法及び予測モードの決定のための処理を行わなくてもよい。
【０１２２】
また、注目しているブロックの推定符号化パラメータ６００が、インター予測であって、かつ動きベクトルがマージされている場合には、注目しているブロックの周辺でのブロックの動きと同じであるため、推定符号化パラメータ６００の動きベクトルをそのまま利用してもよい。マージとは、処理対象ブロックの動きベクトルが、隣接のブロックと同じである場合、その旨を示すことにより、処理対象ブロックでの動きベクトルの情報量を削減するモードを意味する。
【０１２３】
以上のように、原画像１００に対して、情報量を削減した画像を用いて、符号化パラメータ推定部５００によって、推定符号化パラメータ６００を求めることにより、符号化部２００が計算しなければならないＣＴＵの数を減少させることができる。したがって、画像符号化装置１０は、符号化パラメータの推定を高速に行うことができる。これによって、符号化にかかる画像符号化装置１０の全体の処理時間を短縮することができる。
【０１２４】
また、符号化部２００は、推定符号化パラメータ６００から再度符号化パラメータを求め直すことで、推定符号化パラメータ６００を用いることにより生じる可能性のある画質劣化を最小限に抑えることができる。
【０１２５】
また、単純な画面分割による並列符号化装置と比べて高速な符号化が可能であるため、符号化処理のために、画面を分割して多くのハードウェアを用いて並列処理する必要がない。したがって、複数の符号化器の同期処理、又は画面分割境界の画質劣化対策といった処理は必要ない。また、符号化器の数も減らすことができる。
【０１２６】
なお、原画像１００の情報には、例えば、輝度情報（Ｙ）、色差信号（Ｃｂ、及びＣｒ）の各情報が含まれている。本明細書に記載された技術は、これらの情報それぞれに対して適用することができることは言うまでもない。
【０１２７】
＜プログラムによる実装＞
なお、上述の実施例の全部又は一部はプログラムによって実装され得る。このプログラムは、可搬記録媒体に格納することができる。可搬記録媒体とは、非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を言う。例示として、可搬記録媒体としては、磁気記録媒体、光ディスク、光磁気記録媒体、不揮発性メモリなどがある。
【０１２８】
可搬型記録媒体に格納されたプログラムが読み出され、プロセッサによって実行されることにより、本発明の実施例の全部又は一部が実施され得る。
【０１２９】
以上、図面を用いて本発明の実施例を詳細に説明した。なお、上述の実施例は、発明を理解するためのものであり、本発明の範囲を限定するためのものではない点に留意すべきである。また、実施例の動作は、矛盾のない限り処理の順番を入れ替え、或いはスキップしてもよい。あるいは、複数の処理を同時に実行してもよい。そして、これらの実施例も、請求項に記載された発明の技術的範囲に包含されることは言うまでもない。
【０１３０】
また、コンピュータが読み出したプログラムコードを実行することにより、上述の実施例の機能が実現されるだけでなく、そのプログラムコードの指令に基づき、コンピュータ上で稼働しているＯＳ、仮想マシンモニタＶＭＭ、ファームウエア、ＢＩＯＳなどのプログラムが実際の処理の一部または全部を行ない、その処理によって実施例の機能が実現される場合も、本発明に含まれることは言うまでもない。
【０１３１】
また、本発明の実施例の構成要素は、物理的に分離された複数のハードウェアで実現されてもよい。また、本発明の各種実施例のそれぞれの構成要素は、１つ以上のコンピュータ上で動作することによって実現されてもよい。
【符号の説明】
【０１３２】
１０    画像符号化装置
１００  原画像（動画像）
２００  符号化部
２０１、５０１  符号化制御部
２１０、５１０  予測手法切り換え部
２２０、５２０  画面分割部
２２５、５２５  予測誤差信号生成部
２３０、５３０  変換・量子化部
２４０、５４０  エントロピー符号化部
２５０、５５０  逆量子化・逆変換部
２５５、５５５  復号画像生成部
２６０、５６０  イントラ予測部
２７０、５７０  動き補償予測部
２８０、５８０  動き検出部
２９０、５９０  ループフィルタ部
３００  ビットストリーム
４００  情報量削減部
４１０  画素数削減部
４１１  情報量の削減処理として何が用いられたかを示す情報
４１２  情報量が削減された画像
４２０  ビット数削減部
４３０  フレーム数削減部
５１１  パラメータ変換部
６００  推定符号化パラメータ
【図１】
2014230031.tif 000003
【図２】
2014230031.tif 000004
【図３】
2014230031.tif 000005
【図４】
2014230031.tif 000006
【図５】
2014230031.tif 000007
【図６】
2014230031.tif 000008
【図７】
2014230031.tif 000009
【図８】
2014230031.tif 000010