(57)【要約】【課題】探索処理よりも前段階で入力映像信号のピクチャと復号映像信号の参照画像の縮小比率と探索範囲を決定して探索を行うことにより、符号化ブロックに対する探索演算量を均一にしてハードウェア実装可能な映像符号化装置を提供する。【解決手段】入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を所定の縮小比率を用いて縮小処理を行う縮小手段と、縮小手段において縮小した入力映像信号のピクチャの符号化ブロックと復号映像信号の参照画像の探索領域とを用いて動き予測処理を行い、動きベクトルを決定するベクトル決定手段と、ベクトル決定手段において決定した動きベクトルを縮小手段において用いた縮小比率を元にスケーリングを行うスケーリング手段とを備える。【選択図】図１
2015073192.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、
前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を所定の縮小比率を用いて縮小処理を行う縮小手段と、
前記縮小手段において縮小した入力映像信号のピクチャの符号化ブロックと復号映像信号の参照画像の探索領域とを用いて動き予測処理を行い、動きベクトルを決定するベクトル決定手段と、
前記ベクトル決定手段において決定した動きベクトルを前記縮小手段において用いた前記縮小比率を元にスケーリングを行うスケーリング手段と
を備えることを特徴とする映像符号化装置。
【請求項２】
前記縮小手段は、前記入力映像信号のピクチャと前記復号映像信号の参照画像との時間的距離を算出し、前記時間的距離に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記縮小手段は、前記入力映像信号のピクチャと前記復号映像信号の参照画像とのピクチャ間差分絶対値和を算出し、前記ピクチャ間差分絶対値和に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする請求項１に記載の映像符号化装置。
【請求項４】
前記縮小手段は、前記入力映像信号のピクチャについての符号化ブロック毎の輝度累算値と前記復号映像信号の参照画像についての符号化ブロックごとの輝度累算値との差分絶対値和を算出し、前記差分絶対値和に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする請求項１に記載の映像符号化装置。
【請求項５】
前記縮小手段は、前記入力映像信号のピクチャについての符号化ブロック毎の輝度の分散値と前記復号映像信号の参照画像についての符号化ブロックごとの輝度分散値との差分絶対値和を算出し、前記差分絶対値和に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする請求項１に記載の映像符号化装置。
【請求項６】
前記縮小手段は、前記入力映像信号のピクチャの直前に符号化を行ったピクチャの動きベクトル成分の分散値を算出し、前記分散値に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする請求項１に記載の映像符号化装置。
【請求項７】
前記縮小手段は、前記入力映像信号のピクチャの直前に符号化を行ったピクチャの差分動きベクトル成分の累算値を算出し、前記累算値に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする請求項１に記載の映像符号化装置。
【請求項８】
コンピュータを、請求項１から７のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き予測を用いて映像符号化を行う映像符号化装置及び映像符号化プログラムに関する。
【背景技術】
【０００２】
映像符号化技術は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣが多く用いられており、最近では次世代の映像符号化規格であるＨＥＶＣが規格化されつつある。映像符号化規格では、１つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に連続した複数のピクチャを用いて符号化を行う画面間符号化が用いられている。画面間符号化には画面間の差分値を削減するために動き予測処理を行い、差分値と動きベクトル情報を符号化することで情報量を削減している。ただ、映像の正しい動きを捉えて符号化すべき差分値を小さくするためには、動き予測処理に膨大な演算量を必要とする。
【０００３】
この膨大な演算量を削減するためにはいくつかの方法が考えられる。１つ目は予測ベクトルの周辺を探索する方法である。これは符号化ブロックの動き予測結果と周囲の符号化ブロックの動き予測結果には相関が高いという傾向に基づいたものであり、ＭＰＥＧ−４／ＡＶＣや次世代符号化規格であるＨＥＶＣでは予測ベクトルの算出方法が定められており、ブロックの動きベクトルは予測ベクトルからの差分値のみを符号化することで符号量の削減を行っている。この予測ベクトルを利用し、ブロック周辺の既出の動きベクトルから予測ベクトルを算出し、予測ベクトルが指し示す位置を探索の中心として周辺を探索するという方法である。
【０００４】
２つ目は探索点を効率よく削減し探索する方法である。ステップサーチに代表されるように、ある探索範囲の探索点全てを評価するのではなく、まず広く離散的な数点を評価しその中で最も適した点を中心に近傍点を探索して行くことで少ない演算量で動きベクトルを決定する方法である。近年ではＥＰＺＳ（Enhanced Predictive Zonal Search）と呼ばれるステップサーチと全探索を組み合わせた探索手法が使われており、少ない演算量で全探索とほぼ同等程度の探索精度を実現している。
【０００５】
３つ目は縮小画像による探索方法である。探索処理の前に入力映像信号のピクチャと復号映像信号の参照画像を同じ比率で縮小し探索を行う。これにより探索点の数と探索点を評価するための演算量の両方が削減されるため、大幅な演算量の削減が可能となる。この探索方法は演算性能が限られているソフトウェアコーデックや、広い探索範囲を必要とするプロ向けのハードウェアコーデック等で有効な方法である。しかし、一方で画像の縮小比率を上げていくと物体の細かい動きを正確に予測することが難しくなるため、動きベクトルの精度は悪くなってしまうという問題がある。
【０００６】
このような問題を解決するために、広い探索範囲と高い動きベクトルの精度を両立させる従来技術の手法としては、複数の探索領域を設定し第一の領域の動き探索後に評価値の閾値判定を行い、第二の領域の動き探索を行うか否かを決定する動きベクトル探索方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−０７５１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の動きベクトル探索方法にあっては、符号化ブロックに対する探索演算量が均一にならないため、ソフトウェアでの実装においては問題ないがハードウェアへの実装においては制御が難しくなるという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、探索処理よりも前段階で入力映像信号のピクチャと復号映像信号の参照画像の縮小比率と探索範囲を決定して探索を行うことにより、符号化ブロックに対する探索演算量を均一にすることができる映像符号化装置及び映像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を所定の縮小比率を用いて縮小処理を行う縮小手段と、前記縮小手段において縮小した入力映像信号のピクチャの符号化ブロックと復号映像信号の参照画像の探索領域とを用いて動き予測処理を行い、動きベクトルを決定するベクトル決定手段と、前記ベクトル決定手段において決定した動きベクトルを前記縮小手段において用いた前記縮小比率を元にスケーリングを行うスケーリング手段とを備えることを特徴とする。
【００１１】
本発明は、前記縮小手段は、前記入力映像信号のピクチャと前記復号映像信号の参照画像との時間的距離を算出し、前記時間的距離に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする。
【００１２】
本発明は、前記縮小手段は、前記入力映像信号のピクチャと前記復号映像信号の参照画像とのピクチャ間差分絶対値和を算出し、前記ピクチャ間差分絶対値和に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする。
【００１３】
本発明は、前記縮小手段は、前記入力映像信号のピクチャについての符号化ブロック毎の輝度累算値と前記復号映像信号の参照画像についての符号化ブロックごとの輝度累算値との差分絶対値和を算出し、前記差分絶対値和に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする。
【００１４】
本発明は、前記縮小手段は、前記入力映像信号のピクチャについての符号化ブロック毎の輝度の分散値と前記復号映像信号の参照画像についての符号化ブロックごとの輝度分散値との差分絶対値和を算出し、前記差分絶対値和に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする。
【００１５】
本発明は、前記縮小手段は、前記入力映像信号のピクチャの直前に符号化を行ったピクチャの動きベクトル成分の分散値を算出し、前記分散値に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする。
【００１６】
本発明は、前記縮小手段は、前記入力映像信号のピクチャの直前に符号化を行ったピクチャの差分動きベクトル成分の累算値を算出し、前記累算値に応じた縮小比率で前記入力映像信号のピクチャと前記復号映像信号の参照画像を縮小処理することを特徴とする。
【００１７】
本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。
【発明の効果】
【００１８】
本発明によれば、動き予測を用いて符号化を行う映像符号化方式において、動き探索を行う際の縮小比率を適応的に切り替えることにより演算量を均一化することができるとともに動きベクトルの精度を向上させることができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示すインター予測処理部１０２の構成を示すブロック図である。
【図３】符号化ピクチャ構造の一例（階層符号化Ｍ＝３の場合）を示す図である。
【図４】符号化ピクチャ構造の一例（階層符号化Ｍ＝８の場合）を示す図である。
【図５】各フレームレートにおける入力映像信号と復号映像信号との時間的距離を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。以下に示す「符号化ブロック」についてはＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格ではマクロブロックのことを示し、ＨＥＶＣについてはコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）のことを指し示す。図１に示す映像符号化装置１００において、インター予測処理部１０２の中の縮小画像生成部２０１が、従来技術と異なる構成であり、他の部分はＨ．２６４／ＡＶＣやＨＥＶＣ等の映像符号化装置として用いられている従来の一般的な構成と同様である。
【００２１】
映像符号化装置１００は、符号化対象の入力映像信号を入力し、入力映像信号のピクチャをブロックに分割してブロックごとに符号化し、そのビットストリームを符号化ストリームとして出力する。この符号化のため、予測残差信号生成部１０３は、入力映像信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号との差分を求め、それを予測残差信号として出力する。変換・量子化処理部１０４は、予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、その量子化された変換係数を出力する。エントロピー符号化処理部１０５は、量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。
【００２２】
一方、量子化された変換係数は、逆量子化・逆変換処理部１０６にも入力され、ここで逆量子化と逆直交変換され、予測残差信号を出力する。復号映像信号生成部１０７では、予測残差信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号映像信号を生成する。この復号映像信号は、インター予測処理部１０２で参照画像として用いるために、ループフィルタ処理部１０８に対して出力される。ループフィルタ処理部１０８では符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を復号映像信号としてインター予測処理部１０２に対して出力する。
【００２３】
次に、図２を参照して、図１に示すインター予測処理部１０２の構成を説明する。図２は、図１に示すインター予測処理部１０２の構成を示すブロック図である。インター予測処理部１０２は、縮小画像生成部２０１、プレ探索処理部２０２、整数画素探索処理部２０３、第一モード判定部２０４、少数画素探索処理部２０５、第二モード判定部２０６及び少数画像生成部２０７を備える。縮小画像生成部２０１は、入力映像信号（原画像）と復号映像信号を入力し、縮小処理を行って出力する。プレ探索処理部２０２は、縮小された入力画像信号及び復号映像信号を入力し、縮小された映像データ上で動き探索処理を行う。整数画素探索処理部は、２０３プレ探索処理部２０２で探索した結果の動きベクトルを入力する。また、第一モード判定部２０４は、プレ探索処理部２０２から符号化モード情報を入力する。
【００２４】
整数画素探索処理部２０３は、プレ探索処理部２０２と第一モード判定部２０４でそれぞれ指定された動きベクトル及び符号化モードで整数画素の探索処理を行う。小数画素探索処理部２０５は、整数画素探索処理部２０３において探索した結果の動きベクトルを入力する。第二モード判定部２０６は、整数画素探索処理部２０３から符号化モード情報を入力する。
【００２５】
小数画素探索処理部２０５は、整数画素探索処理部２０３と第二モード判定部２０６でそれぞれ指定された動きベクトル及び符号化モードで小数画素の探索処理を行う。小数画像生成部２０７は該当する復号映像信号位置の小数画素補間画像を生成し、小数画素探索処理部２０５に対して出力する。小数画素探索処理部２０５において探索された結果の予測残差画像と動きベクトル情報は予測残差信号生成部１０３に対して出力される。
【００２６】
本実施形態は、図２に示す縮小画像生成部２０１において、プレ探索処理部２０２で行う探索処理の縮小精度を適応的に決定することで高い符号化効率と少ない演算量を実現するものである。ここで、縮小画像による動き予測処理の必要性について説明する。動き予測処理は物体の動きを正確に追随することで高い符号化効率を実現できるため、探索範囲は広ければ広いほど符号化効率が向上する。しかし、探索範囲を広くすればするほど動き予測に必要な演算量が増大するため、ハードウェア・ソフトウェアの処理能力やアプリケーション用途に応じて適切な探索範囲を設定している。少ない演算量で広い探索範囲をカバーする方法の１つとして縮小画像による探索方法がある。
【００２７】
例として当該符号化ブロックのサイズを１６×１６、探索範囲を±８、単画素精度による全探索の動き探索処理部とすると、１ブロックの動き探索処理を行うのに必要な差分処理回数は、１６×１６×（８×２＋１）２＝７３９８４となる。入力映像信号と復号映像信号をそれぞれ１／２に縮小し同様の探索範囲を探索した場合、符号化ブロックのサイズと探索範囲がそれぞれ縦横半分になるため、差分演算回数は８×８×（４×２＋１）２＝５１８４となり、約７％の演算量で処理が可能となる。
【００２８】
また、単画素精度の探索処理で必要であった演算回数と同等の演算を１／２縮小画像上で行うと、±１６画素の探索範囲をカバーできる。縮小比率を１／２、１／４、１／８と大きくすればするほど少ない演算量で広い探索範囲をカバーすることができるが、細かいテクスチャがつぶれてしまうために動きベクトルの精度が低下するという問題点もある。縮小画像探索による探索範囲と動きベクトルの精度についてはトレードオフの関係があるため、入力映像信号や復号映像信号の特性や特徴に応じて適応的に設定する必要がある。
【００２９】
次に、縮小精度を決定する手法を説明する。１つ目の縮小精度決定手法は入力映像信号のピクチャと復号映像信号の参照画像との時間的距離と画像サイズによって縮小精度を適応的に設定する手法である。入力映像信号のピクチャと復号映像信号の参照画像との時間的距離が大きくなればなるほど動いている物体の動き量は大きくなるため、広い範囲を探索する必要がある。入力映像信号のピクチャと復号映像信号の参照画像との時間的距離は符号化ピクチャ構造とフレームレートによって決定する。符号化ピクチャ構造は様々な種類があるが、代表的なものは図３、図４に示すものである。
【００３０】
図３は主にＭＰＥＧ−２やＨ．２６４／ＡＶＣで用いられ、図４はＨＥＶＣで主に用いられている符号化ピクチャ構造である。図３及び図４のＰで示したピクチャは過去のピクチャのみを参照して符号化を行う片方向予測ピクチャを表しており、Ｂで示したピクチャは過去のピクチャと未来のピクチャの両方を参照して符号化を行う両方向予測ピクチャを表している。図３の符号化ピクチャ構造場合、入力映像信号の当該ピクチャと復号映像信号との間隔はＰピクチャで３ピクチャ間、Ｂピクチャは１ピクチャ間又は２ピクチャ間となっている。図４の場合、入力映像信号のピクチャと復号映像信号の参照画像との間隔は１ピクチャ間〜８ピクチャ間まで変化する。ただし符号化ピクチャ構造とその参照関係はこの通りではなく実際の符号化時には任意に設定可能である。
【００３１】
また、映像のフレームレートによっても入力映像信号のピクチャと復号映像信号の参照画像との時間的距離が変化する。フレームレートとは、１秒間に表示されるフレーム数のことであり、用途に応じて２４フレーム／秒、３０フレーム／秒、６０フレーム／秒、１２０フレーム／秒など様々なフォーマットが存在する。
【００３２】
符号化ピクチャ構造とフレームレートにおける入力映像信号のピクチャと復号映像信号の参照画像との時間的距離の関係を図５に示す。図５は、各フレームレートにおける入力映像信号と復号映像信号との時間的距離を示す図である。１つ目の縮小精度決定手法としては図５に示す入力映像信号のピクチャと復号映像信号の参照画像との時間的距離に応じて縮小比率を適応的に切り替えるものである。例えば、入力映像信号のピクチャと復号映像信号の参照画像との時間的距離に閾値を設定し、閾値以下の場合はピクチャ間の時間的距離は小さいため低い縮小比率の縮小画像を用いて探索を行うことで精度の良い動き予測処理を実行し、閾値以上の場合はピクチャ間の時間的距離は大きいため高い縮小比率の縮小画像を用いて探索を行うことで広い探索範囲で動き予測処理を実行する。
【００３３】
これによって少ない演算量でも入力映像信号のピクチャと復号映像信号の参照画像との時間的距離が遠ければ遠いほど広い範囲の動き探索処理が可能となり符号化効率が向上する。上記の閾値は複数用いるようにしてもよい。１つの閾値を用いれば２種類の縮小比率を切り替えることができる。２つの閾値を用いれば３種類の縮小比率を適応的に切り替えることが可能となる。また、縮小比率と動き探索範囲を可変とすることで、１ピクチャあたりの動き予測に要する演算量が一定に保つことが可能となる。これはハードウェア実装においては高いハードウェア稼働率で動作させることが可能となり、無駄のないハードウェア構成が可能となる。
【００３４】
また、近年画像サイズがＨＤサイズ（１９２０×１０８０画素）から４ｋ（３８４０×２１６０画素）や８ｋ（７６８０×４３２０）という画像サイズが普及しつつある。全く同じ内容の映像であっても画像サイズがＨＤサイズから４ｋサイズになると、その物体の動き量は２倍になるため、動き探索範囲も２倍の広さが必要になるため、上記で示した時間的距離の閾値は画像サイズによっても個別に設定する必要がある。
【００３５】
次に、２つ目の縮小精度決定手法について説明する。２つ目の縮小精度決定手法は入力映像信号の画像情報（輝度値）から縮小比率を適応的に切り替える手法である。例えば入力映像信号のピクチャと復号映像信号の参照画像との間のフレーム間差分絶対値和を算出し縮小比率を切り替える。入力映像信号のピクチャの画素値をｃｕｒ（ｘ，ｙ）、復号映像信号の参照画像の画素値をｒｅｆ（ｘ，ｙ）、ピクチャ水平サイズをｗｉｄｔｈ、ピクチャ垂直サイズをｈｅｉｇｈｔとすると、入力映像信号のピクチャと復号映像信号の参照画像とのフレーム間差分絶対値和ｄｉｆｆは（１）式のように表すことができる。
【数１】
2015073192.tif 000003
【００３６】
上記のフレーム間差分絶対値和が大きい場合は物体の動き量が大きいと判断し、縮小比率を大きくして広い探索範囲で動き探索処理を行う。フレーム間差分絶対値和が小さい場合は物体が動いていない又は物体の動き量が小さいと判断し縮小比率は小さくして精度よく動き探索処理を行う。このようにして入力映像信号のピクチャの画像情報から物体の動き量を推定し縮小比率を適応的に切り替える。
【００３７】
同様の手法として、入力映像信号のピクチャと復号映像信号の参照画像の符号化ブロック累算値の差分絶対値和を用いる方法もある。例として符号化ブロックを６４×６４画素、１ピクチャの水平方向の符号化ブロック数をｂｌｋ＿ｗｉｄｔｈ、１ピクチャの垂直方向の符号化ブロック数をｂｌｋ＿ｈｅｉｇｈｔとすると、符号化ブロック累算値の差分絶対値和ｄｉｆｆ２は（２）式のように表すことができる。
【数２】
2015073192.tif 000004
【００３８】
上記の累算値の差分絶対値和ｄｉｆｆ２が大きい場合は物体の動き量が大きいと判断し、縮小比率を大きくして広い探索範囲で動き探索処理を行う。累算値の差分絶対値和が小さい場合は物体が動いていない又は物体の動き量が小さいと判断し縮小比率は小さくして精度よく動き探索処理を行う。このようにして入力映像信号のピクチャの画像情報から物体の動き量を推定し縮小比率を適応的に切り替える。
【００３９】
また、入力映像信号のピクチャのテクスチャの細かさによって縮小比率を適応的に切り替える手法もある。入力映像信号のピクチャのテクスチャの細かさを推定するために、符号化ブロックごとの分散値の１ピクチャの合計値を算出する。符号化ブロックの画素値の平均値をａｖｅとした場合の符号化ブロックの分散値の１ピクチャの合計値ｖａｒ＿ｐｉｃは式（３）のように表すことができる。
【数３】
2015073192.tif 000005
【００４０】
上記の符号化ブロックごとの分散値の１ピクチャ合計値が大きい場合は細かいテクスチャが多い画像であると判断できるので、縮小比率を小さくし比較的狭い範囲を精度よく動き探索処理を行う。このようにして入力映像信号のピクチャの画像情報から物体のテクスチャの細かさを推定し縮小比率を適応的に切り替える。
【００４１】
次に、３つ目の縮小精度決定手法について説明する。３つ目の縮小精度決定手法は符号化順で直前に符号化したピクチャの符号化結果を用いる手法である。入力映像信号のピクチャの符号化開始時に、符号化順で１つ前に符号化を行ったピクチャの符号化ブロックごとの動きベクトル成分について、時間的距離を揃えるためのスケーリング処理を施した後にその動きベクトル成分の分散値を１ピクチャ分計算する。
【００４２】
符号化順で１つ前に符号化を行ったピクチャの動きベクトルの水平成分をｍｖ＿ｘ［ｉ］、垂直成分をｍｖ＿ｙ［ｉ］、当該ピクチャとその参照画像との時間的距離をｔ＿ｃｕｒ、符号化順で１つ前に符号化を行ったピクチャとその参照画像との時間的距離をｔ＿ｐｓｔとすると、時間的距離でスケーリングされた動きベクトル成分ｍｖ＿ｓｃａｌｅ＿ｘ［ｉ］、及びｍｖ＿ｓｃａｌｅ＿ｙ［ｉ］は（４）式のように表すことができる。
【数４】
2015073192.tif 000006
【００４３】
符号化順で１つ前に符号化を行ったピクチャの１ピクチャ分の動きベクトルの本数をｍｖ＿ｎｕｍ、動きベクトル水平成分の平均値をｍｖ＿ｘ＿ａｖｅ、垂直成分の平均値をｍｖ＿ｙ＿ａｖｅとすると、動きベクトルの分散値ｍｖ＿ｖａｒ＿ｘ、ｍｖ＿ｖａｒ＿ｙはそれぞれ（５）式、（６）式のように表すことができる。
【数５】
2015073192.tif 000007
【数６】
2015073192.tif 000008
【００４４】
最後に、（７）式に示す様に上記（５）式、（６）式の合計値ｍｖ＿ｖａｒを算出する。
【数７】
2015073192.tif 000009
ｍｖ＿ｖａｒと閾値を比較してｍｖ＿ｖａｒの方が大きい場合は物体が一様な動きをしておらず、様々な方向に動いていたり、画面のズームインやズームアウトの映像であったり、海面のように動きが一定ではないような映像であることが推測できる。この様な場合は縮小比率を大きくして広い探索範囲で動き探索処理を行うことで様々な動きに対応する。逆にｍｖ＿ｖａｒと閾値を比較してｍｖ＿ｖａｒの方が小さい場合は、物体の動きは小さい又は一様な動きをしていると推測できるので、縮小比率を小さくし狭い範囲を精度よく探索を行う。
【００４５】
また、符号化順で１つ前に符号化を行ったピクチャの差分動きベクトルの累算値を用いる方法もある。差分動きベクトルとは、Ｈ．２６４／ＡＶＣやＨＥＶＣで定められている符号化ブロックの周囲のブロックの動きベクトルから決定される予測ベクトルと動きベクトルとの差分値のことを指す。符号化順で１つ前に符号化を行ったピクチャの差分動きベクトルを１ピクチャ分累算する。差分動きベクトルをそれぞれｍｖ＿ｄｉｆｆ＿ｘ［ｉ］、ｍｖ＿ｄｉｆｆ＿ｙとすると差分動きベクトルの１ピクチャ累算値ｍｖ＿ｄｉｆｆ＿ｓｕｍは式（８）のように表される。
【数８】
2015073192.tif 000010
【００４６】
ｍｖ＿ｄｉｆｆ＿ｓｕｍと閾値を比較してｍｖ＿ｄｉｆｆ＿ｓｕｍの方が大きい場合は物体が一様な動きをしていない映像であると推測できるので、縮小比率を大きくし広い範囲の探索を行う。逆にｍｖ＿ｄｉｆｆ＿ｓｕｍと閾値を比較してｍｖ＿ｄｉｆｆ＿ｓｕｍの方が小さい場合は物体が動いていない又は一様な動きをしている映像であると推測できるので、縮小比率を小さくして狭い範囲を精度よく探索を行う。
【００４７】
以上説明したように、様々な条件から入力映像信号のピクチャと復号映像信号の参照画像の縮小精度を適応的に設定することによって、物体の動きが大きい場合には広い探索範囲を、物体の動きが小さい場合には細かい精度の動き探索を行うことが可能となり、全体の符号化効率を向上させることができる。縮小画像を生成するための手法としては画素を間引く手法や、画素の平均値を用いる手法、縮小フィルタを用いる手法等があるが、本実施形態では縮小画像生成方法は任意の手法が適用可能である。
【００４８】
このように、縮小画像による探索手法に関する手法において、画像サイズや探索距離、物体の動き等の様々な情報を元に適切な縮小比率を設定し、ピクチャ毎に縮小比率を適応的に変更しながら探索処理を行うことで、少ない演算量で広い探索範囲と高い動きベクトルの精度を両立させることが可能になる。
【００４９】
前述した実施形態における映像符号化装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００５０】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００５１】
動き探索処理に要する演算量が限られている映像符号化装置又は動き探索処理に要する演算量を均一にする必要のある映像符号化装置及び映像符号化プログラムに適用できる。
【符号の説明】
【００５２】
１００・・・映像符号化装置、１０１・・・イントラ予測処理部、１０２・・・インター予測処理部、１０３・・・予測残差信号生成部、１０４・・・変換・量子化処理部、１０５・・・エントロピー符号化部、１０６・・・逆量子化・逆変換処理部、１０７・・・復号映像信号生成部、１０８・・・ループフィルタ処理部、２０１・・・縮小画像生成部、２０２・・・プレ探索処理部、２０３・・・整数画素探索処理部、２０４・・・第一モード判定部、２０５・・・小数画素探索処理部、２０６・・・第二モード判定部、２０７・・・小数画像生成部
【図１】
2015073192.tif 000011
【図２】
2015073192.tif 000012
【図３】
2015073192.tif 000013
【図４】
2015073192.tif 000014
【図５】
2015073192.tif 000015