(57)【特許請求の範囲】
【請求項１】
非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられ、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定方法であって、
フレームレート及び開口率の値を入力する過程と、
フレームレート及び開口率を変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する過程と、
前記決定した推定関数に対して、前記入力したフレームレート及び開口率の値を代入することで、前記入力したフレームレート及び開口率の値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する過程と、
前記推定した動き推定精度を出力する過程とを備えることを、
特徴とする動き推定精度推定方法。
【請求項２】
非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられ、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定方法であって、
フレームレートの値を入力する過程と、
予め設定された開口率を定数としフレームレートを変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する過程と、
前記決定した推定関数に対して、前記入力したフレームレートの値を代入することで、前記入力したフレームレートの値及び前記予め設定された開口率の値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する過程と、
前記推定した動き推定精度を出力する過程とを備えることを、
特徴とする動き推定精度推定方法。
【請求項３】
非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられ、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定方法であって、
開口率の値を入力する過程と、
予め設定されたフレームレートを定数とし開口率を変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する過程と、
前記決定した推定関数に対して、前記入力した開口率の値を代入することで、前記入力した開口率の値及び前記予め設定されたフレームレートの値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する過程と、
前記推定した動き推定精度を出力する過程とを備えることを、
特徴とする動き推定精度推定方法。
【請求項４】
請求項１ないし３のいずれか１項に記載の動き推定精度推定方法において、
前記推定関数は、フレームレートと、あるフレームレート及びある開口率で符号化を行う場合におけるフレーム間予測の予測誤差電力の推定に用いられる関数に記述されて、開口率によりその値を変えるモデルパラメータとで関数形が規定されることを、
特徴とする動き推定精度推定方法。
【請求項５】
請求項４に記載の動き推定精度推定方法において、
前記モデルパラメータとして、（１）参照フレームにおける隣接画素間の差分値の二乗和から導出される開口率に依存するモデルパラメータと、（２）フレーム間予測誤差に対するテイラー展開の近似誤差と参照フレームにおける隣接画素間差分値との積の和から導出される開口率に依存するモデルパラメータと、（３）原信号に重畳する雑音電力の推定値と補間フィルタ通過後の原信号に重畳する雑音電力の推定値との和から導出される開口率に依存するモデルパラメータと、（４）画素値の補間に伴う誤差電力の推定値と参照信号の量子化に伴う誤差電力の推定値との和から導出される開口率に依存しないモデルパラメータと、（５）フレーム間予測誤差に対するテイラー展開の近似誤差の二乗和から導出される開口率に依存しないモデルパラメータという５個のモデルパラメータを用いることを、
特徴とする動き推定精度推定方法。
【請求項６】
請求項４又は５に記載の動き推定精度推定方法において、
フレームレートをＦで表し、開口率をκで表し、前記モデルパラメータをα1', α2', α3', α4 , α5 で表すならば、前記推定関数として、
（（α1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 ）／α1'）1/2 
ただし、α1'∝１／κ，α2'∝１／κ1/2 ，α3'∝１／κ
に比例する関数を用いることを、
特徴とする動き推定精度推定方法。
【請求項７】
非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられ、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定装置であって、
フレームレート及び開口率の値を入力する手段と、
フレームレート及び開口率を変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する手段と、
前記決定した推定関数に対して、前記入力したフレームレート及び開口率の値を代入することで、前記入力したフレームレート及び開口率の値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する手段と、
前記推定した動き推定精度を出力する手段とを備えることを、
特徴とする動き推定精度推定装置。
【請求項８】
非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられ、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定装置であって、
フレームレートの値を入力する手段と、
予め設定された開口率を定数としフレームレートを変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する手段と、
前記決定した推定関数に対して、前記入力したフレームレートの値を代入することで、前記入力したフレームレートの値及び前記予め設定された開口率の値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する手段と、
前記推定した動き推定精度を出力する手段とを備えることを、
特徴とする動き推定精度推定装置。
【請求項９】
非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられ、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定する動き推定精度推定装置であって、
開口率の値を入力する手段と、
予め設定されたフレームレートを定数とし開口率を変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する手段と、
前記決定した推定関数に対して、前記入力した開口率の値を代入することで、前記入力した開口率の値及び前記予め設定されたフレームレートの値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する手段と、
前記推定した動き推定精度を出力する手段とを備えることを、
特徴とする動き推定精度推定装置。
【請求項１０】
請求項７ないし９のいずれか１項に記載の動き推定精度推定装置において、
前記推定関数は、フレームレートと、あるフレームレート及びある開口率で符号化を行う場合におけるフレーム間予測の予測誤差電力の推定に用いられる関数に記述されて、開口率によりその値を変えるモデルパラメータとで関数形が規定されることを、
特徴とする動き推定精度推定装置。
【請求項１１】
請求項１ないし６のいずれか１項に記載の動き推定精度推定方法をコンピュータに実行させるための動き推定精度推定プログラム。
【請求項１２】
請求項１ないし６のいずれか１項に記載の動き推定精度推定方法をコンピュータに実行させるための動き推定精度推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高フレームレート映像に対する効率的な符号化を実現する映像符号化で用いられる動き推定精度推定方法及びその装置と、その動き推定精度推定方法の実現に用いられる動き推定精度推定プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。
【０００３】
超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用及びナチュラルビジョンプロジェクトにおいて検討が進められている。
【０００４】
しかし、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化については、充分な検討がなされていない。
【０００５】
Ｓpillmannらによれば、網膜の出力細胞である神経節細胞が出力するパルス数の上限は毎秒３００〜４００個程度であるとする生理学的な知見が示されている。このため、人の視覚系は最も短くて１／１５０〜１／２００秒程度までの発光の違いを知覚できると推察される。これは、知覚可能なフレームレートの検知限が１５０〜２００［フレーム／秒］であることを意味する。現行映像のフレームレートである３０，６０［フレーム／秒］は、フリッカーの検知限から定められたものであり、自然な動きを表現するに十分な値ではない。
【０００６】
一方、映像の超高画質化はデータ量の爆発的な増加を招くため、ネットワークの帯域制限等の理由により符号量が制限される場合には、効率的な符号化方法が必要となる。
【０００７】
高フレームレート映像の場合、フレーム間相関が増加することから、動き補償によるフレーム間予測が効果的である。動き補償のパラメータの一つに動き推定精度がある。例えば、ＭＰＥＧ−２準拠の符号化器における動き推定精度は１／２画素精度となる。
【０００８】
高フレームレート映像の場合、フレーム間隔が短くなることから、変移量に高い精度が求められるため、フレームレートと動き推定精度との関係を把握することが重要となる。直感的には、フレームレートの増加に伴い、高い動き推定精度が必要となることが予想される。
【０００９】
しかし、従来の研究では、フレームレートの影響は考慮されておらず、フレームレートと動き推定精度との関係についての定量的な性質は把握されていない（例えば、非特許文献１参照）。このため、アドホックな方法で動き推定精度を設定することになり、動き推定精度が不足した場合、符号化効率が低下する。
【００１０】
一方、設定可能な範囲における動き推定精度に対して、総当りで符号化を行い、最も符号化効率の高い動き推定精度を選択する方法もある。しかし、この場合には、符号化処理の時間が増大してしまう。
【００１１】
さらに、映像信号の時間軸方向の特徴を説明するために必要なパラメータとして、フレームレートのほかに撮像系の開口率がある。撮像デバイスへの入射光量を確保するには、一定以上の開口率が必要となる。開口率の増加は、フレームスキップに起因するジャーキネス（同じ映像のフレームが続くこと）の低減に有効である。一方、開口率の増加は、撮像デバイス蓄積時の積分効果により動きボケを引き起こす。
【００１２】
このように、開口率により、ジャーキネスと動きボケのトレードオフが制御可能である。また、開口率の増加に伴う積分効果は低域通過特性を示す。こうした撮像系の低域通過特性は映像信号の性質を変化させる。このため、映像信号に対するフレームレートの影響を考慮する際、開口率は重要な要素となる。
【非特許文献１】J.Ribas-Corbera and D.L.Neuhoff. Optimizing motion-vector accuracy in block-based video coding. IEEE CSVT, Vol.11, No.4, pp.497-511, 2001.
【発明の開示】
【発明が解決しようとする課題】
【００１３】
前述したように、被写体の自然な動きを表現するためには、映像の高フレームレート化を実現する必要がある。
【００１４】
映像の高フレームレート化を実現するためには、フレーム間隔が短くなることから、変移量に高い精度が求められるため、フレームレートと動き推定精度との関係を把握することが重要となる。
【００１５】
しかし、従来の研究では、フレームレートと動き推定精度との関係についての定量的な性質は把握されておらず、アドホックな方法で動き推定精度を設定するようにしているのが実情である。しかも、この設定にあたって、開口率についてはまったく考慮していないというのが実情である。
【００１６】
これから、従来技術に従っていると、高フレームレート映像を符号化するときに、動き推定精度が不足した場合には、符号化効率が低下するという問題があった。
【００１７】
本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像に対する符号化処理において、撮像系の開口時間に応じて発生する積分効果の影響を考慮した形で、フレームレートと動き推定精度との関係を表す解析的な理論モデルを構築して、その理論モデルを利用してフレームレート毎の適切な動き推定精度を推定することで、高フレームレート映像に対する効率的な符号化を実現する新たな動き推定精度推定技術を確立することを目的とする。
【課題を解決するための手段】
【００１８】
［１］フレームレート及び撮像系の開口率を任意に設定可能とする場合の構成
前記の目的を達成するために、本発明の動き推定精度推定装置は、非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられて、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定することを実現するために、（イ）フレームレート及び開口率の値を入力する入力手段と、（ロ）フレームレート及び開口率を変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する決定手段と、（ハ）決定手段の決定した推定関数に対して、入力手段の入力したフレームレート及び開口率の値を代入することで、入力手段の入力したフレームレート及び開口率の値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する推定手段と、（ニ）推定手段の推定した動き推定精度を出力する出力手段とを備えるように構成する。
【００１９】
以上の各処理手段が動作することで実現される本発明の動き推定精度推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２０】
［２］撮像系の開口率を固定とし、フレームレートを任意に設定可能とする場合の構成
前記の目的を達成するために、本発明の動き推定精度推定装置は、非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられて、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定することを実現するために、（イ）フレームレートの値を入力する入力手段と、（ロ）予め設定された開口率を定数としフレームレートを変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する決定手段と、（ハ）決定手段の決定した推定関数に対して、入力手段の入力したフレームレートの値を代入することで、入力手段の入力したフレームレートの値及び予め設定された開口率の値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する推定手段と、（ニ）推定手段の推定した動き推定精度を出力する出力手段とを備えるように構成する。
【００２１】
以上の各処理手段が動作することで実現される本発明の動き推定精度推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２２】
［３］フレームレートを固定とし、撮像系の開口率を任意に設定可能とする場合の構成
前記の目的を達成するために、本発明の動き推定精度推定装置は、非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化で用いられて、映像を符号化する際に、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度を推定することを実現するために、（イ）開口率の値を入力する入力手段と、（ロ）予め設定されたフレームレートを定数とし開口率を変数とする推定関数であって、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する決定手段と、（ハ）決定手段の決定した推定関数に対して、入力手段の入力した開口率の値を代入することで、入力手段の入力した開口率の値及び予め設定されたフレームレートの値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定する推定手段と、（ニ）推定手段の推定した動き推定精度を出力する出力手段とを備えるように構成する。
【００２３】
以上の各処理手段が動作することで実現される本発明の動き推定精度推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２４】
［４］本発明の動き推定精度推定装置の処理
このように構成される本発明の動き推定精度推定装置では、入力値や予め設定された値に従って、動き推定精度の推定対象となるフレームレート及び開口率の値を設定すると、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定する。
【００２５】
この推定関数としては、例えば、フレームレートと、あるフレームレート及びある開口率で符号化を行う場合におけるフレーム間予測の予測誤差電力の推定に用いられる関数に記述されて、開口率によりその値を変えるモデルパラメータとで関数形が規定されるものを用いる。
【００２６】
例えば、フレームレートをＦで表し、開口率をκで表し、モデルパラメータをα1', α2', α3', α4 , α5 で表すならば、
（（α1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 ）／α1'）1/2 
ただし、α1'∝１／κ，α2'∝１／κ1/2 ，α3'∝１／κ
に比例する推定関数を用いるのである。
【００２７】
ここで、（１）モデルパラメータα1'として、参照フレームにおける隣接画素間の差分値の二乗和から導出される開口率に依存するものを用い、（２）モデルパラメータα2'として、フレーム間予測誤差に対するテイラー展開の近似誤差と参照フレームにおける隣接画素間差分値との積の和から導出される開口率に依存するものを用い、（３）モデルパラメータα3'として、原信号に重畳する雑音電力の推定値と補間フィルタ通過後の原信号に重畳する雑音電力の推定値との和から導出される開口率に依存するものを用い、（４）モデルパラメータα4 として、画素値の補間に伴う誤差電力の推定値と参照信号の量子化に伴う誤差電力の推定値との和から導出される開口率に依存しないものを用い、（５）モデルパラメータα5 として、フレーム間予測誤差に対するテイラー展開の近似誤差の二乗和から導出される開口率に依存しないものを用いることがある。
【００２８】
このようにして、歪み量を一定とする符号化の条件下において、その符号化で発生することになる符号量を最小化する動き推定精度の推定に用いられる推定関数を決定すると、その推定関数に対して、設定したフレームレート及び開口率の値を代入することで、設定したフレームレート及び開口率の値で符号化を行う場合に発生することになる符号量を最小化する動き推定精度を推定して、その推定した動き推定精度を出力する。
【発明の効果】
【００２９】
本発明によれば、フレームレート及び開口率が与えられた場合に、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度を推定することができるようになる。
【００３０】
すなわち、本発明によれば、フレームレート及び開口率に応じた適切な動き推定精度を設定することが可能となり、動き推定精度の不足に伴う符号化効率の低下を回避できるようになる。また、一般に、高い動き推定精度が必要とされる高フレームレート映像の符号化において、適切な動き推定精度を予め見積もることが可能となり、符号化処理を高速化できることが見込める。
【発明を実施するための最良の形態】
【００３１】
以下、実施の形態に従って本発明を詳細に説明する。
【００３２】
前述したように、本発明では、高フレームレート映像に対する符号化処理において、撮像系の開口時間に応じて発生する積分効果の影響を考慮した形で、フレームレートと動き推定精度との関係を表す解析的な理論モデルを構築して、その理論モデルを利用してフレームレート毎の適切な動き推定精度を推定することで、高フレームレート映像に対する効率的な符号化を実現するものである。
【００３３】
次に、まず最初に、『［１］フレームレートとフレーム間予測誤差電力との関係』で、フレームレート及び開口率に対するフレーム間予測誤差電力の関係を解析的に導出し、続いて、『［２］変移量推定誤差とフレームレートとの関係』で、フレームレート及び開口率とフレーム間予測誤差電力との関係の導出にあたって必要となる変移量推定誤差とフレームレートとの関係について説明し、続いて、『［３］動き推定精度の最適化』で、フレームレート及び開口率と動き推定精度との関係を表す解析的な理論モデルを構築して、その理論モデルを利用してフレームレートや開口率に応じた適切な動き推定精度を推定する構成について説明し、最後に、『［４］モデルパラメータの推定』で、フレームレート及び開口率と動き推定精度との関係を表す解析的な理論モデルを構成するモデルパラメータの推定について説明する。
【００３４】
［１］フレームレートとフレーム間予測誤差電力との関係
フレームレート及び開口率に対するフレーム間予測誤差電力の関係を解析的に導出する。ここでは、簡単のため１次元信号を例にとり説明する。
【００３５】
位置ｘにおいて、シャッターを時刻ｔからｔ＋Δの間、開口して撮影した信号をｇt （ｘ，Δ）（０≦ｘ≦Ｘ−１）とする。なお、同信号はＸサンプルを有するものとする。また、観測信号ｇt （ｘ，Δ）は画像信号ｆt （ｘ，Δ）に雑音ｎt （ｘ，Δ）が重畳して、次式のように構成されているものとする。
【００３６】
ｇt （ｘ，Δ）＝ｆt （ｘ，Δ）＋ｎt （ｘ，Δ）
このとき、シャッターの開口時間をｍΔ（ｍは自然数）に伸長した場合に得られる信号 -ｇt （ｘ，ｍΔ）は、ｇt （ｘ，Δ）を用いて以下のように表せる。なお、以下の表記において、「 -Ｚ」（Ｚは文字）における記号 -は、「Ｚ」の上に付く記号を示している。
【００３７】
【数１】
0004785890.tif 000002
【００３８】
この場合、フレーム間隔とシャッターの開口時間が一致しており、シャッターをフルオープンで撮影した場合のフレームが、これにあたる。これに対し、シャッターの開口時間を〜ｍΔとして、時刻ｍΔ≦ｔ≦ｍΔ＋〜ｍΔの間、部分的にシャッターを開口して撮影したフレームは以下のように表せる。なお、以下の表記において、「〜Ｚ」（Ｚは文字）における記号〜は、「Ｚ」の上に付く記号を示している。
【００３９】
【数２】
0004785890.tif 000003
【００４０】
ここで、〜ｍは１≦〜ｍ≦ｍの値をとる。つまり、フレームレートの変換に、シャッターの開口時間の変化が伴う場合は、式（２）に示す低域通過フィルタの影響を考慮する必要がある。なお、以下では、式（２）の各項を次式のように表記するものとする。
【００４１】
【数３】
0004785890.tif 000004
【００４２】
観測信号 -ｇt （ｘ，ｍΔ）（０≦ｘ≦Ｘ−１）に対して、ＬサンプルからなるセグメントＢ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ）を単位として動き補償（推定変位量＾ｄ［ｉ］）を行い、そのセグメント内の動き補償後の予測誤差を評価する。なお、以下の表記において、「＾Ｚ」（Ｚは文字）における記号＾は、「Ｚ」の上に付く記号を示している。また、以下では、位置ｘにおける真の変位量をｄ（ｘ）としている。
【００４３】
推定変移量＾ｄ［ｉ］が小数画素精度の場合、参照画素値を補間処理により生成する。補間対象の信号をｓt （ｘ）とすると、補間処理は下記の式（５）で表されるフィルタリングとなる。なお、以下では、下記の式（５）式の左辺の演算子を「Ｉ」で表記することがある。
【００４４】
【数４】
0004785890.tif 000005
【００４５】
ここで、δは動き推定の精度である。例えば、ＭＰＥＧ−２準拠の符号化器の場合、δ＝１／２に設定される。また、補間係数ψ［ｋ］は下記の式（６）を満たすものとする。
【００４６】
【数５】
0004785890.tif 000006
【００４７】
前記の補間フィルタを用いて、参照位置の画素値は、Ｉ（〜 -ｇt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）(q) ）として近似される。
【００４８】
ここで、〜 -ｇt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）(q) は、 -ｇt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）に対して、量子化ステップ幅ｑでの量子化を行った場合の復号信号であり、下記の式（７）のように表せる。
【００４９】
【数６】
0004785890.tif 000007
【００５０】
ここで、ｖt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）ｑは、量子化に伴い発生する誤差を表しており、ｖt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）は信号 -ｆt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）に依存するパラメータである。
【００５１】
参照位置の画素値 -ｆt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）と補間により生成した値Ι（〜 -ｇt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）(q) ）との差は、下記の式（８）のように表せる。
【００５２】
【数７】
0004785890.tif 000008
【００５３】
ここで、 -ｅt-1 int （ｘ＋＾ｄ［ｉ］，〜ｍΔ）は下記の式（９）の通りである。
【００５４】
【数８】
0004785890.tif 000009
【００５５】
このとき、セグメント内の動き補償後の予測誤差は、下記の式（１０）のように表せる。                                                                                    
【００５６】
【数９】
0004785890.tif 000010
【００５７】
ここで、式（１０）におけるφ（ｘ）は、テイラー展開の２次以降の項である。
【００５８】
また、式（１０）におけるＮ（ｘ，〜ｍΔ）は、参照フレームにおける補間誤差Ｎt-1 ref （ｘ，〜ｍΔ）と原信号に重畳している雑音 -ｎt （ｘ，〜ｍΔ）との和であり、下記の式（１１）のように表せる。
【００５９】
【数１０】
0004785890.tif 000011
【００６０】
また、式（１０）におけるζ［ｉ］（ｘ）は、推定変移量＾ｄ［ｉ］とｘにおける真の変移量ｄ［ｉ］（ｘ）との推定誤差であり、
ζ［ｉ］（ｘ）＝ｄ［ｉ］（ｘ）−＾ｄ［ｉ］
のように表せる。
【００６１】
後述する『［２］変移量推定誤差とフレームレートとの関係』で説明するように、変移量推定誤差ζ［ｉ］（ｘ）をフレームレートＦの関数として、下記の式（１２)(１３）ように近似できる。
【００６２】
【数１１】
0004785890.tif 000012
【００６３】
ここで、κ1 ，κ1 ’及びκ2 は映像信号に依存する定数である。また、δは動き推定の精度である。例えば、ＭＰＥＧ−２準拠の符号化器の場合、δ＝１／２に設定される。
【００６４】
全セグメント（Ｂ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ））に対するσ［ｉ］2 の和を算出する。このとき、Ｎ（ｘ，〜ｍΔ）の各項の独立性を仮定することで、下記の式（１４）に示すような近似式を得る。
【００６５】
【数１２】
0004785890.tif 000013
【００６６】
ここで、〜Ｎ（ｘ，〜ｍΔ）2 は下記の式（１５）に示す通りである。
【００６７】
【数１３】
0004785890.tif 000014
【００６８】
式（１５）の第１項と第２項との和を〜Ｎ1(ｘ，〜ｍΔ）2 と定義し、式（１５）の第３項と第４項との和を〜Ｎ2(ｘ，〜ｍΔ）2 と定義することで、〜Ｎ1(ｘ，〜ｍΔ）2 、〜Ｎ2(ｘ，〜ｍΔ）2 として、下記の式（１６)(１７）のように定義する。
【００６９】
【数１４】
0004785890.tif 000015
【００７０】
さらに、変移量推定誤差ζ［ｉ］（ｘ）と画素値の微分値とが統計的に独立だと仮定して、式（１２）及び式（１３）を式（１４）に代入すると、画素当たりの予測誤差電力について下記の式（１８）に示す近似式を得る。
【００７１】
【数１５】
0004785890.tif 000016
【００７２】
ここで、モデルパラメータα1,α2,α3,α4,α5,α6 は、それぞれ下記の式（１９）の通りである。
【００７３】
【数１６】
0004785890.tif 000017
【００７４】
さらに、モデルパラメータα1 について計算すると、下記の式（２０）のようになる。
【００７５】
【数１７】
0004785890.tif 000018
【００７６】
ここで、
【００７７】
【数１８】
0004785890.tif 000019
【００７８】
とおき、さらに、簡単のために、ｆt （ｘ，Δ）をｆt （ｘ）と略記すると、下記の式（２２）の近似関係を得る。
【００７９】
【数１９】
0004785890.tif 000020
【００８０】
ここで、この式（２２）の近似では、以下の斉次モデルを用いた。
【００８１】
【数２０】
0004785890.tif 000021
【００８２】
さらに、以下の近似を用いた。
【００８３】
【数２１】
0004785890.tif 000022
【００８４】
ここで、 -ｄi 及び -ｄj は各々、ｄi （ｘ）及びｄj （ｘ）（ｘ∈Ｌ）の平均値である。また、αi,j は平均変移量（ -ｄi ， -ｄj ）を用いた近似に対する補正パラメータである。
【００８５】
ρは画像信号の自己相関のため、１以下であり、かつ、１に近い値とみなすことができる。このため、
（１−ρ）／ρ≪１
という不等式を得る。
【００８６】
この不等式を用いることで、式（２２）は以下の通り近似できる。
【００８７】
【数２２】
0004785890.tif 000023
【００８８】
シャッターの開口率κをｍと〜ｍの比として、
〜ｍ／ｍ＝κ（≦１）
のように定義する。さらに、ｍはダウンサンプルされたフレームレートＦの最大フレームレートＦ0 に対する比であることを考慮すると、〜ｍは、
〜ｍ＝κｍ＝κＦ0 ／Ｆ
となる。
【００８９】
これらの式を用いて、式（２０）から、モデルパラメータα1 について、下記の式（２７）の近似式を得る。
【００９０】
【数２３】
0004785890.tif 000024
【００９１】
モデルパラメータα2 について計算すると、以下のようになる。
【００９２】
【数２４】
0004785890.tif 000025
【００９３】
ここで、次の近似関係を得る。
【００９４】
【数２５】
0004785890.tif 000026
【００９５】
ここで、γは１あるいは−１とする。なお、前記の式では、簡単のために、ｆt （ｘ，Δ）をｆt （ｘ）と略記している。
【００９６】
これにより、モデルパラメータα2 について、下記の式（３０）の近似式を得る。
【００９７】
【数２６】
0004785890.tif 000027
【００９８】
モデルパラメータα3 について計算すると、下記の式（３１）の近似式を得る。
【００９９】
【数２７】
0004785890.tif 000028
【０１００】
ここで、ｎ02は、下記の式（３２）のように定義される雑音電力を表す。
【０１０１】
【数２８】
0004785890.tif 000029
【０１０２】
以上のようにして求められるモデルパラメータα1,α2,α3 を式（１８）に代入して、下記の式（３３）を得る。
【０１０３】
【数２９】
0004785890.tif 000030
【０１０４】
ここで、モデルパラメータα1', α2', α3'は、それぞれ下記の式（３４）の通りである。
【０１０５】
なお、モデルパラメータα1', α2', α3'とモデルパラメータα1,α2,α3 との間には、
α1'＝（１／Ｆ）×α1 , α2'＝（１／Ｆ）1/2 ×α2 , α3'＝（１／Ｆ）×α3 
という関係が成立する。
【０１０６】
【数３０】
0004785890.tif 000031
【０１０７】
［２］変移量推定誤差とフレームレートとの関係
次に、前述の式（１２)(１３）が成立することについて説明する。
【０１０８】
［２−１］式（１２）の導出
連続値として表した場合の変移量＾ｄF ［ｉ］を離散した場合の離散値を〜ｄF ［ｉ］とする。このときの離散化誤差をε［ｉ］とすると、〜ｄF ［ｉ］は下記の式（３５）のようにあらわせる。
【０１０９】
【数３１】
0004785890.tif 000032
【０１１０】
ε［ｉ］は平均が零値、分散が動き推定精度の二乗値に比例する一様分布に従うものと仮定する。二乗誤差規範に基づくブロックマッチングでは、各ブロックに対する推定変移量は、ブロック中央位置の画素の変移量を用いて近似的にあらわすことができる。ｘc ［ｉ］をセグメントＢ［ｉ］の中央位置の座標とすると、これにより、フレームレートＦ＝Ｆ0 の場合の推定変移量は下記の式（３６）のように近似できる。
【０１１１】
【数３２】
0004785890.tif 000033
【０１１２】
さらに、＾ｘにおける変移量と＾ｘ’における変移量との差分は平均がゼロ、分散が両座標位置の差分値に比例する正規分布としてモデル化できる。ここで、＾ｘ及び＾ｘ’は、セグメントＢ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ）内での座標位置を示す。つまり、下記の式（３７）のような近似が可能となる。
【０１１３】
【数３３】
0004785890.tif 000034
【０１１４】
ここで、Ｅ［・］は期待値演算を表し、＾ｃh は信号依存のパラメータである。同モデルは、全セグメントＢ［ｉ］（ｉ＝１，２，... ，Ｘ／Ｌ）における変移量の差分値（ｄF0［ｉ］（＾ｘ）−ｄF0［ｉ］（＾ｘ’））に対する集合平均の良好な近似値を与える。
【０１１５】
式（３６)(３７）により、下記の式（３８）を得る。                                    
【０１１６】
【数３４】
0004785890.tif 000035
【０１１７】
ここで、ｃh 2 ＝（Ｘ／Ｌ）＾ｃh 2 である。ξはセグメントＢ［ｉ］の中央位置を原点とする座標系での座標値であり、ξはｘ−ｘ0 ［ｉ］と表すことができる。つまり、ξはセグメントＢ［ｉ］の中央位置からの距離である。
【０１１８】
異なるフレームレートにおける２つの変移量の関係を導く。隣接フレーム間での物体の移動は、等速運動に従うものと仮定する。この場合、物体の変移量はフレーム間隔に比例する。つまり、変移量はフレームレートに反比例するといえる。これにより、下記の式（３９）の関係を得る。
【０１１９】
【数３５】
0004785890.tif 000036
【０１２０】
式（３５）、式（３９）及びε［ｉ］がフレームレートに依存しないという仮定を用いて、下記の式（４０）を得る。
【０１２１】
【数３６】
0004785890.tif 000037
【０１２２】
式（４０）及びε［ｉ］が統計的に変移量と独立であるとする仮定を用いることで、下記の式（４１）を得る。
【０１２３】
【数３７】
0004785890.tif 000038
【０１２４】
ここで、ξ＝ｘ−ｘc ［ｉ］、また、δは動き推定精度を表す。例えば、ＭＰＥＧ−２の符号化器の場合、δ＝１／２に設定され、ＭＰＥＧ−４ＡＳＰ(Advanced Simple Profile) の符号化器の場合、δ＝１／４に設定される。
【０１２５】
式（４１）において、
κ1 ＝Ｆ02ｃh 2 Σξ2     ただし、Σはξについての総和  ・・・  式（４２）
κ1'＝ＸＹ／１２                                        ・・・  式（４３）
と表すことにより、式（１２）を得る。
【０１２６】
［２−２］式（１３）の導出
ε［ｉ］がゼロ平均の一様分布に従うと仮定すると、下記の式（４４）を得る。
【０１２７】
【数３８】
0004785890.tif 000039
【０１２８】
ζF ［ｉ］（ｘ）を、
ζF ［ｉ］（ｘ）＝ｄF ［ｉ］（ｘ）−＾ｄF ［ｉ］
のように定義する変移量の推定誤差とする。
【０１２９】
このとき、｛ΣΣζF ［ｉ］（ｘ）｝2 について、下記の式（４５）の通り表すことができる。
【０１３０】
【数３９】
0004785890.tif 000040
【０１３１】
式（４５）の第一項は、式（４１）により近似することができる。また、第二項はシュワルツの不等式より下記の式（４６）の関係をみたす。
【０１３２】
【数４０】
0004785890.tif 000041
【０１３３】
ここで、ξ＝ｘ−ｘc ［ｉ］、ξ’＝ｘ’−ｘc ［ｉ］である。この式（４６）の不等式により、下記の式（４７）の近似式を得る。
【０１３４】
【数４１】
0004785890.tif 000042
【０１３５】
ここで、βは−１から１の範囲の値をとるパラメータである。式（４７）及び式（４１）を式（４５）に代入することにより、下記の式（４８）を得る。
【０１３６】
【数４２】
0004785890.tif 000043
【０１３７】
したがって、下記の式（４９）を得る。
【０１３８】
【数４３】
0004785890.tif 000044
【０１３９】
ここで、γは１か−１である。式（４９）に記述される下記の式（５０）をκ2 とおくことにより、式（１３）を得る。
【０１４０】
【数４４】
0004785890.tif 000045
【０１４１】
［３］動き推定精度の最適化
歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を評価関数として考える。以下では、量子化ステップ幅が与えられた場合に、その評価関数を最小化する動き推定精度を算出する方法について詳述する。
【０１４２】
量子化ステップ幅ｑ、フレームレートＦ、動き推定精度δが与えられた場合、フレーム間予測誤差の符号量は、
Ｒc （ｑ，Ｆ，δ）＝（１／２）ｌｏｇ2 γc （Ｐ（Ｆ，δ）／ｑ2 ）
・・・  式（５１）
のようにモデル化できる。
【０１４３】
ここで、γc は信号依存の定数パラメータである。また、Ｐ（Ｆ，δ）は、
Ｐ（Ｆ，δ）＝Σσ［ｉ］2     但し、Σはｉ＝１〜Ｘ／Ｌについての総和
であり、フレーム内の予測誤差電力和を示す。
【０１４４】
一方、フレームレートＦ、動き推定精度δが与えられた場合、変移量の符号量は、
Ｒmv（Ｆ，δ）＝（Ｘ／Ｌ）ｌｏｇ2 （２Ｕ（Ｆ）／δ）  ・・・  式（５２）
のようにモデル化できる。
【０１４５】
ここで、Ｕ（Ｆ）はフレームレートがＦの場合の動き推定の探索範囲を表しており、変移量＾ｄは−Ｕ（Ｆ）≦＾ｄ≦Ｕ（Ｆ）−１の範囲をとりうるものとする。したがって、２Ｕ（Ｆ）／δは探索範囲内における推定変移量の候補数を表す。
【０１４６】
変移量はフレーム間隔に比例して減少するため、符号量削減の観点から、Ｕ（Ｆ）はＦに反比例するように、
Ｕ（Ｆ）＝Ｕ0 Ｆ0 ／Ｆ
というように設定する。ここで、Ｕ0 はフレームレートがＦ0 の場合の動き推定の範囲を表すパラメータである。
【０１４７】
このとき、予測誤差信号と変移量の符号量の総和は、
Ｒ（ｑ，Ｆ，δ）＝Ｒc （ｑ，Ｆ，δ）＋Ｒmv（Ｆ，δ）  ・・・  式（５３）
となる。
【０１４８】
この式（５３）が歪み量を一定（量子化ステップ幅ｑを固定）とした場合の符号量を与えている。
【０１４９】
このようにフレームレートＦ、量子化ステップ幅ｑが与えられた場合に、Ｒ（ｑ，Ｆ，δ）を最小化する動き推定精度δ* （Ｆ）を算出する。求めるべきδ* （Ｆ）は、
∂Ｒ（ｑ，Ｆ，δ）／∂δ
＝∂Ｒc （ｑ，Ｆ，δ）／∂δ＋∂Ｒmv（Ｆ，δ）／∂δ＝０
・・・  式（５４）
という式を満たす。
【０１５０】
この式（５４）を満たすδ* （Ｆ）は、下記の式（５５）のように表せる。
【０１５１】
【数４５】
0004785890.tif 000046
【０１５２】
この式（５５）に記載されるモデルパラメータα1', α2', α3'は、式（３４）に記載するように、
α1'∝１／κ ,  α2'∝１／κ1/2 ，α3'∝１／κ
という形で、開口率κによりその値を変える性質を持つ。すなわち、式（５５）に示すδ* （Ｆ）は、フレームレートＦ及び開口率κによりその関数形が規定されるという性質を持ち、変数を陽に示す形で記載するならばδ* （Ｆ，κ）となる。
【０１５３】
これから、開口率κが予め固定の値として与えられている場合に、フレームレートＦが変数として与えられる場合には、その固定値として与えられる開口率κとその変数値として与えられるフレームレートＦとを式（５５）に代入することで、そのフレームレート及び開口率において、符号量を最小化する動き推定精度δ* （Ｆ，κ）を算出することができる。
【０１５４】
また、フレームレートＦが予め固定の値として与えられている場合に、開口率κが変数として与えられる場合には、その固定値として与えられるフレームレートＦとその変数値として与えられる開口率κとを式（５５）に代入することで、そのフレームレート及び開口率において、符号量を最小化する動き推定精度δ* （Ｆ，κ）を算出することができる。
【０１５５】
そして、フレームレートＦと開口率とが変数として与えられる場合には、その変数値として与えられるフレームレートＦとその変数値として与えられる開口率とを式（５５）に代入することで、そのフレームレート及び開口率において、符号量を最小化する動き推定精度δ* （Ｆ，κ）を算出することができる。
【０１５６】
［４］モデルパラメータの推定
次に、モデルパラメータα1', α2', α3', α4 , α5 の推定について説明する。
【０１５７】
［４−１］モデルパラメータα1'の推定
モデルパラメータα1'は、式（３４）のモデルパラメータα1'の定義式で定義されるものである。
【０１５８】
モデルパラメータα1'を構成する２σs 2(１−ρ）については、推定手段が外部から与えられるものとする。例えば、σs 2 がフレーム内の画素値の二乗和、ρが画素間の相関係数であることを考慮すると、２σs 2(１−ρ）は、隣接画素間の差分値の二乗和に対する近似値となっている。そこで、符号化対象フレームにおいて、隣接画素間の差分値の二乗和を求め、２σs 2(１−ρ）に対する近似値とする。
【０１５９】
また、モデルパラメータα1'を構成するＬ，Ｆ0 ，κについては、符号化時のパラメータとして設定されているので（κについては変数として扱うことも可能である）、適宜、読み込むことができる。
【０１６０】
また、モデルパラメータα1'を構成するκ1 については、推定手段が外部から与えられるものとする。例えば、画素毎に動きベクトルを求め、２つの動きベクトル間の差分ベクトルの二乗ノルムと画素間の距離の二乗ノルムとの関係を測定し、両者の比を＾ｃh 2 の推定値とする。κ1 の＾ｃh 2 の構成要素については符号化時のパラメータとして設定されているので、式（４２）に基づき、κ1 の推定値を得る。
【０１６１】
そこで、以上の値を用いて、式（３４）のモデルパラメータα1'の定義式に基づき、モデルパラメータα1'の推定値を得る。
【０１６２】
［４−２］モデルパラメータα3'の推定
モデルパラメータα3'は、式（３４）のモデルパラメータα3'の定義式で定義されるものである。
【０１６３】
モデルパラメータα3'を構成するｎ02については、推定手段が外部から与えられるものとする。例えば、以下のように行う。ｎt （ｘ，δ）2 はカメラの熱雑音等に起因する雑音成分の電力である。まず、フレーム内の静止領域を同定する。静止領域の同定方法は外部から与えられる。例えば、フレームをブロックに分割し、ブロック毎に動き推定を行い、同動きベクトルがゼロベクトルとなった領域を静止領域とする。静止領域と同定されたブロックに対して、フレーム間差分を求める。同フレーム間差分信号の二乗和を求め、同二乗和をｎ02の推定値とする。
【０１６４】
モデルパラメータα3'を構成するκ，Ｆ0 ，ψ［ｋ］については、符号化時のパラメータとして設定されているので（κについては変数として扱うことも可能である）、適宜、読み込むことができる。
【０１６５】
そこで、以上の値を用いて、式（３４）のモデルパラメータα3'の定義式に基づき、雑音電力の推定値ｎ02と補間フィルタ通過後の雑音電力の推定値ｎ02との和に従って、モデルパラメータα3'の推定値を得る。
【０１６６】
［４−３］モデルパラメータα4 の推定
モデルパラメータα4 は、式（１９）のモデルパラメータα4 の定義式及び式（１７）で定義されるものである。
【０１６７】
モデルパラメータα4 を構成する -ｅt-1 int （ｘ＋＾ｄ［ｉ］，〜ｍΔ）2 は、小数画素位置の画素値の補間に伴う推定誤差である。 -ｆt （ｘ，〜ｍΔ）に対して、ダウンサンプリング処理を行い、解像度をδに縮小した画像信号 -ｆt （ｘ，〜ｍΔ）（δ）を得る。ダウンサンプリング処理に用いるフィルタは外部から与えられるものとする。例えば、前述の補間フィルタの逆フィルタ、あるいは、sinc関数に基づく帯域制限フィルタ等が考えられる。この -ｆt （ｘ，〜ｍΔ）（δ）に対して、前述の補間フィルタにより、解像度をδ-1倍に拡大した信号 -ｆt （ｘ，〜ｍΔ）’を得る。同補間フィルタに伴う補間誤差の推定値として、下記の式（５６）により近似する。
【０１６８】
【数４６】
0004785890.tif 000047
【０１６９】
モデルパラメータα4 を構成するＩ（ｖt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ））2 ｑ2 は、参照信号の量子化に伴う誤差である。参照信号として原信号を用いた場合の予測誤差電力と参照信号として量子化・逆量子化により得られる復号信号を用いた場合の予測誤差電力との差分値（画素平均）を、ｖt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ）2 ｑ2 の推定値 -εq とする。さらに、同推定値 -εq を用いて、Ｉ（ｖt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ））2 ｑ2 を、下記の式（５７）のように近似する。
【０１７０】
【数４７】
0004785890.tif 000048
【０１７１】
そこで、式（５６）で求められる -ｅt-1 int （ｘ＋＾ｄ［ｉ］，〜ｍΔ）2 の近似値と、式（５７）で求められるＩ（ｖt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ））2 ｑ2 の近似値との和に従って、モデルパラメータα4 の推定値を得る。
【０１７２】
［４−４］モデルパラメータα5 の推定
モデルパラメータα5 は、式（１９）のモデルパラメータα5 の定義式で定義されるものである。なお、式（１９）では明示的に記載していないが、式（１９）のφ（ｘ）には雑音ｎ（〜ｍ）が含まれるものである。
【０１７３】
モデルパラメータα5 を構成するΣx ｛｜φ（ｘ）＋ｎ（〜ｍ）｜2 ｝≒Σx ｛φ（ｘ）2 ＋ｎ（〜ｍ）2 ｝は、式（１４）より、動き補償フレーム間予測に対する誤差電力和であることが分かる。
【０１７４】
そこで、サンプルフレームに対して、同誤差信号の二乗和を求める。同二乗和のセグメント当たりの平均をΣx ｛φ（ｘ）2 ＋〜Ｎ（ｘ，〜ｍΔ）2 ｝の推定値とする。この推定値をフレーム間予測誤差電力と呼ぶ。フレーム間予測誤差電力から静止領域フレーム間差分電力を減じた値をモデルパラメータα5 の推定値とする。
【０１７５】
［４−５］モデルパラメータα2'の推定
モデルパラメータα2'は、式（３４）のモデルパラメータα2'の定義式で定義されるものである。
【０１７６】
モデルパラメータα2'を構成するφ（ｘ）が白色雑音に近い性質を有する誤差信号だと仮定して、｛Σx φ（ｘ）｝2 ≒Σx ｛｜φ（ｘ）｜2 ｝とみなすと、Σx φ（ｘ）≒［Σx ｛｜φ（ｘ）｜2 ｝］1/2 ＝（α5 ）1/2 となる。
【０１７７】
φ（ｘ）の和のセグメント当たりの平均をΣx φ（ｘ）の推定値として、この推定値をテイラー展開近似誤差と呼ぶ。このテイラー展開近似誤差にα1'を乗じた値の絶対値は、｜α2'｜に等しい。ただし、γが未定であり、符号に関して不確定さが残る。α2'の符号に関しては、式（５５）により求まる値が負値あるいは１以上の値をとる場合には、対応するα2'は用いないものとする。それ以外の場合には、２つのα2'および、それに対応して式（５５）により求まる２つのＭＥ精度を式（５３）に代入して、算出される符号化コストの値が小さくなるα2'を用いる。
【０１７８】
このようにして、本発明によれば、フレームレートＦ及び開口率κが与えられた場合に、式（５５）に従って、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ* （Ｆ）を算出することができるようになる。
【実施例】
【０１７９】
次に、本発明の実施例について説明する。
【０１８０】
図１に、本発明を具備する映像符号化装置１の装置構成を図示する。
【０１８１】
この図に示すように、本発明の映像符号化装置１は、符号化対象となる映像を格納する映像ファイル１０と、非整数画素精度の動き推定を行うフレーム間予測を使って、映像ファイル１０に格納される映像を符号化する符号化部１１と、符号化部１１がフレーム間予測を行う上で必要となる動き推定精度を算出して符号化部１１に与える動き推定精度算出部１２と、符号化部１１の符号化した符号化データを格納する符号化データファイル１３とを備える。
【０１８２】
図２〜図４に、動き推定精度算出部１２の実行するフローチャートの一例を図示する。次に、これらのフローチャートに従って、本発明の実行する処理について詳細に説明する。なお、以下の説明では、説明の便宜上、開口率κについては予め設定された値であることを想定する。
【０１８３】
動き推定精度算出部１２は、図２のフローチャートに示すように、まず最初に、ステップＳ１０１で、シャッターの開口率κを読み込み、続くステップＳ１０２で、セグメント内の画素数Ｌを読み込む。
【０１８４】
続いて、ステップＳ１０３で、符号化対象フレームを読み込み、続くステップＳ１０４で、参照フレームを読み込む。
【０１８５】
続いて、ステップＳ１０５で、参照フレームにおける隣接画素間の差分値を算出し、続くステップＳ１０６で、その算出した隣接画素間差分値の二乗和を算出する。すなわち、式（３４）に示すモデルパラメータα1'の定義式に記述される「２σs 2(１−ρ）」を算出するのである。
【０１８６】
続いて、ステップＳ１０７で、フレーム間予測誤差に対するテイラー展開の近似誤差を算出する。すなわち、式（３４）に示すモデルパラメータα2'の定義式や、式（１９）に示すモデルパラメータα5 の定義式に記述される「φ（ｘ）」を算出するのである。
【０１８７】
続いて、ステップＳ１０８で、ステップＳ１０７で算出したテイラー展開の近似誤差とステップＳ１０６で算出した隣接画素間差分値の二乗和の平方根との積を算出する。すなわち、式（３４）に示すモデルパラメータα2'の定義式に記述される「φ（ｘ）（２σs 2(１−ρ））1/2 」を算出するのである。
【０１８８】
続いて、ステップＳ１０９で、ステップＳ１０７で算出したテイラー展開の近似誤差の二乗和を算出することでモデルパラメータα5 を算出する。すなわち、式（１９）に示す定義式に従って、モデルパラメータα5 を算出するのである。
【０１８９】
続いて、ステップＳ１１０で、雑音信号に起因する誤差成分であるモデルパラメータα3'を算出する。このステップＳ１１０で実行するモデルパラメータα3'の算出処理の詳細については、図３のフローチャートで後述する。
【０１９０】
続いて、ステップＳ１１１で、補間フィルタ、量子化に起因する誤差成分であるモデルパラメータα4 を算出する。このステップＳ１１１で実行するモデルパラメータα4 の算出処理の詳細については、図４のフローチャートで後述する。
【０１９１】
一方、ステップＳ１１２で、フレームレートＦを読み込み、続くステップＳ１１３で、読み込んだフレームレートの逆数Ｆ-1を算出し、続くステップＳ１１４で、読み込んだフレームレートの逆数の平方根Ｆ-1/2を算出する。
【０１９２】
このようにして、ステップＳ１０１〜ステップＳ１１１，ステップＳ１１２〜ステップＳ１１４の処理を終了すると、続いて、ステップＳ１１５で、ステップＳ１０６の算出値にＦ-1と定数パラメータκ1 ／Ｌ・κ・Ｆ0 を乗じた値を算出することで、式（５５）に記述されるα1'Ｆ-1を算出する。
【０１９３】
すなわち、ステップＳ１０６の算出値に定数パラメータκ1 ／Ｌ・κ・Ｆ0 を乗ずることで、式（３４）に示すモデルパラメータα1'の定義式に従ってモデルパラメータα1'を算出して、それにＦ-1を乗ずることで、式（５５）に記述されるα1'Ｆ-1を算出するのである。
【０１９４】
続いて、ステップＳ１１６で、ステップＳ１０８の算出値にＦ-1/2と定数パラメータ２κ2 ・２γ／Ｌ・（κ・Ｆ0 ）1/2 を乗じた値を算出することで、式（５５）に記述されるα2'Ｆ-1/2を算出する。
【０１９５】
すなわち、ステップＳ１０８の算出値に定数パラメータ２κ2 ・２γ／Ｌ・（κ・Ｆ0 ）1/2 を乗ずることで、式（３４）に示すモデルパラメータα2'の定義式に従ってモデルパラメータα2'を算出して、それにＦ-1/2を乗ずることで、式（５５）に記述されるα2'Ｆ-1/2を算出するのである。
【０１９６】
続いて、ステップＳ１１７で、ステップＳ１１０の算出値にＦを乗じた値を算出することで、式（５５）に記述されるα3'Ｆを算出する。
【０１９７】
すなわち、ステップＳ１１０でモデルパラメータα3'を算出しているので、その算出したα3'にＦを乗じた値を算出することで、式（５５）に記述されるα3'Ｆを算出するのである。
【０１９８】
続いて、ステップＳ１１８で、ステップＳ１１５，ステップＳ１１６，ステップＳ１１７，ステップＳ１１１，ステップＳ１０９の算出値の和を算出することで、式（５５）に示す算出式の平方根中の分子の値を算出する。
【０１９９】
すなわち、ステップＳ１１５の算出値であるα1'Ｆ-1と、ステップＳ１１６の算出値であるα2'Ｆ-1/2と、ステップＳ１１７の算出値であるα3'Ｆと、ステップＳ１１１の算出値であるα4 と、ステップＳ１０９の算出値であるα5 との和を算出することで、式（５５）に示す算出式の平方根中の分子の値
α1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 
を算出するのである。
【０２００】
続いて、ステップＳ１１９で、（１−１／Ｌ）を算出し、その算出値とステップＳ１０６の算出値と定数パラメータκ1 ／Ｌ・κ・Ｆ0 と定数パラメータκ1'との乗算値を算出することで、式（５５）に示す算出式の平方根中の分母の値を算出する。
【０２０１】
すなわち、（１−１／Ｌ）を算出するとともに、ステップＳ１０６の算出値に定数パラメータκ1 ／Ｌ・κ・Ｆ0 を乗ずることでモデルパラメータα1'を算出して、その算出した（１−１／Ｌ）とその算出したα1'と定数パラメータκ1'とを乗算した値を算出することで、式（５５）に示す算出式の平方根中の分母の値
（１−１／Ｌ）・α1'・κ1'
を算出するのである。
【０２０２】
続いて、ステップＳ１２０で、ステップＳ１１８の算出値をステップＳ１１９の算出値で除算した値である
（α1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 ）／（（１−１／Ｌ）・α1'・κ1'）
を算出する。
【０２０３】
続いて、ステップＳ１２１で、ステップＳ１２０の算出値の平方根を算出することで、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ* （Ｆ）を算出する。
【０２０４】
すなわち、式（５５）の定義に従い、ステップＳ１２０の算出値の平方根を算出することで、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ* （Ｆ）を算出するのである。
【０２０５】
このようにして、動き推定精度算出部１２は、フレームレートＦ及び開口率κが与えられた場合に、式（５５）に従って、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ* （Ｆ）を算出するのである。
【０２０６】
次に、図３のフローチャートに従って、図２のフローチャートのステップＳ１１０で実行するモデルパラメータα3'の算出処理の詳細について説明する。
【０２０７】
ここで、モデルパラメータα3'は、式（３４）に示すモデルパラメータα3'の定義式で定義されるものである。
【０２０８】
動き推定精度算出部１２は、図２のフローチャートのステップＳ１１０の処理に入ると、図３のフローチャートに示すように、まず最初に、ステップＳ２０１で、符号化対象フレームを読み込み、続くステップＳ２０２で、参照フレームを読み込む。
【０２０９】
続いて、ステップＳ２０３で、隣接フレームとの動き推定を行い、動きベクトルがゼロベクトルとなる領域を特定することで静止領域を同定する。
【０２１０】
続いて、ステップＳ２０４で、静止領域におけるフレーム間差分電力を求め、それを原信号に重畳する雑音電力の推定値とする。すなわち、式（３４）に示すモデルパラメータα3'の定義式に記述される雑音電力ｎ02を推定するのである。
【０２１１】
続いて、ステップＳ２０５で、補間フィルタの伝達関数を算出する。すなわち、式（３４）に示すモデルパラメータα3'の定義式に記述されるΣψ［ｋ］2 を算出するのである。
【０２１２】
続いて、ステップＳ２０６で、補間フィルタの伝達関数から求まる帯域通過率とステップＳ２０４で求めた雑音電力とを乗算し、それを補間フィルタ通過後の原信号に重畳する雑音電力の推定値とする。すなわち、式（３４）に示すモデルパラメータα3'の定義式に記述されるｎ02・Σψ［ｋ］2 を算出するのである。
【０２１３】
続いて、ステップＳ２０７で、ステップＳ２０４で求めた原信号に重畳する雑音電力の推定値と、ステップＳ２０６で求めた補間フィルタ通過後の原信号に重畳する雑音電力の推定値との和を算出する。すなわち、式（３４）に示すモデルパラメータα3'の定義式に記述される（１＋Σψ［ｋ］2 ）ｎ02を算出するのである。
【０２１４】
続いて、ステップＳ２０８で、最大フレームレートＦ0 と開口率κと画素数Ｘとの乗算値Ｆ0 ・κ・Ｘを算出する。
【０２１５】
そして、最後に、ステップＳ２０９で、ステップＳ２０７で求めた電力値をステップＳ２０８の算出値で乗算した値を算出することで、式（３４）に示すモデルパラメータα3'の定義式で定義されるモデルパラメータα3'を算出して、図２のフローチャートのステップＳ１１０の処理を終了する。
【０２１６】
次に、図４のフローチャートに従って、図２のフローチャートのステップＳ１１１で実行するモデルパラメータα4 の算出処理の詳細について説明する。
【０２１７】
ここで、モデルパラメータα4 は、式（１９）のモデルパラメータα4 の定義式及び式（１７）で定義されるものである。
【０２１８】
動き推定精度算出部１２は、図２のフローチャートのステップＳ１１１の処理に入ると、図４のフローチャートに示すように、まず最初に、ステップＳ３０１で、参照フレームを読み込む。
【０２１９】
続いて、ステップＳ３０２で、補間フィルタのフィルタ係数（前述の式（６）に記述される補間係数ψ［ｋ］）を読み込む。
【０２２０】
続いて、ステップＳ３０６で、量子化パラメータを読み込み、続くステップＳ３０７で、その読み込んだ量子化パラメータに基づいて量子化ステップ幅ｑを算出する。
【０２２１】
続いて、ステップＳ３０８で、算出した量子化ステップ幅に基づいて量子化誤差電力を算出する。すなわち、式（５７）に記載される -εq 2 を算出するのである。
【０２２２】
続いて、ステップＳ３０９で、補間フィルタの伝達関数を算出し、帯域通過率を算出する。すなわち、式（５７）に記載されるΣψ［ｋ］2 を算出するのである。
【０２２３】
続いて、ステップＳ３１０で、ステップＳ３０８の算出値とステップＳ３０９の算出値とを乗算し、補間フィルタ通過後の参照画像の量子化誤差に対する推定値とする。すなわち、式（５７）の左辺に記載されるＩ（ｖt-1 （ｘ＋＾ｄ［ｉ］，〜ｍΔ））2 ｑ2 の推定値とするのである。
【０２２４】
一方、ステップＳ３０２の処理を終了すると、ステップＳ３０３で、参照フレームの原信号を縮小し、続くステップＳ３０４で、その縮小した画像を拡大する。
【０２２５】
続いて、ステップＳ３０５で、ステップＳ３１０の算出値とステップＳ３０４の算出値との差分信号の電力を求め、補間位置の画素値の推定誤差電力に対する推定値とする。すなわち、式（５６）の左辺に記載される -ｅt-1 int （ｘ＋＾ｄ［ｉ］，〜ｍΔ）2 の推定値とするのである。
【０２２６】
そして、最後に、ステップＳ３１１で、ステップＳ３０５で求めた電力とステップＳ３１０で求めた電力との和を算出することで、式（１９）のモデルパラメータα4 の定義式及び式（１７）で定義されるモデルパラメータα4 を算出して、図２のフローチャートのステップＳ１１１の処理を終了する。
【０２２７】
図５に、以上に説明した処理を実行する動き推定精度算出部１２の装置構成の一例を図示する。
【０２２８】
動き推定精度算出部１２は、この図に示すように、符号化対象フレーム記憶部１０１と、参照フレーム記憶部１０２と、フレームレート記憶部１０３と、逆数算出部１０４と、フレームレート逆数記憶部１０５と、平方根算出部１０６と、フレームレート逆数平方根記憶部１０７と、セグメント数逆数算出部１０８と、セグメント数逆数記憶部１０９と、加算／減算処理部１１０と、乗数パラメータ記憶部１１１と、画素間差分値算出部１１２と、画素間差分値記憶部１１３と、二乗和算出部１１４と、積算処理部１１５と、パラメータ記憶部１１６と、画素間差分値二乗和記憶部１１７と、積算処理部１１８と、テイラー展開近似誤差算出部１１９と、テイラー展開近似誤差記憶部１２０と、積算値加算処理部１２１と、修正テイラー展開近似誤差和記憶部１２２と、積算処理部１２３と、パラメータ記憶部１２４と、フレーム重畳雑音電力推定部１２５と、フレーム重畳雑音電力記憶部１２６と、積算処理部１２７と、積算値記憶部１２８と、フレーム重畳雑音電力推定部１２９と、フレーム重畳雑音電力記憶部１３０と、二乗和算出部１３１と、テイラー展開近似誤差二乗和記憶部１３２と、加算処理部１３３と、加算値記憶部１３４と、積算処理部１３５と、積算値記憶部１３６と、除算処理部１３７と、平方根算出部１３８とを備える。
【０２２９】
このように構成される動き推定精度算出部１２では、符号化対象フレーム記憶部１０１は、符号化対象フレームを記憶する。参照フレーム記憶部１０２は、参照フレームを記憶する。
【０２３０】
フレームレート記憶部１０３は、フレームレートＦを記憶する。逆数算出部１０４は、フレームレートの逆数Ｆ-1を算出する。フレームレート逆数記憶部１０５は、逆数算出部１０４の算出したフレームレートの逆数Ｆ-1を記憶する。平方根算出部１０６は、フレームレートの逆数の平方根Ｆ-1/2を算出する。フレームレート逆数平方根記憶部１０７は、平方根算出部１０６の算出したフレームレートの逆数の平方根Ｆ-1/2を記憶する。
【０２３１】
セグメント数逆数算出部１０８は、セグメント内の画素数Ｌの逆数１／Ｌを算出する。セグメント数逆数記憶部１０９は、セグメント数逆数算出部１０８の算出した１／Ｌを記憶する。加算／減算処理部１１０は、１からセグメント数逆数算出部１０８の算出した１／Ｌを減算した値（１−１／Ｌ）を算出する。乗数パラメータ記憶部１１１は、加算／減算処理部１１０の算出した乗数パラメータ（１−１／Ｌ）を記憶する。
【０２３２】
画素間差分値算出部１１２は、参照フレームにおける隣接画素間の差分値を算出する。画素間差分値記憶部１１３は、画素間差分値算出部１１２の算出した隣接画素間差分値を記憶する。二乗和算出部１１４は、画素間差分値算出部１１２の算出した隣接画素間差分値の二乗和を算出する。
【０２３３】
積算処理部１１５は、二乗和算出部１１４の算出した隣接画素間差分値の二乗和と定数パラメータとを乗算することで、式（３４）で定義されるモデルパラメータα1'を算出する。パラメータ記憶部１１６は、積算処理部１１５などの必要とする定数パラメータを記憶する。画素間差分値二乗和記憶部１１７は、積算処理部１１５の算出したモデルパラメータα1'を記憶する。
【０２３４】
積算処理部１１８は、積算処理部１１５の算出したモデルパラメータα1'と逆数算出部１０４の算出したフレームレートの逆数Ｆ-1とを乗算することで、式（５５）に記述されるα1'Ｆ-1を算出する。
【０２３５】
テイラー展開近似誤差算出部１１９は、フレーム間予測誤差に対するテイラー展開の近似誤差を算出する。テイラー展開近似誤差記憶部１２０は、テイラー展開近似誤差算出部１１９の算出したテイラー展開の近似誤差を記憶する。
【０２３６】
積算値加算処理部１２１は、テイラー展開近似誤差算出部１１９の算出したテイラー展開の近似誤差と画素間差分値算出部１１２の算出した隣接画素間差分値との積の和を算出する。修正テイラー展開近似誤差和記憶部１２２は、積算値加算処理部１２１の算出値（修正テイラー展開近似誤差と称している）を記憶する。
【０２３７】
積算処理部１２３は、積算値加算処理部１２１の算出した修正テイラー展開近似誤差と定数パラメータと平方根算出部１０６の算出したＦ-1/2とを乗算することで、式（５５）に記述されるα2'Ｆ-1/2を算出する。パラメータ記憶部１２４は、積算処理部１２３の必要とする定数パラメータを記憶する。
【０２３８】
フレーム重畳雑音電力推定部１２５は、符号化対象フレームと参照フレームとを入力として、原信号に重畳する雑音電力の推定値と補間フィルタ通過後の原信号に重畳する雑音電力の推定値との和から導出されるモデルパラメータα3'を推定する。フレーム重畳雑音電力記憶部１２６は、フレーム重畳雑音電力推定部１２５の推定したモデルパラメータα3'を記憶する。
【０２３９】
積算処理部１２７は、フレーム重畳雑音電力推定部１２５の推定したモデルパラメータα3'とフレームレート記憶部１０３の記憶するフレームレートＦとを乗算することで、式（５５）に記述されるα3'Ｆを算出する。積算値記憶部１２８は、積算処理部１２７の算出したα3'Ｆを記憶する。
【０２４０】
フレーム重畳雑音電力推定部１２９は、符号化対象フレームと参照フレームとを入力として、画素値の補間に伴う誤差電力の推定値と参照信号の量子化に伴う誤差電力の推定値との和から導出されるモデルパラメータα4 を推定する。フレーム重畳雑音電力記憶部１３０は、フレーム重畳雑音電力推定部１２９の推定したモデルパラメータα4 を記憶する。
【０２４１】
二乗和算出部１３１は、テイラー展開近似誤差算出部１１９の算出したテイラー展開近似誤差の二乗和を算出することでモデルパラメータα5 を算出する。テイラー展開近似誤差二乗和記憶部１３２は、二乗和算出部１３１の算出したモデルパラメータα5 を記憶する。
【０２４２】
加算処理部１３３は、積算処理部１１８の算出したα1'Ｆ-1と、積算処理部１２３の算出したα2'Ｆ-1/2と、積算処理部１２７の算出したα3'Ｆと、フレーム重畳雑音電力推定部１２９の算出したα4 と、二乗和算出部１３１の算出したα5 とを加算することで、式（５５）に示す算出式の平方根中の分子の値であるα1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 を算出する。加算値記憶部１３４は、加算処理部１３３の算出したα1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 を記憶する。
【０２４３】
積算処理部１３５は、画素間差分値二乗和記憶部１１７の記憶するα1'と、パラメータ記憶部１１６の記憶する定数パラメータκ1'と、乗数パラメータ記憶部１１１の記憶する（１−１／Ｌ）とを乗算することで、式（５５）に示す算出式の平方根中の分母の値である（１−１／Ｌ）α1'κ1'を算出する。積算値記憶部１３６は、積算処理部１３５の算出した（１−１／Ｌ）α1'κ1'を記憶する。
【０２４４】
除算処理部１３７は、加算処理部１３３の算出値を積算処理部１３５の算出値で除算することで、
（α1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 ）／((１−１／Ｌ）α1'κ1'）
を算出する。
【０２４５】
平方根算出部１３８は、除算処理部１３７の算出した
（α1'Ｆ-1＋α2'Ｆ-1/2＋α3'Ｆ＋α4 ＋α5 ）／((１−１／Ｌ）α1'κ1'）
の平方根を算出することで、式（５５）に従って、  歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ* （Ｆ）を算出する。
【０２４６】
このようにして、動き推定精度算出部１２は、この図５に示す装置構成に従って、図２〜図４のフローチャートを実行することで、フレームレートＦ及び開口率κが与えられた場合に、式（５５）に従って、歪み量を一定（量子化ステップ幅を固定）とした場合の符号量を最小化する動き推定精度δ* （Ｆ）を算出するのである。
【産業上の利用可能性】
【０２４７】
本発明は、非整数画素精度の動き推定を行うフレーム間予測を伴う映像符号化に適用できるものであり、本発明によれば、フレームレート及び開口率が与えられた場合に、歪み量を一定とした場合の符号量を最小化する動き推定精度を推定することができるようになる。
【図面の簡単な説明】
【０２４８】
【図１】本発明の映像符号化装置の装置構成図である。
【図２】動き推定精度算出部の実行するフローチャートである。
【図３】動き推定精度算出部の実行するフローチャートである。
【図４】動き推定精度算出部の実行するフローチャートである。
【図５】動き推定精度算出部の装置構成図である。
【符号の説明】
【０２４９】
１０１  符号化対象フレーム記憶部
１０２  参照フレーム記憶部
１０３  フレームレート記憶部
１０４  逆数算出部
１０５  フレームレート逆数記憶部
１０６  平方根算出部
１０７  フレームレート逆数平方根記憶部
１０８  セグメント数逆数算出部
１０９  セグメント数逆数記憶部
１１０  加算／減算処理部
１１１  乗数パラメータ記憶部
１１２  画素間差分値算出部
１１３  画素間差分値記憶部
１１４  二乗和算出部
１１５  積算処理部
１１６  パラメータ記憶部
１１７  画素間差分値二乗和記憶部
１１８  積算処理部
１１９  テイラー展開近似誤差算出部
１２０  テイラー展開近似誤差記憶部
１２１  積算値加算処理部
１２２  修正テイラー展開近似誤差和記憶部
１２３  積算処理部
１２４  パラメータ記憶部
１２５  フレーム重畳雑音電力推定部
１２６  フレーム重畳雑音電力記憶部
１２７  積算処理部
１２８  積算値記憶部
１２９  フレーム重畳雑音電力推定部
１３０  フレーム重畳雑音電力記憶部
１３１  二乗和算出部
１３２  テイラー展開近似誤差二乗和記憶部
１３３  加算処理部
１３４  加算値記憶部
１３５  積算処理部
１３６  積算値記憶部
１３７  除算処理部
１３８  平方根算出部
【図１】
0004785890.tif 000049
【図２】
0004785890.tif 000050
【図３】
0004785890.tif 000051
【図４】
0004785890.tif 000052
【図５】
0004785890.tif 000053