(57)【要約】【課題】動きベクトルが真の動きの変位量と乖離していないかどうかを示す動きベクトルの信頼度を得る。【解決手段】動き推定部１１１で動き推定して求めた動きベクトルの信頼度を算出するため，時間的逆方向動き推定部１１３では，推定された被参照ブロックに対して，動き推定部１１１での動き推定とは時間的逆方向となる現フレームからの動き推定を行い，信頼度判定動きベクトルを求める。動きベクトル信頼度値算出部１１５は，動き推定部１１１で求めた動きベクトルと，時間的逆方向動き推定部１１３で求めた信頼度判定動きベクトルとを照合することにより，整合性の度合いを求めて動きベクトルの信頼度とする。【選択図】図５
2008016903.tif 000002
【特許請求の範囲】
【請求項１】
動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが，撮影対象の実際の動きにどの程度対応しているかを示す，動きベクトルの信頼度を算出する動きベクトル信頼度測定方法であって，
処理対象フレームにおける動きベクトル検出対象ブロックに対して，被参照フレームからの動き推定を行う過程と，
前記動き推定に基づき，前記動きベクトル検出対象ブロックにおける動きベクトルを算出する過程と，
前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して，前記処理対象フレームからの動き推定を行う過程と，
前記処理対象フレームからの動き推定に基づき，前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する過程と，
前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから，あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って，動きベクトルの信頼度を算出する過程とを有する
ことを特徴とする動きベクトル信頼度測定方法。
【請求項２】
動画像における撮影対象の動きの激しさに応じて各フレームを，動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定方法であって，
判定対象フレームの各ブロックについて請求項１記載の動きベクトル信頼度測定方法によって，動きベクトルの信頼度を算出する過程と，
算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により，前記各ブロックの動きベクトルを，信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する過程と，
前記分類した結果に基づき，前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し，該割合が所定の閾値より大きいか否かによって，前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する過程とを有する
ことを特徴とする動フレーム判定方法。
【請求項３】
動画像を符号化する動画像符号化方法であって，
請求項２記載の動フレーム判定方法を用いて，各フレームを動きの激しいフレームとそれ以外のフレームとに分類する過程と，
前記分類した結果に基づき，符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める過程とを有する
ことを特徴とする動画像符号化方法。
【請求項４】
動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが，撮影対象の実際の動きにどの程度対応しているかを示す，動きベクトルの信頼度を算出する動きベクトル信頼度測定装置であって，
処理対象フレームにおける動きベクトル検出対象ブロックに対して，被参照フレームからの動き推定を行う手段と，
前記動き推定に基づき，前記動きベクトル検出対象ブロックにおける動きベクトルを算出する手段と，
前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して，前記処理対象フレームからの動き推定を行う手段と，
前記処理対象フレームからの動き推定に基づき，前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する手段と，
前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから，あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って，動きベクトルの信頼度を算出する手段とを備える
ことを特徴とする動きベクトル信頼度測定装置。
【請求項５】
動画像における撮影対象の動きの激しさに応じて各フレームを，動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定装置であって，
判定対象フレームの各ブロックについて請求項４記載の動きベクトル信頼度測定装置によって，動きベクトルの信頼度を算出する手段と，
算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により，前記各ブロックの動きベクトルを，信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する手段と，
前記分類した結果に基づき，前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し，該割合が所定の閾値より大きいか否かによって，前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する手段とを備える
ことを特徴とする動フレーム判定装置。
【請求項６】
動画像を符号化する動画像符号化装置であって，
請求項５記載の動フレーム判定装置を用いて，各フレームを動きの激しいフレームとそれ以外のフレームとに分類する手段と，
前記分類した結果に基づき，符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める手段とを備える
ことを特徴とする動画像符号化装置。
【請求項７】
動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが，撮影対象の実際の動きにどの程度対応しているかを示す，動きベクトルの信頼度を算出する動きベクトル信頼度測定方法を，コンピュータに実行させめるための動きベクトル信頼度測定プログラムであって，
処理対象フレームにおける動きベクトル検出対象ブロックに対して，被参照フレームからの動き推定を行う処理と，
前記動き推定に基づき，前記動きベクトル検出対象ブロックにおける動きベクトルを算出する処理と，
前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して，前記処理対象フレームからの動き推定を行う処理と，
前記処理対象フレームからの動き推定に基づき，前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する処理と，
前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから，あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って，動きベクトルの信頼度を算出する処理とを，
コンピュータに実行させるための動きベクトル信頼度測定プログラム。
【請求項８】
動画像における撮影対象の動きの激しさに応じて各フレームを，動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定方法を，コンピュータに実行させるための動フレーム判定プログラムであって，
判定対象フレームの各ブロックについて請求項１記載の動きベクトル信頼度測定方法によって，動きベクトルの信頼度を算出する処理と，
算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により，前記各ブロックの動きベクトルを，信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する処理と，
前記分類した結果に基づき，前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し，該割合が所定の閾値より大きいか否かによって，前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理とを，
コンピュータに実行させるための動フレーム判定プログラム。
【請求項９】
動画像を符号化する動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムであって，
請求項２記載の動フレーム判定方法を用いて，各フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理と，
前記分類した結果に基づき，符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める処理とを，
コンピュータに実行させるための動画像符号化プログラム。
【請求項１０】
動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが，撮影対象の実際の動きにどの程度対応しているかを示す，動きベクトルの信頼度を算出する動きベクトル信頼度測定方法を，コンピュータに実行させめるための動きベクトル信頼度測定プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
処理対象フレームにおける動きベクトル検出対象ブロックに対して，被参照フレームからの動き推定を行う処理と，
前記動き推定に基づき，前記動きベクトル検出対象ブロックにおける動きベクトルを算出する処理と，
前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して，前記処理対象フレームからの動き推定を行う処理と，
前記処理対象フレームからの動き推定に基づき，前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する処理と，
前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから，あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って，動きベクトルの信頼度を算出する処理とを，
コンピュータに実行させるための動きベクトル信頼度測定プログラムを記録した記録媒体。
【請求項１１】
動画像における撮影対象の動きの激しさに応じて各フレームを，動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定方法を，コンピュータに実行させるための動フレーム判定プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
判定対象フレームの各ブロックについて請求項１記載の動きベクトル信頼度測定方法によって，動きベクトルの信頼度を算出する処理と，
算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により，前記各ブロックの動きベクトルを，信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する処理と，
前記分類した結果に基づき，前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し，該割合が所定の閾値より大きいか否かによって，前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理とを，
コンピュータに実行させるための動フレーム判定プログラムを記録した記録媒体。
【請求項１２】
動画像を符号化する動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
請求項２記載の動フレーム判定方法を用いて，各フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理と，
前記分類した結果に基づき，符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める処理とを，
コンピュータに実行させるための動画像符号化プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，動画像符号化のための技術に関し，特に動きベクトルの信頼度を算出し，動きの激しいフレームの検出を確実に行うことができるようにするための技術に関する。
【背景技術】
【０００２】
従来より，動画像の符号化において，人間の視覚特性を利用することによって符号化効率を向上させる研究がなされている。例えば，ＭＰＥＧ−２の参照ソフトウェアＴＭ５（非特許文献１参照）では，フレーム内において視覚的に劣化の目立ちにくい領域への符号量の割り当てを相対的に小さくすることで，符号化効率の向上を図っている。具体的には，空間方向のアクティビティを測定し，アクティビティが大きいところの量子化パラメータを相対的に大きくする，画面内領域に対する量子化パラメータの適応処理を行っている。
【０００３】
また，特許文献１に記載された高能率動画像符号化方式では，符号化の前段に空間フィルタを置き，入力動画像信号の動き量に応じて解像度を制御し，視覚的な劣化を最小限に抑えながら情報を削減するため，動きベクトルのノルムから動き量を算出し，動き量の値に応じて２次元空間フィルタにより空間解像度を制御することを行っている。
【０００４】
なお，本発明の適用対象となる基本的な符号化処理の技術が記載された文献としては，非特許文献１の他に，例えばＨ．２６４の参照ソフトウェアＪＭ（非特許文献２，３参照）などがある。
【特許文献１】特開平６−６２３９２号公報
【非特許文献１】Test Model 5，ISO/IEC JTC1/SC29/WG11，MPEG93/457
【非特許文献２】Text Description of Joint Model Reference Encoding Methods and Decoding Conceament Methods Joint Video Team of ISO/IEC MPEG and ITU-T VCEG
【非特許文献３】“Revised H.264/MPEG-4 AVC Reference Software Manual”，ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6 ，October ，2005
【発明の開示】
【発明が解決しようとする課題】
【０００５】
人間が時間方向に持つ視覚特性の一つとして，時間マスキング効果が知られている。高速のカメラパンなどによって生成される人間の目で追うことができないほど動きの激しいシーンは，通常のシーン（目で動きを追うことができるシーン）に比べて，ボケやノイズという画質劣化が目立ちにくい。つまり，符号化によって生じる原信号との誤差の影響も，動きの激しいシーンでは相対的に劣化として知覚されにくい。これは，時間マスキング効果を利用することで，効率的な符号量削減が見込めることを示唆している。
【０００６】
しかしながら，前述した非特許文献１のＴＭ５では，人間が空間方向に持つ視覚特性は利用されているものの，時間方向の視覚特性の利用はなされておらず，符号化効率の向上に改良の余地を残す。
【０００７】
また，前述した特許文献１の動画像符号化方式では，動きベクトルのノルムから一意的に決定した動き量に応じて，入力動画像信号の解像度を制御することを行っているが，動きベクトルが必ずしも実際の撮像対象の真の動きを表しているとは限らないため，視覚的な劣化を引き起こしたり，適切な発生符号量の削減ができない場合がある。
【０００８】
すなわち，時間マスキング効果を有効に活用するためには，シーケンス中の動きの激しいシーンを正確に検出する必要がある。しかしながら，動きの激しいシーンでは，ブロックマッチング等により推定される変位量は，真の変位量から乖離する場合が多く，単純に推定変位量を用いたのでは，その検出は難しい。
【０００９】
本発明はかかる事情に鑑みてなされたものであって，動きベクトルが真の動きの変位量と乖離しているかどうかを示す動きベクトルの信頼度を取得し，その動きベクトルの信頼度の情報をもとにシーケンス中のフレームを動きの激しいフレーム（以下，動フレームという）であるか否かの２つに自動分類し，その分類結果に応じて各フレームに対する符号化の処理方式もしくは符号化処理に用いるパラメータの適応制御を施す動画像符号化器の設計法を確立することを目的とする。
【課題を解決するための手段】
【００１０】
［処理概要］
本発明の処理の概要を示す。本発明では，シーケンス中のフレームを「動フレーム」と「それ以外のフレーム」の２つに分類し，動フレームと判定されたフレームに対しては，動フレームではないフレームに比べて，より符号量削減に重きを置いた処理を行う。
【００１１】
フレームの分類には，フレーム間の動き推定により算出される動きベクトルが実際の変位量を反映しているかどうかを示す情報，つまり，その動きベクトルの信頼度を示す情報を利用する。動フレームにおいては，推定された変位量が真の変位量と乖離する場合が多い。そこで，１フレーム内において信頼度の低い動きベクトルを算出するブロックが，ある一定個数以上検出された場合には，そのフレームは動フレームとみなす。
【００１２】
動きベクトルの信頼度は，フレーム間の双方向の動き推定結果を用いて算出する。該ブロックにおける動き推定により算出した動きベクトルと，推定された被参照ブロックに対して前の動き推定とは時間的逆方向となる該フレームからの動き推定を行うことにより算出した動きベクトルとを照合することにより，動きベクトルの信頼度を算出する。
【００１３】
上記のようなフレーム間の双方向の動き推定により算出される両動きベクトルが大きく異なる場合，その動きベクトルは真の変位量から乖離している可能性が高いと考えられる。そこで，この両動きベクトルの整合度合いを，真の変位量をどれだけ反映できているかを示す評価尺度として解釈し，動きベクトルの信頼度として定義する。
【００１４】
すなわち，本発明に係る動きベクトル信頼度測定方法は，処理対象ブロックに対する動き推定により算出された動きベクトルの入力に対して，前記動き推定で推定された被参照ブロックを動き推定対象ブロックとして，前記動き推定とは時間的に逆方向に再度動き推定を行い導出された動きベクトルとの整合度によって，動きベクトルの信頼度を定めることを特徴とする。
【００１５】
また，本発明に係る動フレーム判定方法は，各ブロックにおける動きベクトルが真の変位量を反映しているかどうかを示す動きベクトルの信頼度の値の入力に対して，フレーム全体に対する信頼度の低い動きベクトルを算出した領域の割合に応じて，該フレームが動きの激しいフレームであるか否かを判定することを特徴とする。その動きベクトルの信頼度の算出方法として，前記動きベクトル信頼度測定方法により定めた信頼度を用いる。
【００１６】
また，本発明に係る動画像符号化方法は，映像信号の入力に対して，各フレームにおいて動きの激しいフレームであるか否かの判定処理を行い，その判定結果に従って，符号化の処理方式もしくは符号化処理に用いるパラメータをフレームごとに適応的に定めることを特徴とする。動きの激しいフレームであるか否かの判定には，前記動フレーム判定方法による判定結果を用いる。
【発明の効果】
【００１７】
本発明により，動きベクトルが真の動きの変位量と乖離しているかどうかを示す動きベクトルの信頼度の情報を得ることができ，正しい動きの推定が可能になる。これにより，例えば目で追うことのできないほど動きの激しいフレーム（動フレーム）の検出が可能になる。例えば動画像符号化に本発明を適用した場合，本発明を適用しない通常の符号化の場合と比較して，主観画質を劣化させることなく，符号量を削減することができる。
【発明を実施するための最良の形態】
【００１８】
以降，本発明を用いた符号化処理を詳説する。
【００１９】
［処理詳細］
図１は，フレーム間における双方向の動き予測のイメージ図である。また，図２は，信頼度算出対象の動きベクトルとその信頼度判定動きベクトルのイメージ図である。
【００２０】
はじめに，本発明の処理の説明に使用する記号を整理する。動フレームか否かの判定対象となっている時間ｔ0 のフレームをＦt0とおく。また，フレームＦt0の動き推定の対象となる時間ｔ1 のフレーム（被参照フレーム）をＦt1とおく。フレームＦt に含まれるある１つのＮ×Ｍサイズの矩形ブロックの中央座標をｐとしたとき，そのブロックをＢp,t と表す。
【００２１】
フレームＦt1からの動きベクトルをフレームＦt0の各ブロックについて算出する。動きベクトルの算出方法は，外部より与えられる。ブロックＢp,t0を動き推定対象ブロックとしたときの被参照ブロックであって，フレームＦt1において中央座標ｐ１を持つブロックをＢp1,t1 とする。このｐとｐ１との差分が，ブロックＢp,t0における動きベクトルｖp,t0となる。
【００２２】
〔動きベクトルの信頼度の算出〕
まず，前述した動き推定によって導出された被参照ブロックＢp1,t1 を動き推定対象ブロックとして，時間ｔ0 からの動き推定を行う。つまり，前の動き推定とは時間的に逆方向に再度動き推定を行う。この推定により，フレームＦt0において被参照ブロックとして推定された中央座標ｐ２を持つブロックをＢp2,t0 とおく。ここで算出される動きベクトルｖ′p1,t1 の逆ベクトル−ｖ′p1,t1 を，信頼度判定動きベクトルと呼ぶ。
【００２３】
動きベクトルｖp,t0とその動きベクトルの信頼度判定動きベクトル−ｖ′p1,t1 との整合度合いを，動きベクトルｖp,t0の信頼度として定義する。ｃvp,t0 を動きベクトルｖp,t0の信頼度としたとき，ｃvp,t0 は，外部より与えられる信頼度を算出するための関数，もしくは条件式ｆを用いて，
ｃvp,t0 ＝ｆ（ｃvp,t0 ，−ｖ′p1,t1 ）                            （１）
として表す。
【００２４】
＜ｆの一例＞
関数もしくは条件式ｆの一例としては，両者の動きベクトルの内積
ｆ（ｃvp,t0 ，−ｖ′p1,t1 ）＝ｖp,t0・（−ｖ′p1,t1 ）            （２）
または，両者の動きベクトルを座標ベクトルとしたときの座標間の距離，
ｆ（ｃvp,t0 ，−ｖ′p1,t1 ）＝｜ｖp,t0＋ｖ′p1,t1 ｜              （３）
が考えられる。
【００２５】
〔動フレームの判定方法〕
前述のとおり，動フレームでは信頼度の低い動きベクトルが多くのブロックで検出される。この性質を利用することにより，動フレームの判定を行う。ｉ番目のブロックの動きベクトルの信頼度をｃi とし，信頼度が低いか否かを決定する信頼度ｃのしきい値をαとすると，
ｃi ＜α                                                            （４）
を満たすブロックは，信頼度の低い動きベクトルを検出したブロックとみなす。しきい値αは外部より与えられる。
【００２６】
動フレームか否かの判定は，フレーム内の総ブロック数に対する，信頼度の低い動きベクトルを検出したブロック数の比率で決定する。フレーム内の総ブロック数をＭ，信頼度が低い動きベクトルを検出したブロック数をｍとしたときの両者の比率，
ｒ＝ｍ／Ｍ                                                        （５）
の値が，
ｒ＞β                                                            （６）
を満たすフレームが動フレームとして判定される。ここでβは，動フレームとして判定するブロック数比率のしきい値であり，外部より与えられる。
【００２７】
〔符号化処理におけるフレーム適応制御〕
動フレームと判定されたフレームに対しては，判定されていないフレームに比べて，相対的に符号量の削減に重きを置いた処理を施すことで，符号化効率の向上を図る。符号量削減のための適応制御の例を以下に示す。
【００２８】
・あらかじめ動フレームに対してのみローパスフィルタを施し，空間高周波成分をカットする（プレフィルタ処理）
・動フレームのみ，予測残差信号に対する量子化パラメータを大きくする（量子化パラメータ調節）
［処理の流れ］
本発明の処理の実施形態について，図３を参照して説明する。
【００２９】
ステップＳ１：フレーム画像信号を読み込み，それをあらかじめ定められたサイズの矩形ブロックに分割し，そのブロック信号をレジスタに書き込む。
【００３０】
ステップＳ２：該フレームにおけるブロック信号を読み込み，例えばＨ．２６４符号化参照ソフトウェアＪＭ（非特許文献２参照）に従った被参照フレームからの動き推定を行い，被参照フレームにおける被参照ブロックを推定する。
【００３１】
ステップＳ３：ステップＳ２で出力された被参照フレームにおける被参照ブロックの座標情報を入力として，該ブロックにおける動きベクトルを算出し，そのベクトル情報をレジスタに書き込む。
【００３２】
ステップＳ４：ステップＳ３で出力された動きベクトルを入力として，その動きベクトルの信頼度を算出し，その値をレジスタに書き込む。本処理の詳細は図４に示す（後述）。
【００３３】
ステップＳ５：すべてのブロックにおいて動きベクトルの信頼度の算出が完了したか否かの判定処理を行い，真の場合にはステップＳ６の処理に移り，偽の場合にはステップＳ２の処理に戻って，同様に次のブロックに対する動きベクトルの信頼度の算出を行う。
【００３４】
ステップＳ６：各ブロックの動きベクトルの信頼度の値を入力として，外部より与えられる関数または条件式（例えば，式５および式６など）に従って該フレームが動フレームであるか否かの判定処理を行い，その判定結果を示すフラグを出力し，符号化処理の入力とする。
【００３５】
ステップＳ４の処理の詳細，すなわち動きベクトルの信頼度の算出処理方法を，図４を用いて説明する。
【００３６】
ステップＳ４１：ステップＳ２の処理によって推定された被参照フレームの被参照ブロックに対して，前の動き推定とは時間的逆方向となる該フレームからの動き推定を行い，該フレームにおける被参照ブロックを推定し，そのブロックの座標情報を出力する。
【００３７】
ステップＳ４２：ステップＳ４１で出力された該フレームにおける被参照ブロックの座標情報を入力として，該フレームにおける被参照ブロックからの動きベクトル（信頼度判定動きベクトル）を算出し，その情報をレジスタに書き込む。
【００３８】
ステップＳ４３：ステップＳ３で出力された動きベクトル，およびステップＳ４２で出力された信頼度判定動きベクトルの情報を入力として，ステップＳ３で出力された動きベクトルの信頼度を，外部より与えられる関数または条件式に従って算出し，その値をレジスタに書き込む。
【００３９】
［処理装置］
本発明における動フレーム判定装置の構成例を図５に示す。動フレーム判定装置１００は，ブロック分割部１０１，ブロック信号記憶部１０２，動きベクトル信頼度測定装置１１０，動きベクトル信頼度値記憶部１０３，動フレーム判定部１０４，動フレーム判定フラグ記憶部１０５を備える。動きベクトル信頼度測定装置１１０は，動き推定部１１１，動きベクトル記憶部１１２，時間的逆方向動き推定部１１３，信頼度判定動きベクトル記憶部１１４，動きベクトル信頼度値算出部１１５を備える。各部は，次のような処理を行う。
【００４０】
ブロック分割部１０１は，フレーム画像信号を入力として，それをあらかじめ定められたサイズの矩形ブロックに分割し，そのブロック信号をブロック信号記憶部１０２に書き込む。
【００４１】
動きベクトル信頼度測定装置１１０の動き推定部１１１は，ブロック信号記憶部１０２から該フレームにおける動き推定対象ブロック信号を読み出し，被参照フレームからの動き推定を行い，被参照フレームの被参照ブロックからの動きベクトルを算出し，その情報を動きベクトル記憶部１１２に書き込む。
【００４２】
時間的逆方向動き推定部１１３は，被参照フレームの被参照ブロックの信号を入力として，動き推定部１１１の処理とは時間的逆方向となる該フレームからの動き推定を行い，該フレームの被参照ブロックからの動きベクトル（信頼度判定動きベクトル）を算出し，その情報を信頼度判定動きベクトル記憶部１１４に書き込む。
【００４３】
動きベクトル信頼度値算出部１１５は，動きベクトル記憶部１１２および信頼度判定動きベクトル記憶部１１４から，該フレームの動き推定対象ブロック信号における両情報を読み出し，外部より与えられる関数または条件式に従って，動きベクトル記憶部１１２から読み出した動きベクトルの信頼度を算出し，その値を動きベクトル信頼度値記憶部１０３に書き込む。
【００４４】
動フレーム判定部１０４は，動きベクトル信頼度値記憶部１０３から該フレームにおける各ブロックの動きベクトルの信頼度を読み込み，外部より与えられる関数または条件式に従って，該フレームが動フレームであるかどうかの判定処理を行い，その判定結果を動フレーム判定フラグとして動フレーム判定フラグ記憶部１０５に出力する。この動フレーム判定フラグを符号化処理に利用する。
【００４５】
本発明における符号化装置の一例を図６に示す。図６は，フレーム信号に対するプレフィルタ処理に，図５に示した動フレーム判定装置１００より出力された動フレーム判定フラグを利用した場合の符号化装置２００の例を示している。符号化装置２００は，動フレーム判定装置１００，フィルタ強度決定部２０１，フィルタ強度記憶部２０２，フィルタ処理部２０３，フィルタ信号記憶部２０４，符号化処理部２０５を備える。
【００４６】
フィルタ強度決定部２０１は，動フレーム判定装置１００から出力された動フレーム判定フラグの値に従って，入力されるフレーム信号に対して施すプレフィルタの強度を決定し，その値をフィルタ強度記憶部２０２に書き込む。
【００４７】
フィルタ処理部２０３は，フィルタ強度記憶部２０２より，フィルタの強度パラメータを読み込み，そのパラメータに従って該フレームに対してプレフィルタ処理を施し，フィルタリングされたフレーム信号をフィルタ信号記憶部２０４に書き込む。
【００４８】
符号化処理部２０５は，フィルタ信号記憶部２０４よりフィルタリングされたフレーム信号を読み込み，符号化処理を施し，符号化ストリームを出力する。この符号化処理の一例としては，ＭＰＥＧ−２の参照ソフトウェアＴＭ５（非特許文献１）や，Ｈ．２６４の参照ソフトウェアＪＭ（非特許文献２）などが挙げられる。
【００４９】
動フレーム判定装置１００の出力である動フレーム判定フラグは，図６の符号化装置２００に示されるように，あらかじめ動フレームに対してのみローパスフィルタを施し，空間高周波成分をカットするためのプレフィルタ処理に用いることができるほか，符号化処理部２０５の量子化パラメータ制御部（図示省略）への入力とし，量子化パラメータ制御部において動フレームのみ予測残差信号に対する量子化パラメータを大きくするような量子化パラメータの調節に用いることもできる。
【００５０】
また，動フレーム判定装置１００の出力は，動画像符号化の処理以外にも次のような利用が可能である。例えば，映像の再生や編集を目的としたとき，所望のシーンを呼び出すために，区切り（チャプター）をシーンに入れる。高速のカメラパンによって映像がチェンジした部分に区切りを入れたい場合には，シーケンス内の高速のカメラパンフレームの同定が必要になる。本発明を用いた動フレームの検出によって，上述のような高速のカメラパンフレームの同定が可能になる。
【００５１】
また，上記動きベクトル信頼度測定方法によって求めた動きベクトルの信頼度は，各フレームを動きの激しいフレームであるか否かに分類する場合に限らず，次のようなケースにも利用可能である。例えばロボットの歩行において，他物体との衝突を回避するために，動きベクトル情報を用いて動物体の検出を行うことが考えられている。これは，ブロックマッチングによって検出される動きベクトルが，実際の物体の動きを反映しているという前提に立ったものであるため，動きベクトルの信頼度が低い場合には，誤検出を招く。上記動きベクトル信頼度測定方法によって得られた動きベクトルの信頼度情報を利用すれば，信頼度の高い動きベクトルだけを用いて動物体の検出を試みることができ，誤検出の可能性は低減される。
【００５２】
以上の動きベクトル信頼度測定方法，動フレーム判定方法および動画像符号化方法の処理は，コンピュータとソフトウェアプログラムとによって実現することもでき，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００５３】
【図１】フレーム間における双方向の動き予測のイメージ図である。
【図２】信頼度算出対象の動きベクトルとその信頼度判定動きベクトルのイメージ図である。
【図３】本発明の実施形態の処理フローチャートである。
【図４】動きベクトルの信頼度の算出処理方法を示す処理フローチャートである。
【図５】動フレーム判定装置の構成例を示す図である。
【図６】動フレーム判定装置を用いた符号化装置の構成例を示す図である。
【符号の説明】
【００５４】
１００  動フレーム判定装置
１０１  ブロック分割部
１０２  ブロック信号記憶部
１０３  動きベクトル信頼度値記憶部
１０４  動フレーム判定部
１０５  動フレーム判定フラグ記憶部
１１０  動きベクトル信頼度測定装置
１１１  動き推定部
１１２  動きベクトル記憶部
１１３  時間的逆方向動き推定部
１１４  信頼度判定動きベクトル記憶部
１１５  動きベクトル信頼度値算出部
２００  符号化装置
２０１  フィルタ強度決定部
２０２  フィルタ強度記憶部
２０３  フィルタ処理部
２０４  フィルタ信号記憶部
２０５  符号化処理部
【図１】
2008016903.tif 000003
【図２】
2008016903.tif 000004
【図３】
2008016903.tif 000005
【図４】
2008016903.tif 000006
【図５】
2008016903.tif 000007
【図６】
2008016903.tif 000008