(57)【要約】【課題】動画像上の領域の符号化フレームレートを制御し，画質を保持しながら圧縮率を向上させる映像データのプレフィルタリングを実現する。【解決手段】入力したフレーム画像を解析して動きの速い領域ａと動きの遅い領域ｂを検出し，画像の品質が同等となるように動きの遅い領域ｂのフレームレートを低下させ，フレームレートを低下することによって間引かれるフレームについては，動きの遅い領域ｂに対する補完画像データを，間引かれるフレーム以外のフレームの画像データから生成し，その補完画像データを，間引かれるフレームに対応する元のフレームの該当する領域の画像データと置き換えることにより，元のフレームレートに戻して出力する。【選択図】図１
2011030034.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象となる映像データをプレフィルタリングする映像符号化プレフィルタリング方法であって，
入力した映像データのフレーム画像上の動きを画素毎または複数画素からなるブロック毎に解析し，フレームレートを低下させることができる領域を決定するステップと，
前記領域に対するフレームレート低下後のフレームレートを決定するステップと，
前記領域に対するフレームレートを低下させたときに，前記領域の画像の符号化を省略して他のデータで補完する補完フレームを決定するステップと，
前記フレームレートを低下させて符号化を省略する領域に対して，元のフレームレートに戻すために領域を補完する補完画像データを，前記補完フレームの各々について前記補完フレーム以外のフレームの画像データを用いて生成するステップと，
生成した補完画像データを，前記補完フレームにおける該当する前記領域の元の画像データと置き換えて，元のフレームレートに戻した映像データを出力するステップとを有する
ことを特徴とする映像符号化プレフィルタリング方法。
【請求項２】
請求項１記載の映像符号化プレフィルタリング方法において，
前記補完画像データを生成するステップでは，前記補完フレーム以外のフレームの画像データから動き予測を用いて補完画像データを生成し，その予測方式を示すデータを符号化時における参照情報として出力する
ことを特徴とする映像符号化プレフィルタリング方法。
【請求項３】
請求項１または請求項２記載の映像符号化プレフィルタリング方法において，
前記フレームレートを低下させることができる領域を決定するステップでは，さらにその領域に対してフレームレートを低下させるフレームの時間方向の範囲を決定する
ことを特徴とする映像符号化プレフィルタリング方法。
【請求項４】
符号化対象となる映像データをプレフィルタリングする映像符号化プレフィルタリング装置であって，
入力した映像データのフレーム画像上の動きを画素毎または複数画素からなるブロック毎に解析し，フレームレートを低下させることができる領域を決定する手段と，
前記領域に対するフレームレート低下後のフレームレートを決定する手段と，
前記領域に対するフレームレートを低下させたときに，前記領域の画像の符号化を省略して他のデータで補完する補完フレームを決定する手段と，
前記フレームレートを低下させて符号化を省略する領域に対して，元のフレームレートに戻すために領域を補完する補完画像データを，前記補完フレームの各々について前記補完フレーム以外のフレームの画像データを用いて生成する手段と，
生成した補完画像データを，前記補完フレームにおける該当する前記領域の元の画像データと置き換えて，元のフレームレートに戻した映像データを出力する手段とを備える
ことを特徴とする映像符号化プレフィルタリング装置。
【請求項５】
請求項４記載の映像符号化プレフィルタリング装置において，
前記補完画像データを生成する手段は，前記補完フレーム以外のフレームの画像データから動き予測を用いて補完画像データを生成し，その予測方式を示すデータを符号化時における参照情報として出力する
ことを特徴とする映像符号化プレフィルタリング装置。
【請求項６】
請求項４または請求項５記載の映像符号化プレフィルタリング装置において，
前記フレームレートを低下させることができる領域を決定する手段は，さらにその領域に対してフレームレートを低下させるフレームの時間方向の範囲を決定する
ことを特徴とする映像符号化プレフィルタリング装置。
【請求項７】
請求項１から請求項３までのいずれか１項に記載された映像符号化プレフィルタリング方法を，コンピュータに実行させるための映像符号化プレフィルタリングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像符号化の対象となる画像をプレフィルタリングする映像符号化プレフィルタリング方法，装置，プログラムに関するもので，特に，動画像上の領域の符号化フレームレートを制御し，画質を保持しながら圧縮率を向上させる方法に関するものである。
【背景技術】
【０００２】
動画像データは，一定間隔の時刻に対応する静止画像の系列として表現され，静止画像上の画素間の相関およびそれぞれ異なる時刻に対応する複数の静止画像上の画素の間の相関を利用してデータ量を削減する。
【０００３】
単一の動画像を構成する静止画像の間隔は一定であり，かつ，各時刻の静止画像全体が符号化の対象となる。この場合，画像上の見かけの動きが遅い領域は，静止画像の連続としてみた場合に動きがより滑らかであるため，動画像を構成する静止画像の品質が同等であれば，動きの遅い領域の方が動きの速い領域よりも動画像としての品質は良くなる。
【０００４】
下記の非特許文献１，非特許文献２で示されているとおり，動画像の品質を一定とした場合，単位時間当たりのフレーム数（フレームレート）とフレーム一枚あたりの符号量，つまりビット数はトレードオフの関係にあり，一方を増加させると，他方が減少する。すなわち，画像上の異なる二つの領域をフレーム単位で同等の品質で符号化するのに必要な符号量が同一の場合，その二つの領域の見かけの動きの速度が異なれば，見かけの動きが小さい方が動画像としての品質は高いことになる。つまり，見かけの動きの速さによって品質が異なる。
【０００５】
画像の品質を全体として向上させる必要があり，画像の品質が，画像全体における品質のもっとも低い領域の値で決定される場合，上記の見かけの動きの遅い部分の静止画像の品質は見かけの動きの速い部分の品質まで落とすことができ，現在は余分の符号量が割り当てられていることになる。逆に，画像全体の品質を見かけの動きの遅い領域に合わせる場合には，動きの速い領域の符号量のみが足りないことになる。
【０００６】
以上のことから，二つの領域の動画像の品質を等しくなるように近づけるためには，単位時間当たりのフレーム数（フレームレート）を変更すればよい。
【０００７】
ＭＰＥＧ−４やＨ．２６４におけるスキップトマクロブロックは，あるフレームのマクロブロックの情報を送らずに，他のフレームの同位置のブロックや動き補償ベクトルによる予測値そのままの値を用いて，通常の画像の符号化を省略する。このため，画像上の領域のフレームレートの制御にも関連するが，この方法は，見かけの動きの速度による画像のシーンの滑らかさに対する品質に基づいたものではなく，見かけの速度によらず，予測ベクトルによる予測精度が一定以上であればマクロブロックがスキップされる。この場合，見かけの速度が大きい領域のマクロブロックが対象となってその領域の動きの滑らかさが下がる場合や，見かけの速度の遅い領域の予測精度が悪いためにスキップされず，フレームレートを低下させられない場合がある。以上の点から，一定の画質を与えるためのフレームレートの制御には利用できない。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】山形純一，田中伸一，吉田俊之，「バッファ制御による符号化動画像の画質平坦化について」，電子情報通信学会，画像符号化シンポジウムＰＣＳＪ２００７，Ｐ−２．１１
【非特許文献２】田中伸一，宮川大五郎，吉田俊之，筑波健史，野村敏男，「ＭＯＳに基づく動画像の画質制御とビットレート削減効果について」，電子情報通信学会，画像符号化シンポジウムＰＣＳＪ２００８，Ｐ−２．１１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上のように，ＭＰＥＧ−４やＨ．２６４の符号化におけるスキップトマクロブロックの機能を用いて，動きの遅いシーンや領域のフレームレートを低下させようとしても，スキップされるマクロブロックは動きベクトルの予測誤差の大きさによって決定されるため，見かけの動きの遅い領域に対する動き予測における誤差が大きい場合には有効にならず，画像全体の品質の平準化という観点から省略可能なフレームにおいても，符号化を省略することができない。
【００１０】
本発明はこれを解決し，見かけの速度が小さい領域のフレームレートを，動きの滑らかさが他の領域と同程度に保てる程度まで減少させることで，符号化が必要な画像の量を減少させ，符号化に必要なデータ量を減少させることを目的としている。
【００１１】
そのために，ＭＰＥＧ−４やＨ．２６４で代表される，画像の領域の符号化を一部のフレームで省略する手段を持つ符号化において，目的とする領域の符号化が該当のフレームで期待通りに符号化が省略されるように，前処理を行うプレフィルタリング技術を提供する。
【００１２】
上で述べたように，ＭＰＥＧ−４やＨ．２６４の符号化では，マクロブロックの符号化のスキップを行うが，本発明は，これらの符号化技術に対して，その際の該当する領域の各フレームの画像の動き予測の精度が高くなるように，前処理を行うプレフィルタリング技術を提供する。
【課題を解決するための手段】
【００１３】
本発明の概要は，以下のとおりである。動画像データは，一定間隔の時刻に対応する静止画像（フレーム）の系列として表現される。この時刻の間隔（フレーム間隔）が小さくなる，つまり単位時間あたりの静止画像の数（フレームレート）が増加するに従い，動画像は動きが滑らかになって品質が向上する。被写体は１フレームの間に動く距離が短いと動きが滑らかになるから，画像の動きの滑らかさは画像上の被写体の見かけの動きの速度とフレームレートに依存し，画像の動きの滑らかさを一定とした場合，必要となるフレームレートは被写体の見かけの速度に依存する。
【００１４】
本発明は，動画像上の領域ごとに見かけの動きに応じたフレームレートを設定することで，一定の品質を保ったまま少ないデータ量で動画像を符号化することを可能にし，または，同一のデータ量で，画像の品質を向上させるものである。
【００１５】
具体的には，本発明の映像符号化プレフィルタリング装置は，映像符号化の対象となる動画像をプレフィルタリングする処理を行うために，
（１）フレームレートを低下させることができる領域を決定する手段，
（２）その領域の低下後のフレームレートを決定する手段，
（３）フレームレートを低下させたときに，領域の画像の符号化を省略して他のデータで補完するフレームを決定する手段，
（４）フレームレートを低下させて符号化を省略する領域に対して，元のフレームレートに戻すために領域を補完する画像を，フレームレートを低下させて省略された各フレームについて生成する手段，
（５）前記の手段で生成した補完画像データを，その領域の該当するフレームの画像と置き換える手段，
を備える。
【００１６】
また，さらにこれに加えて，補完された領域に対応させて，その領域の値を予測する予測方法を出力する手段を持つことがある。
【００１７】
また，前記の（１）において，複数の領域を決定して，それぞれの領域に前記の（２）以降の手段を適用する構成でもよい。
【００１８】
前記の（１）の手段は，フレームを低下させることができる領域を決定するために，画像の見かけの動きの速度が一定範囲にある場所を一つの領域として決定する手段を備える。画像の動きの速度は，例えば，ＭＰＥＧにおける動き補償ベクトルの長さから測ることができる。より一般的には，対象となる画像のオプティカルフローを求めることで，領域の見かけの動きの速度を求めることができる。
【００１９】
前記の（２）の手段は，領域の画像の見かけの動きの速度の情報に基づいて低下後のフレームレートを決定する。
【００２０】
すなわち，本発明はフレームの部分領域に対して，動きの大きさによって符号化するフレームを間引くことであり，より具体的には，以下の３点を特徴としている。
・速度が小さい領域を選択する。
・選択した領域のフレーム数を速度に応じて間引く。
・間引いた部分に対して動きの予測が正確に当たる画像を補完する。
【００２１】
本発明の作用は，以下のとおりである。フレームレートを低下させることができる領域を決定する手段で，ある値までフレームレートを低下させても，その品質が人間の目にはフレームレートを低下させない他の部分と同等となる領域をあるフレームの範囲にわたって決定し，領域の低下後のフレームレートを決定する手段で，目標の品質を保持するフレームレートを決定する。このように決定されたあるフレームからあるフレームまでの領域は，そのフレームレートまでフレームレートが低下しても，人間の目には動きの滑らかさに影響がなく，目標となる品質が保持される。
【００２２】
さらに，その領域の符号化を省略するフレームを決定する手段と，領域を補完する各フレームにおける画像データを生成する手段と，補完する画像データをその領域の該当するフレームの画像と置き換える手段とによって，情報量としてはフレームレートを低下させたものと同等の動画像を，表示上は元のフレームレートで表示させるために変換した動画像を得ることができる。
【００２３】
このようにして得られた動画像は，フレームレートを低下させた領域のデータを省略されないフレーム間の関係から導くことができるため情報量が減少する。よって，本発明の出力を，あるフレームからの予測に基づいて別のフレームの符号化データ量を削減できる符号化装置で符号化した場合，他のフレームから領域の画像データを精度良く予測できるため符号量を減少させることができる。
【００２４】
また，そこで減少した符号量を，フレームまたは特にその領域を符号化するビット数に割り当てると，等しいデータ量で符号化した場合でも，画像全体またはその領域の品質を向上させることができる。
【００２５】
さらに本発明が，該当する領域の値を他のフレームから予測する予測方法を出力することによって，符号化装置においては，その出力を用いて領域の画像の予測を正確にかつ高速に行うための情報として用いることができる。
【００２６】
本発明は，動きの遅い領域のフレーム間の画像の差が小さくなる，高フレームレートの画像の場合には特に有効である。
【発明の効果】
【００２７】
本発明による映像符号化プレフィルタリング装置は，フレームレートを低下させても動きの滑らかさが低下しない領域が，符号化装置で動き予測のみで符号化可能となるため，動きの滑らかさを保持したまま，動画像データの圧縮率を向上させることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の概要を説明する図である。
【図２】本発明を具備する映像符号化装置の装置構成例を示す図である。
【図３】プレフィルタモジュールの実行する処理フローチャートである。
【図４】プレフィルタモジュール部分の装置構成例を示す図である。
【発明を実施するための形態】
【００２９】
本発明の実施形態を説明するに先立ち，本発明の基本的な考え方を，最も単純化した図１に示す例を用いて説明する。
【００３０】
入力画像信号が図１（Ａ）に示すフレームＦ１，Ｆ２，…の画像列であったとする。これらのフレームには，動きの速い領域ａと動きの遅い領域ｂとが存在する。動きの速い領域ａとは１フレームの間に被写体の動く距離が長い領域であり，動きの遅い領域ｂとは動く距離が短い領域である。フレームレートが一定の場合，動きの遅い領域ｂは動きの速い領域ａに比べて動きが滑らかになる。換言すれば，動きの遅い領域ｂについてはフレームレートが本来のフレームレートより低くても，動きの速い領域ａの画像品質と同程度に品質を保つことができると考えられる。
【００３１】
そこで，図１（Ｂ）に示すような動きの速い領域ａのフレームレートとは別に，図１（Ｃ）に示すように，動きの遅い領域ｂのフレームレートを決定する。この例では，偶数番目のフレームＦ２，Ｆ４，…を符号化の省略対象となるフレームとして，フレームレートを低下させている。
【００３２】
最終的にプレフィルタリング結果としてフレームを出力する場合には，偶数番目のフレームＦ２，Ｆ４，…の領域ｂにおける画像は，その前後のフレームの同じ領域の画像を用いて補完する。すなわち，図１（Ｄ）に示すように，フレームＦ２における領域ｂ２の画像を，直前のフレームＦ１の領域ｂ１の画像もしくは直後のフレームＦ３の領域ｂ３の画像，または領域ｂ１とｂ３の両方の画像を用いて作成した補完画像で置き換えて出力する。フレームＦ４についても同様に，領域ｂ４の画像については，前後のフレームＦ３，Ｆ５の領域ｂ３，ｂ５の画像を用いて補完する。これによって，動きの遅い領域ｂの実質的なフレームレートを低下させて，全体としての符号化効率を向上させることができるようになる。
【００３３】
図２に，本発明を具備する映像符号化装置の装置構成例を示す。映像符号化装置１は，符号化モジュール２０の前段に，見かけの動きの速度に応じて画像上の領域に対してフィルタ処理を行うプレフィルタモジュール１０を備える。
【００３４】
このプレフィルタモジュール１０は，符号化モジュール２０によって符号化する入力画像信号をプレフィルタリングするものであって，フレームレートを低下させることができる領域を決定するフレームレート低下領域決定手段１１と，その領域の低下後のフレームレートを決定する領域フレームレート決定手段１２と，フレームレートを低下させたときに，領域の画像の符号化を省略して他のデータで補完するフレームを決定する補完フレーム決定手段１３と，フレームレートを低下させて符号化を省略する領域に対して，元のフレームレートに戻すために領域を補完する画像を，フレームレートを低下させて省略された各フレームについて生成する補完画像生成手段１４と，補完画像生成手段１４により生成した補完画像データを，その領域の該当するフレームの画像と置き換える領域画像置換手段１５とを備え，領域画像置換手段１５の出力を，符号化モジュール２０の入力とする。
【００３５】
ここで，補完画像生成手段１４が補完画像を生成するときにフレーム間予測符号化における動き補償と同様な予測方式を用いて補完画像を生成した場合には，その情報を予測方式として符号化モジュール２０に通知して，符号化時に参照させるようにする実施も好適である。
【００３６】
図３に，プレフィルタモジュール１０の実行する処理フローの一例を示す。この処理フローに従って，プレフィルタモジュールの実行する処理について詳細に説明する。
【００３７】
〔ステップＳ１：フレームレートを低下させる領域とフレームの範囲の決定〕
ステップＳ１では，フレームレートを低下させる領域とフレームの範囲を決定する処理を，次のように実行する。動画像のシーンの切れ目から切れ目の間は一定の対象がカメラで撮影され，カメラの上下，左右の動き（パン，チルト）やズーム，また，シーン中にある被写体のオブジェクト自体の動きによって，画像の連続的な動きが発生する。カメラの動きのみ，または，オブジェクト自身の動きのみの場合，動画像の局所的なマッチング技術によって，撮影された画像の位置の見かけの動きの速度を容易に求めることができる。例えば，ＭＰＥＧで用いられる動きベクトルの検出方法を用いれば，矩形ブロックの動きを推定することができる。また，オプティカルフローの推定技術は，多くの手法が提案されており，これを用いれば，画素ごとの見かけの動きの速度ベクトルを求めることができる。
【００３８】
〔ステップＳ１−１：領域の抽出〕
このステップでは，まず，前述のような手法で求められた静止画像上の各位置の速度に基づいて，速度の分布が一定の範囲に入る部分を領域として抽出する。その抽出方法の例を説明する。
【００３９】
〔領域の抽出方法１〕
オプティカルフローの推定技術を用いて，各画素ｅ（ｉ，ｊ）の速度ベクトルｖ（ｉ，ｊ）を求める。ベクトルの大きさに対する閾値ｈを決めて，
｜ｖ（ｉ，ｊ）｜≦ｈ
となる画素を集めたものを，フレームレートを低下させることができる領域Ｒとする。ここで，（ｉ，ｊ）は画素の座標，｜ｖ｜はベクトルｖの大きさである。
【００４０】
〔領域の抽出方法２〕
まず，一定の面積の局所領域ごとに動きの速さを求める。画像全体をｎ×ｍ個の矩形の局所領域に分割し，局所領域を単位とする座標による位置で（ｉ，ｊ），［１≦ｉ≦ｎ，１≦ｊ≦ｍ］にある局所領域をｒ（ｉ，ｊ）と表し，その局所領域の速度の代表値を｜ｖ（ｉ，ｊ）｜と表すことにする。
【００４１】
ここで，局所領域ｒ（ｉ，ｊ）の速度の代表値ｖ（ｉ，ｊ）は，ｒ（ｉ，ｊ）に対応する画像の動きの速度から求める。｜ｖ（ｉ，ｊ）｜のとり方の一つは，前記のように，オプティカルフローから求める画素ごとの見かけの動きの速さの平均値である。
【００４２】
局所領域ｒ（ｉ，ｊ）にある画素をｅ（ｋ），［１≦ｋ≦Ｋ，ここでＫはｒ（ｉ，ｊ）の画素数］とし，画素ｅ（ｋ）の速度を｜ｖ（ｋ）｜としたとき，
｜ｖ（ｉ，ｊ）｜= ｛｜ｖ（１）｜＋｜ｖ（２）｜＋…＋｜ｖ（Ｋ）｜｝／Ｋ
と定義する。ｖ（ｉ，ｊ）は，同一の速度をもつ画素を集めてできたさらに小さな局所領域の速度を，ｒ（ｉ，ｊ）上のすべての局所領域について面積による加重平均をとったものに等しい。
【００４３】
ここで，ある閾値ｈを決めて，｜ｖ（ｉ，ｊ）｜＜ｈとなる局所領域ｒ（ｉ，ｊ）を集めたものを，フレームレートを低下させることができる領域Ｒとする。
【００４４】
〔領域の抽出方法２′〕
領域の抽出方法２において矩形の動きの速度の大きさを直接求める方法を用いてもよい。ＭＰＥＧにおける動きベクトルの算出に用いられる方法を用いて，速度を求めることができる。この場合，直接，矩形の局所領域ｒ（ｉ，ｊ）の速度ベクトルが得られるため，この大きさを｜ｖ（ｉ，ｊ）｜とすることができる。
【００４５】
矩形領域の最適な大きさは符号化の単位となるブロックのサイズである。こうすることで，フレームの補完の対象となる領域を符号化のブロックの境界と合わせることができる。
【００４６】
上で示した領域の抽出において，その後の処理を簡単にするために，それぞれ連結されていない領域をそれぞれ別の領域として区別し，Ｒ１，Ｒ２，…，Ｒｔ，…としてもよい。
【００４７】
また，閾値によって領域Ｒを抽出する手続きにおいて，ベクトルの大きさに対する閾値の系列ｈ１，ｈ２，…，ｈS ，ｈs+1 ，…を決めて，これを上限と下限とする画素，すなわち，ｈS ≦｜ｖ（ｉ，ｊ）｜＜ｈs+1 となる画素を集めたものを，ＲS （ｓ＝１，２，３，…）として，速度の範囲によって階層的に領域を抽出してもよい。この場合，各階層ごとに，動きの速さが異なり，階層ごとにそれぞれ異なるフレームレートが対応付けられる。上で述べた，連結されていない領域を別の領域と区別する場合と合わせた場合，各領域は，Ｒ1 １，Ｒ1 ２，…，Ｒ2 １，Ｒ2 ２，…，Ｒ3 １，Ｒ3 ２，…，ＲS ｔ，…と表される。
【００４８】
〔ステップＳ１−２：時間方向への領域の拡大〕
各フレームで領域Ｒを抽出したら，これを時間方向に拡大する。各フレームで抽出した領域をフレームごとに区別して，フレーム番号ｉのフレームの領域Ｒを，Ｒ（ｉ）と書くことにする。それぞれ連結されていない領域をそれぞれ別の領域として区別してＲｔとするとき，個々のＲｔ（ｔ＝１，２，３，…）をＲとみなし，また，速度の範囲によって階層的に領域を抽出してＲS とするとき，個々のＲS （ｓ＝１，２，３，…）をＲとみなし，この両方を行うときには，個々のＲS ｔをＲとみなして，それぞれについて，以下のステップＳ５までの処理を行う。
【００４９】
あるｉの範囲Ｉ＝｛ｉ｜ｐ≦ｉ≦ｑ｝に含まれるすべてのｉについて，Ｒ（ｉ）に含まれる位置の画素からなる領域を，フレームの違いを区別せずに，Ｒ（Ｉ）と書くことにする。領域Ｒ（Ｉ）はｐ番目のフレームからｑ番目のフレーム目までで，見かけ動きの速さが閾値で定義される範囲に含まれる。この領域をフレームレートを低下させる領域とフレームの範囲とする。
【００５０】
Ｒ（Ｉ）の大きさはｉの範囲に依存し，ｉの範囲が広くなるとＲ（Ｉ）の面積は小さくなるがフレーム数は大きくなる。よって，ＩはＲ（Ｉ）が適当な大きさになるように決める。
【００５１】
Ｉの具体的な決定方法の一つは，Ｒの面積のＳR に対し，（ｑ−ｐ＋１) ・ＳR を最大にするｐとｑをフレーム番号の最小値と最大値とする方法である。
【００５２】
〔ステップＳ２：フレームレートの決定〕
ステップＳ２では，ステップＳ１で求めた領域のフレームレートを次のように決定する。領域Ｒの速度がｖであるとする。画像全体の通常のフレームレートＴ0 に対して，領域Ｒの低下後のフレームレートＴを，ｖの値に依存した，Ｔ＝ｔ（ｖ）として決定する。
【００５３】
ここで，領域Ｒの速度ｖはＲに含まれる領域の速度の代表値である。例えば，次のような値などをとることができる。
（１）Ｒを決定するときに用いた閾値。
（２）Ｒに含まれる局所領域の速度の面積による加重平均。これは，ステップＳ１の説明で述べたように，Ｒに含まれる局所領域が，等しい大きさの矩形領域の場合，Ｒに含まれるすべての矩形の局所領域ｒ（ｉ，ｊ）の速さ｜ｖ（ｉ，ｊ）｜の平均値となり，さらに，Ｒに含まれるすべての画素の速さの平均値となる。
（３）Ｒに含まれる画素のオプティカルフローの総和の大きさ。
（４）Ｒに含まれるすべての局所領域ｒ（ｉ，ｊ）の動きベクトル（速度ベクトル）の総和の大きさ。
【００５４】
また，速度ｖからフレームレートＴへの対応ｔ（ｖ）は，速度ｖで動くシーンの動きの滑らかさが一定の品質になるように，あらかじめ関数や，テーブル（表）や，手続きとして定義しておく。具体的なテーブルや関数の構築は，非特許文献１，非特許文献２にあるように，フレームレートと品質の関係を示すデータに基づいて行うことができる。
【００５５】
次に，フレームレートを低下させた領域の符号化を実際に省略するフレームの決定と，省略フレームを補完して元のフレームレートに戻すための画像データの生成を行う。
【００５６】
フレームレートを低下させる領域を，フレームを区別せずにＲとし，低下前の画像全体のフレームレートをＴ0 とし，低下後のフレームレートをＴとする。このとき，単位時間当たりＴ0 −Ｔ個のフレームでは，領域Ｒの画像の符号化を省略する。実際の表示においては，領域Ｒの画像を補完してＴ0 −Ｔ個のフレームは領域Ｒの元の画像の近似画像が表示される。
【００５７】
そのために，以下のステップＳ３（省略するフレームの決定），ステップＳ４（省略フレームの領域Ｒの補完画像の生成）をそれぞれ行う。
【００５８】
〔ステップＳ３：省略するフレームの決定〕
ステップＳ３では，該当する領域の符号化を省略するフレームの決定を次のように行う。領域Ｒの元の画像データをそのまま用いるフレームを，Ｔ0 ／Ｔフレームに一回の周期で挿入する。この１周期のそれ以外のフレームＴ0 ／Ｔ−１枚（Ｔ0 ／Ｔが整数でないときは丸める) では，領域Ｒの画像がその前後のフレームの画像に基づいて，ステップＳ４，ステップＳ５で補完される。
【００５９】
〔ステップＳ４：省略フレームの補完画像の生成〕
ステップＳ４では，省略フレームの領域Ｒの補完画像を，次のようにして生成する。動画像の他のフレームから領域の画像を補完する方法は従来さまざまに提案されており，これらを用いることができる。補完画像は，このプレフィルタの出力を入力とする符号化器で，他のフレームからある予測方法で予測した場合に予測誤差が最小になるように決定する。
【００６０】
〔例１〕もっとも簡単な方法は，補完を行うフレームの直前または直後の，補完を行わないフレームの画像データをそのままコピーすることである。つまり，フレームの並びがｆ0 ，ｆ1 ，ｆ2 ，ｆ3 ，…，ｆn であり，フレームｆ0 とｆn では，領域Ｒの画像は元画像のままであり，ｆ1 〜ｆn-1 では，領域Ｒの画像は他の画像から補完して生成するとする。そのとき，フレームｆ1 〜ｆn-1 の領域Ｒの画像は，ｆ0 またはｆn の領域Ｒの画像をそのまま用いる。この場合，符号化器ではｆ1 〜ｆn-1 の画像はｆ0 またはｆn の対応する領域の同一の画像として予測される。
【００６１】
〔例２〕上記ｆ0 とｆn の間に適当な動きベクトルを定義して，そのベクトルに沿って線形に補完を行えば，より滑らかな動きを再現することができる。ｆ0 の領域Ｒを矩形の小ブロックに分割し，各ブロックに対してｆ0 からｆn への動きベクトルを計算し，ｆ0 からｆk への移動量をｎに対するｋの大きさに基づいて線形に決定する。この場合，符号化器ではｆ1 〜ｆn-1 の画像はｆ0 またはｆn と動きベクトルによって予測される。
【００６２】
〔ステップＳ４′：予測方法の出力〕
ｆ0 またはｆn からｆ1 〜ｆn-1 の補完画像を予測する予測方式と予測のためのデータを出力する。上の例２では，予測のためのデータは，ｆ0 またはｆn からｆ1 〜ｆn-1 への動きベクトルである。これは，補完したフレームの番号とｆ0 からｆn への動きベクトルのようなデータでもよい。
【００６３】
〔ステップＳ５：領域の画像の補完〕
各フレームの符号化が省略される領域Ｒの画像を，それぞれステップＳ４で生成した補完画像で置き換える。
【００６４】
それぞれ連結されていない領域をそれぞれ別の領域として区別してＲｔとするときには，すべてのＲｔ（ｔ＝１，２，３，…），速度の範囲によって階層的に領域を抽出してＲS とするときには，すべてのＲS （ｓ＝１，２，３，…），この両方を行うときには，すべてのＲS ｔ（ｔ＝１，２，３，…，ｓ＝１，２，３，…）に対して，各フレームで補完画像での置き換えを行うことになる。
【００６５】
〔ステップＳ６：他の領域の有無判定〕
ステップＳ６では，他にフレームレートを低下させる領域があるかどうかを判定し，ある場合には，ステップＳ１へ制御を戻して同様に処理を繰り返す。ない場合には，処理を終了する。
【００６６】
〔装置構成〕
図４は，プレフィルタモジュール部分の詳細な装置構成例を示す図である。
【００６７】
速度検出部１０１は，領域抽出のために，各フレームの画素または小領域の速度を抽出する。求めた速度は座標情報とともに速度記憶部１０２に書き出す。
【００６８】
領域抽出部１０４は，速度記憶部１０２から読み出した各フレーム上の位置に対応した速度情報と，閾値記憶部１０３から得られる速度に関する閾値に基づいて領域を抽出し，領域記憶部１０５に領域の座標データからなる領域情報を書き出す。
【００６９】
領域×フレーム範囲決定部１０６は，領域記憶部１０５から読み出した各フレームで抽出された領域情報に基づいて，領域とフレームの範囲を決定し，領域×フレーム範囲記憶部１０７に書き出す。
【００７０】
フレームレート決定部１０９は，領域×フレーム範囲記憶部１０７と速度記憶部１０２から得られる領域の速度データに基づいてフレームレートを決定し，その値を置換フレーム決定部１１０に送る。この際，フレームレートは，フレームレート決定基準記憶部１０８に記録された基準に基づいて決定される。
【００７１】
置換フレーム決定部１１０は，フレームレート決定部１０９から出力されるフレームレートに基づいて，領域を置換するフレームを決定し，補完画像生成部１１１と領域補完部１１２に出力する。
【００７２】
補完画像生成部１１１は，置換フレーム決定部１１０が指定したフレーム上の領域の補完画像を生成し，領域補完部１１２に出力する。補完画像を生成する座標は領域×フレーム範囲記憶部１０７から，補完の元となる画像データは入力画像信号から得る。
【００７３】
また，符号化モジュール２０で使用するための，予測方法の情報（予測方式）を出力する構成の場合，補完画像生成部１１１は，予測方法の情報を出力する（図の破線）。
【００７４】
領域補完部１１２は，補完画像生成部１１１から出力された補完領域の画像データで，対応するフレームの領域の画像データを置換する。領域補完部１１２は，フレーム記憶部１１３に格納したフレームのデータに対してこの処理を行い，あるフレームに対して，そのフレーム上のすべての領域について必要な置換が行われたら，処理後のフレームデータを出力画像信号として出力する。
【００７５】
以上の映像符号化プレフィルタリングの処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００７６】
１    映像符号化装置
１０  プレフィルタモジュール
１１  フレームレート低下領域決定手段
１２  領域フレームレート決定手段
１３  補完フレーム決定手段
１４  補完画像生成手段
１５  領域画像置換手段
２０  符号化モジュール
【図１】
2011030034.tif 000003
【図２】
2011030034.tif 000004
【図３】
2011030034.tif 000005
【図４】
2011030034.tif 000006