(57)【要約】【課題】本発明は、高フレームレート映像信号のフレームをフィルタリングに基づくダウンサンプリングすることで得られた低フレームレート映像信号を符号化する場合に、符号量を低く抑えることができるようにするフレームレート変換技術の提供を目的とする。【解決手段】ダウンサンプリング後の先頭フレームを生成して処理に入ると、ダウンサンプリング後のフレームを生成する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その近傍に位置する複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなるフィルタ係数を算出し、その複数フレームを算出したフィルタ係数を使ってフィルタリングすることを全てのダウンサンプリング位置について繰り返すことで、高フレームレート映像信号から低フレームレート映像信号への変換を実行する。【選択図】図１
2010103654.tif 000002
【特許請求の範囲】
【請求項１】
高フレームレート映像信号の複数フレームをフィルタ係数を使って重み付け加算することで１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号のフレームをダウンサンプリングして低フレームレート映像信号に変換するフレームレート変換方法であって、
ダウンサンプリング比を入力する過程と、
ダウンサンプリング後のフレームを生成した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する過程と、
前記フレーム位置を含む所定の範囲内にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなる前記フィルタ係数を算出する過程と、
前記所定の範囲内にある複数フレームを前記算出したフィルタ係数を使ってフィルタリングすることで、前記フレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項２】
請求項１に記載のフレームレート変換方法において、
前記算出する過程では、所定のフィルタ係数初期値を起点にして処理に入って、その時点のフィルタ係数を用いたダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される前記符号化効率を示す値を最適化する動きベクトルを算出し、続いて、その算出した動きベクトルを用い、ダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される前記符号化効率を示す値を最適化する次の時点のフィルタ係数を算出することを繰り返すことで、前記最適なものとなるフィルタ係数を算出することを、
特徴とするフレームレート変換方法。
【請求項３】
請求項１または２に記載のフレームレート変換方法において、
前記算出する過程では、前記符号化効率を示す値として、前記所定の範囲内にある複数フレームをダウンサンプリングすることで生成されるフレームと生成済みのフレームとに基づいて算出される動き補償予測誤差電力を算出することを、
特徴とするフレームレート変換方法。
【請求項４】
請求項１または２に記載のフレームレート変換方法において、
前記算出する過程では、前記符号化効率を示す値として、前記所定の範囲内にある複数フレームをダウンサンプリングすることで生成されるフレームと生成済みのフレームとに基づいて算出される符号化コストを算出することを、
特徴とするフレームレート変換方法。
【請求項５】
請求項１ないし４のいずれか１項に記載のフレームレート変換方法において、
高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングにより、ダウンサンプリング後の先頭フレームを生成する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項６】
請求項１ないし４のいずれか１項に記載のフレームレート変換方法において、
高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することで、ダウンサンプリング後の先頭フレームを生成する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項７】
高フレームレート映像信号の複数フレームをフィルタ係数を使って重み付け加算することで１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号のフレームをダウンサンプリングして低フレームレート映像信号に変換するフレームレート変換装置であって、
ダウンサンプリング比を入力する手段と、
ダウンサンプリング後のフレームを生成した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する手段と、
前記フレーム位置を含む所定の範囲内にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなる前記フィルタ係数を算出する手段と、
前記所定の範囲内にある複数フレームを前記算出したフィルタ係数を使ってフィルタリングすることで、前記フレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成する手段とを備えることを、
特徴とするフレームレート変換装置。
【請求項８】
請求項１ないし６のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
【請求項９】
請求項１ないし６のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高フレームレート映像信号の複数フレームを１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号から低フレームレート映像信号への変換を実行するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。
【０００３】
超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。
【０００４】
映像の入力・出力システムのフレームレートの上限は非対称である。現在、撮像系としては、１０００[frame/sec] を超える高フレームレート映像を取得可能な高速度カメラが利用可能である。ただし、こうした高速度カメラで撮影された映像はスロー再生用途で用いられている。
【０００５】
一方、現行のディスプレイの上限は１２０[fps] 程度である。したがって、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。
【０００６】
このようなことを背景にして、従来技術では、図６に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるような間引きによるダウンサンプリングが検討されてきた（例えば、特許文献１参照）。
【特許文献１】特開２００４−２０１１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術のような単純なフレーム間引き処理では、時間方向のエイリアシングに起因する画質劣化が問題となる。こうした問題を回避するためには、時間軸方向の帯域制限フィルタリングが必要である。
【０００８】
一方、動き補償フレーム間予測を用いた符号化器の場合、時間方向のエイリアシングの低減は、予測誤差の低減とは直接的には結びつかない。つまり、時間方向のダウンサンプリングフィルタに関して、符号化効率の観点から最適化の余地があることになる。
【０００９】
しかるに、従来の３０ｆｐｓ，６０ｆｐｓのフレームレートの映像の場合、フィルタリングのための十分なサンプル（すなわちフレーム）が確保できないため、フィルタの特性を高精度に近似することが困難であった。例えば、６０ｆｐｓの映像信号をフィルタリングして３０ｆｐｓの映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下では、フィルタリングの対象となるフレームは２フレームに限定される。
【００１０】
一方、高フレームレート映像の場合、フィルタ設計の自由度は拡張される。例えば、１０００ｆｐｓの映像信号をフィルタリングして６２．５ｆｐｓの映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下であっても、１６フレームをフィルタリングの対象とすることができる。
【００１１】
したがって、高フレームレート映像を入力してフィルタリングにより低フレームレート映像を得る場合、フィルタリング設計の自由度が高まるので、低フレームレート映像の符号化効率の観点から最適化の余地がある。
【００１２】
しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのフィルタリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差の低減に改善の余地が残されていた。
【００１３】
本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのフィルタリングに基づくダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、低フレームレート映像信号を決定する効率的なフレームレート変換のためのフィルタリング技術を確立することを目的とする。
【課題を解決するための手段】
【００１４】
フレームレートの変換対象となる高フレームレート映像信号について、フレーム間隔をδt として、時刻ｔ＝ｊδt （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。
【００１５】
この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δt ”から“１／Ｍδt ”へ変換することを想定している。
【００１６】
なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。
【００１７】
フレームレートの変換方法としては、フレーム間引き、単純平均の方法がある。フレーム間引きでは、下記の式（１）で表されるフレームをダウンサンプリング後のフレームとする。
【００１８】
【数１】
2010103654.tif 000003
【００１９】
また、単純平均では、下記の式（２）で表されるフレームをダウンサンプリング後のフレームとする。
【００２０】
【数２】
2010103654.tif 000004
【００２１】
〔１〕本発明の基本的な考え方
しかしながら、フレーム間引きと単純平均のいずれの方法も、動き補償を伴う動画像符号化を想定した手法ではなく、ダウンサンプリング後の映像信号の符号化効率の観点からは最適な手法とはいえない。
【００２２】
そこで、本発明では、下記の式（３）で表されるように、フィルタ係数Ｗi （ｉはダウンサンプリング位置を示す変数）
Ｗi ＝｛ωi 〔−Δ〕, .... ,ωi 〔Δ−１〕｝
を用いたフィルタリングにより、ダウンサンプリング後のフレームを得ることとする。
【００２３】
【数３】
2010103654.tif 000005
【００２４】
ここで、Σωi 〔ｊ〕＝１を満たすものとする。ただし、Σはｊ＝−Δi 〜Δi −１について総和である。また、Δi は各フレーム毎に外部から与えられるパラメータ（ｉに依存しないこともある）である。
【００２５】
そして、本発明では、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、このフィルタ係数Ｗi を決定するようにする。
【００２６】
次に、本発明に特徴的な処理であるフィルタ係数Ｗi の決定方法について説明する。
【００２７】
〔ｉ〕フィルタ係数Ｗi の決定
信号＾ｆ（ｘ，ｉＭδt ，Ｗi ）をサイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄi ＝（ｄi 〔０〕, .... ,ｄi 〔Ｋ−１〕))を行った場合、その区間内の動き補償後の予測誤差電力は下記の式（４）のように表現できる。なお、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
【００２８】
【数４】
2010103654.tif 000006
【００２９】
ここで、式（４）では、１つ前のフィルタリングにより生成されたフレーム（参照フレームとなるフレーム）との間で動き補償後の予測誤差電力を求めるようにしている。
【００３０】
ダウンサンプリング後の低フレームレート映像信号の符号量を削減するためには、式（４）で表される動き補償予測誤差電力を小さくする必要があり、これから、動き補償予測誤差電力を最小化するようにフィルタ係数Ｗi を決定する必要がある。
【００３１】
しかるに、式（４）ではフィルタ係数Ｗi と動きベクトルｄi 〔ｋ〕とが変数となるが、この２つの間には、動き補償予測誤差電力を小さくすべくフィルタ係数Ｗi を変化させると、それによりダウンサンプリング後のフレームが変化し、それに伴って動きベクトルも変化してしまうことで動き補償予測誤差電力が影響を受けるというように、互いに影響を与え合う関係がある。
【００３２】
そこで、本発明では、この式（４）に従い、繰り返し処理によりフィルタ係数Ｗi を算出するようにする。このとき、フィルタ係数Ｗi の初期値Ｗi (0) は外部から与えられる。例えば、Ｗi (0) ＝（１／２Δ, .... ,１／２Δ）とする。なお、参照フレームのフィルタ係数Ｗi-1 については既に確定しているものとし、起点となるダウンサンプリング後の先頭フレームについては、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングにより生成したり、高フレームレート映像信号のフレーム（例えば、先頭フレーム）を選択することで生成する。
【００３３】
この繰り返し処理では、
（イ）まず、動き補償予測誤差電力σi 2 （Ｗi (0) ，ｄi ）を最小化するように、変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を算出する。この算出方法については、別途、外部から与えられる動き推定方法を用いる。例えば、フルサーチを用いる。ここで求めた変移量をｄ〔ｋ〕(0) （ｋ＝０，１, .... ,Ｋ−１）とする。
【００３４】
（ロ）次に、ｄ〔ｋ〕(0) （ｋ＝０，１, .... ,Ｋ−１）を用いた場合の予測誤差電力σi 2 （Ｗi ，ｄi (0) ）を最小化するフィルタ係数Ｗi を求める。具体的には、下記の式（５）の連立方程式をＷi について解く。
【００３５】
【数５】
2010103654.tif 000007
【００３６】
（ハ）このときに解として求めたフィルタ係数をＷi (1) として、上記の変移量の算出処理（イ）およびフィルタ係数Ｗi の算出処理（ロ）を終了条件を満たすまで繰り返し行い、終了条件を満たしたときに得たフィルタ係数Ｗi を、最終的なフィルタ係数Ｗi として決定する。
【００３７】
〔ii〕終了条件
このときに用いる終了条件としては、以下のようなものがある。
【００３８】
〔イ〕終了条件１
繰り返し回数の上限を定める。この場合、繰り返し回数をｎとして、ｎが予め定めた閾値Ｎより大きくなった時点に繰り返し処理を終了とする。
【００３９】
〔ロ〕終了条件２
繰り返し処理によるフィルタ係数の変化量で判定する。ｎ回目のフィルタ係数の算出結果とｎ−１回目のフィルタ係数の算出結果との差が、予め設定した閾値εw 以下となる場合に繰り返し処理を終了とする。すなわち、下記の式（６）が成立する場合に繰り返し処理を終了とする。
【００４０】
【数６】
2010103654.tif 000008
【００４１】
〔ハ〕終了条件３
繰り返し処理による予測誤差電力の変化量で判定する。ｎ回目の予測誤差電力とｎ−１回目の予測誤差電力との差が、予め設定した閾値εe 以下となる場合に繰り返し処理を終了とする。すなわち、下記の式（７）が成立する場合に繰り返し処理を終了とする。
【００４２】
【数７】
2010103654.tif 000009
【００４３】
次に、本発明の構成について説明する。
【００４４】
〔２〕本発明の構成
本発明のフレームレート変換装置は、高フレームレート映像信号の複数フレームをフィルタ係数を使って重み付け加算することで１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号のフレームをダウンサンプリングして低フレームレート映像信号に変換することを実現するために、（１）ダウンサンプリング比を入力する入力手段と、（２）高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する先頭フレーム生成手段と、（３）先頭フレーム生成手段や後述するフレーム生成手段によりダウンサンプリング後のフレームを生成した場合に、入力手段の入力したダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置（ダウンサンプリング位置）を特定する特定手段と、（４）特定手段の特定したフレーム位置を含む所定の範囲内にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなるフィルタ係数を算出する算出手段と、（５）特定手段の特定したフレーム位置を含む所定の範囲内にある複数フレームを算出手段の算出したフィルタ係数を使ってフィルタリングすることで、特定手段の特定したフレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成するフレーム生成手段とを備えるように構成する。
【００４５】
この構成を採るときに、算出手段は、所定のフィルタ係数初期値を起点にして処理に入って、その時点のフィルタ係数を用いたダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される符号化効率を示す値を最適化する動きベクトルを算出し、続いて、その算出した動きベクトルを用い、ダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される符号化効率を示す値を最適化する次の時点のフィルタ係数を算出することを繰り返すことで、最適なフィルタ係数を算出するように処理することがある。
【００４６】
また、算出手段は、符号化効率を示す値として、特定手段の特定したフレーム位置を含む所定の範囲内にある複数フレームをダウンサンプリングすることで生成されるフレームと生成済みのフレームとに基づいて算出される、動き補償予測誤差電力や符号化コスト（特定の符号化器による符号化を行うことで算出される符号化歪みと符号量の加重和のラグランジェコスト）を算出することがある。
【００４７】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００４８】
このように構成される本発明のフレームレート変換装置では、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号の先頭フレームを選択することによりダウンサンプリング後の先頭フレームを生成することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを生成する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値（例えば、動き補償予測誤差電力や符号化コスト）が最適なものとなるフィルタ係数を算出し、その複数フレームをその算出したフィルタ係数を使ってフィルタリングすることで、その特定したフレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成するようにして、その一連の処理を全てのダウンサンプリング位置について繰り返すことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。
【００４９】
このようにして、本発明のフレームレート変換装置は、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのダウンサンプリングを実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのダウンサンプリングを実行するように処理するのである。
【発明の効果】
【００５０】
本発明では、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのダウンサンプリングを実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのダウンサンプリングを実行する。
【００５１】
これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【発明を実施するための最良の形態】
【００５２】
以下、実施の形態に従って本発明を詳細に説明する。
【００５３】
図２に、本発明のフレームレート変換装置１の装置構成の一例を図示する。
【００５４】
この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、フィルタ係数を使ったダウンサンプリングのためのフィルタリング処理を実行することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。
【００５５】
このフレームレートダウンサンプリング部１２は、予測対象フレームと参照フレームとの間の動き補償予測誤差電力を最小化する動きベクトルを推定する動き推定部１２００を備えて、式（４）で表される動き補償予測誤差電力を算出する動き補償予測誤差算出部１２０と、動き補償予測誤差算出部１２０の算出する動きベクトルや動き補償予測誤差電力を使って、高フレームレート映像信号のフレームをフィルタリングすることでダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データを記憶する作業用メモリ１２２（フィルタ係数記憶域１２２０や生成フレーム記憶域１２２１を備える）とを備える。
【００５６】
このダウンサンプリング実行部１２１は、
（１）フレーム数Ｊ、フレーム間隔δt 、ダウンサンプリング比Ｍ、フィルタ係数初期値Ｗi (0) 、フィルタリングの対象となるフレーム数を指定する値Δi 、フィルタ係数の終了条件の判定用閾値を読み込む入力部１２１０と、
（２）高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する先頭フレーム生成部１２１１と、
（３）先頭フレーム生成部１２１１や後述するフレーム生成部１２１７がダウンサンプリング後のフレームを生成した場合に、入力部１２１０の入力したダウンサンプリング比Ｍと高フレームレート映像信号のフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する次フレーム位置特定部１２１２と、
（４）次フレーム位置特定部１２１２の特定したフレーム位置の近傍に位置する複数のフレームに対して、その時点のフィルタ係数を使ったフィルタリング処理を実行するフィルタリング実行部１２１３と、
（５）フィルタリング実行部１２１３が今回生成したフレーム（予測対象フレーム）と後述するフレーム生成部１２１７が前回生成したフレーム（参照フレーム）とを指定して、動き補償予測誤差算出部１２０に対して動き補償予測誤差電力を最小化する動きベクトルの算出を指示することで、その動きベクトルを得る動きベクトル算出部１２１４と、
（６）動きベクトル算出部１２１４の得た動きベクトルを使って式（５）の連立方程式を生成して、それを解くことでフィルタ係数を更新するフィルタ係数更新部１２１５と、
（７）フィルタ係数更新部１２１５によるフィルタ係数の更新を終了する条件が成立したのか否かを判定して、更新終了条件が成立しないことを判定するときには、フィルタリング実行部１２１３に対して、更新したフィルタ係数を使ってフィルタリング処理を実行することを指示するフィルタ係数更新終了判定部１２１６と、
（８）フィルタ係数更新終了判定部１２１６がフィルタ係数の更新終了条件が成立したことを判定するときに、更新終了条件が成立したときのフィルタ係数を使ったフィルタリング処理を実行することで、次フレーム位置特定部１２１２の特定したフレーム位置にあるフレームに置き換えるダウンサンプリング後のフレームを生成するフレーム生成部１２１７と、
（９）フレーム生成部１２１７がフレームを生成したときに、フィルタリングの対象となる全てのフレーム位置に対しての処理を終了したのか否かを判定して、処理を終了していないことを判定するときには、次のフレーム位置に対しての処理を実行すべく次フレーム位置特定部１２１２を起動する全フレーム位置終了判定部１２１８とを
備える。
【００５７】
次に、このように構成されるダウンサンプリング実行部１２１により実行されるフレームレートダウンサンプリング処理について説明する。
【００５８】
まず最初に、前述した“終了条件１”を用いてフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その１）”について説明する。
【００５９】
〔１〕フレームレートダウンサンプリング処理の流れ（その１）
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像      信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた      めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．繰り返し回数の閾値Ｎを読み込む
４．ダウンサンプリング後の先頭フレームを生成する
５．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
６．  フィルタ係数の初期値Ｗi (0) を読み込む
７．  Δi の値として、予め設定された値を読み込む
８．  ｎ＝０
９．    ｎ＝ｎ＋１
10．    予め設定された方法に基づき、フィルタ係数をＷi (n-1) とした場合の式（４          ）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化する          動きベクトルを算出し、レジスタｄ〔ｋ〕(n) （ｋ＝０，１, .... ,Ｋ−１）          に格納する
11．    動きベクトルをｄ〔ｋ〕(n) （ｋ＝０，１, .... ,Ｋ−１）とした場合の式（          ４）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化す          るフィルタ係数を算出し、レジスタＷi (n) に格納する。具体的な算出方法は          、下記の式（８）に示す連立方程式をＷi について解き、その解を求めるフィ          ルタ係数とすることで行う
【００６０】
【数８】
2010103654.tif 000010
【００６１】
12．    ｎ＜Ｎならば、“９．”に戻り、そうでなければ、次のステップに進む
13．  Ｗi (n) を第ｉフレームに対するフィルタ係数Ｗi として、式（３）に従いダウ        ンサンプリング後のフレームを出力する。
【００６２】
このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、前述した“終了条件１”の規定する繰り返し回数に従って、式（４）で表される動き補償予測誤差電力を最小化するフィルタ係数を算出するように処理するのである。
【００６３】
この構成に従って、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号の先頭フレームなどをダウンサンプリング後の先頭フレームとして生成することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを生成する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号が示す動き補償予測誤差電力を最小化するフィルタ係数を算出し、その複数フレームをその算出したフィルタ係数を使ってフィルタリングすることで、特定したフレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成するようにして、その一連の処理を全てのダウンサンプリング位置について繰り返すことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するように処理するのである。
【００６４】
このようにして、本発明では、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行することから、その低フレームレート映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【００６５】
次に、前述した“終了条件２”を用いてフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その２）”について説明する。
【００６６】
〔２〕フレームレートダウンサンプリング処理の流れ（その２）
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像      信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた      めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．フィルタ係数の類似度に関する閾値εw を読み込む
４．ダウンサンプリング後の先頭フレームを生成する
５．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
６．  フィルタ係数の初期値Ｗi (0) を読み込む
７．  Δi の値として、予め設定された値を読み込む
８．  ｎ＝０
９．    ｎ＝ｎ＋１
10．    予め設定された方法に基づき、フィルタ係数をＷi (n-1) とした場合の式（４          ）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化する          動きベクトルを算出し、レジスタｄ〔ｋ〕(n) （ｋ＝０，１, .... ,Ｋ−１）          に格納する
11．    動きベクトルをｄ〔ｋ〕(n) （ｋ＝０，１, .... ,Ｋ−１）とした場合の式（          ４）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化す          るフィルタ係数を算出し、レジスタＷi (n) に格納する。具体的な算出方法は          、式（８）に示す連立方程式をＷi について解き、その解を求めるフィルタ係          数とすることで行う
12．    式（６）に従ってＷi (n) とＷi (n-1) との間の類似度を評価して、その類似          度が閾値εw よりも大きければ、“９．”に戻り、そうでなければ、次のステ          ップに進む
13．  Ｗi (n) を第ｉフレームに対するフィルタ係数Ｗi として、式（３）に従いダウ        ンサンプリング後のフレームを出力する。
【００６７】
このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、前述した“終了条件２”の規定する繰り返し回数に従って、式（４）で表される動き補償予測誤差電力を最小化するフィルタ係数を算出するように処理するのである。
【００６８】
この構成に従って、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合と同様の処理を実行することで、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行することから、その低フレームレート映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【００６９】
次に、前述した“終了条件３”を用いてフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その３）”について説明する。
【００７０】
〔３〕フレームレートダウンサンプリング処理の流れ（その３）
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像      信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた      めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．予測誤差に関する閾値εe を読み込む
４．ダウンサンプリング後の先頭フレームを生成する
５．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
６．  フィルタ係数の初期値Ｗi (0) を読み込む
７．  Δi の値として、予め設定された値を読み込む
８．  ｎ＝０
９．    ｎ＝ｎ＋１
10．    予め設定された方法に基づき、フィルタ係数をＷi (n-1) とした場合の式（４          ）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化する          動きベクトルを算出し、レジスタｄ〔ｋ〕(n) （ｋ＝０，１, .... ,Ｋ−１）          に格納する
11．    動きベクトルをｄ〔ｋ〕(n) （ｋ＝０，１, .... ,Ｋ−１）とした場合の式（          ４）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化す          るフィルタ係数を算出し、レジスタＷi (n) に格納する。具体的な算出方法は          、式（８）に示す連立方程式をＷi について解き、その解を求めるフィルタ係          数とすることで行う
12．    Ｗi (n) ，ｄ〔ｋ〕(n) を用いた場合の動き補償予測誤差電力をレジスタＥ(n ) に格納する
13．    ｜Ｅ(n) −Ｅ(n-1) ｜＜εe ならば、“９．”に戻り、そうでなければ、次の          ステップに進む
14．  Ｗi (n) を第ｉフレームに対するフィルタ係数Ｗi として、式（３）に従いダウ        ンサンプリング後のフレームを出力する。
【００７１】
このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その３）”を実行する場合には、前述した“終了条件３”の規定する繰り返し回数に従って、式（４）で表される動き補償予測誤差電力を最小化するフィルタ係数を算出するように処理するのである。
【００７２】
この構成に従って、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その３）”を実行する場合には、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合と同様の処理を実行することで、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行することから、その低フレームレート映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【実施例】
【００７３】
次に、実施例に従って本発明を詳細に説明する。
【００７４】
〔１〕第１の実施例
図３に、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。
【００７５】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【００７６】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合には、図３のフローチャートに示すように、まず最初に、ステップＳ１０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、繰り返し回数の閾値Ｎとを読み込む。
【００７７】
続いて、ステップＳ１０２で、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する。
【００７８】
続いて、ステップＳ１０３で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置（ダウンサンプリング位置）を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。
【００７９】
続いて、ステップＳ１０４で、フィルタ係数の初期値Ｗi (0) と、フィルタリングの対象となるフレーム数（＝２Δi ）を指定する値Δi とを読み込む。
【００８０】
続いて、ステップＳ１０５で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ１０６で、変数ｎの値を１つインクリメントする。
【００８１】
続いて、ステップＳ１０７で、設定されているフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δi 枚のフレームに対してのフィルタリングを実行することで、動きベクトル算出用のフレームを生成する。
【００８２】
続いて、ステップＳ１０８で、生成した動きベクトル算出用のフレームを予測対象フレームとし、後述するステップＳ１１１の処理に従って前回生成したフレーム（処理開始時は先頭フレーム）を参照フレームとする動き補償で算出される予測誤差電力を最小化する動きベクトルを算出する。
【００８３】
続いて、ステップＳ１０９で、算出した動きベクトルを用いる式（５）の連立方程式を作成し、それを解くことでフィルタ係数を更新する。
【００８４】
続いて、ステップＳ１１０で、変数ｎの値が繰り返し回数の閾値Ｎを超えていないのか否かを判断して、繰り返し回数の閾値Ｎを超えていないことを判断するときには、ステップＳ１０６の処理に戻って、フィルタ係数の更新処理を継続する。
【００８５】
一方、ステップＳ１１０の判断処理に従って、変数ｎの値が繰り返し回数の閾値Ｎを超えたことを判断するときには、ステップＳ１１１に進んで、更新の終了したフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δi 枚のフレームに対してのフィルタリングを実行することで、ダウンサンプリング後のフレームを生成する。
【００８６】
続いて、ステップＳ１１２で、変数ｉの値を１つインクリメントし、続くステップＳ１１３で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ１０４〜ステップＳ１１２の処理を実行すべく、ステップＳ１０４の処理に戻る。
【００８７】
一方、ステップＳ１１３の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。
【００８８】
このようにして、ダウンサンプリング実行部１２１は、図３のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【００８９】
〔２〕第２の実施例
図４に、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。
【００９０】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【００９１】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合には、図４のフローチャートに示すように、まず最初に、ステップＳ２０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、フィルタ係数の類似度に関する閾値εw とを読み込む。
【００９２】
続いて、ステップＳ２０２で、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する。
【００９３】
続いて、ステップＳ２０３で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置（ダウンサンプリング位置）を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。
【００９４】
続いて、ステップＳ２０４で、フィルタ係数の初期値Ｗi (0) と、フィルタリングの対象となるフレーム数（＝２Δi ）を指定する値Δi とを読み込む。
【００９５】
続いて、ステップＳ２０５で、繰り返し回数をカウントとする変数ｎに０をセットし、続くステップＳ２０６で、変数ｎの値を１つインクリメントする。
【００９６】
続いて、ステップＳ２０７で、設定されているフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δi 枚のフレームに対してのフィルタリングを実行することで、動きベクトル算出用のフレームを生成する。
【００９７】
続いて、ステップＳ２０８で、生成した動きベクトル算出用のフレームを予測対象フレームとし、後述するステップＳ２１３の処理に従って前回生成したフレーム（処理開始時は先頭フレーム）を参照フレームとする動き補償で算出される予測誤差電力を最小化する動きベクトルを算出する。
【００９８】
続いて、ステップＳ２０９で、算出した動きベクトルを用いる式（５）の連立方程式を作成し、それを解くことでフィルタ係数を更新する。
【００９９】
続いて、ステップＳ２１０で、式（６）に従って、更新後のフィルタ係数とレジスタに格納される更新前のフィルタ係数との差分値の二乗和を算出する。
【０１００】
続いて、ステップＳ２１１で、レジスタに格納されるフィルタ係数（更新前のフィルタ係数）を更新後のフィルタ係数に書き換える。
【０１０１】
続いて、ステップＳ２１２で、ステップＳ２１０で算出したフィルタ係数差分値の二乗和の値がステップＳ２０１で読み込んだ閾値εw より小さくなったのか否かを判断して、閾値εw よりも小さくなっていないことを判断するときには、ステップＳ２０６の処理に戻って、フィルタ係数の更新処理を継続する。
【０１０２】
一方、ステップＳ２１２の判断処理に従って、フィルタ係数差分値の二乗和の値が閾値εw より小さくなったことを判断するときには、ステップＳ２１３に進んで、更新の終了したフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δi 枚のフレームに対してのフィルタリングを実行することで、ダウンサンプリング後のフレームを生成する。
【０１０３】
続いて、ステップＳ２１４で、変数ｉの値を１つインクリメントし、続くステップＳ２１５で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ２０４〜ステップＳ２１４の処理を実行すべく、ステップＳ２０４の処理に戻る。
【０１０４】
一方、ステップＳ２１５の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。
【０１０５】
このようにして、ダウンサンプリング実行部１２１は、図４のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１０６】
〔３〕第３の実施例
図５に、フレームレートダウンサンプリング処理の流れ（その３）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。
【０１０７】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【０１０８】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その３）に従ってフレームレートのダウンサンプリング処理を実行する場合には、図５のフローチャートに示すように、まず最初に、ステップＳ３０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、予測誤差に関する閾値εe とを読み込む。
【０１０９】
続いて、ステップＳ３０２で、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する。
【０１１０】
続いて、ステップＳ３０３で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置（ダウンサンプリング位置）を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。
【０１１１】
続いて、ステップＳ３０４で、フィルタ係数の初期値Ｗi (0) と、フィルタリングの対象となるフレーム数（＝２Δi ）を指定する値Δi とを読み込む。
【０１１２】
続いて、ステップＳ３０５で、繰り返し回数をカウントとする変数ｎに０をセットし、続くステップＳ３０６で、変数ｎの値を１つインクリメントする。
【０１１３】
続いて、ステップＳ３０７で、設定されているフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δi 枚のフレームに対してのフィルタリングを実行することで、動きベクトル算出用のフレームを生成する。
【０１１４】
続いて、ステップＳ３０８で、生成した動きベクトル算出用のフレームを予測対象フレームとし、後述するステップＳ３１３の処理に従って前回生成したフレーム（処理開始時は先頭フレーム）を参照フレームとする動き補償で算出される予測誤差電力を最小化する動きベクトルを算出する。
【０１１５】
続いて、ステップＳ３０９で、算出した動きベクトルを用いる式（５）の連立方程式を作成し、それを解くことでフィルタ係数を更新する。
【０１１６】
続いて、ステップＳ３１０で、ステップＳ３０９で更新したフィルタ係数とステップＳ３０８で算出した動きベクトルとを用いる場合の動き補償の予測誤差電力を算出して、それとレジスタに格納される前回算出した予測誤差電力との差分値を算出する。
【０１１７】
続いて、ステップＳ３１１で、レジスタに格納される前回算出した動き補償の予測誤差電力を今回算出したものに書き換える。
【０１１８】
続いて、ステップＳ３１２で、ステップＳ３１０で算出した動き補償予測誤差電力の差分値の絶対値を算出して、その算出した絶対値がステップＳ３０１で読み込んだ閾値εe より小さくなったのか否かを判断して、閾値εe よりも小さくなっていないことを判断するときには、ステップＳ３０６の処理に戻って、フィルタ係数の更新処理を継続する。
【０１１９】
一方、ステップＳ３１２の判断処理に従って、動き補償予測誤差電力の差分値の絶対値が閾値εe より小さくなったことを判断するときには、ステップＳ３１３に進んで、更新の終了したフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δi 枚のフレームに対してのフィルタリングを実行することで、ダウンサンプリング後のフレームを生成する。
【０１２０】
続いて、ステップＳ３１４で、変数ｉの値を１つインクリメントし、続くステップＳ３１５で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ３０４〜ステップＳ３１４の処理を実行すべく、ステップＳ３０４の処理に戻る。
【０１２１】
一方、ステップＳ３１５の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。
【０１２２】
このようにして、ダウンサンプリング実行部１２１は、図５のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その３）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１２３】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（４）に従って、１つ前に選択したフレームとの間で動き補償予測誤差を算出するようにしているが、選択済みの複数のフレームとの間で動き補償予測誤差を算出するようにしてもよい。
【産業上の利用可能性】
【０１２４】
本発明は、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【図面の簡単な説明】
【０１２５】
【図１】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図２】本発明のフレームレート変換装置の装置構成図である。
【図３】ダウンサンプリング実行部の実行するフローチャートである。
【図４】ダウンサンプリング実行部の実行するフローチャートである。
【図５】ダウンサンプリング実行部の実行するフローチャートである。
【図６】従来技術によるフレームレートダウンサンプリング処理の説明図である。
【符号の説明】
【０１２６】
１        フレームレート変換装置
１０      高フレームレート映像ファイル
１１      低フレームレート映像ファイル
１２      フレームレートダウンサンプリング部
１２０    動き補償予測誤差算出部
１２１    ダウンサンプリング実行部
１２２    作業用メモリ１２２
１２００  動き推定部
１２１０  入力部
１２１１  先頭フレーム生成部
１２１２  次フレーム位置特定部
１２１３  フィルタリング実行部
１２１４  動きベクトル算出部
１２１５  フィルタ係数更新部
１２１６  フィルタ係数更新終了判定部
１２１７  フレーム生成部
１２１８  全フレーム位置終了判定部
１２２０  フィルタ係数記憶域
１２２１  生成フレーム記憶域
【図１】
2010103654.tif 000011
【図２】
2010103654.tif 000012
【図３】
2010103654.tif 000013
【図４】
2010103654.tif 000014
【図５】
2010103654.tif 000015
【図６】
2010103654.tif 000016