(57)【要約】【課題】本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで得られた所望のフレームレートの映像信号を符号化する場合に、符号量を低く抑えることができるようにする新たなフレームレート変換技術の提供を目的とする。【解決手段】等長間隔のダウンサンプリングにより規定されるフレーム位置にある複数のフレームのそれぞれについて、１つ前のフレーム位置にある複数のフレームのそれぞれとの間で低フレームレート映像信号についての符号化効率表示値を算出して、それに基づいて、先頭フレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを最終フレーム位置まで繰り返る。そして、最終フレーム位置にある複数のフレームの中から、最小の符号化効率表示値の総和を持つフレームを検出して、それを起点としてフレームを辿ることでダウンサンプリング後のフレームを選択する。【選択図】図３
2010141451.tif 000002
【特許請求の範囲】
【請求項１】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法であって、
等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値を算出して、その算出した符号化効率表示値に基づいて、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを、最終のフレーム位置まで繰り返し実行する過程と、
前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出する過程と、
前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項２】
請求項１に記載のフレームレート変換方法において、
前記実行する過程では、前記算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定することを、
特徴とするフレームレート変換方法。
【請求項３】
請求項１または２に記載のフレームレート変換方法において、
前記実行する過程では、前記符号化効率表示値として、動き補償予測誤差電力を算出することを、
特徴とするフレームレート変換方法。
【請求項４】
請求項１または２に記載のフレームレート変換方法において、
前記実行する過程では、前記符号化効率表示値として、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することを、
特徴とするフレームレート変換方法。
【請求項５】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換装置であって、
等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値を算出して、その算出した符号化効率表示値に基づいて、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを、最終のフレーム位置まで繰り返し実行する手段と、
前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出する手段と、
前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する手段とを備えることを、
特徴とするフレームレート変換装置。
【請求項６】
請求項５に記載のフレームレート変換装置において、
前記実行する手段は、前記算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定することを、
特徴とするフレームレート変換装置。
【請求項７】
請求項１ないし４のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
【請求項８】
請求項１ないし４のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。
【０００３】
超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。
【０００４】
１０００[frame/sec] を超える高フレームレート映像を撮像可能な高速度カメラがすでに市場に流通している。ただし、こうした高速度カメラで撮像された映像はスロー再生用途で用いられる。映像の入力・出力システムのフレームレートの上限は非対称である。現行のディスプレイの上限は１２０[fps] 程度であるため、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。
【０００５】
通常、図７に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるようにダウンサンプリングが実施される（例えば、特許文献１参照）。これは、非等長間隔な時間サンプリングでは、ジャーキネス（画質劣化）を発生させるという仮定に基づくものである。
【０００６】
ダウンサンプリングの対象が低フレームレート映像の場合、この仮定は正しい。しかし、ダウンサンプリングの対象が高フレームレート映像の場合は、その限りではない。ダウンサンプリングの対象が高フレームレート映像の場合、フレームを厳密に等間隔に配置してなくても、等間隔からの乖離が一定閾値以内であれば、視覚的には大きなジャーキネス（画質劣化）を発生しない。
【０００７】
したがって、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。つまり、符号化効率の観点から最適なフレームレートのダウンサンプリング法を検討する余地があることになる。
【０００８】
このようなことを背景にして、本発明者は、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行った（非特許文献１参照）。
【特許文献１】特開２００４−２０１１６５号公報
【非特許文献１】坂東幸浩，高村誠之，上倉一人，八島由幸：“高フレームレート映像信号のダウンサンプリング方法に関する一考察”，画像符号化シンポジウム, p5-02, 2008
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前述したように、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができ、これにより、ダウンサンプリング後のフレーム選択に関する自由度を高くできる。
【００１０】
しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのダウンサンプリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差電力の低減に改善の余地が残されていた。
【００１１】
このようなことを背景にして、本発明者は、非特許文献１で、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行ったが、この方法では逐次的に選択フレームを設定しており、シーケンス全体での動き補償予測誤差電力の最小化を保証しておらず、その点から改善の余地が残されている。
【００１２】
本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対する符号化効率を考慮した形で、低フレームレート映像信号を決定する効率的なフレームレートのダウンサンプリング技術を確立することを目的とする。
【課題を解決するための手段】
【００１３】
〔１〕本発明の基本的な考え方
フレームレートの変換の対象となる高フレームレート映像信号について、フレーム間隔をδt として、時刻ｔ＝ｊδt （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。
【００１４】
この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δt ”から“１／Ｍδt ”へ変換することを想定している。
【００１５】
なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。
【００１６】
フレーム間引きにより、前記の変換を行う場合、従来では、
ｆ（ｘ，ｉＭδt ）      ｉ＝０, １, ..... 
というように、フレーム間隔をＭ倍するという方法がとられてきた。
【００１７】
これは、ダウンサンプリング後のフレーム間隔が非等長である場合、動きの滑らかさを失うという経験則に基づくものである。この経験則は、δt ＝１／３０［秒］といった従来のフレームレートの映像信号の場合には、妥当と言える。
【００１８】
しかし、δt ＝１／１０００［秒］といった高フレームレートの映像信号の場合は、その限りではない。例えば、フレーム間隔がδt ＝１／１０００［秒］の高フレームレートの映像信号を、Ｍ＝１６として、フレーム間隔１／６２．５［秒］の低フレームレートの映像信号に変換する場合、変換後のフレーム間隔が１／１０００［秒］程度伸縮したとしても、視覚的に検知できない。
【００１９】
このため、フレーム間隔を非等長にすることによる画質劣化は問題とならない。したがって、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。
【００２０】
そこで、本発明では、フレーム選択の候補を、
ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）      ｉ＝１, ２, ..... 
Ｌi ＝−Δ, .... ,Δ−１
但し、Ｌ0 ＝０, .... ,Δ−１
というように、２Δフレーム（ｉ＝０の場合にはΔフレーム）にまで拡大する。
【００２１】
ここで、Ｌi は、−Δ, .... ,Δ−１の範囲の整数値をとるパラメータ（以下、Ｌi を伸縮パラメータと呼ぶ）であり、ダウンサンプリング後のフレームを指定するために用いるもので、２Δ≦Ｍを満たすものとする。また、Δはダウンサンプリングの対象となるフレーム候補の存在区間を表し、例えば、外部から与えられるパラメータである。
【００２２】
伸縮パラメータＬi をΔに限定したのは、このＬi の値が大きすぎると、フレーム間隔が等長から大きく外れることで、画質劣化が問題となることになるからである。
【００２３】
このように、本発明では、フレーム選択の候補を２Δフレームにまで拡大することになるが、いずれのフレームを選択するのかについては、次の基準に従うものとする。
【００２４】
フレーム選択の基準として動き補償予測誤差電力を用いることとし、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００２５】
信号ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ〔ｋ〕：変移量は動きベクトルと同義）を行った場合、その区間内の動き補償後の予測誤差電力は下記の式（１）のように表現できる。ここで、式（１）では、１つ前のフレームとの間で動き補償後の予測誤差電力を求めるようにしている。
【００２６】
【数１】
2010141451.tif 000003
【００２７】
Ｌi とＬi-1 が与えられた場合、この式（１）に従って、σi 2 〔Ｌi ，Ｌi-1 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定し、ｄ〔ｋ，Ｌi ，Ｌi-1 〕（ｋ＝０，１, .... ,Ｋ−１）とおく。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。
【００２８】
ここで、注意すべきは、Ｌi の設定方法（選択方法）である。σi 2 〔Ｌi ，Ｌi-1 〕を最小化するようにＬi を設定したのでは、シーケンス全体での予測誤差電力
Σσi 2 〔Ｌi ，Ｌi-1 〕
但し、Σはｉ＝１〜（Ｊ／Ｍ−１）の総和で、Ｊはフレーム数
を最小化したことにはならない。なぜなら、Ｌi の選択はσi 2 〔Ｌi ，Ｌi-1 〕にも影響を与えるからである。
【００２９】
従って、求めるべきパラメータは、下記の式（２）を満たすＪ／Ｍ個のパラメータである。
【００３０】
【数２】
2010141451.tif 000004
【００３１】
しかしながら、Ｊ／Ｍ個のパラメータ（Ｌ0 , .... ,ＬJ/M-1 ）の取り得る組み合わせはΔ×（２Δ）J/M-1 通りであり、この中から最適な組み合わせ（Ｌ* 0  , .... , Ｌ* J/M-1 ）を総当たりで探索するのは、計算量的に困難である。
【００３２】
そこで、本発明では、σi 2 〔Ｌi ，Ｌi-1 〕が直前フレームの結果のみに依存することに着目し、以下のように最適解を算出する。
【００３３】
まず、Ｌi として取り得る全ての値に対して、最適なＬi-1 , .... ,Ｌ0 を用いた場合のΣσi 2 〔Ｌi ，Ｌi-1 〕（但し、Σはｉ＝１〜ｉの総和）をＳi （Ｌi ）として定義する。
【００３４】
ここで、σi 2 〔Ｌi ，Ｌi-1 〕が直前フレームの結果のみに依存することに着目すると、Ｓi （Ｌi ）はＳi-1 （Ｌi-1 ）を用いて、図１に示すように、下記の式（３）のように表される。なお、ｉ＝１, .... ,（Ｊ／Ｍ−１）である。
【００３５】
【数３】
2010141451.tif 000005
【００３６】
この式（３）に従って算出したＳi （Ｌi ）（Ｌi ＝−Δ, .... ,Δ−１）をメモリに格納しておき、Ｓi+1 （Ｌi+1 ）の計算で用いるものとする。さらに、この式（３）の最小値を与えるＬi-1 を、図１中に示すように、＾Ｌi-1 （Ｌi ）とおく。この＾Ｌi-1 （Ｌi ）（Ｌi ＝−Δ, .... ,Δ−１）についても、全てメモリに格納しておくものとする。ここで、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
【００３７】
式（２）の最小化問題は、下記の式（４）のように表せる。
【００３８】
【数４】
2010141451.tif 000006
【００３９】
この式（４）を最小化するＬJ/M-1 をＬ* J/M-1 とおくと、このＬ* J/M-1 は下記の式（５）で表せる。
【００４０】
【数５】
2010141451.tif 000007
【００４１】
Ｌ* J/M-1 に対する最適解は、＾ＬJ/M-2 （ＬJ/M-1 ）としてメモリに格納されているので、その値を参照し、Ｌ* J/M-2 ＝＾ＬJ/M-2 （ＬJ/M-1 ）とする。以下、同様の参照処理を、
Ｌ* J/M-3 ＝＾ＬJ/M-3 （ＬJ/M-2 ），・・・・・，Ｌ* 0 ＝＾Ｌ0 （Ｌ1 ）
として繰り返す。
【００４２】
以上の説明では、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレーム選択を行うことで説明したが、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するように、ダウンサンプリング後のフレーム選択を行うことでもよい。ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられる。
【００４３】
〔２〕本発明の構成
次に、本発明の構成について説明する。
【００４４】
本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値（符号化効率表示値）を算出して、その算出した符号化効率表示値に基づいて、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを、最終のフレーム位置まで繰り返し実行する実行手段と、（２）最終のフレーム位置にある複数のフレームのそれぞれについて実行手段が算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出する検出手段と、（３）検出手段の検出したフレームを起点として実行手段の特定したフレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する選択手段とを備えるように構成する。
【００４５】
この構成を採るときに、実行手段は、算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定するように処理する。
【００４６】
また、実行手段は、符号化効率表示値として、動き補償予測誤差電力を算出したり、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出する。
【００４７】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００４８】
このように構成される本発明のフレームレート変換装置では、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率表示値（図１の例では動き補償予測誤差電力）を算出し、その算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定するという処理を、最終のフレーム位置まで繰り返し実行する。
【００４９】
続いて、最終のフレーム位置にある複数のフレームのそれぞれについて算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。
【００５０】
このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対する符号化効率を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。
【発明の効果】
【００５１】
本発明では、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対する符号化効率を考慮した形で、そのフレームレート変換処理を実行する。
【００５２】
これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになるとともに、全シーケンスに対する符号化効率を考慮しないで行う非等長のフレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【発明を実施するための最良の形態】
【００５３】
以下、実施の形態に従って本発明を詳細に説明する。
【００５４】
図２に、本発明のフレームレート変換装置１の装置構成の一例を図示する。
【００５５】
この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。
【００５６】
このフレームレートダウンサンプリング部１２は、動き推定部１２００を備えて、動き補償予測誤差電力を算出する動き補償予測誤差算出部１２０と、動き補償予測誤差算出部１２０の算出する動き補償予測誤差電力を使って、高フレームレート映像信号のフレームの中からフレームを選択することでフレームレートダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データを記憶する作業用メモリ１２２とを備える。
【００５７】
〔１〕動き推定部１２００の処理
ダウンサンプリング実行部１２１の実行するフレーム選択処理の説明に入る前に、動き補償予測誤差算出部１２０の備える動き推定部１２００の処理について説明する。
【００５８】
動き推定部１２００は、予測対象フレームと参照フレームとを入力として、下記に示す処理を実行することで、予測対象フレーム内のブロック毎の動きベクトルｄ〔ｋ〕、すなわち、式（１）におけるｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を推定する処理を行う。ここで、ｋはブロックを同定するインデックスである。
【００５９】
処理：・式（１）のΣ｛ｘ∈Ｂ〔ｋ〕｝の項（第ｋブロックの予測誤差和）を最小化す          る動きベクトルｄ〔ｋ〕を求める
・動きベクトルは、予め与えられた探索範囲−Ｄ≦ｄ〔ｋ〕≦Ｄ−１内の値から          選択される
・選択の方法は、探索範囲内の全ての候補ベクトルに対して、その候補ベクトル          を用いた場合の予測誤差和を算出し、その予測誤差和を最小化するベクトルを          ｄ〔ｋ〕とすることで行う
動き補償予測誤差算出部１２０は、動き推定部１２００の推定したベクトルｄ〔ｋ〕を使い、式（１）に基づいて、予測対象フレームと参照フレームとの間の動き補償予測誤差電力を算出する。
【００６０】
〔２〕ダウンサンプリング実行部１２１の処理
次に、ダウンサンプリング実行部１２１により実行されるフレームレートダウンサンプリング処理について説明する。
【００６１】
以下に説明するダウンサンプリング実行部１２１の処理では、ダウンサンプリングフレームの選択基準として、動き補償予測誤差誤差電力を用いる場合を示す。
【００６２】
図３に、ダウンサンプリング実行部１２１の装置構成の一例を図示する。
【００６３】
この図に示すように、ダウンサンプリング実行部１２１は、入力部１２１０と、処理フレーム位置選択部１２１１と、処理フレーム選択部１２１２と、参照フレーム決定部１２１３と、全フレーム位置終了判定部１２１４と、累積予測誤差最小化最終フレーム検出部１２１５と、決定参照フレーム追跡部１２１６とを備える。
【００６４】
この入力部１２１０は、高フレームレート映像信号のフレーム数Ｊと、高フレームレート映像信号のフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。
【００６５】
処理フレーム位置選択部１２１１は、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるダウンサンプリングフレーム位置（以下、フレーム位置と略記する）を選択対象として、先頭のフレーム位置の１つ後のフレーム位置を起点にして、最終のフレーム位置までのフレーム位置を順次、処理フレーム位置として選択する。
【００６６】
処理フレーム選択部１２１２は、処理フレーム位置選択部１２１１の選択した処理フレーム位置の近傍に位置する２Δ枚のフレームを順次、処理フレームとして選択する。
【００６７】
参照フレーム決定部１２１３は、処理フレーム選択部１２１２の選択した処理フレームと、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれとの間で動き補償予測誤差電力を算出して、その算出した動き補償予測誤差電力とその算出対象となった１つ前のフレーム位置の近傍に位置するフレームの持つ動き補償予測誤差電力の総和との加算値を求めて（累積予測誤差算出機能）、それらの中の最小値を特定することで（最小累積予測誤差特定機能）、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームの中から、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つフレームを特定することで参照フレームを決定する。
【００６８】
全フレーム位置終了判定部１２１４は、最終のフレーム位置までの全フレーム位置について処理を行ったのか否かを判定して、全フレーム位置について処理を行っていないことを判定するときには、処理フレーム位置選択部１２１１に対して次のフレーム位置を選択するように指示し、全フレーム位置について処理を行ったことを判定するときには、累積予測誤差最小化最終フレーム検出部１２１５に対して処理の実行を指示する。
【００６９】
累積予測誤差最小化最終フレーム検出部１２１５は、最終のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて算出された動き補償予測誤差電力の総和（参照フレーム決定部１２１３が算出したもの）について、それらの中の最小値を持つフレームを検出することで、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化する最終フレームを検出する。
【００７０】
決定参照フレーム追跡部１２１６は、累積予測誤差最小化最終フレーム検出部１２１５の検出した最終フレームを起点として、参照フレーム決定部１２１３の決定した参照フレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて参照フレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。
【００７１】
下記に、このように構成されるダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理の流れを示す。
【００７２】
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像      信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた      めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
４．  Ｌi ＝−Δ, .... ,Δ−１について以下の処理を行う
５．    Ｌi-1 ＝−Δ, .... ,Δ−１について以下の処理を行う
（ただし、Ｌ0 の場合は、Ｌ0 ＝０, .... ,Δ−１）
６．      参照フレームをｆ（ｘ，（（ｉ−１）Ｍ＋Ｌi-1 ）δt ）とする場合のｆ（            ｘ，（ｉＭ＋Ｌi ）δt ）に対する動き補償予測誤差電力（式（１))を最小            化する動きベクトルを求める。動きベクトルの求め方は外部から与えられる            。例えば、探索範囲内の候補をしらみつぶしにあたる全探索法を用いる。求            めた動きベクトルを用いた場合の動き補償予測誤差電力をσi 2 〔Ｌi ，Ｌ            i-1 〕に格納する
７．      σi 2 〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）の値を算出する
（ただし、Ｌ0 の場合は、σ1 2 〔Ｌ1 ，Ｌ0 〕の値を算出する）
８．    σi 2 〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ−１）          の中での最小値をＳi （Ｌi ）に格納する
（ただし、Ｌ0 の場合は、σ1 2 〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ                  −１）の中での最小値をＳ1 （Ｌ1 ）に格納する）
９．    Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）に格納する
10．  ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 に格納する
11．  ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
12．    Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）を算出する
13．  ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌi * ）δt ）        （ｘ＝０, .... ,Ｘ−１）を格納する。
【００７３】
このようにして、ダウンサンプリング実行部１２１は、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれとの間で、動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった１つ前のフレーム位置の近傍に位置するフレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームの中から、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【実施例】
【００７４】
次に、実施例に従って本発明を詳細に説明する。
【００７５】
図４〜図６に、ダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理のフローチャートの一例を図示する。
【００７６】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１の実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【００７７】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の実行要求があると、図４のフローチャートに示すように、まず最初に、ステップＳ１０で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。
【００７８】
続いて、ステップＳ２０で、ｉ＝１およびＬ1 の指定するフレームと、ｉ＝０およびＬ0 の指定するフレームとの間でＳ1 （Ｌ1 ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納する。このステップＳ２０の処理の詳細については、図５のフローチャートで後述する。
【００７９】
続いて、ステップＳ３０で、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間でＳi （Ｌi ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。このステップＳ３０の処理の詳細については、図６のフローチャートで後述する。
【００８０】
続いて、ステップＳ４０で、ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 として作業用メモリ１２２に格納する。
【００８１】
続いて、ステップＳ５０で、変数ｉにＪ／Ｍ−２をセットする。
【００８２】
続いて、ステップＳ６０で、Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）に従って、Ｌ* i-1 を算出して作業用メモリ１２２に格納する。
【００８３】
続いて、ステップＳ７０で、変数ｉの値を１つディクリメントする。
【００８４】
続いて、ステップＳ８０で、変数ｉの値が０に到達したのか否かを判断して、０に到達していないことを判断するときには、ステップＳ６０の処理に戻り、０に到達したことを判断するときには、ステップＳ９０の処理に進む。
【００８５】
続いて、ステップＳ９０で、ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌ* i ）δt ）（ｘ＝０, .... ,Ｘ−１）を格納する。
【００８６】
次に、図５のフローチャートに従って、ステップＳ２０で実行する処理の詳細について説明する。
【００８７】
ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートに示すように、まず最初に、ステップＳ２０１で、変数ｉに１をセットし、続くステップＳ２０２で、変数Ｌi に−Δをセットし、続くステップＳ２０３で、変数Ｌi-1 に０をセットする。すなわち、変数ｉに１をセットして、Ｌ1 に−Δをセットするとともに、Ｌ0 に０をセットするのである。
【００８８】
続いて、ステップＳ２０４で、ｉ＝１の場合において、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出して、それを作業用メモリ１２２に格納する。すなわち、σ1 2 〔Ｌ1 ，Ｌ0 〕を算出して、それを作業用メモリ１２２に格納するのである。
【００８９】
続いて、ステップＳ２０５で、ｉ＝１の場合において、変数Ｌi-1 の値を１つインクリメントし、続くステップＳ２０６で、変数Ｌi-1 の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻る。すなわち、Ｌ0 の値を１つインクリメントして、その値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻るのである。
【００９０】
このようにして、ｉ＝１の場合において、変数Ｌ0 の値を０からΔ−１まで１つずつインクリメントしながらステップＳ２０４の処理を実行することで、ｉ＝１および変数Ｌ1 の指定するフレームと、１つ前のフレーム位置にあるΔ枚のフレームのそれぞれとの間で動き補償予測誤差電力の最小値σ1 2 〔Ｌ1 ，Ｌ0 〕を算出して、それを作業用メモリ１２２に格納するのである。
【００９１】
一方、ステップＳ２０６で、変数Ｌi-1 の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ２０７に進んで、作業用メモリ１２２に格納したσi 2 〔Ｌi ，Ｌi-1 〕（Ｌi-1 ＝０, .... ,Δ−１）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。
【００９２】
すなわち、ｉ＝１の場合において、変数Ｌ1 のある値について、ステップＳ２０４を繰り返し実行することで求めたσ1 2 〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ−１）の中の最小値Ｓ1 （Ｌ1 ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するのである。
【００９３】
続いて、ステップＳ２０８で、ｉ＝１の場合において、変数Ｌi の値を１つインクリメントし、続くステップＳ２０９で、変数Ｌi の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻る。すなわち、変数Ｌ1 の値を１つインクリメントして、その値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻るのである。
【００９４】
このようにして、ｉ＝１の場合において、変数Ｌ1 の値を−ΔからΔ−１まで１つずつインクリメントしながらステップＳ２０４／ステップＳ２０７の処理を実行することで、変数Ｌ1 の値の−Δ〜Δ−１のそれぞれについて、σ1 2 〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ−１）を求めて、その中の最小値Ｓ1 （Ｌ1 ）を特定して作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するのである。
【００９５】
そして、ステップＳ２０９で、ｉ＝１の場合において、変数Ｌi の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ２０の処理を終了する。すなわち、Ｌ1 の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ２０の処理を終了するのである。
【００９６】
このようにして、ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートを実行することで、ｉ＝１およびＬ1 の指定するフレームと、ｉ＝０およびＬ0 の指定するフレームとの間でＳ1 （Ｌ1 ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するように処理するのである。
【００９７】
次に、図６のフローチャートに従って、ステップＳ３０で実行する処理の詳細について説明する。
【００９８】
ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートに示すように、まず最初に、ステップＳ３０１で、変数ｉに２をセットし、続くステップＳ３０２で、変数Ｌi に−Δをセットし、続くステップＳ３０３で、変数Ｌi-1 に−Δをセットする。
【００９９】
続いて、ステップＳ３０４で、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出する。
【０１００】
続いて、ステップＳ３０５で、σi 2 〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）を算出して作業用メモリ１２２に格納する。
【０１０１】
続いて、ステップＳ３０６で、変数Ｌi-1 の値を１つインクリメントし、続くステップＳ３０７で、変数Ｌi-1 の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ３０４の処理に戻る。
【０１０２】
このようにして、変数Ｌi-1 の値を−ΔからΔ−１まで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５の処理を実行することで、変数ｉおよび変数Ｌi の指定するフレームと、１つ前のフレーム位置にある２Δ枚のフレームのそれぞれとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出して、その算出したσi 2 〔Ｌi ，Ｌi-1 〕と、その２Δ枚のフレームのそれぞれが持つ先頭のフレーム位置からの動き補償予測誤差電力の総和Ｓi-1 （Ｌi-1 ）との加算値を算出し、それを作業用メモリ１２２に格納するのである。
【０１０３】
一方、ステップＳ３０７で、変数Ｌi-1 の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ３０８に進んで、作業用メモリ１２２に格納したσi 2 〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ−１）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。
【０１０４】
すなわち、変数ｉおよび変数Ｌi のある値（この時点では、ｉ＝２、Ｌi ＝−Δ）について、ステップＳ３０４／ステップＳ３０５を繰り返し実行することで求めたσi 2 〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ−１）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するのである。
【０１０５】
続いて、ステップＳ３０９で、変数Ｌi の値を１つインクリメントし、続くステップＳ３１０で、変数Ｌi の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ３０３の処理に戻る。
【０１０６】
このようにして、変数Ｌi の値を−ΔからΔ−１まで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５／ステップＳ３０８の処理を実行することで、変数Ｌi の値の−Δ〜Δ−１のそれぞれについて、σi 2 〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ−１）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するのである。
【０１０７】
一方、ステップＳ３１０で、変数Ｌi の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ３１１に進んで、変数ｉの値を１つインクリメントする。
【０１０８】
続いて、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったのか否かを判断して、Ｊ／Ｍ−１よりも大きくなっていないことを判断するときには、ステップＳ３０２の処理に戻ることで、最終のフレーム位置まで、Ｓi （Ｌi ）を特定して作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する処理を実行する。
【０１０９】
そして、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったことを判断するときには、ステップＳ３０の処理を終了する。
【０１１０】
このようにして、ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートを実行することで、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間でＳi （Ｌi ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するように処理するのである。
【０１１１】
以上に説明したように、ダウンサンプリング実行部１２１は、図４〜図５のフローチャートを実行することで、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれとの間で、動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった１つ前のフレーム位置の近傍に位置するフレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームの中から、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【０１１２】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（１）に従って、１つ前に選択したフレームとの間で動き補償予測誤差電力を算出するようにしているが、選択済みの複数のフレームとの間で動き補償予測誤差電力を算出するようにしてもよい。
【産業上の利用可能性】
【０１１３】
本発明は高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、従来のフレーム間引き処理により得られた映像信号よりも符号量を低く抑えることができるようになる。
【図面の簡単な説明】
【０１１４】
【図１】本発明で算出するＳi （Ｌi ）の算出処理の説明図である。
【図２】本発明のフレームレート変換装置の装置構成図である。
【図３】本発明のフレームレート変換装置の装置構成図である。
【図４】ダウンサンプリング実行部の実行するフローチャートである。
【図５】ダウンサンプリング実行部の実行するフローチャートである。
【図６】ダウンサンプリング実行部の実行するフローチャートである。
【図７】従来技術によるフレームレートダウンサンプリング処理の説明図である。
【符号の説明】
【０１１５】
１        フレームレート変換装置
１０      高フレームレート映像ファイル
１１      低フレームレート映像ファイル
１２      フレームレートダウンサンプリング部
１２０    動き補償予測誤差算出部
１２１    ダウンサンプリング実行部
１２２    作業用メモリ
１２００  動き推定部
１２１０  入力部
１２１１  処理フレーム位置選択部
１２１２  処理フレーム選択部
１２１３  参照フレーム決定部
１２１４  全フレーム位置終了判定部
１２１５  累積予測誤差最小化最終フレーム検出部
１２１６  決定参照フレーム追跡部
【図１】
2010141451.tif 000008
【図２】
2010141451.tif 000009
【図３】
2010141451.tif 000010
【図４】
2010141451.tif 000011
【図５】
2010141451.tif 000012
【図６】
2010141451.tif 000013
【図７】
2010141451.tif 000014