(57)【要約】【課題】２つの映像フレーム間を補間する補間フレームの画素の画素値を算出する。【解決手段】第１及び第２映像フレームから補間フレーム上の補間画素の補間画素動きベクトルを算出し、補間フレーム上の補間画素を通る補間画素動きベクトルと第１映像フレームとの交点で定まる第１画素における第１動きベクトルを算出し、補間フレーム上の補間画素を通る補間画素動きベクトルと第２映像フレームとの交点で定まる第２画素における第２動きベクトルを算出する動きベクトル算出部と、補間画素動きベクトルと第１動きベクトルとが同一のとき第１画素の第１寄与率を１とし、補間画素動きベクトルと第２動きベクトルとが同一のとき第２画素の第２寄与率を１とし、補間画素の画素値を、第１画素の画素値、第１寄与率、第２画素の画素値、第２寄与率に基づいて算出する画素値算出部と、を備える装置とした。【選択図】図１
2010278760.tif 000002
【特許請求の範囲】
【請求項１】
第１映像フレームと第２映像フレームとの間を補間する補間フレームの画素の画素値を算出するフレーム補間装置であって、
前記第１映像フレームと前記第２映像フレームとから、前記補間フレーム上の補間画素の補間画素動きベクトルを算出し、
前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第１映像フレームとの交点で定められる第１画素と、前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第２映像フレームとの交点で定められる第２画素とを算出し、
前記第１映像フレーム上の前記第１画素における第１動きベクトルを算出し、
前記第２映像フレーム上の前記第２画素における第２動きベクトルを算出する動きベクトル算出部と、
前記補間画素動きベクトルと前記第１動きベクトルとが同一である場合、前記第１画素の第１寄与率を１とし、
前記補間画素動きベクトルと前記第２動きベクトルとが同一である場合、前記第２画素の第２寄与率を１とし、
前記補間画素の画素値を、前記第１画素の画素値に前記第１寄与率を乗算した値、及び、前記第２画素の画素値に前記第２寄与率を乗算した値に基づいて、算出する画素値算出部と、
を備えるフレーム補間装置。
【請求項２】
前記画素値算出部は、
前記補間画素動きベクトルと前記第１動きベクトルとのなす角である第１角度を算出し、前記第１角度に基づいて第１寄与率を算出し、
前記補間画素動きベクトルと前記第２動きベクトルとのなす角である第２角度を算出し、前記第２角度に基づいて第２寄与率を算出する
請求項１に記載のフレーム補間装置。
【請求項３】
前記画素値算出部は、
前記補間画素動きベクトル及び前記第１動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第１寄与率を０とし、
前記補間画素動きベクトル及び前記第２動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第２寄与率を０とする、
請求項１に記載のフレーム補間装置。
【請求項４】
コンピュータが、第１映像フレームと第２映像フレームとの間を補間する補間フレームの画素の画素値を算出するフレーム補間方法であって、
前記コンピュータが、
前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第１映像フレームとの交点で定められる第１画素と、前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第２映像フレームとの交点で定められる第２画素とを算出し、
前記第１映像フレーム上の前記第１画素における第１動きベクトルを算出し、
前記第２映像フレーム上の前記第２画素における第２動きベクトルを算出し、
前記補間画素動きベクトルと前記第１動きベクトルとが同一である場合、前記第１画素の第１寄与率を１とし、
前記補間画素動きベクトルと前記第２動きベクトルとが同一である場合、前記第２画素の第２寄与率を１とし、
前記補間画素の画素値を、前記第１画素の画素値、前記第１寄与率、前記第２画素の画
素値、及び、前記第２寄与率に基づいて、算出する、
ことを実行するフレーム補間方法。
【請求項５】
前記コンピュータが、
前記補間画素動きベクトルと前記第１動きベクトルとのなす角である第１角度を算出し、前記第１角度に基づいて第１寄与率を算出し、
前記補間画素動きベクトルと前記第２動きベクトルとのなす角である第２角度を算出し、前記第２角度に基づいて第２寄与率を算出する
ことを実行する請求項４に記載のフレーム補間方法。
【請求項６】
前記コンピュータが、
前記補間画素動きベクトル及び前記第１動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第１寄与率を０とし、
前記補間画素動きベクトル及び前記第２動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第２寄与率を０とする、
ことを実行する請求項４に記載のフレーム補間方法。
【請求項７】
コンピュータが、第１映像フレームと第２映像フレームとの間を補間する補間フレームの画素の画素値を算出するためのフレーム補間プログラムであって、
前記コンピュータが、
前記第１映像フレームと前記第２映像フレームとから、前記補間フレーム上の補間画素の補間画素動きベクトルを算出し、
前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第１映像フレームとの交点で定められる第１画素と、前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第２映像フレームとの交点で定められる第２画素とを算出し、
前記第１映像フレーム上の前記第１画素における第１動きベクトルを算出し、
前記第２映像フレーム上の前記第２画素における第２動きベクトルを算出し、
前記補間画素動きベクトルと前記第１動きベクトルとが同一である場合、前記第１画素の第１寄与率を１とし、
前記補間画素動きベクトルと前記第２動きベクトルとが同一である場合、前記第２画素の第２寄与率を１とし、
前記補間画素の画素値を、前記第１画素の画素値、前記第１寄与率、前記第２画素の画素値、及び、前記第２寄与率に基づいて、算出する、
ことを実行するためのフレーム補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの映像フレーム間を補間する補間フレームを生成するフレーム補間装置、フレーム補間方法、及び、フレーム補間プログラムに関する。
【背景技術】
【０００２】
液晶ディスプレイに表示する動画のボケ改善や、ワンセグ放送のような低フレームレート映像の画質向上の方法として、映像信号で形成される映像フレーム間に動きを補間した中間フレーム（補間フレーム）を挿入するフレーム補間技術が知られている。このフレーム補間技術は、主に２つのステップを含む。１つのステップは動きベクトル探索であり、もう１つのステップは補間フレーム生成である。
【０００３】
動きベクトルは、２つの映像フレームにおける同一の物体が、当該２つの映像フレーム間で、移動した方向及び距離を示すベクトルである。当該動きベクトルは、当該２つの映像フレーム間の時間差を、時間成分として有する。動きベクトル探索は、２つの映像フレームから動きベクトルを算出することである。補間フレーム生成は、映像フレーム及び動きベクトル等に基づいて、補間フレームの各画素の画素値を算出して、補間フレームを生成することである。
【０００４】
補間フレーム生成の方法の１つとして、補間フレームの画素の画素値を、動きベクトルに基づく映像フレームの参照画素の画素値と、停止ベクトルに基づく映像フレームの参照画素の画素値とから算出する方法がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６８９１２号公報
【特許文献２】特開２００８−１３５９８０号公報
【特許文献３】国際公開第２００２／０５６５８９号
【特許文献４】特許第４０５３４２２号公報
【特許文献５】特開２００５−１７６３８１号公報
【特許文献６】特開２００４−１２８７０２号公報
【特許文献７】特開２００８−２４５１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
補間フレームの画素の画素値を算出する際、オクルージョンの影響等により、動きベクトル探索が適切であっても、不適切な画素が参照される場合がある。この場合、補間フレームの画素の画素値の算出において不適切な画素の画素値が使用されるため、補間フレームの画素の画素値として不適切な画素値が算出される。ここで、オクルージョンは、被写体の手前に存在する物体などにより被写体が隠される現象である。
【０００７】
オクルージョンの影響を軽減する技術として、画素値を算出する補間フレームの画素の周辺の画素の動きベクトルを使用することで、補間フレームの画素の画素値の算出において不適切な画素の比重を下げて画素値を算出するものがある。しかし、この技術では、補間フレームの画素の画素値を算出する際に、多くの動きベクトルを使用することになり、計算量が膨大になる。
【０００８】
本件開示の装置は、２つの映像フレーム間を補間する補間フレームの画素の画素値を算
出することを目的とする。
【課題を解決するための手段】
【０００９】
開示のフレーム補間装置は、上記課題を解決するために、以下の手段を採用する。
【００１０】
即ち、開示の一態様は、
第１映像フレームと第２映像フレームとの間を補間する補間フレームの画素の画素値を算出するフレーム補間装置であって、
前記第１映像フレームと前記第２映像フレームとから、前記補間フレーム上の補間画素の補間画素動きベクトルを算出し、
前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第１映像フレームとの交点で定められる第１画素と、前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第２映像フレームとの交点で定められる第２画素とを算出し、
前記第１映像フレーム上の前記第１画素における第１動きベクトルを算出し、
前記第２映像フレーム上の前記第２画素における第２動きベクトルを算出する動きベクトル算出部と、
前記補間画素動きベクトルと前記第１動きベクトルとが同一である場合、前記第１画素の第１寄与率を１とし、
前記補間画素動きベクトルと前記第２動きベクトルとが同一である場合、前記第２画素の第２寄与率を１とし、
前記補間画素の画素値を、前記第１画素の画素値に前記第１寄与率を乗算した値、及び、前記第２画素の画素値に前記第２寄与率を乗算した値に基づいて、算出する画素値算出部と、
を備えるフレーム補間装置である。
【発明の効果】
【００１１】
本件開示の装置によれば、２つの映像フレーム間を補間する補間フレームの画素の画素値を算出することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、フレーム補間装置１０の例を示す図である。
【図２】図２は、フレーム補間装置１００の例を示す図である。
【図３】図３は、フレーム補間装置１００の動作フローの例を示す図である。
【図４】図４は、補間フレームの画素の動きベクトル探索の例を示す図である。
【図５】図５は、参照画素の位置の算出の例を示す図である。
【図６】図６は、前フレームの参照画素の動きベクトル探索の例を示す図である。
【図７】図７は、現フレームの参照画素の動きベクトル探索の例を示す図である。
【図８】図８は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの参照画素の寄与率の算出の動作フローの例を示す図である。
【図９】図９は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの画素値の算出の動作フローの例を示す図である。
【図１０】図１０は、２つのベクトルのなす角と寄与率との関係のグラフの例を示す図である。
【図１１】図１１は、動きベクトルＭｖ（Ｐｏ）及び動きベクトルＭｖ（Ｐａ）と、この２つのベクトルがなす角θｐａの例（１）を示す図である。
【図１２】図１２は、動きベクトルＭｖ（Ｐｏ）及び動きベクトルＭｖ（Ｐａ）と、この２つのベクトルがなす角θｐａの例（２）を示す図である。
【図１３】図１３は、実施形態２の具体例を説明する図である。
【図１４】図１４は、フレーム補間装置２００の例を示す図である。
【図１５】図１５は、フレーム補間装置２００の動作フローの例を示す図である。
【図１６】図１６は、参照画素の画素値の差分絶対値と信頼度の関係のグラフの例を示す図である。
【図１７】図１７は、フレームレート変換装置３００の例を示す図である。
【図１８】図１８は、フレーム補間装置４００の例を示す図である。
【図１９】図１９は、補間フレームの画素の動きベクトル探索の例を示す図である。
【図２０】図２０は、補間画素の位置の算出の例を示す図である。
【図２１】図２１は、フレームレート変換装置５００の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。
【００１４】
〔実施形態１〕
（構成例）
図１は、実施形態１のフレーム補間装置１０の例を示す図である。フレーム補間装置１０は、動きベクトル探索部１１及び画素値算出部１２を含む。フレーム補間装置１０は、入力装置２１及び出力装置２２と接続される。
【００１５】
入力装置２１は、フレーム補間装置１０に、所定時間毎に、映像フレームを出力する。映像フレームは、例えば、各画素の画素値を含む。
【００１６】
フレーム補間装置１０は、入力された連続する２つの映像フレームの間を補間する補間フレームの画素（補間画素）の画素値を算出する。フレーム補間装置１０は、２つの映像フレームのちょうど中間に１つの補間フレームだけを生成する。
【００１７】
動きベクトル探索部１１は、入力装置２１から入力された連続する２つの映像フレームから、当該２つの映像フレームの間を補間する補間フレーム上の補間画素の補間画素動きベクトルを算出する。補間画素動きベクトルは、例えば、ブロックマッチングによって算出される。ここで、最後に入力された映像フレームが第１映像フレームであるとする。また、第１フレームの直前に入力された映像フレームが、第２映像フレームであるとする。
【００１８】
動きベクトル探索部１１は、補間画素を通る補間画素動きベクトルと第１映像フレームとの交点で定まる第１画素における第１動きベクトルを算出する。また、動きベクトル探索部１１は、補間画素を通る補間画素動きベクトルと第２映像フレームとの交点で定まる第２画素における第２動きベクトルを算出する。第１動きベクトル、及び、第２動きベクトルは、例えば、ブロックマッチングによって算出される。
【００１９】
画素値算出部１２は、補間画素動きベクトルと第１動きベクトルとが同一である場合、第１画素の第１寄与率を１とする。画素値算出部１２は、補間画素動きベクトルと第２動きベクトルとが同一である場合、第２画素の第２寄与率を１とする。画素値算出部１２は、例えば、補間画素動きベクトルと第１動きベクトルとのなす角に基づいて、第１寄与率を算出することができる。また、画素値算出部１２は、補間画素動きベクトルと第２動きベクトルとのなす角に基づいて、第２寄与率を算出することができる。
【００２０】
画素値算出部１２は、第１画素の画素値に第１寄与率を乗算した値、及び、第２画素の画素値に第２寄与率を乗算した値に基づいて、補間画素の画素値を算出する。画素値算出部１２は、例えば、第１画素の画素値に第１寄与率を乗算した値と第２画素の画素値に第２寄与率を乗算した値との和を、第１寄与率と第２寄与率との和で除した値を、補間画素の画素値とすることができる。
【００２１】
画素値算出部１２は、補間フレームのすべての補間画素について、画素値を算出し、補間フレームを生成することができる。画素値算出部１２は、生成した補間フレームを、出力装置２２に出力する。
【００２２】
（実施形態１の作用効果）
フレーム補間装置１０は、入力された連続する２つの映像フレーム（第１映像フレーム及び第２映像フレーム）の間を補間する補間フレームの補間画素の動きベクトル（補間画素動きベクトル）を算出する。フレーム補間装置１０は、補間画素動きベクトルに基づいて、第１映像フレーム上の第１画素の位置、及び、第２フレーム上の第２画素の位置を算出する。フレーム補間装置１０は、第１画素の動きベクトル（第１動きベクトル）、第２画素の動きベクトル（第２動きベクトル）を算出する。フレーム補間装置１０は、補間画素動きベクトル及び第１動きベクトルから第１寄与率、補間画素動きベクトル及び第２動きベクトルから第２寄与率を算出する。フレーム補間装置１０は、第１画素の画素値、第１寄与率、第２画素の画素値、第２寄与率に基づいて、補間画素の画素値を算出する。
【００２３】
フレーム補間装置１０によれば、補間画素の画素値を算出する際に、適切な参照画素の画素値を使用することで、映像フレーム間を補間する補間フレームを生成することができる。
【００２４】
〔実施形態２〕
（構成例）
図２は、実施形態２のフレーム補間装置の例を示す図である。フレーム補間装置１００は、２つの連続する映像フレーム（現フレーム及び前フレーム）から、これらの映像フレーム間の動きを補間する補間フレームを生成する。フレーム補間装置１００は、２つの映像フレームのちょうど中間に１つの補間フレームだけを生成する。
【００２５】
フレーム補間装置１００は、動きベクトル探索部１１０、補間画素生成部１２０を含む。補間画素生成部１２０は、寄与率計算部１２２、重み付け計算部１２４を含む。
【００２６】
フレーム補間装置１００には、映像フレームが、フレームＦ（ｘ）、フレームＦ（ｘ＋１）、フレームＦ（ｘ＋２）のように、順に入力される。ここでは、前フレームＦ（ｎ−１）及び現フレームＦ（ｎ）が、フレーム補間装置１００に入力される。前フレームＦ（ｎー１）は、現フレームＦ（ｎ）の直前にフレーム補間装置１００に入力されるフレームである。映像フレームは、バッファ等のメモリから、フレーム補間装置１００によって、読み出されてもよい。
【００２７】
動きベクトル探索部１１０は、映像フレームを入力される。動きベクトル探索部１１０は、補間画素生成部１２０と接続される。動きベクトル探索部１１０は、入力された映像フレームの映像フレーム間で動きベクトルを探索し、探索した動きベクトルを補間画素生成部１２０に出力する。動きベクトル探索部１１０は、補間フレームの各画素の動きベクトルを探索する。補間フレームの画素は、映像フレーム間の動きを補間する補間画素である。
【００２８】
動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）上の補間画素Ｐｏと、補間画素Ｐｏの動きベクトルＭｖ（Ｐｏ）から、前フレームＦ（ｎ−１）上の参照画素Ｐａの位置、及び、現フレームＦ（ｎ）上の参照画素Ｐｂの位置を求める。動きベクトル探索部１１０は、参照画素Ｐａの動きベクトルＭｖ（Ｐａ）及び参照画素Ｐｂの動きベクトルＭｖ（Ｐｂ）を探索する。
【００２９】
補間画素生成部１２０は、動きベクトル探索部１１０と接続され、補間フレームＦ（ｉ−１）を生成する。
【００３０】
寄与率計算部１２２は、動きベクトル探索部１１０及び重み付け計算部１２４に接続される。寄与率計算部１２２は、参照画素Ｐａの補間画素Ｐｏへの寄与率Ｃａ及び参照画素Ｐｂの補間画素Ｐｏへの寄与率Ｃｂを算出する。寄与率計算部１２２は、動きベクトルＭｖ（Ｐａ）、動きベクトルＭｖ（Ｐｂ）、及び、動きベクトルＭｖ（Ｐｏ）に基づいて、寄与率Ｃａ及びＣｂを算出する。
【００３１】
重み付け計算部１２４は、寄与率計算部１２２に接続され、補間フレームＦ（ｉ−１）の各画素の画素値を算出し、補間フレームＦ（ｉ−１）を生成する。重み付け計算部１２４は、参照画素の画素値、寄与率、補間画素と同一位置の前フレームＦ（ｎ−１）上の画素の画素値、補間画素と同一位置の現フレームＦ（ｎ）の画素の画素値に基づいて、補間画素の画素値を算出する。
【００３２】
フレーム補間装置１００は、パーソナルコンピュータ（ＰＣ、Personal Computer）の
ような汎用のコンピュータまたはサーバマシンのような専用のコンピュータを使用して実現可能である。
【００３３】
フレーム補間装置１００は、ＰＣ、ワークステーション（ＷＳ、Work Station）、ＰＤＡ（Personal Digital Assistant）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
【００３４】
コンピュータ、すなわち、情報処理装置は、プロセッサ、主記憶装置、及び、二次記憶装置や、通信インタフェース装置のような周辺装置とのインタフェース装置を含む。主記憶装置及び二次記憶装置は、コンピュータ読み取り可能な記録媒体である。
【００３５】
コンピュータは、プロセッサが記録媒体に記憶されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。
【００３６】
プロセッサは、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Data Signal Processor）である。主記憶装置は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。
【００３７】
二次記憶装置は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディス
クドライブ（ＨＤＤ、Hard Disk Drive）である。また、二次記憶装置は、リムーバブル
メディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）のようなディスク記録媒体である。
【００３８】
通信インタフェース装置は、例えば、ＬＡＮ（Local Area Network）インタフェースボードや、無線通信のための無線通信回路である。
【００３９】
周辺装置は、上記の二次記憶装置や通信インタフェース装置の他、キーボードやポインティングデバイスのような入力装置や、ディスプレイ装置やプリンタのような出力装置を含む。また、入力装置は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。また、出力装置は、スピーカのような音声の出力装置を含むことができる。
【００４０】
フレーム補間装置１００を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、動きベクトル探索部１１０及び補間画素生成部１２０としての機能を実現する。
【００４１】
他の実施形態に記載される装置についても同様である。
【００４２】
（動作例）
〈全体の動作フロー〉
図３は、フレーム補間装置１００の動作フローの例を示す図である。
【００４３】
フレーム補間装置１００は、前フレームＦ（ｎ−１）及び現フレームＦ（ｎ）が入力されることを契機として、補間フレームＦ（ｉ−１）を生成する。フレーム補間装置１００は、補間フレームＦ（ｉ−１）の補間画素の動きベクトルを探索する（Ｓ１０１）。フレーム補間装置１００は、ブロックマッチングにより、補間画素の動きベクトルを求めることができる。
【００４４】
フレーム補間装置１００は、補間フレームＦ（ｉ―１）の補間画素の動きベクトルに基づいて、前フレームＦ（ｎ−１）内及び現フレームＦ（ｎ）内の参照画素の位置を求める（Ｓ１０２）。参照画素の画素値は、補間フレームＦ（ｉ―１）の補間画素の画素値を求める際に、使用される。
【００４５】
フレーム補間装置１００は、参照画素の位置が求まると、参照画素の動きベクトルを求める（Ｓ１０３）。参照画素の動きベクトルは、補間画素における参照画素の寄与率を求める際に使用される。フレーム補間装置１００は、ブロックマッチングにより、参照画素の動きベクトルを求めることができる。
【００４６】
フレーム補間装置１００は、ステップＳ１０３で求めた参照画素の動きベクトルと、ステップＳ１０１で求めた参照画素を求める際に使用した動きベクトルとを比較する。フレーム補間装置１００は、比較結果に基づいて、補間フレームＦ（ｉ―１）の補間画素の画素値を求める際の参照画素の寄与率を求める（Ｓ１０４）。例えば、フレーム補間装置１００は、両動きベクトルに差異がある場合、参照画素として不適切であると判断し、当該参照画素の寄与率を低くする。
【００４７】
フレーム補間装置１００は、ステップＳ１０２で位置を求めた参照画素の画素値、ステップＳ１０４で求めた参照画素の寄与率などに基づいて、補間フレームＦ（ｉ−１）の補間画素の画素値を求める（Ｓ１０５）。補間フレームＦ（ｉ−１）のすべての補間画素について画素値が算出されることで、補間フレームＦ（ｉ−１）が完成する。
【００４８】
図３の動作フローの各ステップについては、後に詳述する。
【００４９】
〈補間フレームの画素の動きベクトル探索の例〉
図４は、補間フレームの画素の動きベクトル探索の例を示す図である。補間フレームの画素の動きベクトル探索は、図３の動作フローのステップＳ１０１に相当する。
【００５０】
動きベクトル探索部１１０には、現フレームＦ（ｎ）及び前フレームＦ（ｎ−１）が入力される。
【００５１】
動きベクトル探索部１１０は、現フレームＦ（ｎ）と前フレームＦ（ｎ−１）との間に補間フレームＦ（ｉ−１）を生成する。このとき、補間フレームＦ（ｉ−１）の各画素の画素値は、初期状態（例えば、すべての値が０）である。ここで、ｉは、
【００５２】
【数１】
2010278760.tif 000003
【００５３】
と表される。
【００５４】
動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）の画素を、ｐ画素×ｑ画素の画像ブロック単位で分割する。動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）上の分割されたｐ画素×ｑ画素の画像ブロックの１つを、画像ブロックＢｏとする。
【００５５】
画像ブロックＢａは、画像ブロックＢｏと同じ大きさである前フレームＦ（ｎ−１）上の画像ブロックである。また、画像ブロックＢｂは、画像ブロックＢｏを中心として、画像ブロックＢａと対称となる位置であり、画像ブロックＢｏと同じ大きさである現フレームＦ（ｎ）上の画像ブロックである。
【００５６】
動きベクトル探索部１１０は、画像ブロックＢａ内の画素の画素値と、当該画素に対応する画像ブロックＢｂ内の画素の画素値との差分絶対値を算出する。画像ブロックＢａ内の画素に対応する画像ブロックＢｂ内の画素は、画像ブロックＢａ内の画素の画像ブロックＢａにおける位置が画像ブロックＢｂにおける位置と同じである画像ブロックＢｂ内の画素である。図４の例では、動きベクトル探索部１１０は、画像ブロックＢａの画素Ｘａと、画素Ｘａに対応する画像ブロックＢｂの画素Ｘｂとで、画素値の差分絶対値を算出する。動きベクトル探索部１１０は、画像ブロックＢａ内のすべての画素の画素値と、それぞれの画素に対応する画像ブロックＢｂ内の画素の画素値との差分絶対値を算出する。動きベクトル探索部１１０は、算出した画素値の差分絶対値の和である累積加算値を算出する。
【００５７】
動きベクトル探索部１１０は、画像ブロックＢａの位置を所定の範囲内で移動し、それぞれの位置で、累積加算値を算出する。動きベクトル探索部１１０は、累積加算値が一番小さい場合の、画像ブロックＢａの位置及び画像ブロックＢｂの位置の組を求める。このとき、動きベクトル探索部１１０は、求めた画像ブロックＢａの位置から求めた画像ブロックＢｂの位置へのベクトルを、画像ブロックＢｏの動きベクトルＭｖ（Ｂｏ）とする。また、動きベクトル探索部１１０は、動きベクトルＭｖ（Ｂｏ）を、画像ブロックＢｏ内のすべての画素における動きベクトルとする。
【００５８】
動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）のすべての画像ブロックについて、動きベクトルを生成する。これにより、動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）のすべての画素について、動きベクトルを生成することができる。
【００５９】
動きベクトル探索部１１０は、補間フレームの補間画素の動きベクトルを他の方法により求めてもよい。
【００６０】
〈参照画素の位置の算出の例〉
図５は、参照画素の位置の算出の例を示す図である。参照画素の位置の算出は、図３の動作フローのステップＳ１０２に相当する。
【００６１】
フレーム補間装置１００は、補間フレームＦ（ｉ−１）上の補間画素Ｐｏの画素値を算出する際に、前フレームＦ（ｎ−１）内の参照画素Ｐａの画素値、現フレームＦ（ｎ）内の参照画素Ｐｂの画素値を使用する。
【００６２】
動きベクトル探索部１１０は、前フレームＦ（ｎ−１）内の参照画素Ｐａの位置及び現フレームＦ（ｎ）内の参照画素Ｐｂの位置を求める。
【００６３】
参照画素Ｐａ、Ｐｂの位置ベクトルが、それぞれ、位置ベクトルＰａ、Ｐｂであるとする。また、補間画素Ｐｏと同一位置の前フレームＦ（ｎ−１）内の画素は、画素Ｐｃである。補間画素Ｐｏと同一位置の原フレームＦ（ｎ）内の画素は、画素Ｐｄである。位置ベクトルＰａとＰｏとの関係、及び、位置ベクトルＰｂとＰｏとの関係は、次のようになる。
【００６４】
【数２】
2010278760.tif 000004
【００６５】
ここで、動きベクトルＭｖ（Ｐｏ）は、補間フレームＦ（ｉ−１）内の補間画素Ｐｏの動きベクトルである。
【００６６】
補間画素Ｐｏの位置が（Ｘｏ，Ｙｏ）であり、動きベクトルＭｖ（Ｐｏ）のｘ成分及びｙ成分が（Ｖｘ，Ｖｙ）であるとすると、参照画素Ｐａ及びＰｂの位置は次のように求められる。
【００６７】
【数３】
2010278760.tif 000005
【００６８】
また、補間画素Ｐｏの位置が（Ｘｏ，Ｙｏ）であるとき、画素Ｐｃ及び画素Ｐｄの位置は（Ｘｏ，Ｙｏ）である。
【００６９】
また、動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）のすべての補間画素について、前フレームＦ（ｎ−１）上の参照画素の位置、現フレームＦ（ｎ）上の参照画素の位置を算出する。
【００７０】
〈参照画素の動きベクトル探索の例〉
図６は、前フレームの参照画素の動きベクトル探索の例を示す図である。前フレームの参照画素の動きベクトル探索及び後述する現フレームの参照画素の動きベクトル探索は、図３の動作フローのステップＳ１０３に相当する。
【００７１】
動きベクトル探索部１１０は、参照画素の位置と、前フレームＦ（ｎ−１）及び現フレームＦ（ｎ）とから、参照画素の動きベクトルを算出する。
【００７２】
画像ブロックＢｖ１は、前フレームＦ（ｎ−１）内の参照画素Ｐａ及びその周辺画素を含む画像ブロックである。画像ブロックＢｖ２は、画像ブロックＢｖ１と同じ大きさである現フレームＦ（ｎ）内の画像ブロックである。
【００７３】
動きベクトル探索部１１０は、画像ブロックＢｖ１内の画素の画素値と、当該画素に対応する画像ブロックＢｖ２内の画素の画素値との差分絶対値を算出する。画像ブロックＢｖ１内の画素に対応する画像ブロックＢｖ２内の画素は、画像ブロックＢｖ１内の画素の画像ブロックにおける位置が画像ブロックＢｖ２における位置と同じである画像ブロックＢｖ２内の画素である。図６の例では、動きベクトル探索部１１０は、画像ブロックＢｖ１の画素Ｘ１と、画素Ｘ１に対応する画像ブロックＢｖ２の画素Ｘ２とで、画素値の差分絶対値を算出する。動きベクトル探索部１１０は、画像ブロックＢｖ１内のすべての画素の画素値と、それぞれの画素に対応する画像ブロックＢｖ２内の画素の画素値との差分絶対値を算出する。動きベクトル探索部１１０は、算出した画素値の差分絶対値の和である累積加算値を算出する。
【００７４】
動きベクトル探索部１１０は、現フレームＦ（ｎ）内の画像ブロックＢｖ２の位置を所定の範囲内で移動し、それぞれの位置で、累積加算値を算出する。動きベクトル探索部１１０は、累積加算値が最小である場合の、画像ブロックＢｖ２の位置を求める。このとき、ベクトル探索部１１０は、画像ブロックＢｖ１の位置から、求めた画像ブロックＢｖ２の位置までのベクトルを、参照画素Ｐａの動きベクトルＭｖ（Ｐａ）とする。
【００７５】
図７は、現フレームの参照画素の動きベクトル探索の例を示す図である。現フレームの参照画素Ｐｂの動きベクトル探索は、前フレームの参照画素Ｐａの動きベクトル探索と共通点を有する。ここでは、主に相違点について説明する。
【００７６】
画像ブロックＢｗ１は、現フレームＦ（ｎ）内の参照画素Ｐｂ及びその周辺画素を含む画像ブロックである。画像ブロックＢｗ２は、画像ブロックＢｗ１と同じ大きさである前フレームＦ（ｎ−１）内の画像ブロックである。
【００７７】
動きベクトル探索部１１０は、前フレームＦ（ｎ−１）内の画像ブロックＢｗ２の位置を所定の範囲内で移動し、それぞれの位置で、画像ブロックＢｗ１の各画素値と画像ブロックＢｗ２の各画素値との差分絶対値の和である累積加算値を算出する。動きベクトル探索部１１０は、累積加算値が最小である場合の、画像ブロックＢｗ２の位置を求める。このとき、ベクトル探索部１１０は、画像ブロックＢｗ２の位置から、求めた画像ブロックＢｗ１の位置までのベクトルを、参照画素Ｐｂの動きベクトルＭｖ（Ｐｂ）とする。
【００７８】
以上説明したように、動きベクトル探索部１１０は、参照画素Ｐａ及びＰｂの動きベクトルＭｖ（Ｐａ）及び動きベクトルＭｖ（Ｐｂ）を算出する。また、動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）のすべての補間画素について、前フレームＦ（ｎ−１）上の参照画素の動きベクトル、現フレームＦ（ｎ）上の参照画素の動きベクトルを算出する。
【００７９】
動きベクトル探索部１１０は、参照画素の動きベクトルを他の方法により求めてもよい。例えば、動きベクトル探索部１１０は、参照画素の動きベクトルを、補間フレームＦ（ｉ−１）の動きベクトルで代用できる。即ち、動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）における参照画素の位置の動きベクトルを、参照画素の動きベクトルとしてもよい。動きベクトル探索部１１０は、参照画素の動きベクトルを、補間フレームＦ（ｉ−１）の動きベクトルで代用することにより、計算処理量を軽減することができる。
【００８０】
〈参照画素の寄与率の算出の例〉
補間画素生成部１２０の寄与率計算部１２２は、動きベクトル探索部１１０が求めた動きベクトルに基づいて、補間フレームＦ（ｉ―１）の補間画素の画素値を求める際の参照画素の寄与率を求める。参照画素の寄与率の算出は、図３のステップＳ１０４に相当する。
【００８１】
動きベクトル探索部１１０は、補間フレームＦ（ｉ−１）の補間画素毎に、補間フレームの画素の動きベクトル、参照画素の動きベクトルを寄与率計算部１２２に、送信する。
【００８２】
寄与率計算部１２２は、補間フレームＦ（ｉ−１）の補間画素毎に、補間フレームの画素の動きベクトル、参照画素の動きベクトルを、受信する。
【００８３】
図８は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの参照画素の寄与率の算出の動作フローの例を示す図である。
【００８４】
寄与率計算部１２２は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの動きベクトルＭｖ（Ｐｏ）と、参照画素Ｐａの動きベクトルＭｖ（Ｐａ）とを比較する（Ｓ２０１）。寄与率計算部１２２は、動きベクトルＭｖ（Ｐｏ）と動きベクトルＭｖ（Ｐａ）とが一致する場合（Ｓ２０１；ＹＥＳ）、参照画素Ｐａの寄与率Ｃａを１とする（Ｓ２０２）。寄与率計算部１２２は、動きベクトルＭｖ（Ｐｏ）と動きベクトルＭｖ（Ｐａ）とが一致しない場合（Ｓ２０１；ＮＯ）、参照画素Ｐａの寄与率Ｃａを０とする（Ｓ２０３）。
【００８５】
また、寄与率計算部１２２は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの動きベクトルＭｖ（Ｐｏ）と、参照画素Ｐｂの動きベクトルＭｖ（Ｐｂ）とを比較する（Ｓ２０４）。寄与率計算部１２２は、動きベクトルＭｖ（Ｐｏ）と動きベクトルＭｖ（Ｐｂ）とが一致する場合（Ｓ２０４；ＹＥＳ）、参照画素Ｐｂの寄与率Ｃｂを１とする（Ｓ２０５）。寄与率計算部１２２は、動きベクトルＭｖ（Ｐｏ）と動きベクトルＭｖ（Ｐｂ）とが一致しない場合（Ｓ２０４；ＮＯ）、参照画素Ｐｂの寄与率Ｃｂを０とする（Ｓ２０６）。
【００８６】
寄与率計算部１２２は、同様にして、補間フレームＦ（ｉ−１）のすべての補間画素の、参照画素の寄与率を算出する。
【００８７】
〈補間フレームの補間画素の画素値の算出の例〉
重み付け計算部１２４は、補間フレームＦ（ｉ−１）の補間画素の画素値を算出する。補間フレームの補間画素の画素値の算出は、図３のステップＳ１０５に相当する。
【００８８】
重み付け計算部１２４には、現フレームＦ（ｎ）及び前フレームＦ（ｎ−１）が入力される。重み付け計算部１２４には、動きベクトル探索部１１０から、補間フレームＦ（ｉ−１）の画素毎に、補間フレームの画素の位置と、当該画素の参照画素の位置とが、入力される。また、重み付け計算部１２４には、寄与率計算部１２２から、参照画素の寄与率が、入力される。
【００８９】
図９は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの画素値の算出の動作フローの例を示す図である。
【００９０】
重み付け計算部１２４は、補間画素Ｐｏの参照画素Ｐａの寄与率Ｃａが０であり、かつ、補間画素Ｐｏの参照画素Ｐｂの寄与率Ｃｂが０である場合（Ｓ３０１；ＹＥＳ）、補間画素Ｐｏの画素値Ｇ（Ｐｏ）を、次のように算出する（Ｓ３０２）。ここで、画素値Ｇ（Ａ）は、画素Ａの画素値を示す。例えば、Ｇ（Ｐａ）は前フレームＦ（ｎ−１）の画素Ｐａの画素値であり、Ｇ（Ｐｂ）は現フレームＦ（ｎ）の画素Ｐｂの画素値である。
【００９１】
【数４】
2010278760.tif 000006
【００９２】
即ち、重み付け計算部１２４は、参照画素Ｐａ及びＰｂの画素値を信頼せず、画素Ｐｃ及びＰｄの画素値を使用して、画素値Ｇ（Ｐｏ）を算出する。
【００９３】
また、重み付け計算部１２４は、補間画素Ｐｏの参照画素Ｐａの寄与率Ｃａが０でない、又は、補間画素Ｐｏの参照画素Ｐｂの寄与率Ｃｂが０でない場合（Ｓ３０１；ＮＯ）、補間画素Ｐｏの画素値Ｇ（Ｐｏ）を、次のように算出する（Ｓ３０３）。
【００９４】
【数５】
2010278760.tif 000007
【００９５】
即ち、重み付け計算部１２４は、参照画素Ｐａ又はＰｂの画素値を信頼して、画素値Ｇ（Ｐｏ）を算出する。
【００９６】
同様にして、重み付け計算部１２４は、補間フレームＦ（ｉ−１）のすべての補間画素の画素値を算出する。補間フレームＦ（ｉ−１）のすべての補間画素について画素値が算出されることで、映像フレーム間（前フレームＦ（ｎ−１）と現フレームＦ（ｎ）との間）を補間する補間フレームＦ（ｉ−１）が生成される。
【００９７】
（変形例）
〈参照画素の寄与率の算出の変形例〉
上記の例では、寄与率計算部１２２は、２つの動きベクトルが一致するか否かで寄与率を算出したが、この変形例では、寄与率計算部１２２は、２つの動きベクトルのなす角によって寄与率を算出する。
【００９８】
寄与率計算部１２２は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの動きベクトルＭｖ（Ｐｏ）と参照画素Ｐａの動きベクトルＭｖ（Ｐａ）とのなす角θｐａを求める。なす角θｐａは、次の式によって求められる。ここで、なす角θｐａを算出する際の動きベクトルは、時間成分が０であるとする。即ち、なす角θｐａは、動きベクトルＭｖ（Ｐｏ）のｘ成分及びｙ成分によるベクトルと、動きベクトルＭｖ（Ｐａ）のｘ成分及びｙ成分によるベクトルとのなす角である。
【００９９】
【数６】
2010278760.tif 000008
【０１００】
また、寄与率計算部１２２は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの動きベクトルＭｖ（Ｐｏ）と参照画素Ｐｂの動きベクトルＭｖ（Ｐｂ）とのなす角θｐｂを求める。なす角θｐｂは、次の式によって求められる。ここで、なす角θｐｂを算出する際の動き
ベクトルは、時間成分が０であるとする。即ち、なす角θｐｂは、動きベクトルＭｖ（Ｐｏ）のｘ成分及びｙ成分によるベクトルと、動きベクトルＭｖ（Ｐｂ）のｘ成分及びｙ成分によるベクトルとのなす角である。
【０１０１】
【数７】
2010278760.tif 000009
【０１０２】
図１０は、２つの動きベクトルのなす角と寄与率との関係のグラフの例を示す図である。図１０のグラフの横軸はなす角θｐａ又はなす角θｐｂを示し、縦軸は寄与率を示す。２つの動きベクトルのなす角と寄与率との関係は、寄与率計算部１２２によって、例えば、寄与率テーブルとして、記憶される。なす角が小さい場合、参照画素と補間画素とは同じ方向に動いている同一の物体を示している可能性が高いため、寄与率が大きくなる。なす角が大きい場合、参照画素と補間画素とは異なる方向に動いている異なる物体を示している可能性が高いため、寄与率が小さくなる。
【０１０３】
図１０の例では、寄与率は、なす角が０度から３０度までは１、３０度から９０度までは線形に減少し、９０度以上は０となる。ここでは、図１０の例を使用して説明するが、なす角θｐａ又はなす角θｐｂと寄与率との関係は、図１０の例に限定されない。
【０１０４】
図１１及び図１２は、動きベクトルＭｖ（Ｐｏ）及び動きベクトルＭｖ（Ｐａ）と、この２つのベクトルがなす角θｐａの例を示す図である。図１１のように、２つのベクトルのなす角θｐａが小さい場合、寄与率計算部１２２は、参照画素Ｐａの寄与率Ｃａを大きくする。一方、図１２のように、２つのベクトルのなす角θｐａが大きい場合、寄与率計算部１２２は、参照画素Ｐａの寄与率Ｃａを小さくする。寄与率計算部１２２は、参照画素Ｐｂの寄与率Ｃｂについても、同様にする。
【０１０５】
寄与率計算部１２２は、図１０のグラフに従って、補間画素Ｐｏの、参照画素Ｐａの寄与率Ｃａ及び参照画素Ｐｂの寄与率Ｃｂを算出する。例えば、なす角θｐａが０度である場合、寄与率Ｃａは１となる。また、例えば、なす角θｐｂが１５０度である場合、寄与率Ｃｂは０となる。
【０１０６】
寄与率計算部１２２は、補間画素の動きベクトル及び参照画素の動きベクトルのうちどちらか一方が、ゼロベクトルである場合、当該参照画素の寄与率を０とする。ここで、ゼロベクトルは、動きベクトルのｘ成分及びｙ成分が０である動きベクトルである。この場合、動きベクトルがゼロベクトルである画素が静止を示し、動きベクトルがゼロベクトルでない画素が動いていることを示すため、当該参照画素は信頼できない画素である。よって、寄与率計算部１２２は、当該参照画素の寄与率を０とする。
【０１０７】
（具体例）
図１３は、実施形態２の具体例を説明する図である。映像フレーム９１３は現フレームＦ（ｎ）であり、映像フレーム９１１は前フレームＦ（ｎ−１）である。図１３は、フレーム補間装置１００に、映像フレーム９１１及び映像フレーム９１３が入力された場合について、説明する図である。映像フレーム９１２は、映像フレーム９１１及び映像フレーム９１３から生成されるべき補間フレームＦ（ｉ−１）の予想図である。即ち、フレーム補間装置１００は、映像フレーム９１１及び映像フレーム９１３から、映像フレーム９１２を生成する。断面９２１、９２２、及び、９２３は、それぞれ、映像フレーム９１１、
９１２、９１３のＡ−Ｂ線の断面である。
【０１０８】
映像フレーム９１１は、背景９０１、自動車９０２、ビル９０３を含む。映像フレーム９１１及び映像フレーム９１２を比較すると分かるように、背景９０１及びビル９０３は静止しており、自動車９０２は右方向に移動している。
【０１０９】
動きベクトル探索部１１０は、補間フレームである映像フレーム９１２の補間画素Ｐｏの動きベクトルＭｖ（Ｐｏ）を求める。動きベクトル探索部１１０は、映像フレーム９１１及び映像フレーム９１２に基づいて、ブロックマッチング等により、動きベクトルＭｖ（Ｐｏ）を算出する。ここで、動きベクトル探索部１１０は、映像フレーム９１２の点Ｐａから点Ｐｂへのベクトルを、動きベクトルＭｖ（Ｐｏ）として算出する。補間画素Ｐｏの位置は自動車９０２の位置であるため、動きベクトルＭｖ（Ｐｏ）は、自動車の動きとして算出される。
【０１１０】
動きベクトル探索部１１０は、補間画素Ｐｏの位置及び動きベクトルＭｖ（Ｐｏ）から、映像フレーム９１１上の参照画素Ｐａ及び映像フレーム９１３上の参照画素Ｐｂの位置を算出する。
【０１１１】
動きベクトル探索部１１０は、映像フレーム９１１及び映像フレーム９１２に基づいて、ブロックマッチング等により、参照画素Ｐａ及び参照画素Ｐｂの動きベクトルを算出する。参照画素Ｐａの位置は、ビル９０３であるから、参照画素Ｐａの動きベクトルＭｖ（Ｐａ）のｘ成分及びｙ成分は、（０，０）となる。即ち、動きベクトルＭｖ（Ｐａ）は、ゼロベクトルである。また、参照画素Ｐｂの位置は、自動車９０２であるから、参照画素Ｐｂの動きベクトルＭｖ（Ｐｂ）は、自動車の動きとして算出される。
【０１１２】
寄与率計算部１２２は、動きベクトルＭｖ（Ｐｏ）と動きベクトルＭｖ（Ｐａ）とを比較する。動きベクトルＭｖ（Ｐａ）はゼロベクトルであり、動きベクトルＭｖ（Ｐｏ）はゼロベクトルではないため、寄与率計算部１２２は、参照画素Ｐａの寄与率Ｃａをゼロとする。また、寄与率計算部１２２は、動きベクトルＭｖ（Ｐｏ）と動きベクトルＭｖ（Ｐｂ）とを比較する。ここで、動きベクトルＭｖ（Ｐｏ）と動きベクトルＭｖ（Ｐｂ）とが同一であるとすると、寄与率計算部１２２は、参照画素Ｐｂの寄与率Ｃｂを１とする。
【０１１３】
重み付け計算部１２４は、補間画素Ｐｏの画素値Ｇ（Ｐｏ）を算出する。寄与率計算部１２２の算出結果より、寄与率Ｃａが０であり、寄与率Ｃｂが１である。従って、重み付け計算部１２４は上記の式（５）を使用して、画素値Ｇ（Ｐｏ）が、値Ｇ（Ｐｂ）であると算出される。
【０１１４】
補間フレーム９１２のように、補間画素Ｐｏの位置は自動車の位置であると予想される。よって、補間画素Ｐｏの画素値の算出において、ビル９０３である参照画素Ｐａの画素値は使用されないことが望ましい。また、補間画素Ｐｏの画素値の算出において、自動車９０２である参照画素Ｐｂの画素値は使用されることが望ましい。フレーム補間装置１００によれば、参照画素Ｐａの画素値を使用せず、参照画素Ｐｂの画素値を使用して、補間画素Ｐｏの画素値を算出することができる。
【０１１５】
（実施形態２の作用効果）
フレーム補間装置１００は、補間フレームの補間画素の動きベクトルを算出する。フレーム補間装置１００は、補間フレームの補間画素の動きベクトルに基づいて、前フレーム内の参照画素の位置、現フレーム内の参照画素の位置を算出する。フレーム補間装置１００は、前フレームの参照画素の動きベクトル、現フレームの参照画素の動きベクトルを算出する。フレーム補間装置１００は、補間フレームの補間画素の動きベクトルと映像フレ
ームの参照画素の動きベクトルとを比較し、参照画素の寄与率を算出する。
【０１１６】
フレーム補間装置１００は、補間フレームの補間画素の動きベクトルと映像フレームの参照画素の動きベクトルとのなす角によって、参照画素の寄与率を算出する。
【０１１７】
フレーム補間装置１００によれば、入力された２つの映像フレームに基づいて、映像フレーム間を補間する補間フレームを生成することができる。
【０１１８】
フレーム補間装置１００によれば、参照画素の寄与率を使用することで、不適切な参照画素の影響が小さくなり、補間画素の画素値が適切に算出される。フレーム補間装置１００によれば、補間画素の画素値が適切に算出されることで、補間フレームの画質劣化を防ぐことができる。
【０１１９】
〔実施形態３〕
次に実施形態３について説明する。実施形態３は、実施形態２との共通点を有する。従って、主として相違点について説明し、共通点については、説明を省略する。
【０１２０】
（構成例）
図１４は、実施形態３のフレーム補間装置２００の例を示す図である。フレーム間装置２００は、入力された連続する２つの映像フレームの間を補間する補間フレームの画素（補間画素）の画素値を算出する。フレーム補間装置２００は、２つの映像フレームのちょうど中間に１つの補間フレームだけを生成する。
【０１２１】
フレーム補間装置２００は、動きベクトル探索部２１０、補間画素生成部２２０を含む。補間画素生成部２２０は、寄与率計算部２２２、重み付け計算部２２４、信頼度判定部２２６を含む。
【０１２２】
動きベクトル探索部２１０は、実施形態２の動きベクトル探索部１１０と同様の構成を有する。寄与率計算部２２２は、実施形態２の寄与率計算部１２２と同様の構成を有する。
【０１２３】
信頼度計算部２２６は、参照画素の画素値の差分絶対値から、参照画素の信頼度を算出する。
【０１２４】
重み付け計算部２２４は、参照画素の画素値、寄与率、補間画素と同一位置の前フレームＦ（ｎ−１）上の画素の画素値、補間画素と同一位置の現フレームＦ（ｎ）の画素の画素値、参照画素の信頼度に基づいて、補間画素の画素値を算出する。
【０１２５】
（動作例）
図１５は、フレーム補間装置１００の動作フローの例を示す図である。図１５のステップＳ５０１乃至Ｓ５０４は、実施形態２の図３の動作フローのステップＳ１０１乃至Ｓ１０４と同様である。
【０１２６】
フレーム補間装置１００は、前フレームＦ（ｎ−１）内及び現フレームＦ（ｎ）内の参照画素の位置の画素値の差分絶対値を算出する。フレーム補間装置１００は、算出した画素値の差分絶対値に基づいて、参照画素の信頼度を算出する（Ｓ５０５）。
【０１２７】
フレーム補間装置２００は、ステップＳ５０２で位置を求めた参照画素の画素値、ステップＳ５０４で求めた参照画素の寄与率、ステップＳ５０５で求めた参照画素の信頼度などに基づいて、補間フレームＦ（ｉ−１）の補間画素の画素値を求める（Ｓ５０６）。補
間フレームＦ（ｉ−１）のすべての補間画素について画素値が算出されることで、補間フレームＦ（ｉ−１）が完成する。
【０１２８】
図１５の動作フローのステップＳ５０５、Ｓ５０６については、後に詳述する。
【０１２９】
〈信頼度の算出の例〉
補間画素生成部２２０の信頼度計算部２２６は、動きベクトル探索部２１０が求めた参照画素に基づいて、補間フレームＦ（ｉ―１）の補間画素の画素値を求める際の参照画素の信頼度を求める。信頼度の算出は、図１５のステップＳ５０５に相当する。
【０１３０】
信頼度計算部２２６は、補間フレームＦ（ｉ−１）の補間画素Ｐｏの参照画素Ｐａの画素値と、参照画素Ｐｂの画素値との差分絶対値を求める。２つの画素の画素値の差分絶対値は、２つの画素が類似の度合いを示す値である。２つの画素の画素値の差分絶対値が、０に近い場合、２つの画素は類似している。
【０１３１】
図１６は、参照画素の画素値の差分絶対値と信頼度との関係のグラフの例を示す図である。図１６のグラフの横軸は参照画素の画素値の差分絶対値を示し、縦軸は信頼度Ｒを示す。図１６の例では、参照画素Ｐａ及びＰｂの画素値の範囲がそれぞれ０から２５５までであるとしている。また、図１６の例では、信頼度Ｒは、参照画素の画素値の差分絶対値が０から３２までは１となり、３２から６４までは線形に減少し、６４以上では０となる。ここでは、図１６の例を使用して説明するが、参照画素の画素値の差分絶対値と信頼度の関係は、図１６の例に限定されない。差分絶対値と信頼度との関係は、信頼度計算部２２６に、例えば、信頼度テーブルとして、記憶される。
【０１３２】
信頼度計算部２２６は、図１６のグラフに従って、参照画素Ｐａ及びＰｂの信頼度Ｒを算出する。例えば、参照画素Ｐａの画素値と参照画素Ｐｂの画素値との差分絶対値が３０である場合、信頼度Ｒは１となる。また、参照画素Ｐａの画素値と参照画素Ｐｂの画素値との差分絶対値が２００である場合、信頼度Ｒは０となる。信頼度Ｒが０である参照画素Ｐａ及びＰｂは、補間画素の画素値の算出の際に、補間画素の画素値に影響を与えない。
【０１３３】
信頼度計算部２２６は、同様にして、補間フレームＦ（ｉ−１）のすべての補間画素について、参照画素の信頼度を算出する。
【０１３４】
〈補間フレームの補間画素の画素値の算出の例〉
重み付け計算部２２４は、補間フレームＦ（ｉ−１）の補間画素の画素値を算出する。補間フレームの補間画素の画素値の算出は、図３のステップＳ５０６に相当する。
【０１３５】
重み付け計算部２２４には、現フレームＦ（ｎ）及び前フレームＦ（ｎ−１）が入力される。重み付け計算部２２４には、動きベクトル探索部２１０から、補間フレームＦ（ｉ−１）の画素毎に、補間フレームの画素の位置と、当該画素の参照画素の位置とが、入力される。また、重み付け計算部２２４には、寄与率計算部２２２から、参照画素の寄与率が、入力される。さらに、重み付け計算部２２４には、信頼度計算部２２６から、参照画素の信頼度が入力される。
【０１３６】
重み付け計算部２２４は、補間画素Ｐｏの画素値Ｇ（Ｐｏ）を、次のように算出する。
【０１３７】
【数８】
2010278760.tif 000010
【０１３８】
ただし、参照画素Ｐａの寄与率Ｃａが０であり、かつ参照画素Ｐｂの寄与率Ｃｂが０である場合、重み付け計算部２２４は、第１項を０として、画素値を算出する。
【０１３９】
同様にして、重み付け計算部２２４は、補間フレームＦ（ｉ−１）のすべての補間画素の画素値を算出する。
【０１４０】
（実施形態３の作用効果）
フレーム補間装置２００は、参照画素の画素値の差分絶対値に基づいて、参照画素の信頼度を算出する。フレーム補間装置２００は、補間フレームの補間画素の画素値を、参照画素の信頼度を使用して、算出する。
【０１４１】
２つの参照画素の画素値の差分絶対値が大きい場合、当該参照画素は、補間画素の画素値の算出の際に使用されないことが望ましい。フレーム補間装置２００によれば、２つの参照画素の画素値が異なる場合、参照画素の信頼度が小さくなるので、補間フレームの補間画素の画素値の算出の際の当該参照画素の影響を小さくできる。
【０１４２】
〔実施形態４〕
次に実施形態４について説明する。実施形態４は、実施形態２及び実施形態３との共通点を有する。従って、主として相違点について説明し、共通点については、説明を省略する。
【０１４３】
（構成例）
図１７は、実施形態４のフレームレート変換装置３００の例を示す図である。
【０１４４】
フレームレート変換装置３００は、フレーム補間部３１５、映像フレーム入力受付部３３０、遅延部３４０、補間フレーム挿入部３５０を含む。
【０１４５】
フレーム補間部３１５は、他の実施形態のフレーム補間装置と同様の構成、機能を有する。即ち、フレーム補間部３１５は、映像フレームを受信し、受信した現フレームＦ（ｎ）と、前の時刻に受信した前フレームＦ（ｎ−１）との間を補間する補間フレームＦ（ｉ−１）を生成する。フレーム補間部３１５は、生成した補間フレームを、補間フレーム挿入部３５０に出力する。
【０１４６】
映像フレーム入力受付部３３０は、映像フレームの入力を受け付ける。映像フレーム入力受付部３３０は、例えば、アンテナ及びチューナ若しくは信号線を介して受信された入力信号から、映像ストリームの映像信号を抽出する。映像フレーム入力受付部３３０は、抽出した映像信号を変換して、映像フレームを得る。
【０１４７】
映像フレーム入力受付部３３０は、映像フレームをフレーム補間部３１５に送信する。また、映像フレーム入力受付部３３０は、映像フレームを遅延部３４０に送信する。
【０１４８】
遅延部３４０は、連続して入力される映像フレームを、一定時間遅延させて、補間フレーム挿入部３５０に出力する。
【０１４９】
補間フレーム挿入部３５０は、遅延部３４０から出力される映像フレームと、フレーム補間部３１５から出力される補間フレームとを受信する。フレーム挿入部３５０は、映像フレームと補間フレームとを交互に選択し、映像ストリームとして出力する。
【０１５０】
（実施形態４の作用効果）
フレームレート変換装置３００は、入力された映像ストリームの連続する２つの映像フレームの間を補間する補間フレームを生成する。フレームレート変換装置３００は、入力された映像フレーム間に、生成した補間フレームを挿入し、新たな映像ストリームを出力する。
【０１５１】
フレームレート変換装置３００によれば、入力された映像フレーム間に補間フレームを挿入することにより、映像ストリームのフレームレートを向上させた映像ストリームを出力することができる。
【０１５２】
〔実施形態５〕
次に実施形態５について説明する。実施形態５は、実施形態２乃至４との共通点を有する。従って、主として相違点について説明し、共通点については、説明を省略する。
【０１５３】
（構成例）
図１８は、フレーム補間装置４００の例を示す図である。フレーム補間装置４００は、２つの連続する映像フレーム（現フレーム及び前フレーム）から、これらの映像フレーム間の動きを補間する補間フレームを生成する。フレーム補間装置４００は、２つの映像フレームの間に、３つの補間フレームを生成する。また、フレーム補間装置４００は、２つの映像フレームの間に、ｎ個（ｎは自然数）の補間フレームを生成するフレーム補間装置に適用され得る。
【０１５４】
フレーム補間装置４００は、動きベクトル探索部４１０、第１補間画素生成部４２１、第２補間画素生成部４２２、及び、第３補間画素生成部４２３を含む。
【０１５５】
動きベクトル探索部４１０は、実施形態２の動きベクトル探索部１１０、または、実施形態３の動きベクトル探索部２１０と同様の構成を有する。動きベクトル探索部４１０は、複数の補間フレームの補間画素の動きベクトル、及び、参照画素を算出する。
【０１５６】
動きベクトル探索部４１０は、入力された映像フレームの映像フレーム間で動きベクトルを探索し、探索した動きベクトルを、第１補間画素生成部４２１、第２補間画素生成部４２２、第３補間画素生成部４２３に入力する。
【０１５７】
第１補間画素生成部４２１、第２補間画素生成部４２２、第３補間画素生成部４２３は、実施形態２の補間画素生成部１２０、または、実施形態３の補間画素生成部２２０と同様の構成を有する。
【０１５８】
第１補間画素生成部４２１は、動きベクトル探索部４１０から送信された参照画素の位置に基づいて、補間フレームの補間画素の画素値を算出し、補間フレームを生成する。第２補間画素生成部４２２及び第３補間画素生成部４２３は、同様に、補間フレームを生成する。
【０１５９】
（動作例）
フレーム補間装置４００の動作は、実施形態２のフレーム補間装置２００または実施形態３のフレーム補間装置３００の動作と共通点を有する。ここでは、主として相違点について説明する。
【０１６０】
〈補間フレームの画素の動きベクトル探索の例〉
図１９は、補間フレームの画素の動きベクトル探索の例を示す図である。
【０１６１】
動きベクトル探索部４１０には、現フレームＦ（ｎ）及び前フレームＦ（ｎ−１）が入力される。
【０１６２】
動きベクトル探索部４１０は、前フレームＦ（ｎ−１）と現フレームＦ（ｎ）との間に補間フレームＦ（ｉ−１）、補間フレームＦ（ｊ−１）、及び、補間フレームＦ（ｋ−１）を生成する。各補間フレームは、各フレームの間隔が等間隔になるように生成される。このとき、各補間フレームの各画素の画素値は、初期状態（例えば、すべての値が０）である。ここで、ｉ、ｊ、及び、ｋは、
【０１６３】
【数９】
2010278760.tif 000011
【０１６４】
と表される。
【０１６５】
動きベクトル探索部４１０は、補間フレームＦ（ｉ−１）の画素を、ｐ画素×ｑ画素の画像ブロック単位で分割する。動きベクトル探索部４１０は、補間フレームＦ（ｉ−１）上の分割されたｐ画素×ｑ画素の画像ブロックの１つを、画像ブロックＢｏとする。
【０１６６】
画像ブロックＢａは、画像ブロックＢｏと同じ大きさである前フレームＦ（ｎ−１）上の画像ブロックである。また、画像ブロックＢｂは、画像ブロックＢａと画像ブロックＢｏとを結ぶ直線上にあり、画像ブロックＢｏと同じ大きさである現フレームＦ（ｎ）上の画像ブロックである。画像ブロックＢａと画像ブロックＢｏとの距離と、画像ブロックＢｂと画像ブロックＢｏとの距離との比は、１：３である。この比は、前フレームＦ（ｎ−１）と補間フレームＦ（ｉ−１）との時間差と、現フレームＦ（ｎ）と補間フレームＦ（ｉ−１）との時間差との比と同一である。
【０１６７】
動きベクトル探索部４１０は、画像ブロックＢａ内の画素の画素値と、当該画素に対応する画像ブロックＢｂ内の画素の画素値との差分絶対値を算出する。画像ブロックＢａ内の画素に対応する画像ブロックＢｂ内の画素は、画像ブロックＢａ内の画素の画像ブロックＢａにおける位置が画像ブロックＢｂにおける位置と同じである画像ブロックＢｂ内の画素である。図１９の例では、動きベクトル探索部４１０は、画像ブロックＢａの画素Ｘａと、画素Ｘａに対応する画像ブロックＢｂの画素Ｘｂとで、画素値の差分絶対値を算出する。動きベクトル探索部４１０は、画像ブロックＢａ内のすべての画素の画素値と、それぞれの画素に対応する画像ブロックＢｂ内の画素の画素値との差分絶対値を算出する。動きベクトル探索部４１０は、算出した画素値の差分絶対値の和である累積加算値を算出する。
【０１６８】
動きベクトル探索部４１０は、画像ブロックＢａの位置を所定の範囲内で移動し、それぞれの位置で、累積加算値を算出する。動きベクトル探索部４１０は、累積加算値が一番小さい場合の、画像ブロックＢａの位置及び画像ブロックＢｂの位置の組を求める。このとき、動きベクトル探索部４１０は、求めた画像ブロックＢａの位置から求めた画像ブロックＢｂの位置へのベクトルを、画像ブロックＢｏの動きベクトルＭｖ（Ｂｏ）とする。また、動きベクトル探索部４１０は、動きベクトルＭｖ（Ｂｏ）を、画像ブロックＢｏ内
のすべての画素における動きベクトルとする。
【０１６９】
動きベクトル探索部４１０は、補間フレームＦ（ｉ−１）のすべての画像ブロックについて、動きベクトルを生成する。これにより、動きベクトル探索部４１０は、補間フレームＦ（ｉ−１）のすべての画素について、動きベクトルを生成することができる。
【０１７０】
同様にして、動きベクトル探索部４１０は、補間フレームＦ（ｊ−１）、及び、補間フレームＦ（ｋ−１）のすべての画素について、動きベクトルを生成することができる。
【０１７１】
動きベクトル探索部４１０は、各補間フレームの補間画素の動きベクトルを他の方法により求めてもよい。
【０１７２】
〈参照画素の位置の算出の例〉
フレーム補間装置４００は、補間フレームＦ（ｉ−１）上の補間画素Ｐｏの画素値を算出する際に、前フレームＦ（ｎ−１）内の参照画素Ｐａの画素値、現フレームＦ（ｎ）内の参照画素Ｐｂの画素値を使用する。
【０１７３】
動きベクトル探索部４１０は、前フレームＦ（ｎ−１）内の参照画素Ｐａの位置及び現フレームＦ（ｎ）内の参照画素Ｐｂの位置を求める。
【０１７４】
参照画素Ｐａ、Ｐｂの位置ベクトルが、それぞれ、位置ベクトルＰａ、Ｐｂであるとする。また、補間画素Ｐｏと同一位置の前フレームＦ（ｎ−１）内の画素は、画素Ｐｃである。補間画素Ｐｏと同一位置の原フレームＦ（ｎ）内の画素は、画素Ｐｄである。位置ベクトルＰａとＰｏとの関係、及び、位置ベクトルＰｂとＰｏとの関係は、次のようになる。
【０１７５】
【数１０】
2010278760.tif 000012
【０１７６】
ここで、動きベクトルＭｖ（Ｐｏ）は、補間フレームＦ（ｉ−１）内の補間画素Ｐｏの動きベクトルである。
【０１７７】
補間画素Ｐｏの位置が（Ｘｏ，Ｙｏ）であり、動きベクトルＭｖ（Ｐｏ）のｘ成分及びｙ成分が（Ｖｘ，Ｖｙ）であるとすると、参照画素Ｐａ及びＰｂの位置は次のように求められる。
【０１７８】
【数１１】
2010278760.tif 000013
【０１７９】
また、補間画素Ｐｏの位置が（Ｘｏ，Ｙｏ）であるとき、画素Ｐｃ及び画素Ｐｄの位置は（Ｘｏ，Ｙｏ）である。
【０１８０】
また、動きベクトル探索部４１０は、補間フレームＦ（ｉ−１）のすべての補間画素について、前フレームＦ（ｎ−１）上の参照画素の位置、現フレームＦ（ｎ）上の参照画素の位置を算出する。
【０１８１】
さらに、動きベクトル探索部４１０は、補間フレームＦ（ｊ−１）、及び、補間フレームＦ（ｋ−１）のすべての補間画素について、前フレームＦ（ｎ−１）上の参照画素の位置、現フレームＦ（ｎ）上の参照画素の位置を算出する。
【０１８２】
動きベクトル探索部４１０は、補間フレームＦ（ｉ−１）の補間画素の参照画素の位置を、第１補間画素生成部４２１に送信する。動きベクトル探索部４１０は、同様に、補間フレームＦ（ｊ−１）、及び、補間フレームＦ（ｋ−１）の補間画素の参照画素の位置を、それぞれ、第２補間画素生成部４２２、及び、第３補間画素生成部４２３に送信する。
【０１８３】
第１補間画素生成部４２１は、動きベクトル探索部４１０から受信した、参照画素の位置を使用して、それぞれ、補間フレームＦ（ｉ−１）を生成する。第２補間画素生成部４２２、及び、第３補間画素生成部４２３は、同様に、動きベクトル探索部４１０から受信した、参照画素の位置を使用して、それぞれ、補間フレームＦ（ｊ−１）、及び、補間フレームＦ（ｋ−１）を生成する。
【０１８４】
（実施形態５の作用効果）
フレーム補間装置４００によれば、入力された２つの映像フレームに基づいて、映像フレーム間を補間する複数の補間フレームを生成することができる。
【０１８５】
〔実施形態６〕
次に実施形態６について説明する。実施形態６は、実施形態２乃至５との共通点を有する。従って、主として相違点について説明し、共通点については、説明を省略する。
【０１８６】
（構成例）
図２１は、実施形態６のフレームレート変換装置５００の例を示す図である。フレームレート変換装置５００は、２つの映像フレームの間に、３つの補間フレームを挿入する。また、フレームレート変換装置５００は、２つの映像フレームの間に、ｎ個（ｎは自然数）の補間フレームを挿入するフレームレート変換装置に適用され得る。
【０１８７】
フレームレート変換装置５００は、フレーム補間部５１５、映像フレーム入力受付部５３０、遅延部５４０、補間フレーム挿入部５５０を含む。
【０１８８】
フレーム補間部５１５は、実施形態５のフレーム補間装置４００と同様の構成、機能を有する。即ち、フレーム補間部５１５は、映像フレームを受信し、受信した現フレームＦ（ｎ）と、前の時刻に受信した前フレームＦ（ｎ−１）との間を補間する３つの補間フレーム（Ｆ（ｉ−１），Ｆ（ｊ−１）、Ｆ（ｋ−１））を生成する。フレーム補間部５１５は、生成した補間フレームを、補間フレーム挿入部５５０に出力する。
【０１８９】
補間フレーム挿入部５５０は、遅延部５４０から出力される映像フレームと、フレーム補間部３１５から出力される補間フレームとを受信する。フレーム挿入部５５０は、映像フレームと補間フレームとを、前フレームＦ（ｎ−１）、補間フレームＦ（ｉ−１）、補間フレームＦ（ｊ−１）、補間フレームＦ（ｋ−１）、現フレームＦ（ｎ）の順に選択し、映像ストリームとして出力する。
【０１９０】
（実施形態６の作用効果）
フレームレート変換装置５００は、入力された映像ストリームの連続する２つの映像フ
レームの間を補間する複数の補間フレームを生成する。フレームレート変換装置５００は、入力された映像フレーム間に、複数の生成した補間フレームを挿入し、新たな映像ストリームを出力する。
【０１９１】
フレームレート変換装置５００によれば、入力された映像フレーム間に複数の補間フレームを挿入することにより、映像ストリームのフレームレートを向上させた映像ストリームを出力することができる。
【０１９２】
〔付記〕
以上の実施形態１乃至４に関し、さらに以下の付記を開示する。
【０１９３】
（付記１）
第１映像フレームと第２映像フレームとの間を補間する補間フレームの画素の画素値を算出するフレーム補間装置であって、
前記第１映像フレームと前記第２映像フレームとから、前記補間フレーム上の補間画素の補間画素動きベクトルを算出し、
前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第１映像フレームとの交点で定められる第１画素と、前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第２映像フレームとの交点で定められる第２画素とを算出し、
前記第１映像フレーム上の前記第１画素における第１動きベクトルを算出し、
前記第２映像フレーム上の前記第２画素における第２動きベクトルを算出する動きベクトル算出部と、
前記補間画素動きベクトルと前記第１動きベクトルとが同一である場合、前記第１画素の第１寄与率を１とし、
前記補間画素動きベクトルと前記第２動きベクトルとが同一である場合、前記第２画素の第２寄与率を１とし、
前記補間画素の画素値を、前記第１画素の画素値に前記第１寄与率を乗算した値、及び、前記第２画素の画素値に前記第２寄与率を乗算した値に基づいて、算出する画素値算出部と、
を備えるフレーム補間装置。
【０１９４】
（付記２）
前記画素値算出部は、
前記補間画素動きベクトルと前記第１動きベクトルとのなす角である第１角度を算出し、前記第１角度に基づいて第１寄与率を算出し、
前記補間画素動きベクトルと前記第２動きベクトルとのなす角である第２角度を算出し、前記第２角度に基づいて第２寄与率を算出する
付記１に記載のフレーム補間装置。
【０１９５】
（付記３）
前記画素値算出部は、
前記補間画素動きベクトル及び前記第１動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第１寄与率を０とし、
前記補間画素動きベクトル及び前記第２動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第２寄与率を０とする、
付記１に記載のフレーム補間装置。
【０１９６】
（付記４）
コンピュータが、第１映像フレームと第２映像フレームとの間を補間する補間フレーム
の画素の画素値を算出するフレーム補間方法であって、
前記コンピュータが、
前記第１映像フレームと前記第２映像フレームとから、前記補間フレーム上の補間画素の補間画素動きベクトルを算出し、
前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第１映像フレームとの交点で定められる第１画素と、前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第２映像フレームとの交点で定められる第２画素とを算出し、
前記第１映像フレーム上の前記第１画素における第１動きベクトルを算出し、
前記第２映像フレーム上の前記第２画素における第２動きベクトルを算出し、
前記補間画素動きベクトルと前記第１動きベクトルとが同一である場合、前記第１画素の第１寄与率を１とし、
前記補間画素動きベクトルと前記第２動きベクトルとが同一である場合、前記第２画素の第２寄与率を１とし、
前記補間画素の画素値を、前記第１画素の画素値、前記第１寄与率、前記第２画素の画素値、及び、前記第２寄与率に基づいて、算出する、
ことを実行するフレーム補間方法。
【０１９７】
（付記５）
前記コンピュータが、
前記補間画素動きベクトルと前記第１動きベクトルとのなす角である第１角度を算出し、前記第１角度に基づいて第１寄与率を算出し、
前記補間画素動きベクトルと前記第２動きベクトルとのなす角である第２角度を算出し、前記第２角度に基づいて第２寄与率を算出する
ことを実行する付記４に記載のフレーム補間方法。
【０１９８】
（付記６）
前記コンピュータが、
前記補間画素動きベクトル及び前記第１動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第１寄与率を０とし、
前記補間画素動きベクトル及び前記第２動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第２寄与率を０とする、
ことを実行する付記４に記載のフレーム補間方法。
【０１９９】
（付記７）
コンピュータが、第１映像フレームと第２映像フレームとの間を補間する補間フレームの画素の画素値を算出するためのフレーム補間プログラムであって、
前記コンピュータが、
前記第１映像フレームと前記第２映像フレームとから、前記補間フレーム上の補間画素の補間画素動きベクトルを算出し、
前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第１映像フレームとの交点で定められる第１画素と、前記補間フレーム上の前記補間画素を通る前記補間画素動きベクトルと前記第２映像フレームとの交点で定められる第２画素とを算出し、
前記第１映像フレーム上の前記第１画素における第１動きベクトルを算出し、
前記第２映像フレーム上の前記第２画素における第２動きベクトルを算出し、
前記補間画素動きベクトルと前記第１動きベクトルとが同一である場合、前記第１画素の第１寄与率を１とし、
前記補間画素動きベクトルと前記第２動きベクトルとが同一である場合、前記第２画素の第２寄与率を１とし、
前記補間画素の画素値を、前記第１画素の画素値、前記第１寄与率、前記第２画素の画素値、及び、前記第２寄与率に基づいて、算出する、
ことを実行するためのフレーム補間プログラム。
【０２００】
（付記８）
前記コンピュータが、
前記補間画素動きベクトルと前記第１動きベクトルとのなす角である第１角度を算出し、前記第１角度に基づいて第１寄与率を算出し、
前記補間画素動きベクトルと前記第２動きベクトルとのなす角である第２角度を算出し、前記第２角度に基づいて第２寄与率を算出する
ことを実行するための付記７に記載のフレーム補間プログラム。
【０２０１】
（付記９）
前記コンピュータが、
前記補間画素動きベクトル及び前記第１動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第１寄与率を０とし、
前記補間画素動きベクトル及び前記第２動きベクトルのうち、どちらか一方のみがゼロベクトルである場合、前記第２寄与率を０とする、
ことを実行するための付記７に記載のフレーム補間プログラム。
【符号の説明】
【０２０２】
１０      フレーム補間装置
１１        動きベクトル探索部
１２        画素値算出部
２１      入力装置
２２      出力装置
１００      フレーム補間装置
１１０        動きベクトル探索部
１２０        補間画素生成部
１２２          寄与率計算部
１２４          重み付け計算部
２００      フレーム補間装置
２１０        動きベクトル探索部
２２０        補間画素生成部
２２２          寄与率計算部
２２４          重み付け計算部
２２６          信頼度計算部
３００      フレームレート変換装置
３１５        フレーム補間部
３３０        映像フレーム入力受付部
３４０        遅延部
３５０        補間フレーム挿入部
４００      フレーム補間装置
４１０        動きベクトル探索部
４２１        第１補間画素生成部
４２２        第２補間画素生成部
４２３        第３補間画素生成部
５００      フレームレート変換装置
５１５        フレーム補間部
５３０        映像フレーム入力受付部
５４０        遅延部
５５０        補間フレーム挿入部
９０１      背景
９０２      自動車
９０３      ビル
９１１      映像フレーム（前フレームＦ（ｎ−１））
９１２      映像フレーム（補間フレームＦ（ｉ−１））
９１３      映像フレーム（現フレームＦ（ｎ））
９２１      断面
９２２      断面
９２３      断面
【図１】
2010278760.tif 000014
【図２】
2010278760.tif 000015
【図３】
2010278760.tif 000016
【図４】
2010278760.tif 000017
【図５】
2010278760.tif 000018
【図６】
2010278760.tif 000019
【図７】
2010278760.tif 000020
【図８】
2010278760.tif 000021
【図９】
2010278760.tif 000022
【図１０】
2010278760.tif 000023
【図１１】
2010278760.tif 000024
【図１２】
2010278760.tif 000025
【図１３】
2010278760.tif 000026
【図１４】
2010278760.tif 000027
【図１５】
2010278760.tif 000028
【図１６】
2010278760.tif 000029
【図１７】
2010278760.tif 000030
【図１８】
2010278760.tif 000031
【図１９】
2010278760.tif 000032
【図２０】
2010278760.tif 000033
【図２１】
2010278760.tif 000034