(57)【要約】【課題】クオリティの高い補間フレームを生成してフレーム補間を行う。【解決手段】画像信号の時間的に連続する参照フレームＲ１，Ｒ２，Ｒ３を入力し、参照フレームＲ２，Ｒ３間に補間フレームを挿入するために、まず参照フレームＲ１，Ｒ３から参照フレームＲ２の位置に対応する第１補間フレームＩ１を生成する。参照フレームＲ２と第１補間フレームＩ１との相関の大きさを表す相関値を算出することにより、補間フレームＩ１のクオリティを検証する。相関値が閾値以上のときは、補間フレームＩ１のクオリティが高く、参照フレームＲ２，Ｒ３の間の位置に対応して生成される第２補間フレームＩ２もクオリティが高いと判断して、補間フレームＩ２を参照フレームＲ２，Ｒ３間に挿入する。【選択図】    図１
2004297719.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、
前記第１参照フレームと第３参照フレームから前記第２参照フレームの位置に対応する第１補間フレームを生成するステップと、
前記第２参照フレームと前記第１補間フレームとの相関の大きさを表す相関値を算出するステップと、
前記第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第２補間フレームを生成するステップと、
前記相関値が閾値以上のとき前記第２補間フレームを前記補間対象位置に挿入する補間ステップとを具備するフレーム補間方法。
【請求項２】
画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、
前記第１参照フレームと第３参照フレームから前記第２参照フレームの位置に対応する複数の第１補間フレームをそれぞれ異なる補間フレーム生成方法により生成するステップと、
前記第２参照フレームと前記複数の第１補間フレームとの相関の大きさを表す相関値を求めるステップと、
前記複数の補間フレーム生成方法から前記相関値を最大とする一つの補間フレーム生成方法を選択するステップと、
選択された前記一つの補間フレーム生成方法に従って前記第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第２補間フレームを生成するステップと、
前記第２補間フレームを前記補間対象位置に挿入する補間ステップとを具備するフレーム補間方法。
【請求項３】
画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、
前記第２及び第３参照フレームから該第２フレームと第３フレームとの間の位置に対応する第１補間フレームを生成するステップと、
前記第１フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する第３補間フレームを生成するステップと、
前記第２参照フレームと前記第３補間フレームとの間の相関の大きさを表す相関値を算出するステップと、
前記相関値が閾値以上のとき前記第１補間フレームを前記補間対象位置に挿入する補間ステップとを具備するフレーム補間方法。
【請求項４】
画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、
該第２フレームと第３フレームとの間の補間対象位置に対応する複数の第１補間フレームを異なる複数の補間フレーム生成方法によって生成するステップと、
前記第１フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する複数の第３補間フレームを前記複数の補間フレーム生成方法によって生成するステップと、
前記第２参照フレームと前記複数の第３補間フレームとの相関の大きさを表す相関値を計算するステップと、
前記複数の補間フレーム生成方法から前記相関値を最大とする一つの補間フレーム生成方法を選択するステップと、
前記複数の第１補間フレームのうち、選択された前記一つの補間フレーム生成方法に従って生成される第１補間フレームを前記補間対象位置に挿入する補間ステップとを具備するフレーム補間方法。
【請求項５】
前記相関値を計算するステップは、輝度成分のフレーム間差分値、色差成分のフレーム間差分値、輝度成分及び色差成分のフレーム間差分値、輝度成分のフレーム間乗算値、輝度成分のフレーム間除算値、色差成分のフレーム間乗算値、色差成分のフレーム間除算値、輝度成分及び色差成分のフレーム間乗算値、輝度成分及び色差成分の除算値の少なくとも一つに基づいて前記相関値を計算する請求項１乃至４のいずれか１項に記載のフレーム補間方法。
【請求項６】
前記第１補間フレームを生成するステップは、（ａ）前記第１参照フレームと第３参照フレームの間の動きベクトルを用いて前記第１補間フレームを生成する方法、（ｂ）前記第１参照フレームと第３参照フレームとから第２参照フレーム位置までの距離に応じた平均をとって第１補間フレームを生成する方法、及び（ｃ）前記第１参照フレームを第１補間フレームとする方法、の少なくとも一つの方法により前記第１補間フレームを生成する請求項１または２に記載のフレーム補間方法。
【請求項７】
前記第２補間フレームを生成するステップは、前記第２参照フレームと第３参照フレームとの間の動きベクトルを用いて前記第２補間フレームを生成する請求項１または２に記載のフレーム補間方法。
【請求項８】
前記第２補間フレームを生成するステップは、前記第２及び第３参照フレームから前記補間対象位置までの距離に応じて前記第２及び第３参照フレームの平均をとることにより前記第２補間フレームを生成する請求項１または２に記載のフレーム補間方法。
【請求項９】
前記相関値の最大値を閾値と比較し、該最大値が該閾値に満たないとき前記第２参照フレームを前記補間対象位置に挿入するステップをさらに具備する請求項２または４に記載のフレーム補間方法。
【請求項１０】
前記相関値を計算するステップは、前記相関値の計算対象の２フレームをそれぞれ分割した複数のブロック単位に前記相関値を計算する請求項１乃至４のいずれか１項に記載のフレーム補間方法。
【請求項１１】
前記補間ステップは、補間すべきフレームを分割した複数のブロック単位に行う請求項１乃至４のいずれか１項に記載のフレーム補間方法。
【請求項１２】
請求項１乃至１１のいずれか１項に記載のフレーム補間方法により得られる複数のフレームを画像として表示する画像表示システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の再生に当たって表示フレーム間隔を短くするために隣接フレーム間に少なくとも一つの補間フレームを内挿補間するフレーム補間方法及びこれを用いた画像表示システムに関する。
【０００２】
【従来の技術】
液晶ディスプレイやエレクトロルミネッセンスディスプレイのように、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型画像表示装置では、動画表示に際して動体の動きに観察者の眼が追随することによるボケ現象の発生と、コマ数の少ない動画を表示する場合に不自然な動きが生じるという問題がある。
【０００３】
この問題を解決するためには、表示のフレーム間隔を短くすればよい。その具体的な手法として、ＭＰＥＧ２（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ  ２）で用いられている動き補償を利用して補間フレームを作成し、その補間フレームを隣接するフレーム間に内挿補間する方法がある。ＭＰＥＧ２における動き補償では、ブロックマッチング法によって検出される動きベクトルが用いられる。ブロックマッチング法とは、第１参照フレームを複数の第１ブロックに分割し、各第１ブロックに対して第１参照フレームに隣接する第２参照フレームから最も相関の高い第２ブロックを探索して、第２ブロックから第１ブロックへの動きベクトルを求める手法である。
【０００４】
このような動き補償を用いるフレーム補間手法では、動き補償によって補間フレームを生成する際に、まず第１参照フレームと第２参照フレーム間について求められた第１動きベクトルを補間フレーム面と第１参照フレーム間の第２動きベクトルに変換するスケール変換と呼ばれる操作を行う。こうしてスケール変換により得られた第２動きベクトルを用いて動き補償を行うことにより、補間フレームを生成する。すなわち、第２動きベクトルの終点を第１参照フレーム上に固定し、第１参照フレーム上の該第２動きベクトルの終点が指し示すブロックの画像データを第２動きベクトルの始点が指し示す補間フレーム面上のブロックの位置にコピーする。
【０００５】
この手法では、スケール変換によって得られる第２動きベクトルの始点位置は、必ずしも補間フレーム面上の本来の補間対象ブロックの位置と一致しないことから、補間フレームに画像データの存在しない隙間ができてしまったり、逆に画像データが重なる領域ができてしまう。
【０００６】
特許２５２８１０３号（特許文献１）には、このような画像の隙間や重なりの生じないフレーム補間の手法が開示されている。この手法では、補間フレーム面上の補間対象ブロックを中心として、幾何対称的に前後の参照フレーム間の相関を求めてフレーム補間を行う。これにより、動きベクトルのスケール変換を行うことなく、最初に求められた動きベクトルを用いてダイレクトに補間フレームを生成することができ、また補間フレーム面上に一様格子の補間対象ブロックを考えるため、補間フレームに画像の隙間や重なりが生じることはない。
【０００７】
一方、特開２００１−２４９８８（特許文献２）には、動き推定の際の画像の差分値と検出された動きベクトルの大きさから動き補償の信頼度を求め、信頼度が低い場合には別の手段によって補償する手法が開示されている。
【０００８】
【特許文献１】
特許２５２８１０３号
【０００９】
【特許文献２】
特開２００１−２４９８８公報
【００１０】
【発明が解決しようとする課題】
特許文献１の手法では、補間フレームの前後のフレーム間における相関関係のみから動きベクトルを決定するため、必ずしも実際の動きを反映した動きベクトルは得られない。このため補間フレームのクオリティが低くなり、結果として動画像全体のクオリティを低下させてしまうことがあり得る。
【００１１】
一方、特許文献２の手法によると、特許文献１で見られような動きベクトルの誤検出による補間フレームのクオリティの低下という問題は原理的に解消されると考えられる。しかし、動き推定の際の画像間の差分値や、動きベクトルの大きさのみで動き補償の信頼度を測ることは現実的には難しいため、必ずしも適切な補間フレームを生成することはできない。
【００１２】
本発明の目的は、クオリティの高い補間フレームを生成して補間を行うことができるフレーム補間方法及びこれを用いた画像表示システムを提供することにある。
【００１３】
【課題を解決するための手段】
上記の課題を解決するため、本発明の第１の態様に係るフレーム補間方法は、（ａ）画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、（ｂ）前記第１参照フレームと第３参照フレームから前記第２参照フレームの位置に対応する第１補間フレームを生成するステップと、（ｃ）前記第２参照フレームと前記第１補間フレームとの相関の大きさを表す相関値を算出するステップと、（ｄ）前記第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第２補間フレームを生成するステップと、（ｅ）前記相関値が閾値以上のとき前記第２補間フレームを前記補間対象位置に挿入する補間ステップとを有する。
【００１４】
本発明の第２の態様によるフレーム補間方法は、（ａ）画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、（ｂ）前記第１参照フレームと第３参照フレームから前記第２参照フレームの位置に対応する複数の第１補間フレームをそれぞれ異なる補間フレーム生成方法により生成するステップと、（ｃ）前記第２参照フレームと前記複数の第１補間フレームとの相関の大きさを表す相関値を求めるステップと、（ｄ）前記複数の補間フレーム生成方法から前記相関値を最大とする一つの補間フレーム生成方法を選択するステップと、（ｅ）選択された前記一つの補間フレーム生成方法に従って前記第２参照フレームと第３参照フレームとの間の補間対象位置に対応する第２補間フレームを生成するステップと、（ｆ）前記第２補間フレームを前記補間対象位置に挿入する補間ステップとを有する。
【００１５】
本発明の第３の態様によるフレーム補間方法は、（ａ）画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、（ｂ）前記第２及び第３参照フレームから該第２フレームと第３フレームとの間の位置に対応する第１補間フレームを生成するステップと、（ｃ）前記第１フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する第３補間フレームを生成するステップと、（ｄ）前記第２参照フレームと前記第３補間フレームとの間の相関の大きさを表す相関値を算出するステップと、（ｅ）前記相関値が閾値以上のとき前記第１補間フレームを前記補間対象位置に挿入する補間ステップとを有する。
【００１６】
本発明の第４の態様に係るフレーム補間方法は、（ａ）画像信号の時間的に連続する第１、第２及び第３参照フレームを入力するステップと、（ｂ）前記第２フレームと第３フレームとの間の補間対象位置に対応する複数の第１補間フレームを異なる複数の補間フレーム生成方法によって生成するステップと、（ｃ）前記第１フレームと第２参照フレームとの間に既に挿入されている第２補間フレームと前記第１補間フレームとから、前記第２参照フレームの位置に対応する複数の第３補間フレームを前記複数の補間フレーム生成方法によって生成するステップと、（ｄ）前記第２参照フレームと前記複数の第３補間フレームとの相関の大きさを表す相関値を計算するステップと、（ｅ）前記複数の補間フレーム生成方法から前記相関値を最大とする一つの補間フレーム生成方法を選択するステップと、（ｆ）前記複数の第１補間フレームのうち、選択された前記一つの補間フレーム生成方法に従って生成される第１補間フレームを前記補間対象位置に挿入する補間ステップとを有する。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る画像表示システムの構成を示す。ここでは、入力の画像信号（動画像信号）１０が６０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、これを１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。フレーム補間は、６０Ｈｚのノンインタレース信号に対して、隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）上に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより実現される。
【００１８】
画像信号１０は、フレームメモリ１３に入力され、フレームメモリ１３の出力はフレームメモリ１２に、フレームメモリ１２の出力はフレームメモリ１１にそれぞれ入力される。フレームメモリ１１，１２，１３に保持される画像を第１、第２、第３参照フレームＲ１，Ｒ２，Ｒ３とする。画像信号１０は、参照Ｒ１，Ｒ２，Ｒ３，・・・の順で入力される。
【００１９】
第１補間フレーム生成部１４では、参照フレームＲ１，Ｒ３から参照フレームＲ１とＲ３との間の参照フレームＲ２の位置に対応する第１補間フレームＩ１が生成される。補間判定部１５では、参照フレームＲ２と補間フレームＩ１から補間フレームＩ１のクオリティが検証され、それに基づいて補間を行うか否かが判定される。第２補間フレーム生成部１６では、補間判定部１５の判定結果に従って、補間を行う場合には参照フレームＲ２，Ｒ３から、Ｒ２とＲ３との間の時間的中央位置（補間対象位置）に対応する第２補間フレームＩ２が生成される。
【００２０】
第２補間フレームＩ２は、参照フレームＲ１，Ｒ２，Ｒ３と共に表示システム１７に送られる。表示システム１７では、タイミングコントローラ１８による制御下で補間フレームＩ２が参照フレームＲ２とＲ３の間に挿入され、フレーム補間後の動画像が表示される。
【００２１】
次に、本実施形態の動作を説明する。
フレーム補間では、隣接フレーム間に補間フレームを内挿することによってより滑らかな動画再生を可能にする。しかし、常に適切な補間フレームを生成できるという保証はなく、低クオリティの補間フレームを生成して内挿してしまうことにより、動画像全体のクオリティを下げてしまうということも考えられる。そこで本実施形態では、補間フレームＩ１のクオリティを検証するステップを設け、その検証結果によっては補間フレームＩ２の内挿による補間を行わないという選択肢を用意する。このようにすることによって、低クオリティの補間フレームによって動画質全体のクオリティを下げてしまうという問題を回避できる。
【００２２】
具体的には、本実施形態のフレーム補間の概念図である図２に示すように、▲１▼第１参照フレームＲ１と第３参照フレームＲ３から第２参照フレームＲ２の位置に対応する第１補間フレームＩ１を生成する、▲２▼補間フレームＩ１を参照フレームＲ２と比較してその相関値を求めることで、補間フレームＩ１のクオリティを検証する、▲３▼検証された補間フレームＩ１のクオリティが高ければ、すなわち相関値が閾値以上であれば、第２参照フレームＲ２と第３参照フレームＲ３から第２補間フレームＩ２を求めて参照フレームＲ２，Ｒ３間に補間を行う、という処理を行う。
【００２３】
以下、図３に示すフローチャートを用いて本実施形態における具体的な処理手順を説明する。
【００２４】
＜フレームメモリ１１〜１３の動作＞
画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。図４に示すように、ある瞬間に入力されてきたフレームデータを仮にｉフレームとする。このとき過去の蓄積から、フレームメモリ１１，１２，１３には、ｉ−３，ｉ−２，ｉ−１フレームのデータがそれぞれ格納されているとする（図中０番の状態）。ｉフレームが入力されてから、フレームメモリ１１，１２，１３内部のフレームデータを以下のように遷移させる。
【００２５】
▲１▼フレームメモリ１２内のフレームデータをフレームメモリ１１に移す；
▲２▼フレームメモリ１３内のフレームデータをフレームメモリ１２に移す；
▲３▼入力されたｉフレームをフレームメモリ１３に格納する。
このようにすることによって、フレームメモリ１１，１２，１３には、それぞれｉ−２，ｉ−１，ｉフレームのフレームデータが格納されている状態になる（ステップＳ１０１）。
【００２６】
ここでは便宜上、フレームメモリ１１，１２，１３のフレームデータを先に示した第１、第２、第３参照フレームＲ１，Ｒ２、Ｒ３と定義する。参照フレームＲ１，Ｒ２，Ｒ３のフレームデータにアクセスすることは、フレームメモリ１１，１２，１３のフレームデータにアクセスすることと等価である。
【００２７】
現在入力されている画像信号のフレーム（現フレーム）を参照フレームＲ３としてフレームメモリ１３から取得し、現フレームより１フレーム前のフレームを参照フレームＲ２としてフレームメモリ１２から取得し、さらに現フレームより２フレーム前のフレームを参照フレームＲ１としてフレームメモリ１１から取得し（ステップＳ１０２）、以下のように第１補間フレームＩ１の生成を行う。
【００２８】
＜第１補間フレーム生成部１４の処理＞
第１補間フレーム生成部１４では、第１補間フレームＩ１の生成に際して、まず第１参照フレームＲ１と第３参照フレームＲ３から両フレームＲ２，Ｒ３間の動きベクトルを求め、第２参照フレームＲ２の時間位置に対応する第１補間フレームＩ１を生成する（ステップＳ１０３）。ここでは、補間フレームＩ１を生成するための補間フレーム生成方法は特に限定されないが、例えば以下に挙げる様々な補間フレーム生成方法を選択することができる。
【００２９】
（１）第１の補間フレーム生成方法
図５に示すように、フレームＦ１を小ブロックに分割し、対象となる小ブロックと最も相関の高いブロックをフレームＩ２から探索して動きベクトルを求め、その動きベクトルを１／２にスケール変換する。該小ブロックと同位置の補間フレームＦＩ上の小ブロックに、スケール変換された動きベクトルの始点を固定し、その動きベクトルによって定まるフレームＦ２上の画像ブロックを補間フレームＦＩ上の小ブロック位置にコピーする。この一連の処理を分割された小ブロックすべてに行うことによって、補間フレームＦＩを生成する。
【００３０】
ここでは、フレームＦ１を小ブロックに分割して、いわゆる前方動き推定によって処理を行ったが、フレームＦ２を分割して、いわゆる後方動き推定により処理を行ってもよい。また、フレームＦ１からとフレームＦ２から求め、より相関度の高い動きベクトルを選択して補間フレームＦＩを生成する、いわゆる双方向動き推定によって処理を行ってもよい。
【００３１】
（２）第２の補間フレーム生成方法
図６に示すように、補間フレームＦＩを小ブロックに分割し、対象となる小ブロックを中心として点対称的に、フレームＦ１とフレームＦ２上の小ブロック対の中で最も相関の高い組を探索して動きベクトルを求める。この動きベクトルによって定まるフレームＦ１上の画像ブロックとフレームＦ２上の画像ブロックの平均をとり、その平均画像を補間フレーム上の小ブロック位置にコピーする。この一連の処理を分割された小ブロックすべてに行うことによって、補間フレームを生成する。
【００３２】
（３）第３の補間フレーム生成方法
上述の第１、第２の補間フレーム生成方法は共にブロックベースの技術であり、基本的にブロック内にはただ一つの動きしか存在しないことが前提となっている。このため、複数の動きが存在するような場合に、その動きの境界によって、ブロック歪みが発生する可能性がある。これに対して第３の補間フレーム生成方法では、このようなブロック歪みを発生させないようにするために、図７に示すようにブロック内を一致領域（相関の大きい領域）と不一致領域（相関の小さい領域）に分割し、一致領域に対して動きベクトルを割り当て、不一致領域に対しては再帰的に探索を行ってゆくという方法を選択することにより、ブロック歪みを抑える。
【００３３】
＜補間判定部１５の処理＞
第１補間フレームＩ１を第２参照フレームＲ２と比較して補間フレームＩ１のクオリティを検証することによって、補間を行うか否かを判定する。すなわち、参照フレームＲ２と補間フレームＩ２間の相関の大きさを表す相関値を計算し（ステップＳ１０４）、その相関値が閾値以上であれば補間フレームＦ１のクオリティが高いと判定し、閾値未満であればクオリティが低いと判定する（ステップＳ１０５）。この判定の結果に従って、後述するように第２補間フレームＦ２を生成する。
【００３４】
ここでは、クオリティに対する評価値を定め、その評価値が閾値よりも大きいか小さいかによって補間を行うか否かを判定する。その評価値がクオリティが高い場合に小さくなるような種類のものであれば、評価値が閾値以下の場合に補間を行うという判定を行い、クオリティが高い場合に大きくなるような種類のものであれば、評価値が閾値以上の場合に補間を行うという判定を行えばよい。参照フレームＲ２と補間フレームＩ２間の相関値としてとして見れば、前者の「評価値が閾値未満」と後者の「評価値が閾値以上」が「相関値が閾値以上」に対応することになる。この評価値としては、以下に示すように例えばいくつかの値を用いることができる。
【００３５】
まずは、画像信号の輝度成分のフレーム間差分に基づく例を説明する。
一つ目は、平均二乗誤差（Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ）（以下、ＭＳＥ）と呼ばれる評価値であり、これは以下のように表現できる。
【００３６】
【数１】
2004297719.tif 000003
【００３７】
ここで、ｆｒｅｆ（ｘ，ｙ）は参照画像（第２参照フレームＲ２に相当）の点（ｘ，ｙ）における輝度値、ｆｃｐｍｐ（ｘ，ｙ）は補間画像（この場合、補間フレームＩ１に相当）の点（ｘ，ｙ）における輝度値、（Ｎ，Ｍ）は画像サイズをそれぞれ表す。ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。数式（１）の評価値は、値が小さいほどクオリティが高いことを表す。
【００３８】
二つ目として、Ｓｕｂｊｅｃｔｉｖｅ  Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ（以下、ＳＭＳＥ）と呼ばれる評価値が挙げられる。これはＭＳＥを基に人間の目の特性を考慮に入れた評価値であり、以下のように表される。
【００３９】
【数２】
2004297719.tif 000004
【００４０】
ここで、ｆｒｅｆ（ｘ，ｙ）は参照画像（第２参照フレームＲ２に相当）の点（ｘ，ｙ）における輝度値、ｆｃｐｍｐ（ｘ，ｙ）は補間画像（この場合、補間フレームＩ１に相当）の点（ｘ，ｙ）における輝度値、（Ｎ，Ｍ）は画像サイズ、ｇ（ｘ，ｙ）は誤差の認知度、α（ｘ，ｙ）は点（ｘ，ｙ）の重みをそれぞれ表し、ｐは小さい誤差と大きい誤差の重要度の関係を決定する変数を表す。ｇ（ｘ，ｙ），α（ｘ，ｙ），ｐには、例えば次の数式（３）を用いることができる。
【００４１】
【数３】
2004297719.tif 000005
【００４２】
ここで、Ｍ２ｘ２（ｆ（ｘ，ｙ））は２×２サイズのウィンドウ内の線形平均を表し、これは人間の目のローパス特性を記述したものである。数式（１）のＭＳＥと同様に、ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。数式（２）のＳＭＳＥも、数式（１）のＭＳＥと同様に、値が小さいほどクオリティが高いことを表す。
【００４３】
次に、画像の色差信号に着目した評価値について説明する。これは数式（１）のＭＳＥや数式（２）のＳＭＳＥを拡張することによって得ることができる。数式（１）のＭＳＥでは、ｆ（ｘ，ｙ）を画像信号の輝度成分としたが、これを画像信号の色差成分として置き換えてやればよい。色差信号Ｃｂに相当するものとしては、数式（１）におけるｆ（ｘ，ｙ）を色差信号Ｃｂと置き換えてこれをＭＳＥ［Ｃｂ］とし、色差信号Ｃｒに相当するものとしては、数式（１）におけるｆ（ｘ，ｙ）を色差信号Ｃｒに置き換えて、これをＭＳＥ［Ｃｒ］と得ることができる。同様にしてＳＭＳＥについても、数式（２）におけるｆ（ｘ，ｙ）を色差信号Ｃｂ、Ｃｒと置き換えて、これをＳＭＳＥ［Ｃｂ］，ＳＭＳＥ［Ｃｒ］と得ることができる。これらＭＳＥ［Ｃｂ］，ＭＳＥ［Ｃｒ］，ＳＭＳＥ［Ｃｂ］及びＳＭＳＥ［Ｃｒ］は、すべて値が小さいほどクオリティが高いことを表す。
【００４４】
上記二つの輝度成分に基づいた評価値と、色差成分に基づいた評価値を組み合わせて使用することも可能である。例えば、輝度成分、色差成分すべてを使用した評価値としては、以下の値を考えることができる。
【００４５】
【数４】
2004297719.tif 000006
【００４６】
数式（４）（５）はそれぞれＭＳＥ，ＳＭＳＥを拡張したものであり、いずれも値が小さいほどクオリティが高いことを示す。
【００４７】
別の評価値としては、二つのフレームで一致している画素数を数え、その画素数が多い方をクオリティが高いとする一致画素数和（Ｓｕｍ  ｏｆ  Ａｇｒｅｅｍｅｎｔ  Ｐｉｘｅｌｓ、以下ＳＡＰ）である。この評価値は以下のように表現される。
【００４８】
【数５】
2004297719.tif 000007
【００４９】
ここで、ｆｒｅｆ（ｘ，ｙ）は参照画像（第２参照フレームＲ２に相当）の点（ｘ，ｙ）における輝度値、ｆｃｐｍｐ（ｘ，ｙ）は補間画像（この場合、補間フレームＩ１に相当）の点（ｘ，ｙ）における輝度値、（Ｎ，Ｍ）は画像サイズ、Ｔは閾値（例えば３など）をそれぞれ表す。ここでは画像全体に対して計算をしている例を挙げたが、サイズは任意に決めることができ、画面内の一部分を対象にすることもできる。この評価基準は大きいものほどクオリティが高いことを意味する。ＳＡＰについても、上記ＭＳＥなどと同様に色差信号に対してＳＡＰ［Ｃｂ］，ＳＡＰ［Ｃｒ］を求めることができ、数式（５）におけるｆ（ｘ，ｙ）を色差信号Ｃｂ、Ｃｒと置き換えればよい。輝度成分に基づいた評価値と、色差成分に基づいた評価値を以下のように組み合わせて使用することも可能である。
【００５０】
【数６】
2004297719.tif 000008
【００５１】
なお、その他の評価値と合わせるために、以下のようにすることにより、値が小さいほどクオリティが高いことを表現できるようになる。
【００５２】
【数７】
2004297719.tif 000009
【００５３】
次に、以下の評価値は相互相関関数（Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｆｕｎｃｔｉｏｎ、以下ＣＣＦ）を利用したものである。
【００５４】
【数８】
2004297719.tif 000010
【００５５】
ここでは輝度の差分値を用いずに、輝度の乗算値・除算値が用いられている。この評価値は、１．０に近いほど相関が高いものを表すが、その他の指標と合わせるために、以下のようにすることによって、値が小さいほどクオリティが高いことを表現するように変換できる。
【００５６】
【数９】
2004297719.tif 000011
【００５７】
また、その他の評価値と同様に色差信号に対してＣＣＦ［Ｃｂ］，ＣＣＦ［Ｃｒ］を求めることができ、数式（９）におけるｆ（ｘ，ｙ）を色差信号Ｃｂ，Ｃｒと置き換えればよい。輝度成分に基づいた評価値と、色差成分に基づいた基準を組み合わせて使用することも可能であり、以下のように表現することができる。
【００５８】
【数１０】
2004297719.tif 000012
【００５９】
閾値の設定は、例えばＰＳＮＲ（ｐｅａｋ  ｓｉｇｎａｌ  ｔｏ  ｎｏｉｓｅ  ｒａｔｉｏ）から設定することができる。ＰＳＮＲにおける許容限は、一般に３２［ｄＢ］とされており、それに対応するＭＳＥ値は４１．０２７９であるから、閾値を４１．０２７９に設定すれば、許容限を下回る場合には補間を行わないとすることができる。
【００６０】
＜第２補間フレーム生成部１６の処理＞
上述した補間判定、すなわちステップＳ１０５における第２参照フレームＲ２と第１補間フレームＩ１との相関値と閾値の比較の結果、相関値が閾値以上、つまり補間を行う判定された場合には、第２参照フレームＲ２と第３参照フレームＲ３から動きベクトルを用いて両フレームＲ２，Ｒ３間の時間的中央位置に対応する第２補間フレームＩ２を生成する（ステップＳ１０６）。
【００６１】
補間を行うと判定された場合には、第１補間フレームＩ１の生成と同様に、図５、図６及び図７に示すような様々な補間フレーム生成方法を用いて第２補間フレームＩ２を生成することができる。一方、相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ１０７）。
【００６２】
＜表示装置１８の処理＞
表示装置１７における画像表示に際しては、タイミングコントローラ１８からの制御により画像表示システム以外のシステム、例えば音声システムの出力タイミングを画像信号の１フレーム分（この場合、１／６０［秒］）だけタイミングコントローラによって遅延させ（ステップＳ１０８）、画像の表示タイミングに合わせて第２参照フレームＲ２を表示し（ステップＳ１０９）、１／１２０［秒］後に第２補間フレームＩ２を表示する（ステップＳ１１０）。ここでは、第１補間フレームＩ１の生成から第２補間フレームＩ２の生成までの処理を１／６０［秒］以内で終了すると仮定している。
【００６３】
このように本実施形態では、補間フレームのクオリティを検証するステップを設け、補間フレームのクオリティが低いと判定された場合には補間を行わないという選択肢を設けることによって、低クオリティの補間フレームを内挿してしまうことによる動画質全体のクオリティの低下という問題を回避できる。
【００６４】
補間フレームを内挿すべき補間位置には、当然のことながらオリジナルのフレームは存在しないため、従来の手法では補間フレームのクオリティを確実に検証する手段がない。これに対して本実施形態では、隣接フレームに対して補間を行うことによって、隣接フレーム位置における補間精度を求め、その補間精度を基にして補間位置の補間精度を類推することにより、補間フレームのクオリティを検証している。隣接フレームと補間フレームの時間的間隔は近いので、動画の時間的連続性から、隣接フレーム位置における検証結果を補間フレーム位置の検証結果として類推することは妥当であると考えられる。
【００６５】
一方、動画の時間的連続性が仮定できない場合もある。そのような例として、例えばシーンチェンジの発生が考えられる。シーンチェンジがあると、シーンチェンジ時点より前のフレームと次のフレームに連続性が全くなく、両フレームは全く異なる画像てなる。図８及び図９を用いて、シーンチェンジ時における本実施形態の動作を説明する。
【００６６】
図８は、シーンチェンジ部分に補間フレームを挿入する場合の動作である。▲１▼第１補間フレームＩ１を生成する際には、シーンチェンジ前の画像とシーンチェンジ後の画像から補間フレームＩ１を作ることになるため、生成される補間フレームは、例えば半分が前のフレームの画像、半分が後のフレームの画像というようなフレームとなってしまう。このような画像は、第２参照フレームＲ２とのマッチングが非常に悪いため、補間判定の評価値は非常に悪くなる。すなわち、相関値は著しく細緻な値を示すため、補間を行わないという判定がなされ、第２参照フレームＲ２の画像がそのまま挿入される。
【００６７】
このようにシーンチェンジ時に不適切ででたらめな補間フレームが挿入されることがないため、正しく補間判定が行われていることが分かる。図９の場合も同様である。すなわち、動画の連続性が仮定できない場合でも、正常に補間判定機能が働くことが分かる。
【００６８】
（第２の実施形態）
図１０は、本発明の第２の実施形態に係る画像表示システムであり、第２補間フレーム生成部２０は第１補間フレーム生成部１４から入力される第１動きベクトルＭＶ１のスケール変換を行うベクトルスケール変換部２１と、スケール変換後の第２動きベクトルＭＶ２を用いて動きベクトル補償を行う動き補償部２２を有する。
【００６９】
以下、第１の実施形態と同様に入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００７０】
本実施形態においても第１の実施形態と同様に、低クオリティの補間フレームを内挿してしまうことによる動画像全体の画質低下を防ぐために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないように構成される。第１の実施形態と異なるところは、第２補間フレーム生成部１５が第１補間フレーム生成部１４で得られた動きベクトルＭＶ１を利用して第２補間フレームＩ２を生成する点である。こうすることによって、全体の計算時間を半分にすることができる。
【００７１】
以下、図１１と図１２を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１２におけるステップＳ２０１からＳ２０３までの第１補間フレームＩ１の生成処理と、ステップＳ２０４からＳ２０５までの補間判定処理及びステップＳ２０８からＳ２１０までの表示処理は、第１の実施形態と同様あるので説明を省略し、第２補間フレームＩ２の生成処理についてのみ説明する。
【００７２】
＜第２補間フレーム生成部２０＞
第２補間フレームの生成に際しては、ステップＳ２０５により参照フレームＲ２と第２補間フレームＩ１との相関値が閾値以上、すなわち補間を行うと判定された場合には、図１１に示すように、まず第１補間フレーム生成部１４で得られた第１動きベクトルＭＶ１を第２補間フレームＩ２の内挿位置に応じてスケール変換し、第２動きベクトルＭＶ２を生成する（ステップＳ２０６Ａ）。
【００７３】
次に、スケール変換後の第２動きベクトルＭＶ２と第２参照フレームＲ２及び第３参照フレームＲ３を用いて動き補償を行うことによって、第２補間フレームＩ２を生成する（ステップＳ２０６Ｂ）。一方、ステップＳ２０５で相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ２０７）。ベクトル変換ステップＳ２０６Ａ及び動き補償ステップＳ２０６Ｂの処理をさらに具体的に説明する。
【００７４】
＜ベクトルスケール変換ステップ＞
ベクトルスケール変換ステップＳ２０６Ａでは、第１補間フレームの生成時に得られた動きベクトルＭＶ１をスケール変換、すなわちベクトルの長さの変換を行って、第２動きベクトルＭＶを生成する。ここでは、第２補間フレームＩ２を第２参照フレームＲ２と第３参照フレームＲ３間の時間的中央位置に挿入することを目的とするため、ＭＶ１の長さを１／２にしてＭＶ２とする。具体的には、ＭＶ１＝（Ｖｘ，Ｖｙ）とすると、ＭＶ２＝（ｓＶｘ，ｓＶｙ）は、
ｓＶｘ＝１／２＊Ｖｘ
ｓＶｙ＝１／２＊Ｖｙ
で計算される。
【００７５】
＜動き補償ステップ＞
動き補償ステップＳ２０６Ｂでは、ステップＳ２０６Ａで得られたスケール変換後の第２動きベクトルＭＶ２によって指し示される第３参照フレームＲ２上の画像ブロックＢ１を用いて動き補償を行い、補間フレームＩ２を作成する。図１２を用いて説明する。
【００７６】
第１補間フレームＩ１の生成において補間フレームＩ１を小ブロックに分割するが、第２参照フレームＲ２と第３参照フレームＲ３間の補間フレームＩ２上にも、同様の小ブロックを考える。補間フレームＩ２上の各小ブロックに対応した動きベクトルは、長さが１／２に変換された動きベクトルＭＶ２であり、この動きベクトルＭＶ２が指し示す第３参照フレームＲ３上のブロックＢ１を動き補償する、つまり補間フレームＩ２上の当該小ブロック位置にコピーすることによって、補間フレームＩ２を作成する。
【００７７】
本実施形態によると、第１の実施形態と同様に補間フレームのクオリティを検証し、補間フレームのクオリティが低いと判定された場合には補間を行わないという選択肢を設けることによって、低クオリティの補間フレームを内挿することによる動画質全体のクオリティの低下いう問題を回避できると同時に、第１補間フレームＩ１の生成時に求まった動きベクトルを第２補間フレームＩ２の生成時に再利用することにより、計算時間を１／２に短縮することが可能となる。
【００７８】
（第３の実施形態）
図１３は、本発明の第３の実施形態に係る画像表示システムであり、第１補間生成部１４から出力される動きベクトルＭＶ１をスケール変換するベクトルスケール変換部１９が設けられ、第２補間フレーム生成部３０はオーバラップ検出部３１と動き推定部３２及び動き補償部３３によって構成される。
【００７９】
以下、図１４及び図１５を用いて本実施形態におけるフレーム補間処理について述べる。第１の実施形態と同様に入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００８０】
本実施形態は、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。また、第１の補間フレーム生成部１４で得られた動きベクトルＭＶ１をスケール変換した動きベクトルＭＶ２を利用して第２補間フレームＩ２を生成する点は第２の実施形態と共通であるが、動きベクトルＭＶ２そのものをそのまま利用するのではなく、実際の探索範囲を限定するために動きベクトルＭＶ２を使用するところが第２の実施形態と異なる。
【００８１】
以下、図１４と図１５を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１５におけるステップＳ３０１からＳ３０３までの第１補間フレームＩ１の生成処理と、ステップＳ３０４からＳ３０５までの補間判定処理及びステップＳ３０８からＳ３１０までの表示処理は、第１及び第２の実施形態と同様あるので説明を省略し、第２補間フレームＩ２の生成処理についてのみ説明する。
【００８２】
＜補間フレーム生成部３０の処理＞
第２補間フレームＩ２の生成に際しては、ステップＳ３０５により参照フレームＲ２と第２補間フレームＩ１との相関値が閾値以上、すなわち補間を行うと判定された場合には、図１５に示すように、第１補間フレーム生成部１４で得られた動きベクトルＭＶ１を第２補間フレームＩ２の内挿位置に応じてスケール変換し、第２動きベクトルＭＶ２を生成する（ステップＳ３０６Ａ）。
【００８３】
次に、スケール変換後の第２動きベクトルＭＶ２が補間フレームＩ２上の対象ブロックに対してオーバラップする領域Ｂ２を検出し、オーバラップ領域Ｂ２を通る動きベクトルによって限定される探索領域Ｓを探索して第３動きベクトルＭＶ３を求め、動きベクトルＭＶ３と第２参照フレームＲ２と第３参照フレームＲ３を用いて動き補償を行うことによって、補間フレームＩ２を生成する（ステップＳ３０６Ｂ〜Ｓ３０６Ｅ）。一方、ステップＳ２０５で相関値が閾値未満、つまり補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ３０７）。
【００８４】
本実施形態におけるステップＳ３０６ＡからステップＳ３０６Ｅまでの第２補間フレームＩ２の生成処理は、ベクトルスケール変換ステップＳ３０６Ａと、オーバラップ検出ステップＳ３０６Ｂ〜Ｓ３０６Ｃ、動き推定ステップＳ３０６Ｄ及び動き補償ステップＳ３０６Ｅからなる。以下、各ステップＳ３０６Ａ〜Ｓ３０６Ｅの処理について具体的に説明する。
【００８５】
＜ベクトルスケール変換ステップ＞
ベクトルスケール変換ステップＳ３０６Ａでは、第１補間フレームの生成時に得られた動きベクトルＭＶ１をスケール変換、すなわちベクトルの長さの変換を行って、第２動きベクトルＭＶを生成する。ここでは、第２補間フレームＩ２を第２参照フレームＲ２と第３参照フレームＲ３間の時間的中央位置に挿入することを目的とするため、ＭＶ１の長さを１／２にしてＭＶ２とする。具体的には、ＭＶ１＝（Ｖｘ，Ｖｙ）とすると、ＭＶ２＝（ｓＶｘ，ｓＶｙ）は、
ｓＶｘ＝１／２＊Ｖｘ
ｓＶｙ＝１／２＊Ｖｙ
で計算される。なお、ここではベクトルの終点を固定してスケール変換を行う。
【００８６】
＜オーバラップ検出ステップ＞
動きベクトルＭＶ２は、動きベクトルＭＶ１の終点を固定してスケール変換を行ったベクトルであるために、動きベクトルＭＶ２に付随するブロックは、補間フレームＩ２上のブロック格子と一致するわけではない。そこでオーバラップ検出ステップＳ３０６Ｂでは、動きベクトルＭＶ２に付随するブロックが補間フレームＩ２上の対象ブロックに対して、どのベクトルのものでどの程度オーバラップしてくるのかを検出する。すなわち、動きベクトルＭＶ２に応じて第２補間フレームＩ２上に対象ブロック枠を移動させ（ステップＳ３０６Ｂ）、次いでオーバラップしたブロックが持つ第３動きベクトルＭＶ３によって、補間フレームＩ２上の対象ブロックに対する実際の探索領域Ｓを決定する（ステップＳ３０６Ｂ）。例えば、動きベクトルＭＶ３が指し示す位置の画素位置から上下左右４画素を探索領域Ｓとする。
【００８７】
＜動き推定ステップ＞
動き推定ステップＳ３０６Ｄでは、補間フレームＩ２上の対象ブロックを中心として、第２参照フレームＲ２と第３参照フレームＲ３から幾何対称的に探索を行うことによって第４動きベクトルを推定する。ここで用いる探索領域は、オーバラップ検出ステップＳ３０６Ｂ〜Ｓ３０６Ｃで検出された動きベクトルＭＶ３によって限定される探索領域Ｓである。
【００８８】
＜動き補償ステップ＞
動き補償ステップＳ３０６Ｅでは、動き推定ステップＳ３０６Ｄで推定された動きベクトルによって定まる第２参照フレームＲ２と第３参照フレームＲ３上の画像ブロックを用いて動き補償を行い、第２補間フレームＩ２を作成する。
【００８９】
本実施形態によると、第１及び第２の実施形態と同様の効果が得られるほか、さらに第２補間フレーム生成ステップで求まった第２動きベクトルＭＶ２を用いて実際の探索領域Ｓを限定することにより、再計算時間を大幅に短縮することが可能となる。
【００９０】
（第４の実施形態）
図１６は、本発明の第４の実施形態に係る画像表示システムであり、補間判定部２５がブロック単位で処理を行う点がこれまでの実施形態と異なる。
【００９１】
ここでは第１の実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【００９２】
本実施形態は、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。
【００９３】
ここで、第１の実施形態では基本的には画面全体を使って補間フレームのクオリティの検証を行っていたの対して、第４の実施形態は画面の一部分が複数フレームに渡って連続的及び局所的に画質劣化を引き起こしていても、それによって動画像全体の画質低下を引き起こさないようにした例である。本実施形態では、そのような連続的、局所的な画質劣化を検出できるように、図１７図の▲２▼に示すようにブロック毎に区切った領域で検証を行う。その検証結果によって、一つのブロックでも複数フレームに渡り連続して画質劣化が引きおこされていると判定された場合には、補間フレームを内挿しないと判定する。
【００９４】
以下、図１７と図１８を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１８におけるステップＳ４０１からＳ４０３までの第１補間フレームＩ１の生成処理と、ステップＳ４１６，Ｓ４１７の第２補間フレームＩ２の生成処理及びステップＳ４１８からＳ４２０までの表示処理は、これまでの実施形態と同様あるので説明を省略し、ステップＳ４０３からＳ４１４までの補間判定処理についてのみ説明する。
【００９５】
対象ブロックが何フレーム連続で低クオリティであったかということを保存する変数として、プール［ｉ］を用意する。ここで、ｉはブロックのインデックス番号である。プール［ｉ］は、すべての処理の始めに、つまり画像信号が入力されて補間処理を開始する前に、すべて０を代入しておく。
【００９６】
＜補間判定ステップ＞
補間判定ステップでは、ブロック毎に補間フレームＩ１と第２参照フレームの検証を行い、複数フレームに渡り連続してクオリティの低いブロックが存在した場合には補間を行わないという判定をする。検証の評価値としては、第１の実施形態で説明したと同様に様々な方法を用いることが可能である。また、ここで用いるブロックは、第１補間フレーム生成ステップＳ４０３で用いられているサイズのブロックでもよいし、他の任意のサイズを選択することも可能である。以下、具体的な手順を説明する。
【００９７】
まず、第２参照フレームＲ２をブロックに分割する（ステップＳ４０４）。このブロックは、上述したように第１補間フレーム生成ステップＳ４０３で用いられているサイズのブロックあるいはその他の任意のサイズのブロックである。
【００９８】
補間を行うか否かの判定フラグとして補間ｆｌａｇを用意し、初期値としてｔｒｕｅを与える（ステップＳ４０５）。補間ｆｌａｇがｔｒｕｅであれば補間をするという判定を行い、ｆａｌｓｅであれば補間を行わないという判定を行う。補間判定ステップの以降の処理は、ブロック毎のループ処理となる（ステップＳ４０６）。
【００９９】
ｉ番目のブロックに関して、対象ブロック位置における第２参照フレームＲ２と第１補間フレームＩ１を比較して補間フレームＩ１のクオリティを検証する。すなわち、参照フレームＲ２と第２補間フレームＩ１との相関値を計算し（ステップＳ４０７）、閾値以上か否かを調べる（ステップＳ４０８）。
【０１００】
ここで相関値が閾値以上の場合、つまりクオリティが閾値より良い場合には、ステップＳ４１２に処理を進め、プール変数を０に戻す（プール［ｉ］＝０）。相関値が閾値未満、つまり設定された評価値に従って求まったクオリティが閾値よりも悪い場合には、ステップＳ４０９に処理を進め、プール変数に１を追加する（プール［ｉ］＝プール［ｉ］＋１）。
【０１０１】
次に、ｉ番目のブロックが設定フレーム数に渡り連続してクオリティが低いかどうか判定する。例えば、設定フレーム数を閾値２とすると、プール変数が閾値２よりも大きいか否かによって、その判定を行うことができる。すなわち、プール［ｉ］＞閾値２であるかどうかを判定し（ステップＳ４１０）、もし大きければ連続してクオリティが低いということになり、補間を行わない、つまり補間ｆｌａｇにｆａｌｓｅを代入する（ステップＳ４１１）。それ以外であれば補間を行うので、補間ｆｌａｇはステップＳ４０５で設定されたｔｒｕｅのままである。
【０１０２】
上述のステップＳ４０６〜Ｓ４１２の処理をステップＳ４１３で全てのブロックについて行われたと判断されるまで繰り返し行うことにより、補間判定を終了する。
このように本実施形態では、ブロック毎に補間判定を行うことによって、局所的な画質劣化にも対応できるフレーム補間を実現することが可能となる。
【０１０３】
（第５の実施形態）
次に、図１９〜図２０に示すフローチャートを用いて本発明の第５の実施形態について説明する。本実施形態における画像表示システムは、例えば第１の実施形態で用いた図１に示す構成と同様でよい。
【０１０４】
これまでの実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１０５】
本実施形態も、第１の実施形態と同様に低クオリティの補間フレームを内挿することによる動画像全体の画質低下を防止するために、生成される補間フレームのクオリティを検証し、クオリティが低いと判定された場合には補間を行わないという構成である。
【０１０６】
第４の実施形態では、時間・空間的に局所的なエラーが発生している場合に、補間を行わないという判定をすることによって、動画質全体のクオリティを保っている。その場合、時間的に見ればある一瞬だけエラーがあったが、その周りの時間ではエラーが発生していなかったとすると、補間を行わないという選択によって動画の動きが一瞬滑らかではなくなってしまう。そのような動きの乱れはは視認性がなかなか高く、違和感を感じさせる可能性がある。そこで、本実施形態では周りの時間における判定結果を踏まえて、対象とする補間位置における判定結果を補正する処理を設けることにより、時間の連続性による違和感を軽減させる。
【０１０７】
以下、図１９〜図２０を用いて本実施形態におけるフレーム補間の処理手順について説明する。図１９〜図２０におけるステップＳ５０６の第１補間フレームＩ１の生成処理と、ステップＳ５１９からＳ５１０までの第２補間フレームＩ２の生成処理及びステップＳ５２１からＳ５２３までの表示処理は、第１の実施形態と同様あるので説明を省略し、補間判定処理に注目して説明する。
【０１０８】
＜フレームメモリの動作＞
動画像信号である画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。図４に示したように、ある瞬間に入力されてきたフレームデータを仮にｉフレームとする。このとき過去の蓄積から、ｉ−１，ｉ−２，・・・，ｉ−（Ｌ＋１），ｉ−（Ｌ＋２）フレームがそれぞれフレームメモリＬ＋２，Ｌ＋１，・・・，１２，１１に格納されているとする（Ｌ＝０としたときの図中０番の状態）。ｉフレームが入力されてからフレームメモリＬ＋２，Ｌ＋１，・・・，１２，１１内部のフレームデータを以下のように遷移させる。
【０１０９】
▲１▼フレームメモリ１２内のフレームデータをフレームメモリ１１に移す；
▲２▼フレームメモリ１３内のフレームデータをフレームメモリ１２に移す；
▲３▼入力されたｉフレームのフレームデータをフレームメモリ１３に格納する。
このようにすることによって、フレームメモリ１１，１２，・・・，Ｌ，Ｌ＋１１，Ｌ＋２には、それぞれｉ−Ｌ＋２，ｉ−Ｌ＋１，・・・，ｉ−２，ｉ−１，ｉフレームのフレームデータが格納されている状態になる。
【０１１０】
ここで便宜上、フレームメモリＬ内のフレームデータを第１参照フレームＲ１、フレームメモリＬ＋１内のデータを第２参照フレームＲ２、フレームメモリＬ＋２内のデータを第３参照フレームＲ３と定義する。参照フレームＲ１，Ｒ２，Ｒ３のフレームデータにアクセスすることは、フレームメモリＬ，Ｌ＋１，Ｌ＋２のフレームデータにアクセスすることと等価である。以上の処理をフローで示すと、図１９のステップＳ５０１〜Ｓ５０７となる。
【０１１１】
＜補間判定ステップ＞
補間判定ステップでは、ステップＳ５１０で生成された第１補間フレームＩ１を第２参照フレームＲ２と比較して補間フレームＩ１のクオリティを検証することによって、補間をするか否かを判定する。すなわち、参照フレームＲ２と補間フレームＩ２間の相関の大きさを表す相関値を計算し（ステップＳ５０９）、その相関値が閾値以上であれば補間フレームＦ１のクオリティが高いと判定し、閾値未満であればクオリティが低いと判定する（ステップＳ５１０）。この判定の結果に従って、以下のように第２補間フレームＦ２を生成する。
【０１１２】
まず、ステップＳ５１０で相関値が閾値以上と判定された場合は、ｔｒｕｅを補間リストの末尾に挿入し（ステップＳ５１１）、相関値が閾値未満と判定された場合は、ｆａｌｓｅを補間リストの末尾に挿入する（ステップＳ５１２）。この後、補間リストの長さを末尾からＭに更新する（ステップＳ５１３）。次に、Ｍの中央値をＨとして補間リスト［Ｈ］がｆａｌｓｅか否かを調べ（ステップＳ５１４〜Ｓ５１５）、［Ｈ］がｆａｌｓｅであれば補間リスト［Ｈ］についてテンプレートマッチングを行い、マッチする場合には補間リスト［Ｈ］をｔｒｕｅとして（ステップＳ５１６）、ステップＳ５１７に処理を移し、［Ｈ］がｆａｌｓｅでなければステップＳ５１７に処理を移す。
【０１１３】
ステップＳ５１７では、現フレームＬを第３参照フレームＲ３として、参照フレーム１２から取得し、さらにフレームＬ−１を第２参照フレームＲ２としてフレームメモリ１１から取得する。ここで、補間リスト［Ｈ］がｔｒｕｅか否かを調べて補間を行うか否かを判定する（ステップＳ５１８）。以下、第１の実施形態と同様に、補間を行うと判定した場合には、第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３間の時間的中央位置に対応する第２補間フレームＩ２を生成する（ステップＳ５２０）。補間を行わないと判定された場合には、第２参照フレームＲ２をそのままを出力する（ステップＳ５１９）。
【０１１４】
表示処理に際しては、画像表示システム以外のシステムの出力タイミングを本実施形態では画像信号のＬ＋１フレーム分だけ遅延させ（ステップＳ５２１）、画像の表示タイミングに合わせて第２参照フレームＲ２を表示し（ステップＳ５２２）、さらに第２補間フレームＩ２を表示する（ステップＳ５２３）。
【０１１５】
（第６の実施形態）
次に、図２１と図２２〜図２３を用いて本発明の第６の実施形態について説明する。本実施形態における画像表示システムの構成は、例えば第１の実施形態で用いた図１と同様でよい。
【０１１６】
これまでの実施形態と同様に、入力の画像信号（動画像信号）が６０Ｈｚのノンインタレース信号であり、６０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより１２０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１１７】
補間フレームの生成方法としては、第１の実施形態でも述べたように様々な方法を選択することができるが、それぞれの方法には一長一短がある。例えば、動画の静止領域については、動きベクトルを用いない補間フレーム生成方法、つまり前のフレームを補間フレームとして利用したり、前後のフレームの平均を取ったりするような補間法の精度が高くなる。
【０１１８】
動領域については、動きベクトルを用いる補間フレーム生成方法の方が精度が高くなる。さらに、動領域でも動きが複数に分割されている領域については、領域分割型の補間フレーム生成方法によってより精度を高めることができる筈であるが、動きが単一の領域については領域分割をしない方が効果が高い。このようにセグメント毎に最適な補間フレーム生成方法は異なる。
【０１１９】
そこで本実施形態では、ブロック毎に最適な補間フレーム生成方法を選択可能とするために、補間判定ステップを利用する。図２１の▲２▼に示すように、ブロック毎に複数の補間フレーム生成方法によって生成した補間ブロックＢ１１，Ｂ１２，Ｂ１３を補間判定によってオリジナルのブロックＢ１０と比較し、最も評価値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定して、図２１の▲３▼に示すように、当該ブロックの補間フレーム生成のために実際に用いる補間フレーム生成方法として採用する。
【０１２０】
本実施形態では補間フレーム生成方法として、第１の実施形態で示したような３つの補間フレーム生成方法と、前後の隣接フレームを平均化する方法及び前フレームをそのまま使用する方法を採用する。図２１のＢ１１，Ｂ１２及びＢ１３は、これらの生成方法によって生成される補間ブロックを示している。但し、本実施形態で用いられる補間フレーム生成方法は、特にこれらに限られるわけではない。例えば、第１の実施形態で示した３つの補間フレーム生成方法から選択してもよいし、それらの３つの補間フレーム生成方法＋平均フレーム＋前フレームというような構成でも構わない。
【０１２１】
＜第１補間フレーム生成ステップ＞
第１間フレームＩ１を生成する際のステップＳ６０１からＳ６０２までの処理は、第１の実施形態と同様である。ステップＳ６０２の処理の後、第１参照フレームＲ１と第３参照フレームＲ３から動きベクトルを求め、第２参照フレームＲ２の時間位置に対応する補間フレームＩ１を生成する（ステップＳ６０３）。ここでは、補間フレームＩ１の生成方法は特に限定されるわけではなく、例えば第１の実施形態で示したような様々な補間フレーム生成方法を選択することができる。例えば、第１参照フレームＲ１と第３参照フレームＲ３の画像データを線形平均して平均フレームを求めたり、さらに第１参照フレームＲ１を前フレームとして採用するようにしてもよい。
【０１２２】
＜補間判定ステップ＞
以下ではブロック毎に最適な補間フレーム生成方法を選択するが、ここで言うブロックは補間の際に使用するブロックである。補間判定ステップの処理は、ブロック毎のループ処理となる（ステップＳ６０６）。ｉ番目（ｉはブロックのインデックス）のブロックに関して、対象ブロック位置における第２参照フレームＲ２と補間フレームＩ１、平均フレーム、前フレームのクオリティをそれぞれ検証する（ステップＳ６０４〜Ｓ６０８）。すなわち、参照フレームＲ１，Ｒ３の画像データを平均して平均フレームを生成し（ステップＳ６０４）、参照フレームＲ２を複数の小ブロックに分割する（ステップＳ６０５）。
【０１２３】
対象ブロックの位置において、参照フレームＲ２と補間フレームＩ１間の相関値Ｃ１と、参照フレームＲ２とステップＳ６０４で生成された平均フレーム間の相関値Ｃ２、及び参照フレームＲ２と参照フレームＲ１間の相関値Ｃ３を計算する（ステップＳ６０７）。次に、これらの相関値Ｃ１，Ｃ２，Ｃ３のうち値が最大の相関値を調べ（ステップＳ６０８）、Ｃ１が最大であれば平均フレーム、Ｃ２が最大であれば補間フレームＩ１、Ｃ３が最大であれば前フレームを第２補間フレームＩ２の生成方法としてそれぞれ採用する（ステップＳ６０９，Ｓ６１０，Ｓ６１１）。
上述のステップＳ６０６〜Ｓ６１１の処理をステップＳ６１２で全てのブロックについて行われたと判断されるまで繰り返し行うことにより、補間判定を終了する。
【０１２４】
＜第２補間フレーム生成ステップ＞
次に、上述の補間判定ステップで選択された補間フレーム生成方法を用いて、第２参照フレームＲ２と第３参照フレームＲ３の間に挿入すべき補間フレームを生成する。第２補間フレーム生成ステップの処理は、ブロック毎のループ処理となる（ステップＳ６１３）。まず、ｉ番目（ｉはブロックのインデックス）のブロックに関して、対象ブロック位置における補間判定結果を読み取り（ステップＳ６１４）、それに応じて以下の処理を行う。
【０１２５】
まず、補間判定結果が平均フレームの場合は、第２参照フレームと第３参照フレームの当該ブロックの平均ブロックを補間フレームにコピーする（ステップＳ６１５）。
補間判定結果が補間フレームＩ１の場合は、第１の実施形態と同様に、当該ブロック位置において第２参照フレームＲ２と第３参照フレームＲ３から動きベクトルを用いて両フレームＲ２，Ｒ３間の時間的中央位置に対応する補間ブロックを生成し、補間フレーム上にコピーする（ステップＳ６１６）。または、第２の実施形態のように、新たにベクトルを求めることはせずに、第１補間フレーム生成ステップで求まった当該ブロック位置の動きベクトルを流用して補間ブロックを求めてもよい。あるいは、第３の実施形態のように補間ブロックを求めてもよい。補間判定結果が前フレームの場合は、第２参照フレームの当該ブロック位置を補間フレームにコピーする（ステップＳ６１７）。
上述のステップ処理を全ブロック分繰り返し、補間フレームＩ２を生成する。なお、相関値Ｃ１，Ｃ２，Ｃ３の最大値を閾値と比較し、該最大値が該閾値に満たないときは第２参照フレームＲ２を補間フレームとしてもよい。
【０１２６】
このように本実施形態では、ブロック毎に複数の補間フレーム生成方法によって生成される補間ブロックを補間判定によってオリジナルのブロックと比較判定して、最も相関値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定し、実際の補間フレーム生成のための当該ブロックの補間フレーム生成方法として採用する。これにより、ブロック毎に最適な補間フレーム生成方法を選択することが可能となる。
【０１２７】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。本実施形態は、入力される画像信号のフレーム間の時間間隔が長い場合でも、補間フレームに対するクオリティの検証の精度を高め、高精度のフレーム補間を可能とする。
【０１２８】
図２４に、本発明の第７の実施形態に係る画像表示システムの構成を示す。第１補間フレーム生成部１４と第２補間フレーム生成部１６が縦続に接続される。第１補間フレーム生成部１４では、参照フレームＲ２，Ｒ３から第１補間フレームＩ１が生成される。第２補間フレーム生成部１６では、第１補間フレームＩ１と第３補間フレームＩ０から第２補間フレームＩ２が生成される。補間判定部１５では、参照フレームＲ２と補間フレームＩ２から第１補間フレームＩ１のクオリティを検証するための補間判定が行われる。
【０１２９】
ここでは、入力の画像信号（動画像信号）が３０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、３０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより６０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１３０】
第１の実施形態では、第１補間フレームＩ１のクオリティを検証するために、参照フレームＲ１を挟んだ二つの参照フレームＲ１，Ｒ３間のフレーム補間を求めている。第７の実施形態のように、入力される画像信号が３０Ｈｚであり、隣接フレーム間の時間間隔が大きい場合（ここでは、１／３０Ｈｚ）には、参照フレームＲ１，Ｒ３間の時間間隔も大きくなるため（ここでは、２／３０Ｈｚ）、第１の実施形態と同様に参照フレームＲ１，Ｒ３間のフレーム補間から補間フレームＩ１のクオリティを検証すると、補間精度が下がったり、探索領域を広げなければならない。
【０１３１】
そこで本実施形態では、クオリティ検証用の補間フレームを一つの参照フレームを挟む二つの補間フレームのフレーム補間で生成する。具体的には図２５に示すように、▲１▼第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３の時間的中央位置に対応する補間フレームＩ１（第１の補間フレーム）を生成する、▲２▼補間フレームＩ１と一つ前に内挿した補間フレームＩ０（第２の補間フレーム）から第２参照フレームＲ２の時間位置に対応する補間フレームＩ２（第３の補間フレーム）を生成する、▲３▼補間フレームＩ２を第２参照フレームＲ２と比較することにより、補間フレームＩ２のクオリティを検証する、▲４▼クオリティが規定より上であれば、つまり相関値が閾値以上であれば、第２参照フレームＲ２と第３参照フレームＲ３間に補間フレームＩ１を内挿する、というように処理を行う。
【０１３２】
これにより、時間間隔の短い二つのフレームＩ２，Ｉ０（この場合、時間間隔は１／３０Ｈｚ）から補間フレームＩ１のクオリティを検証することが達成できる。補間フレームＩ２は、補間フレームＩ２，Ｉ０間のフレーム補間から生成されるため、補間フレーム自体のクオリティは良好とはいえない。しかし、補間フレームＩ２はあくまで検証用であるため、元々のクオリティ検証のための評価値を補間フレームから補間フレームを作る分だけずらしておけば、クオリティの検証には差し支えない。また、実際に内挿するのはオリジナルの第２参照フレームＲ２と第３参照フレームＲ３から生成される補間フレームＩ１であるため、補間フレームから補間フレームを作ることによるエラーは混入しない。
【０１３３】
以下、図２５と図２６を用いて本実施形態におけるフレーム補間の処理手順について説明する。
画像信号１０はフレーム単位で、すなわち時間的に連続したフレームデータとしてシーケンシャルに入力されてくる。ある瞬間に入力されてきたフレームデータを仮にｉフレームとすると、過去の蓄積からフレームメモリ１２，１３にはｉ−２，ｉ−１フレームのデータがそれぞれ格納されているとする（ステップＳ７０１）。
【０１３４】
この状態で、現在入力されている画像信号のフレーム（現フレーム）を参照フレームＲ３としてフレームメモリ１３から取得し、現フレームより１フレーム前のフレームを参照フレームＲ２としてフレームメモリ１２から取得し、さらに一つ前の補間フレームを補間フレームＩ０としてフレームメモリ１１から取得する（ステップＳ７０２）。参照フレームＲ２，Ｒ３からＲ２，Ｒ３の時間的中央位置に対応する第１補間フレームＩ１を生成し（ステップＳ７０３）、補間フレームＩ０，Ｉ１から参照フレームＲ２の時間的位置に対応する補間フレームＩ２を生成する（ステップＳ７０４）。
【０１３５】
次に、補間フレームＩ２のクオリティを検証するため、補間フレームＩ２と第２参照フレームＲ２との相関の大きさを表す相関値を計算する（ステップＳ７０５）。相関値を閾値と比較し（ステップＳ７０６）、相関値が閾値以上であれば、つまりクオリティが規定より上であれば、第２参照フレームＲ２と第３参照フレームＲ３間に補間フレームＩ１を内挿し（ステップＳ７０７）、相関値が閾値に満たなければ、つまり補間フレームＩ１のクオリティが低ければ、参照フレームＲ２をそのまま第２参照フレームＲ２と第３参照フレームＲ３間に内挿する（ステップＳ７０８）。
以後のステップＳ７０９からＳ７１３までの表示処理は、第１の実施形態と同様あるので説明を省略する。
【０１３６】
このように本実施形態では、入力の画像信号が３０Ｈｚのノンインタレース信号のようにフレーム間の時間間隔が長い画像信号に対しフレーム間補間を行う場合でも、補間フレームのクオリティを高い精度で検証することによって、高い補間精度を得ることができる。
【０１３７】
（第８の実施形態）
次に、本発明の第８の実施形態について説明する。本実施形態は、第６の実施形態と第７の実施形態を組み合わせた例である。本実施形態における画像表示システムは第７の実施形態と同様であり、図２４に示した通りである。ここでは、第７の実施形態と同様に入力の画像信号（動画像信号）が３０Ｈｚのノンインタレース信号（プログレッシブ信号）であり、３０Ｈｚのノンインタレース信号に対して隣接する二つの参照フレーム間の時間的中央位置（補間フレーム面）に補間フレームを生成し、それを二つの参照フレーム間に内挿することにより、６０Ｈｚのノンインタレース信号に変換する場合を例にとって説明する。
【０１３８】
本実施形態では、第６の実施形態と同様にブロック毎に補間フレーム生成方法を選択する例について示す。第７の実施形態において述べた通り、第６の実施形態では、入力される画像信号が３０Ｈｚであり、隣接フレーム間の時間間隔が大きい場合、参照フレームＲ１，Ｒ３間のフレーム補間から補間フレームＩ１のクオリティを検証すると、補間精度が下がったり、探索領域を広げなければならない。
【０１３９】
そこで本実施形態では、第７の実施形態と同様に、クオリティ検証用の補間フレームＩ２を、補間フレームＩ１と補間フレームＩ０から作ることにより、時間間隔を３０Ｈｚから離すことなく検証用の補間フレームを生成する。具体的には図２７に示すように、▲１▼第２参照フレームＲ２と第３参照フレームＲ３から両フレームＲ２，Ｒ３の時間的中央位置に対応する補間フレームＩ１を複数の補間フレーム生成方法によって生成する、▲２▼補間フレームＩ１と補間フレームＩ０（一つ前に内挿した補間フレーム）から第２参照フレームＲ２の時間位置に対応する補間フレームＩ２を複数の補間フレーム生成方法によって生成する、▲３▼補間フレームＩ２の当該ブロックを補間判定によってオリジナルのブロックと比較することでクオリティを検証し、最も評価値が高くなる補間フレーム生成方法が実際の補間フレーム位置においても最適であろうと推定して、図２７の▲４▼に示すように、当該ブロックの補間フレーム生成のために実際に用いる補間フレーム生成方法として採用する、つまり補間フレームＩ１群から合成して補間フレームＩ３を生成する。
【０１４０】
補間フレームＩ２は、補間フレームＩ２，Ｉ０間のフレーム補間から生成されるため、補間フレーム自体のクオリティは良好とはいえない。しかし、補間フレームＩ２はあくまで検証用であるため、元々のクオリティ検証のための評価値を補間フレームから補間フレームを作る分だけずらしておけば、クオリティの検証には差し支えない。また、実際に内挿するのはオリジナルの第２参照フレームＲ２と第３参照フレームＲ３から生成される補間フレームＩ３（補間フレームＩ１）であるため、補間フレームから補間フレームを作ることによるエラーは混入しない。
【０１４１】
本実施形態では、第６の実施形態と同様に補間フレーム生成方法として、前後の隣接フレームを平均化する方法と、前フレームをそのまま使用する方法と、第１の実施形態で示したような３つの補間フレーム生成方法を採用するが、特にこれらに限られるわけではなく、第１の実施形態で示した３つの補間フレーム生成方法から選択してもよいし、それらの３つの補間フレーム生成方法と平均フレーム及び前フレームというような方法でも構わない。
【０１４２】
図２９及び図３０に、本実施形態における具体的なフレーム補間の処理手順を示す。図から明らかなように、本実施形態における処理手順は第６の実施形態の処理手順を示した図２２及び図２３に、第７の実施形態における処理手順を示した図２６を組み合わせたものであり、図からその手順は明らかである。
【０１４３】
なお、本発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４４】
【発明の効果】
以上説明したように、本発明によればクオリティの高い補間フレームを生成してフレーム補間を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像表示システムの構成を示すブロック図
【図２】第１の実施形態におけるフレーム補間の概念図
【図３】第１の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図４】第１の実施形態におけるフレームデータのフレームメモリ間の移動を説明する図
【図５】第１の実施形態における第１補間フレームの生成方法の一例を説明するための図
【図６】第１の実施形態における第１補間フレームの生成方法の他の例を説明するための図
【図７】第１の実施形態における第１補間フレームの生成方法のさらに別の例を説明するための図
【図８】第１の実施形態におけるシーンチェンジ時のフレーム補間動作例を示す図
【図９】第１の実施形態におけるシーンチェンジ時の他のフレーム補間動作例を示す図
【図１０】本発明の第２の実施形態に係る画像表示システムの構成を示すブロック図
【図１１】第２の実施形態における第２補間フレームの生成方法を説明するための図
【図１２】第２の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１３】本発明の第３の実施形態に係る画像表示システムの構成を示すブロック図
【図１４】第３の実施形態におけるフレーム補間の概念図
【図１５】第３の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１６】本発明の第４の実施形態に係る画像表示システムの構成を示すブロック図
【図１７】第４の実施形態におけるフレーム補間の概念図
【図１８】第４の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図１９】本発明の第５の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２０】第５の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２１】本発明の第６の実施形態におけるフレーム補間の概念図
【図２２】第６の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２３】第６の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２４】本発明の第７の実施形態に係る画像表示システムの構成を示すブロック図
【図２５】第７の実施形態におけるフレーム補間の概念図
【図２６】第７の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２７】本発明の第８の実施形態におけるフレーム補間の概念図
【図２８】第８の実施形態におけるフレーム補間の処理手順を示すフローチャート
【図２９】第８の実施形態におけるフレーム補間の処理手順を示すフローチャート
【符号の説明】
１０・・・画像信号
１１〜１３・・・第１〜第３フレームメモリ
１４，２４・・・第１補間フレーム生成部
１５，２５・・・補間判定部
１６，２０，２６，３０・・・第２補間フレーム生成部
１７・・・表示装置
１８・・・タイミングコントローラ
１９・・・ベクトルスケール変換部
Ｒ１〜Ｒ３・・・第１〜第３参照フレーム
Ｉ１〜Ｉ３・・・第１〜第３補間フレーム
【図１】
2004297719.tif 000013
【図２】
2004297719.tif 000014
【図３】
2004297719.tif 000015
【図４】
2004297719.tif 000016
【図５】
2004297719.tif 000017
【図６】
2004297719.tif 000018
【図７】
2004297719.tif 000019
【図８】
2004297719.tif 000020
【図９】
2004297719.tif 000021
【図１０】
2004297719.tif 000022
【図１１】
2004297719.tif 000023
【図１２】
2004297719.tif 000024
【図１３】
2004297719.tif 000025
【図１４】
2004297719.tif 000026
【図１５】
2004297719.tif 000027
【図１６】
2004297719.tif 000028
【図１７】
2004297719.tif 000029
【図１８】
2004297719.tif 000030
【図１９】
2004297719.tif 000031
【図２０】
2004297719.tif 000032
【図２１】
2004297719.tif 000033
【図２２】
2004297719.tif 000034
【図２３】
2004297719.tif 000035
【図２４】
2004297719.tif 000036
【図２５】
2004297719.tif 000037
【図２６】
2004297719.tif 000038
【図２７】
2004297719.tif 000039
【図２８】
2004297719.tif 000040
【図２９】
2004297719.tif 000041