(57)【要約】【課題】オクリュージョン領域に正確な動きベクトルを割り当てる手法を提供し、背景画像をより鮮明に表示することができる補間フレーム生成装置を提供する。【解決手段】画像の時間的に近接する複数の参照フレームから全画像動きベクトルを検出し、前記補間フレーム上における動きベクトルを前記参照フレームから生成し、前記参照フレームより過去の背景参照画像と前記参照フレームと前記全画像動きベクトルから背景判定評価を行い、この評価結果と前記参照フレーム、前記背景参照画像から新しい背景画像を合成して蓄積するとともに、前記全画像動きベクトルと前記補間フレーム動きベクトルと、前記背景判定評価結果を用いて、前記参照フレームの画像と背景参照画像から補間フレーム画像を生成するようにして、参照フレームの画像だけでは対応付けが困難な領域においても補間画像の生成を可能とした。【選択図】図１
2007060192.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成装置において、一部の存在するフレームから背景画像を抽出して背景画像を合成する背景画像抽出・合成手段と、生成した背景画像を蓄積する背景画像蓄積手段とを有し、存在するフレームの中から取り出したふたつ以上の参照フレームにおけるオクリュージョン領域を検出することを特徴とする補間フレーム生成装置。
【請求項２】
時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成方法において、一部の存在するフレームから背景画像を抽出して背景画像を合成し、背景画像蓄積手段に生成した背景画像を蓄積する背景画像抽出・合成工程を有し、存在するフレームの中から取り出したふたつ以上の参照フレームにおけるオクリュージョン領域を検出することを特徴とする補間フレーム生成方法。
【請求項３】
時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成装置において、一部の存在するフレームから背景画像を抽出して背景画像を合成する背景画像抽出・合成手段と、生成した背景画像を蓄積する背景画像蓄積手段とを有し、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、オクリュージョンなどの理由により前記参照フレームからでは動きベクトル検出が困難な部分に関しても正確な動きベクトルが求められることを特徴とする補間フレーム生成装置。
【請求項４】
時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成方法において、一部の存在するフレームから背景画像を抽出して背景画像を合成し、背景画像蓄積手段に生成した背景画像を蓄積する背景画像抽出・合成工程を有し、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、オクリュージョンなどの理由により前記参照フレームからでは動きベクトル検出が困難な部分に関しても正確な動きベクトルが求められることを特徴とする補間フレーム生成方法。
【請求項５】
時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成装置において、一部の存在するフレームから背景画像を抽出して背景画像を合成する背景画像抽出・合成手段と、生成した背景画像を蓄積する背景画像蓄積手段とを有し、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、オクリュージョンなどの理由により前記参照フレームからでは補間が困難な背景画像を、前記背景画像蓄積手段を用いて補間することを特徴とする補間フレーム生成装置。
【請求項６】
請求項５に記載の補間フレーム生成装置において、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、前記背景画像蓄積手段に蓄積されている背景画像を用いて、参照フレームの画像を背景画像とそれ以外の動いている物体の画像に分割することを特徴とする補間フレーム生成装置。
【請求項７】
時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成方法において、一部の存在するフレームから背景画像を抽出して背景画像を合成し、生成した背景画像を背景画像蓄積手段に蓄積する背景画像抽出・合成手段を有し、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、オクリュージョンなどの理由により前記参照フレームからでは補間が困難な背景画像を、前記背景画像蓄積手段を用いて補間することを特徴とする補間フレーム生成方法。
【請求項８】
請求項７に記載の補間フレーム生成方法において、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、前記背景画像蓄積手段に蓄積されている背景画像を用いて、参照フレームの画像を背景画像とそれ以外の動いている物体の画像に分割することを特徴とする補間フレーム生成方法。
【請求項９】
画像の時間的に近接する複数の参照フレームから補間フレームを生成する補間フレーム生成装置において、前記参照フレームから画面全体の動きベクトル（以降、全画像動きベクトルとよぶ）を検出する画面全体動き検出手段と、前記補間フレーム上における動きベクトルを、前記参照フレームから生成する補間フレーム動きベクトル生成手段と、前記参照フレームより過去の背景画像を蓄積的に保存している背景画像蓄積手段と、前記背景画像蓄積手段のもつ背景参照画像と前記参照フレームと前記全画像動きベクトルから、背景判定評価を行う背景判定手段と、前記背景判定評価の結果と前記参照フレーム、前記背景参照画像から新しい背景画像を合成する背景画像抽出・合成手段と、前記全画像動きベクトルと前記補間フレーム動きベクトルと、前記背景判定手段の背景判定評価の結果を用いて、前記参照フレームの画像と背景参照画像から補間フレーム画像を生成する補間フレーム生成手段からなり、前記参照フレームの画像だけでは対応付けが困難な領域においても補間画像の生成を可能としたことを特徴とする補間フレーム生成装置。
【請求項１０】
請求項９に記載の補間フレーム生成装置において、前記背景画像蓄積手段の有する背景参照画像と参照フレームの画像を用いて、画素または補間ブロック毎に輝度を比較するなどの手段により、画像の中の動きの少ない静領域とそれ以外の動領域をより正確に区別できる静動領域判定手段をさらに有し、その結果を用いて前記背景判定手段や前記背景画像抽出・合成手段の処理をより正確に実現することを特徴とする補間フレーム生成装置。
【請求項１１】
請求項９に記載の補間フレーム生成装置において、前記背景画像抽出・合成手段は、背景参照画像と複数の参照フレームの画像から、画像の高解像度化技術を用いて、より高精細な高解像度背景画像を生成することを特徴とする補間フレーム生成装置。
【請求項１２】
請求項９に記載の補間フレーム生成装置において、前記背景画像抽出・合成手段は、シーンチェンジを検出した場合や背景参照画像と参照フレームの間で大きな差が発生した場合に、背景画像蓄積手段の内容クリアすることを特徴とする補間フレーム生成装置。
【請求項１３】
画像の時間的に近接する複数の参照フレームから補間フレームを生成する補間フレーム生成方法において、前記参照フレームから画面全体の動きベクトル（以降、全画像動きベクトルとよぶ）を検出する画面全体動き検出工程と、前記補間フレーム上における動きベクトルを、前記参照フレームから生成する補間フレーム動きベクトル生成工程と、前記参照フレームより過去の背景画像を蓄積的に保存している背景画像蓄積手段のもつ背景参照画像と前記参照フレームと前記全画像動きベクトルから、背景判定評価をおこなう背景判定工程と、前記背景判定評価の結果と前記参照フレーム、前記背景参照画像から新しい背景画像を合成する背景画像抽出・合成工程と、前記全画像動きベクトルと前記補間フレーム動きベクトルと、前記背景判定工程の背景判定評価の結果を用いて、前記参照フレームの画像と背景参照画像から補間フレーム画像を生成する補間フレーム生成工程からなり、前記参照フレームの画像だけでは対応付けが困難な領域においても補間画像の生成を可能としたことを特徴とする補間フレーム生成方法。
【請求項１４】
請求項１３に記載の補間フレーム生成方法において、前記背景画像蓄積手段の有する背景参照画像と参照フレームの画像を用いて、画素または補間ブロック毎に輝度を比較するなどにより、画像の中の動きの少ない静領域とそれ以外の動領域をより正確に区別できる静動領域判定工程をさらに有し、その結果を用いて前記背景判定工程や前記背景画像抽出・合成工程の処理をより正確に実現することを特徴とする補間フレーム生成方法。
【請求項１５】
請求項１３に記載の補間フレーム生成方法において、前記背景画像抽出・合成工程は、背景参照画像と複数の参照フレームの画像から、画像の高解像度化技術を用いて、より高精細な高解像度背景画像を生成することを特徴とする補間フレーム生成方法。
【請求項１６】
請求項１３に記載の補間フレーム生成方法において、前記背景画像抽出・合成工程は、シーンチェンジを検出した場合や背景参照画像と参照フレームの間で大きな差が発生した場合に、背景画像蓄積手段の内容クリアすることを特徴とする補間フレーム生成方法。
【請求項１７】
請求項１、３、５、６、９、１０、１１または１２に記載の補間フレーム生成装置によって生成された補間フレームと参照フレームとを時間的に連続するように表示する画像表示システム。
【請求項１８】
コンピュータに、請求項１、３、５、６、９、１０、１１または１２に記載の補間フレーム生成装置の機能、または、請求項１７に記載の画像表示システムの機能を実現するプログラム。
【請求項１９】
請求項２、４、７、８、１３、１４、１５または１６に記載の補間フレーム生成方法の処理工程をコンピュータに実行させるためのプログラム。
【請求項２０】
コンピュータが読み取り可能な記録媒体であって、請求項１８または１９に記載のプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体に関し、具体的には、動画像の再生に当たって表示フレーム間隔を短くするために隣接フレーム間に少なくとも一つの補間フレームを内挿補間する技術に関する。
【背景技術】
【０００２】
液晶ディスプレイやエレクトロルミネッセンスディスプレイのように、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型画像表示装置では、動画表示に際して動体の動きに観察者の眼が追随することによるボケ現象の発生と、コマ数の少ない動画を表示する場合に不自然な動きが生じるという問題がある。
【０００３】
この問題の解決には、表示のフレーム間隔を短くする方法がある。その具体的な手法として、図４のような構成をとり、動き補正を利用して補間フレームを作成し、その補間フレームを隣接するフレーム間に内挿補間するテレビジョン方式変換などがある。
この動き補正によるテレビジョン方式変換装置としては、特許文献１、特許文献２、非特許文献１または非特許文献２などに記載された技術が提案されている。
【０００４】
このような動き補正を用いるフレーム補間手法では、図５のように動き補正によって補間フレームを生成する際に、まず第１参照フレームと第２参照フレーム間で求められた動きベクトルＡＢを補間フレーム面における動きベクトルＡＰに変換するスケール変換と呼ばれる操作を行う。
【０００５】
そして、スケール変換により得られた動きベクトルを用いて動き補正を行うことにより、補間フレームを生成する。補間フレームは、いくつかの補間ブロックＳに分割されており、補間フレームの生成はこのブロック単位で行われる。
具体的には、補間フレーム上の補間対象ブロックを通る動きベクトルを探索し、その動きベクトルが第１参照フレームと第２参照フレーム上で指し示す画像ブロックの画像データを、補間フレーム面上の補間対象ブロックの位置に合成してコピーする。
【０００６】
この手法では、スケール変換によって得られる動きベクトルは必ずしも補間フレーム面上のすべての補間ブロックを通過するとは限らないことから、そのままでは補間フレームに画像の存在しない隙間ができてしまったり、補間画像が重なる領域ができてしまう。
【０００７】
そこで、画像補間の前段階として、すべての補間ブロックを通過する動きベクトルを検索した後に、通過する動きベクトルが割り当てられなかった領域に対してゼロベクトルを割り当てたり、複数の動きベクトルが割り当てられた領域に対して動きベクトルの選定を行うなどの処理が必要となる。
例えば、動きベクトルの選定では、その動きベクトルの確からしさの指標としてＤＦＤ（directed frame difference）などを用いる。ＤＦＤは、次の式（１）により求められる。
【０００８】
【数１】
2007060192.tif 000003
【０００９】
ここで、（ｘ，ｙ）は補間ブロックの座標、（ｄｘ，ｄｙ）はスケール変換前の動きベクトル、ｆ（）はフレーム輝度データ、ｎはフレーム番号、Ｓｈ，Ｓｖは補間ブロックの大きさを表す定数で、Ｓｈは水平方向、Ｓｖは垂直方向の大きさとなる。ここで、第１参照フレームはｆn-1（ｘ，ｙ）、第２参照フレームはｆn（ｘ，ｙ）に相当する。
ＤＦＤを用いたベクトル選定では、この値が最小となる値を選定することになり、これを式で表すと、式（２）のようになる。
【００１０】
【数２】
2007060192.tif 000004
【００１１】
ここで、ｖ、（ｄｘｖ，ｄｙｖ）は、選定された動きベクトルを、Ｖは選定対象となる動きベクトル群を表す。
【特許文献１】特開平０１−３０９５９７号公報
【特許文献２】特開平０３−２８０６８１号公報
【非特許文献１】テレビジョン学会誌、第４５巻、第１２号、１９９１年発行、ｐ．１５３４〜１５４３
【非特許文献２】テレビジョン学会全国大会における予稿集、２０−５、１９８９年
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記の手法では、オクリュージョンを含むような映像の場合、その領域では動きベクトルが正確に得られなくなるため、画像に歪みが発生してしまうという問題がある。例えば、オクリュージョン領域は、多くの場合背景とオブジェクトの間に発生し、特にテレビジョンのスタジオ映像などではカメラが固定されていることが多く、静止している背景と動いているオブジェクトによってオクリュージョンが発生することが多い。
【００１３】
オクリュージョンとは、図６のように第１参照フレームではオブジェクトに隠れていて見えていなかった背景などが、第２参照フレームになってオブジェクトの移動などにより見えるようになった領域をさす。逆に、見えていた背景が次のフレームで隠れたりする場合も同様であるが、ここでは特に前者が問題となる。
【００１４】
このような領域は、第１参照フレームと第２参照フレームの間に全く相関がなく、結果として動きベクトルを求めることができない。すると、補間フレーム上では動きベクトルが設定できず、ゼロベクトルや異常なベクトルが選定されてしてしまい、結果としてオブジェクトの周りの画像に歪みが発生することになる。
【００１５】
また、フレーム数を変換するような補間フレーム生成方法の場合、補間フレームは元のフレームの間に挟まれているため、単発的な画像歪みは視認しづらい状態にある。そのため、特に解決する必要があるのは連続的に発生するオクリュージョンが問題となる。例えば、連続的に発生するオクリュージョンとしては、エンドロールなどのテロップが挙げられる。
【００１６】
本発明は、上述の実情を考慮してなされたものであって、オクリュージョン領域に正確な動きベクトルを割り当てる手法を提供し、背景画像をより鮮明に表示することができる補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するために、本発明は次のような構成をとる。
時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成装置において、一部の存在するフレームから背景画像を抽出して背景画像を合成する背景画像抽出・合成手段と、生成した背景画像を蓄積する背景画像蓄積手段とを有し、存在するフレームの中から取り出したふたつ以上の参照フレームにおけるオクリュージョン領域を検出するようにしたものである。
【００１８】
また、時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成装置において、一部の存在するフレームから背景画像を抽出して背景画像を合成する背景画像抽出・合成手段と、生成した背景画像を蓄積する背景画像蓄積手段とを有し、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、オクリュージョンなどの理由により前記参照フレームからでは動きベクトル検出が困難な部分に関しても正確な動きベクトルが求められるようにしたものである。
【００１９】
あるいは、時間的に連続した複数のフレームから構成される画像を用いて、存在するフレームの情報から存在しない新たな補間フレームを生成するような補間フレーム生成装置において、一部の存在するフレームから背景画像を抽出して背景画像を合成する背景画像抽出・合成手段と、生成した背景画像を蓄積する背景画像蓄積手段とを有し、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときに、オクリュージョンなどの理由により前記参照フレームからでは補間が困難な背景画像を前記背景画像蓄積手段を用いて補間するようにしたものである。
【００２０】
ここで、存在するフレームの中から取り出したふたつ以上の参照フレームから新たな補間フレームを生成するときには、前記背景画像蓄積手段に蓄積されている背景画像を用いて、参照フレームの画像を背景画像とそれ以外の動いている物体の画像に分割するようにした。
【００２１】
さらに、画像の時間的に近接する複数の参照フレームから補間フレームを生成する補間フレーム生成装置において、前記参照フレームから画面全体の動きベクトル（以降、全画像動きベクトルとよぶ）を検出する画面全体動き検出手段と、前記補間フレーム上における動きベクトルを、前記参照フレームから生成する補間フレーム動きベクトル生成手段と、前記参照フレームより過去の背景画像を蓄積的に保存している背景画像蓄積手段と、前記背景画像蓄積手段のもつ背景参照画像と前記参照フレームと前記全画像動きベクトルから、背景判定評価を行う背景判定手段と、前記背景判定評価の結果と前記参照フレーム、前記背景参照画像から新しい背景画像を合成する背景画像抽出・合成手段と、前記全画像動きベクトルと前記補間フレーム動きベクトルと、前記背景判定手段の背景判定評価の結果を用いて、前記参照フレームの画像と背景参照画像から補間フレーム画像を生成する補間フレーム生成手段からなり、前記参照フレームの画像だけでは対応付けが困難な領域においても補間画像の生成を可能としたものである。
【００２２】
ここで、図４のように静動領域判定手段を用いることも可能である。
静動領域判定手段は、前記背景画像蓄積手段の有する背景参照画像と参照フレームの画像を用いて、画素または補間ブロック毎に輝度を比較するなどの手段により、画像の中の動きの少ない静領域とそれ以外の動領域をより正確に区別できるようにし、その結果を用いて前記背景判定手段や前記背景画像抽出・合成手段の処理をより正確に実現することができる。
【００２３】
また、前記背景画像抽出・合成手段は、背景参照画像と複数の参照フレームの画像から、都度新しい背景画像を生成している。さらに、ここで画像の高解像度化技術を用いて、より高精細な高解像度背景画像を生成することも可能である。
あるいはまた、前記背景画像抽出・合成手段は、シーンチェンジ（参照フレーム間の差が大きいときなど）を検出した場合や背景参照画像と参照フレームの間で大きな差が発生した場合に、背景画像蓄積手段の内容クリアするようにしてもよい。
【００２４】
また、上記補間フレーム生成装置によって生成された補間フレームと参照フレームとを時間的に連続するように表示する画像表示システムによっても、上記課題を解決することができる。
また、本発明は、コンピュータで、上述した構成の補間フレーム生成装置あるいは画像表示システムの機能を実現させるためのプログラム、またはそのプログラムを記録したコンピュータ読み取り可能な記録媒体によっても上記課題を解決することができる。
【発明の効果】
【００２５】
本発明によれば、映像を背景画像と動くオブジェクトの動画像に分離し、映像ストリームの中で背景画像を蓄積することで、背景参照画像を準備し、これを複数の参照フレームと比較することによりオクリュージョンの動きベクトルを正確に求めることができるようになる。これにより背景画像をより鮮明に表示することができる。
また、背景参照画像を実際の画像より高精細な画像とすることにより、静止画領域の画質改善にも効果をもたらすことができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【００２７】
図１は、本発明の実施形態に係る補間フレーム生成装置の全体構成を示すブロック図であり、図２は、本発明の実施形態に係る補間フレーム生成装置の機能構成を示すブロック図であり、同図において、補間フレーム生成装置は、第１フレームバッファ部１、フレームディレイ２、第２フレームバッファ部３、画面全体動き検出部４、静動領域判定部５、補間フレーム動きベクトル生成部６、背景判定部７、補間フレーム生成部８、背景画像抽出・合成部９、背景画像蓄積部１０から構成される。
【００２８】
第１フレームバッファ部１、第２フレームバッファ部３は、それぞれ入力画像の第１参照フレームと第２参照フレームを保存するバッファであり、補間フレームはこの間のフレームを生成することになる。フレームディレイ２は、第１参照フレームを時間的に近接したフレーム分遅延させる回路であり、第１参照フレームは第２参照フレームから時間的に近接したフレーム分後の参照フレームを表している。
【００２９】
画面全体動き検出部４は、画面全体の動きベクトル（ｇx，ｇy）を算出する動き検出部で、これを実現するアルゴリズムはいくつか存在するので後に説明する。画面全体の動きベクトルは、基本的には動きの少ない静領域の動きベクトルとほぼ一致するようにする。
【００３０】
静動領域判定部５は、第１参照フレームと第２参照フレームから、このフレーム間における動きの少ない静領域とそれ以外の動領域を算出する。この算出は補間ブロックのサイズで行っても良いし画素ごとに行ってもよい。
静動領域の判定方法はいくつか存在するが、以下では勾配法を用いた算出方法を紹介する。勾配法によると連続する画像データには以下のような関係式が成り立つ。
【００３１】
【数３】
2007060192.tif 000005
【００３２】
ここで、ｖn（ｘ，ｙ）は、座標（ｘ，ｙ）における第１参照フレームと第２参照フレーム間の動きベクトルを表している。
この式を動きベクトルの大きさに着目して変換すると
【００３３】
【数４】
2007060192.tif 000006
【００３４】
となる。ここで、
【００３５】
【数５】
2007060192.tif 000007
【００３６】
は、第１参照フレームの水平方向の勾配と垂直方向の勾配を表し、
ｆn（ｘ，ｙ）−ｆn-1（ｘ，ｙ）
は第１参照フレームと第２参照フレームのフレーム差分となる。これらの値は、簡単な演算で求めることができる。つまり、式（３）を静動領域判定部５にて処理することは充分可能であるので、静動領域の判定にこの式（３）を採用できる。
ここで、さらに画面全体の動きベクトル（ｇx，ｇy）を考慮すると、式（３）は以下の式（４）のように書き換えられる。
【００３７】
【数６】
2007060192.tif 000008
【００３８】
これにより、静動領域判定部５では式（４）の値がある閾値より大きければ動領域、小さければ静領域と判定する。閾値については、実際に回路を作成し画像の状態を見ながら調整する必要があることが経験的に知られている。これらのことを式に表すと以下の式（５）のようになる。
【００３９】
【数７】
2007060192.tif 000009
【００４０】
ここで、ｈn（ｘ，ｙ）は、座標（ｘ，ｙ）における静動判定値であり、静動領域判定部５の出力に相当する。ｈn（ｘ，ｙ）は静領域ではｎｕｌｌ、動領域では通常の値をもつ。ｖthは静動判定の閾値を表す。この閾値より画像の動きが大きい場合は動領域に、それ以外の場合は静領域と判定する。また、ｋ（）は変換関数であり、式（４）の結果を単純な数値に置き換える関数である。
この変換関数ｋ（）の内容は、本発明に直接関係するものではないので深く言及はしないが、これは｜ｖ｜の値そのものを静動領域判定部５から出力するとデータ量が多くなってしまうために、この値をたとえば１６段階の４ビット表現などに変換するために使われるものである。
【００４１】
補間フレーム動きベクトル生成部６は、補間フレーム上の補間ブロック毎の動きベクトルを求める処理部であり、第１参照フレームと第２フレームの間で求めた動きベクトルをスケール変換によって補間フレーム上に割り当てる。さらに、複数割り当てられた補間ブロックからより正確な動きブロックを選択するために式（１）、式（２）で表される処理を行う。
【００４２】
背景判定部７は、背景参照画像と第１参照フレームまたは第２参照フレームの間で評価を行い、第１参照フレームとの判定値ＤＵＤＦと、第２参照フレームとの判定値ＤＵＤＢを算出して背景判定値として出力する。背景参照画像との評価は、例えば以下の式（６）と式（７）を使用する。
【００４３】
【数８】
2007060192.tif 000010
【００４４】
これらの式（６）と式（７）は、全画面動きベクトル（ｇx，ｇy）を考慮したものになっているが、動きが微細であるとして考慮しなくともよい。
ここで、Ｕn（ｘ，ｙ）は背景参照画像を表している。ｕｘ、ｕｙは背景参照画像のオフセットを表す値であり、パンなどによって第１参照フレームと背景参照画像の位置がずれたときに補正するための変換係数である。ここでは、簡単のために平行移動のみが行われたと考えて、ｕｘ，ｕｙのみで補正している。実際はいくつかの背景画像の移動を検出し射影変換行列を求めてそれを変換係数とする方法がある。
【００４５】
変換係数ｕｘ，ｕｙは、フレームごとに加算されてゆく、例えば平行移動のみと仮定するとｕｘ，ｕｙは、ｎをフレーム番号として次のように求めることができる。
【００４６】
ｕｘｎ＝ｕｘｎ−１＋ｇｘ
ｕｙｎ＝ｕｙｎ−１＋ｇｙ
【００４７】
本発明の補間フレーム生成部８では背景判定部７の出力を加味して、式（２）で求められた動きベクトルによるＤＦＤの値と式（６）、式（７）の値を比較し、最も小さい値のものを補間画像として採用する。
【００４８】
但し、式（６）、式（７）の背景判定値を採用するには条件があり、式中で参照されている背景参照画像Ｕn（ｘ，ｙ）がすべて存在する場合に限られる。データが存在しない場合は、Ｕn（ｘ，ｙ）＝ｎｕｌｌで表される。そのような場合は背景判定値もｎｕｌｌとなる。
【００４９】
また、式（６）や式（７）の値が最も小さい値として選択された場合には、画像の補間には背景参照画像が用いられる。式（６）の場合には背景参照画像と第１参照フレームが、式（７）の場合には背景参照画像と第２参照フレームが用いられることになる。
【００５０】
オクリュージョン領域におけるこれらの処理を考えると、従来技術における補間フレーム動きベクトル生成部６では、第１、第２参照フレームからは動きベクトルを算出不可能なため、式（２）の評価で使用する補間ブロックに割り当てられる動きベクトルの中に正しい動きベクトルが存在せず、式（２）の値が最も小さくなる動きベクトルを選出しても、それは誤った動きベクトルであった。そのため、従来技術においてはこの間違えた動きベクトルを用いた補間を行っていた。
【００５１】
しかし，本発明においては、第２参照フレーム以前のフレームにおいて蓄積された背景参照画像を用いて比較を行い、オクリュージョン領域では式（６）、式（７）が式（２）の評価値より必ず低くなるため、背景参照画像との間で正しい補間が行えるようになっている。
【００５２】
背景画像抽出・合成部９は、背景参照画像の生成を行うために静領域の画像データを第１参照フレームから読み出して、すでに蓄積されている背景参照画像にそれらの画像データを合成する処理を行う。これらの処理は例えば以下の式（８）で表すことができる。
【００５３】
【数９】
2007060192.tif 000011
【００５４】
ここで、Ｕn+1（ｘ，ｙ）は，次の補間フレーム生成時に使用される背景参照画像を示しており、背景画像抽出・合成部９から背景画像蓄積部１０に蓄積されるデータを表している。また、Ｇ（Ｉ，Ｕ）は第１参照フレームの画像Ｉと背景参照画像Ｕを合成する合成関数を表しており、例えば、第１参照フレームの輝度が背景参照画像と大きくかけ離れる場合は第１参照フレームの値をそのまま使い、ある程度の範囲内の差となる場合は双方の和の平均値を取るなどの処理を行う。ｕｘ，ｕｙは背景判定部から値を得る。
また、Ｉn（ｘ，ｙ）＝ｎｕｌｌの条件は、第１参照フレームの座標（ｘ，ｙ）が静動領域判定部５により動領域と判定されたことを表しており、式（８）ではこの条件に一致する場合は背景画像抽出・合成部９では処理は行わず、現在の背景画像蓄積部１０に保存されている値を保持することを示している。
【００５５】
第１参照フレームが先頭フレームである場合や、シーンチェンジ（フレーム間相関全くなくなる）が起こった場合などは、Ｕn+1（ｘ，ｙ）はすべてｎｕｌｌとする。これにより、次のフレームで第１参照フレームと第２参照フレームの静領域はすべて背景参照画像に新しく登録されることになる。そのため、シーンチェンジ直後のオクリュージョン領域では、背景参照画像がｎｕｌｌであるため一時的に本発明の効果は無くなる。しかし、このような単発的な現象は視認困難であるため全体として動画の劣化にはつながらない。
【００５６】
式（８）では、静領域かどうかの静動領域判定部５からの出力ｈｎ（ｘ、ｙ）を用いて説明しているが、この条件は動きベクトルＶｎ（ｘ，ｙ）を直接用いても良い。これは、式（５）からも明らかである。このような場合のブロック図は、図３のように静動領域判定部５が省略される場合もある。静動領域判定は、動きベクトル演算と独立に行う場合もあるので、図２のようなブロック図になることもある。
【００５７】
補間フレーム生成部８では、第１参照フレーム、第２参照フレームと背景参照画像より、すべての補間ブロックに対して補間フレーム画像を生成する。補間フレームの生成方法は、補間ブロックごとに静動領域判定部５の出力である静動判定値ｈn（ｘ，ｙ）を元に切り替える。
まず、ｈn（ｘ，ｙ）がｎｕｌｌでない場合は動領域として、従来どおり第１参照フレームと第２参照フレームの画像から補間フレーム動きベクトルから得た動きベクトルｖ(x,y)を使って補間により画像を生成する。これを簡単な直線内挿の式で表すと、次のような式（９）のようになる。
【００５８】
Ｚｎ（ｘ，ｙ）＝ｍ・ｆｎ（ｘ＋ｖｘ，ｙ＋ｖｙ）＋ｎ・ｆｎ−１（ｘ，ｙ）  …（９）
【００５９】
ここで、Ｚn（ｘ，ｙ）は補間フレーム生成部８が出力する補間フレーム画像を表す。
また、ｍとｎは補間フレームの内挿比をあらわし、ｍ＋ｎ＝１となる値である。
次に、ｈn（ｘ，ｙ）がｎｕｌｌの場合は静領域として、背景画像と第１参照フレームまたは第２参照フレームとの補間を行う。例えば、直線内挿によりフレーム補間を行うと、次のような式（１０）〜（１２）となる。
【００６０】
Ｚｎ（ｘ，ｙ）＝ｍ・Ｕｎ（ｕｘ＋ｘ＋ｇｘ，ｕｙ＋ｙ＋ｇｙ）＋ｎ・ｆｎ−１（ｘ，ｙ）  …（１０）
Ｚｎ（ｘ，ｙ）＝ｍ・ｆｎ（ｘ，ｙ）＋ｎ・Ｕｎ（ｕｘ＋ｘ，ｕｙ＋ｙ）  …（１１）
Ｚｎ（ｘ，ｙ）＝ｍ・ｆｎ（ｘ，ｙ）＋ｎ・ｆｎ−１（ｘ，ｙ）  …（１２）
【００６１】
式（１０）は、ＤＵＤＦが存在し、且つ動きベクトル判定値（式（２）のＤＦＤ値）よりＤＵＤＦが小さい場合の直線内挿の例であり、式（１１）はＤＵＤＢが存在し、且つ動きベクトル判定値（式（２）のＤＦＤ値）よりＤＵＤＢが小さい場合の直線内挿の例である。動きベクトル判定値よりＤＵＤＦもＤＵＤＢも同様に小さい場合には、ＤＵＤＦとＤＵＤＢの小さい方の式が採用される。
また、式（１２）は、上記の判定にもれた場合の直線内挿の例である。また、式（１０）、式（１１）は背景が平行移動する場合の例である。もし、それ以外の動きを考慮するのであれば、背景参照画像から値を得るときに変換行列を考慮に入れる必要がある。
【００６２】
式（９）から式（１２）は実用的には、これらの式のままではブロック境界で輝度のばらつきが発生してしまうので改善が必要である。例えば、ｆn（ｘ，ｙ）などの画像を参照箇所に関して、（ｘ，ｙ）周辺輝度の影響が伝わるように重み付け設定するなどの改善が考えられる。つまり、
【００６３】
【数１０】
2007060192.tif 000012
【００６４】
とするなどの工夫をする。ここで、ｗ（ｉ，ｊ）は重み付け関数であり、
【００６５】
【数１１】
2007060192.tif 000013
【００６６】
が成立する関数である。これはフィルタの設計手法などを使ってどのような値にするのかを決定するのが一般的である。これを式（１０）に適用すると、
【００６７】
【数１２】
2007060192.tif 000014
【００６８】
となる。他の式に関しても同様である。
式（９）から式（１３）によって補完された補間ブロックを合わせると補間フレーム生成部８からの補間フレーム出力となる。
【００６９】
画像全体の動きを検出する方法はいくつか考えられる。
例えば、ＢＢＣ  ＲＤ  １９８７／１１の“TELEVISION MOTION MEASUREMENT FOR DATV AND OTHER APPLICATIONS”では、位相相関法を用いた動きベクトル検出を行っている。この手法を画面全体に用いると、画面内で一番領域の大きな部分、つまり背景と思われる部分の動きベクトルは、相関平面上で一番ピークの高い点の座標から得ることができる。
【００７０】
また、IEEE Transaction on CE,Vol.50,No.2,MAY 2004の“Motion Compensated Frame Interpolation by new Block-based Motion Estimation Algorithm”によれば、以下の式から画面全体の動きベクトルを求めることができる。
【００７１】
【数１３】
2007060192.tif 000015
【００７２】
ここに、ｇｘ，ｇｙはそれぞれ動きベクトルのｘ成分とｙ成分、Ｈn（ｈ）は座標ｘ＝ｈに存在する画素の輝度平均、つまり垂直に並ぶ画素の輝度平均、Ｖn（ｖ）は座標ｙ＝ｖに存在する水平画素の輝度平均、Ｓh，Ｓvは探索範囲を表す。
【００７３】
以上の様に、画面全体の動きベクトルを求める方法はいくつも提案されている。本発明では、これらの技術を用いて画面全体の動き検出を行うものとする。
【００７４】
別の実施形態として、補間フレーム生成部の静動領域判定において、式（９）か式（１０）〜（１２）のどちらを使用するか判定するときに、動静領域判定値ｈn（ｘ，ｙ）だけでなく、ＤＵＤＦやＤＵＤＢを判定に使用し、ＤＵＤＦやＤＵＤＢがある閾値以下である場合は強制的に静領域として式（１０）〜（１２）を使用して補間画像を生成してもよい。
【００７５】
さらに、別の実施形態として、背景参照画像の生成において、以下の式を用いることもできる。
【００７６】
【数１４】
2007060192.tif 000016
【００７７】
つまり、背景参照画像を生成する場合に第１参照フレームばかりではなく、第２参照フレームの同じ背景画像に相当する部分の画素を合成する方法である。より複雑には双方の参照フレームをフィルタリングするなどして生成する方法もある。
【００７８】
また、本発明は、上記の実施形態で説明した補間フレーム生成装置を用いて画像表示システムを構成することができる。
この画像表示システムでは、入力画像信号が補間フレーム生成装置に入力され、これまで述べた手法によって補間フレーム画像信号が作成される。この補間フレーム画像信号あるいは入力画像信号のいずれかを出力するように制御して、ホールド型画像表示装置へ出力する。表示装置では、出力画像信号に含まれる同期信号に対応して、リフレッシュレートを変えて画像の表示が行われる。
【００７９】
なお、本発明の補間フレーム生成装置および画像表示システムの各機能を実現させるコンピュータプログラムとしても構成できる。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されており、各処理は上記プログラムによって実現される。
この記録媒体として、メインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
【００８０】
ここで、上記プログラムメディアは、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクなどのディスク系、ＩＣカード（メモリカードを含む）や光カード等のカード系、あるいはマスクＲＯＭ、ＦＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体など、いずれであってもよい。
【００８１】
また、本実施形態においては、ネットワークに接続可能な構成であることから、記憶装置に格納された上記プログラムを、ネットワークを介してサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
このように、上述した実施形態の各機能をプログラム化して流通させることによって、コストの低廉化、および可搬性や汎用性を向上させることができる。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態に係るフレーム補間生成装置の全体構成を示すブロック図である。
【図２】本発明の実施形態に係るフレーム補間生成装置の機能構成を示すブロック図である。
【図３】本発明の実施形態に係るフレーム補間生成装置の他の機能構成を示すブロック図である。
【図４】従来技術のフレーム補間生成装置の構成を示すブロック図である。
【図５】補間フレームと動きベクトルの関係を説明するための図である。
【図６】オクリュージョン領域を説明するための図である。
【符号の説明】
【００８３】
１…第1フレームバッファ部、２…フレームディレイ、３…第２フレームバッファ部、４…画面全体動き検出部、５…静動領域判定部、６…補間フレーム動きベクトル生成部、７…背景判定部、８…補間フレーム生成部、９…背景画像抽出・合成部、１０…背景画像蓄積部。
【図１】
2007060192.tif 000017
【図２】
2007060192.tif 000018
【図３】
2007060192.tif 000019
【図４】
2007060192.tif 000020
【図５】
2007060192.tif 000021
【図６】
2007060192.tif 000022