(57)【要約】  【課題】  さらに、補間画素検索の際、少ない回路規模で、検索範囲を拡げることが可能となり、より精度の高い補間画素を生成することができる映像補間装置、フレームレート変換装置および映像表示装置を提供する。【解決手段】  最小差分画素ペア算出手段1005と補間画素生成手段1007と補間方向ヒストグラム検出手段1008と候補ペア判定手段1006とに、各補間フレームにおける代表補間画素ベクトルに応じて、検索範囲を適応的に移動させる検索領域設定手段1010を具備したことを特徴とする。【選択図】図１
2006352611.tif 000002
【特許請求の範囲】
【請求項１】
補間フレーム内における各補間画素位置に対する１フレーム前のフレーム信号と、現フレーム信号に対して各補間画素位置を中心とした時間方向、及び水平・垂直方向の対称の位置に検索範囲を設け、前記補間画素位置に対して点対称の位置の画素ペアそれぞれに対してその輝度値の差分値を計算する最小差分画素ペア算出手段と、前記画素ペアから補間画素の値を生成する補間画素生成手段と、前記画素ペアが所定数の画素ペアからなる補間フレーム生成時に検出された、各補間画素ベクトルの出現度数をカウントし、各補間フレームにおける代表補間画素ベクトルを算出する補間方向ヒストグラム検出手段と、前記最小差分画素ペア算出手段で算出された複数候補画素ペアの中のうち、前記代表補間画素ベクトルと方向が一致する補間画素ベクトルを選択する候補ペア判定手段と、前記代表補間画素ベクトルに応じて、前記検索範囲を適応的に移動させる検索領域設定手段とを具備したことを特徴とする映像補間装置。
【請求項２】
請求項１記載の映像補間装置において、前記補間方向ヒストグラム検出手段は、１補間フレーム中で最も使用される頻度が高い補間画素ベクトルを前記代表補間画素ベクトルとすることを特徴とする映像補間装置。
【請求項３】
請求項１記載の映像補間装置において、前記最小差分画素ペア算出手段は、最も差分値の小さいものから順に所定個数の画素ペアを前記複数候補画素ペアとすることを特徴とする映像補間装置。
【請求項４】
請求項１記載の映像補間装置において、前記補間方向ヒストグラム検出手段は、所定の間隔で前記代表補間画素ベクトルの方向を初期化することを特徴とする映像補間装置。
【請求項５】
請求項４記載の映像補間装置において、映像シーンの切り替わりを検出するシーンチェンジ検出手段を具備し、前記シーンチェンジ検出手段で得られたシーンの切り替わりタイミングで前記代表補間画素ベクトルの方向を初期化することを特徴とする映像補間装置。
【請求項６】
請求項１記載の映像補間装置において、前記補間方向ヒストグラム検出手段の後に、所定フレーム分の前記代表補間画素ベクトルを保持し、前記所定フレーム分の代表補間画素ベクトルから、現補間フレームの前記代表補間画素ベクトルを決定する、代表補間画素ベクトル判定手段を具備したことを特徴とする映像補間装置。
【請求項７】
請求項１記載の映像補間装置において、数画素おきに補間画素ベクトル求め、中間の補間画素３画素分に関しては、前記求めた補間画素ベクトルから各中間画素の補間画素ベクトルを予測し、画素値を決定する、中間画素生成手段を具備したことを特徴とする、映像補間装置。
【請求項８】
請求項１乃至７のいずれかに記載の映像補間装置を用い、前記映像補間装置により生成された補間フレームを内挿することにより映像信号のフレームレート変換を行うことを特徴とするフレームレート変換装置。
【請求項９】
請求項８記載のフレームレート変換装置を用い、前記フレームレート変換装置によってフレームレート変換された映像信号を表示デバイスに表示するようにしたことを特徴とする映像表示装置。
【請求項１０】
補間フレーム内における各補間画素位置に対する１フレーム前のフレーム信号と、現フレーム信号に対して各補間画素位置を中心とした時間方向、及び水平・垂直方向の対称の位置に検索範囲を設け、前記補間画素位置に対して点対称の位置の画素ペアそれぞれに対してその輝度値の差分値を計算する最小差分画素ペア算出手段と、前記画素ペアから補間画素の値を生成する補間画素生成手段と、前記画素ペアが所定数の画素ペアからなる補間フレーム生成時に検出された、各補間画素ベクトルの出現度数をカウントし、各補間フレームにおける代表補間画素ベクトルを算出する補間方向ヒストグラム検出手段と、前記最小差分画素ペア算出手段で算出された複数候補画素ペアの中のうち、前記代表補間画素ベクトルと方向が一致する補間画素ベクトルを選択する候補ペア判定手段と、前記代表補間画素ベクトルに応じて、前記検索範囲を適応的に移動させる検索領域設定手段とを具備した映像補間装置と、前記映像補間装置により生成された前記補間フレームを内挿することにより映像のフレームレート変換を行うフレームレート変換装置と、前記フレームレート変換装置によってフレームレート変換された映像信号を表示する表示デバイスを具備したことを特徴とする映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の映像補間装置、フレームレート変換装置および映像表示装置に関する。
【背景技術】
【０００２】
現在、ビデオ映像信号やパ−ソナルコンピュータ（PC）などの映像信号の仕様としては、多種多様なものが存在する。一般的には、VESA (Video Electronics Standard Association)により規定されたものが広く知られているが、VESA規格信号だけでも、数種類ものフレームレートを持つ画像フォーマットが定義されている。
【０００３】
これに対し、PDP(Plasma Display Panel)、LCD(Liquid Crystal Display)等の映像表示装置では、一般に、表示する画像フォーマットが固定されている場合が多い。従って前述したような種々の信号を、前記したような表示装置で表示するためには、信号フォーマットを変換する機能が必要となる。そしてそのために、前述の種々のビデオ信号を相互に変換できる装置が望まれる。
【０００４】
動画像のフレームレートを変換する場合、図１７に示すように、一般に隣接フレームを補うための補間フレームを内挿する必要がある。図１７において、9001は1フレーム前のフレーム、9003は現フレーム、9002は補間フレームである。補間フレーム9002の作成方法としては、零次ホールド法のように、現在のフレームをそのまま繰り返し用いる方法や、直線補間法のように、２フレーム間の対向する画素同士の輝度値の平均値によってフレームを作成する方法がある。
【０００５】
図１８は、上記直線補間法による補間フレーム作成部分のブロック構成の一例を示した図である。図１８において、9101は、入力信号（現フレーム）、9102はフレームメモリ、9103は補間信号生成部、すなわち前後フレームの平均値算出部、9104は補間フレーム出力部である。
【０００６】
また、より高度な補間方法として、現在のフレームと１フレーム前のフレームに着目して、フレーム間の動きベクトルを利用した動き補償処理を用いる方法がある。この方法では、物体の動きを表す動きベクトル情報をもとに補間フレームを作成する。
【０００７】
上記動きベクトルの精度を上げるため、検索範囲を２段階に分けて探索する方法や、周囲の動きベクトルとの比較を行うことで、不適切な動きベクトルを除去するスムージング処理を行う等の手法が提案されている（例えば特許文献１参照、非特許文献１参照）。
【０００８】
【特許文献１】特開平2002-27414号公報（第9項、図9）
【非特許文献１】東芝レビューVol.58 No.12、2003年 P21-22
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述した従来の零次ホールド法は、ハードウェア化が最も簡単な方法ではあるが、時間方向の連続性を未考慮であるため、フレームの繰り返し部分においてモーションジャダーが発生し、映像の動きの不自然さが認知される。
【００１０】
また、直線補間法では、画像のエッジ部分において2重残像妨害が発生するため、全体的にぼやけ感を有する映像となる。
【００１１】
さらに、従来の動き補償型に関しては、検索範囲全体にわたりブロックマッチング処理を行う必要が生じることにより、多くの演算量が必要となる。また、周囲画素間の相関の考慮、ブロックノイズ抑圧のための考慮が必要であり、その演算は複雑を極めることとなる。
【００１２】
上記課題に鑑み、より簡単な回路構成で、より精度の高い補間画素を生成する映像補間装置を、先に発明し出願済みである。
【００１３】
ここで、出願済みの映像補間装置について、図１９〜図２２を用いて説明する。
【００１４】
図１９は、出願済みの映像補間装置中のブロック構成図である。
【００１５】
図１９において、1001は入力信号（現フレーム信号）、1002はフレームメモリ、1003は1フレーム前のフレーム信号、1004は遅延調整部、1005は最小差分画素ペア算出部、1006は候補ペア判定部、1007は補間画素生成部、1008は補間方向ヒストグラム検出部、1009は補間画素出力である。
【００１６】
図１９において、現フレーム信号1001が入力されると、フレームメモリ1002へ入力され、最小差分画素ペア算出部1005には、現フレーム信号1001と、１フレーム前のフレーム信号1003が入力される。最小差分画素ペア算出部1005では、現フレーム信号1001と、１フレーム前のフレーム信号1003から、補間フレームの画素を生成するための画素ペアの位置情報（以下、補間画素ベクトルと呼ぶ）を検出する。
【００１７】
候補ペア判定部1006では、補間方向ヒストグラム検出部1008で得られる後述の代表補間画素ベクトル（グローバルベクトル）により、補間画素ベクトルの妥当性を判定する。補間画素生成部1007には、遅延調整部1004より出力された現フレーム信号と、１フレーム前のフレーム信号が入力され、前記候補ペア判定部1006により出力される補間画素ベクトルにより、補間画素を生成し出力する。
【００１８】
上記を全画素に対して行うことにより、補間フレームを得ることができる。
【００１９】
図２０及び図２１は、図１９における最小差分画素ペア算出部1005の処理を説明するための図である。2001は１フレーム前のフレーム、2002は補間フレーム、2003は現フレーム、2004は補間画素、2005は検索範囲である。
【００２０】
１フレーム前のフレーム2001、及び現フレーム2003における○印は画素を示しており、図２０の場合、例として水平9画素、垂直5画素の構成を示している（例えばXGAの場合は水平1280画素、垂直768画素となる）。
【００２１】
いま、補間フレーム2002内の2004で示す位置の画素を補間することを考える。補間画素2004の位置を中心として、その対称の位置に、１フレーム前のフレーム2001、及び現フレーム2003それぞれに検索範囲2005を設定する（図２０の場合、水平±1画素、垂直±1画素）。尚、検索範囲は任意に設定可能とする。
【００２２】
図２１は、図２０において、検索範囲部分のみを示した図である。図２１において、図２０の構成要素と同一の構成要素は、同一の符号を付してその説明を省略する。図２１において、補間画素2004に対し、検索範囲内の点対称位置の画素ペアそれぞれに対して、その輝度値の差分値を計算する。
【００２３】
すなわち、図２１において以下の演算を実行する。
abs(a1−b9), abs(a2−b8), abs(a3−b7),
abs(a4−b6), abs(a5−b5), abs(a6−b4),
abs(a7−b3), abs(a8−b2), abs(a9−b1)
※abs：absolute value（絶対値）
次に、上記算出された差分演算結果のうち、その値が最も小さい画素ペアを算出する。つまり、差分値が最も小さいということはその方向にその画素が動いた可能性が高いという考えを利用している。上記演算を各補間画素に対して行い、最小差分画素ペアX個（小さい値からX個）の画素ペアの補間画素ベクトルを候補画素ベクトルとして出力する。
【００２４】
候補ペア判定部1006では、前記候補画素ベクトルから、後述するグローバルベクトルと方向が一致している補間画素ベクトルを選択する。補間画素生成部1007では、候補ペア判定部1006にて選択された補間画素ベクトルにより画素ペアを特定し、各補間画素の値を前記画素ペアの輝度値及び色値の平均値により補間画素値を生成する。
【００２５】
補間方向ヒストグラム検出部1008では、前補間フレーム生成時に検出された、各補間画素ベクトルの出現度数をカウントし、画面中の代表補間画素ベクトル（以下、グローバルベクトルと呼ぶ）を算出する。例えば、検索範囲が水平±5画素、垂直±2画素のとき、各補間画素ベクトルの出現度数が図２２のようになった場合、補間画素ベクトル(5,3)がグローバルベクトルとして選択される。
【００２６】
候補ペア判定部1006では、前記候補画素ベクトルから、代表補間画素ベクトル（グローバルベクトル）と方向が一致している補間画素ベクトルを選択する。補間画素生成部1007では、候補ペア判定部1006にて選択された補間画素ベクトルにより画素ペアを特定し、各補間画素の値を前記画素ペアの輝度値及び色値の平均値により補間画素値を生成する。
【００２７】
本構成によれば、１フレーム前のフレーム信号と現フレーム信号間で、各補間画素位置に対する点対称画素差分演算により動きを検出し、前補間フレームの動き情報を考慮することで、より簡単な回路構成で、より精度の高い補間画素を生成することができる。
【００２８】
本発明の目的は、さらに、補間画素検索の際、少ない回路規模で、検索範囲を拡げることが可能となり、より精度の高い補間画素を生成することができる映像補間装置、フレームレート変換装置および映像表示装置を提供することにある。
【課題を解決するための手段】
【００２９】
請求項１に係る発明は、映像補間装置において、補間フレーム内における各補間画素位置に対する１フレーム前のフレーム信号と、現フレーム信号に対して各補間画素位置を中心とした時間方向、及び水平・垂直方向の対称の位置に検索範囲を設け、前記補間画素位置に対して点対称の位置の画素ペアそれぞれに対してその輝度値の差分値を計算する最小差分画素ペア算出手段と、前記画素ペアから補間画素の値を生成する補間画素生成手段と、前記画素ペアが所定数の画素ペアからなる補間フレーム生成時に検出された、各補間画素ベクトルの出現度数をカウントし、各補間フレームにおける代表補間画素ベクトルを算出する補間方向ヒストグラム検出手段と、前記最小差分画素ペア算出手段で算出された複数候補画素ペアの中のうち、前記代表補間画素ベクトルと方向が一致する補間画素ベクトルを選択する候補ペア判定手段と、前記代表補間画素ベクトルに応じて、前記検索範囲を適応的に移動させる検索領域設定手段とを具備したことを特徴としている。
【００３０】
請求項２に係る発明は、請求項１記載の映像補間装置において、前記補間方向ヒストグラム検出手段は、１補間フレーム中で最も使用される頻度が高い補間画素ベクトルを前記代表補間画素ベクトルとすることを特徴としている。
【００３１】
請求項３に係る発明は、請求項１記載の映像補間装置において、前記最小差分画素ペア算出手段は、最も差分値の小さいものから順に所定個数の画素ペアを前記複数候補画素ペアとすることを特徴としている。
【００３２】
請求項４に係る発明は、請求項１記載の映像補間装置において、前記補間方向ヒストグラム検出手段は、所定の間隔で前記代表補間画素ベクトルの方向を初期化することを特徴としている。
【００３３】
請求項５に係る発明は、請求項４記載の映像補間装置において、映像シーンの切り替わりを検出するシーンチェンジ検出手段を具備し、前記シーンチェンジ検出手段で得られたシーンの切り替わりタイミングで前記代表補間画素ベクトルの方向を初期化することを特徴としている。
【００３４】
請求項６に係る発明は、請求項１記載の映像補間装置において、前記補間方向ヒストグラム検出手段の後に、所定フレーム分の前記代表補間画素ベクトルを保持し、前記所定フレーム分の代表補間画素ベクトルから、現補間フレームの前記代表補間画素ベクトルを決定する、代表補間画素ベクトル判定手段を具備したことを特徴としている。
【００３５】
請求項７に係る発明は、請求項１記載の映像補間装置において、数画素おきに補間画素ベクトル求め、中間の補間画素３画素分に関しては、前記求めた補間画素ベクトルから各中間画素の補間画素ベクトルを予測し、画素値を決定する、中間画素生成手段を具備したことを特徴としている。
【００３６】
請求項８に係る発明は、フレームレート変換装置において、請求項１乃至７のいずれかに記載の映像補間装置を用い、前記映像補間装置により生成された補間フレームを内挿することにより映像信号のフレームレート変換を行うことを特徴としている。
【００３７】
請求項９に係る発明は、映像表示装置において、請求項８記載のフレームレート変換装置を用い、前記フレームレート変換装置によってフレームレート変換された映像信号を表示デバイスに表示するようにしたことを特徴としている。
【００３８】
請求項１０に係る発明は、補間フレーム内における各補間画素位置に対する１フレーム前のフレーム信号と、現フレーム信号に対して各補間画素位置を中心とした時間方向、及び水平・垂直方向の対称の位置に検索範囲を設け、前記補間画素位置に対して点対称の位置の画素ペアそれぞれに対してその輝度値の差分値を計算する最小差分画素ペア算出手段と、前記画素ペアから補間画素の値を生成する補間画素生成手段と、前記画素ペアが所定数の画素ペアからなる補間フレーム生成時に検出された、各補間画素ベクトルの出現度数をカウントし、各補間フレームにおける代表補間画素ベクトルを算出する補間方向ヒストグラム検出手段と、前記最小差分画素ペア算出手段で算出された複数候補画素ペアの中のうち、前記代表補間画素ベクトルと方向が一致する補間画素ベクトルを選択する候補ペア判定手段と、前記代表補間画素ベクトルに応じて、前記検索範囲を適応的に移動させる検索領域設定手段とを具備した映像補間装置と、前記映像補間装置により生成された前記補間フレームを内挿することにより映像のフレームレート変換を行うフレームレート変換装置と、前記フレームレート変換装置によってフレームレート変換された映像信号を表示する表示デバイスを具備したことを特徴としている。
【発明の効果】
【００３９】
本発明によれば、さらに、補間画素検索の際、少ない回路規模で、検索範囲を拡げることが可能となり、より精度の高い補間画素を生成することができる映像補間装置、フレームレート変換装置および映像表示装置を得ることができる。
【００４０】
また本発明によれば、全画素の動きを検出するのではなく、数画素おきに動きを検出し、中間の画素に対する動きを両端の画素の動きから予測することにより、より小回路規模で、より精度の高い補間画素を生成することができる。
【発明を実施するための最良の形態】
【００４１】
図１は、本発明による映像補間装置の第一の実施形態のブロック構成図である。
【００４２】
図１において、図１９に示した出願済みの構成要素と同一の構成要素に関しては、同一の符号を付した。すなわち、1000は映像補間装置、1001は入力信号（現フレーム信号）、1002はフレームメモリ、1003は1フレーム前のフレーム信号、1004は遅延調整部、1005は最小差分画素ペア算出部、1006は候補ペア判定部、1007は補間画素生成部、1008は補間方向ヒストグラム検出部、1009は補間画素出力である。本構成の説明はすでに上記で説明済みである。
【００４３】
本実施の形態が上記の出願済みの映像補間装置中の上記図１９と異なる点は、グローバルベクトルに合わせて、補間画素ベクトルの検索範囲を移動する構成としたところにある。
【００４４】
すなわち、現フレーム信号1001と、１フレーム前のフレーム信号1003が入力される検索領域設定部1010を設け、その出力を最小差分画素ペア算出部1005に入力する構成にするとともに、補間方向ヒストグラム検出部1008の出力を検索領域設定部1010にも入力する構成としたところにある。
【００４５】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００４６】
検索領域設定部1010では、前記グローバルベクトルの方向に合わせて検索範囲を設定する。つまり、図２に示すように補間画素に対して、水平±1画素、垂直±1画素の検索範囲2005を設ける場合を考える。図２において、2001は１フレーム前のフレーム、2002は補間フレーム、2003は現フレーム、2004は補間画素、2005は検索範囲である。
【００４７】
例えば、前補間フレームのグローバルベクトルが補間画素位置に対して図３に示すように右方向3001であった場合、図のように、現フレーム2003側の検索範囲を右側へ、１フレーム前のフレーム2001側の検索範囲を左側へ移動する。
【００４８】
また、グローバルベクトルが補間画素位置に対して図４に示すように上方向4001であった場合、図に示すように、現フレーム2003側の検索範囲を上側へ、１フレーム前のフレーム2001側の検索範囲を下側へ移動する。
【００４９】
これにより、図３の場合は、全体の動きの方向（水平方向）に対して、水平±1画素分の検索範囲が±２画素分に拡がることになる。同じく図４の場合は、全体の動きの方向（垂直方向）に対して、垂直±１画素分の検索範囲が±２画素分に拡がる。
【００５０】
尚、検索範囲を動かす量は、上記のように固定値でも良いし、グローバルベクトルの動き量に応じて画素単位で適応的に切り替える方式としても良い。
【００５１】
以上のように本実施の形態によれば、検索範囲のサイズを変えることなく、仮想的に大きな範囲を検索することが可能となるので、例えば一定方向に速度を可変しながら動いているような画像において、少ない回路規模で、検索範囲を拡げることが可能となり、より精度の高い補間画素を生成することができる映像補間装置を得ることができる。
【００５２】
図１の構成では、前フレームのグローバルベクトルが次フレーム用のグローバルベクトルに影響するため、例えば1度グローバルベクトルを誤検出した場合、一定期間の間、間違ったグローバルベクトルを使用し続ける可能性がある。そのため、所定の間隔でグローバルベクトルを初期化した方が良い。
【００５３】
図５は、本発明による映像補間装置の第二の実施形態のブロック構成図である。図５において、図１の第一の実施形態の構成要素と同一の構成要素は、同一の符号を付した。図５は、所定の間隔でグローバルベクトルを初期化する構成としたところにある。
【００５４】
すなわち、現フレーム信号1001と、１フレーム前のフレーム信号1003が入力されるシーンチェンジ検出部1011を設け、その出力を補間方向ヒストグラム検出部1008に入力する構成とし、初期化のタイミングを、所定の間隔すなわち、所定の周期でリフレッシュもしくはシーンチェンジが起こったタイミングで行うようにしたことにある。
【００５５】
図６はシーンチェンジ検出部1011の例を示した図である。図６において、1501はAPL検出部、1502はAPL比較部、1503はシーンチェンジ判定部、1504はシーンチェンジ判定信号である。
【００５６】
まず、現フレーム信号1001、１フレーム前のフレーム信号1003それぞれに対して、APL(Average Picture Level：平均輝度)を、APL検出部1501にて求める。次にAPL比較部1502にて各フレームのAPLの差分値を算出し、シーンチェンジ判定部1503において、前記差分値が所定閾値以上となったタイミングをシーンチェンジが起こったタイミングと判定し、所定の間隔すなわち、所定の周期でもしくはシーンチェンジが起こったタイミングで、シーンチェンジ判定信号1504を出力する。
【００５７】
以上のように本実施の形態では、前記グローバルベクトルを一定周期でリフレッシュ、もしくはシーンチェンジのタイミングにてリフレッシュを行うため、誤検出による影響期間を短くすることが可能となる。
【００５８】
図７は、本発明による映像補間装置の第三の実施形態のブロック構成図である。
【００５９】
図７において、図１に示した第一の実施形態の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００６０】
本実施の形態が第一の実施形態と異なる点は、補間方向ヒストグラム検出部1008の出力に、数フレーム分のグローバルベクトルを保持し、その履歴情報を加味して現在のグローバルベクトルを決定する、GV判定部1012とバッファ1013を装備し、GV判定部1012の出力を候補ペア判定部1006と検索領域設定部1010に入力する構成としたところにある。
【００６１】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００６２】
図７において、バッファ1013には、所定フレーム数分のグローバルベクトルが保持されている。前記所定フレーム数は、任意に設定可能とする。例えば、前記所定フレーム数が4フレーム分である場合、図８に示すように、現在のフレームから前4フレーム分のグローバルベクトル2101〜2104を保持する。GV判定部1013では、グローバルベクトル2101〜2104の履歴情報を踏まえ、現フレームのグローバルベクトル2105を決定する。
【００６３】
まず、補間方向ヒストグラム検出部1008では、各補間画素ベクトルの出現度数をカウントし、グローバルベクトルを算出する。GV判定部1012では、前記4フレーム分のグローバルベクトルの平均値ベクトル（以下平均GV）を算出し、前記平均GVと前記グローバルベクトルとを比較し、判定を行う。前記判定の行い方としては以下のような方法が考えられる。
【００６４】
例えば中心（補間位置）からの距離値を前記平均GV、グローバルベクトルそれぞれ求め、各距離値の差が閾値以下の場合はそのまま前記グローバルベクトルを採用し、閾値以上であれば、平均GVを採用する。
【００６５】
または、図９に示すように例えば画面を４分割し、前記平均GV、グローバルベクトルそれぞれがどのエリアに属するかを判定し、同じエリアに属する場合はそのまま前記グローバルベクトルを採用し、同じエリアに属さない場合は平均GVを採用する。
【００６６】
以上のように、本実施の形態では、数フレーム分のグローバルベクトルを保持し、その履歴情報を加味して現在のグローバルベクトルを決定する構成としているため、精度の高いグローバルベクトルを検出することが可能となる。
【００６７】
図１０は、本発明による映像補間装置の第四の実施形態のブロック構成図である。
【００６８】
図１０において、図１に示した第一の実施形態の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００６９】
本実施の形態が第一の実施形態と異なる点は、補間画素生成部1007の出力に、数画素おき（例えば４画素おき）に補間画素ベクトル求め、中間の補間画素３画素分に関しては、両端の補間画素で求めた補間画素ベクトルから各補間画素ベクトルを予測し、画素値を決定する、中間画素生成部1014とバッファ1015を装備する構成としたところにある。
【００７０】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００７１】
図１０において、バッファ1015には、両端の補間画素ベクトルが保持されている。例えば本実施の形態においては、図１１において実線で示す画素のみ補間画素ベクトルを検出する。図１１において点線で示される画素2204の各補間画素ベクトルを検出するタイミングでは、バッファ1015には画素2201、2202の補間画素ベクトルが保持されている。同様に、画素2205の各補間画素ベクトルを検出するタイミングでは、バッファ1015には画素2202、2203の補間画素ベクトルが保持されている。
【００７２】
図１０において中間画素生成部1014は、図１１における画素2201と画素2202の補間画素ベクトルから、画素2204の各補間画素ベクトルを予測、補間画素を生成する。前記予測の行い方としては、例えば以下のような方法が考えられる。
【００７３】
まず、補間画素ベクトルを予測する補間画素の両端の補間画素ベクトルが、図１２(a)のように同じ方向を示す場合は、同図右に示すように中間の３画素の補間画素ベクトルも同じ方向であるとみなし、補間画素を生成する。
【００７４】
次に、両端の補間画素ベクトルが、図１２(b)のように、同じ領域（後述）である場合は、同図右に示すように、両端の補間画素ベクトルが段階的に繋がるように、各補間画素ベクトルを予測し、各補間画素を生成する。
【００７５】
前記段階的予測の仕方としては、例えば以下のような方法が考えられる。
【００７６】
図１３(a)のように４画素おきに補間画素ベクトルを求める場合において、両端の補間画素ベクトル値がそれぞれ(2,8)、(6,0)の場合を考える。この場合、ベクトル(2,8)から(６,0)へ段階的に変化させる。
【００７７】
まず、中間の3個の画素の補間画素ベクトルの変化量を次のように求める。
x方向：abs(6−2)/4 = 1
y方向：abs(0−8)/4 = 2
つまりx方向に1づつ、y方向に２づつ補間画素ベクトルを変化させることにより、段階的変化を行う。この場合、中間の３つの補間画素ベクトルは、図１３(a)右図に示すように、それぞれ、(3,6)、(4,4)、(5,2)となる。
【００７８】
従って、図１３(b)に示すように、両端の補間画素ベクトルがそれぞれ(x1,y1)、(x2,y2)の場合の中間の画素n個の補間画素ベクトルのN 番目の画素(xNn,yNn)は、以下の数式で表される。
xNn = x1＋((x2−x1)／(n＋1))×N
yNn = y1＋((y2−y1)／(n＋1))×N      (N = 1, 2, 3, …, N)
ここで、上式右辺除算の値は、小数点以下切捨てで計算を行う。
【００７９】
最後に両端の補間画素ベクトルが、図１２(c)のように、全く異なる領域（後述）である場合は、中間画素のベクトル予測が困難であるため、例えば前フレームの画素をそのまま繰り返す、もしくは前後フレームの平均値で各補間画素を生成する。
【００８０】
上記における、両端の補間画素ベクトル判定の際の領域に関して説明する。例えば検索範囲を図１４のように4分割し、それぞれ分割された4つの領域内にある補間画素ベクトルは同じ領域にあると判断する。またX、Yの軸上に位置する補間画素ベクトルは、接している領域に対して同じ領域であると判断する。例えば図１４における(x,y) = (2,0)の補間画素ベクトルは、領域各▲3▼、▲4▼の両方に属するとみなす。
【００８１】
以上のように本実施の形態では、全画素に対して補間画素ベクトルを求める必要がなくなるため、差分演算量を削減することができ、さらにより回路規模を小さく構成することが可能となる。
【００８２】
尚、本実施の形態においては、中間の画素の補間画素ベクトルを求めるために、その両端の補間画素ベクトルのみを用いて予測する方法に関して述べたが、それに限ることはなく、両端に加えその外側、もしくは上下方向の補間画素ベクトルを加味した予測を行う構成としてもよい。
【００８３】
図１５は、本発明による映像補間装置を用いたフレームレート変換装置のブロック構成図である。
【００８４】
図１５において、3000はフレームレート変換装置、3001は入力映像信号、3002は現フレーム信号、3003は1フレーム前の信号、1000は図１等の映像補間装置、3004は補間信号、3005はDRAMコントローラ、3006はDRAM、3007はフレームレート変換画像出力である。
【００８５】
入力映像信号3001は、DRAM3006へ格納され、DRAMコントローラ3005は、現在のフレーム3002と1フレーム前の信号3003を映像補間装置1000に同タイミングで入力する。
【００８６】
映像補間装置1000では、現在のフレーム3002と1フレーム前の信号3003から、補間フレーム3004を生成する。補間フレーム3004はDRAM3006へ書き込まれ、DRAMコントローラ3005は、補間フレームを内挿し、1フレーム前信号、補間フレーム、現フレームを順に所望のフレームレートにてデータを読み出し、出力3007する。
【００８７】
例えば、入力画像信号のフレームレートが60Hz（画像サイズ：1280×768（XGA）、ドットクロック周波数：85MHz）である場合、120Hzのフレームレートへの変換を行う際のDRAMコントローラ3005のデータ読み出し速度は、170MHzとなる。
【００８８】
図１６は、本発明による映像補間装置、フレームレート変換装置を用いた映像表示装置のブロック構成図である。
【００８９】
図１６において、4000は映像表示装置、4001はアナログ放送受信アンテナ及びチューナ、4002はデジタル放送受信アンテナ及びチューナ、4003はY/C分離器、4004はMPEGデコーダ、4005はクロマデコーダ、4006はスケーラ／インターレス・プログレッシブ(IP)変換器、4007はフレームメモリ、3000は図１５のフレームレート変換装置、4008はタイミングコントローラ、4009は液晶パネルである。
【００９０】
アナログ放送受信アンテナ及びチューナ4001から受信したコンポジットアナログ信号は、Y/C分離器4003によって、輝度信号と色信号に分離される。分離されたY,C信号は、クロマデコーダ4005に入力される。クロマデコーダ4005では分離されたY,C信号を、サンプリングクロックが13.5MHzのITU-R601勧告に基づくデジタル信号規格の映像信号に変換し、スケーラ／インターレス・プログレッシブ(IP)変換器4006へ出力する。
【００９１】
一方、デジタル放送受信アンテナ及びチューナ4002から受信したデジタル信号は、MPEGデコーダ4004によりデコードされ、スケーラ／インターレス・プログレッシブ(IP)変換器4006へ出力する。
【００９２】
スケーラ／インターレス・プログレッシブ(IP)変換器4006では、入力された信号に応じて拡大、縮小処理、及びインターレース/プログレッシブ変換を行い、フレームレート変換装置3000へ出力する。フレームメモリ4007はインターレース/プログレッシブ変換において動き検出を行う際に、1フレーム前のフレームと現在のフレームを比較するために、1フレーム分のデータを格納する。
【００９３】
フレームレート変換装置3000では、液晶パネル4009の駆動周波数に合わせたフレームレートへ変換を行い、タイミングコントローラ4008へ出力する。タイミングコントローラ4008では、入力された信号を基に液晶パネル4009側ドレイン線駆動、及びゲート線駆動用に必要な表示データと動作クロックを出力する。液晶パネル4009ではタイミングコントローラ4008より入力された表示データを表示する。
【００９４】
尚、本実施の形態においては、表示デバイスとして液晶パネルを用いたが、それに限ることはない。
【００９５】
以上のように、本実施の形態によれば、入力映像信号を表示デバイスである液晶パネルの駆動周波数に合わせたフレームレートへ変換するフレームレート変換装置および該フレームレート変換装置を用いて表示することが可能な映像表示装置を実現することが可能となる。
【図面の簡単な説明】
【００９６】
【図１】本発明による映像補間装置の第一の実施形態のブロック構成図である。
【図２】本発明の第一の実施の形態を説明するための図である。
【図３】本発明の第一の実施の形態を説明するための図である。
【図４】本発明の第一の実施の形態を説明するための図である。
【図５】本発明による映像補間装置の第二の実施形態のブロック構成図である。
【図６】本発明の第二の実施の形態におけるシーンチェンジ検出部の構成を示す図である。
【図７】本発明による映像補間装置の第三の実施形態のブロック構成図である。
【図８】本発明の第三の実施の形態を説明するための図である。
【図９】本発明の第三の実施の形態を説明するための図である。
【図１０】本発明による映像補間装置の第四の実施形態のブロック構成図である。
【図１１】本発明の第四の実施の形態を説明するための図である。
【図１２】本発明の第四の実施の形態を説明するための図である。
【図１３】本発明の第四の実施の形態を説明するための図である。
【図１４】本発明の第四の実施の形態を説明するための図である。
【図１５】本発明による映像補間装置を用いたフレームレート変換装置のブロック構成図である。
【図１６】本発明による映像補間装置、フレームレート変換装置を用いた映像表示装置のブロック構成図である。
【図１７】フレームレート変換を説明するための図である。
【図１８】直線補間法による補間フレーム作成部分のブロック構成の一例を示す図である。
【図１９】出願済みの映像補間装置中のブロック構成図である。
【図２０】出願済みの映像補間装置中のブロック構成における最小差分画素ペア算出部の処理を説明するための図である。
【図２１】出願済みの映像補間装置中のブロック構成における最小差分画素ペア算出部の処理を説明するための図である。
【図２２】出願済みの映像補間装置中のブロック構成における補間方向ヒストグラム検出部の各補間画素ベクトルの出現度数の例を示す図である。
【符号の説明】
【００９７】
1000：映像補間装置、1001：現フレーム信号、1002：フレームメモリ、1003：１フレーム前のフレーム信号、1004：遅延調整部、1005：画素ペア算出部、1006：候補ペア判定部、1007：補間画素生成部、1008：補間方向ヒストグラム検出部、1009：補間画素出力、1010：検索領域設定部、1011：シーンチェンジ検出部、1012：GV判定部、1013：バッファ、1014：中間画素生成部、1015：バッファ、1501：APL検出部、1502：APL比較部、1503：シーンチェンジ判定部、1504：シーンチェンジ判定信号、2001：１フレーム前のフレーム、2002：補間フレーム、2003：現フレーム、2004：補間画素、2005：検索範囲、2101,2102,2103,2104,2105：補間フレーム、2201,2202,2203,2204,2205：画素、3000：フレームレート変換装置、3001：入力画像信号、3002：現フレーム信号、3003：1フレーム遅延信号、3004：補間信号、3005：DRAMコントローラ、3006：DRAM、3007：フレームレート変換画像出力、4000：映像表示装置、4001：アナログ放送受信アンテナ及びチューナ、4002：デジタル放送受信アンテナ及びチューナ、4003：Y/C分離器、4004：MPEGデコーダ、4005：クロマデコーダ、4006：スケーラ／インターレス・プログレッシブ(IP)変換器、4007：フレームメモリ、4008：タイミングコントローラ、4009：液晶パネル。
【図１】
2006352611.tif 000003
【図２】
2006352611.tif 000004
【図３】
2006352611.tif 000005
【図４】
2006352611.tif 000006
【図５】
2006352611.tif 000007
【図６】
2006352611.tif 000008
【図７】
2006352611.tif 000009
【図８】
2006352611.tif 000010
【図９】
2006352611.tif 000011
【図１０】
2006352611.tif 000012
【図１１】
2006352611.tif 000013
【図１２】
2006352611.tif 000014
【図１３】
2006352611.tif 000015
【図１４】
2006352611.tif 000016
【図１５】
2006352611.tif 000017
【図１６】
2006352611.tif 000018
【図１７】
2006352611.tif 000019
【図１８】
2006352611.tif 000020
【図１９】
2006352611.tif 000021
【図２０】
2006352611.tif 000022
【図２１】
2006352611.tif 000023
【図２２】
2006352611.tif 000024