【手続補正書】
【提出日】平成19年7月18日(2007.7.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレームレート変換装置において、
映像信号が入力される信号入力部と、
前記信号入力部に入力された映像信号のフレーム数を変換するフレームレート変換部と、を備え、
前記フレームレート変換部は、前記映像信号の少なくとも３つのフレームの情報を用いてフレームレート変換を行うことを特徴とするフレームレート変換装置。
【請求項２】
フレームレート変換装置において、
映像信号が入力される信号入力部と、
前記信号入力部に入力された映像信号を用いて補間フレームを生成し、該補間フレームを該映像信号に挿入してフレーム数を変換するフレームレート変換部と、を備え、
前記フレームレート変換部は、前記映像信号の少なくとも３つのフレームの情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換装置。
【請求項３】
請求項２に記載のフレームレート変換装置において、前記３つのフレームは、前記補間フレームが挿入される位置を挟む前後フレーム、及び該前後フレームの何れか一方と隣接するフレームであることを特徴とするフレームレート変換装置。
【請求項４】
フレームレート変換装置において、
映像信号が入力される信号入力部と、
前記信号入力部に入力された映像信号を用いて補間フレームを生成し、該補間フレームを該映像信号に挿入してフレーム数を変換するフレームレート変換部と、を備え、
前記フレームレート変換部は、前記補間フレームを挿入する時間を基準にして、該挿入時間よりも前の時間に出現した連続する２つのフレーム、及び該挿入時間よりも後の時間に出現した連続する２つのフレームの、４つのフレームの情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換装置。
【請求項５】
フレームレート変換装置において、
映像信号が入力される信号入力部と、
前記信号入力部に入力された映像信号を用いて補間フレームを生成し、該補間フレームを該映像信号に挿入してフレーム数を変換するフレームレート変換部と、を備え、
前記フレームレート変換部は、前記補間フレームを挿入する時間を基準にして、該挿入時間よりも前の時間に出現した第１のフレームと、該第１のフレームよりも前の時間に出現した第２のフレーム、及び該挿入時間よりも後の時間に出現した第３のフレームと、該第３のフレームよりも後の時間に出現した第４のフレームの情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換装置。
【請求項６】
請求項５に記載のフレームレート変換装置において、前記第１ないし第４のフレームは連続して出現したフレームであることを特徴とするフレームレート変換装置。
【請求項７】
請求項５に記載のフレームレート変換装置において、
前記フレームレート変換部は、前記補間フレームのある補間画素を中心に前記第１乃至第４のフレームを通る直線を設定し、該直線上に位置する該第１のフレームの画素と第２のフレームの画素との差分、該直線上に位置する該第１のフレームの画素と第３のフレームの画素との差分、及び該直線上に位置する該第３のフレームの画素と第４のフレームの画素との差分の合計を、前記補間フレーム生成のための情報とすることを特徴とするフレームレート変換装置。
【請求項８】
請求項５に記載のフレームレート変換装置において、
前記フレームレート変換部は、前記補間フレーム内のある補間画素を中心に前記第１乃至第４のフレームを通る複数の直線を設定し、
該複数の直線毎に、各直線上に位置する該第１のフレームの画素と第２のフレームの画素との差分、該直線上に位置する該第１のフレームの画素と第３のフレームの画素との差分、及び該直線上に位置する該第３のフレームの画素と第４のフレームの画素との差分の合計を求め、
前記差分の合計が最も小さい直線上に位置する前記第１のフレーム及び第３のフレームの画素情報を用いて前記ある補間画素を作成し、前記補間フレームを生成することを特徴とするフレームレート変換装置。
【請求項９】
請求項５に記載のフレームレート変換装置において、
前記フレームレート変換部は、前記補間フレームのある補間画素を中心に前記第１乃至第４のフレームを通る複数の直線を設定し、
該複数の直線毎に、各直線上に位置する該第１のフレームの画素と第２のフレームの画素との差分、該直線上に位置する該第１のフレームの画素と第３のフレームの画素との差分、及び該直線上に位置する該第３のフレームの画素と第４のフレームの画素との差分の合計を求め、
前記差分の合計が最も小さい直線を、補間方向を決定するための基準として用いるとともに、該決定された補間方向にある前記第１のフレーム及び第３のフレームの画素情報を用いて前記ある補間画素を作成し、前記補間フレームを生成することを特徴とするフレームレート変換装置。
【請求項１０】
請求項９に記載のフレームレート変換装置において、
前記フレームレート変換部は、前記差分の合計が最も小さい直線と、前記ある補間画素よりも前の時間に作成された少なくとも１つ以上の補間画素の補間方向とを用いて、当該ある補間画素の補間方向を決定することを特徴とするフレームレート変換装置。
【請求項１１】
請求項９に記載のフレームレート変換装置において、
前記フレームレート変換部は、前記差分の合計が最も小さい直線と、前記補間フレームよりも前の時間に生成された補間フレームにおける１つまたは複数の補間方向とを用いて、当該ある補間画素の補間方向を決定することを特徴とするフレームレート変換装置。
【請求項１２】
請求項５に記載のフレームレート変換装置において、
映像信号を１フレーム遅延して前記第３のフレームを生成する第１のフレームメモリと、
該第１のフレームメモリの出力を更に１フレーム遅延して前記第１のフレームを生成する第２のフレームメモリと、
該第２のフレームメモリの出力を更に１フレーム遅延して前記第２のフレームを生成する第３のフレームメモリと、
前記映像信号を前記第４のフレームとして用いるとともに、前記第１のフレームメモリから出力された前記第３のフレームと、第２のフレームメモリから出力された前記第１のフレームと、前記第３のフレームメモリから出力された前記第２のフレームとを用いて、前記補間フレームを作成する補間フレーム生成部と、
該補間フレーム生成部から出力を保持する第４のフレームメモリと、
該第４のフレームメモリからの出力と前記第２のフレームメモリの出力とを周期的に切り換える切換部と、を備えることを特徴とするフレームレート変換装置。
【請求項１３】
請求項１２に記載のフレームレート変換装置において、
前記切換部は、映像信号のフレームレートの、２倍の周期で前記第４のフレームメモリからの出力と前記第２または第３のフレームメモリの出力とを切り換えることにより、前記映像信号のフレームレートを２倍に変換することを特徴とするフレームレート変換装置。
【請求項１４】
請求項５に記載のフレームレート変換装置において、
映像信号を１フレーム遅延して前記第４のフレームを生成する第１のフレームメモリと、
該第１のフレームメモリの出力を更に１フレーム遅延して前記第３のフレームを生成する第２のフレームメモリと、
該第２のフレームメモリの出力を更に１フレーム遅延して前記第１のフレームを生成する第３のフレームメモリと、
該第３のフレームメモリの出力を更に１フレーム遅延して前記第２のフレームを生成する第４のフレームメモリと、
前記第１乃至第４のフレームメモリから出力された前記第１乃至第４のフレームを用いて、前記補間フレームを作成する補間フレーム生成部と、
該補間フレーム生成部からの出力を保持する第５のフレームメモリと、
該第５のフレームメモリからの出力と前記第３のフレームメモリの出力とを周期的に切り換える切換部と、を備えることを特徴とするフレームレート変換装置。
【請求項１５】
請求項１４に記載のフレームレート変換装置において、
前記映像信号がインターレース形式の場合、該映像信号を順次走査形式に変換して前記第１のフレームメモリに供給する順次走査変換部を更に備えることを特徴とするフレームレート変換装置。
【請求項１６】
請求項１４に記載のフレームレート変換装置において、
2-3プルダウン方式でインターレース形式の映像信号が入力された場合、該映像信号を、毎秒24フレームの順次走査形式の映像信号に変換して前記第１のフレームメモリに供給する順次走査変換部を更に備えることを特徴とするフレームレート変換装置。
【請求項１７】
請求項１６に記載のフレームレート変換装置において、
前記順次走査変換部は、入力された映像信号が2-3プルダウン方式かを判定するとともに、入力された映像信号が2-3プルダウン方式と判定した場合に、前記順次走査変換処理を実行する制御部を含むことを特徴とするフレームレート変換装置。
【請求項１８】
請求項９に記載のフレームレート変換装置において、
映像信号のシーンチェンジを検出する検出部を設け、該シーンチェンジを検出した場合は補間処理を変更することを特徴とするフレームレート変換装置。
【請求項１９】
請求項１８に記載のフレームレート変換装置において、
前記検出部でシーチェンジを検出した場合、前記補間フレームのある補間画素と同一位置にある、前記第１フレーム及び第３フレームの画素の少なくともいずれかの情報を用いて当該ある補間画素を作成することを特徴とするフレームレート変換装置。
【請求項２０】
請求項５に記載のフレームレート変換装置において、
前記フレームレートの変換処理によって発生する映像の遅延に対応して、前記映像信号とともに入力される音声信号を遅延する音声遅延部を更に備えることを特徴とするフレームレート変換装置。
【請求項２１】
請求項１乃至２０のいずれかに記載のフレームレート変換装置を備えた映像表示装置。
【請求項２２】
フレームレート変換方法において、
入力された映像信号から、連続した４つのフレームを生成し、
該生成された４つのフレームの情報を用いて補間フレームを生成し、
前記生成された４つのフレームのうち、２番目と３番目のフレームとの間に前記補間フレームを挿入して、入力映像信号のフレームレートを変換することを特徴とするフレームレート変換方法。
【請求項２３】
請求項２２に記載のフレームレート変換方法において、
前記連続した４つのフレームから前記補間フレームを生成する際の補間方向を決定し、前記２番目と３番目のフレームの、前記決定された補間方向にある画素の情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換方法。
【請求項２４】
請求項２３に記載のフレームレート変換方法において、
前記補間フレーム内のある補間画素を中心として、前記連続した４つのフレームを通過する複数の直線を設定し、
該複数の直線毎に、各直線上に位置する１番目のフレームと２番目のフレームとの差分の絶対値と、２番目のフレームと３番目のフレームとの差分の絶対値と、３番目のフレームと４番目のフレームとの差分の絶対値との合計値を求め、
該合計値が最も小さい直線を前記補間方向として決定することを特徴とするフレームレート変換方法。
【請求項２５】
請求項２３に記載のフレームレート変換方法において、
前記補間フレーム内のある補間画素を中心として、前記連続した４つのフレームを通過する複数の直線を設定し、
該複数の直線毎に、各直線上に位置する１番目のフレームと２番目のフレームとの差分の絶対値と、２番目のフレームと３番目のフレームとの差分の絶対値と、３番目のフレームと４番目のフレームとの差分の絶対値との合計値を求め、
該合計値が最も小さい直線を基準として前記補間方向を決定し、
該決定された補間方向にある前記２番目のフレームの画素と３番目のフレームの画素との平均値により前記ある補間画素を作成することを特徴とするフレームレート変換方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本実施例に係るフレームレート変換部は、フレームメモリ２２〜２４及び２５、相関検出・補間画素生成部１１、及び切換回路３１を備えている。映像信号の入力部１に入力された映像信号は、相関検出・補間画素生成部１１及びフレームメモリ２２へ供給される。フレームメモリ２２は、１フレーム分の映像信号を保持することにより映像信号を１フレーム分遅延する。この１フレーム分遅延された信号は、相関検出・補間画素生成部１１及びフレームメモリ２３へ供給される。フレームメモリ２３は、フレームメモリ２２と同様に１フレーム分の映像信号を保持することにより、映像信号を更に１フレーム分遅延する。従って、フレームメモリ２３の出力信号は、信号入力部１の映像信号に対し、２フレーム遅延される。この２フレーム遅延された映像信号は、相関検出・補間画素生成部１１及びフレームメモリ２４、並びに切換回路３１へ供給される。フレームメモリ２４は、フレームメモリ２２及び２３と同様に１フレーム分の映像信号を保持することにより、映像信号を更に１フレーム分遅延する。従って、フレームメモリ２３の出力信号は、信号入力部１の映像信号に対し、３フレーム遅延される。この３フレーム遅延された信号も同様に、相関検出・補間画素生成部１１に供給される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
相関検出・補間画素生成部１１は、信号入力部１及びフレームメモリ２２〜２３の、計４フレーム分の映像信号が入力され、これらを用いて補間フレームを生成する。この補間フレームは、この第１実施例においては、時間的に、フレームメモリ２２によって１フレーム遅延された信号と、フレームメモリ２３によって２フレーム遅延された信号との間に挿入される。従って、フレームメモリ２３によって２フレーム遅延された信号は、補間フレームから見て時間的に前に存在するので、これを前フレーム１１３と呼ぶこととする。またフレームメモリ２４によって３フレーム遅延された信号は、前フレーム１１３からみて時間的に前、すなわち補間フレームから見て２フレーム前に存在するので、これを前々フレーム１１４と呼ぶこととする。一方、フレームメモリ２２によって１フレーム遅延された信号は、補間フレームから見て時間的に後に存在するので、これを後フレーム１１２と呼ぶこととする。信号入力部１からの遅延されない信号は、後フレーム１１２からみて時間的に後、すなわち補間フレームから見て２フレーム後に存在するので、これを後々フレーム１１１と呼ぶこととする。上記後々フレーム１１１、後フレーム１１２、前フレーム１１３、前々フレーム１１４の４つのフレームは、連続したフレームである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
このようにして、相関検出・補間画素生成部１１で生成された補間フレームは、フレームメモリ２５に供給される。フレームメモリ２５は、相関検出・補間画素生成部１１からの補間フレームを１フレーム分保持し、切換回路３１に供給する。切換回路３１は、フレームメモリ２５からの補間フレームとフレームメモリ２３からの前フレーム１１３とを、１／１２０秒周期で切り換えて出力する。これにより、入力映像信号の隣接する２つのフレーム間に補間フレームが挿入され、入力映像信号は、その２倍のフレーム周波数、つまり１２０Ｈｚのフレーム周波数を持つ映像信号にフレームレート変換される（すなわち倍速変換される）。切換回路３１からのフレームレート変換された映像信号は、図示しない表示パネルに供給され、フレームレート変換された映像が表示される。ここで、表示パネルは、例えばプラズマディスプレイパネル（ＰＤＰ）、液晶パネルまたはフィールドエミッションディスプレイ（ＦＥＤ）等の表示デバイスであるものとする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
例えば、直線(a)の場合、検索ウィンドウ１２２の座標(2,-1)にある画素と検索ウィンドウ１２３の座標(-2,1)にある画素との差分の絶対値、検索ウィンドウ１２３の座標(-2,1)にある画素と検索ウィンドウ１２４の座標(-6,3)にある画素との差分の絶対値、及び検索ウィンドウ１２２の座標(2,-1)にある画素と検索ウィンドウ１２１の座標(6,-3)にある画素との差分の絶対値を求める。尚、前フレーム検索ウィンドウ１２３上の座標を(-Ｘ,-Ｙ)で表しているのは、後フレーム検索ウィンドウ１２２上の座標を(Ｘ,Ｙ)としたときに、検索ウィンドウ１２３上の座標が検索ウィンドウ１２２上の座標に対して、Ｘ方向及びＹ方向とも逆方向になることを意味する。また、前々フレーム検索ウィンドウ１２４上の座標を(-3Ｘ,-3Ｙ)表しているのは、後フレーム検索ウィンドウ１２２上の座標を(Ｘ,Ｙ)としたときに、検索ウィンドウ１２４上の座標が検索ウィンドウ１２２上の座標に対して、Ｘ方向及びＹ方向とも３倍になることを意味する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
一方、減算器８１は、信号入力部１に入力された映像信号とフィールドメモリ４２から出力された２フィールド遅延された映像信号とを減算し、その減算結果を制御部６１に出力する。図４の「入力信号」に示されるように、２−３信号の映像２０１〜２４３は、毎秒６０フィールドのインターレース映像信号であり、奇数はトップフィールドの映像信号を、偶数はボトムフィールドの映像信号を示している。また、十の桁が同じ映像は、元となる毎秒２４枚の同じフレームから生成された映像信号であることを示す。このため、映像２０１と２０３は同じである。同様に映像２２２と２２４、映像２４１と２４３もそれぞれ同じである。このように、２−３信号は、５フィールドに１回、１フィールドを挟んだ２つのフィールド間の映像内容が等しくなる。従って、入力映像信号と２フィールド遅延された映像信号との差分（フレーム差分）は、５フィールドに１回の割合でほぼ０となる。上記制御部６１は、５フィールドに１回差分が０となるシーケンス（差分が、例えば有、有、有、無(０)、有と出現する一連の流れ）が、連続して所定回数（例えば３回）以上出現した場合に、入力映像信号が２−３信号であると検出する。入力映像信号が２−３信号であると検出された場合、制御部６１は、セレクタ３２に対し制御信号を出力する。この制御信号によって、セレクタ３２は、ラインメモリ５１からの信号とラインメモリ５２からの信号とを周期的に切り換えて出力するように制御される。従って、セレクタ３２からは、フィールドメモリ４１に格納された第１フィールドの第１ライン、フィールドメモリ４２に格納された第２フィールドの第１ライン、第１フィールドの第２ライン、第２フィールドの第２ライン…の順に出力される。この結果、２−３信号の２つのフィールドから、図４の中段に示されるような順次走査信号（１フレームの信号）が生成される。例えば、図４に示すように、フィールドメモリ４１及び４２に、それぞれ映像２０３、２０２が保持されているときは映像３０１が生成され、それぞれ映像２１２、２１３が保持されているときは、映像３１１が生成される処理となる。制御部６１からセレクタ３２への制御信号は、２−３信号の５フィールドから２フレームを作成するようなタイミングで出力される。このように、順次走査変換部２は、２−３プルダウン化された毎秒６０フィールドのインターレース信号を、毎秒２４フレームのノンインターレース（順次走査）信号に変換する処理を行うものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
次に、図５も参照しつつ、例えば図４の映像４０５を生成する際の補間処理の詳細について説明する。図３のフレームメモリ２１〜２４は、第１実施例と同様なフレームメモリであり、映像を１フレーム分保持する。フレームメモリ２１はセレクタ３２からの信号を１フレーム分保持し、補間フレーム１００から見て時間的に後々フレーム１１１となる映像データ３３１を、相関・補間処理部１２に出力する。フレームメモリ２２、２３及び２４は、それぞれ第一の実施例と同様に１フレーム分のデータを保持し、後フレーム１１２である映像３２１、前フレーム１１３である映像３１１、及び前々フレーム１１４である映像３０１を出力する。相関検出・補間処理部１２は、フレームメモリ２１〜２４から出力された４フレームのデータを用いて、第１実施例と同様に、補間方向の検出処理、及び補間画素と補間フレームの生成処理を行う。ただし、本実施形態は第１実施例と異なり、生成する補間フレーム１００と前フレーム１１３との時間的距離、及び補間フレーム１００と後フレーム１１２との時間的距離が、互いに異なる。例えば、図４の映像４０５を生成する際、前フレーム１１３である映像３１１と後フレーム１１２である映像３２１の映像４０５に対する時間的距離の比は、３：２になる。よって、補間画素１０１について相関をとる画素の位置も３：２にする必要があり、検索ウィンドウの大きさも変更する必要がある。従って、本実施例では、補間画素１０１を中心に上記４つのフレームを通る複数の直線の各々について、補間画素１０１とのの相関に関する次のパラメータを演算により求める。(1)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と前フレーム検索ウィンドウ１２３上の座標(-1.5Ｘ,-1.5Ｙ)にある画素との差分の絶対値；(2)前フレーム検索ウィンドウ１２３上の座標(-1.5Ｘ,-1.5Ｙ)にある画素と前々フレーム検索ウィンドウ１２４上の座標(-4Ｘ,-4Ｙ)にある画素との差分の絶対値；(3)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と後々フレーム検索ウィンドウ１２１上の座標(3.5Ｘ,3.5Ｙ)にある画素との差分の絶対値。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
また、相関検出・補間画素生成部１２では、上記の処理以外にフレームメモリ２１、２２からの信号を用い、シーンチェンジの検出を行う。図６に示すように、ある時間において、フレームメモリ２４に映像５０１、フレームメモリ２３に映像５０２、フレームメモリ２２に映像５０３、フレームメモリ２１に映像５０４が保持されているものとする。この時、映像５０１〜５０３は同一シーンであり、Ａ、Ｂ、Ｃと違いが少ない映像であるとする。一方、映像５０４は別シーンであり、Ａ〜Ｃとは大きく異なる映像ｄであるとする。この様な状態で、相関検出・補間画素生成部１２では、フレームメモリ２１からの信号とフレームメモリ２２からの信号との差分を演算する。この差分は、このフレーム間の同位置（同座標の画素）同士の差分である。この演算は、１フレームの全画素、もしくは設定領域（例えば、画面全体の、画面中央を中心として設定された８０％の領域）の全画素について行われる。そして１フレームの各画素同士の差分を累積し、その累積値が所定値を越えた場合にシーンチェンジが発生したものと判断する。そのシーンチェンジの情報は、相関検出・補間画素生成部１２に保持される。時間が経過すると、フレームメモリ２４に映像５０２、フレームメモリ２３に映像５０３、フレームメモリ２２に映像５０４、フレームメモリ２１に映像５０５が保持されている状態になる。このとき、相関検出・補間画素生成部１２にはシーンチェンジの情報が保持されているため、この情報を用いて補間方法の変更を行う。すなわち、本実施例においては、検出されたシーンチェンジの情報を、検出時点における補間処理ではなく、その次の補間処理に反映させるようにしている。補間方法の変更は、例えば次のようにする。すなわち、シーンチェンジ前は、第１実施例のように４フレームのデータから補間方向を検出して補間処理していたものを、シーンチェンジ後は、そのような補間方向の検出を行わず、映像５０３と５０４との加重平均から補間画素を生成する。このとき、映像５０３または５０４のデータをそのまま用いて補間処理を行ってもよい。上記説明では、シーンチェンジの検出に、１フレーム分における画素同士の差分を累積したものを用いた。しかしながら、差分値が一定値以上の画素の数を１フレームにわたって積算し、その積算値が所定値以上の場合にシーンチェンジが発生したものと判断してもよい。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2006165602.tif 000001