(57)【要約】  映像信号のフレームレート変換方法において、入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出手段と、入力された連続するフレーム映像信号からフレームレートを変換するフレームレート変換手段と、前記フレームレート変換手段において、フィルム検出手段から出力された検出結果がＭ：Ｎのプルダウン信号と検出した場合、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とＭ：Ｎに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御手段を具備する。従って、連続するフレームからのフレームレート変換から繰り返しフレーム数の多いプルダウン映像信号に切り換わる場合でも、切り換わりフレームで移動物体が後戻りを発生せず、不自然な動きとならない。
2012137394.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、
入力された連続するフレーム映像信号からフレームレートを変換するフレームレート変換ステップと、
前記フレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出した場合、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とＭ：Ｎに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御ステップとを具備する
ことを特徴とするフレームレート変換方法。
【請求項２】
前記請求項１記載のフレームレート変換方法において、
前記切換制御ステップは、
Ｍ：Ｎのプルダウン信号のフレーム位相を示す所定の位相情報を基にＭ：Ｎのプルダウン信号処理に切り換える
ことを特徴とするフレームレート変換方法。
【請求項３】
前記請求項１記載のフレームレート変換方法において、
前記切換制御ステップは、
Ｍ：Ｎのプルダウン信号の検出した回数を基にＭ：Ｎのプルダウン信号処理に切り換える
ことを特徴とするフレームレート変換方法。
【請求項４】
前記請求項１記載のフレームレート変換方法において、
前記フィルム検出ステップは、
フレーム差分を１フレーム期間累積する積分ステップと、
１フレーム期間累積された積分値と所定の閾値とを比較する比較ステップと、
前記比較ステップの出力結果を基にフレーム差分の有無を判定し、Ｍ：Ｎのプルダウン映像を判定するフィルム判定ステップと、
前記比較ステップの出力結果とフィルム判定結果を基にＭ：Ｎのプルダウン信号の位相情報を出力する位相抽出ステップとから構成され、
Ｍ：Ｎのプルダウン信号を検出する
ことを特徴とするフレームレート変換方法。
【請求項５】
前記請求項１記載のフレームレート変換方法において、
前記フィルム検出ステップは、
第１のフレーム差分を１フレーム期間累積する積分ステップと、
第１の１フレーム期間累積された積分値と所定の閾値とを比較する第１の比較ステップと、
第２のフレーム差分を１フレーム期間累積する積分ステップと、
第２の１フレーム期間累積された積分値と所定の閾値とを比較する第２の比較ステップと、
前記第１の比較ステップの出力結果及び前記第２の比較ステップの出力結果を基にフレーム差分の有無を判定し、Ｍ：Ｎのプルダウン映像を判定するフィルム判定ステップと、
前記第１及び第２の比較ステップの出力結果とフィルム判定結果を基にＭ：Ｎのプルダウン信号の位相情報を出力する位相情報出力ステップとから構成され、
Ｍ：Ｎのプルダウン信号を検出する
ことを特徴とするフレームレート変換方法。
【請求項６】
放送波や映像機器から入力された信号を処理する入力処理手段と、
前記入力処理手段の出力映像のフレームレートを変換するフレームレート変換手段と、
フレームレート変換された映像信号を表示手段に表示する出力変換手段とを具備し、
前記フレームレート変換手段は、
入力手段の出力映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出手段と、
連続するフレーム映像信号からフレームレートを変換するフレームレート変換手段と、
フィルム検出手段から出力された検出結果がＭ：Ｎのプルダウン信号と検出した場合、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とＭ：Ｎに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御手段とを具備する
ことを特徴とする映像処理装置。
【請求項７】
放送波からデコードされた信号や記録手段から再生された信号を処理する入力変換手段と、
前記入力変換手段の出力映像のフレームレートを変換するフレームレート変換手段と、
フレームレート変換された映像信号を外部へ出力する出力処理手段とを具備し、
前記フレームレート変換手段は、
入力手段の出力映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出手段と、
連続するフレーム映像信号からフレームレートを変換するフレームレート変換手段と、
フィルム検出手段から出力された検出結果がＭ：Ｎのプルダウン信号と検出した場合、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とＭ：Ｎに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御手段とを具備する
ことを特徴とする映像処理装置。
【請求項８】
入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、
入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、
フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合に、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換える
ことを特徴とするフレームレート変換方法。
【請求項９】
入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、
入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、
フレームレートを変換するフレームレート変換ステップにおいて、画面が一様な動きであるスクロールを検出し、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出した場合に、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換える
ことを特徴とするフレームレート変換方法。
【請求項１０】
入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、
入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、
フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、Ｍ：Ｎのプルダウン信号と検出し、画面が一様な動きでないと検出した場合は、Ｍ：Ｎよりも小さい整数比のＸ：Ｙに対応した映像信号からフレームレート変換するフレームレート変換に切り換える
ことを特徴とするフレームレート変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置や映像信号処理装置などに使用されるフレームレートの変換やプルダウン信号のデジャダーを行うフレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置に関するものである。
【背景技術】
【０００２】
近年、液晶表示デバイスやプラズマ表示デバイス等を用いたテレビジョン受像機において、大画面化、高精細化に伴い、より高画質な映像を表示することが重要視されてきており、画面内の物体や表示された映像の動きを滑らかに表示する為、フレームレートを変換する映像処理が重要視されてきている。また、２４ｆｐｓで作成されたフィルム映像や２４ｆｐｓで作成された映像を２−３プルダウン方式で形成されたフィルム映像信号に変換したり、入力された映像を２−２プルダウン方式で変換したり、これらプルダウン方式に変換されたインターレース信号をプログレッシブ信号に変換して順次走査フレームを生成することが行われ、プルダウン方式に変換された映像信号の動きを滑らかに表示しながらフレームレートを表示装置のフレームレートに変換するフレームレート変換装置及びその方法が重要となってきている。また、様々なプルダウン映像信号に対応することが多くなってきており、繰り返しフレーム数が多いプルダウン信号の場合、異なるフレーム映像間の処理遅延時間は連続するフレーム映像間の処理時間よりも遅延が大きくなることが予測され、処理時間が無視できなくなると予測される。従来のフレームレート変換装置では、例えば特許文献１に記載されるように、単位時間に更新される画像の枚数を入力画像信号とは異なる枚数に変更して出力するフレームレート変換を行うとともに画像信号の遅延時間が互いに異なる複数のフレームレート変換部と、この複数のフレームレート変換部から出力される複数の画像信号のうちの１つを選択して出力する第１の選択部と、音声信号を遅延させる音声信号遅延部とを備え、前記音声信号遅延部は、前記第１の選択部において選択された画像信号を出力するフレームレート変換部における画像信号の遅延時間に応じた遅延時間で音声信号を遅延させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０８６１３号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来のフレームレート変換装置では、例えば６０ｆｐｓの映像信号が２フレーム毎に切り換わる２：２プルダウン映像が入力され、１フレーム遅延させてフレームレート変換を行った場合、図５に示すように、入力された画像信号Ａ、Ａ、Ｂ、Ｂは第１の読み出し信号と第２の読み出し信号としてそれぞれ読み出され、４フレーム中２フレームは同一映像となる為、動きベクトルが０となり、補間フレームは生成されず、変化があるフレーム間で動きベクトルを用いた補間フレームが生成されるため、連続するフレーム間のフレーム補間では滑らかな動きとならない。そこで、２フレーム毎の繰り返しを検出する２：２プルダウン信号を検出するフィルム検出回路を追加し、２：２プルダウンを検出した場合、図６のように、第２の読み出し信号は入力画像をさらに１フレーム遅延させて読み出され、動きベクトルに応じて補間フレームが生成されていた。【０００５】
ここで、２：２プルダウン映像が入力されていることを検出して、２：２プルダウンに対応したフレームレート変換処理への切り換わりを、図７を用いて説明する。図７において（Ａ）は２フレーム毎に変化のある映像が入力されていることを表しており、図５のフレームレート変換が行われた画像出力を図７（Ｂ）に示している。また、図６の２：２プルダウン処理されたフレームレート変換が行われた画像出力を図７（Ｃ）に示している。２：２プルダウン検出がＮフレーム目で検出されて図７（Ｂ）から図７（Ｃ）へ切り換わった場合を図７（Ｄ）に、Ｎ＋１フレーム目で検出されて図７（Ｂ）から図７（Ｃ）へ切り換わった場合を図７（Ｅ）に示している。２：２プルダウン信号のように繰り返し数の少ない映像ではＮ＋１フレームで切り換わっても後戻りや進みが無く、切り換わりでフレームの遅延差はあったが、大きな問題にはならなかった。例えば、図８に示すように、入力された画像信号Ａ、Ａ、Ａ、Ａ、Ｂ、Ｂ、Ｂ、Ｂの場合は、第１の読み出し信号と第２の読み出し信号が読み出され、８フレーム中６フレームは同一映像となる為、動きベクトルが０となり、補間フレームは生成されず、変化があるフレーム間で動きベクトルを用いた補間フレームが生成されるため、滑らかな動きとならない。そこで、４フレーム毎の繰り返しを検出するフィルム検出回路を新たに追加し、４：４プルダウンを検出して、４：４プルダウンに対応したフレームレート変換処理への切り換わりを、図８を用いて説明する。図８において、（Ａ）は４フレーム毎に変化のある映像が入力されていることを表しており、連続するフレームからフレームレート変換が行われた画像出力を図８（Ｂ）に示している。また、４：４プルダウン処理されたフレームレート変換が行われた画像出力を図８（Ｃ）に示している。４：４プルダウン検出がＮ＋１フレーム目で検出されて図８（Ｂ）から図８（Ｃ）へ切り換わった場合を図８（Ｄ）に、Ｎ＋２フレーム目で検出されて図８（Ｂ）から図８（Ｃ）へ切り換わった場合を図８（Ｅ）に、Ｎ＋３フレーム目で検出されて図８（Ｂ）から図８（Ｃ）へ切り換わった場合を図８（Ｆ）に示している。４：４プルダウン信号のように繰り返し数が多い映像では、Ｎ＋１、Ｎ＋２、Ｎ＋３フレーム目で切り換わった場合、映像データの後戻りが発生してしまい、切り換わりにおいて移動物体が不自然な動きとなり、移動物体の連続性が保てず、かえって後戻りが目立つという問題点があった。また、繰り返しフレーム数が多くなればなるほど、フレームレート変換における処理時間がかかるため、音声信号などとの遅延調整を行う必要があるという課題を有していた。【０００６】
また、繰り返しフレーム数が多いプルダウン信号の場合、画面全体が一様に動いている場合よりも画面の一部が動いているときは、フレームレート変換処理によって残像感が目立ったり、動きベクトルの予測にエラーが発生した時に繰り返しフレーム数が多い分、エラーが目立つという課題を有していた。【０００７】
本発明は、上記の点に鑑み、繰り返しフレーム数の多いプルダウン映像が入力された際のフレームレート変換を行う場合、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのないフレームレート変換を提供するとともに、様々な繰り返しフレーム数のプルダウン検出を提供することで、より多くの種類のプルダウン映像信号に対応することを目的とする。また当該フレームレート変換方法を用いて表示装置や映像処理装置のフレームレート変換を行うことにより、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのない映像信号処理装置を提供することを目的とする。【０００８】
また、繰り返しフレーム数が多いプルダウン信号の場合、画面全体が一様に動いているときと画面の一部が動いているときとで、フレームレート変換処理を切り換えることにより、残像感を目立たなくしたり、動きベクトルの予測にエラーが発生した時でも、エラーが目立たなくすることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１記載のフレームレート変換方法は、入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、入力された連続するフレーム映像信号からフレームレートを変換するフレームレート変換ステップと、前記フレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出した場合、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とＭ：Ｎに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御ステップとを具備し、フレームレート変換を行う。【００１０】
請求項２記載の発明は、前記請求項１記載のフレームレート変換方法において、前記切換制御ステップは、Ｍ：Ｎのプルダウン信号のフレーム位相を示す所定の位相情報を基にＭ：Ｎのプルダウン信号処理に切り換えることを特徴とする。【００１１】
請求項３記載の発明は、前記請求項１記載のフレームレート変換方法において、前記切換制御ステップは、Ｍ：Ｎのプルダウン信号の検出した回数を基にＭ：Ｎのプルダウン信号処理に切り換えることを特徴とする。【００１２】
請求項４記載の発明は、前記請求項１記載のフレームレート変換方法において、前記フィルム検出ステップは、フレーム差分を１フレーム期間累積する積分ステップと、１フレーム期間累積された積分値と所定の閾値とを比較する比較ステップと、前記比較ステップの出力結果を基にフレーム差分の有無を判定し、Ｍ：Ｎのプルダウン映像を判定するフィルム判定ステップと、前記比較ステップの出力結果とフィルム判定結果を基にＭ：Ｎのプルダウン信号の位相情報を出力する位相情報出力ステップとから構成され、Ｍ：Ｎのプルダウン信号を検出することを特徴とする。【００１３】
請求項５記載の発明は、前記請求項１記載のフレームレート変換方法において、前記フィルム検出ステップは、第１のフレーム差分を１フレーム期間累積する積分ステップと、第１の１フレーム期間累積された積分値と所定の閾値とを比較する第１の比較ステップと、第２のフレーム差分を１フレーム期間累積する積分ステップと、第２の１フレーム期間累積された積分値と所定の閾値とを比較する第２の比較ステップと、前記第１の比較ステップの出力結果及び前記第２の比較ステップの出力結果を基にフレーム差分の有無を判定し、Ｍ：Ｎのプルダウン映像を判定するフィルム判定ステップと、前記第１及び第２の比較ステップの出力結果とフィルム判定結果を基にＭ：Ｎのプルダウン信号の位相情報を出力する位相情報出力ステップとから構成され、Ｍ：Ｎのプルダウン信号を検出することを特徴とする。【００１４】
請求項６記載の映像処理装置は、放送波や映像機器から入力された信号を処理する入力処理手段と、前記入力処理手段の出力映像のフレームレートを変換する前記請求項１記載のフレームレート変換方法を用いたフレームレート変換手段と、フレームレート変換された映像信号を表示手段に表示する出力変換手段とを具備することを特徴とする。【００１５】
請求項７記載の映像処理装置は、放送波からデコードされた信号や記録手段から再生された信号を処理する入力変換手段と、前記入力変換手段の出力映像のフレームレートを変換する前記請求項１記載のフレームレート変換方法を用いたフレームレート変換手段と、フレームレート変換された映像信号を外部へ出力する出力処理手段とを具備することを特徴とする。【００１６】
請求項８記載の発明のフレームレート変換方法は、入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合に、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換えることを特徴とする。【００１７】
請求項９記載の発明のフレームレート変換方法は、入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、フレームレートを変換するフレームレート変換ステップにおいて、画面が一様な動きであるスクロールを検出し、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出した場合に、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換えることを特徴とする。【００１８】
請求項１０記載の発明のフレームレート変換方法は、入力された映像信号からＭ：Ｎ（ＭとＮは整数）プルダウン映像信号を検出するフィルム検出ステップと、入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がＭ：Ｎのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合、Ｍ：Ｎに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、Ｍ：Ｎのプルダウン信号と検出し、画面が一様な動きでないと検出した場合は、Ｍ：Ｎよりも小さい整数比のＸ：Ｙに対応した映像信号からフレームレート変換するフレームレート変換に切り換えることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、繰り返しフレーム数の多いプルダウン映像が入力された際のフレームレート変換を行う場合、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのないフレームレート変換を提供することができ、様々な繰り返しフレーム数のプルダウン検出を具備することで、より多くの種類のプルダウン映像信号に対応することができる。【００２０】
また、当該フレームレート変換方法を用いて表示装置や映像処理装置のフレームレート変換を行うことにより、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのない映像信号処理装置を提供することができる。【００２１】
更に、繰り返しフレーム数の多いプルダウン映像が入力された際のフレームレート変換を行う場合、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保するため、プルダウンの種類に応じて、音声信号の遅延を切り換えなくても遅延差の影響を軽減することができる。【００２２】
また、繰り返しフレーム数の多いプルダウン信号の場合、画面が一様な動きであるスクロールを検出することにより、画面が一様な動きであるスクロール中の時に繰り返しフレーム数に応じたフレームレート変換を行うので、画面の一部又は小面積が動く場合のフレーム補間による残像感を軽減できたり、動きベクトルの動き予測のエラーに起因するノイズを軽減することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は本発明の実施形態１のフレームレート変換方法のブロック図である。
【図２】図２は同実施形態のフレームレート変換方法におけるフィルム検出ステップのブロック図である。
【図３】図３は同実施形態のフレームレート変換方法におけるフィルム検出ステップのブロック図である。
【図４】図４は本発明の実施形態２の映像信号処理装置のブロック図である。
【図５】図５は従来のフレームレート変換方法において２：２プルダウン映像信号を入力した場合のビデオ処理動作を説明するタイミング図である。
【図６】図６は従来のフレームレート変換方法において２：２プルダウン映像信号を入力した場合のフィルム処理動作を説明するタイミング図である。
【図７】図７は従来のフレームレート変換方法において２：２プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。
【図８】図８は従来のフレームレート変換方法において４：４プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。
【図９】図９は本発明の実施形態１において４：４プルダウン映像信号を入力した場合のビデオ処理動作を説明するタイミング図である。
【図１０】図１０は本発明の実施形態１において４：４プルダウン映像信号を入力した場合のフィルム処理動作を説明するタイミング図である。
【図１１】図１１は本発明の実施形態１において４：４プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。
【図１２】図１２は本発明の実施形態１のフレームレート変換のフローチャート図である。
【図１３】図１３は本発明の実施形態１のフレームレート変換の第２のフローチャートである。
【図１４】図１４は同実施形態１のフレームレート変換の第３のフローチャートである。
【図１５】図１５は本発明の実施形態３のフレームレート変換のフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００２５】
（実施形態１）
図１は、本発明の実施形態１の映像信号のフレームレート変換方法に関するブロック図である。
【００２６】
図１では、入力手段１００から入力された映像信号Ｓ１００はフレームレート変換手段１０１に入力され、メモリを用いた記憶手段１０２へ入力される。メモリ制御手段１０３は切換制御手段１０７の出力に応じて、動きベクトル検出手段１０４に必要なフレームデータＳ１０２Ａ、Ｓ１０２Ｂを、補間フレーム生成手段１０５に必要なフレームデータＳ１０２Ｃ、Ｓ１０２Ｄを、フィルム検出手段１０６に必要なフレームデータＳ１０２Ｅ、Ｓ１０２Ｆを読み出す。補間フレーム生成手段（フレームレート変換手段）１０５にてフレームレートを変換された映像信号Ｓ１０５は出力手段１０８から出力される。
【００２７】
図９は、本実施形態１において４：４プルダウン映像信号を入力した場合のビデオ処理動作を説明するタイミング図であり、図１０は本実施形態１において４：４プルダウン映像信号を入力した場合のフィルム処理動作を説明するタイミング図であり、図１１は本実施形態１において４：４プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。
【００２８】
図１、図９、図１０、図１１を用いて実施形態１の動作を説明する。例えば、図９に示すように入力された映像信号Ｓ１００はＡ、Ａ、Ａ、Ａ、Ｂ、Ｂ、Ｂ、Ｂと４フレーム毎に変化する信号が入力されている。第１の読み出し信号Ｓ１０２Ｃと第２の読み出し信号Ｓ１０２Ｄとが記憶手段１０２から読み出され、第１の読み出し信号Ｓ１０２Ｃと第２の読み出し信号Ｓ１０２Ｄとのフレームデータを比較すると、８フレーム中６フレームは同一映像となる為、出力映像の６フレーム期間は動きベクトルが０となり、補間フレームは生成されず、変化がある２フレーム間で動きベクトルを用いた補間フレームが生成されるが、同一フレームが繰返されるため、出力画像の８フレームを見た場合、滑らかな動きとならず、画像がジャダーして見える。
【００２９】
そこで、本実施形態では、記憶手段１０２から出力されたフレームデータＳ１０２ＥとＳ１０２Ｆとは、フィルム検出手段１０６にてフレームの繰り返し数及びＭ：Ｎ（ＭとＮは整数）プルダウン映像が入力されているか否かを検出し、検出した映像方式信号Ｓ１０６Ｂを出力する。また、Ｍ：Ｎプルダウン映像信号を検出した場合、プルダウン映像の１周期のフレーム位相が分かるフレーム位相信号Ｓ１０６Ａを出力する。本実施形態では一例として４：４プルダウン映像信号が入力されているため、４：４プルダウン方式であると検出し、１周期のフレーム位相信号Ｓ１０６Ａとして０、１、２、３を繰返す信号を出力する。フィルム検出手段１０６で検出されたフレーム位相信号Ｓ１０６Ａと映像方式信号Ｓ１０６Ｂより切換制御手段１０７にて各映像方式の処理に必要なフレームデータを読み出す為、メモリ制御手段１０３の切り換えを行い、動きベクトル検出手段１０４及び補間フレーム生成手段１０５へ出力するフレームデータを、検出したプルダウン信号Ｓ１０７Ａに応じて切り換えている。
【００３０】
図１０は、４：４プルダウン映像信号を検出した場合のタイミング図であり、第２の読出し信号Ｓ１０２Ｄはプルダウン処理に合わせて入力画像を４フレーム遅延させて読み出される。また、切換制御手段１０７から動きベクトル検出手段１０４へ映像方式の切り換わりがあることを示す信号Ｓ１０７Ｂを出力して、動きベクトル検出手段１０４の切換及び設定を行い、動きベクトルＳ１０４はフレームＡからフレームＢへの動きを表す信号を検出する。また、切換制御手段１０７から補間フレーム生成手段１０５へ映像方式信号を示す信号Ｓ１０７Ｃを出力し、補間フレームを生成する際、動きベクトル信号Ｓ１０４のフレーム補間比率の切換及び補間フレーム生成手段１０５の設定を行っている。補間フレーム生成手段１０５からは、検出された映像方式に応じたフレームレート変換が行われて、出力手段１０８からフレームレート変換された映像信号が出力される。
【００３１】
ここで、切換制御手段１０７の動作を図８及び図１１を用いて切換タイミングについて説明する。Ｎ＋１のフレームで切り換わった図８（Ｄ）、Ｎ＋２のフレームで切り換わった図８（Ｅ）、Ｎ＋３のフレームで切り換わった図８（Ｆ）で切り換わった場合、映像データの後戻りが発生してしまい、切り換わりにおいて移動物体が不自然な動きとなり、かえって移動物体の連続性が保てず、かえって後戻りが目立つという問題点がおきるため、Ｎ、Ｎ＋１、Ｎ＋２、Ｎ＋３のフレームと同一映像が繰り返されて入力されている場合には、フィルム検出手段１０６でＮ＋１、Ｎ＋２、Ｎ＋３のフレームからＭ：Ｎのプルダウン信号が入力されていると判定してもプルダウン映像の処理へ切り換えず、Ｎ＋３の次のフレームはＮフレームと同じ処理となるためＮフレームのみで処理を切り換えている。フィルム検出手段１０６でフレーム位相信号Ｓ１０６Ａを検出しているので、フレーム位相信号Ｓ１０６Ａが所定の値となった場合に切り換えるように制御している。図１１において、（Ａ）は４フレーム毎に変化のある４：４プルダウン映像が入力されていることを表しており、連続するフレームからフレームレート変換が行われた映像出力を図１１（Ｂ）に示している。また、４：４プルダウン処理されたフレームレート変換が行われた映像出力を図１１（Ｃ）に示している。プルダウン信号が検出され、Ｎフレーム目で図１１（Ｂ）から図１１（Ｃ）へ切り換わった場合を図１１（Ｄ）に示しており、プルダウン映像を検出してから次にフレーム位相信号が３となるまで切換処理を行わず、プルダウン映像を検出かつフレーム位相信号が所定の値となった場合にフレームレート変換のプルダウン処理を切り換えるようにしている。ここで、所定の値とは、フレーム位相信号は繰り返し数Ｋ(Ｋは整数)の場合、０、１、…、(Ｋ−１)と変化するので、Ｋの倍数毎に所定の値が発生し、連続するフレーム間でのフレームレート変換とプルダウン処理でのフレームレート変換との移動物体の時間が同じまたは近いフレームを基準した値となる。尚、変化するフレーム位相は繰り返し数Ｋ個の中の１箇所として説明したが、移動物体の後戻りの影響が少ない場合は、複数個所で切り換えても構わない。また、Ｍ：Ｎのプルダウン信号の場合、０、１、…、(Ｍ＋Ｎ−１)と変化するので、Ｍ＋Ｎの倍数毎に所定の値が発生し、連続するフレーム間でのフレームレート変換とプルダウン処理でのフレームレート変換との移動物体の時間が同じまたは近いフレームを基準した値となる。尚、変化するフレーム位相は繰り返し数(Ｍ＋Ｎ)個の中の１箇所として説明したが、移動物体の後戻りの影響が少ない場合は、複数個所で切り換えても構わないし、Ｍ：Ｎのプルダウン信号ではそれぞれの繰り返し変化ごとに変化するフレーム位相を設けても構わない。また、切換制御手段１０７において、フレーム位相を見て切換を行っているが、プルダウン信号の検出の判定回数を設け、判定回数の閾値設定をＫの倍数、（Ｍ＋Ｎ）の倍数に設定することで対応することもできる。
【００３２】
（フィルム検出手段の第１の構成例）
次に、本実施形態１のフィルム検出手段１０６の第１の構成例を図２及び図３を用いて説明する。
【００３３】
図２は、本実施形態１のフレームレート変換方法におけるフィルム検出手段１０６の第１の構成例を示すブロック図である。
【００３４】
図２では、メモリを用いた記憶手段１０２から読み出されたフレーム遅延差のあるフレームデータＳ１０２Ｅ、Ｓ１０２Ｆがフレーム差分抽出手段２０１に入力され、フレーム差分値Ｓ２０１を得る。このフレーム差分値Ｓ２０１は積分手段２０２で１フレーム期間累積し、累積された積分値Ｓ２０２を得て、比較手段２０３で予め用意した閾値と比較を行い、閾値より小さい場合はフレーム間のデータが同じ、閾値より大きい場合はフレーム間のデータが異なるという結果を表すフレーム相関信号Ｓ２０３を出力する。このフレーム相関信号Ｓ２０３を基にフィルム判定手段２０４にてフレームの繰り返し数、Ｍ：Ｎのプルダウン信号が入力されているかを判定するとともに、位相抽出手段２０５で判定結果Ｓ２０４とフレーム相関信号Ｓ２０３とを基にフレーム位相信号Ｓ１０６Ａを出力する。例えば４フレーム毎に変化する映像が入力されている場合、フレーム相関信号Ｓ２０３は相関が無い場合を０、相関がある場合を１とすると、０，１，１，１となり、繰り返し数を用意した相関パターンと比較判定することで様々なプルダウン信号や様々な繰り返し数の映像方式を検出することができる。
【００３５】
（フィルム検出手段の第２の構成例）
図３は本実施形態１のフレームレート変換方法におけるフィルム検出手段１０６の第２の構成例を示すブロック図である。
【００３６】
図３では、メモリを用いた記憶手段１０２から読み出されたフレーム遅延差のある２つのフレームデータＳ１０２Ｅ、Ｓ１０２Ｆに、さらにもう一つのフレームデータＳ１０２Ｇを追加し、この３つのフレームデータが入力される。この３種類のフレームデータＳ１０２Ｅ、Ｓ１０２Ｆ、Ｓ１０２Ｇは２つずつフレーム差分抽出手段３０１、３０４に入力され、フレーム差分値Ｓ３０１、Ｓ３０４を得る。このフレーム差分値Ｓ３０１、Ｓ３０４はそれぞれ積分手段３０２、３０５で１フレーム期間累積し、累積された積分値Ｓ３０２、Ｓ３０５を得て、比較手段３０３、３０６で予め用意した閾値とそれぞれ比較を行い、閾値より小さい場合はフレーム間のデータが同じ、閾値より大きい場合はフレーム間のデータが異なるという結果を表すフレーム相関信号Ｓ３０３、Ｓ３０６を出力する。このフレーム相関信号Ｓ３０３、Ｓ３０６を基にフィルム判定手段３０７にてフレームの繰り返し数、Ｍ：Ｎのプルダウン信号が入力されているかを判定するとともに、位相抽出手段３０８で判定結果Ｓ３０７とフレーム相関信号Ｓ３０３、Ｓ３０６とを基にフレーム位相信号Ｓ１０６Ａを出力し、繰り返し数を用意した相関パターンと比較判定することで様々なプルダウン信号や様々な繰り返し数の映像方式を検出することができる。
【００３７】
尚、図２及び図３において、入力されるフレームデータをそれぞれ２種類、３種類で説明したが、限定するもではなく、４種類以上用いて処理して、様々なプルダウン信号や様々な繰り返し数の映像方式を検出しても構わない。
【００３８】
図１２は、本フレームレート変換のフローチャートであり、図１２を用いて動作を説明する。
【００３９】
入力された映像はフィルム判定にて入力された映像信号がＭ：Ｎのプルダウン映像信号か否かを判定する。プルダウン映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定を行い、連続するフレームからのフレームレート変換を行う。
【００４０】
一方、プルダウン映像信号である場合、フレーム位相判定を行い、所定の位相か否かを判定する。所定の位相でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定を行い、連続するフレームからのフレームレート変換を行う。そして、フレーム位相が所定の位相であれば、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、Ｍ：Ｎプルダウンに対応した設定を行い、処理を切り換え、プルダウン処理に対応したフレームレート変換を行う。プルダウン処理に対応したフレーム変換中は、フレーム毎にフィルム判定を行い、同一プルダウン映像信号である場合は、プルダウン処理に対応したフレームレート変換を継続する。プルダウン映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定を行い、連続するフレームからのフレームレート変換を行う。連続するフレームからのフレームレート変換が行れている場合は、次のフレームでスタートに戻り、フローが繰り返される。
【００４１】
図１３は、本フレームレート変換の第２のフローチャートであり、図１３を用いて動作を説明する。
【００４２】
入力された映像は、Ｍ：Ｎプルダウン判定にて、入力された映像信号がＭ：Ｎのプルダウン映像信号か否かを判定する。Ｍ：Ｎのプルダウン映像でない場合は、Ｍ：Ｎでないと判定し、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。
【００４３】
一方、Ｍ：Ｎのプルダウン映像信号である場合、画面全体が一様に又は同一方向に動いているスクロール映像かをスクロール検出にて判定を行う。スクロール映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。これに対し、スクロール映像である場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、Ｍ：Ｎプルダウンに対応した設定とし、処理を切り換えて、プルダウン処理に対応したフレームレート変換を行う。
【００４４】
図１４は、本フレームレート変換の第３のフローチャートであり、図１４を用いて動作を説明する。
【００４５】
入力された映像は、画面全体が一様に又は同一方向に動いているスクロール映像かをスクロール検出にて判定を行う。スクロール映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。一方、スクロール映像である場合は、Ｍ：Ｎプルダウン判定にて、入力された映像信号がＭ：Ｎのプルダウン映像信号か否かを判定し、Ｍ：Ｎのプルダウン映像でない場合は、Ｍ：Ｎでないと判定し、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行い、Ｍ：Ｎのプルダウン映像である場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、Ｍ：Ｎプルダウンに対応した設定とし、処理を切り換えて、プルダウン処理に対応したフレームレート変換を行う。
【００４６】
前記フレームレート変換において、第２のフローチャートと第３のフローチャートとでは、Ｍ：Ｎプルダウン検出とスクロール検出との処理の順番を入れ替えたフローチャートとしているが、Ｍ：Ｎプルダウン検出とスクロール検出とを並列処理して、両方の判定結果を基にＭ：Ｎのプルダウン処理に対応したフレームレート変換を行っても構わない。
【００４７】
（実施形態２）
図４は、本発明の実施形態２のフレームレート変換方法を用いた映像処理装置に関するブロック図である。
【００４８】
図４において、４００はＤＶＤディスクやＢｌｕ−ｒａｙディスクやハードディスク等の記録手段であり、４０１は放送波を録画した映像信号や記録メディアの映像信号を再生する入力処理手段であり、４０２は前記実施形態１記載のフレームレート変換方法であり、４０３は外部へのビデオ出力または表示装置へ出力する出力処理手段であり、４０４は液晶やプラズマディスプレイ等の表示手段である。
【００４９】
記録手段４００に録画または作成された映像データを処理する入力処理手段４０１において、Ｍ：Ｎのプルダウン信号を含む映像信号を生成する。このプルダウン映像信号は、例えば前記実施形態１に記載されたようにフレームレート変換方法を用いて６０Ｈｚの映像信号を１２０Ｈｚの映像信号へフレームレートを変換する。このフレームレートが変換された映像信号は、出力処理手段４０３で外部機器と接続するため、映像の信号形式をケーブルでの接続や無線での接続ができるように処理を行う。また、表示手段４０４を用いて表示する場合は、表示手段４０４に映像が表示できるように、映像信号の他に表示の基準となるような同期信号や表示装置を制御するタイミング信号を生成処理して画面表示する。
【００５０】
ここで、表示手段４０４は、画面表示するテレビジョンやディスプレイ等の映像処理装置では必要とするが、例えばＤＶＤ、Ｂｌｕ−ｒａｙやハードディスクなどの録画再生や再生等の映像処理装置では、表示手段４０４を除いた構成で実現でき、外部機器との接続を行う出力端子からフレームレート変換された映像信号が出力される。
【００５１】
（実施形態３）
図１５は、本発明の実施形態３の映像信号のフレームレート変換方法に関するフローチャートである。
【００５２】
図１５では、入力された映像は、フィルム判定にて、入力された映像信号がＭ：Ｎのプルダウン映像信号か否かを判定する。プルダウン映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。
【００５３】
一方、プルダウン映像信号である場合、画面全体が一様に又は同一方向に動いているスクロール映像かをスクロール検出にて判定を行う。スクロール映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、Ｘ：Ｙプルダウンに対応した設定とし、処理を切り換えて、Ｘ：Ｙプルダウン処理に対応したフレームレート変換を行い、一方、スクロール映像である場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、Ｍ：Ｎプルダウンに対応した設定として、処理を切り換え、Ｍ：Ｎプルダウン処理に対応したフレームレート変換を行う。
【００５４】
ここで、Ｍ：ＮとＸ：Ｙとは、Ｍ＞Ｘ、Ｎ＞Ｙの関係を有しており、一例としては、Ｍ：Ｎプルダウンを８：７プルダウンとした場合、Ｘ：Ｙプルダウンを３：２プルダウンとすることにより、繰り返しフレーム数が少ないフレームレート変換と繰り返しフレーム数が多いフレームレート変換とを、画面が一様に又は同一方向に動いているかにより切り換えている。
【産業上の利用可能性】
【００５５】
以上説明したとおり、本発明に係るフレームレート変換装置及びその方法は、表示装置や映像信号処理装置やテレビ受像機などに使用されるフレームレートの変換やプルダウン映像信号のデジャダー処理を行う方法として有用である。
【符号の説明】
【００５６】
１０１  フレームレート変換手段
１０２  メモリを用いた記憶手段
１０３  メモリ制御手段
１０４  動きベクトル検出手段
１０５  補間フレーム生成手段（フレームレート変換手段）
１０６  フィルム検出手段
１０７  切換制御手段
２０１  フレーム差分抽出手段
２０２  積分手段
２０３  比較手段
２０４  フィルム判定手段
２０５  位相抽出手段
３０１、３０４  フレーム差分抽出手段
３０２、３０５  積分手段
３０３、３０６  比較手段
３０７  フィルム判定手段
３０８  位相抽出手段
４００  記録手段
４０１  入力処理手段
４０２  フレームレート変換装置
４０３  出力処理手段
４０４  表示手段
【図１】
2012137394.tif 000003
【図２】
2012137394.tif 000004
【図３】
2012137394.tif 000005
【図４】
2012137394.tif 000006
【図５】
2012137394.tif 000007
【図６】
2012137394.tif 000008
【図７】
2012137394.tif 000009
【図８】
2012137394.tif 000010
【図９】
2012137394.tif 000011
【図１０】
2012137394.tif 000012
【図１１】
2012137394.tif 000013
【図１２】
2012137394.tif 000014
【図１３】
2012137394.tif 000015
【図１４】
2012137394.tif 000016
【図１５】
2012137394.tif 000017
【国際調査報告】
2012137394.tif 000018
2012137394.tif 000019
2012137394.tif 000020
2012137394.tif 000021
2012137394.tif 000022
2012137394.tif 000023
2012137394.tif 000024
2012137394.tif 000025