(57)【要約】      （修正有）【課題】フリッカ及び動きボケを低減するフレームレート変換装置を提供する。【解決手段】入力フレームを複数のサブフレームに分配してフレームレート変換を行うフレームレート変換装置において、入力フレームにおける画像の１又は複数の画素からなる各領域の動き度を検出する。そして、検出された各領域の動き度に応じて、複数のサブフレームの各領域での空間周波数を決定し、決定された空間周波数に複数のサブフレームの各領域を変換し、各領域が変換されたサブフレームを分配して出力する。【選択図】図７
2010246035.tif 000002
【特許請求の範囲】
【請求項１】
入力フレームを複数のサブフレームに分配しフレームレート変換を行うフレームレート変換装置であって、
前記入力フレームの動き度を検出する検出手段と、
前記検出手段によって検出された動き度に応じて、フィルタ処理のフィルタ係数を生成する生成手段と、
前記生成手段によって生成されたフィルタ係数に基づいて前記入力フレームをフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段によって処理されたフレームを前記複数のサブフレームに分配して出力する出力手段とを有することを特徴とするフレームレート変換装置。
【請求項２】
前記検出手段は、前記入力フレームと当該入力フレームよりも前に入力されたフレームとから算出されたフレーム間差分値に基づいて前記入力フレームの動き度を検出することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項３】
前記生成手段は、前記入力フレームの動き度に応じて、前記分配されるサブフレームの空間周波数を制御するためのフィルタ係数を生成することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項４】
前記フィルタ処理手段はローパスフィルタ処理であり、前記入力フレームの高周波成分を取り除くことを特徴とする請求項１に記載のフレームレート変換装置。
【請求項５】
前記出力手段は、前記フィルタ処理手段によってフィルタ処理されたフレームを第１のサブフレームに分配する分配処理手段と、前記第１のサブフレームと前記入力フレームとの差分から第２のサブフレームを生成する差分処理手段と、前記第１のサブフレームと前記第２のサブフレームとを切り替えて１フレーム期間中に出力する切替手段とを有することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項６】
入力フレームを複数のサブフレームに分配しフレームレート変換を行うフレームレート変換装置であって、
前記入力フレームの動き度を検出する検出手段と、
前記入力フレームを互いに異なる所定のフィルタ係数に基づいて夫々フィルタ処理する複数のフィルタ処理手段と、
前記検出手段によって検出された動き度に応じて、前記複数のフィルタ処理手段によって夫々異なるフィルタ係数を用いてフィルタ処理された複数フレームの合成比率を算出する算出手段と、
前記算出手段によって算出された合成比率に基づいて、前記フィルタ処理手段によってフィルタ処理された複数フレームを合成する合成手段と、
前記合成手段によって合成されたフレームを前記複数のサブフレームに分配して出力する出力手段とを有することを特徴とするフレームレート変換装置。
【請求項７】
入力フレームを複数のサブフレームに分配しフレームレート変換を行うフレームレート変換装置にて実行されるフレームレート変換方法であって、
前記入力フレームの動き度を検出する検出工程と、
前記検出工程において検出された動き度に応じて、フィルタ係数を生成する生成工程と、
前記生成工程において生成されたフィルタ係数に基づいて前記入力フレームをフィルタ処理するフィルタ処理工程と、
前記フィルタ処理工程において処理されたフレームを前記複数のサブフレームに分配して出力する出力工程とを有することを特徴とするフレームレート変換方法。
【請求項８】
入力フレームを複数のサブフレームに分配しフレームレート変換を行うフレームレート変換装置にて実行されるフレームレート変換方法であって、
前記入力フレームの動き度を検出する検出工程と、
前記入力フレームを互いに異なる所定のフィルタ係数に基づいて夫々フィルタ処理する複数のフィルタ処理工程と、
前記検出工程によって検出された動き度に応じて、前記複数のフィルタ処理工程によって夫々異なるフィルタ係数を用いてフィルタ処理された複数フレームの合成比率を算出する算出工程と、
前記算出工程によって算出された合成比率に基づいて、前記フィルタ処理工程によってフィルタ処理された複数フレームを合成する合成工程と、
前記合成工程によって合成されたフレームを前記複数のサブフレームに分配して出力する出力工程とを有することを特徴とするフレームレート変換方法。
【請求項９】
コンピュータを請求項１乃至６の何れか１項に記載のフレームレート変換装置の各手段として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像のフレームレート変換を行うフレームレート変換装置及びフレームレート変換方法に関する。
【背景技術】
【０００２】
表示装置をその表示特性から分類すると、インパルス型とホールド型とに大別される。ここで、インパルス型の表示装置は、図１に示す（ａ）のように、１フレームの中の発光期間が短い表示装置である。一方、ホールド型の表示装置は、図１に示す（ｂ）のように、１フレームの中の表示をほぼ一定に保持する液晶パネルなどの表示装置である。
【０００３】
インパルス型の表示装置には、ＣＲＴ（Cathode Ray Tube）やフィールドエミッションタイプのディスプレイなどが挙げられる。インパルス型は、画素が点滅を繰り返すため、画面がチカチカ見えてしまうフリッカを起こす特性がある。フリッカは高輝度・大面積になるほど検知されやすい特性があるため、近年のディスプレイの大画面化に伴い、インパルス型の表示装置のフリッカは一層改善すべき問題となっている。
【０００４】
また、ホールド型の表示装置には、ＬＣＤ（Liquid Crystal Display）が挙げられる。ホールド型は画素の点灯時間が長いため、画像が動いた場合に、ホールド型から起因する動きボケが発生する問題がある。つまり、動画の視認解像度が落ちてしまうことであり、改善すべき問題となっている。
【０００５】
この動きボケを改善する方法として、液晶パネルに光シャッター機構を付加し、表示光の継続時間を制限し、インパルス型の表示装置にその表示特性を近付ける方法が提案されている（例えば、特許文献２参照）。
【０００６】
しかし、特許文献２の手法では、画素が点滅を繰り返すインパルス型に近づくために、フリッカが発生するという問題が起こる。
【０００７】
このようなフリッカを低減する方法としては、入力フレームを任意の割合で複数のサブフレームに分配することで、フレームレートを上げて表示する方法が挙げられる。例えば、図２に示す（ａ）の入力画像を図２に示す（ｂ）のように、２つのサブフレームに分配してフレームレートを倍に上げて表示することで、表示における時間周波数が高くなり、結果としてフリッカが検知されにくくなる。
【０００８】
しかし、この表示を視覚した場合、図３に示すように、１フレーム期間中において、時間的に後方にあるサブフレームが視線の追従からずれてしまうため、視覚特性に依存した擬似輪郭が発生する。
【０００９】
このような擬似輪郭を低減するために、フレームレートの変換に際して、分割したサブフレームの空間周波数成分を増減させる技術が知られている（例えば、特許文献１参照）。この技術により、時間的に後方のサブフレームの高周波を減衰することで、知覚される疑似輪郭が改善される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００２−３５１３８２号公報
【特許文献２】特開平９−３２５７１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した特許文献１の技術では、エッジ付近でエッジのコントラストが低下する黒浮きの発生、及び動いたエッジに対しては尾引きが目立つという問題がある。特許文献１の技術では画像を空間周波数で分離するが、分離周波数はローパスフィルタ、若しくはハイパスフィルタのフィルタ係数で決定される。
【００１２】
図４は、ローパスフィルタのフィルタ係数とその出力の関係を示す図である。図４に示す（ａ）はローパスフィルタのフィルタ係数が大きい場合、図４に示す（ｂ）はフィルタ係数が小さい場合の空間的な重みを表現したものである。フィルタ係数が大きい方が処理結果の画素位置から距離の遠い画素値により重みが高くなっていることが確認できる。
【００１３】
図５は、入力に対してローパスフィルタのフィルタ係数が大きい場合の出力とフィルタ係数が小さい場合の出力とを示す図である。図５に示す（ａ）は入力であり、図５に示す（ｂ）のフィルタ係数が大きい方が、図５に示す（ｃ）のフィルタ係数が小さい方より、空間周波数が低いことが確認できる。
【００１４】
図６は、特許文献１の技術を適用した場合の表示出力の概要と、表示出力を視覚により捉えた場合の見え方との関係を示す図である。図６に示す（ａ）に注目すると、エッジのコントラストが高い領域では、図中で黒く塗りつぶされた領域の輝度が上がり、黒浮きとして見えることが分かる。この黒浮きの領域、つまり、画像劣化の領域はフィルタ係数が大きい程、大きくなる問題がある。
【００１５】
一方、図６に示す（ｂ）に注目すると、動領域のエッジ部にエッジの破綻が起きていることが分かる。この破綻はフィルタ係数が小さいほど大きくなる。
【００１６】
本発明は、フリッカ及び動きボケを低減する効果を維持すると共に、擬似輪郭及び画像の破綻を低減させることを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、入力フレームを複数のサブフレームに分配しフレームレート変換を行うフレームレート変換装置であって、
前記入力フレームの動き度を検出する検出手段と、
前記検出手段によって検出された動き度に応じて、フィルタ処理のフィルタ係数を生成する生成手段と、
前記生成手段によって生成されたフィルタ係数に基づいて前記入力フレームをフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段によって処理されたフレームを前記複数のサブフレームに分配して出力する出力手段とを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、フリッカ及び動きボケを低減する効果を維持すると共に、擬似輪郭及び画像の破綻を低減させることができる。
【図面の簡単な説明】
【００１９】
【図１】（ａ）はインパルス型の表示装置の表示特性を示す図、（ｂ）はホールド型の表示装置の表示特性を示す図である。
【図２】（ａ）はインパルス型の入力フレームを示す図、（ｂ）は２つのサブフレームに分配した場合を示す図である。
【図３】視覚特性に依存した擬似輪郭が発生する例を示す図である。
【図４】ローパスフィルタのフィルタ係数とその出力の関係を示す図である。
【図５】入力に対してローパスフィルタのフィルタ係数が大きい場合の出力とフィルタ係数が小さい場合の出力とを示す図である。
【図６】特許文献１の技術を適用した場合の表示出力の概要と、表示出力を視覚により捉えた場合の見え方との関係を示す図である。
【図７】第１の実施形態におけるフレームレート変換装置の構成の一例を示す概略ブロック図である。
【図８】動き領域検出部７０３における処理の一例を示すフローチャートである。
【図９】フレーム間差分値Ｄと動き度Ｍとの関係の一例を示す図である。
【図１０】フィルタ係数生成部７０４における処理の一例を示すフローチャートである。
【図１１】フィルタ係数マップを生成する処理を説明するための図である。
【図１２】サブフレームにおける動領域端部でフィルタ係数が変化してしまう例を示す図である。
【図１３】静止領域及び動領域の境界で画像が崩れてしまう例を示す図である。
【図１４】第１の実施形態においてフィルタ係数Ｆが変化した場合の出力を示す図である。
【図１５】第１の実施形態におけるフレームレート変換処理を示すフローチャートである。
【図１６】変形例における動き領域検出部の処理を示すフローチャートである。
【図１７】動き度Ｍが２値以外の場合の例を示す図である。
【図１８】複数フレームに対する動き領域検出部の処理を示すフローチャートである。
【図１９】第２の実施形態におけるフレームレート変換装置を構成の一例を示す概略ブロック図である
【図２０】第２の実施形態におけるフレームレート変換処理を示すフローチャートである。
【図２１】本実施形態におけるフレームレート変換装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら発明を実施するための最良の形態について詳細に説明する。
【００２１】
［第１の実施形態］
図７は、第１の実施形態におけるフレームレート変換装置の構成の一例を示す概略ブロック図である。フレームレート変換装置は、入力画像（以下、入力フレームと言う）を複数のサブフレームに分配してフレームレートを複数倍にして出力する。入力フレームの分配に際しては、フレーム間差分から入力フレームにおける各領域の動きを検出し、検出結果をサブフレームにおける各領域の空間周波数成分に反映させ、分配して出力する。
【００２２】
尚、本実施形態においては、フレームレート変換により入力フレームを２倍のフレームレートに変換する場合を例に挙げて説明する。
【００２３】
フレームレート変換装置は、フリッカ及び動きボケを抑制し、更にフレームレート変換動画表示の破綻を低減させるように、入力フレームのフレームレート変換を行う。ここで、フリッカが起きる度合いは分配されたサブフレーム間のコントラストに関係する。また動きボケが発生する度合いも同様に、コントラストに関係する。
【００２４】
即ち、図７に示すサブフレームｓ７０４とサブフレームｓ７０５との間のコントラストの関係によりフリッカの発生が左右される。これらの輝度差が大きい程、フリッカは起き易く、輝度差が小さい程、フリッカは起きにくい。
【００２５】
尚、このサブフレームｓ７０４は、１フレーム期間中において時間的後方に出力され、またサブフレームｓ７０５は１フレーム期間中において時間的先方に出力されるフレームとする。
【００２６】
フレームレート変換装置は、サブフレームｓ７０４とサブフレームｓ７０５の空間周波数を各サブフレームの領域毎に制御する。この制御は、各フレーム間で検出される各領域の動きと画像の劣化との関係に基づいて行われる。
【００２７】
ここで、フレームレート変換装置は、その機能的な構成として、フレームメモリ７０２、動き領域検出部７０３、フィルタ係数生成部７０４、ローパスフィルタ処理部７０５、分配処理部７０６、差分処理部７０７、切替器７０８から構成される。
【００２８】
フレームメモリ７０２は入力フレームを１枚以上順次保持する。動き領域検出部７０３はフレームメモリ７０２に保持されたフレームｓ７０１と入力フレームｓ７００とを比較し、そのフレームｓ７０１における各領域の動き度Ｍを算出し、動き度マップＭｍａｐをｓ７０２として出力する。
【００２９】
図８は、動き領域検出部７０３における処理の一例を示すフローチャートである。まず、動き領域検出部７０３は入力フレームを含む複数のフレームを入力する（Ｓ８０１）。そして、入力フレームと、入力フレームよりも前（例えば直前）に入力されたフレームとから各画素のフレーム間差分を算出する（Ｓ８０２）。次に、その差分値から動き度Ｍを算出する（Ｓ８０３）。そして、動き度Ｍを領域毎に動き度を持つマップ状（２次元状）のＭｍａｐとして出力する（Ｓ８０４）。
【００３０】
尚、本実施形態においては、領域が単体の画素である場合について説明するが、複数の画素を所定の範囲（Ｎ×Ｎ画素）でまとめたものであっても良い。複数の画素を領域とした場合には、例えば複数の画素における平均値などをその領域における値として処理することにより、領域を画素とした場合と同様に処理すれば良い。
【００３１】
ここで、図９はフレーム間差分値Ｄと動き度Ｍとの関係の一例を示す図である。図９に示すように、フレーム間差分値Ｄが大きい程、検出される動き度Ｍは高くなる傾向を持つ。即ち、本実施形態においては、動き度Ｍが動き度を示す場合を例に挙げて説明するが、勿論、これとは逆の静止度であっても良い。
【００３２】
動き領域検出部７０３では、処理負荷が比較的に低い閾値処理を実施することにより、フレームメモリからの出力フレームｓ７０１における各領域の動き度を算出する。具体的には、フレーム間差分値が（予め定められた）閾値ｄ１よりも小さければ、動き度としてｍ１を出力し、フレーム間差分値が閾値ｄ１よりも小さくなければ、動き度としてｍ２を出力する。この閾値処理は、各領域に対応して算出したフレーム間差分値の各々に対して行われ、結果としてマップ状のＭｍａｐが動き度として出力される。ここで、動き度ｍ２は動き度ｍ１より大きいとする。
【００３３】
次に、フィルタ係数生成部７０４は、入力された動き度マップＭｍａｐに対してフィルタ処理を実施し、その結果であるｓ７０３をフィルタ係数マップＦｍａｐとしてローパスフィルタ処理部７０５に出力する。
【００３４】
図１０は、フィルタ係数生成部７０４における処理の一例を示すフローチャートである。まず、フィルタ係数生成部７０４は動き度マップＭｍａｐを入力する（Ｓ１００１）。ここで、動き度マップＭｍａｐ（図１１に示す（ａ））には、静止領域と判定された領域（動き度Ｍがｄ１よりも小さい領域）には動き度としてｍ１が与えられる。動領域として判定された領域（動き度Ｍがｄ１よりも大きい領域）には動き度としてｍ２が与えられている。また、横軸は画素位置を示している。
【００３５】
次に、フィルタ係数生成部７０４は、動き度マップＭｍａｐに対して比較増加フィルタ処理を行う（Ｓ１００２）。ここでは、注目領域の動き度Ｍの値と、その周辺領域（所定範囲の領域）の動き度Ｍの値とを比較し、注目領域の動き度Ｍの値を増加させる。例えば、ある値をフィルタ範囲内の最大値に置き換える処理である。その結果、動き度マップＭｍａｐは、図１１に示す（ｂ）のように、一部の動き度Ｍの値が大きくなる。
【００３６】
次に、フィルタ係数生成部７０４は、図１１に示す（ｃ）のように、比較増加フィルタ処理の結果に対して平滑化フィルタをかけて、ローパスフィルタ処理部７０５のローパスフィルタ係数に正規化する（Ｓ１００３）。そして、正規化したフィルタ係数をフィルタ係数マップＦｍａｐとしてローパスフィルタ処理部７０５に出力する（Ｓ１００４）。
【００３７】
ここで出力されるフィルタ係数マップＦｍａｐは、図１１に示す（ｄ）のように、ローパスフィルタ処理により高周波成分の信号が取り除かれ、空間的に滑らかになったものが正規化された値となる。図１１に示す（ｃ）のように、静止領域が動領域と隣接している場合、その静止領域において動領域と隣接する位置までの所定範囲の分配補正係数Ｒの値を連続的に増加させることになる。
【００３８】
このように、本実施形態におけるフィルタ係数生成部７０４では、入力フレーム内の領域毎にフィルタ係数マップＦを変更させる。この変更に際しては、動き度マップＭｍａｐを平滑化フィルタ処理により平滑化することにより、分配補正係数Ｒを空間的に滑らかに変化させる。
【００３９】
尚、平滑化フィルタ処理の前に比較増加フィルタ処理を行うのは、比較増加フィルタ処理を行わずにフィルタ係数マップＦｍａｐを生成すると、図１２に示すように、サブフレームにおける動領域端部でフィルタ係数が変化してしまうためである。また、図１３に示す（ａ）のように、静止領域及び動領域の境界で画像が崩れてしまう。従って、フィルタ係数Ｒの平滑化は、動領域内では行わず静止領域内のみ処理するのが望ましい。
【００４０】
以上の処理により、各領域に適したローパスフィルタの重みに対応したフィルタ係数がＦｍａｐとしてローパスフィルタ処理部７０５に出力される。
【００４１】
次に、ローパスフィルタ処理部７０５は、入力フレームｓ７０１に対してフィルタ係数生成部７０４からのフィルタ係数マップＦｍａｐに基づいてローパスフィルタ処理を実施する。ここでは、フィルタ係数マップＦｍａｐに対応させて図４に示す（ａ）、（ｂ）のように、ローパスフィルタの重みを適応的に変えて各領域のフィルタ処理を実施する。
【００４２】
次に、分配処理部７０６は、ローパスフィルタ処理部７０５からの出力フレームの値を変換し、第１のサブフレームとしてサブフレームｓ７０４を出力する。
【００４３】
そして、差分処理部７０７は、フレームメモリ７０２に保持されたフレームｓ７０１に基づいて第２のサブフレームとしてサブフレームｓ７０５を生成して出力する。例えば、フレームｓ７０１とサブフレームｓ７０５の差分を処理結果とする。この場合、出力されるサブフレームの合計はフレームｓ７０１と一致する。
【００４４】
インパルス型の表示装置の場合、任意の時間内に表示される信号の合計が一致すれば、見かけ上の明るさは同等に見えることから、フレームレート変換の前後で同等の明るさを維持できることになる。
【００４５】
切替器７０８は、サブフレームｓ７０４とサブフレームｓ７０５とを交互に切り替えて出力する。
【００４６】
ここで、図１４は、本実施形態においてフィルタ係数Ｆが変化した場合の出力を示す図である。例えば、動きの小さい領域は、上述の通り、その領域に対応するフィルタ係数Ｆは小さく設定される。そのため、１フレーム期間中において時間的後方に出力されるサブフレームｓ７０４において、その領域の空間周波数は高くなる。この場合、この領域における各サブフレームの輝度は、図１４に示す（ａ）の波形で示される。動きの小さい領域では、疑似輪郭は発生しにくいため空間周波数を低くする必要はない。また，空間周波数を高くすることで、図６に示す（ａ）と比較してエッジ低輝度側で輝度が上がってしまう領域を小さくできることが分かる。
【００４７】
一方、動きの大きい領域は、上述の通り、その領域に対応するフィルタ係数Ｆは大きく設定される。そのため、１フレーム期間中における時間的後方に出力されるサブフレームｓ７０４において、その領域に対応する空間周波数は低くなる。この場合、この領域における各サブフレームの輝度は、図１４に示す（ｂ）の波形で示される。図６に示す（ｂ）と比較して、時間的後方のサブフレームの空間周波数が低くなることにより見える破綻が低減されていることが分かる。
【００４８】
このように、インパルス型表示装置におけるフリッカはサブフレーム７０５と７０４のコントラストによって発生する。また、ホールド型の表示装置ではコントラストが低いとコントラストを低く維持したまま空間周波数を制御する。
【００４９】
よって、フリッカ抑制効果を維持しながら画の疑似輪郭と黒浮きなどの破綻を低減することが可能となる。
【００５０】
次に、図７に示すフレームレート変換装置にて実行される処理を、図１５を用いて説明する。
【００５１】
図１５は、本実施形態におけるフレームレート変換処理を示すフローチャートである。まず、フレームレート変換装置は、入力フレームｓ７００が入力されると（Ｓ１５０１）、そのフレームをフレームメモリ７０２に格納する（Ｓ１５０２）。この格納が済むと、フレームレート変換装置は、動き領域検出部７０３において、当該入力フレームｓ７００とフレームメモリ７０２に既に格納されているフレームとを比較する。そして、フレームメモリ７０２に既に格納されているフレームｓ７０１における領域毎に動き度Ｍを算出し、動き度マップＭｍａｐを出力する（Ｓ１５０３）。
【００５２】
続いて、フレームレート変換装置は、フィルタ係数生成部７０４において、Ｓ１５０３で算出された動き度マップＭｍａｐに処理を実施し、その結果をフィルタ係数マップＦｍａｐとして算出する（Ｓ１５０４）。そして、フィルタ係数マップＦｍａｐの算出が済むと、フレームレート変換装置は、ローパスフィルタ処理部７０５においてフレームメモリ７０２に格納されているフレームｓ７０１を処理する（Ｓ１５０５）。
【００５３】
そして、分配処理部７０６がローパスフィルタ処理部７０５の処理結果の値を変換し、サブフレームｓ７０４を生成する（Ｓ１５０６）。サブフレームｓ７０４の生成が済むと、フレームレート変換装置は、差分処理部７０７において、フレームメモリ７０２に既に格納されているフレームｓ７０１とサブフレームｓ７０４との差分から得られるサブフレームｓ７０５を生成する。その後、フレームレート変換装置は、切替器７０８において、サブフレームｓ７０４とサブフレームｓ７０５とを交互に切り替えて出力する。これ以降、入力フレームが入力される都度、上述した処理を繰り返し実行する。
【００５４】
上述したように、本実施形態によれば、入力フレームｓ７００における画像の各領域から動き度を検出し、その検出結果に応じてサブフレーム（ｓ７０４、ｓ７０５）における各領域の空間周波数を決定する。これにより、フリッカを低減する効果を維持しつつ、擬似輪郭及び画像の破綻を低減させることができる。
【００５５】
［第２の実施形態］
次に第２の実施形態について説明する。第１の実施形態では、入力フレームの領域によってローパスフィルタのフィルタ係数を多段階に変えていた。第２の実施形態ではフィルタ係数は数段、例えば２段で切り替え、入力フレームの領域境界においてはそれらの結果を線形結合することにより画像を滑らかに合成する。
【００５６】
図１９は、第２の実施形態におけるフレームレート変換装置の構成を示す概略ブロック図である。動き領域検出部７０３は第１の実施形態と同様に、入力された複数のフレームの各画素のフレーム間差分を算出し、動き度Ｍが大きいほど出力値を大きく設定する。フィルタ係数が２段の場合は図９と同様の入出力関係で構わない。本実施例の場合、ｍ１およびｍ２は０以上１以下の値を設定する。
【００５７】
合成比率生成部１９０９は、入力された０以上１以下の値を持つ動き度マップＭｍａｐに対して図１０に示されたフローチャートの処理を行う。その結果、動き領域が空間的に拡張され、平滑化された合成比率係数マップＲｍａｐが算出される。Ｒｍａｐはその入力値が０以上１以下の値であるため、Ｒｍａｐは第１の実施形態に示したＦｍａｐとは異なる。
【００５８】
次にローパスフィルタ処理部１（１９１０）およびローパスフィルタ処理部２（１９１１）について説明する。両処理部においては、一方は他方よりもフィルタ係数が大きい設定となっている。その場合、ローパスフィルタ処理部１（１９１０）のフィルタ係数を２次元で表すと図４の（ａ）、ローパスフィルタ処理部２（１９１１）のフィルタ係数は図４の（ｂ）となる。それぞれの出力結果は図５の(ｂ)と(ｃ)となる。
【００５９】
合成部は、合成比率係数マップＲmapに応じてローパスフィルタ処理部１（１９１０）と２（１９１１）からの出力を下記数式１に応じて算出する。
【００６０】
【数１】
2010246035.tif 000003
【００６１】
分配処理部７０６および差分処理部７０７、切替器７０８の動作は第１の実施形態と同様である。
【００６２】
合成比率生成部１９０９および合成部１９１２により、動き領域に応じてフィルタ係数を変えたサブフレームが生成でき、またそのサブフレームは空間的になめらかな低域通過画像となる。
【００６３】
図２０は、第２の実施形態におけるフレームレート変換処理を示すフローチャートである。まず、フレームレート変換装置は、入力フレームｓ７００が入力されると（Ｓ２００２）、そのフレームをフレームメモリ７０２に格納する（Ｓ２００３）。この格納が済むと、フレームレート変換装置は、動き領域検出部７０３において、当該入力フレームｓ７００とフレームメモリ７０２に既に格納されているフレームとを比較する。そして、フレームメモリ７０２に既に格納されているフレームｓ７０１における領域毎に動き度Ｍを算出し、動き度マップＭｍａｐを出力する（Ｓ２００４）。
【００６４】
続いて、フレームレート変換装置は、合成比率生成部１９０９において、Ｓ２００４で算出された動き度マップＭｍａｐに処理を実施し、その結果を合成比率係数マップＲｍａｐとして算出する（Ｓ２００５）。そして、合成比率係数マップＲｍａｐの算出が済むと、フレームレート変換装置は、ローパスフィルタ処理部１（１９１０）においてフレームメモリ７０２に格納されているフレームｓ７０１を処理する（Ｓ２００６）。また、ローパスフィルタ処理部２（１９１１）においてもフレームメモリ７０２に格納されているフレームｓ７０１を処理する（Ｓ２００７）。
【００６５】
そして、合成部１９１２がローパスフィルタ処理部１（１９１０）とローパスフィルタ処理部２（１９１１）の結果の値を合成比率生成部１９０９の結果Ｓ１９０３に応じて合成する（Ｓ２００８）。そして、分配処理部７０６が合成部１９１２の処理結果の値を式１を用いて算出し、サブフレームｓ７０４を生成する（Ｓ２００９）。サブフレームｓ７０４の生成が済むと、フレームレート変換装置は、差分処理部７０７において、フレームメモリ７０２に既に格納されているフレームｓ７０１とサブフレームｓ７０４との差分から得られるサブフレームｓ７０５を生成する。その後、フレームレート変換装置は、切替器７０８において、サブフレームｓ７０４とサブフレームｓ７０５とを交互に切り替えて出力する（Ｓ２０１１）。これ以降、入力フレームが入力される都度、上述した処理を繰り返し実行する。
【００６６】
本実施形態によれば、入力フレームｓ７００における画像の各領域から動き度を検出し、その検出結果に応じてサブフレーム（ｓ７０４、ｓ７０５）における各領域の空間周波数を決定する。これにより、フリッカを低減する効果を維持しつつ、擬似輪郭及び画像の破綻を低減させることができる。
【００６７】
以上が本発明の代表的な実施形態であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００６８】
［他の実施形態］
本実施形態では、フレーム間差分を求め、その差分値と閾値との関係から入力フレームの画像における各領域の動き度Ｍを算出する場合を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、各領域のフレーム間のベクトルを算出し、そのベクトルの大きさから動き度Ｍを算出しても良い。
【００６９】
ここで、動き領域検出部７０３において各領域のフレーム間のベクトルを算出し、そのベクトルの大きさから動き度Ｍを算出する処理を、図１６を用いて説明する。
【００７０】
図１６は、変形例における動き領域検出部の処理を示すフローチャートである。まず、動き領域検出部７０３は、入力フレームを含む複数のフレームを入力する（Ｓ１６０１）。次に、入力フレームと、入力フレームよりも前（例えば直前）に入力されたフレームとからフレーム間の動きベクトルを算出する（Ｓ１６０２）。そして、その動きベクトルから動き度Ｍを算出し（Ｓ１６０３）、その動き度Ｍを出力する（Ｓ１６０４）。
【００７１】
尚、動き度Ｍの算出は、動きベクトルの大きさに基づいて図９を用いて説明した方法と同様にして求めれば良い。この動きベクトルを用いることにより、入力フレームにおける各領域の動きの大きさを一層正確に認識することができる。
【００７２】
また、本実施形態では、動き度Ｍが２値（ｍ１、ｍ２）である場合を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、図１７に示すように、フレーム間差分Ｄが閾値ｄ２以上であればｍ２を出力し、閾値ｄ２よりも小さければ、動き度Ｍはｍ１〜ｍ２の間の値を出力する。ここで、フレーム間差分Ｄが０〜ｄ２の間である場合、動き度Ｍの値はその差分値が大きくなる程、単調に変化（増加）する値を動き度Ｍとして出力する。これは、動きの大きさの連続性を反映している。勿論、上述の動きベクトルにより動き度Ｍを求める場合にも、この方法を適用して動き度Ｍを求めることができる。
【００７３】
また、動き領域検出７０３が入力された複数フレームの差分値から動き度Ｍを算出する際に、複数フレームにローパスフィルタ処理を実施した低空間周波数画像同士の差分値から動き度Ｍを算出しても良い。
【００７４】
図１８は、複数フレームに対する動き領域検出部の処理を示すフローチャートである。まず、入力フレームを含む複数のフレームを入力し（Ｓ１８０１）、複数フレームにローパスフィルタ処理を実施する（Ｓ１８０２）。そして、低空間周波数画像同士の差分値を算出し（Ｓ１８０３）、その差分値から動き度Ｍを算出して（Ｓ１８０４）、動き度Ｍを出力する（Ｓ１８０５）。
【００７５】
これは、空間周波数分離方式でフレームレート変換をしたサブフレームを表示した際の尾引きの度合いを反映している。
【００７６】
図２１は、本実施形態におけるフレームレート変換装置のハードウェア構成を示す図である。この例では、ＣＰＵ１９０１、ＲＯＭ１９０２、ＲＡＭ１９０３、ハードディスク１９０４、入力部１９０５、出力部１９０６、通信Ｉ／Ｆ１９０７がバス１９０９に接続されている。ＣＰＵ１９０１はＲＯＭ１９０２に格納されているプログラムに従って上述した処理を実行する。ＲＡＭ１９０３はＣＰＵ１９０１が処理を実行時に使用される作業領域や各種テーブルなどを含むメモリである。入力部１９０５はカメラなどの画像入力を行う。出力部１９０６は表示装置などの画像出力を行う。そして、通信Ｉ／Ｆ１９０７はネットワーク１９０８との間でデータ通信を制御する。
【００７７】
尚、本発明は複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。
【００７８】
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システム或いは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【図１】
2010246035.tif 000004
【図２】
2010246035.tif 000005
【図３】
2010246035.tif 000006
【図４】
2010246035.tif 000007
【図５】
2010246035.tif 000008
【図６】
2010246035.tif 000009
【図７】
2010246035.tif 000010
【図８】
2010246035.tif 000011
【図９】
2010246035.tif 000012
【図１０】
2010246035.tif 000013
【図１１】
2010246035.tif 000014
【図１２】
2010246035.tif 000015
【図１３】
2010246035.tif 000016
【図１４】
2010246035.tif 000017
【図１５】
2010246035.tif 000018
【図１６】
2010246035.tif 000019
【図１７】
2010246035.tif 000020
【図１８】
2010246035.tif 000021
【図１９】
2010246035.tif 000022
【図２０】
2010246035.tif 000023
【図２１】
2010246035.tif 000024