(57)【要約】【課題】  フリッカーの低減と高質感の再現を両立させることを可能とする画像処理装置およびその制御方法を提供する。【解決手段】  入力フレームからサブフレームを生成して出力することによりフレームレートを変換する画像処理装置の制御方法であって、前記入力フレームからサブフレームを生成し、入力フレームの明るさに関する特徴量を算出し、算出された前記特徴量に基づいて、生成されたサブフレームの輝度を下げる制御を行い、制御されたサブフレームを出力する。【選択図】  図１
2011097432.tif 000002
【特許請求の範囲】
【請求項１】
入力フレームからサブフレームを生成して出力することによりフレームレートを変換する画像処理装置であって、
前記入力フレームからサブフレームを生成する生成手段と、
入力フレームの明るさに関する特徴量を算出する算出手段と、
前記算出手段によって算出された前記特徴量に基づいて、前記生成手段によって生成されたサブフレームの輝度を下げる制御を行う制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、
入力フレームに対して、該入力フレームの高周波成分を抑制した第１サブフレームを生成するフィルタ手段と、
前記第１サブフレームと前記入力フレームとの差分から、該入力フレームの高周波成分を強調した第２サブフレームを生成する第２サブフレーム生成手段とを備え、
前記制御手段は、前記算出手段によって算出された前記特徴量に基づいて、前記フィルタ手段によって生成された第１サブフレームの輝度を下げる制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力フレームに含まれる各画素の画素値を当該画素の周辺の画素の画素値のうち最小の画素値で置換する最小値フィルタ手段を更に有し、
前記生成手段は、前記最小値フィルタ手段により処理された入力フレームに前記フィルタ処理を施すことにより前記第１サブフレームを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１サブフレームと前記第２サブフレームとを交互に出力する出力手段を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記算出手段は、少なくとも入力フレームのビデオ輝度値、ＣＩＥ輝度値、Ｌｓｔａｒ明度、重みつきＲＧＢ信号値の積和量のいずれかひとつの統計量を入力フレームの特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記算出手段は、算出した特徴量に基づいて、前記生成手段によって生成されたサブフレームの輝度の分配比率を決定し、前記制御手段は前記生成手段によって生成されたサブフレームに前記分配比率を乗ずることにより、該サブフレームの輝度を下げる制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記分配比率は、前記特徴量が大きいほど分配比率が大きくなることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記分配比率は、該分配比率が取り得る値の範囲内において所定の制限値までは前記特徴量が大きいほど分配比率が大きくなることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記分配比率は、該分配比率が取り得る値の範囲内において所定の制限値までは前記特徴量が大きいほど分配比率が大きくなり、該所定の制限値に達することにより該所定の制限値で一定となることを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記入力フレームと前記制御手段によって制御されたサブフレームとを交互に出力する出力手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
入力フレームからサブフレームを生成して出力することによりフレームレートを変換する画像処理装置の制御方法であって、
前記入力フレームからサブフレームを生成する生成工程と、
入力フレームの明るさに関する特徴量を算出する算出工程と、
算出された前記特徴量に基づいて、生成されたサブフレームの輝度を下げる制御を行う制御工程と、
制御されたサブフレームを出力する出力工程とを備えることを特徴とする画像処理装置の制御方法。
【請求項１２】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレートを変換する動画像処理であって、特に、６０Ｈｚの画像を１２０Ｈｚの画像に変換するような、より高フレームレートへの変換処理に関する。
【背景技術】
【０００２】
従来、映像を表示装置に表示した際に発生する動きぼけやフリッカーを抑制する技術として、画像データから周波数成分の異なるサブフレームを生成し、これらを交互に倍速で表示する映像表示方法が知られている。（特許文献１参照）
この映像表示方法は、入力された画像データから高周波成分を強調した高周波強調画像データと、高周波成分を抑制した低周波成分からなる低周波画像データとを生成し、この画像データを交互に倍速で表示するものである。この技術により、フリッカーを抑制し、更に、動きぼけを低減することが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８４８９６号公報
【特許文献２】特開２００２−０２３７０７号公報
【特許文献３】特開２００２−７０８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、倍速駆動のように駆動周波数を上げてサブフレームを表示すると、フリッカーを低減できる反面、映像の高質感や臨場感が損なわれてしまうことがあった。ここで映像の高質感とは、光沢や色再現、深みや奥行き感、艶、季候（温度、湿度）等が画面から感じられる高度な表現力をもった画質とする。
【０００５】
２枚のサブフレームを表示する倍速駆動において、２枚のサブフレームの波形の強度の比（輝度の分配比率）は、１．０：０．０〜０．５：０．５の範囲で設定できる。よって、この分配比率が１．０：０．０の場合、すなわち分配比率が小さい場合はフリッカーが発生するものの高質感は再現され、分配比率が０．５：０．５の場合、すなわち分配比率が大きい場合は、フリッカーは低減するが高質感も損なわれることになる。
【０００６】
これに対して、特許文献２又は特許文献３には、２枚のサブフレーム間に所定の輝度差を設けることが記載されている。しかし、入力フレームの平均輝度値によってはフリッカーを目立たせてしまう結果となり、フリッカーの低減と高質感の再現を両立させることができない。
【０００７】
本発明は上述した課題を解決するためになされたものであり、フリッカーの低減と高質感の再現を両立させることを可能とする動画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、入力フレームからサブフレームを生成して出力することによりフレームレートを変換する画像処理装置であって、前記入力フレームからサブフレームを生成する生成手段と、入力フレームの明るさに関する特徴量を算出する算出手段と、前記算出手段によって算出された前記特徴量に基づいて、前記生成手段によって生成されたサブフレームの輝度を下げる制御を行う制御手段とを備える。
【発明の効果】
【０００９】
以上の構成からなる本発明によれば、フリッカーの低減と高質感の再現を両立させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に対応する画像処理装置の一例を示す図
【図２】実施形態１に対応する処理を示したフローチャート
【図３】特徴量算出部の処理を示すフォローチャート
【図４】（ａ）実施形態１の特徴量平均値を分配比率に変換する方法１を示す図、（ｂ）実施形態１の特徴量平均値を分配比率に変換する方法２を示す図、（ｃ）実施形態１の特徴量平均値を分配比率に変換する方法３を示す図
【図５】（ａ）実施形態１のＡＰＬを分配比率に変換する方法１を示す図、（ｂ）実施形態１のＡＰＬを分配比率に変換する方法２を示す図、（ｃ）実施形態１のＡＰＬを分配比率に変換する方法３を示す図
【図６】実施形態２に対応する画像処理装置の一例を示す図
【図７】実施形態２に対応する処理を示したフローチャート
【図８】実施形態２に対応する処理波形を説明するための図
【図９】実施形態３に対応する画像処理装置の一例を示す図
【図１０】実施形態に対応する画像処理装置のハードウェア構成の一例を示す図
【図１１】従来の回路構成を説明するための図
【図１２】従来方法による処理波形を説明するための図
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜実施形態１＞
図１は、実施形態１に対応する表示装置において倍速駆動を行うための画像処理装置の一例を示す図である。
【００１３】
図１において、入力画像である入力フレーム１０１は、画像の高周波成分が抑制された第１サブフレームと高周波成分が強調された第２サブフレームとを生成するため２つに分配される。ここではまず高周波成分が抑制された第１サブフレームの生成方法から説明する。
【００１４】
ローパスフィルタ処理部１０２は、入力フレーム１０１に対し、２次元のローパスフィルタ処理を施す。ローパスフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
【００１５】
特徴量算出部１０３は、入力フレーム１０１の特徴量を算出してサブフレームの分配比率Ｐ（第１サブフレームへの輝度配分率）を算出し、結果を制御部１０４へ出力する。
【００１６】
制御部１０４は、特徴量算出部１０３によって計算された分配比率Ｐにより２つのサブフレームを発光させる割合を決定する。
【００１７】
以上のようにして入力フレーム１０１に対してローパスフィルタ処理を行い、分配比率を適用することで、高周波成分が抑制された第１サブフレームの生成が完了する。このサブフレームは、出力部１０６に出力される。
【００１８】
次に高周波成分が強調された第２サブフレームの生成方法を説明する。差分検出部１０５は第２サブフレーム生成部として機能し、入力フレーム１０１から第１サブフレームを減じ、その差分出力を第２サブフレームとする。
【００１９】
出力部１０６では、所望のタイミング、すなわち所定のフレームレートで、例えば入力６０Ｈｚの場合であれば１２０Ｈｚの周期で、２つのサブフレームを切り替えて後段の処理回路等に出力する。なお、出力部１０６は入力されるサブフレームを、各出力タイミングが到来するまで一時的に保持しておくバッファ回路を含むことができる。
【００２０】
カラー画像の処理は、Ｒ、Ｇ、ＢやＹ、Ｃｂ、Ｃｒといった３種類の画像データに分けて処理することが多いが、本発明の一連の処理は、Ｒ、Ｇ、Ｂそれぞれに対して行ってもよいし、Ｙに対してのみ行ってもよい。
また、Ｒ、Ｇ、ＢからＹを算出し、結果をＲ、Ｇ、Ｂに当てはめることも、もちろん可能である。
【００２１】
図２は本実施形態における処理を示すフローチャートである。
【００２２】
まず、ステップＳ２０１において、必要な初期設定を行う。ここでは、ローパスフィルタの静的特性などが設定される。続くステップＳ２０２において、入力フレーム１０１が入力される。次にステップＳ２０３において、ローパスフィルタ処理部１０２は、入力フレーム１０１に対してローパスフィルタ処理を施す。以上により、画像の高周波成分が抑制された第１サブフレームが生成される。
【００２３】
次にステップＳ２０４において、特徴量算出部１０３は、入力フレーム１０１の特徴量を計算しサブフレームの分配比率を算出する。ここで特徴量は、画像の明るさに関連する量を使用する。たとえば、数式１のようなビデオ輝度値Ｌｕｍａ、数式２のようなＣＩＥ輝度値Ｙ、数式３のようなＬｓｔａｒ明度、あるいは数式４のような重みつきＲＧＢ信号値の積和量Ｓでもよい。また、実装に当たっては、浮動小数点演算でなく、整数演算にしてもよい。
Ｌｕｍａ＝０．２１２６＊Ｒ＋０．７１５２＊Ｇ＋０．０７２２＊Ｂ
Ｙ＝０．２１２６＊Ｒ＾２．２＋０．７１５２＊Ｇ＾２．２＋０．０７２２＊Ｂ＾２．２
Ｙ／Ｙｎ＞０．００８８５６  のとき  Ｌｓｔａｒ＝１１６＊（Ｙ／Ｙｎ）＾（１／３）
Ｙ／Ｙｎ≦０．００８８５６  のとき  Ｌｓｔａｒ＝１１６＊（７．７８７（Ｙ／Ｙｎ）＋１６／１１６）−１６
（ただし、Ｙは数式２のＹ値。Ｙｎは白の輝度値）
Ｓ＝Ｗｒ＊Ｒ＋Ｗｇ＊Ｇ＋Ｗｂ＊Ｂ
（ただし、Ｗｒ、Ｗｇ、Ｗｂは定数）
【００２４】
図３に特徴量算出部１０３の処理を示す。ステップＳ３０１において、特徴量算出部１０３の初期化が行われる。ステップＳ３０２において、特徴量算出部１０３は、上述した数式を用いて特徴量のフレーム全体の統計量を算出する。本実施形態においては、統計量として特徴量の平均値を用いるがこれに限らず、例えば最頻値、中央値などでもよい。次にステップＳ３０３において、特徴量算出部１０３は、特徴量のばらつきを制限し、安定した追随を行うために、所定フレーム数の平滑処理を行う。ステップＳ３０４において、特徴量算出部１０３は平滑化した統計量を分配比率に変換する。
【００２５】
ここで、統計量から分配比率に変換する方法は、フリッカーを抑制することと高質感を再現することのバランスを考慮して、目的に応じた設計を行う必要がある。以下、図４（ａ）〜（ｃ）を用いて統計量から分配比率に変換する方法を説明する。
【００２６】
まず、第１の方法として、分配比率を特徴量の平均値に対し単調増加特性とする方法がある。図４（ａ）は、分配比率を特徴量平均値に対し単調増加特性とした例である。ここで、特徴量の平均値が小さい領域、すなわち暗い画像では、分配比率を０．０に近くし、高周波を抑制した第１サブフレームの発光を少なくする。つまり、制御部１０４は特徴量算出部１０３によって算出された特徴量に基づいて、ローパスフィルタ処理部１０２から出力されたサブフレームの輝度を下げる制御を行うことになる。これにより、出力される画像は６０Ｈｚ駆動に近い画質となり、輝度が小さい部分ではフリッカーが少なく、逆に６０Ｈｚ駆動によって高質感な画像が表示することができる。
【００２７】
一方、特徴量の平均値が１．０に近い領域、すなわち明るい画像では、分配比率を最大の０．５に近くし、高周波成分を抑制した第１サブフレーム、高周波成分を強調した第２サブフレームがほぼ等輝度で発光するようにする。これにより出力される画像は１２０Ｈｚで駆動されるため、高質感は再現されないが、強い妨害となるフリッカーは軽減される。
【００２８】
特徴量の平均値が中間領域にある場合は、第１サブフレームと第２サブフレームとの輝度差により、フリッカーの発生が抑制され、高質感の再現が可能となる。このような構成は、１次元のルックアップテーブルにより実現できる。
【００２９】
第２の方法として、分配比率を特徴量平均値に対し上限を設定した単調増加特性とする方法がある。図４（ｂ）は、分配比率を特徴量の平均値に対し上限Ｐｍａｘとして単調増加特性とした例である。第１の方法では、分配比率の上限Ｐｍａｘを、第１サブフレームと第２サブフレームが等輝度で発光する分配比率０．５としたが、上述したように、分配比率が０．５に近くなると高質感は再現できない。このため、分配比率の範囲内でかつ分配比率を０．５より小さい制限値Ｐｍａｘまでに制限し、フリッカーによる妨害を多少許容しつつ、高質感の再現を可能とするものである。これも第１の方法と同様に１次元のルックアップテーブルにより実現できる。
【００３０】
第３の方法として、分配比率を特徴量平均値に対し、設定した上限までは単調増加特性とし、上限に達すれば上限値で一定とする方法がある。図４（ｃ）は分配比率を特徴量の平均値に対し上限Ｐｍａｘとして単調増加特性とし、上限Ｐｍａｘに達すれば制限値Ｐｍａｘで一定になるようにした例である。これは高質感の再現を重視する場合にふさわしい特性となる。これも第１、第２の方法同様に１次元のルックアップテーブルにより実現できる。
【００３１】
なお、統計量から分配比率に変換する方法を特徴量算出部１０３で行う例を説明したが、この変換方法は、制御部１０４において行ってもよい。この場合、特徴量算出部１０３は算出した特徴量を制御部１０４に出力することになる。
図２のフローチャートに戻り、ステップＳ２０５において、制御部１０４は、ローパスフィルタ処理部１０２によってローパスフィルタ処理されたサブフレームに対してステップＳ２０４において決定された分配比率で分配処理を行う。すなわち、制御部１０４は特徴量算出部１０３によって算出された特徴量に基づいて、ローパスフィルタ処理部１０２から出力されたサブフレームの輝度を下げる制御を行う。
【００３２】
次に、ステップＳ２０６では、差分検出部１０５が入力フレーム１０１から、第１サブフレームを減算した差分画像として、第２サブフレームを算出する。
【００３３】
続くステップＳ２０７では、出力部１０６がフレームの出力タイミングを判定し、第１サブフレームの出力タイミングであれば（ステップＳ２０７において「ＹＥＳ」）、ステップＳ２０８に移行する。ステップＳ２０８では、第１サブフレームを出力する。なお、第１サブフレームは、フレームメモリか、或いは、出力部１０６内のバッファ内に一時的に保持されており、出力のタイミングにおいて出力部１０６から出力フレーム１０７として出力される。
【００３４】
第１サブフレームを出力後にステップＳ２０９では、第２サブフレームの出力タイミングを判定する。第２サブフレームの出力タイミングであれば（ステップＳ２０９において「ＹＥＳ」）、ステップＳ２１０にて第２サブフレームを出力する。なお、第２サブフレームは、出力部１０６内のバッファ内に一時的に保持されてもよく、出力のタイミングにおいて出力部１０６内から出力フレーム１０７として出力される。
【００３５】
その後、全てのフレームについて処理が完了した場合には（ステップＳ２１１において「ＹＥＳ」）、本処理を終了する。未処理フレームがある場合には（ステップＳ２１１において「ＮＯ」）、ステップＳ２０２に戻って処理を繰り返す。
【００３６】
なお、図２のフローチャートで説明したサブフレームの出力順序は、あくまで一例であってこれに限定されるものではなく、第２サブフレームを出力した後に第１サブフレームを出力してもよい。また、２つのサブフレームを作成した後に出力タイミングを判定しているが、発明の実施形態はこれに限定されるものではない。例えば、ステップＳ２０４におけるローパスフィルタ処理が完了した時点で第１サブフレームの出力タイミングを判定し、出力した後に差分値検出処理を行って第２サブフレームを生成してもよい。
【００３７】
＜実施形態１の変形例＞
次に、実施形態１の変形として、図１の特徴量算出部１０３の回路規模を縮減するために、特徴量として数式１のＬｕｍａ輝度を整数型データとして用いた場合を以下図５（ａ）〜（ｃ）を用いて説明する。また、特徴量としてＬｕｍａ輝度、統計量としてＬｕｍａ輝度の平均値ＡＰＬ（Ａｖｅｒａｇｅ  Ｐｉｃｔｕｒｅ  Ｌｅｖｅｌ）を使う。
【００３８】
まず第１の方法として分配比率をＡＰＬに対し単調増加特性とする方法がある。図５（ａ）は分配比率をＡＰＬに対し単調増加特性とした例であり、分配比率をＡＰＬの一次関数としている。
【００３９】
ここで、ＡＰＬが小さい領域、すなわち暗い画像では、分配比率は０．０に近くなり、第１サブフレームの発光を少なくする。これにより、出力される画像は６０Ｈｚ駆動に近い画質となり、輝度が小さい部分ではフリッカーが少なく、逆に６０Ｈｚ駆動によって高質感な画像が表示することができる。
【００４０】
一方、ＡＰＬが１．０に近い領域、すなわち明るい画像では、分配比率を０．５に近くし、高周波成分を抑制した第１サブフレーム、高周波成分を強調した第２サブフレームがほぼ等輝度で発光するようにする。これにより出力される画像は１２０Ｈｚで駆動されるため、高質感は再現されないが、強い妨害となるフリッカーは軽減される。
【００４１】
ＡＰＬが中間領域にある場合は、第１サブフレームと第２サブフレームの輝度差により、フリッカーの発生が抑制され、高質感の再現が可能となる。
【００４２】
このような構成により分配比率は、一次関数の勾配となるのでＡＰＬ値の上位ビットを用いれば、簡単に実現が可能となる。
【００４３】
第２の方法として、分配比率をＡＰＬに対し上限を設定した単調増加特性とする方法がある。図５（ｂ）は分配比率をＡＰＬに対し上限Ｐｍａｘとした一次関数の例である。第１の方法では第１サブフレーム、第２サブフレームが等輝度で発光する分配比率０．５としたが、上述したように高質感は再現できない。このため、分配比率を０．５より小さいＰｍａｘまでにし、フリッカーによる妨害を多少許容しつつ、高質感の再現を可能とするものである。具体的な例として、Ｐｍａｘを０．４前後に設定することが好ましいことが分かっている。このような構成により分配比率は、一次関数の勾配となるのでＡＰＬのシフト演算と加算演算を用いれば、簡単に実現が可能となる。
【００４４】
第３の方法として、分配比率をＡＰＬに対し設定した上限までは単調増加特性とし、上限に達すれば上限値で一定値とする方法がある。図５（ｃ）は分配比率をＡＰＬに対し設定した上限までは単調増加特性とし、上限に達すれば上限値で一定になるようにした例である。これは高質感の再現を重視する場合にふさわしい特性となる。このような構成により、分配比率は一次関数の勾配となり、ＡＰＬのシフト演算と加算演算とクリッピングを用いれば、簡単に実現が可能となる。
【００４５】
＜実施形態２＞
実施形態２では、実施形態１の構成に最小値フィルタ部６０１を加えた実施形態を説明する。この構成により、フリッカーの低減と高質感の再現を両立させるだけでなく、動画のにじみを軽減させることができる。以下、動画のにじみについて説明する。
【００４６】
図１２に、図１１に示す倍速駆動回路から出力されるフレーム画像の波形の例を示す。波形１２０１は入力フレームの波形の例を示している。波形１２０２は、入力フレームの波形１２０１に図１１のＬＰＦ処理部１１０２においてローパスフィルタ処理を施して得られる出力波形である。波形１２０３は、図１１の差分検出部１１０３において差分検出を行って得られる出力波形である。この波形１２０３は高周波成分であるため正負の値を取る。波形１２０４は、元の入力フレームの波形１２０１に高周波成分の波形１２０３を足し合わせた波形である。
【００４７】
理論上は、１２０Ｈｚの周期で波形１２０２と波形１２０４とを交互に表示することで、見かけ上の波形は、波形１２０１と同じになるである。しかしながら、波形１２０１の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、波形１２０４は負の値を持つことになる。
【００４８】
負の値の画像を表示することはできないので、実際には、波形１２０５のように負の値はゼロとして表示されることになる。すると、見かけの合成波形は、波形１２０２と波形１２０５とを交互表示することになるので、波形１２０６のような波形となる。これは、黒の背景に白の文字があるような場合に、文字の輪郭がボケたような画像若しくはにじんだ画像として知覚される。このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される問題がある。
【００４９】
本実施形態においては、フリッカーの低減と高質感の再現を両立させるだけでなく、上述した動画のにじみを軽減させることができる実施形態について説明する。
【００５０】
図６は、実施形態２に対応する表示装置において倍速駆動を行うための画像処理装置の一例を示す図である。なお、ここで実施形態１と共通する画像処理装置の部位についての説明は省き、本実施形態に特徴的な構成について説明する。
【００５１】
最小値フィルタ部６０１はローパスフィルタ処理部１０２におけるローパスフィルタ処理の前処理として、ブロック内の画素の最小値を選択する最小値フィルタ処理を行う。この処理では、入力フレーム１０１の処理対象画素について、所定フィルタサイズ（例えば、９×９）のブロックを設定する。そして、該ブロック内の処理対象画素の周辺画素のうち画素値が最小のものを選択し、処理対象画素の画素値と置換する。なお、最小値フィルタは、フィルタサイズ内の最小値をそのフィルタサイズ内の全ての画素に拡張するが、このような領域拡張フィルタであれば最小値に限定されない。例えば、フィルタサイズ内の最小値が極端に小さい場合はノイズの可能性があるのでこの画素値は選択せず、２番目に小さい値等を選択してそのフィルタサイズ内の全ての画素に拡張するといった処理を施してもよい。
【００５２】
図７は本実施形態における処理を示すフローチャートである。ステップＳ７０１において、最小値フィルタ部６０１は、入力された入力フレームに対して最小値フィルタ処理を施す。なお、実施形態１と重複する処理については、説明を省略する。
【００５３】
図８において、波形８０１は入力波形の一例を示す。波形８０２は、入力波形８０１に対して最小値フィルタ部６０１で最小値フィルタ処理を施した結果得られる波形を示している。入力フレーム８０１において高輝度の画素値と低輝度の画素値が隣接している境界部分では、低輝度の画素値が選ばれることになるので、結果としてエッジの境界は、波形８０２に示すように高輝度領域の内側に狭められることになる。波形８０３は、波形８０２にローパスフィルタ処理を施した結果として得られる波形を示している。波形８０４は、波形８０３に制御部１０４において算出された分配比率を乗じて得られた波形であり、高周波成分を抑制された第１サブフレームである。波形８０５は、差分検出部１０５から出力される第２サブフレームである。
【００５４】
図８の波形８０４の第１サブフレームと波形８０５の第２サブフレームとを高速に交互表示すると、視覚的には波形８０６のように見える。よって、６０Ｈｚ表示における入力フレーム１０１の波形８０１と同一の波形として知覚することができる。カラー画像の処理についても同様である。
【００５５】
以上より、本実施形態においては、フリッカーの低減と高質感の再現を両立させるだけでなく、動画のにじみを軽減させることが可能となる。
【００５６】
＜実施形態３＞
実施形態１では、周波数成分を分離したサブフレームを表示する装置において、フリッカーの低減と高質感の再現を両立させる方法を説明したが、本願発明は中間サブフレームを作成する方法においても適応可能である。以下、図９を用いて説明する。
【００５７】
図９において、入力フレーム１０１は入力画像を示す。これは、外部から入力される原画像であり、そのフレーム周波数はたとえば６０Ｈｚの信号である。この信号は必要に応じて不図示のフレームメモリなどに蓄積されて中間サブフレーム作成部９０１へ入力される。
【００５８】
中間サブフレーム作成部９０１では、入力フレーム１０１から複数の中間サブフレームを作成する。中間サブフレームの作成方法は必要に応じ適切な方法を使えばよく、たとえば、入力フレームの反復、前後フレームから補間、入力フレームの低周波成分通過などが考えられる。作成された中間サブフレームは、制御部１０６へ送られる。
【００５９】
制御部１０６では、それぞれの中間サブフレームに対し、実施形態１と同じく、特徴量算出部１０５で計算された分配比率を各中間サブフレームに乗じる。特徴量算出部１０５の詳細は実施形態１と同様であるため省略する。このようにして作成されたサブフレームは不図示のフレームメモリなどに格納され、出力部１０７に出力される。
【００６０】
出力部１０７では、所望のタイミング、例えば入力６０Ｈｚの場合であれば１２０Ｈｚの周期で、２つのサブフレームを切り替えて出力フレームとして後段の処理回路に出力する。
【００６１】
また、言うまでもなく、１２０Ｈｚに限らず、より高周波で駆動することも可能である。例えば６０Ｈｚの入力フレームを２４０Ｈｚで出力するには、１入力フレームは４サブフレームに分割処理される。この場合の４つのサブフレームへの分配比率は、フリッカーと高質感のバランスから決まる。例えば、特徴量が小さい場合は、１：０：０：０とし、特徴量が大きい場合は、０．２５：０．２５：０．２５：０．２５の如くするのが望ましい。
【００６２】
以上より、本実施形態のような構成においてもフリッカーの低減と高質感の再現を両立させることが可能になる。
【００６３】
＜実施形態４＞
図１，図６、図９に示したそれぞれの装置が有する各部は全てハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、各部をコンピュータプログラムでもって構成しても良い。この場合、このようなコンピュータプログラムを格納するためのメモリと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像処理装置に適用することができる。
【００６４】
図１０は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００６５】
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１００１は、図１、図６、図９の１０２〜１０６、若しくは図６の６０１、図９の９０１として機能することになる。
【００６６】
ＲＡＭ１００２は、外部記憶装置１００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１００９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１００２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供することができる。
【００６７】
ＲＯＭ１００３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１００４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。表示部１００５は、ＣＰＵ１００１による処理結果を表示する。また表示部１００５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。
【００６８】
外部記憶装置１００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１００６には、ＯＳ（オペレーティングシステム）や、図１、図６、図９に示した各部の機能及び図２、３、７に示したフローをＣＰＵ１００１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１００６には、処理対象としての各画像データが保存されていても良い。
【００６９】
外部記憶装置１００６に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。Ｉ／Ｆ１００７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１００７を介して様々な情報を取得したり、送出したりすることができる。１００８は上述の各部を繋ぐバスである。
【００７０】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１００１が中心となって行う。
【００７１】
＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７２】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００７３】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００７４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
2011097432.tif 000003
【図２】
2011097432.tif 000004
【図３】
2011097432.tif 000005
【図４】
2011097432.tif 000006
【図５】
2011097432.tif 000007
【図６】
2011097432.tif 000008
【図７】
2011097432.tif 000009
【図８】
2011097432.tif 000010
【図９】
2011097432.tif 000011
【図１０】
2011097432.tif 000012
【図１１】
2011097432.tif 000013
【図１２】
2011097432.tif 000014