(57)【特許請求の範囲】
【請求項１】
フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換する画像処理装置であって、
変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成するサブフレーム生成手段と、
前記着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の輝度変動パターンを生成する輝度変動パターン生成手段と、
前記輝度変動パターン生成手段で生成されたｎ枚の輝度変動パターンを、前記サブフレーム生成手段で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成して出力する出力フレーム生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記輝度変動パターン生成手段は、
着目フレームを含む過去のｎ枚のフレームの同画素位置の平均値を算出することで、平均画素値で構成される輝度平均値フレームを算出する第１の算出手段と、
着目フレームを含む過去のｎ枚のフレームの各々と、前記第１の算出手段で算出した輝度平均値フレームとの差分を、前記ｎ枚の輝度変動パターンとして算出する第２の算出手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数のフレームから各画像の特徴情報を抽出する特徴情報抽出手段を更に備え、
前記輝度変動パターン生成手段は、前記特徴情報に基づいて、前記輝度変動パターンを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特徴情報は、前記複数のフレーム間における輝度値、明るさ、エッジ位置、空間乱雑度及び動きベクトルの変動を示す情報の少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記輝度変動パターンを格納するデータベースを更に備え、
前記輝度変動パターン生成手段は、前記特徴情報を前記データベースのインデックス値に変換し、該インデックス値に基づいて、前記輝度変動パターンを前記データベースから取得することにより、前記輝度変動パターンを生成することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記ｎ枚のサブフレームのそれぞれを予め定めた輝度レベル毎に分離して、複数の輝度レベル分離フレームを生成する輝度レベル分離手段と、
前記ｎ枚のサブフレームのそれぞれを予め定めた空間周波数帯域毎に分離して、複数の空間周波数帯域分離フレームを生成する空間周波数分離手段と、
前記輝度レベル分離フレームと前記空間周波数帯域分離フレームとの組み合わせに基づいて、ｍ枚のサブ分離フレームを生成する分離画像生成手段とを更に備え、
前記出力フレーム生成手段は、前記ｎ枚の変動パターンに基づいて、前記ｍ枚のサブ分離フレームの各々の輝度値を変動させた後に該ｍ枚のサブ分離フレームを合成することにより、前記ｎ枚の出力フレームを生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記分離画像生成手段は、
前記サブフレーム生成手段が前記複数のフレームを構成する各画素をコピーすることにより、前記ｎ枚のサブフレームを構成する各画素を生成したか否かを示すコピー領域情報に基づいて、前記ｎ枚のサブフレームを分離して複数のコピー領域分離フレームを生成するコピー領域分離手段と、
前記サブフレーム生成手段が前記ｎ枚のサブフレームを生成する処理単位であるブロック情報に基づいて、前記複数のフレームを分離して複数のブロック分離フレームを生成するブロック分離手段と、
を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換する画像処理方法であって、
変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成するサブフレーム生成工程と、
前記着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の輝度変動パターンを生成する輝度変動パターン生成工程と、
前記輝度変動パターン生成工程で生成されたｎ枚の輝度変動パターンを、前記サブフレーム生成工程で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成して出力する出力フレーム生成工程と、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像における物体のきらめき（高周波の輝度変動）を擬似的に再現する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
像の規格であるＳＭＰＴＥ−１７０Ｍ（通称ＮＴＳＣ）では、６０Ｈｚという映像表示周波数が規定され、規格化したアメリカを中心に、日本、韓国、中南米の放送・撮像システムで、統一的にこの表示周波数が採用されている。一方、表示パネル・駆動回路の技術の向上に伴い、より高い駆動周波数で映像表示が可能となっており、６０Ｈｚよりも高い駆動周波数で映像を表示可能となってきている。例えば、特許文献１では、動き補償を用いてサブフレームを生成し、入力周波数の倍の周波数で動画像を出力することにより、液晶ディスプレイでの動きぼけを改善可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３１７６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、動き補償処理として入力フレームの画素値をサブフレームの対応する点にコピーしているにすぎず、画素値を制御するものではない。このため、動き補償等を利用したフレームレート変換技術では、映像のきらめきを入力周波数よりも高い周波数で表現することができなかった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、映像のきらめきを入力周波数よりも高い周波数で擬似的に表現することにより、リアリティのある映像を再現可能とする画像処理装置及び画像処理方法を提供するものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理装置は、
フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換する画像処理装置であって、
変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成するサブフレーム生成手段と、
前記着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の輝度変動パターンを生成する輝度変動パターン生成手段と、
前記輝度変動パターン生成手段で生成されたｎ枚の輝度変動パターンを、前記サブフレーム生成手段で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成して出力する出力フレーム生成手段とを備える。
【発明の効果】
【０００７】
本発明によれば、映像のきらめきを入力周波数よりも高い周波数で擬似的に表現することにより、リアリティのある映像を再現可能とする画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置の構成を示す図。
【図２】第１の実施形態の変形例１に係る画像処理装置の構成を示す図。
【図３】第１の実施形態の変形例２に係る画像処理装置の構成を示す図。
【図４】第１の実施形態の変形例３に係る画像処理装置の構成を示す図。
【図５】第１の実施形態の変形例４に係る画像処理装置の構成を示す図。
【図６】第１の実施形態の変形例５に係る画像処理装置の構成を示す図。
【図７】入力周波数よりも大きな輝度変動を持った動画像の一例を示す図。
【図８】第１の実施形態の変形例４に係る輝度変動抽出部５０５の処理を示す図。
【図９】第１の実施形態の変形例４に係る輝度変動抽出部５０５の処理を示す図。
【図１０】第１の実施形態に係る画像処理装置の処理手順を示す図。
【図１１】第１の実施形態の変形例１に係る画像処理装置の処理手順を示す図。
【図１２】第１の実施形態の変形例２に係る画像処理装置の処理手順を示す図。
【図１３】第１の実施形態の変形例３に係る画像処理装置の処理手順を示す図。
【図１４】第１の実施形態の変形例４に係る画像処理装置の処理手順を示す図。
【図１５】第１の実施形態の変形例５に係る画像処理装置の処理手順を示す図。
【図１６】第２の実施形態に係る画像処理装置の構成を示す図。
【図１７】第２の実施形態に係る画像分離部の構成を示す図。
【図１８】変動パターンの波形模式図。
【図１９】第２の実施形態の変形例１に係る画像処理装置の構成を示す図。
【図２０】変動パターンの波形と周波数特性の模式図。
【図２１】第２の実施形態の変形例１に係る画像分離部の構成を示す図。
【図２２】第２の実施形態の変形例２に係る画像処理装置の構成を示す図。
【図２３】第２の実施形態の変形例２に係る画像分離部の構成を示す図。
【図２４】第２の実施形態の変形例２に係る画像分離部におけるブロック分離部の分離方法１による画像分離の模式図。
【図２５】第２の実施形態の変形例２に係る画像分離部におけるブロック分離部の分離方法２による画像分離の模式図。
【図２６】第２の実施形態に係る画像分離部の処理手順を示す図。
【図２７】第２の実施形態の変形例１に係る画像分離部の処理手順を示す図。
【図２８】第２の実施形態の変形例２に係る画像分離部の処理手順を示す図。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施の形態について添付図面を参照して詳細に説明する。なお、本発明の技術的範囲は特許請求の範囲によって確定されるのであって、以下に例示する実施の形態に限定されるものではない。
＜第１の実施形態＞
［画像処理装置の構成（図１）］
本発明に係る画像処理装置は、フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換するものである。１０１はフレーム入力部、１０２はフレームレート変換部、１０３は輝度変動部、１０４はフレーム出力部、１０５は輝度変動抽出部、１０６は輝度変動パターン計算部である。本実施形態では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。下記の動作は、画素単位で処理を説明するものであり、これらの処理は水平方向、垂直方向に走査されフレーム内の全画素に適用される。
【００１０】
フレーム入力部１０１は、各モジュールの要求に応じて外部入力フレームバッファの入力画像データを参照する。フレームレート変換部１０２（サブフレーム生成手段）は、変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成する。本実施形態では、フレームレート変換部１０２は、図７で示すように、フレーム入力部１０１を介して、ｒ番入力フレームを参照して画像データをコピーすることにより、１≦ｉ≦３となるｉ番サブフレームを３枚生成する。なお、本実施形態では、ｒ番入力フレームは０番サブフレームと同一である。また、出力フレーム番号をｎとするとｎ＝４ｒ＋ｉ、又は
0005414500.tif 000002
という関係になる。
0005414500.tif 000003
は、床関数（ｆｌｏｏｒ関数）である。
【００１１】
輝度変動抽出部１０５は、フレーム入力部１０１を介して、過去４フレームの入力画像データから輝度変動を取得し、輝度変動パターン計算部１０６に出力する。輝度変動パターン計算部１０６（輝度変動パターン生成手段）は、着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の変動パターンを生成する。本実施形態では、輝度変動パターン計算部１０６は、式１に従って変動パターンａ（ｎ）を生成する。Ｉ（ｒ）はｒ番入力フレームの対象画素位置の輝度値、Ｍ（ｎ）はｒ番出力フレームに対する対象画素位置の輝度値、Ｏ（ｎ）は、ｎ番出力フレームに対する対象画素位置の輝度値を表す。
【００１２】
0005414500.tif 000004
・・・（式１）
輝度変動パターン計算部１０６は、式１で示すように、着目フレームを含む過去の３枚のフレームの同画素位置の平均値を算出することで、平均画素値で構成される輝度平均値フレームを算出する（第１の算出手段）。また、輝度変動パターン計算部１０６は、着目フレームを含む過去の３枚のフレームの各々と、算出した輝度平均値フレームとの差分を、３枚の輝度変動パターンとして算出する（第２の算出手段）。
【００１３】
輝度変動部１０３（出力フレーム生成手段）は、輝度変動パターン計算部１０６で生成されたｎ枚の変動パターンを、式２に従って、フレームレート変換部１０２で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成する。ｋは、きらめきの強度を示すパラメータである。
【００１４】
Ｏ（ｎ）＝Ｍ（ｎ）＋ｋａ（ｎ）・・・（式２）
フレーム出力部１０４は、輝度変動部１０３が生成したｎ枚の出力フレームをフレームとして構成し外部へ出力する。
【００１５】
［画像処理装置の処理手順（図１０）］
まず、フレーム入力部１０１が、各モジュールの要求に応じて外部入力フレームバッファの入力画像データを参照する（Ｓ１０１）。そして、フレームレート変換部１０２が、図７で示すように、ｒ番入力フレームを参照して画像データをコピーすることにより、１≦ｉ≦３となるｉ番サブフレーム３枚を生成する（Ｓ１０２）。そして、輝度変動抽出部１０５が、過去４フレームの入力画像データから輝度変動成分を取得し（Ｓ１０３）、輝度変動パターン計算部１０６が、上述の式１に従って変動パターンａ（ｎ）を生成する（Ｓ１０４）。更に、輝度変動部１０３が、上述の式２に従ってサブフレームに上述の変動パターンを付加し、出力フレームを生成する（Ｓ１０５）。その後、すべての画素が終了したかを判定し（Ｓ１０６）、終了した場合には、フレーム出力部１０４が、輝度変動部１０３が生成した出力フレームをフレームとして構成し外部へ出力して（Ｓ１０７）、一連の処理を終了する。一方、終了していない場合には、処理対象画素を次に移してＳ１０３に戻る。
【００１６】
本実施形態によれば、図８で示すように、入力周波数よりも大きな輝度変動を持った動画を出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。
【００１７】
本実施形態では、６０Ｈｚ周波数の輝度変動から、２４０Ｈｚ周波数の輝度変動を推定しているが、３０Ｈｚ等他の周波数成分の輝度変動、あるいは、複数の周波数成分の輝度変動から推定することも可能である。また、本実施形態におけるフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。また、画素単位で処理を行っているが、例えばフレームを矩形のブロックに分割し、ブロック単位で画像の特徴量を抽出してもよい。この場合、輝度変動パターンはブロック単位で生成される。
【００１８】
このように、入力、フレームレート変換、輝度変動抽出、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、これらを種々組み合わせた構成をとることも可能である。輝度変動に関して、本実施形態では加算により実現しているが、乗算等輝度に変動を与える方法であれば、どのような方法でもよく、加算に限定されるものではない。
【００１９】
（第１の実施形態の変形例１）
［画像処理装置の構成（図２）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。２０１は輝度変動抽出部、２０２は輝度ピーク検出部、２０３は輝度変動パターン計算部である。輝度変動抽出部２０１は、フレーム入力部１０１を介して、４フレームの入力画像データから輝度変動を取得し、輝度変動パターン計算部２０３に出力する。輝度ピーク検出部２０２は、４フレームの入力画像データの対象位置の画素の輝度値から、式３に従って輝度ピークＬｐｅａｋを計算する。
【００２０】
Ｌｐｅａｋ＝Ｍａｘ（Ｉ（ｒ−３），Ｉ（ｒ−２），Ｉ（ｒ−１），Ｉ（ｒ））・・・（式３）
輝度変動パターン計算部２０３は、式４に従って変動パターンａｎ（ｉ）を生成する。
【００２１】
0005414500.tif 000005
・・・（式４）
［画像処理装置の処理手順（図１１）］
Ｓ１０１、Ｓ１０２、Ｓ１０５及びＳ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、輝度ピーク検出部２０２が、上述の式３に従って輝度ピークＬｐｅａｋを計算し（Ｓ２０３）、輝度変動パターン計算部２０３が、上述の式４に従って変動パターンａｎ（ｉ）を生成する（Ｓ２０４）。
【００２２】
本変形例によれば、輝度の高い部分に、より多くの輝度変動が加わることになり、映像のきらめき感を再現することが可能となる。
【００２３】
（第１の実施形態の変形例２）
［画像処理装置の構成（図３）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。３０１は輝度変動抽出部、３０２はエッジ検出部、３０３は時間輝度変動パターン計算部である。エッジ検出部３０２は、入力画像データの対象画素のエッジを検出し、エッジ強度Ｓｅｄｇｅを輝度変動パターン計算部３０３へ出力する。このとき、エッジ強度は、０≦Ｓｅｄｇｅ≦１の範囲で表現するものとする。輝度変動抽出部３０１は、フレーム入力部１０１を介して、４フレームの入力画像データから輝度変動を取得し、輝度変動パターン計算部３０３に出力する。輝度変動パターン計算部３０３は、式５に従って変動パターンａ（ｎ）を生成する。
【００２４】
0005414500.tif 000006
・・・（式５）
［画像処理装置の処理手順（図１２）］
Ｓ１０１、Ｓ１０２、Ｓ１０５及びＳ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、エッジ検出部３０２が、入力画像データの対象画素のエッジを検出し、エッジ強度Ｓｅｄｇｅを輝度変動パターン計算部３０３へ出力する（Ｓ３０１）。そして、輝度変動パターン計算部３０３が、エッジ強度Ｓｅｄｇｅを用いて、式５に従って変動パターンａ（ｎ）を生成する（Ｓ３０２）。
【００２５】
本変形例によれば、第１の実施形態の効果に加えて、エッジ部分の画像処理効果を制御することにより、動きのあるシーンの境界領域の誤処理を抑制することができる。
【００２６】
（第１の実施形態の変形例３）
［画像処理装置の構成（図４）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。４０１はハイパスフィルタ、４０２は分散値計算部、４０３は輝度変動パターン検出部である。ハイパスフィルタ４０１は、フレーム入力部１０１を介して入力画像データを参照し、ハイパスフィルタ画像を生成する。分散値計算部４０２は、ハイパスフィルタ画像の対象位置の画素を中心とする矩形に対して、分散値ｖ（ｎ）を計算する。輝度変動パターン計算部４０３は、式６に従って変動パターンａ（ｎ）を生成する。
【００２７】
0005414500.tif 000007
・・・（式６）
［画像処理装置の処理手順（図１３）］
Ｓ１０１、Ｓ１０２、Ｓ１０６及びＳ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、バイパスフィルタ４０１が、ハイパスフィルタ処理を施し、ハイパスフィルタ画像を生成する（Ｓ４０１）。そして、分散値計算部４０２が、ハイパスフィルタ画像の対象位置の画素を中心とする矩形に対して、分散値ｖ（ｎ）を計算する（Ｓ４０２）。そして、輝度変動パターン計算部４０３が、上述の式６に従って輝度変動パターンａ（ｎ）を生成する（Ｓ４０３）。
【００２８】
本変形例によれば、輝度変動が乱雑な領域に、時間方向の輝度変動成分を加えることにより、映像のきらめき感を擬似的に再現することが可能となる。なお、本変形例での分散値は、数学的に狭義の分散だけでなく、一般的にデータの分散を表す任意の計算を用いてもよい。また、画像の空間的な乱雑度の算出に、ハイパスフィルタと分散を用いているが、これらに限定されず、空間的なフラクタル特性等を用いてもよい。
【００２９】
（第１の実施形態の変形例４）
［画像処理装置の構成（図５）］
５０１はフレーム入力部、５０２はフレームレート変換部、５０３は輝度変動部、５０４はフレーム出力部、５０５は輝度変動抽出部、５０６は時間輝度変動パターン計算部、５０７は動き探索部、５０８は動き補償部である。本実施形態では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。下記の動作は、画素単位で処理を説明するものであり、これらの処理は水平方向、垂直方向に走査されフレーム内の全画素に適用される。対象画素の座標を（ｘ，ｙ）とする。
【００３０】
フレーム入力部５０１は、各モジュールの要求に応じて外部フレームバッファの入力画像データを参照する。動き探索部５０７は、フレーム入力部５０１を介してｒ番入力フレームとｒ＋１番入力フレームから、ブロック単位で動き探索を行う。このときの上述のブロックに含まれる対象画素の動きベクトルを（ｍｖｘ（ｒ，ｘ，ｙ），ｍｖｘ（ｒ，ｘ，ｙ））とする。動き補償部５０８は、上述の動きベクトルから１≦ｉ≦３となるｉ番サブフレーム３枚を生成する。ただし、ｉ＝ｍｏｄ（ｎ，４）となる。
【００３１】
0005414500.tif 000008
・・・（式７）
なお、本変形例では、ｎ番入力フレームと０番サブフレームとが同一である。輝度変動抽出部５０５は、図８及び図９で示すように、過去４フレームの動きベクトルから計算される画素の移動情報に基づいて、空間的に移動する同一画素のフレーム毎に輝度変動を取得し、輝度変動パターン計算部に出力する。輝度変動パターン計算部では、式１に従って変動パターンａ（ｎ，ｘ，ｙ）を生成する。Ｉ（ｒ，ｘ，ｙ）は、ｒ番入力フレームの輝度値、Ｍ（ｎ，ｘ，ｙ）は、ｎ番出力フレームに対する輝度値は、Ｏ（ｎ，ｘ，ｙ）は、ｎ番出力フレームに対するｉ番サブフレームの輝度値を表す。
【００３２】
0005414500.tif 000009
・・・（式８）
輝度変動部５０６は、式９に従ってサブフレームに上述の変動パターンを付加し、出力フレームを生成する。ｋは、きらめきの強度を示すパラメータである。
【００３３】
Ｏ（ｎ，ｘ，ｙ）＝Ｍ（ｎ，ｘ，ｙ）＋ｋａ（ｎ，ｘ，ｙ）・・・（式９）
フレーム出力部５０４は、輝度変動部が生成した出力フレームをフレーム単位で外部へ出力する。
【００３４】
［画像処理装置の処理手順（図１４）］
まず、フレーム入力部５０１が、入力画像データを入力する（Ｓ５０１）。そして、動き探索部５０７が、ｒ番入力フレームとｒ＋１番入力フレームから、ブロック単位で動き探索を行う（Ｓ５０２）。そして、動き補償部５０８が、式７に従って、動きベクトルから１≦ｉ≦３となるｉ番サブフレーム３枚を生成する（Ｓ５０３）。
【００３５】
そして、輝度変動抽出部５０５が、過去４フレームの動きベクトルから計算される画素の移動情報に基づいて、空間的に移動する同一画素のフレーム毎に輝度変動を取得する（Ｓ５０４）。そして、輝度変動パターン計算部５０６が、上述の式８に従って変動パターンａ（ｎ，ｘ，ｙ）を生成する（Ｓ５０５）。そして、輝度変動部５０３が、上述の式９に従ってサブフレームに上述の変動パターンを付加し、出力フレームを生成する（Ｓ５０６）。
【００３６】
その後、すべての画素が終了したかを判定し（Ｓ５０７）、終了した場合には、フレーム出力部５０４が、輝度変動部５０３が生成した出力フレームをフレームとして構成し外部へ出力して（Ｓ５０８）、一連の処理を終了する。一方、終了していない場合には、処理対象画素を次に移してＳ５０４に戻る。
【００３７】
本変形例によれば、第１の実施形態の効果に加えて、動きのあるシーンにおいても、より正確に輝度変動を再現し、映像にリアリティを持たせることができる。
【００３８】
（第１の実施形態の変形例５）
［画像処理装置の構成（図６）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。６０１は画像特徴抽出部、６０２は輝度変動パターン選択部、６０３は輝度変動パターンデータベースである。画像特徴抽出部６０１（特徴情報抽出手段）は、複数のフレームから各画像の空間周波数特性（特徴情報）を抽出し、空間周波数特性を輝度変動パターン選択部６０２に出力する。輝度変動パターンデータベースには、空間周波数特性とそれに対応する輝度変動パターンが格納されている。輝度変動パターン選択部６０２は、空間周波数特性をインデックス値に変換し、輝度変動パターンデータベース６０３に格納されている輝度変動パターンの中から、インデックス値に対応する輝度変動パターンを取得し、輝度変動部１０３へ出力する。
【００３９】
［画像処理装置の処理手順（図１５）］
Ｓ１０１、Ｓ１０２、Ｓ１０４乃至Ｓ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、画像特徴抽出部６０１が、入力画像の処理画素を中心とする矩形に対して、空間周波数特性を計算する（Ｓ６０１）。そして、輝度変動パターン選択部６０２が、空間周波数特性を輝度変動パターンデータベースのインデックス値に変換する（Ｓ６０２）。
【００４０】
本変形例では、例えば、水面や炎のきらめき等の空間周波数特性とそれに対応する輝度変動パターンをデータベース化しておくことにより、オブジェクトに対して最適なきらめきを付加することができる。なお、本変形例では、画像の特徴量として空間周波数成分を用いているが、これに限定されるものではなく、フラクタル次元、明るさ、色、又はそれらの任意の組み合わせを特徴としてもよい。
【００４１】
［第１の実施形態の他の変形例］
第１の実施形態及びその変形例１乃至４では、画像の特徴情報として、複数のフレーム間における輝度値、空間乱雑度、エッジ位置、輝度ピーク、動きベクトルを利用し、輝度変動パターンを生成しているが、この特徴情報は、上述の実施形態又は変形例以外にも、単一又は任意の組み合わせとすることできる。
＜第２の実施形態＞
［画像処理装置の構成（図１６）］
７０１はフレーム入力部、７０２はフレームレート変換部、７０３は画像分離部、７０４は輝度変動部、７０５はフレーム出力部、７０６は輝度変動パターン計算部、７０７は輝度変動抽出部である。
【００４２】
本実施形態では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。フレーム入力部７０１は、各モジュールの要求に応じて外部入力フレームバッファの入力画像データを入力する。
【００４３】
フレームレート変換部７０２は、フレーム入力部７０１を介して、ｒ番入力フレームＳ７０１を参照して画像データをコピーすることにより、ｉ＝｛１，２，３｝とするｉ番サブフレームＳ７０２を３枚生成する。
【００４４】
なお、本実施形態では、初回から連続するサブフレーム及び出力フレームの通し番号をｎとし、ｉ＝０となる０番サブフレームをｒ番入力フレームと同一の画像として処理する。よって、ｎとｒ、ｉとの対応関係は、式１０で表現される。
【００４５】
ｎ＝４ｒ＋ｉ・・・（式１０）
また、Ｉ（ｒ）はｒ番入力フレームＳ７０１の対象画素位置の輝度値、Ｍ（ｎ）はｎ番出力フレームＳ７０２の対象画素の輝度値、Ｏ（ｎ）はｎ番出力フレームＳ７０４に対する対象画素の輝度値として表す。
【００４６】
画像分離部７０３では、所定のパラメータを用いて、入力されるサブフレームＭ（ｎ）を空間的に分割してｌ×ｍ個のサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）を生成する。ｌの取り得る値の範囲は１≦ｌ≦ｌｍａｘであり、ｌ、ｌｍａｘ共に１以上の整数の値をとる。ｍの取り得る値の範囲は１≦ｍ≦ｍｍａｘであり、ｍ、ｍｍａｘ共に１以上の整数の値をとる。本実施形態では、ｌｍａｘ＝４、ｍｍａｘ＝３とし、１２個のサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）を生成する。
【００４７】
［画像分離部７０３の処理手順（図１７）］
画像分離部７０３は、輝度レベル分離部７１１と、空間周波数帯域分離部７１２（空間周波数分離手段）と、分離画像生成部７１３とを有する。輝度レベル分離部７１１は、ｎ枚のサブフレームのそれぞれを予め定めた輝度レベル毎に分離して、複数の輝度レベル分離フレームを生成する。すなわち、式１１で表すように、輝度閾値Ｌｔｈ＿ｍｉｎ（ｌ）及びＬｔｈ＿ｍａｘ（ｌ）を用いて、入力されるＳ７１１で示すサブフレームＭ（ｎ）を画素毎に分離して、Ｓ７１２で示す輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）を生成する。式１１において、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）は、ｎ番出力フレームＳ７１１に対する対象画素の輝度値として表している。
【００４８】
0005414500.tif 000010
・・・（式１１）
式１１において、
0005414500.tif 000011
は論理積を表す演算子であり、表１又は表２に示すような演算結果を導く。
（表１）
0005414500.tif 000012
（表２）
0005414500.tif 000013
Ｌｔｈ＿ｍｉｎ（ｌ）及びＬｔｈ＿ｍａｘ（ｌ）は１組以上のｌ組を設定することができる。
【００４９】
本実施形態では、サブフレームＭ（ｎ）の信号レンジ全てを用いて、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）を生成するが、サブフレームの信号レンジの一部を用いて生成してもよい。
【００５０】
例えば、中間画像の信号レンジが０〜２５５の値をとり、ｌ＝１，２，３の３つの値をとるとき、Ｌｔｈ＿ｍｉｎ（ｌ）及びＬｔｈ＿ｍａｘ（ｌ）を３組用いて、Ｌｔｈ＿ｍｉｎ（０）＝０、Ｌｔｈ＿ｍａｘ（０）＝１２７、Ｌｔｈ＿ｍｉｎ（１）＝１２８、Ｌｔｈ＿ｍａｘ（１）＝１９１、Ｌｔｈ＿ｍｉｎ（２）＝１９２、Ｌｔｈ＿ｍａｘ（２）＝２２３、Ｌｔｈ＿ｍｉｎ（３）＝２２４、Ｌｔｈ＿ｍａｘ（３）＝２５５と各輝度閾値を設定するとき、信号レンジが０〜１２７、１２８〜１９１、１９２〜２２３、２２４〜２５５となる４つの輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）を生成できる。
【００５１】
空間周波数帯域分離部７１２は、ｎ枚のサブフレームのそれぞれを予め定めた空間周波数帯域毎に分離して、複数の空間周波数帯域分離フレームを生成する。すなわち、入力されるＳ７１１で示すサブフレームＭ（ｎ）をｍ個の空間周波数帯域毎に分割して入力されるＳ７１３で示す空間周波数帯域分離フレームＳｉｍｇ（ｍ，ｎ）を生成する。空間周波数帯域分離フレームＳｉｍｇ（ｍ，ｎ）は式１２に示すように、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算することで得られる。
【００５２】
Ｓｉｍｇ（ｍ，ｎ）＝Ｍ（ｎ）＊ｆ（ｍ）・・・（式１２）
ｆ（ｍ）には、ローパスフィルタやバンドパスフィルタやエッジ検出フィルタ等を用いることができる。例として、ｍ＝１，２，３の３つの値を取るとき、フィルタ特性の異なる３つのフィルタ関数ｆ（１）、ｆ（２）、ｆ（３）を用いる。ｆ（１）のフィルタ形状は式１３で表すローパスフィルタのフィルタ形状を持っている。ただし、ｔ、ｕの取り得る値は、−２、−１、０、１、２である。
【００５３】
0005414500.tif 000014
・・・（式１３）
ｆ（２）のフィルタ形状は式１４で表すバンドパスフィルタのフィルタ形状を持っている。ただし、式１４の右辺上式において、ｔ、ｕの取り得る値は、−１、０、１であり、式１４の右辺下式において、ｔ、ｕの取り得る値は、−２、２である。
【００５４】
0005414500.tif 000015
・・・（式１４）
ｆ（３）のフィルタ形状は式１５で表すバンドパスフィルタのフィルタ形状を持っている。ただし、式１５の右辺上式において、ｔ、ｕの取り得る値は、０であり、式１４の右辺下式において、ｔ、ｕの取り得る値は、−２、−１、１、２である。
【００５５】
0005414500.tif 000016
・・・（式１５）
ｆ（１）のフィルタ形状は表３、ｆ（２）のフィルタ形状は表４、ｆ（３）のフィルタ形状は表５で、それぞれ確認することができる。
（表３）
0005414500.tif 000017
（表４）
0005414500.tif 000018
（表５）
0005414500.tif 000019
本実施形態では、サブフレームの全空間周波数分割帯域を用いて、空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）を生成するが、サブフレームの空間周波数分割帯域の一部を用いて生成してもよい。
【００５６】
分離画像生成部７１３は、輝度レベル分離フレーム及び空間周波数帯域分離フレームに基づいて、複数（ｍ枚）のサブ分離フレームを生成する。すなわち、入力されるＳ７１２で示す輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）と、入力されるＳ７１３で示す空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）を用いて判定を行い、出力されるＳ７１４で示すサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）を生成する。生成においては、式１６に示すように、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）の全ての組み合わせにおいて行う。式１６において、サブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）は、ｎ番輝度レベル分離フレームＳ７１２とｎ番空間周波数分離フレームＳ７１３に対する対象画素の輝度値として表している。
【００５７】
Ｊｉｍｇ（ｌ，ｍ，ｎ）＝Ｌｉｍｇ（ｌ，ｎ）×Ｓｉｍｇ（ｍ，ｎ）・・・（式１６）
［画像分離部７０３の処理手順（図２６）］
Ｓ７２１は、画像分離部７０３の処理の開始を表している。Ｓ７２２では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）とサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）に必要となるバッファをメモリ領域に割り当てる。本実施形態では輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）は４フレーム、空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）は３フレーム、サブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）は１２フレーム必要となり、そのフレーム数だけ本工程でメモリ領域に割り当てる。
【００５８】
Ｓ７２３では、フレームカウンタのリセットを行う。本実施形態では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）のフレームカウンタｌと空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）のフレームカウンタｍをそれぞれ１にリセットする。
【００５９】
Ｓ７２４は、フレームカウンタｌに応じたループである。本実施形態では、ｌが４以下の場合はＳ７２５へ処理を進め、それ以外の場合はＳ７２８へ処理を進める。Ｓ７２５では、輝度閾値Ｌｔｈ＿ｍｉｎ（ｌ）及びＬｔｈ＿ｍａｘ（ｌ）を用いて、サブフレームＭ（ｎ）の画素値判定を行う。サブフレームＭ（ｎ）の当該画素値がＬｔｈ＿ｍｉｎ（ｌ）以上、Ｌｔｈ＿ｍａｘ（ｌ）以下である場合はＳ７２６へ処理を進め、それ以外の場合はＳ７２７へ処理を進める。Ｓ７２６では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）の当該画素位置にサブフレームＭ（ｎ）の当該画素値をコピーする。Ｓ７２７では、フレームカウンタｌをインクリメントする。Ｓ７２８は、フレームカウンタｍに応じたループである。本実施形態では、ｌが３以下の場合はＳ７２９へ処理を進め、それ以外の場合はＳ７３１へ処理を進める。ＳＳ７２９では、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算して空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）を算出する。Ｓ７３０では、フレームカウンタｍをインクリメントする。Ｓ７３１では、フレームカウンタのリセットを行う。Ｓ７３２は、フレームカウンタｌに応じたループである。本実施形態では、ｌが４以下の場合はＳ７３３へ処理を進め、それ以外の場合はＳ７３７へ処理を進める。
【００６０】
Ｓ７３３は、フレームカウンタｍに応じたループである。本実施形態では、ｌが３以下の場合はＳ７３４へ処理を進め、それ以外の場合はＳ７３６へ処理を進める。Ｓ７３４では、空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）とサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）の積をとることでサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）を生成する。Ｓ７３５では、フレームカウンタｍをインクリメントする。Ｓ７３６では、フレームカウンタｌをインクリメントする。
【００６１】
Ｓ７３７は、画像分離部７０３の処理の終了を表している。輝度変動パターン計算部７０６では、変動パターンｆｒ（ｌ，ｍ，ｎ）を計算する。本実施形態では、ｆｒ（ｌ，ｍ，ｎ）は任意の時間関数であり、第１の実施形態で示したような輝度変動抽出部７０７から抽出される輝度変動値に基づいて変動パターンを作成するのではなく、予めメモリ上にデータとして記憶されているものとする。
【００６２】
図１８に、ｌ＝２、ｍ＝２の場合の変動パターンｆｒ（ｌ，ｍ，ｎ）の模式図を示す。また、ｆｒ（ｌ，ｍ，ｎ）の総数はｌ×ｍ個である必要はなく、ｌ、ｍの数に依存しない数ｓの関数ｆｒ（ｓ，ｎ）であったり、単一の変動成分ｆｒ（ｎ）であったりしてもよい。輝度変動抽出部７０７では、フレーム入力部７０１を介して入力フレームＳ７０１を参照して輝度変動成分Ｓ７０７を計算する。
【００６３】
本実施形態は、輝度変動パターン計算部７０６で計算されるｆｒ（ｌ，ｍ，ｎ）は任意の時間関数であることから、輝度変動抽出部７０７の機能性に着眼したものではなく、そのため、これより詳細な輝度変動抽出部７０７の説明及び輝度変動パターン計算部７０６との関連を説明しない。
【００６４】
輝度変動部７０４では、式１７に従ってＳ７０３で表すサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）とＳ７０６で表す変動パターンｆｒ（ｌ，ｍ，ｎ）ときらめき強度パラメータｋを用いて、輝度変動サブ分離フレームＡｉｍｇ（ｌ，ｍ，ｎ）を生成する。
【００６５】
Ａｉｍｇ（ｌ，ｍ，ｎ）＝Ｊｉｍｇ（ｌ，ｍ，ｎ）×｛ｋｆｒ（ｌ，ｍ，ｎ）＋１｝・・・（式１７）
式１７では、サブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）に変動パターンｆｒ（ｌ，ｍ，ｎ）を乗じて輝度変動サブ分離フレームＡｉｍｇ（ｌ，ｍ，ｎ）を算出しているが、発明はこれに限定されることなく、サブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）に変動パターンｆｒ（ｌ，ｍ，ｎ）を加算して輝度変動サブ分離フレームＡｉｍｇ（ｌ，ｍ，ｎ）を算出してもよく、また、乗算と加算を組み合わせて算出してもよい。
【００６６】
また、式１７では、サブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）に一様に変動パターンｆｒ（ｌ，ｍ，ｎ）を乗じているが、以下の式１８で示すように、時空間的に変動する変動パターンｆｒ（ｌ，ｍ，ｎ，ｘ，ｙ）を乗じてもよい。
【００６７】
Ａｉｍｇ（ｌ，ｍ，ｎ）＝Ｊｉｍｇ（ｌ，ｍ，ｎ）×｛ｋｆｒ（ｌ，ｍ，ｎ，ｘ，ｙ）＋１｝・・・（式１８）
式１８において、ｆｒ（ｌ，ｍ，ｎ，ｘ，ｙ）は式１９で表すｆｒ（ｌ，ｍ，ｎ）にｘ方向とｙ方向の空間変動を加えたものを表している。
【００６８】
ｆｒ（ｌ，ｍ，ｎ，ｘ，ｙ）＝ｆｒ（ｌ，ｍ，ｎ）×ｆｓ（ｘ，ｙ）・・・（式１９）
ｆｓ（ｘ，ｙ）は任意の空間関数であり、例えば式２０で表す疑似乱数ｆ（ｚ）＝ｒａｎｄ（ｚ）を適用することができる。ｆ（ｚ）は入力値ｚにより０から１に変化する関数である。
【００６９】
ｆｓ（ｘ，ｙ）＝ｒａｎｄ（ｘ＋ｙＸ）・・・（式２０）
式２０において、ＸはサブフレームＭ（ｎ）の水平解像度である。式２０により、ｆｓ（ｘ，ｙ）はサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）の画素毎に異なる値となるため、式１９により生成される変動パターンｆｒ（ｌ，ｍ，ｎ，ｘ，ｙ）は画素毎に異なる値を持つ時空間変動となる。
【００７０】
また、式２０の代わりに以下に示す式２１を適用することも可能である。
【００７１】
ｆｓ（ｘ，ｙ）＝ｒａｎｄ（ｘ−ｘ％ｂ＋（ｙ−ｙ％ｂ）×Ｘ）・・・（式２１）
式２１において、ｂはブロック係数であり１以上の整数を取る。％は剰余算を表す演算子であり、例えばｘｐ＝７２０、ｂ＝１６のとき、ｘｐ％ｂ＝０であり、ｘｐ＝３００、ｂ＝１９のとき、ｘｐ％ｂ＝１５である。
【００７２】
式２１により、ｆｓ（ｘ，ｙ）はサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）に対してブロック係数ｂを一辺とする正方形毎に異なる値となるため、式１９により生成される変動パターンｆｒ（ｌ，ｍ，ｎ，ｘ，ｙ）はブロック係数ｂを一辺とする正方形毎に異なる値を持つ時空間変動となる。
【００７３】
その後に、式２２に示すように、全ての輝度変動サブ分離フレームＡｉｍｇ（ｌ，ｍ，ｎ）を合成してＳ７０４で表す出力フレームＯ（ｎ）を生成する。
【００７４】
0005414500.tif 000020
・・・（式２２）
本実施形態では、ｌ０＝１、ｍ０＝１、ｌｍａｘ＝４、ｍｍａｘ＝３である。
【００７５】
フレーム出力部７０５では、輝度変動部が生成した出力フレームＯ（ｎ）をフレームとして構成し外部へ出力する。
【００７６】
本実施形態によれば、入力周波数よりも大きな輝度変動を持った動画が出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。
【００７７】
本実施形態では、６０Ｈｚ周波数の画像から２４０Ｈｚ周波数の画像を生成しているが、それに限定されるものでない。また、本実施形態におけるフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。このように、入力、フレームレート変換、輝度変動抽出、画像分離、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、それぞれの機能の処理単位は、さまざまに組み合わせる構成をとることも可能である。輝度変動に関して、本実施形態では乗算により実現しているが、輝度に変動を与える方法であれば、どのような方法でもよく、乗算に限定されるものではない。
【００７８】
（第２の実施形態の変形例１）
［画像処理装置の構成（図１９）］
８０１はフレーム入力部、８０２はフレームレート変換部、８０３は画像分離部、８０４は輝度変動部、８０５はフレーム出力部、８０６は輝度変動パターン計算部、８０７は輝度変動抽出部である。本変形例では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。なお、本変形例では、初回から連続するサブフレーム及び出力フレームの通し番号をｎとし、ｉ＝０となる０番サブフレームをｒ番入力フレームと同一の画像として処理する。よって、ｎとｒ、ｉとの対応関係は、式２３で表現される。
【００７９】
ｎ＝４ｒ＋ｉ・・・（式２３）
また、Ｉ（ｒ）はｒ番入力フレームＳ８０１の対象画素位置の輝度値、Ｍ（ｎ）はｎ番サブフレームＳ８０２の対象画素の輝度値、Ｏ（ｎ）はｎ番出力フレームＳ８０４に対する対象画素の輝度値として表す。
【００８０】
フレーム入力部８０１、フレームレート変換部８０２、輝度変動部８０４、フレーム出力部８０５、輝度変動抽出部８０７の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。輝度変動パターン計算部８０６では、変動パターンｆｒ（ｌ，ｍ，ｎ）を計算する。また、計算した変動パターンの周波数特性を解析する。
【００８１】
本変形例では、ｆｒ（ｌ，ｍ，ｎ）は任意の時間関数である。また、画像情報に基づいて変動パターンを作成するのではなく、予めメモリ上にデータとして記憶されているものとする。変動パターンｆｒ（ｌ，ｍ，ｎ）の周波数特性も予め解析されてメモリ上にデータとして記憶されているものとする。
【００８２】
図２０に、ｌ＝２、ｍ＝２の場合の変動パターンｆｒ（ｌ，ｍ，ｎ）の模式図を示す。ｆｒ（ｌ，ｍ，ｎ）の総数はｌ×ｍ個である必要はなく、ｌ、ｍの数に依存しない数ｓの関数ｆｒ（ｓ，ｎ）であったり、単一の変動成分ｆｒ（ｎ）であったりしてもよい。
【００８３】
変動パターンの周波数特性の解析では、式２４に示す所定のパワーＦｔｈ以上を示す最大周波数ｋｍａｘが算出される。
【００８４】
Ｆ（ｌ，ｍ，ｋｍａｘ）≧Ｆｔｈ・・・（式２４）
ｆｒ（１，１，ｎ）ではＦ（１，１，ｋ１）＝Ｆｔｈであり、ｋｍａｘ＝ｋ１、ｆｒ（１，２，ｎ）ではＦ（１，２，ｋ２）＝Ｆｔｈであり、ｋｍａｘ＝ｋ２、ｆｒ（２，１，ｎ）では、Ｆ（２，１，ｋ３）＝Ｆｔｈであり、ｋｍａｘ＝ｋ３、ｆｒ（２，２，ｎ）では、Ｆ（２，２，ｋ４）＝Ｆｔｈであり、ｋｍａｘ＝ｋ４がそれぞれ所定のパワー以上を示す最大周波数である。
【００８５】
変動パターンの周波数特性は、式２５で示す離散フーリエ変換を用いて算出することが可能である。Ｎは変動パターンの周期であり、ｆ（ｌ，ｍ，ｎ）＝ｆ（ｌ，ｍ，ｎ＋Ｎ）が成り立つ。
【００８６】
0005414500.tif 000021
・・・（式２５）
画像分離部８０３は、Ｓ８０５で表す輝度変動パターン計算部８０６から入力する変動パターンｆｒ（ｌ，ｍ，ｎ）の最大周波数情報ｋｍａｘを用いて、所定の空間周波数帯域を持つ空間周波数帯域分離フレームＳｉｍｇ（ｍ，ｎ）を生成し、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）及び空間周波数帯域分離フレームＳｉｍｇ（ｍ，ｎ）を用いてサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）を生成する。
【００８７】
［画像分離部８０３の詳細構成（図２１）］
８１１は輝度レベル分離部であり、８１２は空間周波数帯域分離部であり、８１３は分離画像生成部である。輝度レベル分離部８１１、分離画像生成部８１３の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。
【００８８】
空間周波数帯域分離部８１２は、ｍ個の空間周波数帯域毎にサブフレームＭ（ｎ）を分割して空間周波数帯域分離フレームＳｉｍｇ（ｍ，ｎ）を生成する。空間周波数帯域分離フレームＳｉｍｇ（ｍ，ｎ）は式２６に示すように、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算することで得られる。
【００８９】
Ｓｉｍｇ（ｍ，ｎ）＝Ｍ（ｎ）＊ｆ（ｍ）・・・（式２６）
ｆ（ｍ）には、ローパスフィルタやバンドパスフィルタやエッジ検出フィルタ等を用いることができ、Ｓ８１５で表す入力される変動パターンｆｒ（ｌ，ｍ，ｎ）の最大周波数情報ｋｍａｘ（ｍ）を用いてｆ（ｍ）のフィルタ特性を決定する。例えば、ガウシアンフィルタを用いる場合、以下の式２７で示すように、バンドパスフィルタのフィルタ特性を決定することができる。
【００９０】
0005414500.tif 000022
・・・（式２７）
但し、式２７の右辺上式において、−Ｃ１ｋｍａｘ≦ｔ≦Ｃ１ｋｍａｘ、かつ、−Ｃ１ｋｍａｘ≦ｕ≦Ｃ１ｋｍａｘである。また、式２７の右辺下式において、−Ｃ２ｋｍａｘ≦ｔ＜−Ｃ１ｋｍａｘ、Ｃ１ｋｍａｘ＜ｔ≦Ｃ２ｋｍａｘ、−Ｃ２ｋｍａｘ≦ｕ＜−Ｃ１ｋｍａｘ、又はＣ１ｋｍａｘ＜ｕ≦Ｃ２ｋｍａｘである。Ｃ１、Ｃ２、Ｃ３、Ｃ４は、フィルタ特性係数であり、取り得る値の範囲は１以上の整数である。
【００９１】
［画像分離部８０３の処理手順（図２７）］
Ｓ８２１は、画像分離部８０３の処理の開始を表している。Ｓ８２２では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）とサブ分離フレームに必要となるバッファをメモリ領域に割り当てる。本変形例では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）は４フレーム、空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）は３フレーム、サブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）は１２フレーム必要となり、そのフレーム数だけ本工程でメモリ領域に割り当てる。Ｓ８２３では、フレームカウンタのリセットを行う。本変形例では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）のフレームカウンタｌと空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）のフレームカウンタｍをそれぞれ１にリセットする。Ｓ８２４は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ８２５へ処理を進め、それ以外の場合はＳ８２８へ処理を進める。Ｓ８２５では、輝度閾値Ｌｔｈ＿ｍｉｎ（ｌ）及びＬｔｈ＿ｍａｘ（ｌ）を用いて、サブフレームＭ（ｎ）の画素値判定を行う。サブフレームＭ（ｎ）の当該画素値がＬｔｈ＿ｍｉｎ（ｌ）以上、Ｌｔｈ＿ｍａｘ（ｌ）以下である場合はＳ８２６へ処理を進め、それ以外の場合はＳ８２７へ処理を進める。Ｓ８２６では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）の当該画素位置にサブフレームＭ（ｎ）の当該画素値をコピーする。Ｓ８２７では、フレームカウンタｌをインクリメントする。
【００９２】
Ｓ８２８は、フレームカウンタｍに応じたループである。本変形例では、ｌが３以下の場合はＳ８２９へ処理を進め、それ以外の場合はＳ８３２へ処理を進める。Ｓ８２９では、変動パターンｆｒ（ｌ，ｍ，ｎ）の最大周波数情報ｋｍａｘ（ｍ）を入力し、ｋｍａｘ（ｍ）を用いてｆ（ｍ）のフィルタ特性を決定する。Ｓ８３０では、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算して空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）を算出する。Ｓ８３１では、フレームカウンタｍをインクリメントする。Ｓ８３２では、フレームカウンタのリセットを行う。Ｓ８３３は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ８３４へ処理を進め、それ以外の場合はＳ８３８へ処理を進める。Ｓ８３４は、フレームカウンタｍに応じたループである。本変形例では、ｌが３以下の場合はＳ８３５へ処理を進め、それ以外の場合はＳ８３７へ処理を進める。Ｓ８３５では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）の積をとることでサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）を生成する。Ｓ８３６では、フレームカウンタｍをインクリメントする。Ｓ８３７では、フレームカウンタｌをインクリメントする。Ｓ８３８は、画像分離部８０３の処理の終了を表している。
【００９３】
本変形例によれば、入力周波数よりも大きな輝度変動を持った動画を出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。
【００９４】
また、同時に画像の空間周波数帯域成分に対応して重畳する輝度変動の時間周波数を設定できるので、第２の実施形態に比べて、空間的により精度よく輝度変動を重畳することができる。
【００９５】
本変形例では、６０Ｈｚ周波数の画像から２４０Ｈｚ周波数の画像を生成しているが、それに限定されるものでない。また、本変形例に係るフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。このように、入力、フレームレート変換、輝度変動抽出、画像分離、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、それぞれの機能の処理単位は、さまざまに組み合わせる構成をとることも可能である。輝度変動に関して、本変形例では乗算により実現しているが、輝度に変動を与える方法であれば、どのような方法でもよく、乗算に限定されるものではない。
【００９６】
（第２の実施形態の変形例２）
［画像処理装置の構成（図２２）］
９０１はフレーム入力部、９０２はフレームレート変換部、９０３は画像分離部、９０４は輝度変動部、９０５はフレーム出力部、９０６は輝度変動パターン計算部、９０７は輝度変動抽出部である。
【００９７】
本変形例では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。なお、本変形例では、初回から連続するサブフレーム及び出力フレームの通し番号をｎとし、ｉ＝０となる０番サブフレームをｒ番入力フレームと同一の画像として処理する。よって、ｎとｒ、ｉとの対応関係は、式２８で表現される。
【００９８】
ｎ＝４ｒ＋ｉ・・・（式２８）
また、Ｉ（ｒ）はｒ番入力フレームＳ９０１の対象画素位置の輝度値、Ｍ（ｎ）はｎ番出力フレームＳ９０２の対象画素の輝度値、Ｏ（ｎ）はｎ番出力フレームＳ９０４に対する対象画素の輝度値として表す。
【００９９】
フレーム入力部９０１、フレーム出力部９０５、輝度変動抽出部９０７の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。
フレームレート変換部９０２では、画像分離部９０３にＳ９０２で表すサブフレームＭ（ｎ）と、Ｓ９０５で表すブロック情報Ｂｉｎｆｏ（ｎ）と、Ｓ９０６で表すコピー領域情報Ｃｉｎｆｏ（ｎ）を出力する。
【０１００】
ブロック情報Ｂｉｎｆｏ（ｎ）は、フレームレート変換部９０２の動きベクトル検出単位を表す情報であり、必要十分に該情報を表現するためにデータの形態に限定を持たない。例えば、８×８の正方形ブロック単位で動きベクトル検出が行われる場合は、Ｂｉｎｆｏ（ｎ）＝８であり、１６×８の長方形ブロック単位で動きベクトル検出が行われる場合は、Ｂｉｎｆｏ（ｎ，ｘ）＝１６、Ｂｉｎｆｏ（ｎ，ｙ）＝８となる。
【０１０１】
コピー領域情報Ｃｉｎｆｏ（ｎ）は、フレームレート変換部９０２での動きベクトル検出単位の参照フレームから画素をコピーしてサブフレームＭ（ｎ）を生成した際のコピー画素の位置情報であり、必要十分に該情報を表現するためにデータの形態に限定を持たない。例えば、コピー領域情報Ｃｉｎｆｏ（ｎ，ｘｐ，ｙｑ）において、対象画素がコピー画素のときは１、対象画素が補間画素のときは０の値を取る。
【０１０２】
画像分離部９０３は、所定のパラメータを用いて、入力されるｎ時刻時（ｎ＝４ｒ＋ｉ）のサブフレームＭ（ｎ）を空間的に分割してｊ×ｋ×ｌ×ｍ個のサブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。ｊの取り得る値の範囲は１≦ｊ≦ｊｍａｘであり、ｊは１以上の整数の値をとり、ｊｍａｘ＝２である。ｋの取り得る値の範囲は１≦ｋ≦ｋｍａｘであり、ｋ、ｋｍａｘ共に１以上の整数の値をとる。ｌの取り得る値の範囲は１≦ｌ≦ｌｍａｘであり、ｌ、ｌｍａｘ共に１以上の整数の値をとる。ｍの取り得る値の範囲は１≦ｍ≦ｍｍａｘであり、ｍ、ｍｍａｘ共に１以上の整数の値をとる。本変形例では、ｊｍａｘ＝２、ｋｍａｘ＝２、ｌｍａｘ＝４、ｍｍａｘ＝３とし、４８個のサブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。
【０１０３】
［画像分離部９０３の詳細構成（図２３）］
９１１は輝度レベル分離部、９１２は空間周波数帯域分離部、９１３は分離画像生成部、９１４はコピー領域分離部、９１５はブロック分離部である。輝度レベル分離部９１１、空間周波数帯域分離部９１２の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。
【０１０４】
分離画像生成部９１３では、輝度レベル分離部９１１から出力される輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）Ｓ９１２と、空間周波数帯域分離部９１２から出力される空間周波数帯域分離フレームＳｉｍｇ（ｍ，ｎ）Ｓ９１３と、後述するコピー領域分離部９１４から出力されるコピー領域分離フレームＣｉｍｇ（ｊ，ｎ）Ｓ９１５と、後述するブロック分離部９１５から出力されるブロック分離フレームＢｉｍｇ（ｋ，ｎ）Ｓ９１６を用いて、以下に示す式２９よりサブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。
【０１０５】
0005414500.tif 000023
・・・（式２９）
式２９は、上述の表１又は表２に示すような演算結果を導く。コピー領域分離部９１４は、Ｓ９１７で示すフレームレート変換部９０２が出力するコピー領域情報Ｃｉｎｆｏ（ｎ）に基づいてＳ９１１で示すサブフレームＭ（ｎ）を分割してＳ９１５で示すコピー領域分離フレームＣｉｍｇ（ｊ，ｎ）を生成する。コピー領域分離フレームＣｉｍｇ（ｊ，ｎ）は、補間画素とコピー画素にサブフレームＭ（ｎ）の各画素を分離することで生成される。
【０１０６】
例えば、コピー領域情報Ｃｉｎｆｏ（ｎ）において、対象画素がコピー画素のときは１、対象画素が補間画素のときは０の値を取る２値画像である場合、式３０に示すように、コピー領域分離フレームＣｉｍｇ（ｊ，ｎ）はサブフレームＭ（ｎ）とコピー領域情報Ｃｉｎｆｏ（ｎ）を用いて算出することができる。
【０１０７】
Ｃｉｍｇ（ｊ，ｎ）＝Ｍ（ｎ）×｛Ｃｉｎｆｏ（ｎ）−ｊ｝２・・・（式３０）
ブロック分離部９１５は、フレームレート変換部９０２が出力するＳ９１８で表すブロック情報Ｂｉｎｆｏ（ｎ）に基づいて、サブフレームＭ（ｎ）を分割することで、Ｓ９１６で表すブロック分離フレームＢｉｍｇ（ｋ，ｎ）を生成する。ブロック分離フレームＢｉｍｇ（ｋ，ｎ）は、以下に示す２つの方法を含む、ブロック情報Ｂｉｎｆｏ（ｎ）に基づく所定の方法のうち、いずれかの方法を選択してサブフレームＭ（ｎ）を分離することで生成される。
【０１０８】
一方の分離方法（分離方法１）としては、ブロック境界に隣接する画素領域とそれ以外の領域に分ければよい。他方の分離方法（分離方法２）としては、特定の数列パターンに一致するブロック群毎に分離すればよい。
【０１０９】
以下にこれらの２つの分離方法の詳細な処理について説明する。分離方法１を用いてブロック分離フレームＢｉｍｇ（ｋ，ｎ）を生成する場合、以下の式３１に示すようにブロック分離フレームＢｉｍｇ（ｋ，ｎ）を生成する。
【０１１０】
0005414500.tif 000024
・・・（式３１）
式３１において、
0005414500.tif 000025
は論理和を表す演算子であり、表６又は表７に示すような演算結果を導く。
（表６）
0005414500.tif 000026
（表７）
0005414500.tif 000027
また、式３１において、％は剰余算を表す演算子であり、例えばｘｐ＝７２０、ｂ＝１６のとき、ｘｐ％ｂ＝０であり、ｘｐ＝３００、ｂ＝１９のとき、ｘｐ％ｂ＝１５である。
【０１１１】
式３１によるブロック分離フレームＢｉｍｇ（ｋ，ｎ）の模式図を図２４に示す。Ｂｉｎｆｏ（ｎ）＝８で、サブフレームＩ（ｎ）は８×８のブロックサイズを用いて補間画像を生成する。太線がブロック情報Ｂｉｎｆｏ（ｎ）に基づくブロック境界である。白地の矩形が有効画素であり、灰色の矩形が無効画素である。Ｂｉｍｇ（１，ｎ）ではブロック境界以外の画素が有効となり、Ｂｉｍｇ（２，ｎ）ではその反対にブロック境界の画素が有効となる。
【０１１２】
分離方法２を用いてブロック分離フレームＢｉｍｇ（ｋ，ｎ）を生成する場合、以下の式３２に示すようにブロック分離フレームＢｉｍｇ（ｋ，ｎ）を生成する。
【０１１３】
0005414500.tif 000028
・・・（式３２）
式３２は、上述の表１又は表２に示すような演算結果を導く。また、％は剰余算を表す演算子であり、例えばｘｐ＝７２０、ｂ＝１６のとき、ｘｐ％ｂ＝０であり、ｘｐ＝３００、ｂ＝１９のとき、ｘｐ％ｂ＝１５である。
【０１１４】
式３２によるブロック分離フレームＢｉｍｇ（ｊ，ｎ）の模式図を図２５に示す。Ｂｉｎｆｏ（ｎ）＝８で、サブフレームＩ（ｎ）は８×８のブロックサイズを用いて補間画像を生成する。太線がブロック情報Ｂｉｎｆｏ（ｎ）に基づくブロック境界である。白地の矩形が有効画素であり、灰色の矩形が無効画素である。Ｂｉｍｇ（１，ｎ）、Ｂｉｍｇ（２，ｎ）共に８×８のブロックサイズ毎の千鳥格子状に画素が有効となり、Ｂｉｍｇ（１，ｎ）とＢｉｍｇ（２，ｎ）で画素を分割している。
【０１１５】
［画像分離部９０３の処理手順（図２８）］
Ｓ９２１は、画像分離部９０３の処理の開始を表している。Ｓ９２２では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）とコピー領域分離フレームＣｉｍｇ（ｊ，ｎ）とブロック分離フレームＢｉｍｇ（ｋ，ｎ）とサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）に必要となるバッファをメモリ領域に割り当てる。本変形例では輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）は４フレーム、空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）は３フレーム、コピー領域分離フレームＣｉｍｇ（ｊ，ｎ）は２フレーム、ブロック分離フレームＢｉｍｇ（ｋ，ｎ）は２フレーム、サブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）は４８フレーム必要となり、そのフレーム数だけ本工程でメモリ領域に割り当てる。
【０１１６】
Ｓ９２３では、フレームカウンタのリセットを行う。本変形例では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）のフレームカウンタｌと空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）のフレームカウンタｍとコピー領域分離フレームＣｉｍｇ（ｊ，ｎ）のフレームカウンタｊとブロック分離フレームＢｉｍｇ（ｋ，ｎ）のフレームカウンタｋをそれぞれ１にリセットする。
【０１１７】
Ｓ９２４は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ９２５へ処理を進め、それ以外の場合はＳ９２８へ処理を進める。
【０１１８】
Ｓ９２５では、輝度閾値Ｌｔｈ＿ｍｉｎ（ｌ）及びＬｔｈ＿ｍａｘ（ｌ）を用いて、サブフレームＭ（ｎ）の画素値判定を行う。サブフレームＭ（ｎ）の当該画素値がＬｔｈ＿ｍｉｎ（ｌ）以上、Ｌｔｈ＿ｍａｘ（ｌ）以下である場合はＳ９２６へ処理を進め、それ以外の場合はＳ９２７へ処理を進める。Ｓ９２６では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）の当該画素位置にサブフレームＭ（ｎ）の当該画素値をコピーする。Ｓ９２７では、フレームカウンタｌをインクリメントする。
【０１１９】
Ｓ９２８は、フレームカウンタｍに応じたループである。本変形例では、ｌが３以下の場合はＳ９２９へ処理を進め、それ以外の場合はＳ９３１へ処理を進める。Ｓ９２９では、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算して空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）を算出する。Ｓ９３０では、フレームカウンタｍをインクリメントする。Ｓ９３１は、フレームカウンタｊに応じたループである。本変形例では、ｊが２以下の場合はＳ９３２へ処理を進め、それ以外の場合はＳ９３５へ処理を進める。Ｓ９３２では、コピー領域情報Ｃｉｎｆｏ（ｎ）を入力する。Ｓ９３３では、サブフレームＭ（ｎ）とコピー領域情報Ｃｉｎｆｏ（ｎ）を用いた演算によりコピー領域分離フレームＣｉｍｇ（ｊ，ｎ）を算出する。Ｓ９３４では、フレームカウンタｊをインクリメントする。Ｓ９３５は、フレームカウンタｋに応じたループである。本変形例では、ｋが２以下の場合はＳ９３６へ処理を進め、それ以外の場合はＳ９４１へ処理を進める。Ｓ９３６では、ブロック情報Ｂｉｎｆｏ（ｎ）を入力する。
【０１２０】
Ｓ９３７では、ブロック情報Ｂｉｎｆｏ（ｎ）を用いたブロック分離フレームＢｉｍｇ（ｋ，ｎ）の算出方法により条件分岐である。分離方法が１の場合はＳ９３８へ処理を進め、分離方法が２の場合はＳ９３９へ処理を進める。Ｓ９３８では、上述した分離方法１で、ブロック情報Ｂｉｎｆｏ（ｎ）を用いてブロック分離フレームＢｉｍｇ（ｋ，ｎ）を算出する。Ｓ９３９では、上述した分離方法２で、ブロック情報Ｂｉｎｆｏ（ｎ）を用いてブロック分離フレームＢｉｍｇ（ｋ，ｎ）を算出する。Ｓ９４０では、フレームカウンタｋをインクリメントする。Ｓ９４１では、フレームカウンタのリセットを行う。Ｓ９４２は、フレームカウンタｊに応じたループである。本変形例では、ｊが２以下の場合はＳ９４３へ処理を進め、それ以外の場合はＳ９５１へ処理を進める。Ｓ９４３は、フレームカウンタｍに応じたループである。本変形例では、ｋが２以下の場合はＳ９３５へ処理を進め、それ以外の場合はＳ９５０へ処理を進める。Ｓ９４４は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ９４５へ処理を進め、それ以外の場合はＳ９４９へ処理を進める。
Ｓ９４５は、フレームカウンタｍに応じたループである。本変形例では、ｍが３以下の場合はＳ９４６へ処理を進め、それ以外の場合はＳ９４８へ処理を進める。Ｓ９４６では、輝度レベル分離フレームＬｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳｉｍｇ（ｍ，ｎ）とコピー領域分離フレームＣｉｍｇ（ｊ，ｎ）とブロック分離フレームＢｉｍｇ（ｋ，ｎ）を用いてサブ分離フレームＪｉｍｇ（ｌ，ｍ，ｎ）を生成する。Ｓ９４７では、フレームカウンタｍをインクリメントする。Ｓ９４８では、フレームカウンタｌをインクリメントする。Ｓ９４９では、フレームカウンタｋをインクリメントする。Ｓ９５０では、フレームカウンタｊをインクリメントする。Ｓ９５１は、画像分離部９０３の処理の終了を表している。
【０１２１】
輝度変動パターン計算部９０６では、変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を計算する。本変形例では、ｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）は任意の時間関数である。また、画像情報に基づいて変動パターンを作成するのではなく、予めメモリ上にデータとして記憶されているものとする。本変形例では、ｊ＝２、ｋ＝２、ｌ＝４、ｍ＝３の場合、４８個の変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）が生成される。
【０１２２】
ｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）の総数はｊ×ｋ×ｌ×ｍ個である必要はなく、ｊ、ｋ、ｌ、ｍの数に依存しない数ｓの関数ｆｒ（ｓ，ｎ）であったり、単一の変動成分ｆｒ（ｎ）であったりしてもよい。
【０１２３】
輝度変動部９０４では、式３３に従ってＳ９０３で表すサブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）とＳ９０７で表す変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）ときらめき強度パラメータｋを用いて、輝度変動サブ分離フレームＡｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。
【０１２４】
Ａｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）＝Ｊｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）×｛ｋｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）＋１｝・・・（式３３）
式３３では、サブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を乗じて輝度変動サブ分離フレームＡｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を算出しているが、発明はこれに限定されることなく、サブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を加算して輝度変動サブ分離フレームＡｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を算出してもよく、また、乗算と加算を組み合わせて算出してもよい。
【０１２５】
また、式３３では、サブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に一様に変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を乗じているが、以下の式１３１で示すように、時空間的に変動する変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）を乗じてもよい。
【０１２６】
Ａｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）＝Ｊｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）×｛ｋｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）＋１｝・・・（式３４）
式３３において、サブ分離フレーム、ｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）は式３４で表すｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）にｘ方向とｙ方向の空間変動を加えたものである。
【０１２７】
ｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）＝ｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ）＊ｆｓ（ｘ，ｙ）・・・（式３４）
ｆｓ（ｘ，ｙ）は任意の空間関数であり、例えば式３５で表す疑似乱数ｆ（ｚ）＝ｒａｎｄ（ｚ）を適用することができる。ｆ（ｚ）は入力値ｚにより０から１に変化する関数である。
【０１２８】
ｆｓ（ｘ，ｙ）＝ｒａｎｄ（ｘ＋ｙＸ）・・・（式３５）
式３５により、ｆｓ（ｘ，ｙ）はサブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）の画素毎に異なる値となるため、式１３２により生成される変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）は画素毎に異なる値を持つ時空間変動となる。また、式３５の代わりに以下に示す式３６を適用することも可能である。
【０１２９】
ｆｓ（ｘｐ，ｙｑ）＝ｒａｎｄ（ｘｐ−ｘｐ％ｂ＋（ｙｑ−ｙｐ％ｂ）×Ｘ）・・・（式３６）
式３６において、ｂはブロック係数であり１以上の整数を取る。％は剰余算を表す演算子であり、例えばｘｐ＝７２０、ｂ＝１６のとき、ｘｐ％ｂ＝０であり、ｘｐ＝３００、ｂ＝１９のとき、ｘｐ％ｂ＝１５である。
【０１３０】
式３６により、ｆｓ（ｘ，ｙ）はサブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に対してブロック係数ｂを一辺とする正方形毎に異なる値となるため、式１３２により生成される変動パターンｆｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）はブロック係数ｂを一辺とする正方形毎に異なる値を持つ時空間変動となる。
【０１３１】
その後に、式３７に示すように、全ての輝度変動サブ分離フレームＪｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を合成して出力フレームＯ（ｎ）を生成する。
【０１３２】
0005414500.tif 000029
・・・（式３７）
本変形例では、ｊ０＝１、ｋ０＝１、ｌ０＝１、ｍ０＝１、Ｊｍａｘ＝２、ｋｍａｘ＝２、ｌｍａｘ＝４、ｍｍａｘ＝３である。
【０１３３】
上記の発明によれば、入力周波数よりも大きな輝度変動を持った動画を出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。
【０１３４】
また、フレームレート変換の精度悪からくる画質劣化位置を避けて輝度変動を重畳可能であるため、ノイズを目立たせることなく、輝度の時間周波数成分を擬似的に再現することが可能となる。
【０１３５】
本変形例では、６０Ｈｚ周波数の画像から２４０Ｈｚ周波数の画像を生成しているが、それに限定されるものでない。また、本変形例に係るフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。このように、入力、フレームレート変換、輝度変動抽出、画像分離、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、それぞれの機能の処理単位は、種々組み合わせる構成を採用することも可能である。輝度変動に関して、本変形例では乗算により実現しているが、輝度に変動を与える方法であれば、どのような方法でもよく、乗算に限定されるものではない。
【０１３６】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムの一部として適用しても、１つの機器からなる装置の一部に適用してもよい。また、複数の実施形態を挙げて説明したが、これらは個別に構成されるだけでなく、それぞれの構成要素を任意の組み合わせで、再構成することも可能である。
【０１３７】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005414500.tif 000030
【図２】
0005414500.tif 000031
【図３】
0005414500.tif 000032
【図４】
0005414500.tif 000033
【図５】
0005414500.tif 000034
【図６】
0005414500.tif 000035
【図７】
0005414500.tif 000036
【図８】
0005414500.tif 000037
【図９】
0005414500.tif 000038
【図１０】
0005414500.tif 000039
【図１１】
0005414500.tif 000040
【図１２】
0005414500.tif 000041
【図１３】
0005414500.tif 000042
【図１４】
0005414500.tif 000043
【図１５】
0005414500.tif 000044
【図１６】
0005414500.tif 000045
【図１７】
0005414500.tif 000046
【図１８】
0005414500.tif 000047
【図１９】
0005414500.tif 000048
【図２０】
0005414500.tif 000049
【図２１】
0005414500.tif 000050
【図２２】
0005414500.tif 000051
【図２３】
0005414500.tif 000052
【図２４】
0005414500.tif 000053
【図２５】
0005414500.tif 000054
【図２６】
0005414500.tif 000055
【図２７】
0005414500.tif 000056
【図２８】
0005414500.tif 000057