(57)【要約】【課題】ヒストグラム平坦化データと折れ線状の入出力特性を有する入出力特性データを組み合わせて適切な階調補正を行うことが可能な画像処理システム等を提供すること。【解決手段】入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成し、当該移動平均累積ヒストグラムデータを正規化して正規化移動平均累積ヒストグラムデータを生成する正規化移動平均累積ヒストグラムデータ生成部１８０と、所定の変換関数用データを生成する変換関数用データ生成部１５０と、０以上１以下の所定の混合比率と前記正規化移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換部１７０とを含んでプロジェクタを構成する。【選択図】        図６
2004289747.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、
所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段と、
を含み、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値の平均値に基づき、当該差分値の平均値が大きくなるほど前記混合比率が小さくなる関数を用いて前記混合比率を演算することを特徴とする画像処理システム。
【請求項３】
請求項１、２のいずれかにおいて、
前記変換関数用データ生成手段は、画像の特徴を示す特徴データを生成し、
前記変換手段は、前記変換関数として、前記特徴データに基づく変曲点を有する入出力特性であって、かつ、入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数を用いて前記第２の出力輝度値を演算することを特徴とする画像処理システム。
【請求項４】
入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、
所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段と、
を含み、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とするプロジェクタ。
【請求項５】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、
所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段として機能させ、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とするプログラム。
【請求項６】
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、
所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段として機能させるためのプログラムを記憶し、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とする情報記憶媒体。
【請求項７】
入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成し、
前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する変換関数を用いた演算に必要な変換関数用データを生成し、
前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、０以上１以下の所定の混合比率を演算し、
前記混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値を演算し、
（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値を演算し、
各乗算値の加算値に基づき、前記入力輝度値を変換して出力輝度値を出力することを特徴とする画像処理方法。
【請求項８】
請求項７において、
前記混合比率を演算する際に、前記第１の出力輝度値と前記第２の出力輝度値との差分値の平均値に基づき、当該差分値の平均値が大きくなるほど前記混合比率が小さくなる関数を用いて前記混合比率を演算することを特徴とする画像処理方法。
【請求項９】
請求項７、８のいずれかにおいて、
前記変換関数用データを生成する際に、画像の特徴を示す特徴データを生成し、
前記変換関数として、前記特徴データに基づく変曲点を有する入出力特性であって、かつ、入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数を用いて前記第２の出力輝度値を演算することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の明るさを調整するための画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【０００２】
【背景技術】
画像処理におけるコントラスト強調処理として一般的に行われている手法として、例えば、ヒストグラム平坦化処理がある。
【０００３】
しかし、画像表示装置がヒストグラム平坦化処理を行った場合、過度なコントラスト強調をしてしまい、不自然な画像を表示してしまう場合がある。例えば、低階調側に分布が偏った画像に対してヒストグラム平坦化処理を行うと、画像全体が白っぽくなり、黒浮きが生じてしまう。
【０００４】
このような問題を解決するため、特許文献１では、映像の輝度分布の偏り具合に応じて最適な階調補正を行うために、入力輝度信号の輝度レベル各々の頻度データに応じて輝度分布の分散値を算出し、当該分散値に基づく混合比で元の輝度レベルと補正輝度レベルとを混合した値を用いてＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）を更新することにより、階調補正を行っている。
【０００５】
【特許文献１】
特開２０００−３２２０４７号公報
【０００６】
【発明が解決しようとする課題】
しかし、特許文献１の手法の場合、１垂直走査期間ごとのヒストグラムメモリの輝度分布に基づいて分散値を算出して当該分散値に応じて混合比ｋを算出しているが、分散値から混合比ｋを求める手法についての具体的な記載はなく、補正後の値＝ｋ＊補正値＋（１−ｋ）＊基準値という補正の手法と、分散値が小さい場合にｋ＞０．５とし、分散値が中程度の場合にｋ＝０．５とし、分散値が大きい場合にｋ＜０．５とする手法が開示されているに過ぎない。
【０００７】
また、画像処理におけるヒストグラム平坦化処理以外のコントラスト強調処理として行われている手法として、例えば、折れ線状の入出力特性を有する入出力特性データに基づく階調補正処理がある。
【０００８】
この階調補正処理は、ダイナミックレンジを拡大することができるが、双峰性の輝度分布を持つような画像（例えば、上半分が明るい青空で下半分が暗い建物で構成される画像等）に対しては、暗部や明部のディテールに対して適切な階調補正効果を得られない場合があった。
【０００９】
本発明は、上記課題に鑑みなされたものであり、その目的は、ヒストグラム平坦化データと折れ線状の入出力特性を有する入出力特性データを組み合わせて適切な階調補正を行うことが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段と、
を含み、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とする。
【００１１】
また、本発明に係るプロジェクタは、入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、
所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段と、
を含み、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とする。
【００１２】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、
所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段として機能させ、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とする。
【００１３】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成する移動平均累積ヒストグラムデータ生成手段と、
所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成手段と、
０以上１以下の所定の混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、前記入力輝度値を変換して出力輝度値を出力する変換手段として機能させるためのプログラムを記憶し、
前記変換関数は、前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数であって、
前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、前記混合比率を演算することを特徴とする。
【００１４】
また、本発明に係る画像処理方法は、入力画像信号に含まれる入力輝度値の所定期間の累積ヒストグラムデータに基づき、移動平均累積ヒストグラムデータを生成し、
前記入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する変換関数を用いた演算に必要な変換関数用データを生成し、
前記第１の出力輝度値と前記第２の出力輝度値との差分値に基づき、０以上１以下の所定の混合比率を演算し、
前記混合比率と前記移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値を演算し、
（１−当該混合比率）と前記変換関数用データおよび前記変換関数に基づく第２の出力輝度値との乗算値を演算し、
各乗算値の加算値に基づき、前記入力輝度値を変換して出力輝度値を出力することを特徴とする。
【００１５】
本発明によれば、画像処理システム等は、ヒストグラム平坦化データに基づく第１の出力輝度値と、折れ線状の入出力特性データに基づく第２の出力輝度値との差分値に基づき、０以上１以下の所定の混合比率を演算することにより、画像の特性に応じた混合比率を得ることができる。
【００１６】
そして、画像処理システム等は、当該混合比率に基づいて第１の出力輝度値と第２の出力輝度値とを混合して出力輝度値を出力することによって階調補正を行う。
【００１７】
これにより、画像処理システム等は、ヒストグラム平坦化データと折れ線状の入出力特性を有する入出力特性データを組み合わせて適切な階調補正を行うことができる。
【００１８】
また、画像処理システム等は、ヒストグラム平坦化データとして、移動平均累積ヒストグラムデータを適用することにより、一般的な累積ヒストグラムデータを適用する場合と比べ、より滑らかなヒストグラム平坦化データを得ることができる。
【００１９】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記変換手段は、前記第１の出力輝度値と前記第２の出力輝度値との差分値の平均値に基づき、当該差分値の平均値が大きくなるほど前記混合比率が小さくなる関数を用いて前記混合比率を演算してもよい。
【００２０】
また、前記画像処理方法では、前記混合比率を演算する際に、前記第１の出力輝度値と前記第２の出力輝度値との差分値の平均値に基づき、当該差分値の平均値が大きくなるほど前記混合比率が小さくなる関数を用いて前記混合比率を演算してもよい。
【００２１】
これによれば、画像処理システム等は、第１の出力輝度値と第２の出力輝度値との差分値の平均値（例えば、１垂直走査期間の第１の出力輝度値と第２の出力輝度値の差分値の平均値等）が大きくなるほど混合比率を小さくさせる、すなわち、移動平均累積ヒストグラムデータの反映割合を減少させることができる。
【００２２】
これにより、画像処理システム等は、第１の出力輝度値と第２の出力輝度値との差が大きい画像を処理する場合、ヒストグラム平坦化による階調特性が過強調であるとみなし、過強調の弊害を受けにくい折れ線の入出力特性データを用いて階調補正を行うことができる。
【００２３】
したがって、画像処理システム等は、適切な階調補正を行うことができる。
【００２４】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記変換関数用データ生成手段は、画像の特徴を示す特徴データを生成し、
前記変換手段は、前記変換関数として、前記特徴データに基づく変曲点を有する入出力特性であって、かつ、入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数を用いて前記第２の出力輝度値を演算してもよい。
【００２５】
また、前記画像処理方法では、前記変換関数用データを生成する際に、画像の特徴を示す特徴データを生成し、
前記変換関数として、前記特徴データに基づく変曲点を有する入出力特性であって、かつ、入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数を用いて前記第２の出力輝度値を演算してもよい。
【００２６】
これによれば、輝度値が最大値または最小値に近い場合はグレーではなく白や黒に近い場合であるため、画像処理システム等は、白や黒に近い輝度値の変化率を中間階調（グレー）に近い輝度値の変化率と比べて少なくすることができ、黒つぶれや白とびの発生を低減し、伸長効果の高い中間階調をより伸長することができるため、適切な階調補正を行うことができる。
【００２７】
なお、前記特徴としては、例えば、ＡＰＬ（Ａｖｅｒａｇｅ  Ｐｉｃｔｕｒｅ  Ｌｅｖｅｌ、すなわち、対象領域における平均輝度）、対象領域における所定の輝度範囲（例えば、所定の輝度レベル以下、所定の輝度レベル以上、所定の輝度レベル以上かつ所定の輝度レベル以下）に含まれる画素数の累積和、ヒストグラムにおける最多画素数の輝度レベル等を採用してもよい。
【００２８】
【発明の実施の形態】
以下、本発明を、画像信号の一種であるＲＧＢ信号を入力し、各信号の輝度（「輝度値」または「輝度レベル」ともいう。）の階調補正を行う画像処理システムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２９】
（システム全体の説明）
以下、本発明を液晶プロジェクタの画像処理システムに適用した場合を例に採り、説明する。
【００３０】
図１は、本実施形態の一例に係るプロジェクタ２０の概略説明図である。
【００３１】
スクリーン１０のほぼ正面に設けられたプロジェクタ２０は、種々の画像を投写する。これにより、スクリーン１０上に画像の投写領域１２が形成される。
【００３２】
本実施形態におけるプロジェクタ２０は、階調補正に用いるヒストグラム平坦化データとして、移動平均累積ヒストグラムデータを適用することにより、一般的な累積ヒストグラムデータを適用する場合と比べ、より滑らかなヒストグラム平坦化データを得ることができる。
【００３３】
ここで、累積ヒストグラムと移動平均累積ヒストグラムについて説明する。
【００３４】
図２は、本実施形態の一例に係る累積ヒストグラムの模式図である。また、図３は、本実施形態の一例に係る正規化移動平均累積ヒストグラムと従来の正規化累積ヒストグラムの模式図である。
【００３５】
図２に示す画像は、双峰性の輝度分布を有する画像となっている。このような輝度分布を有する画像の輝度値の従来の累積ヒストグラムは、図３の点線で示すものとなる。
【００３６】
これに対し、本実施形態における移動平均累積ヒストグラムは、図３の実線で示すものとなる。なお、各累積ヒストグラムは正規化してある。
【００３７】
このように、プロジェクタ２０は、移動平均累積ヒストグラムデータを適用することにより、一般的な累積ヒストグラムデータを適用する場合と比べ、より滑らかなヒストグラム平坦化データを得ることができる。
【００３８】
また、本実施形態におけるプロジェクタ２０は、ヒストグラム平坦化データに基づく第１の出力輝度値と、折れ線状の入出力特性データに基づく第２の出力輝度値との差分値に基づき、０以上１以下の所定の混合比率を演算することにより、画像の特性に応じた混合比率を得ることができる。
【００３９】
そして、プロジェクタ２０は、当該混合比率に基づいて第１の出力輝度値と第２の出力輝度値とを混合して出力輝度値を出力することによって階調補正を行う。
【００４０】
これにより、画像処理システム等は、ヒストグラム平坦化データと折れ線状の入出力特性を有する入出力特性データを組み合わせて適切な階調補正を行うことができる。
【００４１】
図４は、本実施形態の一例に係る折れ線状の入出力特性を示すグラフの模式図である。
【００４２】
また、本実施形態におけるプロジェクタ２０は、特徴データの一種であるＡＰＬ等に基づく変曲点を有する入出力特性であって、かつ、入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数を用いて第２の出力輝度値を演算している。
【００４３】
これによれば、輝度値が最大値または最小値に近い場合はグレーではなく白や黒に近い場合であるため、プロジェクタ２０は、白や黒に近い輝度値の変化率を中間階調（グレー）に近い輝度値の変化率と比べて少なくすることができ、黒つぶれや白とびの発生を低減し、伸長効果の高い中間階調をより伸長することができるため、適切な階調補正を行うことができる。
【００４４】
なお、図４において、Ｌｍａｘは、累積ヒストグラムのｙ％にあたる点の輝度値であり、Ｌｍｉｎは、累積ヒストグラムのｘ％にあたる点の輝度値である。また、ここで、０＜ｘ＜ｙ＜２５５である。
【００４５】
次に、このような機能を実現するためのプロジェクタ２０の画像処理部の機能ブロックについて説明する。
【００４６】
図５は、本実施形態の一例に係る画像処理部８００の機能ブロック図である。
【００４７】
プロジェクタ２０内の画像処理部８００は、画像信号の一種であるアナログＲＧＢ信号（Ｒ１、Ｇ１、Ｂ１）をデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）に変換するＡ／Ｄ変換部８１０と、デジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）を補正する画像処理部８００と、補正されたデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をアナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に変換するＤ／Ａ変換部８８０と、アナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に基づき、画像を投写する画像投写部８９０とを含んで構成されている。
【００４８】
また、補正部８２０は、入力輝度信号Ｙを補正することにより階調補正を行って補正後の輝度信号Ｙ’を出力する階調補正部８２２を含んで構成されている。
【００４９】
また、画像投写部８９０は、空間光変調器８９２と、アナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に基づき、空間光変調器８９２を駆動する駆動部８９４と、空間光変調器８９２に光を出力する光源８９６と、空間光変調器８９２で変調された光を投写するレンズ８９８とを含んで構成されている。
【００５０】
このようにしてプロジェクタ２０は、階調補正を行って画像を投写する。
【００５１】
ここで、階調補正部８２２の構成について説明する。
【００５２】
図６は、本実施形態の一例に係る階調補正部８２２の機能ブロック図である。
【００５３】
階調補正部８２２は、ＲＧＢ信号に含まれる入力輝度信号Ｙの１フレームの累積ヒストグラムデータを生成する累積ヒストグラムデータ生成部１４０と、当該累積ヒストグラムデータに基づき、正規化移動平均累積ヒストグラムデータを生成する正規化移動平均累積ヒストグラムデータ生成部１８０と、所定の変換関数を用いた演算に必要な変換関数用データを生成する変換関数用データ生成部１５０と、０以上１以下の所定の混合比率と正規化移動平均累積ヒストグラムデータに基づく第１の出力輝度値との乗算値と、（１−当該混合比率）と変換関数用データおよび変換関数に基づく第２の出力輝度値との乗算値との加算値に基づき、入力輝度値ｌに対する出力輝度値Ｌｕｔ（ｌ）を演算する変換部１７０と、当該出力輝度値Ｌｕｔ（ｌ）に基づき、階調特性データであるＬＵＴを補正し、補正したＬＵＴに基づき、入力輝度信号Ｙを補正して出力輝度信号Ｙ’を出力する輝度信号出力部１３０とを含んで構成されている。
【００５４】
なお、本実施例では、輝度信号出力部１３０と変換部１７０が変換手段として機能する。
【００５５】
また、階調補正部８２２は、輝度信号を１フレーム分遅延させて出力するための遅延部１２０を含んで構成されている。
【００５６】
また、輝度信号出力部１３０は、階調特性データ記憶部１３２と、変換部１７０からのＬｕｔ（ｌ）に基づき、階調特性データ記憶部１３２に記憶されたＬＵＴを補正する補正部１３４とを含んで構成されている。
【００５７】
また、変換関数用データ生成部１５０は、画像特徴として、Ｌｍａｘ（累積ヒストグラムデータのｙ％にあたる点の輝度値）、Ｌｍｉｎ（累積ヒストグラムデータのｘ％にあたる点の輝度値）、Ｓ（Ｌｍａｘを白方向に伸長した輝度値）、Ｔ（Ｌｍｉｎを黒方向に伸長した輝度値）、ＡＰＬ（平均輝度値）を生成するために、Ｌｍａｘ演算部１５１と、Ｓ演算部１５２と、Ｌｍｉｎ演算部１５３と、Ｔ演算部１５４と、ＡＰＬ演算部１５６とを含んで構成されている。
【００５８】
なお、遅延部１２０、累積ヒストグラムデータ生成部１４０、変換関数用データ生成部１５０は、垂直同期信号に基づき、１フレームごとにメモリの内容をリセットする。
【００５９】
次に、これらの各部を実現するためのハードウェア構成について説明する。
【００６０】
図７は、本実施形態の一例に係る階調補正部８２２のハードウェアブロック図である。
【００６１】
例えば、遅延部１２０としては、例えばラッチ回路９４０等、輝度信号出力部１３０としては、例えばＣＰＵ９１０、セレクタ回路９３０、ＲＡＭ９５０等、累積ヒストグラムデータ生成部１４０、正規化移動平均累積ヒストグラムデータ生成部１８０としては、例えば演算回路９２０、ＲＡＭ９５０等、変換部１７０としては、例えばＣＰＵ９１０、演算回路９２０等を用いて実現できる。
【００６２】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
【００６３】
また、これらの各部は回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
【００６４】
さらに、階調補正部８２２としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って階調補正部８２２の機能をコンピュータに実現させてもよい。
【００６５】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００６６】
また、情報記憶媒体９００に代えて、上述した各機能を実現するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
【００６７】
（画像処理の流れの説明）
次に、これらの各部を用いた画像処理の流れについて説明する。
【００６８】
図８は、本実施形態の一例に係る画像処理のフローチャートである。
【００６９】
まず、累積ヒストグラムデータ生成部１４０は、輝度値の累積ヒストグラムを示す累積ヒストグラムデータを生成する。
【００７０】
累積ヒストグラムデータは、図８に示すように、所定の輝度範囲と当該輝度範囲に該当する画素の累積数との関係を示す。
【００７１】
Ｌｍａｘ演算部１５１は、累積ヒストグラムのｙ％にあたる点の輝度値Ｌｍａｘを演算する（ステップＳ１）。
【００７２】
また、Ｌｍｉｎ演算部１５３は、累積ヒストグラムのｘ％にあたる点の輝度値Ｌｍｉｎを演算する（ステップＳ２）。
【００７３】
なお、画素の累積数を百分率（％）で表す場合、ｘについては０＜ｘ＜５０であり、ｙについては５０＜ｙ＜１００である。
【００７４】
ＡＰＬ演算部１５６は、累積ヒストグラムの５０％点にあたる輝度値ＡＰＬを演算する（ステップＳ３）。
【００７５】
また、Ｓ演算部１５２は、Ｓ（Ｌｍａｘ）を演算する（ステップＳ４）。
【００７６】
図１０は、Ｓ（Ｌｍａｘ）のグラフを示す模式図である。
【００７７】
なお、ここで、Ｓ（Ｌｍａｘ）は、輝度値Ｌｍａｘを白方向に伸長する関数である。また、Ｌｍａｘ＜＝Ｓ（Ｌｍａｘ）を満たす。
【００７８】
さらに、Ｓ（Ｌｍａｘ）は、図１０に示すように、輝度値Ｌｍａｘの採り得る中間値よりも最大値側に折れ点を有する折れ線形状で表される。これにより、輝度値の最大値である白に近づくにつれて伸長の度合いが小さくなるため、元々コントラストが十分であるような画像に対しては過度な白伸長を行わないで済む。
【００７９】
また、Ｔ演算部１５４は、Ｔ（Ｌｍｉｎ）を演算する（ステップＳ５）。
【００８０】
図１１は、Ｔ（Ｌｍｉｎ）のグラフを示す模式図である。
【００８１】
なお、ここで、Ｔ（Ｌｍｉｎ）は、輝度値Ｌｍｉｎを黒方向に伸長する関数である。また、Ｌｍｉｎ＞＝Ｔ（Ｌｍｉｎ）を満たす。
【００８２】
さらに、Ｔ（Ｌｍｉｎ）は、図１１に示すように、輝度値Ｌｍｉｎの採り得る中間値よりも最小値側に折れ点を有する折れ線形状で表される。これにより、輝度値の最小値である黒に近づくにつれて伸長の度合いが小さくなるため、元々コントラストが十分であるような画像に対しては過度な黒伸長を行わないで済む。
【００８３】
また、変換部１７０は、変換関数用データ生成部１５０によって演算された値に基づき、画像の特徴データに基づく変曲点（Ｌｍｉｎ，Ｔ（Ｌｍｉｎ））、（ＡＰＬ，ＡＰＬ）、（Ｌｍａｘ，Ｓ（Ｌｍａｘ））を折れ点とする３点折れ線ｑ（ｌ）を演算する（ステップＳ６）。なお、ｌは入力輝度値である。
【００８４】
また、ここで、ｑ（ｌ）の演算式としては、具体的には例えば、以下の演算式を採用してもよい。
【００８５】
例えば、ｌが０以上Ｌｍｉｎ未満の場合、ｑ（ｌ）＝ｌ＊Ｔ（Ｌｍｉｎ）／Ｌｍｉｎ、ｌがＬｍｉｎ以上ＡＰＬ未満の場合、ｑ（ｌ）＝ｌ＊（ＡＰＬ−Ｔ（Ｌｍｉｎ））／（ＡＰＬ−Ｌｍｉｎ）＋Ｔ（Ｌｍｉｎ）、ｌがＡＰＬ以上Ｌｍａｘ未満の場合、ｑ（ｌ）＝ｌ＊（Ｓ（Ｌｍａｘ）−ＡＰＬ）／（Ｌｍａｘ−ＡＰＬ）＋ＡＰＬ、ｌがＬｍａｘ以上の場合、ｑ（ｌ）＝ｌ＊（２５５−Ｓ（Ｌｍａｘ））／（２５５−Ｌｍａｘ）＋Ｓ（Ｌｍａｘ）という演算式を採用してもよい。
【００８６】
また、正規化移動平均累積ヒストグラムデータ生成部１８０は、累積ヒストグラムデータ生成部１４０によって生成された累積ヒストグラムデータに基づき、正規化移動平均累積ヒストグラムＬ（ｌ）を演算する（ステップＳ７）。
【００８７】
図９は、本実施形態の一例に係る正規化移動平均累積ヒストグラムの模式図である。
【００８８】
なお、移動平均による移動平均累積ヒストグラムの生成については、一般的な移動平均の演算式を採用すればよく、正規化の演算式も一般的な演算式を採用すればよい。
【００８９】
また、変換部１７０は、折れ線ｑ（ｌ）と、正規化移動平均累積ヒストグラムＬ（ｌ）との差分値の絶対値Δｆｍｅａｎを演算する（ステップＳ８）。
【００９０】
さらに、変換部１７０は、Δｆｍｅａｎに基づき、折れ線ｑ（ｌ）と正規化移動平均累積ヒストグラムＬ（ｌ）との混合比ｋを演算する（ステップＳ９）。
【００９１】
また、ここで、ｋの演算式としては、具体的には例えば、以下の演算式を採用してもよい。
【００９２】
例えば、ｋ＝ａ／（ａ＋ｂ＊＊（Δｆｍｅａｎ−ｃ））という演算式を採用してもよい。
【００９３】
なお、ここで、ａとしては例えば１以上１０以下の定数、ｂとしては例えば１．１以上２以下の定数、ｃとしては例えば２０以上３０以下の定数を採用してもよい。
【００９４】
ここで、Δｆｍｅａｎとｋとの関係について説明する。
【００９５】
図１２は、本実施形態の一例に係る平均差分値と混合比率ｋとの関係を示すグラフを示す模式図である。
【００９６】
なお、図１２は、ａ＝４、ｂ＝１．２、ｃ＝２０の場合の図である。
【００９７】
そして、変換部１７０は、ｑ（ｌ）、Ｌ（ｌ）、ｋに基づき、階調特性データであるＬＵＴを補正する（ステップＳ１０）。
【００９８】
変換部１７０は、例えば、以下の演算式を用いて階調特性データであるＬＵＴを補正するための入力輝度値ｌに対する出力となるＬｕｔ（ｌ）を演算する。
【００９９】
Ｌｕｔ（ｌ）＝ｑ（ｌ）＊（１−ｋ）＋ｋ＊Ｌ（ｌ）
補正部１３４は、変換部１７０によって出力されるＬｕｔ（ｌ）に基づいて階調特性データ記憶部１３２に記憶されたＬＵＴを補正する。
【０１００】
そして、輝度信号出力部１３０は、補正したＬＵＴに基づいて入力輝度信号Ｙを補正して出力輝度信号Ｙ’を出力する。
【０１０１】
以上のように、本実施形態によれば、プロジェクタ２０は、ヒストグラム平坦化データである正規化移動平均累積ヒストグラムに基づく第１の出力輝度値Ｌ（ｌ）と、折れ線状の入出力特性データに基づく第２の出力輝度値ｑ（ｌ）との差分値Δｆｍｅａｎに基づき、０以上１以下の所定の混合比率ｋを演算することにより、画像の特性に応じた混合比率ｋを得ることができる。
【０１０２】
そして、プロジェクタ２０は、当該混合比率ｋに基づいて第１の出力輝度値Ｌ（ｌ）と第２の出力輝度値ｑ（ｌ）とを混合して出力輝度値Ｙ’を出力することによって階調補正を行う。
【０１０３】
これにより、プロジェクタ２０は、ヒストグラム平坦化データと折れ線状の入出力特性を有する入出力特性データを組み合わせて適切な階調補正を行うことができる。
【０１０４】
また、プロジェクタ２０は、ヒストグラム平坦化データとして、移動平均累積ヒストグラムデータを適用することにより、一般的な累積ヒストグラムデータを適用する場合と比べ、より滑らかなヒストグラム平坦化データを得ることができる。
【０１０５】
図１３は、本実施形態の一例に係る階調補正の種別による入出力特性の差異を示す模式図である。
【０１０６】
例えば、図１３に示すように、変換部１７０が出力するＬｕｔ（ｌ）は滑らかな曲線となっている。
【０１０７】
また、本実施形態では、プロジェクタ２０は、Ｌ（ｌ）とｑ（ｌ）の差分値の平均値Δｆｍｅａｎが大きくなるほど混合比率ｋを小さくさせることにより、移動平均累積ヒストグラムデータの反映割合を減少させている。これは、Δｆｍｅａｎが大きいときは移動平均累積ヒストグラムによる階調変換が過強調になる可能性が大きいためである。
【０１０８】
これにより、プロジェクタ２０は、Ｌ（ｌ）とｑ（ｌ）との差が大きい画像を処理する場合、ヒストグラム平坦化による階調特性が過強調であるとみなし、過強調の弊害を受けにくい折れ線の入出力特性データを用いて階調補正を行うことができる。
【０１０９】
したがって、プロジェクタ２０は、適切な階調補正を行うことができる。
【０１１０】
さらに、本実施形態では、変換関数として、特徴データに基づく変曲点を有する入出力特性であって、かつ、入力輝度値が最大値または最小値に近い場合には中間値に近い場合と比べて出力輝度値の変化が少なくなる入出力特性を有する関数を用いて第２の出力輝度値ｑ（ｌ）を演算している。
【０１１１】
これにより、輝度値が最大値または最小値に近い場合はグレーではなく白や黒に近い場合であるため、プロジェクタ２０は、白や黒に近い輝度値の変化率を中間階調（グレー）に近い輝度値の変化率と比べて少なくすることができ、黒つぶれや白とびの発生を低減し、伸長効果の高い中間階調をより伸長することができるため、適切な階調補正を行うことができる。
【０１１２】
以上のように、本実施形態によれば、プロジェクタ２０は、ヒストグラム平坦化によるコントラスト強調処理と、折れ線による階調変換処理の両方のメリットを得ながら、両者の階調変換処理デメリットを抑制することができる。
【０１１３】
また、プロジェクタ２０は、ヒストグラム平坦化処理によって滑らかな階調特性と、画像適応折れ線変換による適切なダイナミックレンジ拡大効果を得ることができる。例えば、暗部と明部にピークがある双峰性のヒストグラムの画像に対しては、従来の折れ線補正によるコントラスト補正では適切なコントラストに補正することができるものの、暗部、明部の細部表現を劣化させ、いわゆる黒つぶれ、白とびを発生させる可能性があった。
【０１１４】
本実施形態のプロジェクタ２０は、このような画像に対しても、折れ線補正による適切なコントラスト補正効果と、ヒストグラム平坦化による暗部、明部の細部表現を改善させることができる。
【０１１５】
また、本実施形態におけるプロジェクタ２０は、輝度ヒストグラムから、従来のように直接累積ヒストグラムを計算する手法ではなく、ヒストグラムの移動平均により累積ヒストグラムを求める手法を採用することにより、従来よりも滑らかな曲線を得ることができる。これにより、プロジェクタ２０は、ヒストグラム平坦化による階調ジャンプを低減させ、自然な階調表現を得ることができる。
【０１１６】
さらに、本実施形態によれば、プロジェクタ２０は、映画のような暗い画像であっても、暗部の階調性を改善しながら、画像適応型の折れ線変換によって黒を沈ませることができ、映像表現を改善することができる。
【０１１７】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【０１１８】
例えば、上述した実施例では、画素数を累積する所定期間として、フレームを採用したが、例えば、フィールドを採用し、フィールド単位に処理を行ってもよい。また、遅延部１２０は、必ずしも１フレーム分遅延したものを保持する必要はなく、例えば、２フレーム以上遅延させてもよい。
【０１１９】
また、数式は、上述した数式に限定されず、上述した数式を変形した数式を採用してもよい。また、上述した混合比率ｋは、０以上１以下の値であったが、例えば、０より大きく１より小さい値であってもよい。
【０１２０】
また、上述した階調補正部８２２の機能を複数の装置に分散して階調補正を行ってもよい。
【０１２１】
さらに、上述した階調補正を実行する画像処理システムは、プロジェクタ２０のような液晶プロジェクタに限定されず、例えば、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）を用いたプロジェクタ、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、ＦＥＤ（Ｆｉｅｌｄ  Ｅｍｉｓｓｉｏｎ  Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）、直視型液晶表示装置等の階調補正を行う種々の表示装置やデジタルカメラ、デジタルビデオカメラ等の画像処理装置に実装してもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【図面の簡単な説明】
【図１】本実施形態の一例に係るプロジェクタの概略説明図である。
【図２】本実施形態の一例に係る累積ヒストグラムの模式図である。
【図３】本実施形態の一例に係る正規化移動平均累積ヒストグラムと従来の正規化累積ヒストグラムの模式図である。
【図４】本実施形態の一例に係る折れ線状の入出力特性を示すグラフの模式図である。
【図５】本実施形態の一例に係る画像処理部の機能ブロック図である。
【図６】本実施形態の一例に係る階調補正部の機能ブロック図である。
【図７】本実施形態の一例に係る階調補正部のハードウェアブロック図である。
【図８】本実施形態の一例に係る画像処理のフローチャートである。
【図９】本実施形態の一例に係る正規化移動平均累積ヒストグラムの模式図である。
【図１０】Ｓ（Ｌｍａｘ）のグラフを示す模式図である。
【図１１】Ｔ（Ｌｍｉｎ）のグラフを示す模式図である。
【図１２】本実施形態の一例に係る平均差分値と混合比率ｋとの関係を示すグラフを示す模式図である。
【図１３】本実施形態の一例に係る階調補正の種別による入出力特性の差異を示す模式図である。
【符号の説明】
１３０  輝度信号出力部（変換手段）、１５０  変換関数用データ生成部、１７０  変換部（変換手段）、１８０  正規化移動平均累積ヒストグラムデータ生成部、９００  情報記憶媒体
【図１】
2004289747.tif 000003
【図２】
2004289747.tif 000004
【図３】
2004289747.tif 000005
【図４】
2004289747.tif 000006
【図５】
2004289747.tif 000007
【図６】
2004289747.tif 000008
【図７】
2004289747.tif 000009
【図８】
2004289747.tif 000010
【図９】
2004289747.tif 000011
【図１０】
2004289747.tif 000012
【図１１】
2004289747.tif 000013
【図１２】
2004289747.tif 000014
【図１３】
2004289747.tif 000015