(57)【特許請求の範囲】
【請求項１】
表示画面に画像を表示させる表示制御装置であって、
画像データを入力する入力手段と、
前記入力手段により入力された画像データから、前記画像における処理対象となる注目画素について、前記注目画素に関連する階調情報を取得する取得手段と、
前記表示画面に対応する表示ダイナミックレンジ情報と、前記画像データが表す画像に応じた生成ダイナミックレンジ情報とに基づいて、ダイナミックレンジの縮小率を推定する推定手段と、
前記ダイナミックレンジの縮小率に応じて、前記画像データから前記注目画素の信号を取得し、前記階調情報が示す明るさが高い画素における彩度の増加倍率が、前記階調情報が示す明るさが低い画素における彩度の増加倍率よりも大きくなるように、前記階調情報に応じて前記注目画素における信号が表す色の彩度を増加する補正処理を実行する補正手段と、
前記補正手段による補正済みの補正画像データに基づく画像を前記表示画面に表示させる表示制御手段と、を有することを特徴とする表示制御装置。
【請求項２】
前記ダイナミックレンジの縮小率が所定値以上である場合の、前記補正手段による補正処理の補正量は、前記ダイナミックレンジの縮小率が前記所定値未満である場合より大きいことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示画面の周囲の明るさに関する情報を取得する照度取得手段と、をさらに有し、
前記推定手段は、前記表示ダイナミックレンジ情報と前記生成ダイナミックレンジ情報と、前記照度取得手段により取得された情報とに基づいて前記ダイナミックレンジの縮小率を推定することを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記補正手段は、前記生成ダイナミックレンジ情報として、予め定められた値を使用することを特徴とする請求項２に記載の表示制御装置。
【請求項５】
前記取得手段は、前記入力手段により入力された画像データのうち、前記注目画素から所定範囲内に存在する周辺画素の画素データに基づいて、前記注目画素に関連する階調情報を取得することを特徴とする請求項１乃至４のうち、何れか１項に記載の表示制御装置。
【請求項６】
前記補正手段は、
前記入力手段により入力された画像データのうち、処理対象画素の画素データに対して彩度を上げる第１彩度処理を実行して彩度増加画素データを得る彩度増加手段と、
前記入力手段により入力された画像データのうち、前記処理対象画素の画素データに対して彩度を下げる第２彩度処理を実行して彩度減少画素データを得る彩度減少手段と、
前記入力手段により入力された画像データのうち、前記処理対象画素から所定範囲内に存在する周辺画素の画素値に基づいて、前記彩度増加手段より得られた前記彩度増加画素データと、前記彩度減少手段により得られた前記彩度減少画素データと、前記処理対象画素の画素データとの混合比率を決定する比率決定手段と、
前記比率決定手段により決定された前記混合比率に基づいて前記彩度増加画素データと前記彩度減少画素データと前記処理対象画素の画素データとを混合することで前記第１彩度処理が完了した画素データを生成する生成手段と、を有することを特徴とする請求項１に記載の表示制御装置。
【請求項７】
表示画面に画像を表示させる表示制御方法であって、
画像データを入力する入力工程と、
前記入力された画像データから、前記画像における処理対象となる注目画素について、前記注目画素に関連する階調情報を取得する取得工程と、
前記表示画面に対応する表示ダイナミックレンジ情報と、前記画像データが表す画像に応じた生成ダイナミックレンジ情報とに基づいて、ダイナミックレンジの縮小率を推定する推定工程と、
前記ダイナミックレンジの縮小率に応じて、前記画像データから前記注目画素の信号を取得し、前記階調情報が示す明るさが高い画素における彩度の増加倍率が、前記階調情報が示す明るさが低い画素における彩度の増加倍率よりも大きくなるように、前記階調情報に応じて前記注目画素における信号が表す色の彩度を増加する補正処理を実行する補正工程と、
前記補正工程による前記補正済みの補正画像データに基づく画像を前記表示画面に表示させる表示制御工程と、を有することを特徴とする表示制御方法。
【請求項８】
コンピュータを、請求項１乃至６のうち、何れか１項に記載の表示制御装置の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。特に、装置のダイナミックレンジが狭い場合における画質向上のための画像処理技術に関する。
【背景技術】
【０００２】
従来から、表示装置のダイナミックレンジが狭い場合にコントラストを補正する技術として、輝度の分布であるヒストグラム上で多い階調部分を広げるダイナミックガンマ補正技術が知られている。また、表示装置の元々のダイナミックレンジが広かったとしても、明るい環境において視聴者が表示装置を見る場合にはダイナミックレンジが低下するため、表示装置の周囲の照度に基づいて、コントラストを強めるガンマ補正を行なったり色を濃くする処理を行なう技術がある。
【０００３】
ところで、錐体細胞と桿体細胞の２つの視細胞を有する眼の特性として、明るさに応じて該２つの視細胞の働いている比率が変わることがわかっている。これは、明るい所は錐体細胞が主に働き、暗い所では桿体細胞が主に働いているためである。このような明るさによる視覚上の特性変化を、プルキニエ遷移という。錐体細胞はＲＧＢ三色を認識することが出来るのに対し、桿体細胞はモノクロしか認識できない。また、桿体細胞は、感度の中心となる周波数が異なっており、青いものを見る方が赤いものを見るよりも感度が高い。よって、暗い所で桿体視の割合が増えると、すなわち桿体細胞が主に働くと、プルキニエ遷移により、色の濃さや色温度が異なって見える現象が起こる。
【０００４】
そこで、特許文献１では、視聴環境に応じて発生するプルキニエ遷移に応じて、色温度や色の濃さを補正することが記載されている。具体的には、特許文献１では、環境輝度とＡＰＬ値が所定のレベルより低い時に、色温度を上げるとともに、色の濃さを増すように画像処理を行うことが記載されている。なお、ＡＰＬとは、Ａｖｅｒａｇｅ  Ｐｉｃｔｕｒｅ  Ｌｅｖｅｌの略で、ＡＰＬ値は、映像のフレーム１枚の画像の階調数を平均した値である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８５０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
映像コンテンツである１枚の画像は、表示装置のダイナミックレンジが例えば２０００程度あることを想定して作成される。しかしながら、実際に視聴者が視聴している表示装置には、性能的にダイナミックレンジが２０００よりも狭いものがある。また、表示装置には、視聴環境が明るいことによりダイナミックレンジが下がっているもの、あるいはプロジェクタからの発光がスクリーンで反射し、視聴者側で再反射した光が再びスクリーンに届くことによりダイナミックレンジが下がっているものなどがある。このような表示装置や視聴環境では、想定されたコンテンツの見え方、すなわちダイナミックレンジ２０００程度が実現されていない。
【０００７】
そのような状況において、コントラストの低下に関してはガンマカーブによる補正処理が行われるが、その際、明部のつぶれによる画質劣化が発生する。それゆえ、色の濃さを濃くすることによって、想定された見え方に近付けようとする処理がなされているが、その際、暗部の色粒状感が発生する。また、特許文献１では、表示および周囲が暗い時にのみプルキニエ遷移の影響が補正されるので、周囲が明るい時に起こるダイナミックレンジの低下には対応できない。また、印刷装置のダイナミックレンジが低い場合や、画像の記録装置におけるダイナミックレンジが低い場合においても、上記と同様の課題が存在する。
【０００８】
本発明はこのような課題に鑑みてなされたものであり、画像データを取得する装置のダイナミックレンジが狭い場合の画質をダイナミックレンジが広い場合の画質に近づけることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための一手段として、本発明の表示制御装置は以下の構成を有する。すなわち、表示画面に画像を表示させる表示制御装置であって、画像データを入力する入力手段と、前記入力手段により入力された画像データから、前記画像における処理対象となる注目画素について、前記注目画素に関連する階調情報を取得する取得手段と、前記表示画面に対応する表示ダイナミックレンジ情報と、前記画像データが表す画像に応じた生成ダイナミックレンジ情報とに基づいて、ダイナミックレンジの縮小率を推定する推定手段と、前記ダイナミックレンジの縮小率に応じて、前記画像データから前記注目画素の信号を取得し、前記階調情報が示す明るさが高い画素における彩度の増加倍率が、前記階調情報が示す明るさが低い画素における彩度の増加倍率よりも大きくなるように、前記階調情報に応じて前記注目画素における信号が表す色の彩度を増加する補正処理を実行する補正手段と、前記補正手段による補正済みの補正画像データに基づく画像を前記表示画面に表示させる表示制御手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、画像データを取得する装置のダイナミックレンジが狭い場合の画質をダイナミックレンジが広い場合の画質に近づけることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における画像処理装置の色補正部の構成を示す図。
【図２】第１実施形態における画像処理装置を内蔵した表示装置の全体の構成を示す図。
【図３】ＣＩＥ標準分光視感効率を表した参考図。
【図４】視細胞の分光感度を表した参考図。
【図５】平均階調値と比率の関係を説明する図。
【図６】第２実施形態における画像処理装置の色補正部の構成を示す図。
【図７】第２実施形態における色相を補正するルックアップテーブルの説明図。
【図８】第２実施形態における画像処理装置の色補正部の構成を示すブロック図。
【図９】視野内輝度に対する錐体視と桿体視の合成視を説明する図。
【図１０】照度に対する赤色の等価明度を表した図。
【図１１】第４実施形態における画像処理装置の色補正部の構成を示すブロック図。
【発明を実施するための形態】
【００１２】
まず、図３、４、９、１０を参照して、表示装置の周囲の明るさとプルキニエ遷移との関係、および視聴者による画像の見え方について説明する。
【００１３】
図３は、人間の平均的な視覚特性を示すＣＩＥ標準分光視感効率を表した参考図である。図３の横軸は、光の波長（ｎｍ）を表し、縦軸は分光視感効率を表している。図中の２つの曲線は、暗所視の視感度曲線４１と明所視の視感度曲線４２である。この図は、明所視と暗所視の特性を比較したグラフになっており、明所視の視感度曲線４２では感度のピーク波長が約５７０ｎｍであり、暗所視の視感度曲線４１では感度のピーク波長が約５００ｎｍである。前述のように暗いところでは桿体視の割合が増えるので、図３から、暗いところでは視聴者は短波長側を明るく感じることになり、物体の色が青っぽく見えるようになることがわかる。逆に、明るいところでは錐体視の割合が増えるので、視聴者は長波長側を明るく感じることになり、物体の色が赤っぽく見えるようになることがわかる。
【００１４】
図４は、視細胞の分光感度を表した参考図である。この図は、色ごとの錐体の分光感度と桿体の分光感度を比較したグラフになっている。図中の４つの曲線は、桿体の分光感度曲線４３、青錐体の分光感度曲線４４、緑錐体の分光感度曲線４５、赤錐体の分光感度曲線４６である。図４から、錐体は青・緑・赤の三原色で異なる感度を持つのに対し、桿体は一色の感度を持つことがわかる。また、前述のように暗いところでは桿体視の割合が増えるので、図４から、暗いところでは色の成分が減少して見えることがわかる。つまり、暗くなるに従って、色が薄く（彩度が低く）見えるようになることがわかる。逆に、明るくなるに従って、色が濃く（彩度が高く）見えるようになることがわかる。桿体細胞と錐体細胞は、網膜上で混ざりあいながら広く分布している。画像の暗部では桿体視の比率が増え、明部では錐体視の比率が増えるので、ある画像を網膜上に焦点を結んだ場合には、図４の特性から、暗部では彩度が低く見え、明部では彩度が高く見えることになる。
【００１５】
図９は、視野内輝度に対する錐体視と桿体視の合成視を概念的に説明する図である。図９の縦軸は、視野内輝度であり、上にいくほど視野内輝度が高くなる、すなわち明るくなることを示す。図中、範囲９１は、画像に対して想定されているダイナミックレンジの視野内輝度の範囲、範囲９２は、画面に表示されているダイナミックレンジの視野内輝度の範囲である。範囲９３は、錐体視を行なう輝度範囲の比率、範囲９４は、桿体視を行なう輝度範囲の比率、範囲９５は、明るい側で不足している輝度範囲、範囲９６は、暗い側で不足している輝度範囲である。
【００１６】
錐体細胞は、視野内輝度が高い（明るい）場合に主に働く。一方、桿体細胞は、視野内輝度が低い（薄暗い）場合に主に働く。このため、錐体視と桿体視の視野内輝度の範囲は、それぞれ範囲９３、範囲９４のようなテーパー状の比率を持っている。また、これらの桿体視と錐体視の合成感度は、範囲９３と範囲９４の合成した形状である。図４から分かるように、錐体視と桿体視の合成感度（範囲９３と範囲９４を合成した範囲）は、明るい視野内輝度では錐体視の影響が強く、暗い視野内輝度では、桿体視の影響が強くなる。
【００１７】
ここで、コンテンツ（画像）に対して想定されているダイナミックレンジの範囲９１と実際に画面に表示されているダイナミックレンジの範囲９２について考える。ＴＶ放送における代表的な規格であるＢＴ７０９のダイナミックレンジは８５０程しかない。これでは狭すぎて白飛びを起こすので、通常の撮影カメラではガンマカーブで高階調領域を２００〜４００％折り込むことがなされている（二―機能）。これにより、コンテンツに対して想定されているダイナミックレンジの範囲９１は、２０００から３０００程度となる。
【００１８】
実際に表示しているダイナミックレンジの範囲９２は、表示装置の性能で５００程度であったり、外光や表示の反射光の影響で１００程度の場合がある。そのような場合、想定されているダイナミックレンジの範囲９１と実際に表示しているダイナミックレンジの範囲９２において、錐体視と錐体視の合成比率が異なっていることになる。錐体視と桿体視の合成比率が変わっていることによって、錐体視と桿体視の見え方の違いに起因して、画像の見え方が異なってしまう。
【００１９】
本実施形態では、この比率の違いの分だけ画像の色相や彩度を補正して、画像を、もともと想定されているダイナミックレンジで見た時に近づけて見せる技術を提供する。具体的には、本実施形態における画像処理装置は、明るい側で不足している範囲９５については、図３乃至４の説明で述べたように、錐体視の比率を高める補正として、色相を赤寄りにする補正と、彩度を上げる補正の、片方または両方を行なう。また、本実施形態における画像処理装置は、暗い側で不足している範囲９６については、桿体視の比率を高める補正として、色相を青寄りにする補正と、彩度を下げる補正の、片方または両方を行なう。
【００２０】
ここで、照明の照度、すなわち周囲の明るさにより錐体視と桿体視の合成感度の比率がどの程度に変わるかを図１０を参照して説明する。図１０は、照度に対する赤色の等価明度を表した図である。図の横軸は、試験照明の照度であり、縦軸は赤色の等価明度として同じ明るさの白色光に対して被験者が感じる赤色光の明度を％（百分率）で表したものである。図中の２つのグラフは、照度変化に対する赤色の等価明度を示すグラフ１０１と、補助グラフ１０２である。補助グラフ１０２は、横軸をＸ、縦軸をＹとした時、Ｙ＝４５＋１０×ＬｏｇＸ  の関係にあるグラフであり、横軸が対数軸のため直線により表される。
【００２１】
図３、４を参照して上述したように、錐体視は赤色に対する感度が高く、桿体視は赤色に対する感度が低い。また、照度が高い時は錐体視の比率が高く、照度が低い時は桿体視の比率が高い。よって、グラフ１０１は、図３、４の両方の効果を合成した結果であり、錐体視の比率を示しているものと考えられる。
【００２２】
本実施形態における画像処理装置は、想定されたダイナミックレンジと実際に見ているダイナミックレンジの違いを埋めるための補正のパラメータを、図１０のグラフを基に求める。補助グラフ１０２は、照度が１０倍異なれば、等価明度が１０％異なる特性をもつグラフである。グラフ１０１の傾きを、補助グラフ１０２と比較して求めると、照度１〜１００の領域では、１０倍あたり１０％以上２０％以下の変化があり、照度１以下あるいは１００以上の領域では、１０倍あたり５％以上１０％以下の変化であることがわかる。すなわち、ダイナミックレンジの変化による補正割合は、ダイナミックレンジが１０倍変わる毎に、１０％を平均として、５〜２０％の範囲で補正するのが適当であることがわかった。
【００２３】
以下、図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００２４】
［第１実施形態］
以下に、第１実施形態における画像処理装置の構成及び動作を、図１、２、５を参照して説明する。図２は、本実施形態における画像処理装置を内蔵した表示装置の全体の構成を示すブロック図である。ガンマ系画質調整部２１は、入力画像に対しガンマ系の画質補正を行なう。ダイナミックレンジ推定部２２は、ダイナミックレンジの縮小率を生成（決定）する。色補正部２３は、ダイナミックレンジ推定部２２により生成（決定）されたダイナミックレンジの縮小率に応じて画像の色を補正する。リニア系画質調整部２４は、リニア系の画質補正を行なう。パネルドライバ２５は、画像信号を表示パネル駆動信号に変換する。表示パネル２６は、画像を表示するパネルである。なお、入力画像は外部入力やチューナーで受信した信号をデコードすることによって得られることが一般的であるため、画像入力部の図示は省略した。
【００２５】
本表示装置に入力された入力画像は、通常、ガンマ値２．２が掛かっているガンマ系の画像である。ガンマ系画質調整部２１は、このような入力画像に対し、ガンマ系における拡大縮小などのガンマ系画像処理を行う。ダイナミックレンジ推定部２２は、コンテンツに対して想定されているダイナミックレンジ、実際の表示装置のダイナミックレンジ、環境照度によるダイナミックレンジの縮小率に基づいて、ダイナミックレンジの縮小率を生成する。なお、以下において、コンテンツに対して想定されているダイナミックレンジを、想定ダイナミックレンジと称し、表示装置のダイナミックレンジを、表示ダイナミックレンジと称する。
【００２６】
実際の表示ダイナミックレンジは、表示ダイナミックレンジの初期値と環境照度に基づいて推定される。表示ダイナミックレンジの初期値は、工場出荷時等に、表示装置の白輝度と、黒輝度あるいは階調＝１の輝度のいずれかを測定することにより求められる。パネルドライバ２５と表示パネル２６の無い画像処理装置単独の場合は、ユーザが、表示ダイナミックレンジの初期値を、例えば、５００や１０００等の値に設定する。環境照度は、不図示の照度センサや照度計を用いて推定できる。ダイナミックレンジ推定部２２は、このように得られた表示ダイナミックレンジの初期値と環境照度に基づいて、実際の表示ダイナミックレンジを推定する。照度センサ等がない場合は、ユーザが実際の表示ダイナミックレンジを適切な値に設定する。
【００２７】
環境照度によるダイナミックレンジの縮小率については、ダイナミックレンジ推定部２２は、不図示の照度センサや照度計を用いて推定する。該照度センサは、環境照度をセンシングする。照度が高い（明るい）ほど、ダイナミックレンジは狭くなる。照度センサ等がない場合は、ユーザが、環境照度によるダイナミックレンジの縮小率を、例えば、５分の１や２０分の１等の値に設定する。
【００２８】
想定ダイナミックレンジについては、所定の良好なダイナミックレンジとして１０００倍から１００００倍の間を使用するとして、例えば初期値を２０００と設定される。そして、表示するコンテンツによって、ユーザが、想定ダイナミックレンジを良好なダイナミックレンジ内で変更可能にすればよい。
【００２９】
ダイナミックレンジ推定部２２は、上記のように得た、想定ダイナミックレンジ、実際の表示ダイナミックレンジ、環境照度によるダイナミックレンジの縮小率に基づいて、ダイナミックレンジの縮小率ＳＫを以下のように計算する。
ＳＫ  ＝  ＤＤ  ／  ＣＤ  ×  Ｋ
ここで、ＤＤは実際の表示ダイナミックレンジであり、ＣＤは想定ダイナミックレンジで、Ｋは環境照度によるダイナミックレンジの縮小率を示す。
【００３０】
例えば、出力先の実際の表示ダイナミックレンジＤＤ＝５００、想定ダイナミックレンジＣＤ＝２０００、環境照度によるダイナミックレンジの縮小率Ｋ＝１／３の場合、求めるダイナミックレンジの縮小率ＳＫは、
ＳＫ  ＝  （５００  ／  ２０００）  ×  （１  ／  ３）  ＝  １／１２  
となる。ダイナミックレンジ推定部２２はこのように算出したダイナミックレンジの縮小率ＳＫを、色補正部２３へ入力する。
【００３１】
色補正部２３は、ガンマ系の画質補正部から入力された画像と、ダイナミックレンジ推定部２２から入力された縮小率の逆数から得られるダイナミックレンジの補正倍率により、色の補正を行なう。詳細は図１を用いて後述する。なお、実際の表示ダイナミックレンジが十分に広く、想定ダイナミックレンジよりも高い場合は、色補正処理を行なう必要がないので、色補正部２３による処理は省略され、そのままの画像が出力される。色補正部２３からの出力はリニア系であるため、リニア系画質調整部２４は、リニア系のエッジ強調処理などの画質調整を行なう。以上、図２では、画像処理装置が内蔵された表示装置を示したが、表示装置と分離して、画像処理装置を表示装置の前段に接続する構成でも構わない。
【００３２】
次に、錐体視と桿体視における色の濃さの見え方の相違を用いた、ダイナミックレンジの減少に対する補正について説明する。色の濃さである彩度を補正することによる、色補正処理の例を図１を用いて説明する。図１は、第１実施形態における画像処理装置が有する色補正部２３の構成を示すブロック図である。
【００３３】
ラインバッファ１１は、入力画像を一時保存する。ガウスフィルタ１２は、基準階調値として、処理対象画素の近傍画素から近傍平均値を計算して取得する。彩度増加部１３は、処理対象画素の彩度を増加させる。彩度維持部１４は、処理対象画素の彩度を変えず、タイミング合わせだけを行う。彩度減少部１５は、処理対象画素の彩度を減少させる。比率決定部１６は、ガウスフィルタ１２から得た近傍平均値と、ダイナミックレンジの補正倍率に基づいて、各処理対象画素の使用比率を決定し、分配する。乗算部１７は、彩度が増加した画像に対して比率決定部１６から得た使用比率を掛ける乗算器、乗算部１８は、彩度維持の画像に対して比率決定部１６から得た使用比率を掛ける乗算器、乗算部１９は、彩度が減少した画像に対して比率決定部１６から得た使用比率を掛ける乗算器である。加算部２０は、３つの乗算部１７〜１９からの出力を加算する加算器である。
【００３４】
入力画像は、ラインバッファ１１に入力される。なお、本実施形態では、容易性の理由から、入力画像がＲＧＢ系色空間の場合は輝度色差系色空間（ＹＰｂＰｒ）に変換してから処理が行われるものとする。通常の入力画像はラスタースキャンで入力されるため、ラインバッファ１１は、ガウスフィルタ１２に必要なライン数の画像を保持する。たとえば、ガウスフィルタ１２が９×９のフィルタであれば、ラインバッファ１１は、９ライン分の画像を保持する。なお、ガウスフィルタ１２は、輝度信号の階調値Ｙだけで計算するので、階調値Ｙの保存幅が９ライン分あれば良く、色差信号であるＰｂＰｒ信号は処理対象画素が演算可能になるまでの期間である５ライン分だけ保持すれば良い。
【００３５】
ガウスフィルタ１２は、現在の処理対象画素の近傍領域の平均階調値を計算する。なお、ガウスフィルタ１２としてガウスフィルタに替えて、平均値フィルタ等他のフィルタを用いても良い。平均値フィルタを使う場合は、処理対象画素に対して該画素から遠く離れた画素の影響が強くなるという欠点があるが、回路規模が小さくなるという利点がある。また、ガウスフィルタ１２のサイズとして９×９のサイズ大きければ、７×７や５×５など少し小さなサイズとしてもよい。小さいサイズの場合は、補正処理の結果は若干悪くなる。なお、最も回路規模が小さいのは処理対象画素そのものを平均階調値（基準階調値）とすることであるが、その場合では若干の画質改善にとどまる。
【００３６】
上述のようにガウスフィルタ１２が処理対象画素の近傍の平均階調値を計算することによって、処理対象画素がどの程度明部なのか暗部なのかが簡易的に計算可能である。また、回路規模を大きくすることが可能な場合、像域分離の一種であるスーパーピクセル処理あるいは分割統合法を行なうことができる。像域分離を行なうことにより、処理対象画素の含まれる像域が判断可能である。したがって、回路規模を大きくした場合は、処理対象画素の像域の平均階調値を用いることで、暗部領域中の局所的な明部では明部の処理を行なわないなど、より適切な補正が可能となる。
【００３７】
彩度増加部１３は、色差信号であるＰｂＰｒ信号のそれぞれが１倍から１．３倍になるように変換処理を行うことにより、簡易的に彩度の増加を実現できる。しかしながら、この方法では色つぶれが発生するので、それを避けるために、彩度増加部１３は、直線ではなく曲線補間するルックアップテーブルを用いて、変換処理を行ってもよい。彩度維持部１４は、彩度増加部１３の処理で遅延するクロック数だけ、処理対象画素をシフトさせる。彩度減少部１５は、色差信号であるＰｂＰｒ信号のそれぞれを、１倍から０．７倍程度になるように変換処理を行うことで簡易的に実現できる。なお、彩度増加部１３と同様に、直線ではなく曲線補間するルックアップテーブルを用いて、変換処理しても良い。
【００３８】
比率決定部１６には、ダイナミックレンジ推定部２２により推定されたダイナミックレンジの縮小率に対する逆数の値以内の値である、補正倍率が入力される。たとえばダイナミックレンジの縮小率が１２分の１であれば、１２倍以内の補正倍率が入力される。もし、１２倍を超える値が補正倍率として設定されると、結果として色補正部２３より出力される画像が補正をやり過ぎたものとなってしまう。比率決定部１６は、入力された補正倍率と平均階調値に基づいて、平均階調値に対する彩度増加部１３と彩度維持部１４と彩度減少部１５に対する使用比率を計算する。
【００３９】
図１０を参照すると、赤の等価明度の明るさに対する変化は、明るさの対数に対して、ほぼ直線状になっている。ガンマ値２．２の指数を持つ階調値は対数軸で直線になるため、階調値に対してほぼ直線状に変化させるのが良いことになる。平均階調値の中央付近を彩度変化＝０とおくと、彩度の変化の実施は、平均階調値が高くなるに従って彩度を増加させ、平均階調値が低くなるに従って彩度を減少させることで実現できる。
【００４０】
図５を用いて、平均階調値（基準階調値）によって、各画素の使用比率を連続的に変更する例を示す。図５は、平均階調値と使用比率の関係を説明する図である。図５（Ａ）は、彩度増加部１３に対する使用比率を説明し、図５（Ｂ）は、彩度減少部１５に対する使用比率を説明する。図５において、横軸は平均階調値を示し、例として８ビット（０〜２５５）の階調値で示している。縦軸は比率決定部１６が出力する使用比率である。また、図５（Ａ）は、彩度増加部１３の設定グラフ５１、使用比率０とする階調ポイント５２、フル階調値における使用比率ポイント５３を有する。図５（Ｂ）は、彩度減少部１５の設定グラフ５４、使用比率０とする階調ポイント５５、０階調値における使用比率ポイント５６を有する。
【００４１】
使用比率０とする階調ポイント５２と５５はそれぞれ、階調ポイント５２以下では彩度を増加させないというポイントと、階調ポイント５５以上では彩度を減少させないというポイントである。これら２つのポイント値は、表示する画像のＡＰＬ値に近い点、あるいは動画であれば画像ごとのＡＰＬ値の平均値に近い点とする。なお、これら２つのポイント値は同じ値としても別の値としてもかまわない。
【００４２】
フル階調値における使用比率ポイント５３によって、彩度増加部１３の出力の最大使用比率が決まる。最大使用比率＝使用比率ポイント５３である。たとえば、彩度増加部１３の増加倍率が１．３倍、使用比率ポイント５３が１．０とすると、彩度増加部１３はＰｂＰｒ信号を最大１．３倍に増加する。また、彩度増加部１３の増加倍率が１．３倍、使用比率ポイント５３を０．５としてあれば、彩度減少処理は行わないと仮定すると、残りの使用比率０．５は彩度維持部１４の出力に使用されるので、１．３×０．５＋１．０×０．５＝１．１５となり、彩度増加部１３はＰｂＰｒ信号を最大１．１５倍に増加することになる。本実施形態では、ダイナミックレンジの補正倍率は１２倍以内であることが望ましい。また、図１０を用いて上述したように、ダイナミックレンジが１０倍変わる場合に１０％を平均として、５〜２０％の範囲で補正するのが適当である。これらことから、彩度増加部１３の増加倍率を１．３倍、使用比率ポイントを０．５として、最大１．１５倍（１５％の増加）とするのが、望ましい設定の一例となる。
【００４３】
なお、彩度減少部１５の出力の最大使用比率は、図５Ｂにおける、使用比率ポイント５６によって決められる。使用比率に基づく処理は、彩度増加部１３による処理の場合と同様のため、説明を省略する。
【００４４】
彩度維持部１４の出力の使用比率は、彩度増加用使用比率と彩度減少用使用比率の残りの使用比率であるので、合計１．０の使用比率から、彩度増加用使用比率と彩度減少用使用比率を減算したものになる。すなわち、彩度維持部１４の使用比率＝１．０−（彩度増加部１３の使用比率＋彩度減少部１５の使用比率）となる。なお、図５（Ａ）および図５（Ｂ)では、説明を簡単にするため設定グラフは一次式（直線）としたが、一次式に限ることはない。図１０において、実際の赤の等価明度の特性は、照度に対して曲線的に変化するので、設定グラフを曲線で表す方がより望ましい。
【００４５】
次に、乗算部１７は、彩度増加部１３の出力と彩度増加部１３に対する使用比率を乗算する。同様に、乗算部１８は、彩度維持部１４の出力と彩度維持部１４に対する使用比率を乗算し、乗算部１９は、彩度減少部１５の出力と彩度減少部１５に対する使用比率を乗算する。そして、加算部２０が乗算部１７〜１９の出力を混合して合成画素を出力する。
【００４６】
なお、色差信号に変換せずに、ＲＧＢ値のままで処理することも煩雑であるが可能である。その場合は、近傍平均値をＲＧＢの合計値で求めればよい。また、その場合は、彩度増加のための処理は、ＲとＢ値の差が広がるような曲線とした２次元ルックアップテーブルを使えば良く、彩度減少のための処理は、ＲとＢ値の差が狭まるような曲線とした２次元ルックアップテーブルを使えば良い。
【００４７】
また、本実施形態では、明るい平均階調部分の彩度を上げ、暗い平均階調部分の彩度を下げる処理の両方を行なう例を示したが、そのうちの片方だけを行なっても良い。この場合、ある程度は、ダイナミックレンジを拡大したように見えることが確認されている。補正回路を少なくするのであれば、片方だけの処理を行なえば良い。どちらか片方のみであれば、平均階調値の明るい部分の彩度を濃くする方を行なうのが効果的であることは、実際の画像において確認されている。
【００４８】
また、本実施形態では、処理対象画素に対して、彩度増加部１３と彩度維持部１４と彩度減少部１５に分けて異なる処理を行い、その後、乗算部１７〜１９で混合する例を示したが、構成例はこれに限定されない。例えば、平均階調値の値によって、彩度を増加あるいは減少させる手段を持つ一つの処理ブロックとしてもよい。
【００４９】
このように本実施形態によれば、彩度調整処理である、明るい平均階調部分の彩度を上げることと、暗い平均階調部分の彩度を下げることの少なくとも一方を行うことにより、画像を、もともと想定されているダイナミックレンジで見たときに近づけて見せることが可能となる。
【００５０】
［第２実施形態］
次に、第２実施形態として、錐体視と桿体視の中心となる波長の違いに着目して、ダイナミックレンジの減少を補正する例を説明する。合成視の感度中心波長がずれることによる影響を、画像の部分的な明度に応じて色相を補正することによる、色補正処理の例を図６を用いて説明する。
【００５１】
図６は、本実施形態における画像処理装置の色補正部２３の構成を示すブロック図である。後述する赤方向色相シフト部６１、色相維持部６２、および青方向色相シフト部６３以外のブロックは図１と同様のため、説明を省略する。赤方向色相シフト部６１は、処理対象画素の色相を赤方向にシフトさせ（ずらせ）、色相維持部６２は、処理対象画素の色相をそのままとしタイミングを合わせ、青方向色相シフト部６３は、処理対象画素の色相を青方向にシフトさせる。
【００５２】
本実施形態では、入力画像が輝度色差系色空間ＹＰｂＰｒの場合と、入力画像がＲＧＢ系色空間の場合の両方について説明する。処理対象画素の近傍平均階調値を求める方法は、第１実施形態で述べた方法と同様である。処理対象画素そのものを平均階調値とすることができることも、第１実施形態と同様である。また、像域分離を行なって、像域ごとの平均階調値を使ってもよい。
【００５３】
本実施形態において、赤方向と青方向にシフトする（ずらす）量は、第１実施形態と同じく、ダイナミックレンジの１０倍の変化あたり、５〜２０％の範囲である。まず、輝度色差信号の場合、赤方向色相シフト部６１は、色差信号であるＰｒ信号を、−１．０から１．０の正規化したものに０．１から０．３程度の値を加算し、Ｐｂ信号を−１．０から１．０の正規化したものに０．１から０．３程度の値を減算する。これにより、処理対象画素の色相を赤方向へシフトさせることを簡易的に実現できる。もし、１．０以上の値になった場合には１．０の値に制限し、−１．０以下の値になった場合には−１．０の値に制限する。
【００５４】
なお、この加算と減算の値（上記例では０．１から０．３程度の値）として、近い値にすることが好ましい。これは、画像内の無彩色部分の色度が、黒点放射の色度曲線上からあまり遠ざからないからである。逆に、この加算と減算の値として、あまり異なる値を使用した場合、画像内の無彩色部分が緑色にかぶったり、紫色にかぶったりすることになる。
【００５５】
また、上述したように、単純に加算減算すると、両端の値の制限によって色つぶれが発生するので、それを避けるには、曲線補間すると良い。例えば、０．２を加算する場合、ルックアップテーブルを用いて、−１．０〜０．６までの間は０．２を加算し、０．７では０．１５を加算し、０．８では０．１を加算し、０．９では０．０５を加算し、１．０では加算しない、ように変換処理する。減算の場合は、方向を逆として、同じようにすれば−１．０を超えないようにできる。
【００５６】
色相維持部６２は、赤方向色相シフト部６１の処理で遅延するクロック数だけ、画像をシフトする。青方向色相シフト部６３は、色差信号であるＰｂ信号を、−１．０から１．０の正規化したものに０．１から０．３程度の値を加算し、Ｐｒ信号を−１．０から１．０の正規化したものに０．１から０．３程度の値を減算する。これにより、処理対象画素の色相を青方向へシフトさせることを簡易的に実現できる。赤方向色相シフト部６１と同様に、直線ではなく曲線補間するルックアップテーブルを用いて、変換処理しても良い。
【００５７】
第２実施形態においても、第１実施形態で参照した図５を同様に使用できる。比率決定部１６には、図１と同様に、ダイナミックレンジの減少に対する補正倍率が入力される。入力された補正倍率に基づいて、赤方向色相シフト部６１と色相維持部６２と青方向色相シフト部６３に対する使用比率を計算する。平均階調値と使用比率の関係は、図５を用いた説明で述べたように、第１実施形態と同様に表される。すなわち、設定する階調値と平均階調値に基づいて、色相を赤色にシフトさせた画像の使用比率と、色相を青色にシフトさせた画像の使用比率と、色相が維持された画像の使用比率が出力される。
【００５８】
乗算部１７は、赤方向色相シフト部６１の出力と赤方向色相シフト部６１に対する使用比率を乗算する。同様に、乗算部１８は、色相維持部６２の出力と色相維持部６２に対する使用比率を乗算し、乗算部１９は、青方向色相シフト部６３の出力と青方向色相シフト部６３に対する使用比率を乗算する。そして、加算部２０が乗算部１７〜１９の出力を混合して合成画素を出力する。
【００５９】
次に、色差信号に変換せずに、ＲＧＢ値のままで処理する場合について説明する。その場合は、近傍平均値をＲＧＢの合計値で求めればよい。色相を赤方向にシフトさせるには、Ｒの値が増加しＢの値が減少するような曲線としたルックアップテーブルを使えば良い。色相を青方向にシフトさせるには、Ｒの値が減少しＢの値が増加するような曲線としたルックアップテーブルを使えば良い。このルックアップテーブルについて、図７を用いて説明する。
【００６０】
図７は、第２実施形態における色相を補正するルックアップテーブルの説明図である。図７（Ａ）は、色相を赤方向にシフトさせるためのテーブルを示し、図７（Ｂ）は、色相を青方向にシフトさせるためのテーブルを示す。図の横軸は入力階調値を示し、縦軸は出力階調値を示す。図のＲとＢは、ＲＧＢ系色空間におけるＲの階調変換曲線とＢの階調変換曲線を示す。
【００６１】
図７は、入力階調値に等しい出力階調値のライン７１、色相を赤方向にシフトさせる場合のＲ階調の変換曲線７２、色相を赤方向にシフトさせる場合のＢ階調の変換曲線７３、色相を青方向にシフトさせる場合のＲ階調の変換曲線７４、色相を青方向にシフトさせる場合のＢ階調の変換曲線７５を有する。各色をシフトさせる曲線７２〜７５は、上述したように１．１〜１．３倍、あるいは０．９〜０．７倍の値が中央の階調値でなされるように設定され、階調値の明るい部分と暗い部分では色つぶれの無いように、等しい階調値に沿うような曲線である。ルックアップテーブルである曲線をこのような形状とすることで、ＲＧＢデータである入力画像に対して、色つぶれなく色相を変えることが可能である。
【００６２】
また、本実施形態では、明るい平均階調部分の色相を赤方向にシフトさせ、暗い平均階調部分の色相を青方向にシフトさせる処理の両方を行う例を示したが、そのうちの片方だけを行なってもよい。この場合、ある程度は、ダイナミックレンジを拡大したように見えることが確認されている。補正回路を少なくするのであれば、片方だけの処理を行なえば良い。どちらかのみの処理を行なうのであれば、平均階調値の明るい部分の色相を赤方向にシフトさせる処理を行なうのが効果的であることとは、実際の画像において確認されている。
【００６３】
また、本実施形態では、処理対象画素に対して、赤方向色相シフト部６１、色相維持部６２、青方向色相シフト部６３に分けて異なる処理を行い、その後、乗算部１７〜１９で混合する例を示したが、構成例はこれに限定されない。例えば、平均階調値の値によって、色相を赤方向あるいは青方向にシフトさせる手段を持つ一つの処理ブロックとしてもよい。
【００６４】
このように本実施形態によれば、色相調整処理である、明るい平均階調部分の色相を赤方向にシフトさせることと、暗い平均階調部分の色相を青方向にシフトさせることの少なくとも一方を行うことにより、画像を、もともと想定されているダイナミックレンジで見たときに近づけて見せることが可能となる。
［第３実施形態］
【００６５】
ここまでにおいて、彩度を調整してダイナミックレンジの減少を補正する第１実施形態と、色相を調整してダイナミックレンジの減少を補正する第２実施形態を述べた。第１実施形態と第２実施形態単独でも、ダイナミックレンジが拡大したように見せることは出来るが、変化させたい赤の色成分の変化に伴ない、変化させたくない青の色成分が変化する副作用も出てしまう。
【００６６】
第１実施形態では、明部の彩度を上げるので、明部で赤の色成分を上げると同時に青の色成分まで上がってしまう、また、暗部では赤の色成分を下げると同時に青の色成分まで下がってしまう。また、第２実施形態では、明部で赤の色成分が上がると同時に青の色成分が下がってしまい、また、暗部では赤の色成分が下がると同時に青の色成分が上がってしまう。本実施形態では、これらの副作用をなくすことを目的とする。
【００６７】
本実施形態として、錐体視と桿体視の色の濃さに対する見え方の違いと、感度の中心となる波長の違いの両方に着目した、ダイナミックレンジの減少の補正を説明する。本実施形態における色補正部２３を図８を用いて説明する。図８は、本実施形態における画像処理装置の色補正部２３の構成を示す図である。図８は、第１実施形態の説明に用いた図１に、第２実施形態の説明に用いた図６の赤方向色相シフト部６１、色相維持部６２、および青方向色相シフト部６３を加えたものである。すなわち、本実施形態の色補正部２３は、彩度・色相調整を行う。各ブロックの説明は、図１、６と同様のため、説明を省略する。
【００６８】
各補正処理については、第１実施形態および第２実施形態において述べたので説明を省略する。各補正処理を行なった画素の使用比率については、ダイナミックレンジの減少に対する補正を、２種類の補正処理で行なうので、２重に補正がかかることになる。そこで、図６で説明した使用比率の設定において、使用比率を実施例１および２の約半分になるように設定すれば、適切である。また、補正処理を行なう順番は、図８に示したように、先に色相の補正を行ない後で彩度の補正を行なうことが好ましい。逆の順番で行ってもかまわないが、色つぶれを起こしやすくなる。
【００６９】
また、本実施形態では、明るい平均階調部分の色相を赤方向にシフトさせ、暗い平均階調部分の色相を青方向にシフトさせる両方の処理を行う例を示したが、補正回路を少なくするのであれば、片方だけの処理を行なえば良い。また、明るい平均階調部分の彩度を上げ、暗い平均階調部分の彩度を下げる処理の両方を行なう例を示したが、補正回路を少なくするのであれば、片方だけの処理を行なえば良い。
【００７０】
また本実施形態では、赤方向色相シフト部６１彩度増加部１３と、色相維持部６２および彩度維持部１４と、青方向色相シフト部６３および彩度減少部１５に分けて、乗算部１７、１８、１９で混合する例を示したが、平均階調値の値によって、色相を赤方向あるいは青方向にずらし、彩度を増加あるいは減少させる手段を持つ一つあるいは２つの処理ブロックとしてもよい。
【００７１】
［第４実施形態］
次に、第４実施形態として、平均階調値の値によって、色相を赤方向あるいは青方向にずらし、彩度を増加あるいは減少させる処理ブロックを有する画像処理装置について、第１実施形態との差異を中心に説明する。
【００７２】
図１１は、本実施形態における画像処理装置が有する色補正部２３の構成を示すブロック図である。後述する補正係数変換部１１１、彩度と色相の処理部１１２，タイミング調整部１１３，Ｐｂの乗算器１１４，Ｐｒの乗算器１１５，Ｐｂの加算器１１６，Ｐｒの加算器１１７以外のブロックは図１と同様のため、説明を省略する。
【００７３】
Ｐｂの乗算器１１４は、処理対象画素のＰｂの彩度を上げるまたは下げる処理を行ない、Ｐｒの乗算器１１５は、処理対象画素のＰｒの彩度を上げるまたは下げる処理を行なう。Ｐｂの加算器１１６は、処理対象画素のＰｂの青色相を増加または減少するようにシフトさせ（ずらし）、Ｐｒの加算器１１７は、処理対象画素のＰｒの青色相を増加または減少するようにシフトさせる（ずらす）。タイミング調整部１１３では、処理対象画素のＹに対し、ＰｂとＰｒが彩度および色相の演算処理によって遅延するので、Ｙ信号に対するタイミングのずれを合わせる。
【００７４】
補正係数変換部１１１で出力する彩度の補正係数および色相の補正係数は、第１実施形態および第２実施形態で述べたグラフおよび計算と同様であるので、説明を省略する。本実施形態においては、彩度の処理を先に行ない、色相の処理を後に行なう方が色つぶれを起こしにくい。本実施形態にあっては、第３実施形態よりも少ない回路構成で実施できるという利点がある。
【００７５】
以上の実施形態では、主に表示装置側において本発明を適用する例を示して説明したが、撮影装置側や画像記録側に本発明を適用することも、同様に可能である。撮影装置側に本発明を適用する場合、対象物に対する人間の視覚のダイナミックレンジと対象物を撮影し画像として記録するダイナミックレンジの比率を補正することになる。視覚のダイナミックレンジは、順応を考慮すると１００万倍以上あるが、順応なしでは１万〜１０万倍の間である。撮影装置において撮影し記録するダイナミックレンジが２０００倍である場合は、本発明の画像処理を用いて、５倍にダイナミックレンジを広げたことに相当するように彩度と色相を処理して、１万倍のダイナミックレンジに見えるような画像を記録することが出来る。こうして処理を行なった後に記録した画像を、例えばダイナミックレンジ５００倍の表示装置においても、本発明の画像処理を用いて４倍広げたように彩度と色相の処理を行なう。このように撮影側と表示側それぞれに本発明を適用すれば、５００倍の表示装置において、視覚のダイナミックレンジに近い１万倍に見えるような彩度と色相のある画像を視聴することになる。
【００７６】
また、印刷装置に本発明を適用することも、同様に可能である。印刷装置において、黒色インクや黒色トナーの反射率は数パーセントで、紙の反射率は９０％ぐらいなので、印刷物のダイナミックレンジは、数十倍である。本発明を印刷装置に適用する場合、入力画像のダイナミックレンジの想定値と、印刷物のダイナミックレンジの比率を補正する。すなわち、印刷装置は、対象物に対する人間の視覚のダイナミックレンジと、対象物を撮影し画像として記録するダイナミックレンジの比率を補正することになる。例えば、印刷物のダイナミックレンジが３０倍であり、入力画像の想定ダイナミックレンジが２０００倍で合った場合は、印刷装置は、補正比率を６７として、本発明の画像処理を行なう。画像処理後に得られた印刷物は、ダイナミックレンジが２０００倍あるような彩度と色相に見えることになる。
【００７７】
以上、各実施形態により、本発明を実現する構成例を説明したが、本発明の趣旨を実現する構成が、上記実施形態に限るものではない。例えば、マイクロプロセッサとメモリを用いて、上記実施例と同様の画像処理を行なうことが出来るのは自明である。この場合時間がかかるので、静止画や解像度の低い動画向きであるが、マイクロプロセッサの処理速度が十分に高ければ、解像度の高い動画を処理することも可能である。
【００７８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１１：ラインバッファ、１２：ガウスフィルタ、１３：彩度増加部、１４：彩度維持部、１５：彩度減少部、１６：比率変換部、１７：乗算部、１８：乗算部、１９：乗算部、２０：加算部、６１：赤方向色相シフト部、６２：色相維持部、６３：青方向色相シフト部
【図１】
0006539032.tif 000002
【図２】
0006539032.tif 000003
【図３】
0006539032.tif 000004
【図４】
0006539032.tif 000005
【図５】
0006539032.tif 000006
【図６】
0006539032.tif 000007
【図７】
0006539032.tif 000008
【図８】
0006539032.tif 000009
【図９】
0006539032.tif 000010
【図１０】
0006539032.tif 000011
【図１１】
0006539032.tif 000012