(57)【要約】【課題】実際に暗い場所で見たかのような画質の画像データを生成する。【解決手段】輝度推定部１１１６は、画面内に表示される画像データの撮影時の輝度を算出する。色温度変更部１１１９及び色温度変更部１１２０は、輝度推定部１１１６により算出された撮影時の輝度が閾値以下である場合、撮影時の輝度に基づいて、画像データの色温度を上げる補正処理及び前記画像データの色の濃さを下げる補正処理を実行する。【選択図】図１１
2015099980.tif 000002
【特許請求の範囲】
【請求項１】
画面内に表示される画像データの撮影時の輝度を算出する撮影時輝度算出手段と、
前記撮影時輝度算出手段により算出された前記撮影時の輝度が第１の閾値以下である場合、前記撮影時の輝度に基づいて、前記画像データの色温度を上げる補正処理及び前記画像データの色の濃さを下げる補正処理のうちの少なくとも何れか一方の補正処理を実行する補正手段とを有することを特徴とする画像処理装置。
【請求項２】
視野内の輝度を算出する視野内輝度算出手段を更に有し、
前記補正手段は、前記視野内輝度算出手段により算出された前記視野内の輝度が第２の閾値より高い場合、前記画像データの補正処理を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データが表示される前記画面内の輝度を算出する画面内輝度算出手段を更に有し、
前記撮影時輝度算出手段は、前記画面内輝度算出手段により算出された前記画面内の輝度に基づいて、前記撮影時の輝度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮影時輝度算出手段は、更に、前記画像データの撮影時における撮影パラメータに基づいて、前記撮影時の輝度を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像データにおける注目画素の周辺領域の輝度を算出する周辺領域輝度算出手段を更に有し、
前記補正手段は、更に、前記注目画素の周辺領域の輝度に基づいて、前記画像データの補正処理を実行することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置によって実行される画像処理方法であって、
画面内に表示される画像データの撮影時の輝度を算出する撮影時輝度算出ステップと、
前記撮影時輝度算出ステップにより算出された前記撮影時の輝度が第１の閾値以下である場合、前記撮影時の輝度に基づいて、前記画像データの色温度を上げる補正処理及び前記画像データの色の濃さを下げる補正処理のうちの少なくとも何れか一方の補正処理を実行する補正ステップとを有することを特徴とする画像処理方法。
【請求項７】
画面内に表示される画像データの撮影時の輝度を算出する撮影時輝度算出ステップと、
前記撮影時輝度算出ステップにより算出された前記撮影時の輝度が第１の閾値以下である場合、前記撮影時の輝度に基づいて、前記画像データの色温度を上げる補正処理及び前記画像データの色の濃さを下げる補正処理のうちの少なくとも何れか一方の補正処理を実行する補正ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、暗い場所で撮影された画像データを補正する技術に関するものである。
【背景技術】
【０００２】
従来から、明るい環境において表示装置を見る場合には、表示装置の周囲の照度によって輝度を上げたり色の彩度を上げたりコントラストを上げたりして、視聴者が見やすいように、画像データを処理することが行なわれている。さらに、表示装置の周囲の日光や照明の色温度に合わせて、表示装置の色温度を変えることが行なわれている。これは、眼の特性上、色温度が低い環境では表示装置の色温度が高く見え、色温度が高い環境では表示装置の色温度が低く見える現象があるためである。特許文献１には、表示装置に取り付けたセンサによって周囲の色温度を測定し、ＬＵＴによって、周囲の色温度と同じ方向に表示装置の色温度を調整する技術が開示されている。
【０００３】
ところで、眼の別の特性として、明るさに応じて、錐体細胞及び桿体細胞の２つの視細胞の働いている比率が変わることがわかっている。明るい所は錐体細胞が主に働き、暗い所では桿体細胞が主に働いている。このような明るさによる眼の特性変化をプルキニエ遷移という。それぞれの細胞の違いによって、錐体細胞はＲＧＢ三色を認識することができるのに対し、桿体細胞はモノクロしか認識できないし、感度の中心となる周波数が異なっている。従って、暗い所で桿体視の割合が増えると、プルキニエ遷移により、色の濃さや色温度が異なって見えることになる。
【０００４】
そこで、特許文献２、３及び４には、視聴環境に応じて発生するプルキニエ遷移に対して、色温度や色の濃さを補正する技術が開示されている。即ち、環境輝度とＡＰＬ値とがあるレベルより低い場合、色温度を上げるとともに、色の濃さを増すように画像処理するものである。ここでＡＰＬとは、Average Picture Levelの略であり、フレーム１枚の画像データの階調数を平均した値である。
【０００５】
また、非特許文献１には、実写した画像データに対して、暗い照度の影響による赤色の透過明度に応じて、画像データの色をトーンマッピングすることが開示されている。また、特許文献５には、撮影装置の非線形さと眼の非線形さとを合わせるために、明度は逆Ｓ字特性にし、色度はＳ字特性にして、画像補正を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３３７６６５号公報
【特許文献２】特開２００６−２８５０６３号公報
【特許文献３】特開２００７−２４８９３６号公報
【特許文献４】特開２００７−２４８９３５号公報
【特許文献５】特開２００７−１５８３８８号公報
【非特許文献】
【０００７】
【非特許文献１】画像電子学会第２４３回研究会「薄明視における人間の視覚特性を考慮したトーンリプロダクション手法」
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、暗い環境で撮影した画像データを明るい環境で見た場合、撮影装置では人間の目と異なりプルキニエ遷移が起きないし、明るい環境で表示を見ているのでプルキニエ遷移が起きない。これでは、本来暗い環境で見たときの見え方とは異なったように表示装置の表示を見てしまうという問題がある。
【０００９】
特許文献１に開示された技術では、表示環境の色温度だけで制御を行うため、プルキニエ遷移に対する上記問題に対応することはできない。また、特許文献２、３及び４に開示された技術では、表示及び周囲が暗いときにのみ、プルキニエ遷移の影響を補正するため、周囲が明るいときには対応することができない。
【００１０】
非特許文献１に開示された技術では、撮影場所の照度に応じて、画像データ全体の色を変更するため、画像データの暗部だけでなく、画像データの明部の色までがくすんでしまう。また、視聴するときの環境照度の影響を考慮しないため、処理した画像データを暗い環境で見ると、プルキニエ遷移の補正が二重にかかり、赤色がまったく変な色になってしまう。
【００１１】
また、特許文献５に開示された技術では、撮影時と視聴時との環境光の影響を考慮しないで画像データの補正を行なっているため、環境光の状態によっては、逆向きに補正がかかってしまうことがある。
【００１２】
そこで、本発明の目的は、実際に暗い場所で見たかのような画質の画像データを生成することにある。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、画面内に表示される画像データの撮影時の輝度を算出する撮影時輝度算出手段と、前記撮影時輝度算出手段により算出された前記撮影時の輝度が第１の閾値以下である場合、前記撮影時の輝度に基づいて、前記画像データの色温度を上げる補正処理及び前記画像データの色の濃さを下げる補正処理のうちの少なくとも何れか一方の補正処理を実行する補正手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、実際に暗い場所で見たかのような画質の画像データを生成することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】ＣＩＥ標準分光視感効率を示す図である。
【図２】視細胞の分光感度を示す図である。
【図３】異なる明るさの実環境における実画像データと、異なる周囲輝度における表示画像データとの関係を説明するための図である。
【図４】視野内平均輝度に対する錐体視及び桿体視の輝度検知範囲を示す図である。
【図５】視野内平均輝度に対する錐体細胞と桿体細胞との合成視の感度に及ぼす桿体細胞の比率を示す図である。
【図６】撮影時の想定平均輝度に対する色の濃さを感じる比率を示す図である。
【図７】視聴時の視野内平均輝度に対する色の濃さを感じる比率を示す図である。
【図８】視野内平均輝度に対する色温度のずれを示す図である。
【図９】画面縁照度と平均階調とから視野内平均輝度を計算した結果を示す図である。
【図１０】本発明の第１の実施形態に係る表示装置の構成を示す図である。
【図１１】本発明の第１の実施形態に係る色補正回路の詳細な構成を示す図である。
【図１２】視野内平均輝度に対する錐体細胞と桿体細胞との合成視の感度に及ぼす桿体細胞の比率を示す図である。
【図１３】本発明の第３の実施形態における色補正回路の詳細な構成を示す図である。
【図１４】本発明の第４の実施形態における色補正回路の詳細な構成を示す図である。
【図１５】本発明の第５の実施形態に係る画質調整装置の構成を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１７】
図１は、ＣＩＥ標準分光視感効率を示す図である。図１において、横軸は、光の波長を表し、縦軸は分光視感効率を表している。また、図１において、１１は暗所視の視感度曲線であり、１２は明所視の視感度曲線である。図１の１２に示すように、明所視では感度のピーク波長が５７０ｎｍであり、図１の１１に示すように、暗所視では感度のピーク波長が５００ｎｍである。暗いところでは桿体視の割合が増えるため、短波長側を明るく感じることになり、物体の色が青っぽく見えるようになることがわかる。
【００１８】
図２は、視細胞の分光感度を示す図である。図２の出典元は、電子情報通信学会「知識ベース」２編１章である。図２において、２１は桿体細胞の分光感度曲線であり、２２は青錐体細胞の分光感度曲線であり、２３は緑錐体細胞の分光感度曲線であり、２４は赤錐体細胞の分光感度曲線である。
【００１９】
図２に示すように、錐体細胞は青緑赤の三原色の感度を持つのに対し、桿体細胞は１色の感度を持つことがわかる。暗いところでは桿体視の割合が増えるため、色の成分が減少して見えることがわかる。つまり、暗くなるに従って、色が薄く見えるようになることがわかる。
【００２０】
図３は、異なる明るさの実環境における実画像データと、異なる周囲輝度における表示画像データとの関係を説明するための図である。図３において、３１は明るい実環境における実画像データであり、３３は表示装置の周囲が暗い環境であり、３２は明るい表示画像データである。また、３４は暗い実環境における実画像データであり、３５は表示装置の周囲が明るい環境であり、３６は暗い表示画像データである。明るい実環境で撮影した実画像データ３１を暗い環境３３で表示画像データ３２として見ると、環境が暗いためにプルキニエ遷移が起こり、表示画像データ３２が青っぽく見えるとともに色が薄く見える。
【００２１】
一方、実際に暗い実環境で撮影した実画像データ３４では、実際に見ている風景はプルキニエ遷移が起こった状態を見ている。しかしながら、カメラではプルキニエ遷移が起こらないし、明るい環境３５ではプルキニエ遷移が起こらないため、結果として、表示画像データ３６もプルキニエ遷移が起きていない画像データとして見えている。これでは、暗所を実際に見た場合と表示装置で見た場合とで見え方が変わってしまう。
【００２２】
そこで、本実施形態では、実画像データ３４がプルキニエ遷移の起こる範囲内の画像データであって、明るい環境３５がプルキニエ遷移の起きない範囲内の明るさである場合、表示画像データ３６の色温度を高くし、色の濃さを薄くする。これにより、明るい環境３５で見ているにも関わらず、暗い環境で見ているかのような表示状態を作り出す。
【００２３】
図４は、視野内平均輝度に対する錐体視及び桿体視の輝度検知範囲を示す図である。図４において、縦軸は視野内平均輝度である。視覚による輝度検知範囲、即ち、眼のダイナミックレンジは、１０の６乗から１０乗といわれている。これに対して、リビングでＴＶを視聴しているときの視野内輝度範囲は、数カンデラから数百カンデラの間にある。シアタールームにおいてプロジェクタを見ているときの視野内輝度範囲は、０．数カンデラから数十カンデラの間にある。
【００２４】
錐体視の輝度検知範囲は０．１カンデラ以上であり、桿体視の輝度検知範囲は１０カンデラ以下である。０．１カンデラから１０カンデラの領域では、両方の視細胞が飽和せずに働いている。
【００２５】
錐体視から桿体視へは、スイッチのように切り替わるのではなく、錐体細胞と桿体細胞との合成視からなる合成的な感度で見えている。眼の順応が終了した時点で、視野内平均輝度が約１Ｃｄ/ｍ2のときに、合成視の感度に及ぼす錐体視と桿体視との比率が約１：１、およそ半分ずつであるといわれている。
【００２６】
シアタールームにおいては、ほとんど合成視の輝度検知範囲で視聴することになるため、両方の視細胞の色特性を合成した色特性で視聴していることになる。また、リビングにおいては、ほとんど錐体視の輝度検知範囲で視聴しており、暗めのリビングに限り、合成視の輝度検知範囲で視聴していることになる。
【００２７】
他方、直接に実物を見ている場合において、１０カンデラ以下であるときには、桿体視の輝度検知範囲であるため、そのとき感じる色特性は、桿体視の影響下の色特性に応じたものである。これを１０Ｃｄ／ｍ2以上の環境で見るときには、ほぼ錐体視のみの色特性で見ているため、特に画像データの暗部の色が赤っぽく、色が濃く感じてしまうことになる。
【００２８】
そこで、リビング環境において、表示装置を視聴している場合には、表示されている画像データが実物を見ているときに１０Ｃｄ／ｍ2以下（第１の閾値）であると推察できる画像領域において、色温度を高く補正したり、色の濃さを薄くする処理を行うことにする。なお、リビング環境であるか否かは、視野内平均輝度が１０Ｃｄ／ｍ2以上であるか否かに応じて判定してもよい。
【００２９】
図５は、視野内平均輝度に対する錐体細胞と桿体細胞との合成視の感度に及ぼす桿体細胞の比率を示す図である。図５において、横軸は、視野内平均輝度であり、縦軸は、合成視の感度に及ぼす桿体細胞の比率である。また、図５において、５１は、視野内平均輝度が０．１Ｃｄ/ｍ2から１０Ｃｄ/ｍ2までにおける、合成視の感度に及ぼす桿体細胞の比率である。５２は、視野内平均輝度が０．１Ｃｄ/ｍ2以下における、合成視の感度に及ぼす桿体細胞の比率である。５３は、視野内平均輝度が１０Ｃｄ/ｍ2以上における、合成視の感度に及ぼす桿体細胞の比率である。これらの関係を式で表すと、視野内平均輝度＝ｋ（Ｃｄ／ｍ2）とし、合成視の感度に及ぼす桿体細胞の比率＝ｓとすると、
ｋ＜０．１の範囲で、ｓ＝０
０．１＜ｋ＜１０の範囲で、ｓ＝１−０．５＊log k
ｋ＞１０の範囲で、ｓ＝０
となる。
【００３０】
撮影時や視聴時における、色の濃さを感じる比率は、図５から導き出すことができる。以下、図６及び図７を用いて、撮影時及び視聴時において感じる色の濃さ及び色温度について説明する。
【００３１】
図６は、撮影時の想定平均輝度に対する色の濃さを感じる比率を示す図である。図６において、横軸は、撮影時の想定平均輝度を示し、縦軸は、色の濃さを感じる比率を示す。図６において、６１は、撮影時の想定平均輝度が０．１Ｃｄ/ｍ2から１０Ｃｄ/ｍ2までの色の濃さを感じる比率である。６２は、撮影時の想定平均輝度が０．１Ｃｄ/ｍ2以下の色の濃さを感じる比率である。６３は、撮影時の想定平均輝度が１０Ｃｄ/ｍ2以上の色の濃さを感じる比率である。
【００３２】
撮影時の想定平均輝度の求め方は２種類あり、一つは撮影パラメータであるところの、ＩＳＯ値、絞り値及びシャッタスピード値等から平均輝度を想定するものである。静止画又は動画の場合、シャッタスピード値はほぼ一定であり、ＮＤフィルタ倍数も使用することになる。この計算方法については後述する。
【００３３】
もう一つの方法は、放送されている映像等で撮影パラメータを取得することができない場合、画像データの特徴量として例えばＡＰＬ値やヒストグラムから平均輝度を想定するものである。ここでは、想定平均輝度を以下の式で表すことにする。
想定平均輝度＝Ａ＊(ＡＰＬ値＊階調数)
Ａは定数であり、例として１０Ｂｉｔ階調数に対してＡ＝１(Ｃｄ/ｍ2)とおけば、１０Ｂｉｔ階調数の想定平均輝度が得られる。例えば、ＡＰＬ値＝０．２の場合であれば、１０Ｂｉｔ階調数＝１０２４、想定平均輝度は２００Ｃｄ／ｍ2となる。これは明るい室内又は薄ぐらい屋外の輝度に相当するレベルである。
【００３４】
この想定平均輝度はあくまで予想輝度であり、撮影現場の状況を正確に示したものではないが、画像データの傾向的なものを示しており、今回の補正に使うには十分なものであるが、定数Ａを０．３〜３．０の範囲で振ることにより、より合わせこむことができる。１０Ｂｉｔ階調数でなく、８Ｂｉｔ階調数であれば、Ａは４倍の値（１〜１０程度）になり、１２Ｂｉｔ階調数であれば、Ａは４分の１倍の値（０．１〜１程度）になる。
【００３５】
縦軸の色の濃さを感じる比率は、図５における縦軸の桿体細胞の比率に対応して、比例的に決まるものである。即ち、桿体細胞の比率５１、５２、５３に対応して、色の濃さを感じる比率は６１、６２、６３のように決まる。
【００３６】
図７は、視聴時の視野内平均輝度に対する色の濃さを感じる比率を示す図である。図７において、横軸は、視聴時の視野内平均輝度を示し、縦軸は、色の濃さを感じる比率を示す。図７において、７１は、視野内平均輝度が０．１Ｃｄ/ｍ2から１０Ｃｄ/ｍ2までの色の濃さを感じる比率である。７２は、視野内平均輝度が０．１Ｃｄ/ｍ2以下の色の濃さを感じる比率である。７３は、撮視野内平均輝度が１０Ｃｄ/ｍ2以上の色の濃さを感じる比率である。なお、視聴時における視野内平均輝度の求め方については後述する。
【００３７】
縦軸の色の濃さを感じる比率は、図５における縦軸の桿体細胞の比率に対応して、比例的に決まるものである。即ち、桿体細胞の比率５１、５２、５３に対応して、色の濃さを感じる比率は７１、７２、７３のように決まる。
【００３８】
以上、図６及び図７を用いて、桿体細胞の比率に従って色の濃さを感じる比率を決定することについて説明した。但し、色の濃さを感じる比率そのままの値によって色の濃さを補正して、比率１の場合に色の濃さを０にするわけではない。それでは、色が無くなってしまうところができてしまい、違和感が出てしまう。
【００３９】
上記した色の濃さを感じる比率を、画像データに対する色の濃さの補正比率に変換するには、倍率として０〜１．０の範囲内で適当な値をかけて、補正効果を弱める必要がある。この定数をＢとして、以下の計算になる。
【００４０】
撮影時の想定平均輝度における色の濃さを感じる比率をＸとおき、視聴時の視野内平均輝度における色の濃さを感じる比率をＹとおけば、色の濃さを薄くする補正比率Ｚは、以下のように定める。
Ｙ＞Ｘの場合、Ｚ＝Ｂ＊（Ｙ−Ｘ）
Ｙ＜Ｘの場合、Ｚ＝０
【００４１】
Ｙ＜Ｘの場合に補正比率Ｚ＝０としているのは、明るい現場で撮影したものを暗い環境で視聴した場合、勝手にプルキニエ遷移が働くため、補正する必要がないからである。
【００４２】
補正比率Ｂの値としては、０．５倍程度が自然に見えて望ましいため、補正効果の弱い０．２倍から補正効果の強い０．８倍程度までから選べばよい。補正比率Ｂが高いほど色の濃さも薄くなるため、暗い所で見た状況が明るい環境で再現することができる。
【００４３】
具体的に、補正比率Ｂ＝０．７とした計算例を挙げる。例えば、撮影時の想定平均輝度が２０Ｃｄ／ｍ2であり、視聴時の視野内平均輝度も２０Ｃｄ／ｍ2であれば、図６よりＸ＝１．０、図７よりＹ＝１．０であるため、Ｚ＝０となる。
【００４４】
また、撮影時の想定平均輝度が１Ｃｄ／ｍ2であり、視聴時の視野内平均輝度も２０Ｃｄ／ｍ2であれば、図６よりＸ＝０．５、図７よりＹ＝１．０であるため、Ｚ＝０．７＊（１．０−０．５）＝０．３５となる。色の濃さの補正は、補正比率に対して薄くなるようにかければよいため、以下の式になる。
色の濃さの出力値＝（１−Ｚ）＊色の濃さの入力値
従って、色の濃さが０．６５倍になるように出力される。
【００４５】
図８は、視野内平均輝度に対する色温度のずれを示す図である。図８において、横軸は視野内平均輝度を示し、縦軸は色温度を示している。図８のグラフ８１は、視野内平均輝度を変更しながら、同じ色温度の白に見えるパッチの色温度を調べたものである。１０Ｃｄ／ｍ2以上の明るさにおいて、６５００ｋの色温度を持つパッチを基準の白として、視野内平均輝度を変えながらパッチの色温度を変えて、同じ印象を持つ色温度を求めたものである。
【００４６】
元の色温度６５００Ｋに対して、暗い所ではだんだん色温度が上がり、真っ暗では１３０００Ｋ程度にすると同じ色温度と感じられることがわかった。ところで、人間の感覚は、色温度の値よりもむしろ色温度の逆数に比例するため、色温度の逆数を使用した方が感覚に近く制御できる。
【００４７】
また、色温度の補正に関しても、図５における縦軸の桿体細胞の比率によって影響しているものなので、図６及び図７で示した色の濃さを感じる比率と同じものを使用することができる。そこで、６５００Ｋの逆数は０．０００１５４であり、１３０００Ｋの逆数は０．００００７６９であって、この逆数値の差は０．０００７７１である。
【００４８】
これらの逆数値を使用すると、以下の式で補正後の色温度が求められる。
色温度の出力値の逆数＝０．０００１５４−Ｚ＊０．０００７７１
ここで具体的な数値例を挙げれば、撮影時の想定平均輝度が１Ｃｄ／ｍ2であり、視聴時の視野内平均輝度も２０Ｃｄ／ｍ2であれば、図６よりＸ＝０．５、図７よりＹ＝１．０なので、補正比率Ｂ＝０．７とすると、
Ｚ＝０．７＊（１．０−０．５）＝０．３５
色温度の出力値の逆数＝０．０００１５４−０．３５＊０．０００７７１＝０．０００１２７
従って、色温度の出力値は、７８７０Ｋとなる。
【００４９】
以上、撮影環境と視聴環境との違いによって色が濃く見えたり色温度が低く見えたりすることに対する補正の必要性、及び、適度な補正処理の値について述べた。次に、視野内平均輝度を求める方法について説明する。視野内平均輝度は、以下の式で求めることができる。
視野内平均輝度＝環境平均輝度（１−画面視野率）＋画面内平均輝度＊画面視野率
【００５０】
次に、環境平均輝度、画面視野率及び画面内平均輝度の求め方について説明する。画面外にあたる壁面等から視野に入る環境光の平均輝度（環境平均輝度）は、以下の式で求める。
環境平均輝度＝画面縁照度／π＊壁面反射率
【００５１】
画面縁照度は、表示装置の画面の縁に取り付けた照度計により測定される。壁面反射率は、白壁ならば０．８とし、その他の壁であれば０．５程度に設定するのが適当である。実際の環境における値を設定されない場合は、初期値として０．６程度にするのが適当である。また、環境平均輝度の変化に応じてすぐに画質（コントラスト）に反映させると、画質が短時間に急激に変化し見づらいものになるため、１０秒程度の時間平均値とするのが有効である。
【００５２】
次に、画面視野率の求め方について説明する。下記の文献には、視野角１０度のときに、画面視野率、即ち、画面の視野に占める割合は５７％であるとしている。この画面視野率は、画面を注視している場合の値であるため、画面を注視していない場合は、上記画面視野率を半分程度に落とすのが妥当であると思われる。そうすれば、外の照度の影響を０．７程度、画面内のＡＰＬ値の影響を０．３程度とするのが適当であろう。
＜文献＞
Herbert Grosskopf: Der Einfluss der Heligkeit-sempfindung die Bildubertragung Fernseheu, Rundfunktechnische Mitteilungen,Jg 7,Nr.4,(1963) 205-223
なお、上記文献を日本語訳した文献は、NII-Electronic Library Service: The Institute of Image Information and Televison Engineers 第19巻 第5号 55-56、である。
【００５３】
視野の中に占める表示装置の画角が不明な場合、画面内の影響である画面視野率が０．３から０．７の間で任意に指定される。本実施形態では、中庸的な仮値として画面視野率を０．４とする。
【００５４】
次に、画面内平均輝度、即ち、ＡＰＬ値の求め方について説明する。画面内平均輝度は、次の式で与えられる。
画面内平均輝度＝全画素のリニア階調値の平均／フル階調値＊ピーク輝度
【００５５】
また、画面内平均輝度の変化にすぐに応じて画質（コントラスト）に反映させると、画質が短時間に急激に変化し見づらいものになるため、１０秒程度の時間平均値とするのが有効である。
【００５６】
視聴時の視野内平均輝度は以下のように求める。
視野内平均輝度＝環境輝度＊（１−画角）＋画面内輝度＊画角
環境輝度は、環境照度を測定し、壁の反射率をかけて求められる。壁の反射率は視聴環境によって異なるが、日本では白っぽい壁が多いので、０．６とおけば、環境輝度＝環境照度＊０．６／π、となる。
【００５７】
画面内輝度は、ＡＰＬ値にピーク輝度をかけて求められる。ピーク輝度は、表示装置のモードによって異なるが、例えば２００Ｃｄ／ｍ2とする。画角は、本当の画面の角度ではなく、視聴者に対する画面内の輝度及び画面外の輝度の及ぼす比率であり、視聴距離と画面サイズによって異なり、０．２〜０．７程度の値である。本実施形態では、０．３として計算する。上記数値例の場合、視野内平均輝度は以下のようになる。
視野内平均輝度＝環境照度＊＊０．６＊０．７／π＋ＡＰＬ値＊２００＊０．３
【００５８】
図９は、画面縁照度と平均階調とから視野内平均輝度を計算した結果を示す図である。図９においては、壁面反射率を０．６、画面視野率を０．４、表示装置のピーク輝度を１００Ｃｄ/ｍ2であることを前提としている。画面縁照度は、１から１０００Ｌｕｘまで値をとり、平均階調は４から２５５階調までの値をとる。例えば、明るいリビングに相当する画面縁照度が１００Ｌｕｘの環境において、平均階調が１２８の、明るめの画像データである場合の視野内平均輝度は、２０．２４Ｃｄ/ｍ2ということになる。また、暗めのリビング又は明るめのシアタールームに相当する画面縁照度が３０Ｌｕｘの環境において、平均階調が１６の画像データである場合の視野内平均輝度は、３．５３Ｃｄ/ｍ2ということになる。また、暗室又は暗めのシアタールームに相当する画面縁照度が１Ｌｕｘの環境において、平均階調が１６の、真黒に近い画像データである場合の視野内平均輝度は、０．２１Ｃｄ/ｍ2ということになる。
【００５９】
次に、本発明の第１の実施形態に係る表示装置の構成について説明する。図１０は、第１の実施形態に係る表示装置の構成を示す図である。
【００６０】
図１０において、１０１は、入力画像データに対してガンマ系における拡大縮小等の画質補正を行うガンマ系画質調整回路である。１０２は、照度センサである。１０３は、視野内平均輝度に応じて画像データの色を補正する色補正回路である。１０４は、色補正回路１０３から出力された画像データの階調をリニア系に変換するリニア系画質調整回路である。１０５は、リニア系画質調整回路１０４から出力された画像データから表示パネル駆動信号に変換するパネルドライバである。１０６は、パネルドライバ１０５から出力される表示パネル駆動信号に基づいて画像データを表示する表示パネルである。なお、入力画像データは、外部入力やチューナで受信した信号をデコードすることによって得られることが一般的であるため、図１０では、画像入力部のブロックの記載を省略している。
【００６１】
本表示装置に入力された入力画像データは、通常ガンマ２．２がかかっているガンマ系の画像データであり、ガンマ系画質調整回路１０１においてガンマ系における拡大縮小等のガンマ系画像処理が行われる。表示パネル１０６の縁には照度センサ１０２が備えられており、画面縁照度をセンシングすることができる。色補正回路１０３は、ガンマ系画質調整回路１０１から出力される画像データと照度センサ１０２からの画面縁照度とから視野内平均輝度を算出し、算出した視野内平均輝度により適切な色補正処理を行う。色補正回路１０３から出力される画像データはリニア系であるため、リニア系画質調整回路１０４にてリニア系のエッジ強調処理等の画質調整を行う。
【００６２】
図１１は、本発明の第１の実施形態に係る色補正回路１０３の詳細な構成を示す図である。図１１において、１１１１は、照度センサ１０２からの入力を用いて、環境平均輝度を算出する環境平均輝度算出部である。１１１２は、入力画像データから画面内平均輝度を算出する画面内平均輝度算出部である。１１１３は、画面内平均輝度を時間的に平均化する平均化部である。１１１４は、視野内平均輝度を算出する視野内平均輝度算出部である。１１１５は、視野内平均輝度に応じて補正を行うか否かを切り替える補正切り替え部である。１１１６は、時間的に平均化した画面内平均輝度より撮影時の想定平均輝度を算出する輝度推定部である。１１１７は、撮影時の想定平均輝度と視野内平均輝度とからプルキニエ遷移量を算出するプルキニエ遷移量算出部である。１１１８は、プルキニエ遷移量に応じて補正量を算出する補正量算出部である。１１１９は、補正量算出部１１１８により算出された補正量に基づいて、色温度を変更する色温度変更部である。１１２０は、補正量算出部１１１８により算出された補正量に基づいて、色の濃度を変更する色濃度変更部である。なお、輝度推定部１１１６は、撮影時輝度算出手段の例となる構成である。また、視野内平均輝度算出部１１１４は、視野内輝度算出手段の例となる構成である。画面内平均輝度算出部１１１２は、画面内輝度算出手段の例となる構成である。
【００６３】
環境平均輝度算出部１１１１は、照度センサ１０２からの入力に基づいて、時間的に平均化した視野内の環境平均輝度を算出する。画面内平均輝度算出部１１１２は、入力画像データから視野内の画面内平均輝度を算出する。そして、画面内平均輝度算出部１１１２により算出された画面内平均輝度は、平均化部１１１３により時間的に平均化される。
【００６４】
視野内平均輝度算出部１１１４は、上記環境平均輝度と時間的に平均化された画面内平均輝度と画面視野率とを用いて、時間的に平均化した視野内平均輝度を算出する。
【００６５】
補正切り替え部１１１５は、視野内平均輝度が０．１Ｃｄ／ｍ2以下（第２の閾値）である場合、ほとんど桿体視になるため、補正を行うことをやめる。輝度推定部１１１６は、想定輝度値＝Ａ＊(ＡＰＬ値＊階調数)を用いて、時間的に平均化した画面内平均輝度から想定平均輝度を算出する。
【００６６】
プルキニエ遷移量算出部１１１７は、プルキニエ遷移量＝（Ｙ−Ｘ）を算出する。なお、Ｘは、図６に示した撮影時の想定平均輝度に対する色の濃さを感じる比率であり、Ｙは、図７に示した視聴時の視野内平均輝度に対する色の濃さを感じる比率である。次に、プルキニエ遷移量算出部１１１７は、補正比率Ｂを用いて、色の濃さの補正量Ｚと色温度の出力値の逆数とを算出する。
色の濃さの補正量Ｚ＝Ｂ＊（Ｙ−Ｘ）
色温度の出力値の逆数＝６５００Ｋの逆数−Ｚ＊（６５００Ｋの逆数−１３０００Ｋの逆数）
【００６７】
色温度変更部１１１９は、上記補正値Ｚを用いて、入力画像データの色差信号に対して色温度をずらすように３ｘ３マトリクス演算を行う。ずらす量は元の色温度を６５００Ｋとして、補正量算出部１１１８から出力された色温度の逆数を色温度に戻し、その差だけ変更するようにマトリクスの乗数を決定する。色温度を変更するマトリクス演算は一般的な処理であるため、詳細な説明は割愛する。また、色濃度変更部１１２０は、入力画像データの色差信号に補正値Ｚをかけることにより、色の濃度を変更する。
【００６８】
なお、入力画像データのフレームの途中で色の濃さや色温度が切り替わると、表示画像に妨害感が出るため、フレーム間のブランクラインで変更することが好ましい。また、急に値が大きく切り替わると妨害感が出るため、１フレームあたりの変化量は、色温度については１０Ｋ以下、色の濃さの乗数については、０．００１とすることが好ましい。これにより、１秒あたりの最大変化量は、色温度で６００Ｋ、色の濃さで０．０６倍となり、この程度であれば、視覚的な違和感が出ないので許容できる。
【００６９】
ここまで、本発明の第１の実施形態について説明したが、本発明の目的と効果を実現するために、発明の要素を同じくする他の実施形態によることも勿論可能である。例えば、視野内平均輝度を、環境平均輝度及び画面内平均輝度から求めたが、表示装置が３０インチ以下等の小さい画面の場合、表示画面の画面内平均輝度による寄与が少ないため、これを無視して、環境平均輝度だけで求めてもよい。
【００７０】
また、第１の実施形態では、色の濃さ及び色温度の両方を補正している。他の実施形態として、色の濃さ又は色温度だけを補正するようにしてもよい。この場合、補正した分だけの画質向上を図ることができるとともに、補正処理を行う回路規模を小さくすることが可能となる。
【００７１】
次に、本発明の第２の実施形態について説明する。図１２は、第２の実施形態において使用する、視野内平均輝度に対する錐体細胞と桿体細胞との合成視の感度に及ぼす桿体細胞の比率を示す図である。図１２において、横軸は、視野内平均輝度であり、縦軸は、合成視の感度に及ぼす桿体細胞の比率である。なお、図１２において、１５１は、視野内平均輝度が０．０１Ｃｄ/ｍ2から１００Ｃｄ/ｍ2までにおける、合成視の感度に及ぼす桿体細胞の比率である。
【００７２】
図５を図１２に置き換えれば、桿体細胞の比率は曲線になるため、図６及び図７も同様に曲線になるが、これらが曲線になった図は自明であるため省略する。撮影時の想定平均輝度及び視野内平均輝度から色の濃さを感じる比率には、曲線の特性に応じて換算することになるが、それ以外は、第１の実施形態で説明したものと同じ動作である。
【００７３】
次に、本発明の第３の実施形態について説明する。第３の実施形態では、撮影時平均輝度を撮影パラメータに基づいて算出する場合について説明する。ＩＳＯ感度、絞り、シャッタスピード及びＮＤフィルタ倍数の各撮影パラメータがわかれば、撮影時平均輝度を算出することができる。ＣＩＰＡ ＤＣ−Ｘ００４規格によれば、絞り値をＦとし、露光時間をＴ（ｓ）とし、輝度値をＤ(Ｃｄ／ｍ2)とした場合、像面露光量Ｈｍ(Ｌｘ・ｓ)は、次の式１で与えられる。
Ｈｍ＝０．６５＊Ｂ＊Ｔ／Ｆ＊＊２(＊＊は乗数）・・・式１
また、感度Ｓは、次の式２で与えられる。
Ｓ＝１０／Ｈｍ・・・式２
【００７４】
式１より、輝度を求める式に変形すると、次の式３で表される。
Ｄ＝Ｈｍ＊Ｆ＊＊２／０．６５Ｔ・・・式３
式３に式２を代入すると、次の式４となる。
Ｄ＝１０＊Ｆ＊＊２／（０．６５＊Ｔ＊Ｓ）・・・式４
さらに、ＮＤフィルタ倍数をＵ倍とすれば、次の式５で表される。
Ｄ＝Ｕ＊１０＊Ｆ＊＊２／（０．６５＊Ｔ＊Ｓ）・・・式５
【００７５】
例えば、撮影パラメータの値として、ＩＳＯ感度値が４００であり、絞りが４であり、露出時間が２５０分の１秒であり、フィルタ倍率が１であれば、適正露出部の輝度は、１５４Ｃｄ/ｍ2となる。
【００７６】
こうして算出した適正露出部の輝度Ｂを用いて、さらに画面のＡＰＬ値によって、撮影時の画面内平均輝度を推測する。適正露出部の輝度は、ガンマ２．２における中央値０．５と考えられるため、リニア系に直すと、０．２の位置である。よって、撮影時平均輝度は次の式となる。
撮影時平均輝度＝Ｄ＊ＡＰＬ値／０．２・・・式６
【００７７】
図１３は、本発明の第３の実施形態における色補正回路１０３の詳細な構成を示す図である。図１３において、１１１１〜１１１５及び１１１７〜１１２０は、図１１における同じ符号の構成と同じである。１３１は、撮影パラメータから適正露出部の輝度を算出する適正輝度算出部である。１３２は、撮影時平均輝度を算出する撮影時平均輝度算出部である。
【００７８】
適正輝度算出部１３１は、撮影パラメータである絞り値Ｆ、露出時間Ｔ及びＩＳＯ値Ｓから上記した式５、Ｄ＝Ｕ＊１０＊Ｆ＊＊２／（０．６５＊Ｔ＊Ｓ）により、適正露出部の輝度Ｄを算出する。
【００７９】
撮影時平均輝度算出部１３２は、適正露出部の輝度ＤとＡＰＬ値とから、上記した式６、撮影時平均輝度＝Ｄ＊ＡＰＬ値／０．２により、撮影時平均輝度を算出する。
【００８０】
他の構成の動作は、第１の実施形態と同じであるが、プルキニエ遷移量算出部１１１７は、第１の実施形態における撮影時の想定平均輝度の代わりに、撮影時平均輝度を用いて、補正量を算出することになる。
【００８１】
第１の実施形態では、ＡＰＬ値だけを用いて撮影時の想定平均輝度を算出したが、第３の実施形態では、さらに撮影パラメータを用いることにより、より正確な撮影時平均輝度を用いて、補正量を決定することが可能である。
【００８２】
次に、本発明の第４の実施形態について説明する。第４の実施形態では、暗部を強く補正する場合について説明する。上述した第１〜第３の実施形態においては、色の濃さ及び色温度の補正を、画面全体に対して行っている。これに対し、第４の実施形態では、画面全体に均一な補正をするのではなく、暗部ほど強めに補正するものである。
【００８３】
例えば、次にように、注目画素の周辺ＮｘＮ画素の平均をとったＡＰＬ値を周辺ＡＰＬ値Ｇとする。
Ｇ＝Σ（周辺ＮｘＮ画素のＹ値）／Ｎ＊＊２
暗部のみ強めにかける補正量Ｚ´は、暗部で１．５倍、明部で０倍の線形にするとすれば、上述した、補正量Ｚ＝Ｂ＊（Ｙ−Ｘ）の式は、次の式のように変形される。なお、撮影時平均輝度における色の濃さを感じる比率をＸ、視聴時の視野内平均輝度における色の濃さを感じる比率をＹ、としている。
Ｚ´＝Ｚ＊（１−Ｇ）＊１．５＝Ｂ＊（Ｙ−Ｘ）＊（１−Ｇ）＊１．５
なお、非線形にすることも、式を非線形式にすることで、もちろん同様に可能である。
【００８４】
また、色温度についても同様に、暗部のみ多めに色温度を遷移する方が画質的に望ましい。上記式より、色温度の出力値の逆数＝０．０００１５４−Ｚ＊０．０００７７１、であるため、ＺをＺ´に置き換えることにより、暗部のみ補正を強くすることができる。
色温度の出力値の逆数＝０．０００１５４−Ｚ´＊０．０００７７１
【００８５】
図１４は、本発明の第４の実施形態における色補正回路１０３の詳細な構成を示す図である。図１４において、１１１１〜１１１７及び１１１９〜１１２０は、図１における同じ符号の構成と同じである。１４１は、注目画素周辺領域の輝度を抽出する輝度抽出部である。１４２は、抽出した複数の輝度から周辺平均輝度を算出する周辺平均輝度算出部である。１４３は、プルキニエ遷移量と周辺平均輝度とから補正量を算出する補正量算出部である。周辺平均輝度算出部１４２は、周辺領域輝度算出手段の例となる構成である。
【００８６】
輝度抽出部１４１は、例えば複数のシフトレジスタからなり、注目画素の周囲ＮｘＮ領域の輝度値を一度に参照できるようになっている。周辺平均輝度算出部１４２は、ＮｘＮ領域のＹ値を用いて、上記の式、Ｇ＝Σ（周辺ＮｘＮ画素のＹ値）／Ｎ／Ｎを用いて、周辺ＡＰＬ値を算出する。
【００８７】
補正量算出部１４３では、上記の式、Ｚ´＝Ｂ＊（Ｙ−Ｘ）＊（１−Ｇ）＊１．５、及び、色温度の出力値の逆数＝０．０００１５４−Ｚ´＊０．０００７７１を用いて、色の濃さの補正値と色温度の補正値とを算出する。これらの補正値を用いて、図１と同様に色温度変更部１１１９及び色濃度変更部１１２０にて処理を行うことにより、補正した画像データが得られる。
【００８８】
本発明は、表示装置だけではなく、撮影装置や記録装置と表示装置との間に挿入する画質調整装置にも適用することが可能である。以下、その例を第５の実施形態として説明する。
【００８９】
図１５は、本発明の第５の実施形態に係る画質調整装置の構成を示す図である。図１５において、１５１は、入力画像データに対してガンマ系の画質補正を行うガンマ系画質調整回路である。１５２は、照度センサである。１５３は、視野内平均輝度に応じて画像データの色を補正する色補正回路である。
【００９０】
本画質調整装置に入力された入力画像データは、通常ガンマ２．２がかかっているガンマ系の画像データであるため、ガンマ系画質調整回路１５１においてガンマ系における拡大縮小等のガンマ系画像処理を行う。本画質調整装置には、照度センサ１５２が備えられており、環境照度をセンシングすることができる。色補正回路１５３は、ガンマ系画質調整回路１５１からの出力画像データと、照度センサ１５２からの照度値とから、視野内平均輝度を算出してその値により適切な色補正を行う。
【００９１】
色補正回路１５３からの出力は、ガンマ系のままであり、出力画像データを一般的な表示装置に接続して、表示させる。第５の実施形態における、色補正回路１５３は、図１１に示した第１の実施形態における色補正回路１０３と同様の内部構成を備える。なお、色補正回路１５３として、第２〜第４の実施形態において説明した色補正回路１０３を適用してもよい。
【００９２】
上述した実施形態においては、暗い場所で実物を見た際に生じる、桿体細胞による色温度及び色の濃さの変動を、明るい場所で視聴している表示装置で再現することが可能となる。つまり、本実施形態によれば、プロキニエ遷移に則した画像を生成することにより、特に暗部領域で雰囲気のある、実際に実物を見ているかのような画質の画像データを表示することが可能となる。
【００９３】
本実施形態に係る画質調整装置は、液晶やプラズマ発光素子やＥＬ素子を用いたディスプレイやプロジェクタ、あるいは表示装置等に接続する装置として、幅広く使用することができる。また、上述した実施形態に係る表示装置及び画質調整装置は、画像処理装置の例となる構成である。
【００９４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９５】
１０１、１５１：ガンマ系画質調整回路、１０２、１５２：照度センサ、１０３、１５３：色補正回路、１０４：パネルドライバ、１０６：表示パネル、１３１：適正輝度算出部、１３２：撮影時平均輝度算出部、１４１：輝度抽出部、１４２：周辺平均輝度算出部、１４３：補正量算出部、１１１１：環境平均輝度算出部、１１１２：画面内平均輝度算出部、１１１３：平均化部、１１１４：視野内平均輝度算出部、１１１５：補正切り替え部、１１１６：輝度推定部、１１１７：プルキニエ遷移量算出部、１１１８：補正量算出部、１１１９：色温度変更部、１１２０：色濃度変更部
【図１】
2015099980.tif 000003
【図２】
2015099980.tif 000004
【図３】
2015099980.tif 000005
【図４】
2015099980.tif 000006
【図５】
2015099980.tif 000007
【図６】
2015099980.tif 000008
【図７】
2015099980.tif 000009
【図８】
2015099980.tif 000010
【図９】
2015099980.tif 000011
【図１０】
2015099980.tif 000012
【図１１】
2015099980.tif 000013
【図１２】
2015099980.tif 000014
【図１３】
2015099980.tif 000015
【図１４】
2015099980.tif 000016
【図１５】
2015099980.tif 000017