(57)【要約】【課題】ディスプレイの背景色が大きく変化する場合、ディスプレイの背後に外光を取り込む窓がある場合など、従来の外光センサーを使用する方法では十分な視環境適応補正処理が行えないことが多かった。【解決手段】視環境情報取得部によって取得した視環境情報をそのまま用いて視環境適応補正処理を行うのではなく、取得された視環境情報が、他の手段によって取得された順応目標情報と紐付けられ、あらかじめ視環境情報データベースに保存された視環境情報のどれと最も近いかを計算し、選ばれた視環境情報と紐付けられた順応目標情報を用いて視環境適応処理を行う。【選択図】図１
2010250140.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像信号を受け取り、視環境に応じたユーザーの視覚の順応状態に応じた視環境適応処理を加えた上で第２の映像信号として出力する映像信号処理装置であって、
第１の映像信号を取得するための映像信号入力部と、
第１の視環境情報を取得するための視環境情報取得部と、
第２の視環境情報と、第１の順応目標情報とが対応付けられて蓄積された視環境情報データベースと、
第１の視環境情報をもとに該視環境情報データベースから最適な第１の順応目標情報を第２の順応目標情報として選択するか、複数の第１の順応目標情報を用いて第２の順応目標情報を生成する順応目標情報推定部と、
第２の順応目標情報を元に第１の映像信号に補正を加えて第２の映像信号を生成する視環境適応処理部と、
第２の映像信号を出力する映像信号出力部とを備えたことを特徴とする映像信号処理装置。
【請求項２】
請求項１に示される映像信号処理装置において、
さらに視環境情報データベースへの新規データの追加を指示する視環境情報データベース作成スイッチを具備し、
該視環境情報データベース作成スイッチからの信号に応じ、該視環境情報データベースに収める第１の順応目標情報を取得する順応目標情報取得部とを備えたことを特徴とする映像信号処理装置。
【請求項３】
請求項１及び２に示される映像信号処理装置において、
視環境情報取得部として、
照明条件を取得するための外光センサーと、
現在時刻を取得するための時刻取得部と、
該ディスプレイの設置された地域の情報を得るための地域情報取得部と、
該ディスプレイの設置された場所の周辺の照明の点灯状態を得るための照明状態取得部と、
該ディスプレイの設置された場所に対する遮光装置の状態を得るための遮光状態取得部と、
該ディスプレイの周辺に設置されたその他の表示デバイスの表示状態を取得するための周辺表示デバイス状態取得部と、
該ディスプレイ周辺の環境を撮影するための撮像装置と、
該ディスプレイを視聴しているユーザーの位置を得るための人感センサーと、
該ディスプレイを視聴しているユーザーを見分けるためのユーザー切り替え部の少なくともいずれか１つ以上を有することを特徴とする映像信号処理装置。
【請求項４】
第１の映像信号を受け取り、視環境に応じたユーザーの視覚の順応状態に応じた視環境適応処理を加えた上で第２の映像信号として出力する映像信号処理プログラムであって、
第１の映像信号を取得するための映像信号入力部と、
第１の視環境情報を取得するための視環境情報取得部と、
第２の視環境情報と、第１の順応目標情報とが対応付けられて蓄積された視環境情報データベースと、
第１の視環境情報をもとに該視環境情報データベースから最適な第１の順応目標情報を第２の順応目標情報として選択するか、複数の第１の順応目標情報を用いて第２の順応目標情報を生成する順応目標情報推定部と、
第２の順応目標情報を元に第１の映像信号に補正を加えて第２の映像信号を生成する視環境適応処理部と、
第２の映像信号を出力する映像信号出力部とを備えたことを特徴とする映像信号処理プルグラム。
【請求項５】
請求項４に示される映像信号処理プログラムにおいて、
さらに視環境情報データベースへの新規データの追加を指示する視環境情報データベース作成スイッチを具備し、
該視環境情報データベース作成スイッチの出力に応じ、
該視環境情報データベースに収める第１の順応目標情報を取得する順応目標情報取得部とを備えたことを特徴とする映像信号処理プルグラム。
【請求項６】
請求項４及び５に示される映像信号処理プログラムにおいて、
視環境情報取得部として、
照明条件を取得するための外光センサーと、
現在時刻を取得するための時刻取得部と、
該ディスプレイの設置された地域の情報を得るための地域情報取得部と、
該ディスプレイの設置された場所の周辺の照明の点灯状態を得るための照明状態取得部と、
該ディスプレイの設置された場所に対する遮光装置の状態を得るための遮光状態取得部と、
該ディスプレイの周辺に設置されたその他の表示デバイスの表示状態を取得するための周辺表示デバイス状態取得部と、
該ディスプレイ周辺の環境を撮影するための撮像装置と、
該ディスプレイを視聴しているユーザーの位置を得るための人感センサーと、
該ディスプレイを視聴しているユーザーを見分けるためのユーザー切り替え部の、
いずれか１つ以上のデバイスとのインターフェイスを有するかプログラム的に内包することを特徴とするもの映像信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理表示装置及び映像信号処理プログラムに関する。特に、１つまたは複数の視環境情報を蓄えるための視環境データベースと、データベース内の視環境情報と組み合わせて現在の視環境情報を推定するための光センサーやクロック等を持ち、これら情報を元に視環境推定を行った上で、ユーザー視覚の順応予測を行い、当該視環境での鑑賞に好適な画質補正を行ったうえで表示を行う映像処理表示装置及び映像信号処理プログラムに関する。
【背景技術】
【０００２】
従来、異なる視環境の下での色の見えを統一するために、色の見えモデルと呼ばれるモデルを用いた視覚の順応予測及び補正のアルゴリズムが用いられてきた。一例として、ｉＣＡＭ０６が存在する（例えば、非特許文献１等）。
【０００３】
ｉＣＡＭ０６では、ユーザーの視覚が順応する目標となる領域の輝度、色見えを計算したい対象と、当該環境における白色のＸＹＺ三刺激値等を用いて、まず順応目標輝度の明るさに応じた順応の度合いを求め、これを用いて対象のＸＹＺ三刺激値を白色のＸＹＺ三刺激値に近づけるという方法を用いる。
これによって、視環境の照明条件の変動に対して、色見えが変化させないような補正が実現される。しかし、この方法では補正に先立って順応目標領域の輝度・色度を与える必要があり、これらの取得方法が問題となる。
【０００４】
また、ＴＶやモニター等の表示装置においては、従来、照度センサーの出力値をもとに設置環境の明るさを計算し、明るい環境では表示輝度を上げることで映像を見やすくし、暗い環境では表示輝度を下げることで映像のまぶしさを抑えるといった制御が広く知られている。さらに、照明の色度に応じて色順応予測を行い、色の見えが一定になるように表示色を自動補正するような制御の方法が知られている（例えば、特許文献１等）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８００４２７号公報
【非特許文献】
【０００６】
【非特許文献１】Ｊｉａｎｇｔａｏ  Ｋｕａｎｇ， Ｇａｒｒｅｔｔ  Ｍ．  Ｊｏｈｎｓｏｎ，  Ｍａｒｋ  Ｄ．  Ｆａｉｒｃｈｉｌｄ，ｉＣＡＭ０６：Ａ  ｒｅｆｉｎｅｄ  ｉｍａｇｅ  ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌ  ｆｏｒ  ＨＤＲ  ｉｍａｇｅ  ｒｅｎｄｅｒｉｎｇ，Ｊｏｕｒｎａｌ  ｏｆ  Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，  Ｖｏｌｕｍｅ  １８，  ｐｐ４０６−４１４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の方法では順応目標となる背景色の推定が不十分であったため、順応予測が必ずしも正しく行われないという問題があった。
【０００８】
例として、一般に存在し得る視環境の概略を図５に示す。この環境では、ディスプレイの背後に太陽光が入射する窓があり、上方の天井には蛍光灯が、ディスプレイの脇には壁掛けの白熱灯があり、さらに背景は色づいた壁である。
【０００９】
上記環境において、上述した非特許文献１の方法を用いることを考える。非特許文献１の方法は外光センサーのみから外光の色度を求めるため、順応目標となる背景色については、分光反射率がほぼフラットな背景から反射される、光源色とほぼ同一のスペクトルを持つ色であることと仮定した上で、外光の色度を求めている。
しかし、図５に代表される実際の環境では、背景色は明るい無彩色であるとは限らず、さらに、背景にカーテンが引かれたりする場合、照明条件の変動を著しく超えて背景色が変化することが考えられる。また、例えば外光センサーが表示装置の前面に具備され、表示装置の背後に窓があるような場合、窓から差し込む太陽光を外光センサーが捕らえることができず、表示装置の前面にある屋内照明に対する補正と比較して、著しく不十分な補正しか行えない可能性がある。
【００１０】
図５の環境において、ディスプレイの前面にセンサーが具備された場合、センサーの検地するＲＧＢ値がどのようなものになるか、模式図を図６に示す。これらの環境において、本来ならばユーザーが一番まぶしく感じるのは窓から差し込む夕日となる。次いで照度が最大である昼の太陽光、続いて蛍光灯や白熱灯となる。
しかしながら、外光センサーはディスプレイの裏側からの光を捉えられないため、室内に差し込んだ太陽光の反射光しか検値できず、結果的に最もまぶしいはずの夕日が最も暗いといった結果を返している。また、それぞれの外光の色度はｘｙ色度図上に示される通りであるが、既に説明したとおり、これはあくまで外光の色度であって、ユーザーの視覚が順応する背景の色度とは必ずしも一致しない。
【００１１】
以上のような問題に鑑みて、本発明の方法では、照明条件や背景色が時々刻々と変化するような視環境において、外光センサーのみでは予測不可能な視環境変動に対しても、常に適切な順応予測処理が行われるようにすることを目標とする。
【課題を解決するための手段】
【００１２】
以上の課題を解決するため、本発明に係る映像信号表示装置及び映像信号処理プログラムは、視環境情報取得部の出力をある値にするような視環境における順応目標情報をあらかじめ視環境情報データベースに蓄え、視環境情報取得部の出力に応じて適切な順応目標情報を視環境情報データベースから選択して読み出すことで、常に正しい順応予測処理が行われるようにする。
ここで、視環境情報取得部とは外光センサー等、現在の視環境の特性を取得する機能を有する部位であり、順応目標情報とは、当該視環境における表示装置の背景の色度値や、当該視環境における表示装置の背景を撮像したデジタル写真データ等の順応予測処理のパラメータとなる情報を意味する。
【００１３】
即ち、本発明に関わる映像信号処理装置は、処理対象の第１の映像信号を取得するための映像信号入力部と、外光情報等の第１の視環境情報を取得するための視環境情報取得部と、あらかじめ得られた第２の視環境情報と、順応予測処理によって映像信号を補正する際の順応目標となる第１の順応目標情報とを対応させて蓄積した視環境情報データベースと、第１の視環境情報をもとに視環境情報データベースから最適な第１の順応目標情報を第２の順応目標情報として選択するか、複数の第１の順応目標情報を用いて第２の順応目標情報を生成する順応目標情報推定部と、第２の順応目標情報を元に第１の映像信号に補正を加えて第２の映像信号を生成する視環境適応処理部と、第２の映像信号を出力する映像信号出力部とを備えた映像信号処理装置です。
また、第２の映像信号は、ディスプレイ装置によって表示される。さらに、本発明に関わる映像信号処理装置は、前記視環境情報データベースに新たなデータの蓄積を開始することを指示する視環境情報データベース作成スイッチと、視環境情報データベース作成スイッチによって視環境情報データベースに収めるべき第１の順応目標情報を取得する順応目標情報取得部をも備える映像信号処理装置です。
本発明に関わる映像信号処理装置によれば、まず処理対象の第１の映像信号が映像信号入力部に与えられる。また、視環境情報取得部によって現在の視環境情報が取得される。視環境情報取得部は、外光情報を得るための１つ以上の外光センサー、現在の時刻情報を得るための時刻取得部、ディスプレイ装置の設置場所を得るための地域取得部、ディスプレイ装置の周囲の照明の点灯状態を得るための照明状態取得部、ディスプレイ装置の周囲のブラインドやカーテン等の遮光装置の状態を得るための遮光状態取得部、ディスプレイの周辺に他の表示デバイスがある場合、その表示内容を得るための周辺表示デバイス状態取得部、ディスプレイ装置の周囲のある位置の現在の撮像結果を得るための１つ以上の撮像装置、ディスプレイを見ているユーザーの位置を得るための人感センサー、ディスプレイを見ているユーザーの種別もしくは個人を特定するためのユーザー切り替え部、のうち１つ以上を備える。視環境情報取得部の得たこれら１つもしくは複数の情報は、第１の視環境情報として出力される。
順応目標情報推定部は、第１の視環境情報を受け取り、視環境情報データベース内から、第１の視環境情報に最も近い第２の視環境情報を選択し、該第２の視環境情報とペアになる第１の順応目標情報を得て、出力する。
視環境適応処理部は、順応目標情報推定部が出力した第１の順応目標情報と、映像信号入力部により取得された第１の映像信号を受け取り、第１の順応目標情報に応じた補正を第１の映像信号に加え、第２の映像信号として出力する。
【００１４】
さらに、本発明に関わる映像信号処理装置によれば、視環境情報データベース作成スイッチにより、視環境情報データベース生成部に視環境情報データベースへの新規データの追加を指示させることができる。視環境情報データベース作成スイッチとは、順応目標情報推定部が視環境情報データベース内から選択した第２の視環境情報が第１の視環境情報からある程度以上異なることを検知するものであっても良いし、ユーザーによるボタン入力であっても良いし、それらの組み合わせであっても良い。
【００１５】
視環境情報データベース生成部は、第１の視環境情報を取得すると同時に、順応目標取得部から該第１の視環境情報とペアになる第１の順応目標情報を得て、視環境情報データベースに格納する。
【００１６】
順応目標情報取得部は、例えば、ユーザーによる画質調整パラメータの調整結果を取得する。画質調整パラメータとは、例えばＲ，Ｇ，Ｂ信号のゲイン値や、色温度設定値、ディスプレイ装置のガンマ設定値、コントラスト強調処理の係数、等である。これによって、順応目標情報推定部は、視環境情報取得部からある第１の視環境情報が得られたとき、概第１の視環境情報に最も近い第２の視環境情報に対応する第１の順応目標情報を選択することで、ユーザーが過去に、視環境情報取得部が概第１の視環境情報に最も近い第２の視環境情報を出力するような視環境において入力した画質調整パラメータを得ることができ、このパラメータを用いて画質調整を行うことで、現在の視環境においてユーザーが最も好ましいと感じる画質で映像を表示させることができる。
【００１７】
順応目標情報取得部は、例えば、まずディスプレイ装置にキャリブレーションチャート映像を表示させた上で、前記のようにユーザーによる画質調整パラメータの取得を行っても良い。キャリブレーションチャート映像は、例えばホワイトバランス調整用の白色ウィンドウや、コントラスト調整用のグラデーションや、画質の変化を最も感じやすい人間の顔を含む自然画等の組み合わせがあると良い。
また、パラメータ調整は必ずしもユーザーが直接行う必要は無く、あらかじめ用意されたプリセット値の中から、最も見栄えが良いと感じられるものをユーザーに選択させる形式になっていても良い。
【００１８】
順応目標情報取得部は、例えば、外部カメラ装置による現在の視環境の撮影結果を取得しても良い。この場合、キャリブレーションチャート映像には、外部カメラ装置の撮像素子の特性を用いて、ディスプレイ装置の発光輝度と第１の視環境情報の間のキャリブレーションを行うのに必要な情報や、撮影結果からディスプレイと背景を切り分ける処理を簡単にするためのマーカー等が含まれていることが望ましい。
また、外部カメラ装置の撮像素子の特性はあらかじめカメラプロファイルデータベースとして持っておくか、外部カメラ装置から直接得られるか、ネットワーク等を通じて取得できることが望ましいが、不可能な場合はキャリブレーションチャート映像の撮影結果から推定できると望ましい。
さらに、順応目標情報を正確に取得するために、外部カメラ装置のシャッタースピードや絞り値等を制御するための外部カメラ装置制御部を備えることが望ましい。
【発明の効果】
【００１９】
本発明に係る映像信号表示装置及び映像信号処理プログラムによれば、ディスプレイ装置の背後に窓やカーテン等がある場合や、ディスプレイ装置の背後の壁が明るい無彩色とは著しく異なる場合など、視環境情報取得部から得られた情報を直接使うのではユーザーの視覚の順応状態が予測しにくい状況でも、あらかじめ作成された視環境情報データベースを用いることで、常に正しい順応予測処理を行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の映像信号処理装置の全体構成を示すブロック図
【図２】本発明の視環境情報取得部の全体構成を示すブロック図
【図３】本発明の映像信号処理装置の全体構成を示すブロック図
【図４】本発明の映像信号処理装置の全体構成を示すブロック図
【図５】従来法における映像信号処理装置の視聴環境の例を示す概略図
【図６】図５に示される視環境における外光センサーのデータを示す図
【発明を実施するための形態】
【００２１】
（実施例１）
本発明の実施の形態に係る映像信号処理装置及び映像信号処理プログラムについて、添付図面を用いて以下に説明する。なお、図面において実質的に同一の部材には同一の符号を付している。
【００２２】
図１は、本発明の実施の形態１に係る映像信号処理装置１００の構成を示すブロック図である。この映像信号処理装置１００は、映像信号入力部１０１と、視環境情報取得部１０２と、順応目標情報推定部１０３と、視環境情報データベース１０４と、視環境情報データベース生成部１０５と、順応目標情報取得部１０６と、画質パラメータ入力部１０７と、視環境適応処理部１０８と、映像信号出力部１０９と、視環境情報データベース作成スイッチ１１１を備える。また、映像信号処理装置１００から出力される画像信号は、ディスプレイ装置１１０によって表示できるものとする。
【００２３】
映像信号処理装置１００は、映像信号入力部１０１を通じて、ディスプレイ装置１１０に表示すべき映像信号を受け取る。映像信号は静止画の連続で構成されるごく一般的な無圧縮映像信号であり、各フレーム内の各ピクセルの色情報はＲ，Ｇ，Ｂの信号レベルによって表現されるものとする。もちろん、色情報を表すのに他の色空間を用いてもかまわない。
図２は、視環境情報取得部１０２の構成を示すものである。視環境情報取得部１０２は、外光センサー２０１、時刻取得部２０２、地域情報取得部２０３、照明状態取得部２０４、遮光状態取得部２０５、周辺表示デバイス状態取得部２０６、撮像装置２０７、人感センサー２０８、ユーザー切り替え部２０９と、これら２０１〜２０９の部分から得られた情報を第１もしくは第２の視環境情報としてまとめて出力する視環境情報合成部２１０によって構成される。
外光センサー２０１は、例えばＣＩＥ１９３１の測色標準観測者に近い分光感度を持つＲＧＢカラーセンサーであり、ディスプレイ装置１１０周辺の照度や、環境光の色度を検知する。外光センサー２０１をディスプレイ装置１１０の前面に設置すれば、ディスプレイ装置１１０に入射しユーザー方向に反射する光の特徴を元に補正を行うことができる。逆に、外光センサー２０１をディスプレイ装置１１０の背面に設置すれば、ディスプレイ装置１１０から逆光になるような、ユーザー方向に直接入射する光の特徴を元に補正を行うことができる。さらに、例えば屋外の太陽光発電パネルを外光センサー２０１として用いれば、太陽光などの屋外環境光の照度を、室内照明の状態と切り分けられたパラメータとして取得することができる。
時刻取得部２０２は、現在の時刻を取得するものである。これは単純なクロックモジュールであっても良いし、ネットワークや放送波等を用いた時刻受信モジュールであってもよい。現在の時刻を取得できることによって、例えば昼間に屋外から差し込む太陽光の反射光を外光センサー２０１で検知した値と、夜間に室内で点灯させた白熱灯照明を外光センサー２０１で検知した値が非常に近かったりしても、照明条件の推定を正しく行うことが可能になる。
地域情報取得部２０３は、ディスプレイ装置１１０の設置場所に係る情報を取得するものである。これはユーザーが入力した地域情報を記憶し適宜出力することのできる不揮発性メモリモジュールであってもよいし、放送波等から設置位置を自動で計算するようなモジュールであってもよい。また、ディスプレイ装置１１０の設置場所に係る天気を取得するものであっても良い。
これらディスプレイ装置１１０の設置場所に係る情報を取得できることによって、例えば緯度による日の出・日の入り時刻の補正や、天気による屋外の太陽光の照度の推定値の補正が行えるため、照明条件の推定をより正確に行うことが可能になる。また、ディスプレイ装置１１０が車載ディスプレイ装置である場合は、ＧＰＳ等を用いて現在位置を調べたり、ジャイロセンサーを用いてディスプレイ装置１１０が向いている方角を調べるものであってもよい。この場合、時刻取得部２０２と組み合わせることによって、太陽光がどの方向から差し込んでくる筈であるかを計算することができる。
照明状態取得部２０４は、ディスプレイ装置１１０の設置場所における人工光源の点灯状態を取得するものである。これは例えば電力線通信等によって周辺の照明にそれぞれの点灯状態を問い合わせる通信モジュールであっても良いし、周辺の照明の点灯状態を制御することのできる照明制御部２１０を設けた上で、照明制御部２１０に周辺の照明の点灯状態の設定値を問い合わせるモジュールとなっていても良い。
遮光状態取得部２０５は、ディスプレイ装置１１０の設置場所におけるカーテンやブラインドなど、主に屋外から入射する光を遮光する装置の状態を取得するものである。ディスプレイ装置１１０が車載ディスプレイ装置である場合の可動ルーフの開閉状態や、消灯した室内と照明点灯された室外を隔てる扉の開閉状態等を取得するものであってもよい。これによって、屋外環境光がディスプレイ装置１１０周辺にどの程度影響を及ぼすか、即ち屋外環境光の屋外からディスプレイ装置１１０周辺への伝達関数を推定することができる。
周辺表示デバイス状態取得部２０６は、ディスプレイ装置１１０周辺の、照明以外の表示デバイスの状態を取得するものである。照明以外の表示デバイスとは、例えば電子ペーパーを用いた壁紙や、ロールバナー等である。これらのデバイスの表示状態が変化してもディスプレイに対する照明の映り込みにはほとんど影響を及ぼさないが、ディスプレイ装置１１０の背景色が変化することによって、ユーザーの色順応状態が変化させることでユーザーの知覚する色の見えが変化することになる。
撮像装置２０７は、ディスプレイ装置１１０周辺の現在の映像を得ることが出来る静止画もしくは動画撮影装置である。これはユーザーがディスプレイ装置１１０を視聴する際の視界そのものを取得できるものであれば理想的だが、天井などに設置された監視カメラや、ＴＶ電話用のカメラ等であってもよい。これらの撮像装置２０７を用いて、通常のデジタル撮像装置で広く用いられているオートホワイトバランスアルゴリズムを流用し、現在の視環境における適切なホワイトバランスを推定することが可能となる。また、例えば来客確認用のインターホンカメラや、屋外の監視カメラや、自然光の状態が十分近いと思われる近隣のウェブカメラ等を用いることにより、ディスプレイ装置１１０設置位置周辺の屋外の環境光の情報を得ることができる。これによって、ディスプレイ装置１１０が屋内に設置されていても、屋内の照明状態に影響されず、窓などから差し込む可能性のある屋外の自然光の状態を直接得ることができる。
人感センサー２０８は、ディスプレイ装置１１０を視聴しているユーザーの位置を知るためのものである。これは赤外線センサーや超音波センサー、カメラ装置等によってユーザーの位置を直接求めるものであっても良いし、ディスプレイ装置１１０に付随するリモコン装置や、３Ｄ放送を視聴する際の３Ｄメガネ等の、ユーザーが直接触れていると思われるものの位置を求めるものであっても良い。
ユーザーとディスプレイ装置１１０の距離から、ユーザーの視界のどれだけの割合をディスプレイ装置１１０が占めているかを概算することができる。例えば、ユーザーの視野を前方左右方向に約160度、上下方向に約120度と仮定してやればディスプレイ装置１１０の距離でユーザーの視界の面積が求められるので、ディスプレイ装置１１０の面積をこれで割ればよい。この割合が大きいほど、ユーザーの視界に占める背景の壁等の面積は小さいということであるから、ユーザーの視環境への順応の度合いも小さくなると考えることができる。
また、屋外光を取り込む窓や、照明装置などの光源の方向がユーザー入力等によって既知であるか推定可能である場合、それら光源の正反射方向にユーザーがいれば、ユーザーの順応する背景の輝度を通常よりも高めて順応予測を行うことで、より正確にユーザーの順応状態を推定することができる。
ユーザー切り替え部２０９は、現在ディスプレイ装置１１０を視聴しているユーザーが誰であるか判別するものである。これは、カメラ装置によってディスプレイと対面しているユーザーの顔を撮影し、あらかじめ登録された顔画像と照合して識別するようなものであってもよいし、視聴中の番組の種類やリモコン操作の特徴、例えばチャンネル切り替えの頻度などからユーザーを推定するものであってもよい。これによって、ディスプレイ装置１１０を視聴しているユーザーごとに、各ユーザーが最も好む画質調整パラメータや、各ユーザーの資格特性の差に応じた順応予測パラメータを自動的に選択することができる。
これらの情報は、視環境情報合成部２１０によって、第１もしくは第２の視環境情報として出力される。視環境情報合成部２１０は単にこれらの情報を受け渡すだけのものであってもよいが、あらかじめ順応目標情報推定部１０３や視環境情報データベース生成部１０５が扱いやすい形式に第１及び第２の視環境情報を整形して出力できるものであることが望ましい。例えば、ある時刻の最近傍における全ての視環境情報を、１つの構造体にまとめて出力できるとよい。
これら２０１〜２０９の部分は、全て別個のものであってもよいし、単一のデバイスが複数の役割を果たすものであっても良い。たとえば、ディスプレイ装置１１０にカメラ装置を具備しておけば、これは外光センサー２０１としても、撮像装置２０７としても、人間センサー２０８としても、ユーザー切り替え部２０９の一部としても使用できる。
次に、順応目標推定部１０３は、視環境情報取得部１０２が取得した第１の視環境情報に最も近い第２の視環境情報を視環境情報データベース１０４から検索し、これと対応付けられた第１の順応目標情報を第２の順応目標情報として得る。
ここで、第２の視環境情報と第１の順応目標情報はそれぞれ１つだけでなくてもよく、順応目標情報推定部は視環境情報データベースからこれら情報の複数の好適な候補を選び出し、合成することによって第１の視環境情報に最適な第２の順応目標情報を生成してもよい。
例えば、非常に単純な屋内照明環境において、複数の照明がディスプレイ装置１１０を照らしており、それぞれの照明が個別にオン・オフ可能であるとすると、この屋内の視環境はそれぞれの照明が個別にオンされた状態の足し合わせによって表現できると考えられる。よって、照明状態取得部２０４の出力に応じて対応する照明の順応目標情報を取得して足し合わせることで、現在の第２の順応目標情報を得ることができる。一般的に、それぞれの照明の照度が連続的に変わるものであった場合も、第２の順応目標情報は、それぞれの照明の最大輝度と現在の輝度との比に応じた各第２の順応目標情報の線形結合として表すことができる。
次に、順応目標情報取得部１０６は、画質パラメータ入力部１０７によって得られた、現在の視環境におけるディスプレイ装置１１０の画質調整パラメータそのもの、もしくは現在の視環境を最もよく表す情報によって構成される。視環境データベース作成スイッチ１１１によって視環境情報データベースへのデータ追加が指示されると、視環境情報取得部１０２は現在の視環境情報を第２の視環境情報として視環境情報データベース生成部１０５に送信する。
また、順応目標情報取得部１０６も現在の順応目標情報を第１の順応目標情報として視環境情報データベース生成部１０５に送信する。視環境情報データベース生成部１０５は、これらの情報を対応付けて視環境情報データベース１０４に格納する。このとき、順応目標情報取得部がより正確な第１の順応目標情報を得るために、図３に示されるように、視環境情報データベース生成部がチャート信号生成部３０１に指示して、映像信号出力部１０９から、画質パラメータの調整がやりやすくなるようなキャリブレーションチャートを出力させてもよい。
視環境情報データベース作成スイッチ１１１は、ユーザーが現在の視環境適応補正処理が不適切なものであると考えたときに操作できるボタン入力インターフェイス等であってもよいし、順応目標情報推定部１０３が視環境情報取得部１０２から受け取った第１の視環境情報が、視環境情報データベース１０４に格納されたどの第２の視環境情報からも離れていることを検出するものであってもよい。
なお、視環境情報同士の距離の定義は視環境情報の内容によって異なるが、最も単純には、視環境情報に含まれる全ての値の組み合わせを１つの多次元ベクトルと見立てて、ベクトル間のユークリッド距離を算出すればよい。
また、画質パラメータ入力部１０７はユーザーが手作業で調整した画質パラメータであってもよいが、外部カメラを使用して、現在のディスプレイ装置１１０周辺の画像を直接取得する構成であってもよい。
このとき、画質パラメータ入力部１０７は、図４のように、外部カメラ装置４０２を制御して、最適な撮影パラメータを用いてディスプレイ装置１１０周辺の画像を取得し、順応目標情報取得部１０６に第１の順応目標情報として送信する構成となる。
このとき、外部カメラ装置４０２は視環境情報データベース生成スイッチ１１１からの信号を受け取った視環境情報データベース生成部１０５によって起動される外部カメラ装置制御部によって、好適にはディスプレイ装置１１０のリフレッシュレートの整数倍のシャッタースピードと、ディスプレイ装置１１０に表示されたキャリブレーションチャートやディスプレイ装置１１０の背後の環境がセンサー上で輝度潰れしたり飽和したりしない絞り値を設定され、自動もしくは手動でシャッターが切られる。
その後、画像信号入力部４０３によって当該画像は取得され、カメラのセンサー特性やレンズ特性等を収めたカメラプロファイルＤＢ４０４を用いて画像信号正規化部４０５により正規化が行われる。ここでいう正規化とは、カメラのセンサーやレンズの特性による画像信号の変動を考慮して、センサーの感度やレンズの明るさ、歪み等を補正し、ｓＲＧＢ等の色空間における歪みを抑えた画像信号に変換することである。
正規化後の画像信号を受け取った順応目標情報取得部１０６は、この画像信号をそのまま第１の順応目標情報として視環境情報データベース生成部１０５に渡しても良いし、より好適には、画像に写ったキャリブレーションチャートなどから画像内のディスプレイの位置を判別し、背景のみを切り出して視環境情報データベース生成部１０５に送るか、さらに背景にローパスフィルターを適用した後、背景部分の１つ以上のピクセルの色情報のみを第１の順応目標情報として送信しても良い。
また、視環境情報適応処理部１０８は、以上の情報を用いて、映像信号入力部１０１から得られた映像信号に視環境適応補正処理を加え、映像信号出力部１０９を通してディスプレイ装置１１０に出力し、表示させる。
視環境情報適応処理部１０８の行う処理は、順応目標情報推定部１０３から与えられる第２の順応目標情報の内容によって異なる。第２の順応目標情報がディスプレイ装置１１０の画質調整パラメータそのものである場合、視環境適応処理部１０８は、画質調整パラメータを単純に適用してもよいし、映像信号には一切処理を加えず、ディスプレイ装置１１０に画質調整パラメータを送信してディスプレイ装置１１０側で調整を行わせる構成にしても良い。
なお、順応目標情報がディスプレイ装置１１０周辺の照度や背景の色度等の情報を含む場合は、さらに高度な視環境適応補正処理を行うことができる。例えば、ｉＣＡＭ０６によりユーザーの順応予測補正を行うことができる。このとき、背景の輝度・色度パラメータは上記視環境情報取得部１０２に関する記述で説明されたように推定される。
以上の構成により、本発明に係る映像信号処理装置及び映像信号処理プログラムは、照明条件のみならず背景やユーザーの視聴位置等の条件も大きく変動するような視環境においても、あらかじめ生成された視環境情報データベースを利用して環境光センサーのみでは検知できない情報を推定することによって、常にユーザーの視環境適応状態に追随し、好適な画質調整を自動で行うことができるという利点を有する。
【産業上の利用可能性】
【００２４】
本発明に係る映像信号処理装置及び映像信号処理プログラムは、照明条件のみならず背景やユーザーの視聴位置等の条件も大きく変動するような視環境においても、あらかじめ生成された視環境情報データベースを利用して環境光センサーのみでは検知できない情報を推定することによって、常にユーザーの視環境適応状態に追随し、好適な画質調整を自動で行うことができるという利点を有する。これにより、太陽光が差し込む一般家庭内や、視環境が短時間で変わり続ける自動車内などに設置されるディスプレイ装置に内蔵される画質補正機構として有用である。
【符号の説明】
【００２５】
１００    映像信号処理装置
１０１    映像信号入力部
１０２    視環境情報取得部
１０３    順応目標情報推定部
１０４    視環境情報データベース
１０５    視環境情報データベース生成部
１０６    順応目標情報取得部
１０７    画質パラメータ入力部
１０８    視環境適応処理部
１０９    映像信号出力部
１１０    ディスプレイ装置
２０１    外光センサー
２０２    時刻取得部
２０３    地域情報取得部
２０４    照明状態取得部
２０５    遮光状態取得部
２０６    周辺表示デバイス状態取得部
２０７    撮像装置
２０８    人感センサー
２０９    ユーザー切り替え部
２１０    視環境情報合成部
３０１    チャート信号生成部
４０１    外部カメラ装置制御部
４０２    外部カメラ装置
４０３    画像信号入力部
４０４    カメラプロファイルＤＢ
４０５    画像信号正規化部
４０６    外部カメラ装置制御部
【図１】
2010250140.tif 000003
【図２】
2010250140.tif 000004
【図３】
2010250140.tif 000005
【図４】
2010250140.tif 000006
【図５】
2010250140.tif 000007
【図６】
2010250140.tif 000008