(57)【要約】【課題】視認環境に配置された照明部の照射状態を画像に対応させて適切に制御できるＡＶシステムの提供。【解決手段】ＡＶシステム１００は、画像の撮影環境における光源の分光分布特性、照度、照射方向、移動方向、移動速度を撮影光源状態として認識して、この認識した撮影光源状態に基づいて、視聴環境構成部２００を構成する第１〜第９の照明装置の照射状態を制御する。このため、撮影環境の光源に対応する状態で視聴環境における第１〜第９の照明装置の照射状態を制御することができ、利用者に画像に対する臨場感を適切に持たせることができる。【選択図】図１
2008193605.tif 000002
【特許請求の範囲】
【請求項１】
利用者が所定の画像を視認する視認環境に配置された照明部の照射状態を制御する照射状態制御方法であって、
前記画像を表示手段で表示させるための画像信号を取得する画像信号取得工程と、
この画像信号取得工程で取得した前記画像信号に基づいて、前記画像の撮影環境における光源の明るさ、色、位置、および、動きのうち、少なくともいずれか１つを撮影光源状態として認識する撮影光源状態認識工程と、
この撮影光源状態認識工程で認識した前記撮影光源状態に基づいて、前記照明部の照射状態を制御する照射状態制御工程と、
を実施することを特徴とする照射状態制御方法。
【請求項２】
請求項１に記載の照射状態制御方法であって、
前記撮影光源状態認識工程では、前記撮影環境における光源の光の拡散状態を前記撮影光源状態として認識し、
前記照射状態制御工程では、前記光の拡散状態に基づいて、前記照明部の照射状態を制御する
ことを特徴とする照射状態制御方法。
【請求項３】
請求項１または請求項２に記載の照射状態制御方法であって、
前記撮影光源状態認識工程では、前記画像の撮影環境における自ら光を発する直接光源の前記撮影光源状態を認識する
ことを特徴とする照射状態制御方法。
【請求項４】
請求項１ないし請求項３のいずれかに記載の照射状態制御方法であって、
前記撮影光源状態認識工程では、前記画像の撮影環境における他の光源からの光を反射して光を発する間接光源の前記撮影光源状態を認識する
ことを特徴とする照射状態制御方法。
【請求項５】
請求項１ないし請求項４のいずれかに記載の照射状態制御方法であって、
前記画像における撮像された画像以外の部分を非撮影部分として認識する非撮影部分認識工程を実施し、
前記撮影光源状態認識工程では、前記画像における前記非撮影部分以外の部分に基づいて、前記撮影光源状態を認識する
ことを特徴とする照射状態制御方法。
【請求項６】
請求項１ないし請求項５のいずれかに記載の照射状態制御方法であって、
前記照射状態制御工程では、前記撮影光源状態と略等しい状態を前記視認環境で再現する状態に前記照明部の照射状態を制御する
ことを特徴とする照射状態制御方法。
【請求項７】
請求項１ないし請求項６のいずれかに記載の照射状態制御方法であって、
前記照射状態制御工程では、前記撮影光源状態を誇張させた状態を前記視認環境で再現する状態に前記照明部の照射状態を制御する
ことを特徴とする照射状態制御方法。
【請求項８】
請求項１ないし請求項７のいずれかに記載の照射状態制御方法であって、
前記利用者および前記照明部の位置関係を認識する利用者照明部間位置関係認識工程を実施し、
前記照射状態制御工程では、前記利用者照明部間位置関係認識工程で認識した前記利用者および前記照明部の位置関係に基づいて、前記利用者に対して前記撮影光源状態に対応する状態で光が照射される状態に前記照明部を制御する
ことを特徴とする照射状態制御方法。
【請求項９】
請求項８に記載の照射状態制御方法であって、
前記照明部からの光が前記利用者に到達した際の前記光の状態を認識する到達光状態認識工程を実施し、
前記照射状態制御工程では、前記到達光状態認識工程で認識した前記利用者に到達した際の光の状態に基づいて、前記撮影光源状態に対応する光が前記利用者に到達する状態に前記照明部の照射状態を制御する
ことを特徴とする照射状態制御方法。
【請求項１０】
請求項９に記載の照射状態制御方法であって、
前記照明部は、ＬＥＤ（Light Emitting Diode）を備え、
前記利用者の近傍に光の強度を前記光の状態として検出する光センサを設け、
前記到達光状態認識工程では、前記光センサで検出した前記光の強度を認識し、
前記照射状態制御工程では、前記到達光状態認識工程で認識した前記利用者に到達した際の光の強度に基づいて、前記撮影光源状態に対応する強度の光が前記利用者に到達する状態に前記照明部の照射状態を制御する
ことを特徴とする照射状態制御方法。
【請求項１１】
請求項８ないし請求項１０のいずれかに記載の照射状態制御方法であって、
前記利用者および前記表示手段の位置関係を認識する利用者表示手段間位置関係認識工程を実施し、
前記照射状態制御工程では、前記利用者および前記表示手段の位置関係および前記利用者および前記照明部の位置関係に基づいて、前記照明部から発せられ前記表示手段で反射して前記利用者に到達する光の量が所定量以下となる状態に前記照明部を制御する
ことを特徴とする照射状態制御方法。
【請求項１２】
請求項１１に記載の照射状態制御方法であって、
複数の前記照明部を前記視認環境の異なる位置に配置し、
前記照射状態制御工程では、発した光が前記表示手段で反射して前記利用者に到達する位置に配置された前記照明部を認識し、この認識した前記照明部から光を発せさせない制御をする
ことを特徴とする照射状態制御方法。
【請求項１３】
請求項１ないし請求項１２のいずれかに記載の照射状態制御方法であって、
前記照射状態制御工程では、前記撮影光源状態認識工程で新たに認識された前記撮影光源状態および従前に認識された前記撮影光源状態の差が所定状態以上であることを認識すると、前記従前の撮影光源状態から前記新たな撮影光源状態に対応する状態に前記照明部の照射状態を移行させる際に、照射状態を連続的または断続的に変化させる制御をする
ことを特徴とする照射状態制御方法。
【請求項１４】
請求項１ないし請求項１３のいずれかに記載の照射状態制御方法であって、
前記照明部を前記視認環境内で移動可能に配置し、
前記照射状態制御工程では、前記照明部の照射状態の制御として、前記照明部の移動状態を制御する処理を実施する
ことを特徴とする照射状態制御方法。
【請求項１５】
請求項１ないし請求項１４のいずれかに記載の照射状態制御方法であって、
複数の前記照明部を前記視認環境の異なる位置に配置し、
前記照射状態制御工程では、前記照明部の照射状態の制御として、前記複数の照明部の照射状態を独立的に制御する処理を実施する
ことを特徴とする照射状態制御方法。
【請求項１６】
請求項１ないし請求項１５のいずれかに記載の照射状態制御方法であって、
前記照明部に、光を発する発光部と、この発光部から発せられる光の遮光状態を制御する遮光制御部と、を設け、
前記照射状態制御工程では、前記照明部の照射状態の制御として、前記遮光制御部における前記遮光状態を制御する処理を実施する
ことを特徴とする照射状態制御方法。
【請求項１７】
請求項１ないし請求項１６のいずれかに記載の照射状態制御方法であって、
前記照明部は、任意の画像を投影可能な投影手段を備えた
ことを特徴とする照射状態制御方法。
【請求項１８】
請求項１ないし請求項１７のいずれかに記載の照射状態制御方法であって、
前記照明部に、前記視認環境の外部の光を採光する採光部と、この採光部における採光状態を制御する採光制御部と、を設け、
前記照射状態制御工程では、前記照明部の照射状態の制御として、前記採光制御部における前記採光状態を制御する処理を実施する
ことを特徴とする照射状態制御方法。
【請求項１９】
請求項１ないし請求項１８のいずれかに記載の照射状態制御方法であって、
前記画像の内容を表す画像内容情報を取得する画像内容情報取得工程と、
この画像内容情報取得工程で取得した前記画像内容情報に基づいて、前記画像の内容を認識する画像内容認識工程と、を実施し、
前記照射状態制御工程では、前記画像内容認識工程で認識した前記画像の内容に対応する状態で前記照明部の照射状態を制御する
ことを特徴とする照射状態制御方法。
【請求項２０】
請求項１ないし請求項１９のいずれかに記載の照射状態制御方法であって、
前記画像に対応する音声を前記視聴環境で出力させるための音声信号を取得する音声信号取得工程と、
この音声信号取得工程で取得した音声信号に基づいて、前記音声に対応する前記画像の内容を認識する画像内容認識工程と、を実施し、
前記照射状態制御工程では、前記画像内容認識工程で認識した前記画像の内容に対応する状態で前記照明部の照射状態を制御する
ことを特徴とする照射状態制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の画像を視認する視認環境に配置された照明部の照射状態を制御する照射状態制御方法に関する。
【背景技術】
【０００２】
従来、画像の視認環境に配置された照明部の照射状態を制御する構成が知られている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載のものは、送信側にて、カメラで撮影されたビデオデータをストリームとして出力するとともに、クロマメータにより計測された撮影現場の照度および色温度を計測データとして出力する。そして、受信側にて、ビデオデータに基づいて映像を再生するとともに、計測データに基づいてカメラによる撮影現場の照度および色温度を再現する状態に照明ユニットを制御する構成がとられている。
【０００４】
【特許文献１】特開２００５−２２９１５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、撮影環境下における照度や色温度は、撮影環境が異なる状態であっても略等しくなる場合がある。例えば、屋外で太陽が所定の被写体の真上にある状態で測定した照度や色温度と、屋内で照明が所定の被写体の真横にある状態で測定したそれらと、が略等しくなる場合がある。
このため、特許文献１のような構成では、光源の照射状態が忠実に反映されないおそれがある撮影環境で測定された照度、色温度に基づいて、照明ユニットを制御するため、異なる撮影環境で撮影された画像に対して照明ユニットが略等しい状態に制御されてしまう、つまり撮影環境の光源に対応しない状態で照明ユニットが制御されてしまうおそれがあり、視聴者に画像に対する臨場感を適切に持たせることができないおそれがあるという問題点が一例として挙げられる。
【０００６】
本発明は、視認環境に配置された照明部の照射状態を画像に対応させて適切に制御可能な照射状態制御方法を提供することを１つの目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、利用者が所定の画像を視認する視認環境に配置された照明部の照射状態を制御する照射状態制御方法であって、前記画像を表示手段で表示させるための画像信号を取得する画像信号取得工程と、この画像信号取得工程で取得した前記画像信号に基づいて、前記画像の撮影環境における光源の明るさ、色、位置、および、動きのうち、少なくともいずれか１つを撮影光源状態として認識する撮影光源状態認識工程と、この撮影光源状態認識工程で認識した前記撮影光源状態に基づいて、前記照明部の照射状態を制御する照射状態制御工程と、を実施することを特徴とする照射状態制御方法である。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の一実施形態について図面に基づいて説明する。
【０００９】
〔ＡＶシステムの構成〕
まず、本発明の一実施形態に係るＡＶ（Audio-Visual）システムの構成について、図面を参照して説明する。
図１は、本発明の一実施形態に係るＡＶシステムの概略構成を示すブロック図である。図２は、視聴環境構成部の配置状態の概略構成を示す平面図である。図３は、照明装置の概略構成を示す断面図である。図４は、撮影環境解析部の概略構成を示すブロック図である。図５は、視聴環境取得部の概略構成を示すブロック図である。図６は、照明制御部の概略構成を示すブロック図である。
【００１０】
ここで、この本発明における光源とは、自ら光を発する例えば太陽、街灯、スポットライトなどの直接光源と、他の光源からの光を反射して光を発する間接光源と、他の光源からの光を透過して光を発する透過光源と、を含むものである。また、間接光源とは、画像中の背景やオブジェクト、例えば海、川、地面、草原をも含むものである。
【００１１】
図１において、１００は、ＡＶシステムであり、このＡＶシステム１００は、画像の撮影環境における光源の明るさ、色、位置、および、動きを撮影光源状態として認識し、この撮影光源状態に対応する状態に、視認環境としての視聴環境の照明状態を制御する。
そして、ＡＶシステム１００は、コンテンツ出力装置１２０と、視聴環境構成部２００と、撮影環境解析部３００と、視聴環境取得部４００と、照明制御部５００と、などを備えている。
【００１２】
コンテンツ出力装置１２０は、視聴環境構成部２００と、撮影環境解析部３００と、照明制御部５００と、などに接続されている。
このコンテンツ出力装置１２０は、所定のコンテンツを出力するためのコンテンツデータを例えばＤＶＤ（Digital Versatile Disc）などの記録媒体から読み出す。そして、このコンテンツデータに基づいて、映像を表示させるための画像信号としての映像信号と、音声を出力させるための音声信号と、を視聴環境構成部２００および撮影環境解析部３００へ出力する。また、利用者Ｕ１，Ｕ２（図２参照、以下、まとめて利用者Ｕと適宜称す）によるコンテンツを再生する旨の入力操作に対応する再生情報、コンテンツの再生を一時停止あるいは停止する旨の入力操作に対応する停止情報を、再生動作情報として照明制御部５００へ出力する。さらに、コンテンツ出力装置１２０は、放送波やネットワークを介して配信されるコンテンツデータを取得して、映像信号および音声信号を出力する。
【００１３】
視聴環境構成部２００は、図２に示すように、スクリーン部２１０と、利用者Ｕ１，Ｕ２と等しい数のリモートコントローラ（以下、リモコンと称す）２２０と、表示手段としての画像表示モニタ２３０と、照明部２４０と、サラウンドスピーカ部２６０と、図示しないアンプと、手元スタンド２７０と、などを備えている。
【００１４】
スクリーン部２１０は、略四角箱状に形成された視聴環境である部屋Ｒの各側面、床面、および、天井に設けられている。このスクリーン部２１０は、部屋Ｒの正面を略覆う正面スクリーン２１１と、右面を略覆う右面スクリーン２１２と、後面を略覆う背面スクリーン２１３と、左面を略覆う左面スクリーン２１４と、床面を略覆う床面スクリーン２１５と、天井を略覆う図示しない天井スクリーンと、などを備えている。これら正面スクリーン２１１、右面スクリーン２１２、背面スクリーン２１３、左面スクリーン２１４、床面スクリーン２１５、天井スクリーンは、それぞれ白色の白色面を有し、この白色面が部屋Ｒの中央に対向する状態で設けられている。
なお、スクリーン部２１０としては、白色面ではなく、他の色の面を有する構成としてもよい。また、分光反射特性が管理されている構成が好ましい。さらに、正面スクリーン２１１、右面スクリーン２１２、背面スクリーン２１３、左面スクリーン２１４、床面スクリーン２１５、天井スクリーンのうち少なくともいずれか１つのみを備えた構成としてもよい。また、部屋Ｒの側面、天井、床面をスクリーン部２１０として機能させてもよい。
【００１５】
リモコン２２０は、図示しない操作ボタンや操作つまみと、リモコン赤外線送信部２２１と、などを有し、利用者Ｕ１，Ｕ２によりそれぞれ適宜操作される。
リモコン赤外線送信部２２１は、利用者Ｕによる操作ボタンなどの入力操作に基づいて、コンテンツ出力装置１２０の動作を制御する旨の入力操作信号を生成して、赤外線を利用してコンテンツ出力装置１２０へ出力する。また、リモコン赤外線送信部２２１は、利用者Ｕおよび画像表示モニタ２３０の距離の算出に利用されるリモコンモニタ環境空間解析信号と、利用者Ｕおよび照明部２４０の距離の算出に利用されるリモコン照明環境空間解析信号と、を赤外線を利用して、視聴環境取得部４００へ出力する。
【００１６】
画像表示モニタ２３０は、正面スクリーン２１１近傍に設けられ、コンテンツ出力装置１２０からの映像信号に基づいて画像を表示させる表示面２３１を有している。ここで、画像表示モニタ２３０としては、ＰＤＰ（Plasma Display Panel）、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode-Ray Tube）などが例示できる。
なお、画像表示モニタ２３０の明コントラスト性能が悪い場合、照明部２４０から表示面２３１への直接の迷光を防止する、もしくは、減少させるフィルタや遮光板を設けることが好ましい。
【００１７】
照明部２４０は、照明制御部５００の制御に基づく照射状態で、部屋Ｒ内に光を適宜照射する。そして、照明部２４０は、それぞれ天井に設けられた第１〜第９の照明装置２４１〜２４９を備えている。なお、第１〜第９の照明装置２４１〜２４９を天井ではなく、床面あるいは側面に設けてもよい。
第１〜第３の照明装置２４１〜２４３は、正面スクリーン２１１に略沿って設けられている。具体的には、第１の照明装置２４１は、正面スクリーン２１１および左面スクリーン２１４の連結部分近傍に、第２の照明装置２４２は、正面スクリーン２１１の幅方向略中央に、第３の照明装置２４３は、正面スクリーン２１１および右面スクリーン２１２の連結部分近傍に、それぞれ設けられている。
また、第４〜第６の照明装置２４４〜２４６は、背面スクリーン２１３に略沿って設けられている。具体的には、第４の照明装置２４４は、背面スクリーン２１３および左面スクリーン２１４の連結部分近傍に、第５の照明装置２４５は、背面スクリーン２１３の幅方向略中央に、第６の照明装置２４６は、背面スクリーン２１３および右面スクリーン２１２の連結部分近傍に、それぞれ設けられている。
さらに、第７の照明装置２４７は、第１の照明装置２４１および第４の照明装置２４４の略中間位置に、第８の照明装置２４８は、第２の照明装置２４２および第５の照明装置２４５の略中間位置に、第９の照明装置２４９は、第３の照明装置２４３および第６の照明装置２４６の略中間位置に、それぞれ設けられている。
【００１８】
第１〜第９の照明装置２４１〜２４９は、発光部としてのＬＥＤ（Light Emitting Diode）部２４１Ａ〜２４９Ａと、遮光制御部としての遮光機構２４１Ｂ〜２４９Ｂと、移動処理部２４１Ｃ〜２４９Ｃと、などを備えている。
【００１９】
ＬＥＤ部２４１Ａ〜２４９Ａは、ここでは図示しないが、赤色の光を発する赤色ＬＥＤと、緑色の光を発する緑色ＬＥＤと、青色の光を発する青色ＬＥＤと、を備えている。このＬＥＤ部２４１Ａ〜２４９Ａは、図３に示すように、平面視で３６０度全ての方向へ、適宜異なる色の光を発することが可能な構成を有している。なお、以下において、赤色ＬＥＤ、緑色ＬＥＤ、および、青色ＬＥＤをまとめて表現する際には、各色ＬＥＤと称する。
【００２０】
遮光機構２４１Ｂ〜２４９Ｂは、ＬＥＤ部２４１Ａ〜２４９Ａから発せられる光を適宜遮光して、照射状態を制御する。そして、遮光機構２４１Ｂ〜２４９Ｂは、遮光部２４１Ｂ１〜２４９Ｂ１と、液晶シャッタ２４１Ｂ２〜２４９Ｂ２と、などを備えている。
遮光部２４１Ｂ１〜２４９Ｂ１は、光を透過させない材料により、例えばＬＥＤ部２４１Ａ〜２４９Ａの周囲を略覆うことが可能な断面略Ｃ字状の略円筒状に形成されている。つまり、遮光部２４１Ｂ１〜２４９Ｂ１は、ＬＥＤ部２４１Ａ〜２４９Ａからの光を、断面略Ｃ字状の開口部２４１Ｂ１１〜２４９Ｂ１１からのみ外部へ適宜通す構成を有している。液晶シャッタ２４１Ｂ２〜２４９Ｂ２は、遮光部２４１Ｂ１〜２４９Ｂ１の開口部２４１Ｂ１１〜２４９Ｂ１１を閉塞する状態で設けられている。この液晶シャッタ２４１Ｂ２〜２４９Ｂ２は、照明制御部５００の制御に基づいて、光の透過状態を制御して、ＬＥＤ部２４１Ａ〜２４９Ａからの光を遮光部２４１Ｂ１〜２４９Ｂ１の外部へ通過させる。なお、液晶シャッタ２４１Ｂ２〜２４９Ｂ２は、図３の想像線で示すように、光を透過可能な平面視での開口角度Ｋ１を適宜変更可能な構成を有している。
【００２１】
移動処理部２４１Ｃ〜２４９Ｃは、ここでは図示しないが、ＬＥＤ部２４１Ａ〜２４９Ａおよび遮光機構２４１Ｂ〜２４９Ｂを保持する照明保持部と、この照明保持部を部屋Ｒの天井に略沿って移動させる照明移動部と、を備えている。
照明移動部は、照明制御部５００の制御に基づいて、照明保持部を所定の位置まで所定の速度で移動させる。この照明移動部としては、例えば正面スクリーン２１１や右面スクリーン２１２に略沿って設けられたレールと、このレールに沿って照明保持部を移動させる移動機構と、を備えた構成が例示できる。
【００２２】
以上のように、第１〜第９の照明装置２４１〜２４９は、照射位置、照射範囲が適宜異なる状態で光を照射可能な構成を有している。
【００２３】
アンプは、コンテンツ出力装置１２０からの音声信号を受信して、この音声信号を適宜増幅してサラウンドスピーカ部２６０へ出力する。
【００２４】
サラウンドスピーカ部２６０は、コンテンツ出力装置１２０からの音声信号に基づいて、音声を出力する。具体的には、サラウンドスピーカ部２６０は、いわゆる５．１チャンネル（ｃｈ）、すなわち基準点となる聴取位置、すなわち再生される音声を聴取する利用者Ｕの略正面に位置して設置されるセンタースピーカ２６１と、利用者Ｕに対して前方左側に設置される左前スピーカ２６２と、利用者Ｕに対して前方右側に設置される右前スピーカ２６３と、利用者Ｕに対して後方左側に設置される左後スピーカ２６４と、利用者Ｕに対して後方右側に設置される右後スピーカ２６５と、０．１ｃｈに相当する低音効果音である低音成分を再生する低音効果音用スピーカ２６６と、を備えている。
【００２５】
手元スタンド２７０は、利用者Ｕ１，Ｕ２の間に配置されている。この手元スタンド２７０は、照明制御部５００の制御に基づいて、利用者Ｕ１，Ｕ２の手元に光を適宜照射する。
【００２６】
撮影環境解析部３００は、図１に示すように、照明制御部５００に接続されている。この撮影環境解析部３００は、コンテンツ出力装置１２０から出力される映像信号や音声信号に基づいて、画像の撮影環境を解析する。
そして、撮影環境解析部３００は、図４に示すように、マスク処理部３０１と、音声定位解析部３０２と、光源情報解析部３０３と、物体情報解析部３０４と、映像動き検出部３０５と、周波数分布解析部３０６と、特徴的シーン用メモリ３０７と、特徴的シーン用マッチング部３０８と、電子情報検索部３０９と、音声情報解析部３１０と、撮影状況推定部３１１と、推定パラメータ設定範囲指定用メモリ３１２と、第１のリミッタ３１３と、第２のリミッタ３１４と、第３のリミッタ３１５と、第４のリミッタ３１６と、第５のリミッタ３１７と、などを備えている。
【００２７】
マスク処理部３０１の入力端には、コンテンツ出力装置１２０の出力端が接続されている。また、マスク処理部３０１の出力端には、光源情報解析部３０３の後述する光源色推定部３０３Ａ、物体情報解析部３０４の後述する比較解析物体判定部３０４Ａ、映像動き検出部３０５、周波数分布解析部３０６、および、電子情報検索部３０９の入力端が接続されている。
このマスク処理部３０１は、映像信号を取得する処理を画像信号取得工程として実施して、この映像信号の画像から、撮影された画像以外の部分を非撮影部分として検出する処理を非撮影部分認識工程として実施する。ここで、非撮影部分としては、字幕、黒帯、サイドマスク、テロップ、ＥＰＧ（Electronic Program Guide）、ＯＳＤ（On Screen Display）、データ放送、放送局のロゴタイプなどが例示できる。
さらに、マスク処理部３０１は、検出した非撮影部分の位置および幅を認識し、この認識した位置および幅で特定されるエリアを無効エリアとして設定する。そして、この無効エリアをマスクした画像に対応するマスク映像信号を出力する。
なお、映像信号のブランキングの区間を挿入したり、電子用情報内にテロップ情報などの無効エリアを規定した情報を挿入したり、画素単位に本来のコンテンツか、テロップなどの本来のコンテンツ以外のものかを識別した情報を挿入し、これらの情報に基づいて、マスク映像信号を出力する構成としてもよい。また、出力画像の上下左右端や４隅近傍は、出力画像の外側に対応する部分の周辺光への延長として使われやすいが、この領域には、非撮像画像が重畳されている可能性が高いので、特に無効エリアを設定する処理が必要となる。このため、無効エリアの設定処理を、出力画像の上下左右端や４隅近傍についてのみ実施してもよい。
【００２８】
音声定位解析部３０２の入力端には、コンテンツ出力装置１２０の出力端が接続されている。また、音声定位解析部３０２の出力端には、光源情報解析部３０３の後述する光源動き解析部３０３Ｃ、物体情報解析部３０４の後述する物体動き解析部３０４Ｃ、および、音声情報解析部３１０の入力端が接続されている。この音声定位解析部３０２は、音声信号を取得する処理を音声信号取得工程として実施して、この音声信号の音声の定位を解析する。そして、この音声定位に関する音声定位情報を出力する。
【００２９】
光源情報解析部３０３は、撮影環境における光源の状態を解析する処理を撮影光源状態認識工程として実施する。ここで、撮影環境における光源が複数存在する場合、これら複数の光源の状態を解析する。そして、光源情報解析部３０３は、光源色推定部３０３Ａと、分布状態解析部３０３Ｂと、光源動き解析部３０３Ｃと、を備えている。
【００３０】
光源色推定部３０３Ａの出力端には、分布状態解析部３０３Ｂ、および、比較解析物体判定部３０４Ａの入力端が接続されている。
この光源色推定部３０３Ａは、マスク処理部３０１からのマスク映像信号を取得して、このマスク映像信号の画像が撮像された際の光源色、照度、および、輝度を推定する。そして、この推定した光源色、照度、および、輝度に関する光源色推定情報を出力する。
ここで、光源色、照度、および、輝度の推定方法としては、以下のような方法が例示できる。
すなわち、マスク映像信号におけるＸＹＺ表色系のＸ値、Ｙ値、および、Ｚ値で表される画素データから、黒体軌跡からの偏差が所定値以内の画素データを抽出画素データとして抽出する。そして、この抽出した抽出画素データに基づいて、各Ｙ値に対して、このＹ値以内のＹ値に対応する抽出画素データの数の累計頻度を表すＹ分布データを算出して、各Ｙ値に対して、このＹ値に対応する抽出画素データのＸ値の合計値、Ｙ値の合計値、および、Ｚ値の合計値をＹ毎色分布データとして算出する。この後、Ｙ毎色分布データのＸ値の合計値、Ｙ値の合計値、Ｚ値の合計値を、それぞれ対応するＹ値で除算したＹ毎バランスデータを算出し、このＹ分布データに基づいて、累計頻度がＴａ％となる明点に対応するＹ値を明点Ｙ値として取得し、累計頻度がＴａ％未満のＴｂ％となる暗点に対応するＹ値を暗点Ｙ値として取得する。さらに、Ｙ毎バランスデータに基づいて、明点Ｙ値に対応するＹ毎バランスデータを明点バランスデータとして取得するとともに、暗点Ｙ値に対応するＹ毎バランスデータを暗点バランスデータとして取得して、明点バランスデータおよび暗点バランスデータを含むＱ（Ｑは自然数）次関数の線を設定する。そして、この線上における累計頻度が１００％または略１００％に対応するＹ毎バランスデータのＸ値、Ｙ値、および、Ｚ値を算出し、この算出したＸ値、Ｙ値、および、Ｚ値に基づいて、画像が撮像された際の光源色、照度、および、輝度を算出して推定する方法が例示できる。
【００３１】
分布状態解析部３０３Ｂの出力端には、光源動き解析部３０３Ｃの入力端が接続されている。
この分布状態解析部３０３Ｂは、光源色推定部３０３Ａからの光源色推定情報を取得して、光源の位置、光の拡散状態を推定する。ここで、拡散状態とは、拡散方向や、拡散領域（全体的に拡散しているか、あるいは、スポット的であるか）を意味している。また、光源が直接光源、間接光源、透過光源のいずれかである旨、つまり光源種別を推定する。
具体的には、分布状態解析部３０３Ｂは、光源色推定情報の光源色、照度、輝度に基づいて、画像中のどの領域に光源に相当する部分が分布しているかを推定する。そして、この推定した分布に基づいて、光源の位置を推定する。また、光源色推定部３０３Ａで推定された光源色、照度、輝度の強弱の分布状態に基づいて、光の拡散方向、拡散領域、光源種別を推定する。そして、これら推定した内容に関する光源分布状態解析情報を、光源色推定情報とともに出力する。
なお、光源の位置の推定方法としては、以下のような方法を適用してもよい。
すなわち、順光・逆光・斜光検出を用いて、画像上の被写体に対して光源が正面（順光）、裏（逆光）、左右（斜光）のいずれかにある旨を推定してもよい。この順光・逆光・斜光検出としては、撮像機器や関連補正装置に適用されているような方法、例えば特開２００５−３９４５７号公報、特開平６−８６１５６号公報、特開平２−１０８３７４号公報に記載された方法が例示できる。
また、撮影環境において撮像手段で取得された光源の位置に関する情報を取得して、この取得した情報に基づいて光源の位置を推定してもよい。具体的には、３軸センサを備えた撮像手段でまず光源を撮像し、その後に被写体を撮像する。さらに、３軸センサにて、光源および被写体の位置情報を取得して、この位置情報を映像信号の付加情報として出力する。そして、撮影環境解析部３００にて、映像信号とともに位置情報を取得して、光源の位置を推定してもよい。
【００３２】
光源動き解析部３０３Ｃの出力端には、特徴的シーン用マッチング部３０８、および、第１のリミッタ３１３の入力端が接続されている。
この光源動き解析部３０３Ｃは、分布状態解析部３０３Ｂからの光源分布状態解析情報、光源色推定情報、音声定位解析部３０２からの音声定位情報を取得して、光源の移動方向および移動速度を解析する。
具体的には、光源動き解析部３０３Ｃは、光源分布状態解析情報および光源色推定情報に基づいて、画像中の光源に対応する画素の動きをベクトル解析する。さらに、音声定位情報に基づいて、音声定位の動きをベクトル解析する。そして、これら画素および音声定位の動きのベクトル解析結果に基づいて、光源の移動方向および移動速度を推定し、この推定した内容に関する光源動き情報を、光源色推定情報および光源分布状態解析情報とともに、光源情報として出力する。
【００３３】
物体情報解析部３０４は、画像中の被写体などの所定の物体を解析する。ここで、物体が複数存在する場合、これら複数の物体を解析する。そして、物体情報解析部３０４は、比較解析物体判定部３０４Ａと、物体性状判別部３０４Ｂと、物体動き解析部３０４Ｃと、を備えている。
【００３４】
比較解析物体判定部３０４Ａの出力端には、物体性状判別部３０４Ｂの入力端が接続されている。
この比較解析物体判定部３０４Ａは、マスク処理部３０１からのマスク映像信号、光源色推定部３０３Ａからの光源色推定情報を取得する。さらに、マスク映像信号に基づく画像の画素の色成分と、光源色推定情報に基づく光源の色成分と、を比較して、任意の画素の色が光源の色でないか否かを判定する。そして、光源の色でないと判定した画素の面積、輪郭、形状に基づいて、これらの画素が物体を表しているか否かを判定し、物体を表していると判定した場合、この面積、輪郭、形状に関する比較解析物体情報を出力する。
【００３５】
物体性状判別部３０４Ｂの出力端には、物体動き解析部３０４Ｃの入力端が接続されている。
この物体性状判別部３０４Ｂは、比較解析物体判定部３０４Ａからの比較解析物体情報、マスク映像信号を取得する。そして、マスク映像信号に基づく画像における、比較解析物体情報に基づく面積、輪郭、形状で表される物体の位置、大きさ、明るさ、色を判別して、この判別した内容に関する物体性状情報を、比較解析物体情報とともに出力する。
【００３６】
物体動き解析部３０４Ｃの出力端には、特徴的シーン用マッチング部３０８、および、第２のリミッタ３１４の入力端が接続されている。
この物体動き解析部３０４Ｃは、物体性状判別部３０４Ｂからの物体性状情報、比較解析物体情報、音声定位解析部３０２からの音声定位情報を取得して、物体の移動方向および移動速度を解析する。
具体的には、物体動き解析部３０４Ｃは、物体性状情報および比較解析物体情報に基づいて、画像中の物体に対応する画素の動きをベクトル解析するとともに、音声定位情報に基づいて、音声定位の動きをベクトル解析する。そして、これら画素および音声定位の動きのベクトル解析結果に基づいて、物体の移動方向および移動速度を推定し、この推定した内容に関する物体動き情報を、物体性状情報および比較解析物体情報とともに、物体情報として出力する。
【００３７】
映像動き検出部３０５の出力端には、特徴的シーン用マッチング部３０８、および、第３のリミッタ３１５の入力端が接続されている。
この映像動き検出部３０５は、マスク処理部３０１からのマスク映像信号を取得して、このマスク映像信号の画像の画素の動きをベクトル解析する。そして、このベクトル解析結果に基づいて、ズームやパンなどのカメラワークを検出し、このカメラワークに関する視点カメラ編集情報を出力する。
【００３８】
周波数分布解析部３０６の出力端には、特徴的シーン用マッチング部３０８、および、第４のリミッタ３１６の入力端が接続されている。
この周波数分布解析部３０６は、マスク処理部３０１からのマスク映像信号を取得して、このマスク映像信号の画像の周波数成分特性から画像のフォーカス感（精細感）を検出する。また、ＲＧＢ（Red Green Blue）やＹｕｖの３次元のヒストグラム解析を実施して、画像の輝度、色相、色濃度の分布に基づく画像全体の傾向を検出する。そして、これら検出したフォーカス感および画像全体傾向に関する画面全体情報を出力する。
【００３９】
特徴的シーン用メモリ３０７は、特徴的シーン用マッチング部３０８に接続されている。
この特徴的シーン用メモリ３０７には、以下に示すような特徴的な画面全体のシーンを表す音響情報および映像情報が記憶されている。
・時間：朝焼け、夕焼け、夜空（暗闇）など
・天候：快晴、曇り、雨、雷雨、嵐など
・場所：水中、空中、撮影環境の空間的な大きさなど
【００４０】
ここで、音響情報は、上述したような特徴的シーンにおける残響特性などに関する情報である。また、映像情報は、特徴的シーンにおける輝度、色、周波数分布、動き特性などに関する情報である。
【００４１】
特徴的シーン用マッチング部３０８の出力端には、第５のリミッタ３１７の入力端が接続されている。
この特徴的シーン用マッチング部３０８は、光源動き解析部３０３Ｃ、物体動き解析部３０４Ｃ、映像動き検出部３０５、周波数分布解析部３０６からの各種情報を取得する。さらに、光源や物体の輝度、色、周波数特性、動き特性の傾向、音の残響特性などを認識し、これら認識した内容に対応する映像情報や音響情報を特徴的シーン用メモリ３０７から検索する。そして、この検索した映像情報や音響情報に対応する特徴的シーンの時間、天候、場所に関する特徴的シーン検出情報を出力する。
【００４２】
電子情報検索部３０９の出力端には、撮影状況推定部３１１の入力端が接続されている。
この電子情報検索部３０９は、ＥＰＧなどの電子情報の取得処理を画像内容情報取得処理として実施して、コンテンツのジャンルやキーワードなどを検索する。そして、この検索した内容に関する電子検索情報を出力する。
【００４３】
音声情報解析部３１０の出力端には、撮影状況推定部３１１の入力端が接続されている。
この音声情報解析部３１０は、音声定位解析部３０２からの音声定位情報を取得して、コンテンツで流れている音楽のジャンル、テンポ、音量、などの変化状態を検出する。そして、この検出した内容に関する音声解析情報を出力する。
【００４４】
撮影状況推定部３１１の出力端には、推定パラメータ設定範囲指定用メモリ３１２、および、照明制御部５００の入力端が接続されている。
この撮影状況推定部３１１は、電子情報検索部３０９からの電子検索情報、音声情報解析部３１０からの音声解析情報を取得する。そして、電子検索情報に基づくコンテンツのジャンルやキーワードと、音声解析情報に基づく音楽のジャンル、テンポなどと、に基づいて、コンテンツの雰囲気を推定し、この推定した内容に関する撮影状況情報を撮影環境情報として出力する処理を画像内容認識工程として実施する。
ここで、撮影状況情報で表されるコンテンツの雰囲気としては、明るい、暗い、暑い、寒い、楽しい、寂しい、軽薄、荘厳、緊張、リラックス、怖いなどが例示できる。
【００４５】
推定パラメータ設定範囲指定用メモリ３１２の出力端には、第１〜第５のリミッタ３１３〜３１７の入力端が接続されている。
この推定パラメータ設定範囲指定用メモリ３１２には、各推定パラメータ、すなわち光源情報、物体情報、視点カメラ編集情報、画面全体情報、特徴的シーン検出情報の内容毎に、その推奨設定範囲を表す情報が記憶されている。具体的には、コンテンツの雰囲気を表す雰囲気情報と、各推定パラメータの設定範囲を表す設定範囲情報と、が関連付けられて記憶されている。例えば、明るい雰囲気の雰囲気情報には、明るい雰囲気を表す光源の照度、光源や物体の移動速度、カメラワークなどの範囲を表す設定範囲情報が関連付けられている。また、暗い雰囲気の雰囲気情報には、明るい雰囲気のものと比べて例えば低い照度、遅い移動速度、狭いカメラワークなどの範囲を表す設定範囲情報、つまり暗い雰囲気を出すような範囲に関する設定範囲情報が関連付けられている。
そして、推定パラメータ設定範囲指定用メモリ３１２は、撮影状況推定部３１１からの撮影状況情報を取得して、この撮影状況情報の雰囲気に対応する雰囲気情報を認識する。さらに、この認識した雰囲気情報に関連付けられた設定範囲情報を、第１〜第５のリミッタ３１３〜３１７へ出力する。
【００４６】
第１〜第５のリミッタ３１３〜３１７の出力端には、照明制御部５００の入力端が接続されている。
第１のリミッタ３１３は、光源情報解析部３０３からの光源情報を取得して、推定パラメータ設定範囲指定用メモリ３１２からの設定範囲情報に基づく範囲に対応させて、光源情報の内容を適宜変更する。そして、この適宜変更した光源情報を撮影環境情報として出力する。
第２〜第５のリミッタ３１４〜３１７は、それぞれ物体情報、視点カメラ編集情報、画面全体情報、特徴的シーン検出情報を取得して、設定範囲情報に基づく範囲に対応させて、取得した情報の内容を適宜変更する。そして、この適宜変更した物体情報、視点カメラ編集情報、画面全体情報、特徴的シーン検出情報を撮影環境情報として出力する。
【００４７】
視聴環境取得部４００は、図１および図５に示すように、照明制御部５００に接続されている。この視聴環境取得部４００は、視聴環境構成部２００と、利用者Ｕと、の位置関係などに基づいて、視聴環境を取得する。
そして、視聴環境取得部４００は、図２および図５に示すように、モニタ赤外線送受信部４０１と、第１〜第９の照明赤外線受信部４０２〜４１０と、視聴環境空間解析部４１１と、利用者Ｕと等しい数の光センサ４１２と、キャリブレーション部４１３と、視聴位置光解析部４１４と、などを備えている。
【００４８】
モニタ赤外線送受信部４０１は、視聴環境空間解析部４１１に各種情報を送信可能に接続され、例えば画像表示モニタ２３０に設けられている。
このモニタ赤外線送受信部４０１は、リモコン２２０からリモコンモニタ環境空間解析信号を受信すると、この信号が出力されてから受信するまでの到達時間を認識する。そして、この到達時間に関するリモコンモニタ到達時間情報を赤外線到達情報として視聴環境空間解析部４１１へ出力する。また、リモコンモニタ環境空間解析信号を受信すると、画像表示モニタ２３０および照明部２４０の距離の算出に利用されるモニタ照明環境空間解析信号を、第１〜第９の照明赤外線受信部４０２〜４１０へ赤外線を利用して出力する。なお、モニタ赤外線送受信部４０１は、リモコン２２０の数と同数のリモコンモニタ到達時間情報を出力する。
【００４９】
第１〜第９の照明赤外線受信部４０２〜４１０は、視聴環境空間解析部４１１に各種情報を送信可能に接続され、例えば第１〜第９の照明装置２４１〜２４９にそれぞれ設けられている。
この第１〜第９の照明赤外線受信部４０２〜４１０は、リモコン２２０からリモコン環境空間解析信号を受信すると、この信号が出力されてから受信するまでの到達時間を認識する。そして、この到達時間に関する第１〜第９のリモコン照明到達時間情報を赤外線到達情報として視聴環境空間解析部４１１へ出力する。また、第１〜第９の照明赤外線受信部４０２〜４１０は、モニタ赤外線送受信部４０１からモニタ照明環境空間解析信号を受信すると、この信号が出力されてから受信するまでの到達時間に関する第１〜第９のモニタ照明到達時間情報を赤外線到達情報として視聴環境空間解析部４１１へ出力する。例えば、第１の照明赤外線受信部４０２は、第１のリモコン照明到達時間情報、第１のモニタ照明到達時間情報を赤外線到達情報として出力する。なお、第１〜第９の照明赤外線受信部４０２〜４１０は、リモコン２２０の数と同数の第１〜第９のリモコン照明到達時間情報を出力する。
【００５０】
視聴環境空間解析部４１１の出力端には、図５に示すように、照明制御部５００の入力端が接続されている。
この視聴環境空間解析部４１１は、モニタ赤外線送受信部４０１および第１〜第９の照明赤外線受信部４０２〜４１０から赤外線到達情報を取得する。そして、リモコンモニタ到達時間情報に基づいて、利用者Ｕ１，Ｕ２の数を認識する。さらに、リモコンモニタ到達時間情報に基づいて、利用者Ｕ１，Ｕ２および画像表示モニタ２３０の位置関係を認識する処理を、利用者表示手段間位置関係認識工程として実施する。また、第１〜第９のモニタ照明到達時間情報に基づいて、画像表示モニタ２３０および第１〜第９の照明装置２４１〜２４９の位置関係を認識する。さらに、第１〜第９のリモコン照明到達時間情報に基づいて、利用者Ｕ１，Ｕ２のそれぞれおよび第１〜第９の照明装置２４１〜２４９のそれぞれの位置関係を認識する処理を、利用者照明部間位置関係認識工程として実施する。また、視聴環境の空間面積を認識する。そして、これら認識した内容に関する視聴環境空間検出情報を視聴環境情報として出力する。
また、赤外線到達情報の代わりに、例えばリモコン２２０の設定入力に基づく視聴環境の任意設定や推奨設定を認識し、この認識した内容に基づいて視聴環境空間検出情報を出力する。
【００５１】
光センサ４１２は、光の強度のみを検出可能であるとともに、キャリブレーション部４１３および視聴位置光解析部４１４に各種情報を送受信可能な構成を有し、例えば図２に示すように、利用者Ｕ１，Ｕ２の視聴位置にそれぞれ設けられている。また、光センサ４１２は、利用者Ｕ１，Ｕ２の視聴位置が変更された際には、この変更された視聴位置に設けられる。
この光センサ４１２は、キャリブレーション部４１３の制御により、キャリブレーション基準照明信号に基づいて第１〜第９の照明装置２４１〜２４９が個別に発光したとき、具体的にはＬＥＤ部２４１Ａ〜２４９Ａの各色ＬＥＤが個別に発光したときの光の照度、輝度、照射角度、移動速度、移動距離などを照明照射状況として検出する。そして、この照明照射状況に関する調整照明照射状況情報をキャリブレーション部４１３へ出力する。
さらに、光センサ４１２は、キャリブレーション部４１３の制御により、キャリブレーション基準映像信号に基づく画像が画像表示モニタ２３０の表示面２３１に表示され、かつ、第１〜第９の照明装置２４１〜２４９が表示面２３１を照射したときの表示面２３１の明るさをモニタ発光状況として検出する。そして、このモニタ発光状況に関する調整モニタ発光状況情報をキャリブレーション部４１３へ出力する。
ここで、光センサ４１２は、上述したように視聴位置に応じて適宜異なる位置に配置される。このため、調整照明照射状況情報および調整モニタ発光状況情報は、視聴位置に応じて適宜異なる状況を表す情報となる。
【００５２】
また、光センサ４１２は、キャリブレーション部４１３による後述する初期状態調整処理がされた後に、ＬＥＤ部２４１Ａ〜２４９Ａの各色ＬＥＤが個別に発光したときの光の照度、輝度、照射角度、移動速度、移動距離などを検出し、この検出した内容に関する解析照明照射状況情報を視聴位置光解析部４１４へ出力する。
また、光センサ４１２は、初期状態調整処理がされた後に、画像表示モニタ２３０に所定の画像が表示されたときの画像表示モニタ２３０の明るさなどを検出し、この検出した内容に関する解析モニタ発光状況情報を視聴位置光解析部４１４へ出力する。
さらに、光センサ４１２は、初期状態調整処理がされた後に、ＬＥＤ部２４１Ａ〜２４９Ａの各色ＬＥＤが個別に画像表示モニタ２３０の表示面２３１を照射した際における、表示面２３１での反射光量を検出し、この検出した内容に関する解析モニタ分光反射特性情報を視聴位置光解析部４１４へ出力する。
【００５３】
キャリブレーション部４１３の入力端には、図５に示すように、照明制御部５００の出力端が接続されている。また、キャリブレーション部４１３は、画像表示モニタ２３０および照明部２４０を制御可能な構成を有している。このキャリブレーション部４１３は、画像表示モニタ２３０および第１〜第９の照明装置２４１〜２４９の初期状態を所定の状態に調整する初期状態調整処理を実施する。
具体的には、キャリブレーション部４１３は、照明制御部５００からキャリブレーション基準照明信号を取得すると、このキャリブレーション基準照明信号に基づいて、ＬＥＤ部２４１Ａ〜２４９Ａの各色ＬＥＤを個別に発光させたり、移動させたりする。さらに、この第１〜第９の照明装置２４１〜２４９の発光に対応して、光センサ４１２から調整照明照射状況情報を取得する。そして、キャリブレーション基準照明信号に基づく光の照度、輝度、照射角度、移動速度、移動距離などと、調整照明照射状況情報のそれらと、を比較して、これらの差分が許容範囲内となる状態に、第１〜第９の照明装置２４１〜２４９の照明照射状況を調整する。つまり、キャリブレーション部４１３は、視聴位置が変更されたとしても、この変更された視聴位置に対する照明照射状況が許容範囲内となるように、第１〜第９の照明装置２４１〜２４９の初期状態調整処理を実施する。
また、キャリブレーション部４１３は、利用者Ｕが複数であり、視聴位置が広範囲になる場合、許容範囲を大きくしたり、１人のときと異なる許容範囲としたりすることにより対応する。
【００５４】
また、キャリブレーション部４１３は、照明制御部５００からキャリブレーション基準映像信号を取得すると、このキャリブレーション基準映像信号に基づく画像を表示面２３１に表示させるとともに、第１〜第９の照明装置２４１〜２４９により表示面２３１を照射させる。さらに、このときの表示面２３１の明るさなどに対応して、光センサ４１２から調整モニタ発光状況情報を取得する。そして、キャリブレーション基準映像信号に基づく表示面２３１の明るさなどと、調整モニタ発光状況情報のそれらと、を比較して、これらの差分が許容範囲内となる状態に、画像表示モニタ２３０のモニタ発光状況を調整する。つまり、キャリブレーション部４１３は、視聴位置が変更されたとしても、この変更された視聴位置に対するモニタ発光状況が許容範囲内となるように、具体的には、画像に対する外光反射の影響を許容範囲内に抑えるように、画像表示モニタ２３０の初期状態調整処理を実施する。
【００５５】
視聴位置光解析部４１４の出力端には、照明制御部５００の入力端が接続されている。
この視聴位置光解析部４１４は、光センサ４１２から解析照明照射状況情報、解析モニタ発光状況情報、解析モニタ分光反射特性情報を取得する。そして、これらに基づいて、初期状態における視聴位置から見た第１〜第９の照明装置２４１〜２４９からの光の照射状況、視聴位置から見た画像表示モニタ２３０の発光状況、視聴位置から見た画像表示モニタ２３０の反射分光特性を認識する処理を到達光状態認識工程として実施する。そして、これら認識した内容に関する視聴位置光解析情報を出力する。つまり、初期状態の視聴位置における、第１〜第９の照明装置２４１〜２４９や画像表示モニタ２３０からの光の見え方に関する視聴位置光解析情報を出力する。
【００５６】
照明制御部５００は、図１および図６に示すように、撮影環境解析部３００からの撮影環境情報と、視聴環境取得部４００からの視聴環境情報と、を取得して、撮影光源状態に基づいて、視聴環境構成部２００を制御する。
そして、照明制御部５００は、図６に示すように、光源再現部５０１と、物体再現部５０２と、映像効果演出部５０３と、見え解析部５０４と、照明選択制御部５０５と、などを備えている。
【００５７】
光源再現部５０１の出力端には、照明選択制御部５０５の入力端が接続されている。
この光源再現部５０１は、撮影環境解析部３００から光源情報を取得して、撮影光源状態、つまり撮影環境における光源の分光分布特性、照度、照射方向、移動方向、移動速度などを認識する。そして、これらの光源の状況を再現するように、第１〜第９の照明装置２４１〜２４９を制御するための光源再現制御情報を、照明選択制御部５０５へ出力する。
【００５８】
物体再現部５０２の出力端には、照明選択制御部５０５の入力端が接続されている。
この物体再現部５０２は、撮影環境解析部３００から物体情報を取得して、撮影環境における被写体などの物体の明るさ、色などの分光反射率、位置、大きさ（面積）、形状（輪郭）などを認識する。そして、これらの物体の状況を再現するように、第１〜第９の照明装置２４１〜２４９を制御するための物体再現制御情報を、照明選択制御部５０５へ出力する。
【００５９】
映像効果演出部５０３の出力端には、照明選択制御部５０５の入力端が接続されている。
この映像効果演出部５０３は、撮影環境解析部３００から視点カメラ編集情報、画面全体情報、特徴的シーン検出情報、撮影状況情報を取得して、撮影環境における映像効果を認識する。そして、この認識した映像効果を再現するように、例えば光源や物体の動きをパンやズームのカメラワーク、音響的な定位の変化に追従させるように、あるいは、明るい雰囲気や緊張した雰囲気を出すように、第１〜第９の照明装置２４１〜２４９を制御するための映像効果演出制御情報を、照明選択制御部５０５へ出力する。
【００６０】
見え解析部５０４の出力端には、照明選択制御部５０５の入力端が接続されている。
この見え解析部５０４は、視聴環境取得部４００から視聴環境空間検出情報、視聴位置光解析情報を取得して、視聴環境における利用者Ｕ、画像表示モニタ２３０、第１〜第９の照明装置２４１〜２４９の間の距離、視聴環境の空間面積、視聴位置からの第１〜第９の照明装置２４１〜２４９や画像表示モニタ２３０からの光の見え方などを認識する。そして、この光の見え方などを再現するように、第１〜第９の照明装置２４１〜２４９を制御するための見え制御情報を、照明選択制御部５０５へ出力する。
【００６１】
照明選択制御部５０５の出力端には、第１〜第９の照明装置２４１〜２４９が接続されている。
この照明選択制御部５０５は、光源再現部５０１からの光源再現制御情報、物体再現部５０２からの物体再現制御情報、映像効果演出部５０３からの映像効果演出制御情報、見え解析部５０４からの見え制御情報を取得する。さらに、画像表示モニタ２３０に映り込む第１〜第９の照明装置２４１〜２４９を認識する。そして、これら各情報に基づいて、撮影環境における光源や物体の状態の見え、映像の演出効果の見えを視聴環境で再現する状態に、画像表示モニタ２３０に映り込まない第１〜第９の照明装置２４１〜２４９や、画像表示モニタ２３０を適宜個別に制御するための制御情報を出力する。なお、このとき、飽和度が高い色を、飽和度が低い色に変更して照射させる制御をする。
例えば、照明選択制御部５０５は、撮影環境の光源の拡散方向に最も近く、かつ、画像表示モニタ２３０に映り込まないＬＥＤ部２４１Ａ〜２４９Ａを撮影光源の色で点灯させるとともに、遮光機構２４１Ｂ〜２４９Ｂの開口方向や開口角度Ｋ１を制御する。また、床面スクリーン２１５に、海、川、地面、草原などに対応する色の光を照射させたり、天井スクリーンに、夜空、星、青空、雲などに対応する色の光を照射させたりする。さらに、正面スクリーン２１１、右面スクリーン２１２、背面スクリーン２１３、左面スクリーン２１４にも、上述したような光を適宜照射させる。そして、利用者Ｕに対して、太陽光やスポットライトに対応する光を、撮影環境における状態と略等しい明るさや向きで照射させる。また、移動処理部２４１Ｃ〜２４９Ｃを制御して、ＬＥＤ部２４１Ａ〜２４９Ａを適宜移動させる。
【００６２】
また、照明選択制御部５０５は、第１〜第９の照明装置２４１〜２４９の制御により部屋Ｒが暗くなってしまう場合、手元スタンド２７０を点灯させる。
さらに、照明選択制御部５０５は、図１に示すように、コンテンツ出力装置１２０から再生動作情報を取得して、コンテンツの再生をする旨の入力操作がされた場合、照明制御による効果が最大となる状態に第１〜第９の照明装置２４１〜２４９を制御する。また、再生を一時停止や停止する旨の入力操作がされた場合、照明制御による効果を抑える状態にあるいは部屋Ｒが明るくなる状態に第１〜第９の照明装置２４１〜２４９を制御する。
さらに、照明選択制御部５０５は、コンテンツ出力装置１２０の再生停止の切り換えタイミング、オンエア視聴時のＣＭ（コマーシャル）が入るタイミング、同一のコンテンツ視聴時におけるシーンチェンジタイミングにおいて、すなわち新たに認識した撮影光源状態および従前に認識した撮影環境における光源の明るさなどの差が大きい場合において、照射状態の制御に関する変化の時定数を管理して、つまり照射状態を連続的または断続的に変化させて、第１〜第９の照明装置２４１〜２４９の照射状態の急激な変化をなくす状態に制御する。
【００６３】
〔ＡＶシステムの動作〕
次に、上述したＡＶシステム１００の動作を、図面を参照して説明する。
図７は、照明状態制御処理を示すフローチャートである。
【００６４】
まず、ＡＶシステム１００の視聴環境取得部４００は、キャリブレーション部４１３にて、図７に示すように、光センサ４１２における各種状況の検出状態に基づいて、画像表示モニタ２３０および第１〜第９の照明装置２４１〜２４９の初期状態、つまり視聴環境の初期状態を所定の状態に調整する（ステップＳ１０１）。そして、照明制御部５００は、光センサ４１２における初期状態調整処理後の各種状況の検出結果に基づいて、視聴環境を認識する（ステップＳ１０２）。
また、撮影環境解析部３００は、コンテンツ出力装置１２０から映像信号、音声信号を取得して（ステップＳ１０３：画像信号取得工程および音声信号取得工程）、所定の画像における光源の状態を解析する。この後、照明制御部５００は、撮影環境解析部３００における光源の状態の解析結果に基づいて、撮影光源状態を認識する（ステップＳ１０４：撮影光源状態認識工程）。そして、この撮影光源状態に基づいて、撮影環境における光源や物体の状態の見え、映像の演出効果の見えを視聴環境で再現する状態に、画像表示モニタ２３０の表示状態や、第１〜第９の照明装置２４１〜２４９の照射状態を制御する（ステップＳ１０５：照射状態制御工程）。
【００６５】
〔ＡＶシステムの作用効果〕
上述したように、上記実施形態では、ＡＶシステム１００は、映像信号に基づいて、画像の撮影環境における光源の分光分布特性、照度、照射方向、移動方向、移動速度を撮影光源状態として認識する。そして、この認識した撮影光源状態に基づいて、照明部２４０の照射状態を制御する。つまり、撮影環境が異なる状態であっても略等しくなるおそれがある、撮影環境で測定された照度や色温度ではなく、撮影環境ごとに状態が異なる光源の分光分布特性、照度、照射方向、移動方向、移動速度に基づいて、照射状態を制御する。
このため、撮影環境の光源に対応する状態で視聴環境における照明部２４０の照射状態を制御することができ、撮影環境にいるような実感を利用者Ｕに持たせることができる、つまり画像に対する臨場感を適切に持たせることができる。したがって、視聴環境に配置された照明部２４０の照射状態を適切に制御できる。
さらに、映像信号に基づいて、撮影光源状態を認識するので、動画、静止画を問わず、画像に対してリアルタイムな照明制御をすることができる。また、インテリアのデザインや芸術作品を、撮影現場での見え方で鑑賞させることができる。そして、コンテンツの制作者の意図する色で映像を鑑賞させることができる。
【００６６】
そして、撮影環境における光源の拡散状態を認識し、この認識した拡散状態に基づいて、照明部２４０の照射状態を制御する。
このため、撮影環境における光の拡散状態を視聴環境で再現することにより、利用者Ｕに臨場感をより持たせることができる。
【００６７】
さらに、撮影環境における直接光源の光の状態を撮影光源状態として認識し、この直接光源の光の状態に基づいて、照明部２４０の照射状態を制御する。
このため、間接光源と比べて撮影環境に大きな影響を与える太陽や街灯などの直接光源の光の状態を視聴環境で再現することにより、利用者Ｕに臨場感をさらに持たせることができる。
【００６８】
また、撮影環境における間接光源の光の状態を撮影光源状態として認識し、この直接光源の光の状態に基づいて、照明部２４０の照射状態を制御する。
このため、例えば画像の背景である海や川などの色を視聴環境で再現することにより、利用者Ｕに臨場感をより持たせることができる。
【００６９】
そして、映像信号の画像から非撮影部分を無効エリアとして設定し、この無効エリアをマスクした画像に基づいて、撮影光源状態を認識する。
このため、撮影された画像でない部分を視聴環境で再現するおそれを低減でき、利用者Ｕに臨場感をさらに持たせることができる。
【００７０】
さらに、撮影環境における光源の明るさ、色、位置、および、動きなどと略等しい状態を視聴環境で再現する状態に照明部２４０を制御する。
このため、利用者Ｕに撮影環境の状況をより実感させることができ、さらに臨場感を持たせることができる。
【００７１】
また、利用者Ｕおよび第１〜第９の照明装置２４１〜２４９のそれぞれの位置関係を認識する。そして、この認識した位置関係に基づいて、利用者Ｕに対して撮影光源状態に対応する状態で光が照射されるように、例えば太陽光に対応する光を、撮影環境における状態と略等しい明るさや向きで照射させる。
このため、利用者Ｕが第１〜第９の照明装置２４１〜２４９に対して適宜異なる位置に移動したとしても、この移動した全ての位置において、撮影光源状態に対応する状態で光を照射させることができる。したがって、利用者Ｕの視聴位置によらず、画像に対する臨場感を持たせることができる。
【００７２】
さらに、初期状態における視聴位置から見た第１〜第９の照明装置２４１〜２４９からの光の照射状況を認識する。そして、この認識した光の照射状態に基づいて、撮影環境における光源の見えを再現する状態に、つまり撮影環境における光源の色や輝度に対応する光が視聴位置に到達する状態に、照明部２４０を制御する。
このため、視聴環境における撮影環境での光の状態の再現性を向上でき、臨場感をさらに持たせることができる。
【００７３】
また、照明部２４０として、各色ＬＥＤを適用している。さらに、利用者Ｕの近傍に光センサ４１２を配置している。そして、この光センサ４１２で各色ＬＥＤの光の強度を検出し、この検出した光の強度を第１〜第９の照明装置２４１〜２４９からの光の照射状況として認識する。
このため、照明部２４０として電球を利用する構成と比べて、照明部２４０の長寿命化を図ることができる。
さらに、単波長に近い急峻な分光特性を有する各色ＬＥＤを利用しているので、初期状態調整処理のために照明部２４０の分光特性を検出する光センサ４１２として、光の強度のみを検出可能なセンサ、つまり色を検出不可能なセンサを利用して、ＬＥＤの色毎に単色の反射光の強度を測定して所定の強度になるまでゲイン制御することにより、あらゆるスクリーン部２１０に対しても照射の色を適切に制御できる。したがって、ブロードな分光特性を有する光源を照明部２４０として利用する構成と比べて、安価に初期状態調整処理を実施可能な構成を構築できる。
また、第１〜第９の照明装置２４１〜２４９からの光の照射状況を光センサ４１２で検出しているので、スクリーン部２１０や部屋Ｒ内の各オブジェクトの分光反射率をも反映させた光の照射状態を認識でき、さらに適切に照射状態を制御できる。
【００７４】
また、画像表示モニタ２３０に映り込まない第１〜第９の照明装置２４１〜２４９のみに対して、照射状態を制御する。
このため、画像表示モニタ２３０への第１〜第９の照明装置２４１〜２４９の映り込みを低減でき、より快適な視聴環境を提供できる。特に、各種イベント会場や、家電量販店でのテレビジョン売り場において、その効果をより大きくすることができる。
【００７５】
さらに、コンテンツ出力装置１２０の再生停止の切り換えタイミングなど撮影光源状態が大きく変わる場合において、第１〜第９の照明装置２４１〜２４９の照射状態の急激な変化をなくす状態に制御している。
このため、照射状態の急激な変化による利用者Ｕへの視覚的な刺激を抑えることができ、さらに快適な視聴環境を提供できる。特に、デバイスとして変化の時定数が小さいＬＥＤ部２４１Ａ〜２４９Ａや、蛍光灯に対して、その効果をより大きくすることができる。
【００７６】
また、第１〜第９の照明装置２４１〜２４９に、ＬＥＤ部２４１Ａ〜２４９Ａを移動させる移動処理部２４１Ｃ〜２４９Ｃを設けている。そして、撮影光源状態に対応させて、ＬＥＤ部２４１Ａ〜２４９Ａを適宜移動させて視聴環境を照射する。
このため、ＬＥＤ部２４１Ａ〜２４９Ａを適宜移動させることにより、撮影環境における光源の移動状態をより良好に再現でき、利用者Ｕに臨場感をさらに持たせることができる。
【００７７】
さらに、第１〜第９の照明装置２４１〜２４９を部屋Ｒにおける異なる位置に設け、これらを独立的に制御している。
このため、異なる色や輝度あるいは方向からの複数の光を略等しいタイミングで照射することができ、撮影環境における光源の状態をさらに良好に再現できる。よって、利用者Ｕに臨場感をより持たせることができる。
【００７８】
そして、第１〜第９の照明装置２４１〜２４９に、ＬＥＤ部２４１Ａ〜２４９Ａから発せられる光を遮光する遮光機構２４１Ｂ〜２４９Ｂを設けている。そして、撮影光源状態に対応させて、遮光機構２４１Ｂ〜２４９Ｂの遮光状態を適宜制御して、異なる拡散状態の光で視聴環境を照射する。
このため、遮光機構２４１Ｂ〜２４９Ｂの遮光状態を制御するだけの簡単な構成で、撮影環境における光の拡散状態をさらに良好に再現でき、利用者Ｕに臨場感をより持たせることができる。
【００７９】
また、ＥＰＧなどの電子情報からコンテンツのジャンルやキーワードなどを検索して、この検索した内容に基づいて、コンテンツの雰囲気つまり内容を推定する。そして、この推定した雰囲気、例えば明るいなどの雰囲気に対応する状態で、照射状態を制御する。
このため、画像の雰囲気を反映させた状態で照射状態を制御でき、利用者Ｕに臨場感をさらに持たせることができる。
【００８０】
さらに、コンテンツで流れている音楽のジャンル、テンポ、音量、などの変化状態に基づいて、コンテンツの雰囲気を推定し、この雰囲気に対応する状態で照射状態を制御する。
このため、コンテンツの個々の画像にほぼ対応する音楽などの音声に基づいてコンテンツの雰囲気を推定するので、内容が必ずしも個々の画像に対応するとは限らないＥＰＧを利用する構成と比べて、より適切にコンテンツの雰囲気を認識でき、より適切に照射状態を制御できる。
【００８１】
そして、第１〜第９の照明装置２４１〜２４９の照射状態の制御の際に、飽和度が高い色を、飽和度が低い色に変更して照射させる制御をしている。
このため、撮影環境として適さない可能性が高い飽和度が高い色を照射させないので、より適切な状態で撮影環境を再現できる。また、目の疲労感を促す可能性が高い飽和度が高い色を照射させないので、より快適な視聴環境を提供できる。
【００８２】
そして、照明部２４０の制御により部屋Ｒが暗くなってしまう場合、手元スタンド２７０を点灯させる制御をしている。
このため、生活環境に支障をきたすことなく、臨場感を出すことができる。
【００８３】
〔実施形態の変形〕
なお、本発明は、上述した一実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
【００８４】
すなわち、視聴環境を認識する構成として、モニタ赤外線送受信部４０１と、第１〜第９の照明赤外線受信部４０２〜４１０と、を利用せずに、図８に示すような構成を適用してもよい。
この図８に示す構成では、リモコン２２０に、リモコンマイク２２２が設けられている。さらに、センタースピーカ２６１に、基準音声発信器４５０が設けられている。さらに、左前スピーカ２６２、右前スピーカ２６３、左後スピーカ２６４、右後スピーカ２６５のそれぞれに、第１，第２，第３，第４のスピーカマイク４５１，４５２，４５３，４５４が設けられている。
そして、視聴環境空間解析部４１１にて、基準音声発信器４５０から基準音声を発せさせるとともに、リモコンマイク２２２、第１〜第４のスピーカマイク４５１〜４５４における基準音声の直接音、側面などでの反射音の集音状態に基づいて、利用者Ｕおよびサラウンドスピーカ部２６０の位置関係を認識する構成としてもよい。
【００８５】
また、第１〜第９の照明装置２４１〜２４９における遮光機構２４１Ｂ〜２４９Ｂの代わりに、図９に示すような遮光制御部としての遮光機構２５０を適用してもよい。
この図９に示す遮光機構２５０は、光を透過させない材料により、略円弧板状に形成された円弧状遮光部２５０Ａを備えている。そして、この円弧状遮光部２５０Ａは、ＬＥＤ部２４１Ａの周囲の一部を覆う状態で設けられている。つまり、積極的に影部分Ｄを形成することにより、撮影環境における光源の状態を視聴環境で再現可能な構成を有している。なお、円弧状遮光部２５０Ａとしては、板状部材、液晶シャッタなどを適用できる。また、影部分Ｄの大きさを変更可能な構成としてもよい。
【００８６】
さらに、図１０や図１１に示すような構成としてもよい。
図１０に示す構成では、部屋Ｒ１の第１の側面Ｈ１１に略沿った位置には、画像表示モニタ２３０が設けられている。また、第１の側面Ｈ１１と直交する第２の側面Ｈ１２の幅方向略中央には、室内照明Ｊ１が設けられている。さらに、室内照明Ｊ１の第１の側面Ｈ１１側に隣接する位置には、室内照明Ｊ１の光を遮断して、部屋Ｒ１における画像表示モニタ２３０を含むモニタ領域Ａ１１を暗くする状態で配置された暗幕Ｍが設けられている。また、暗幕Ｍの第１の側面Ｈ１１側に隣接する位置には、照射方向が画像表示モニタ２３０の方向に設定された照明装置２５１が設けられている。
また、図１１に示す構成では、部屋Ｒ２の第１の側面Ｈ２１に略沿った位置には、画像表示モニタ２３０が設けられている。また、第１の側面Ｈ２１と直交する第２の側面Ｈ２２の幅方向略中央には、第１の室内照明Ｊ２が設けられている。さらに、第１の室内照明Ｊ２の第１の側面Ｈ２１側には、第１の室内照明Ｊ２に対して独立的にオンオフ可能な第２の室内照明Ｊ３が設けられている。また、第１，第２の室内照明Ｊ２，Ｊ３の間には、第１の室内照明Ｊ２の光を遮断して、部屋Ｒ２における画像表示モニタ２３０を含むモニタ領域Ａ２１を暗くする状態で配置された壁Ｂが設けられている。さらに、第２の側面Ｈ２２に対向する第３の側面Ｈ２３における壁Ｂと略対向する位置には、照射方向が画像表示モニタ２３０の方向に設定された照明装置２５２が設けられている。
そして、照明制御部５００にて、撮影環境における光源や物体の状態の見え、映像の演出効果の見えを視聴環境で再現する状態に、照明装置２５１，２５２の照射状態を制御する構成としてもよい。
これらのような構成にすれば、部屋Ｒ１，Ｒ２におけるモニタ領域Ａ１１，Ａ２１以外の領域Ａ１２，Ａ２２を明るい状態にしたままで、モニタ領域Ａ１１，Ａ２１のみを撮影環境の光源の状態を再現する状態にすることができる。
【００８７】
また、図１２に示すように、表示面２３１の両端側を照明として機能する照明領域２３１Ａとするとともに、照明領域２３１Ａに挟まれる部分を画像Ｇを表示させる画像領域２３１Ｂとして、照明領域２３１Ａにおける発光状態を、撮影環境における光源の発光状態を再現する状態に制御してもよい。
このような構成にすれば、新たな第１〜第９の照明装置２４１〜２４９を利用せずに、従来ある表示面２３１を撮影環境における光源を再現する照明として利用するので、簡単な構成で臨場感を出すことができる。
【００８８】
さらに、撮影環境における光源の明るさ、色、位置、および、動きのうちいずれか１つのみを、視聴環境で再現してもよい。
また、光源の拡散状態を、視聴環境で再現しなくてもよい。
そして、撮影環境における直接光源または間接光源の光の状態のみを視聴環境で再現する構成としてもよい。
また、無効エリアの設定処理を実施しない構成としてもよい。
【００８９】
そして、撮影環境における光源の明るさ、色、位置、および、動きなどを誇張した状態を、視聴環境で再現する状態に照明部２４０を制御してもよい。例えば、雷などが遠方でわずかに光っている画像に対して、部屋Ｒ全体を雷に対応する光で照射してもよい。
このような構成にすれば、演出効果をより高めることができ、さらに臨場感を持たせることができる。
【００９０】
さらに、利用者Ｕおよび第１〜第９の照明装置２４１〜２４９のそれぞれの位置関係を認識せずに、撮影環境における光源の状態を視聴環境で再現してもよい。
また、初期状態における視聴位置から見た第１〜第９の照明装置２４１〜２４９からの光の照射状況を認識せずに、撮影環境における光源の状態を視聴環境で再現してもよい。
さらに、光センサ４１２を設けずに、利用者Ｕによる設定入力に基づいて、画像表示モニタ２３０および照明部２４０の初期状態調整処理を実施してもよい。具体的には、画像表示モニタ２３０のＲＧＢ、白、黒の輝度や色、表示面２３１の分光反射率などの表示スペック、照明部２４０の照射可能な照度や色などの分光特性、照射可能な距離、偏光可能角度、スクリーン部２１０の分光反射特性などに基づいて、初期状態調整処理を実施してもよい。
【００９１】
さらに、画像表示モニタ２３０に映り込む第１〜第９の照明装置２４１〜２４９を利用しない構成について例示したが、この映り込む第１〜第９の照明装置２４１〜２４９の照度を落として、照射させる構成としてもよい。
このような構成にしても、上記実施形態と同様に、画像表示モニタ２３０への第１〜第９の照明装置２４１〜２４９の映り込みを低減でき、より快適な視聴環境を提供できる。
【００９２】
そして、コンテンツ出力装置１２０の再生停止の切り換えタイミングなどにおいて、照明部２４０の照射状態の急激な変化をなくす状態に制御しない構成としてもよい。
【００９３】
また、第２，第５，第７，第９の照明装置２４２，２４５，２４７，２４９を設けなくてもよい。そして、第１〜第９の照明装置２４１〜２４９のうちいずれか１つのみを設けてもよい。さらに、遮光機構２４１Ｂ〜２４９Ｂを設けなくてもよい。そして、開口角度Ｋ１を不変な構成にしてもよい。また、移動処理部２４１Ｃ〜２４９Ｃを設けずに、第１〜第９の照明装置２４１〜２４９を移動不可能な構成としてもよい。
【００９４】
ＥＰＧなどの電子情報、または、コンテンツで流れている音楽のうち、いずれか一方のみに基づいて、コンテンツの雰囲気つまり内容を推定してもよい。さらに、コンテンツの雰囲気に対応する状態で照射状態を制御する機能を設けなくてもよい。
【００９５】
さらに、照明部２４０として、白熱光源を適用してもよい。
このような構成にすれば、黒体輻射に近い分光特性を有する白熱光源を利用することにより、特に複雑な制御をすることなくｄｕｖを略０にすることができる。したがって、投入電力に依存する白熱光源の温度により、光源色を容易にかつ高精度に制御できる。また、演色性が高いブロードな分光特性を有する白熱光源を利用することにより、部屋Ｒ内の調度品を自然に見せることができる。さらに、日光などの自然光源を再現する場合、自然光源は色温度の高低と明暗とが概ね連動しているため、１個またはひとくくりの白熱光源の投入電力で光源色および明るさの両方を適度に調整することができる。また、光源色および明るさを別々に制御する必要が生じた場合、投入電力（＝色温度）を合わせた複数の白熱光源の点灯個数により、明るさを制御することができる。そして、ＬＥＤが不要な安価な構成を構築できる。さらに、部屋Ｒ内に物が多い、あるいは、壁が少ない場合であっても、最も自然な見えを再現できる。また、白熱光源の交換により、微妙な色味の差を楽しませることができる。
【００９６】
また、照明部２４０として、上述したような白色光源と、上記実施形態のＬＥＤ部２４１Ａ〜２４９Ａと、を組み合わせた構成を適用してもよい。
【００９７】
さらに、照明部２４０として、部屋Ｒに従来ある照明装置、あるいは、利用者Ｕが好む照明装置を適用して、以下のような構成としてもよい。
すなわち、調光機構および調光リモコンが搭載されている照明装置の場合、各種制御信号を記憶可能なリモコンに調光リモコンのコードを記憶させて、照明装置の照射状態を制御したり、照明制御部５００にあらかじめ各照明装置のリモコンコードを登録しておき、このリモコンコードを利用して照明装置の照射状態を制御したりしてもよい。また、非調光タイプでありかつ調光可能なコンセント（調光コンセント）で制御可能な照明装置の場合、照明制御部５００にて、調光コンセントに対して制御を実施してもよい。
このような構成は、ＡＶセンターやセットトップボックスに搭載して、調光リモコンや調光コンセントのコードを記憶させることにより容易に実現できる。また、ＡＶセンターやセットトップボックスに搭載することにより、撮影環境の推定に利用可能な音声情報やＭＰＥＧ（Moving Picture Experts Group）データを容易に取得できる。さらに、ＡＶセンターやセットトップボックスに従来搭載されている、音響効果や映像効果を利用した目覚ましタイマやおやすみタイマなどの機能も、照明制御として追加することができる。
【００９８】
また、スクリーン部２１０を設けない構成としてもよい。このような構成では、日光などの外光により視聴環境における照明効果が少なくなるおそれがあるので、以下のような構成により、外光を制御することが好ましい。例えば、透過率を制御可能な窓を設けてもよい。また、窓に液晶などの配向制御可能な素材を適用してもよい。さらに、電動カーテンや電動ブラインドを適用してもよい。
【００９９】
そして、照明部２４０の代わりに、日光を照明として利用する構成としてもよい。
具体的には、部屋Ｒに日光を採光する採光部としての開口部を開口形成するとともに、この開口部に上述したような透過率を制御可能な窓、液晶などの配向制御可能な素材を適用した窓、電動カーテンや電動ブラインドを、開口部からの採光状態を制御する採光制御部として設ける。そして、採光制御部を制御して、日光の入射状態を変えることにより、撮影環境における光源の照射状態を視聴環境で再現する構成としてもよい。
このような構成にすれば、視聴環境の制御前後における照明を日光にすることができ、制御前から制御後にかけての目の順応を自然にかつ容易にすることができる。
【０１００】
さらに、天井に設けた照明部２４０の代わりに、画像表示モニタ２３０のベゼルに電気泳動素子を設け、この電気泳動素子の分光反射率を撮影環境の照射状態に対応させて制御して、ベゼルの色や明るさを変えてもよい。
ここで、ベゼルにＬＥＤなどの発光体を設けた場合、例えば日光による明るい視聴環境における照明効果が少なくなり、臨場感が小さくなるおそれがある。一方、電子泳動素子などの分光反射率を制御して発光させる構成では、明るい視聴環境であっても照明効果を損なうことなく、臨場感が小さくなるおそれを小さくできる。
このため、このような構成にすれば、明るい視聴環境であっても、より臨場感を出すことができる。
【０１０１】
さらに、画像表示モニタ２３０に表示された画像の白色をきれいに見せるために、以下のような制御をしてもよい。
すなわち、色順応効果を利用して、照明部２４０の色温度を撮影環境の光源よりも若干低くなる状態に制御する構成としてもよい。
また、色温度を低くすることが困難な画像表示モニタ２３０の場合、照明部２４０の色温度を撮影環境の光源よりも高くする状態に制御してもよい。
さらに、画像表示モニタ２３０の色温度の白色が、映像信号規格の６５００Ｋ付近から一般の民生モニタなどで設定されている１００００Ｋ以上に変更されている場合、この変更に基づいて、撮影環境の光源色の推定値にオフセットをかけた色設定となる状態に照明部２４０を制御してもよい。つまり、色順応効果を利用して、画像表示モニタ２３０の色温度に照明部２４０の光の色を合わせる制御をしてもよい。例えば、画像表示モニタ２３０の色温度が６５００Ｋから９５００Ｋに変更されている状態において、撮影環境の光源色の色温度が４５００Ｋと推定された場合、７５００Ｋとなる状態に照明部２４０を制御してもよい。
【０１０２】
また、映像信号としてはカットオフしたレベルであるのに、モニタに発光しているデバイスが存在している場合、その黒輝度のＲＧＢバランスが偏っているおそれがある。このようなモニタを画像表示モニタ２３０として利用する場合、黒色付近の映像信号が入力された際には、輝度・色順応特性を利用して、照明部２４０の暗部照明を明るくするとともに、画像表示モニタ２３０の黒輝度色に合わせた色にして、画像表示モニタ２３０の黒の不自然な色見えをキャンセルするような背景を照射させてもよい。
【０１０３】
さらに、蛍光体の劣化によりＲＧＢバランスが崩れたデバイスが存在している場合、通常モニタ側で補正するが発光輝度が低くなるおそれがある。このようなモニタを画像表示モニタ２３０として利用する場合、輝度・色順応特性を利用して、ＲＧＢ輝度劣化特性に合わせて照明部２４０による背景照射の照度や色を補正して、画像表示モニタ２３０の発光輝度を高く保ちつつ、輝度劣化による不自然なＲＧＢバランスが崩れた画像表示の見えを防止してもよい。
【０１０４】
また、第１〜第９の照明装置２４１〜２４９の代わりに、所定の画像を投影可能な投影手段としてのプロジェクタを設けてもよい。
このような構成にすれば、照明だけではなく画像のオブジェクト、例えば海や木などをもスクリーン部２１０に照射させることができ、演出の自由度を高めることができる。したがって、さらに臨場感を出すことができる。
【０１０５】
そして、映像信号やＥＰＧなどに、第１〜第９の照明装置２４１〜２４９を制御するための制御情報を挿入し、この制御情報に基づいて、撮影環境における光源の照射状態を視聴環境で再現する構成としてもよい。
このような構成にすれば、コンテンツの制作者の意図通りに第１〜第９の照明装置２４１〜２４９の照射状態を制御でき、より適切に臨場感を出すことができる。
【０１０６】
また、照明部２４０の照射状態の制御を、コンテンツ出力装置１２０の動作と連動させなくてもよい。
さらに、手元スタンド２７０を設けなくてもよい。
そして、第１〜第９の照明装置２４１〜２４９の照射状態の制御の際に、飽和度が高い色を照射させる制御をしてもよい。
【０１０７】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【０１０８】
〔実施形態の効果〕
上述したように、上記実施形態では、ＡＶシステム１００は、画像の撮影環境における光源の分光分布特性、照度、照射方向、移動方向、移動速度を撮影光源状態として認識して、この認識した撮影光源状態に基づいて、照明部２４０の照射状態を制御する。つまり、撮影環境が異なる状態であっても略等しくなるおそれがある、撮影環境で測定された照度や色温度ではなく、撮影環境ごとに状態が異なる光源の分光分布特性、照度、照射方向、移動方向、移動速度に基づいて、照射状態を制御する。
このため、撮影環境の光源に対応する状態で視聴環境における照明部２４０の照射状態を制御することができ、撮影環境にいるような実感を利用者Ｕに持たせることができる、つまり画像に対する臨場感を適切に持たせることができる。したがって、視聴環境に配置された照明部２４０の照射状態を適切に制御できる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の一実施形態に係るＡＶシステムの概略構成を示すブロック図である。
【図２】前記一実施形態における視聴環境構成部の配置状態の概略構成を示す平面図である。
【図３】前記一実施形態における照明装置の概略構成を示す断面図である。
【図４】前記一実施形態における撮影環境解析部の概略構成を示すブロック図である。
【図５】前記一実施形態における視聴環境取得部の概略構成を示すブロック図である。
【図６】前記一実施形態における照明制御部の概略構成を示すブロック図である。
【図７】前記一実施形態における照明状態制御処理を示すフローチャートである。
【図８】本発明の他の実施形態に係る視聴環境構成部の配置状態の概略構成を示す平面図である。
【図９】本発明のさらに他の実施形態に係る照明装置の概略構成を示す断面図である。
【図１０】本発明のさらに他の実施形態に係る照明装置の配置状態の概略構成を示す平面図である。
【図１１】本発明のさらに他の実施形態に係る照明装置の配置状態の概略構成を示す平面図である。
【図１２】本発明のさらに他の実施形態に係る表示面を照明として利用したときの状態を示す模式図である。
【符号の説明】
【０１１０】
２３０…表示手段としての画像表示モニタ
２４０…照明部
２４１Ａ〜２４９Ａ…発光部としてのＬＥＤ部
２４１Ｂ〜２４９Ｂ，２５０…遮光制御部としての遮光機構
４１２…光センサ
【図１】
2008193605.tif 000003
【図２】
2008193605.tif 000004
【図３】
2008193605.tif 000005
【図４】
2008193605.tif 000006
【図５】
2008193605.tif 000007
【図６】
2008193605.tif 000008
【図７】
2008193605.tif 000009
【図８】
2008193605.tif 000010
【図９】
2008193605.tif 000011
【図１０】
2008193605.tif 000012
【図１１】
2008193605.tif 000013
【図１２】
2008193605.tif 000014