(57)【要約】  表示映像のシーン状況に応じた、最適な視聴環境の照明制御を実現することが可能な視聴環境制御システムを提供する。データ送信装置は、映像データの各シーンの場面設定状況を示すシーン状況データを前記映像データに多重するデータ多重部と、シーン状況データが多重された映像データを変調して送出する送信部とを設けて構成される。データ受信装置は、受信した映像データからシーン状況データを分離するデータ分離部２２と、該シーン状況データに基づいて、照明装置２７の照明光を制御するＣＰＵ２３、照明制御データ生成部２４とを設けて構成される。
2007122987.tif 000002
【特許請求の範囲】
【請求項１】
１以上のシーンから構成される映像データを送信するデータ送信装置において、
前記映像データの各シーンの場面設定状況を示すシーン状況データを、前記映像データに付加して送信することを特徴とするデータ送信装置。
【請求項２】
前記シーン状況データは、前記映像データのシーン単位で付加されることを特徴とする前記請求項１に記載のデータ送信装置。
【請求項３】
前記シーン状況データは、前記映像データのショット単位で付加されることを特徴とする前記請求項１に記載のデータ送信装置。
【請求項４】
前記シーン状況データは、前記映像データのフレーム単位で付加されることを特徴とする前記請求項１に記載のデータ送信装置。
【請求項５】
前記請求項１乃至４のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における季節を表わす情報を含むことを特徴とするデータ送信装置。
【請求項６】
前記請求項１乃至５のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における時刻を表わす情報を含むことを特徴とするデータ送信装置。
【請求項７】
前記請求項１乃至６のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とするデータ送信装置。
【請求項８】
前記請求項１乃至７のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における時代を表わす情報を含むことを特徴とするデータ送信装置。
【請求項９】
前記請求項１乃至８のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における天候を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１０】
前記請求項１乃至９のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における地域を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１１】
外部からの要求を受けて、映像データを構成する各シーンの場面設定状況を示すシーン状況データを送信するデータ送信装置であって、
前記シーン状況データを、前記映像データを構成する各シーンの開始タイミングとともに送信することを特徴とするデータ送信装置。
【請求項１２】
前記請求項１１に記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における季節を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１３】
前記請求項１１又は１２に記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における時刻を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１４】
前記請求項１１乃至１３のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１５】
前記請求項１１乃至１４のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における時代を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１６】
前記請求項１１乃至１５のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における天候を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１７】
前記請求項１１乃至１６のいずれかに記載のデータ送信装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における地域を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１８】
表示装置に表示すべき映像データと、該映像データを構成する各シーンの場面設定状況を示すシーン状況データとを受信する受信手段と、
前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
【請求項１９】
前記請求項１８に記載の視聴環境制御装置において、
前記制御手段は、前記照明装置の照明光を前記映像データのシーン単位で切替制御することを特徴とする視聴環境制御装置。
【請求項２０】
前記請求項１８又は１９に記載の視聴環境制御装置において、
前記制御手段は、前記シーン状況データに加え、前記映像データの特徴量も用いて、前記照明装置の照明光を制御することを特徴とする視聴環境制御装置。
【請求項２１】
前記請求項１８乃至２０のいずれかに記載の視聴環境制御装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における季節を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２２】
前記請求項１８乃至２１に記載の視聴環境制御装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における時刻を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２３】
前記請求項１８乃至２２のいずれかに記載の視聴環境制御装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２４】
前記請求項１８乃至２３のいずれかに記載の視聴環境制御装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における時代を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２５】
前記請求項１８乃至２４のいずれかに記載の視聴環境制御装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における天候を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２６】
前記請求項１８乃至２５のいずれかに記載の視聴環境制御装置において、
前記シーン状況データは、少なくとも各シーンのストーリー上における地域を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２７】
前記請求項１８乃至２６のいずれかに記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
【請求項２８】
１以上のシーンから構成される映像データを送信するデータ送信方法において、
前記映像データの各シーンの場面設定状況を示すシーン状況データを、前記映像データに付加して送信することを特徴とするデータ送信方法。
【請求項２９】
外部からの要求を受けて、映像データを構成する各シーンの場面設定状況を示すシーン状況データを送信するデータ送信方法であって、
前記シーン状況データを、前記映像データを構成する各シーンの開始タイミングとともに送信することを特徴とするデータ送信方法。
【請求項３０】
表示装置に表示すべき映像データと、該映像データを構成する各シーンの場面設定状況を示すシーン状況データとを受信し、
前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。
【背景技術】
【０００２】
例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。【０００３】
例えば、特開平２−１５８０９４号公報には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。【０００４】
また、例えば、特開平２−２５３５０３号公報には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。【０００５】
さらに、例えば、特開平３−１８４２０３号公報には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
通常、映像のシーンは例えば映像制作者（脚本家や演出家など）の意図により、一連の場面設定に基づく一区切りの映像として作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン状況（ストーリー上の場面設定状況）に応じた照明光を視聴空間に照射することが望ましい。【０００７】
しかしながら、上述した従来の視聴環境制御装置では、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御しているため、表示映像内容によっては該映像のシーン状況に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。【０００８】
すなわち、一般的に各シーン毎にその場面設定に基づく撮影時の照明が特徴付けられるにも関わらず、このシーンの特徴から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。【０００９】
また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、場面設定に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。【００１０】
図１は、上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図１に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。【００１１】
このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。【００１２】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、冬の日中晴天時の太陽光の下という一連のシーン状況であるにもかかわらず、このシーン状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。【００１３】
図２は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図２に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がアップショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。【００１４】
このような場合、ショット１では、月夜の比較的暗い映像が連続している。これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。【００１５】
すなわち、時代劇の夜更けの月光による照明の下という一連のシーン状況であるにもかかわらず、このシーン状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。【００１６】
本発明は、上記課題に鑑みてなされたものであり、表示映像のシーン状況に応じた、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本願の第１の発明は、１以上のシーンから構成される映像データを送信するデータ送信装置において、前記映像データの各シーンの場面設定状況を示すシーン状況データを、前記映像データに付加して送信することを特徴とする。【００１８】
本願の第２の発明は、前記シーン状況データが、前記映像データのシーン単位で付加されることを特徴とする。【００１９】
本願の第３の発明は、前記シーン状況データが、前記映像データのショット単位で付加されることを特徴とする。【００２０】
本願の第４の発明は、前記シーン状況データが、前記映像データのフレーム単位で付加されることを特徴とする。【００２１】
本願の第５の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）季節を表わす情報を含むことを特徴とする。【００２２】
本願の第６の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）時刻を表わす情報を含むことを特徴とする。【００２３】
本願の第７の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）場所を表わす情報を含むことを特徴とする。【００２４】
本願の第８の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）時代を表わす情報を含むことを特徴とする。【００２５】
本願の第９の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）天候を表わす情報を含むことを特徴とする。【００２６】
本願の第１０の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）地域を表わす情報を含むことを特徴とすることを特徴とする。【００２７】
本願の第１１の発明は、外部からの要求を受けて、映像データを構成する各シーンの場面設定状況を示すシーン状況データを送信するデータ送信装置であって、前記シーン状況データを、前記映像データを構成する各シーンの開始タイミングとともに送信することを特徴とする。【００２８】
本願の第１２の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）季節を表わす情報を含むことを特徴とする。【００２９】
本願の第１３の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）時刻を表わす情報を含むことを特徴とする。【００３０】
本願の第１４の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）場所を表わす情報を含むことを特徴とする。【００３１】
本願の第１５の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）時代を表わす情報を含むことを特徴とする。【００３２】
本願の第１６の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）天候を表わす情報を含むことを特徴とする。【００３３】
本願の第１７の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）地域を表わす情報を含むことを特徴とする。【００３４】
本願の第１８の発明は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの場面設定状況を示すシーン状況データとを受信する受信手段と、前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする。【００３５】
本願の第１９の発明は、前記制御手段が、前記照明装置の照明光を前記映像データのシーン単位で切替制御することを特徴とする。【００３６】
本願の第２０の発明は、前記制御手段が、前記シーン状況データに加え、前記映像データの特徴量も用いて、前記照明装置の照明光を制御することを特徴とする。【００３７】
本願の第２１の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）季節を表わす情報を含むことを特徴とする。【００３８】
本願の第２２の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）時刻を表わす情報を含むことを特徴とする。【００３９】
本願の第２３の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）場所を表わす情報を含むことを特徴とする。【００４０】
本願の第２４の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）時代を表わす情報を含むことを特徴とする。【００４１】
本願の第２５の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）天候を表わす情報を含むことを特徴とする。【００４２】
本願の第２６の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における（設定された）地域を表わす情報を含むことを特徴とする。【００４３】
本願の第２７の発明は、前記視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えた視聴環境制御システムであることを特徴とする。【００４４】
本願の第２８の発明は、１以上のシーンから構成される映像データを送信するデータ送信方法において、前記映像データの各シーンの場面設定状況を示すシーン状況データを、前記映像データに付加して送信することを特徴とする。【００４５】
本願の第２９の発明は、外部からの要求を受けて、映像データを構成する各シーンの場面設定状況を示すシーン状況データを送信するデータ送信方法であって、前記シーン状況データを、前記映像データを構成する各シーンの開始タイミングとともに送信することを特徴とする。【００４６】
本願の第３０の発明は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの場面設定状況を示すシーン状況データとを受信し、前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする。
【発明の効果】
【００４７】
本発明によれば、映像のシーン状況に応じた最適な視聴環境を実現することが可能となる。
【図面の簡単な説明】
【００４８】
【図１】従来技術による照明変動の問題点の一例を説明するための図である。
【図２】従来技術による照明変動の問題点の他の例を説明するための図である。
【図３】本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。
【図４】本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の出力ビットストリームの例を示す説明図である。
【図５】本発明の第１実施形態に係る視聴環境制御システムにおけるシーン状況データの一例を示す説明図である。
【図６】映像の構成要素を説明するための説明図である。
【図７】本発明の第１実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図８】本発明の第１実施形態に係る視聴環境制御システムにおける制御データの一例を示す説明図である。
【図９】本発明の第１実施形態に係る視聴環境制御システムにおける照明光の色再現範囲を表わす説明図である。
【図１０】本発明の第１実施形態に係る視聴環境制御システムにおけるシーン状況データと制御データとの関係例を示す説明図である。
【図１１】本発明の第１実施形態に係る視聴環境制御システムにおける制御データを生成するための処理フローの一部を説明するための図である。
【図１２】図１１に示した処理フローに続く残りの処理フローを説明するための図である。
【図１３】本発明の第２実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図１４】図１３における照明制御データ生成部を示すブロック図である。
【図１５】本発明の第２実施形態に係る視聴環境制御システムにおける照明光の色再現範囲を表わす説明図である。
【図１６】本発明の第３実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。
【図１７】本発明の第３実施形態に係る視聴環境制御システムにおけるシーン状況データ格納テーブルの一例を示す説明図である。
【図１８】本発明の第３実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図１９】本発明の第４実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図２０】図１９における照明制御データ生成部を示すブロック図である。
【発明を実施するための最良の形態】
【００４９】
図３は、本発明の第１実施形態における視聴環境制御システムに使用される映像送信装置（データ送信装置）の一例を説明するための要部概略構成図で、映像送信装置１０は、図示のように、映像データ、音声データ、付加情報として供給されたシーン状況データのそれぞれをトランスポートストリームパケット（Transport Stream packet；ＴＳＰ）形式に分割して多重するデータ多重部１と、データ多重部１の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部２とを備えている。【００５０】
図４は、ＭＰＥＧ２（Moving Picture Experts Group 2）−Systemsで規定されたトランスポートストリームパケット（ＴＳＰ）の構成の概略を示す説明図であり、１１はＴＳＰのデータ内容その他のＭＰＥＧ２−Systemsで規定された情報が記述されたヘッダ、１２は拡張ヘッダであって送信者が決めた情報を記述できる部分、１３は映像、音声などのデータから構成されるペイロードである。本実施形態では、例えば映像データ及び音声データをペイロード１３で伝送し、付加的な情報であるシーン状況データなどを拡張ヘッダ１２で伝送することが可能に構成されている。尚、映像データ、音声データ、シーン状況データのそれぞれの異なるデータストリームを多重して伝送するようにしてもよい。【００５１】
ここで、映像データの各シーンの場面設定状況を示すシーン状況データについて、図５とともに詳細に説明する。本実施形態では、シーン状況データとして、各シーンのストーリー上の季節を表わす季節情報、各シーンのストーリー上の時刻を表わす時刻情報、各シーンのストーリー上の場所を表わす場所情報、各シーンのストーリー上の時代を表わす時代情報、各シーンのストーリー上の天候を表わす天候情報、各シーンのストーリー上の地域を表わす地域情報を有している。これらの情報はいずれも、各シーンの場面設定に係る特徴的な照明環境を推定することが可能なものであり、各シーンの雰囲気や臨場感を照明光によって演出するために有用な情報である。以下、それぞれの情報について説明する。【００５２】
まず、季節によって自然光（太陽光）の強度及び色温度は変化するため、ストーリー上設定された季節に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば春，夏，秋の昼間の太陽光の色温度は約6000Kであるが、冬は昼間であっても太陽光の色温度を約7000Kに上げることで、寒さを表現することが可能となる。また、夏の太陽光の強度は強いが、春・秋はやや強く、冬は普通である。従って、本実施形態では、季節情報として、各映像シーンの場面設定が春／夏／秋／冬のいずれに属するかを示す２ビットの記述を、シーン状況データの中に含有している。【００５３】
また、自然光（太陽光）の強度及び色温度は１日の中の時刻によっても変化するため、ストーリー上設定された時刻に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば早朝の太陽光の色温度は約2000K、朝は約3000K、午前は約5000K、正午は約6000K、午後は約5000K、夕方は約3000K、薄暮れは約4000K、夜は約7000Kである。また、早朝の太陽光の強度はやや弱いが、朝は普通、午前はやや強く、正午は強くなり、午後はやや強く、夕方は普通、薄暮れはやや弱く、夜は非常に弱くなる。従って、本実施形態では、時刻情報として、各映像シーンの場面設定が早朝／朝／午前／正午／午後／夕方／薄暮れ／夜のいずれに属するかを示す３ビットの記述を、シーン状況データの中に含有している。【００５４】
また、場所によって自然光や人工光の強度及び色温度は変化するため、ストーリー上設定された場所に適応して、後述する視聴環境照明を制御することにより、屋内・屋外シーンの臨場感を向上させることができる。すなわち、例えば一般的に夜間の場合は屋外では月光や街頭照明によるやや弱い強度の光しか存在しないが、屋内においては夜間であっても室内照明が点灯するためやや強い強度の光が存在する。また、スタジオの照明光の強度は昼夜を問わず強いし、昼間の屋外であっても日陰であれば、光の強度は普通になる。従って、本実施形態では、場所情報として、各映像シーンの場所設定が屋内／スタジオ／屋外／屋外日陰のいずれに属するかを示す２ビットの記述を、シーン状況データの中に含有している。なお、ここでは、窓等から自然光が入射する屋内のみを規定しているが、これとは別に自然光の入射が遮断された屋内を追加して記述するようにしてもよい。【００５５】
さらに、時代によって自然光や人工光の強度及び色温度は変化するため、ストーリー上設定された時代に適応して、後述する視聴環境照明を制御することにより、現代・時代劇の各シーンの臨場感を向上させることができる。すなわち、例えば、現代ドラマの中で一般的に用いられる照明機器の光の色温度は、蛍光灯（昼白色）が約5000K、蛍光灯（昼光色）が約6700K、白熱電球が約2800Kである。これに対して、時代劇の中で夜間の光源としてよく用いられる蝋燭の炎の色温度は約1800〜2500Kである。また、現代劇では照明強度が強く、時代劇においては照明強度が弱い傾向にある。従って、本実施形態では、時代情報として、各映像シーンの時代設定が現代／時代劇のいずれに属するかを示す１ビットの記述を、シーン状況データの中に含有している。【００５６】
また、天候によっても自然光（太陽光）の強度及び色温度は変化するため、ストーリー上設定された天候に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば晴天昼光の色温度は約6000K、雨天時の昼光は8000〜9000K、曇天時の昼光は約6500〜8000Kである。また、自然光の強度は、快晴時が最も強く、雪（晴れの日）、晴、曇、霧・もや・かすみ・雷、雨の順に弱くなる。従って、本実施形態では、天候情報として、各映像シーンの天候設定が快晴／晴／曇／霧・もや・かすみ・雷／雨／雪（晴れの日）のいずれに属するかを示す３ビットの記述を、シーン状況データの中に含有している。【００５７】
そしてまた、地域によっても自然光（太陽光）の強度及び色温度は変化するため、ストーリー上設定された地域に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば熱帯(昼)の太陽光の色温度は約5000K、寒帯(昼)では約7000K、乾燥帯、温帯、亜寒帯（昼）においては約6000Kである。また、太陽光の強度は熱帯では非常に強く、乾燥帯、温帯、亜寒帯、寒帯の順に弱くなる傾向がある。従って、本実施形態では、地域情報として、各映像シーンの地域設定が熱帯／乾燥帯／温帯／亜寒帯／寒帯のいずれかに属するかを示す３ビットの記述を、シーン状況データの中に含有している。【００５８】
なお、シーン状況データに含まれる各種情報は上述したものに限定されないことは言うまでもない。例えば、上記季節情報及び時刻情報は、各シーンのストーリー上設定された月日及び時刻を表わす日時情報として、上記時代情報は、各シーンのストーリー上設定された年代を表わす年代情報として、シーン状況データの中に記述されていてもよいし、上記地域情報は、各シーンのストーリー上設定された地域の緯度、経度を表わす緯度、経度情報として、シーン状況データの中に記述されていてもよい。【００５９】
また、上述したシーン状況データは、映像撮影時のシナリオ情報内のシーン設定状況情報を利用して生成することができるので、この場合、新たにシーン状況データを作成する作業を省くことが可能となる。さらに、上述したシーン状況データ内の各種情報は、番組付加情報として放送データに含まれるシナリオ情報内のシーン設定状況情報や、編集・検索のために用意されたシーン設定状況情報等を兼用することも可能である。【００６０】
次に、シーンやショットを含む映像の構成について、図６を参照して説明する。連続する動画像を構成する映像データは、図６に示すように、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤ（＃１）は、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤ（＃２）はショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤ（＃３）がシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。【００６１】
ここでは、映像データのフレーム単位やショット単位、或いはシーン単位で、上述したシーン状況データを付加することができる。最低限、シーン単位でシーン状況データを付加すれば、後述する視聴環境照明の制御を効率良く実現することが可能となるが、フレーム単位でシーン状況データを付加した場合、より細やかな視聴環境照明の制御を行うことができる。例えば、映像制作者（脚本家や演出家など）の意図に応じて、特定のフレーム（シーン切替フレームなど）に対してのみシーン状況データが付加されるようにしてもよい。【００６２】
また、各ショット単位でシーン状況データを付加することにより、例えば同一シーン内であっても屋内と屋外のショットが含まれるような場合にも、適切な視聴環境照明の制御を実現することが可能となる。その他にも、映像データのランダムアクセスの単位となるＧＯＰ（Group of Picture）単位等でシーン状況データを付加するように構成してもよい。【００６３】
次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。
図７は、本発明の実施形態における映像受信装置の一例を説明するための概略構成図で、図示のように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部２１と、受信部２１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データ、付加情報としてのシーン状況データのそれぞれを分離・抽出するデータ分離部２２と、データ分離部２２で分離されたシーン状況データを受けて、前記映像データを構成する各シーンの場面設定（雰囲気）に適応した照明に関する制御データを出力するＣＰＵ２３と、ＣＰＵ２３からの出力制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４とを備えている。【００６４】
ここで、照明装置２７は、映像表示装置２５の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置２７は、映像表示装置２５の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置２７は１個以上設置されていればよい。【００６５】
ＣＰＵ２３は、図５を参照して説明したシーン状況データから、各シーンのストーリー上における設定場面（雰囲気）を照明装置２７による視聴環境照明により再現すべく、照明光の強度及び色温度（黒体軌跡上の一点）を決定し、これを制御データとして照明制御データ生成部２４へ出力する。本実施形態においては、シーン状況データに含まれる各種情報に基づいて、例えば、図８（ａ）に示すように、照明強度を７段階で示すとともに、図８（ｂ）に示すように、照明色温度を１６段階で示す制御データを生成する。【００６６】
ここで、黒体はエネルギーを完全に吸収する理想的な物体をさしており、温度が上昇すると発する光の色が赤→黄→白と変化する。このときの絶対温度を色温度という。この色温度と色の軌跡(黒体軌跡)をｘｙ色度図上で表すと、図９のようになる。光源の色が黒体軌跡上にない場合、完全に一致しないが最も近似の黒体の温度を「相関色温度」という。一般的に相関色温度は黒体軌跡からの偏差(Δｕｖ)と共に表される。【００６７】
照明制御データ生成部２４は、ＣＰＵ２３からの制御データ（強度、色温度）に応じたＲＧＢデータを生成して、照明装置２７に出力する。これによって、表示映像のシーン状況に応じた、最適な視聴環境の照明制御を実現することが可能となる。【００６８】
以下、シーン状況データに応じた具体的な照明制御例について、図１０とともに説明する。例えばシーン状況データにおける季節情報が春、時刻情報が昼、場所情報が屋外、天候情報が晴である場合、このときの自然光を再現すべく、照明強度はやや強く、照明色温度は6000K（図９中（ｄ）点で示す）であることを示す制御データが生成される。ここで、季節情報が夏になると、照明色温度は6000Kのまま、照明強度が強いことを示す制御データが生成される。【００６９】
また、地域情報が熱帯の場合、照明強度が非常に強いことを示す制御データが生成される。季節情報が秋になると、照明強度がやや強いことを示す制御データが、季節情報が冬になると、照明強度が普通で照明色温度は7000K（図９中（ｅ）点で示す）であることを示す制御データが生成される。ここで、地域情報が寒帯の場合、照明強度がやや弱いことを示す制御データが生成される。ここで、地域情報が寒帯の場合、照明強度がやや弱く、照明色温度は7000K（図９中（ｅ）点で示す）であることを示す制御データが生成される。【００７０】
そしてまた、シーン状況データにおける時刻情報が朝、場所情報が屋内、天候情報が晴である場合、このときの自然光が屋内に差し込む状況を再現すべく、照明強度は普通で、照明色温度は4000K（図９中（ｂ）点で示す）であることを示す制御データが生成される。ここで、時刻情報が夕方になると、照明強度は普通のまま、照明色温度は3000K（図９中（ａ）点で示す）であることを示す制御データが生成される。また、時刻情報が夜になると、屋内照明機器である蛍光灯（昼白色）の照明光を再現すべく、照明強度はやや強く、照明色温度は5000K（図９中（ｃ）点で示す）であることを示す制御データが生成される。【００７１】
さらに、シーン状況データにおける時刻情報が夜、場所情報が屋内、時代情報が時代劇である場合、蝋燭の炎が照明光源である可能性が高く、これを再現するために、照明強度はやや弱く、照明色温度は3000K（図９中（ａ）点で示す）であることを示す制御データが生成される。ここで、場所情報が屋外になると、月光が照明光源である可能性が高く、時代劇の月夜の雰囲気を再現するために、照明強度は非常に弱く、照明色温度は7000K（図９中（ｅ）点で示す）であることを示す制御データが生成される。【００７２】
また、シーン状況データにおける時刻情報が昼、場所情報が屋外、天候情報が霧・もや・かすみ・雪である場合、このときの自然光を再現すべく、照明強度は弱く、照明色温度は6000K（図９中（ｄ）点で示す）であることを示す制御データが生成される。【００７３】
以上のような制御データを生成するための処理フローの一例を、図１１及び図１２とともに説明する。まず、新たなシーン区間が開始したか否かを判定し（ステップＳ１）、新たなシーン区間が開始した場合、当該シーンに係るシーン状況データを取得する（ステップＳ２）。そして、このシーン状況データ中の場所情報がスタジオを示している場合（ステップＳ３）、スタジオの照明光は昼夜、天候などの影響を受けないため、他の情報に関わらず、照明強度が強く、照明色温度が6000Kであることを示す制御データを出力する（ステップＳ４）。【００７４】
次に、場所情報が屋内を示している場合（ステップＳ５）、時刻情報が夜を示しているか否かを判定する（ステップＳ６）。そして、時刻情報が夜であって、且つ時代情報が時代劇を示している場合（ステップＳ７）、蝋燭の炎が照明光源である可能性が高いため、照明強度がやや弱く、照明色温度が3000Kであることを示す制御データを出力する（ステップＳ８）。また、時刻情報が夜であって、且つ時代情報が現代を示している場合（ステップＳ７）、一般的な屋内照明機器である蛍光灯（昼白色）が照明光源である可能性が高いため、照明強度がやや強く、照明色温度が5000Kであることを示す制御データを出力する（ステップＳ９）。【００７５】
また、ステップＳ５において屋内でないと判定された場合、時刻情報が夜を示しているか否かを判定する（ステップＳ１０）。そして、時刻情報が夜であって、且つ時代情報が時代劇を示している場合（ステップＳ１１）、照明強度が非常に弱く、照明色温度が7000Kであることを示す制御データを出力する（ステップＳ１２）。さらに、時刻情報が夜であって、且つ時代情報が現代を示している場合（ステップＳ１１）、照明強度が弱く、照明色温度が7000Kであることを示す制御データを出力する（ステップＳ１３）。これは、現代の方が照明機器の発達により夜間の屋外でも比較的明るいことが多いためである。【００７６】
そして、ステップＳ１０において夜でないと判定された場合は、予め用意されたルックアップテーブル（図示せず）を参照し、季節情報、時刻情報、天候情報、地域情報の組み合わせから特定された、照明強度がａ、照明色温度がｂＫであることを示す制御データを取得する（ステップＳ１４）。次に、場所が屋外の日陰ではない場合（ステップＳ１５）、上記ルックアップテーブルを参照して取得した制御データをそのまま出力する（ステップＳ１６）。また、場所が屋外の日陰を示している場合（ステップＳ１５）、或いは、ステップＳ６において時刻が夜ではないと判定された場合、上記ルックアップテーブルを参照して取得した制御データの照明強度ａを２段階（レベル）だけ低下させて（ステップＳ１７）、照明強度がａ’、照明色温度がｂＫであることを示す制御データを出力する（ステップＳ１８）。例えばルックアップテーブルを参照して取得した制御データの照明強度ａが普通（０１１）の場合、出力される制御データの照明強度ａ’は弱い（００１）となる。【００７７】
すなわち、ルックアップテーブルには、場所が屋外である場合に関して、季節情報（４通り）、時刻情報（８通り）、天候情報(６通り）、地域情報（５通り）の組み合わせ（９６０通り）の制御データが予め格納されている。そして、屋外日陰や屋内に入射する自然光は、屋外における自然光の強度が低下したものとみなし、ルックアップテーブルから取得した制御データを利用して制御データを生成している。【００７８】
さらに、放送データが終了したか否かを判定し（ステップＳ１９）、放送データが終了していない場合は、ステップＳ１に戻って次のシーン区間が開始したか否かを判定する。すなわち、上記のようにして生成された制御データは、次のシーン区間が開始されるまで、或いは放送データが終了するまで保持して出力される。なお、上述した処理フローは制御データを生成するための一例であって、本発明がこれに限られないことは言うまでもない。【００７９】
上記のように、本実施形態においては、映像データとともにシーン状況データとして入力された各種情報内容から、各シーンのストーリー上における設定場面（雰囲気）を適切に再現すべく照明強度及び照明色温度を求め、これに応じたＲＧＢデータにより照明装置２７の照明光を制御することが可能である。従って、映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。【００８０】
なお、本実施形態においては、各シーンのストーリー上における設定場面に関するシーン状況データを送受信するようにしているので、このシーン状況データを用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。【００８１】
また、上記本発明の第１の実施形態においては、放送データに含まれるシーン状況データのみを用いて、視聴環境照明を制御するものについて説明したが、より適切な視聴環境照明の制御を実現するために、シーン状況データに加えて、映像データ及び／又は音声データも用いて、視聴環境照明を制御する構成としてもよい。これについて、本発明の第２の実施形態として、以下に説明する。【００８２】
以下、本発明の視聴環境制御システムの第２実施形態について、図１３及び図１５とともに詳細に説明するが、上記第１の実施形態と同一の作用をする部分には同一符号を付し、その説明は省略する。【００８３】
なお、本実施形態における映像送信装置（データ送信装置）は、図３とともに説明した第１実施形態のものと同様であり、ここではその説明を省略する。【００８４】
図１３は、本発明の実施形態における映像受信装置（データ受信装置）の一例を説明するための概略構成図で、図示のように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部２１と、受信部２１の出力データから、映像表示装置２５に出力する映像データとＴＣ（タイムコード）、音声再生装置２６に出力する音声データとＴＣ（タイムコード）、付加情報としてのシーン状況データのそれぞれを分離・抽出するデータ分離部２２と、データ分離部２２で分離されたシーン状況データを受けて、前記映像データを構成する各シーンの場面設定（雰囲気）に適応した照明に関する制御データを出力するＣＰＵ３３と、ＣＰＵ３３からの制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部３４と、照明制御データ生成部３４における処理時間分だけ映像データ、音声データ、制御データを遅延して出力するディレイ発生部３５，３６，３７とを備えている。【００８５】
ここで、本実施形態のＣＰＵ３３は、シーン状況データに基づいて、照明光の強度及び色温度（黒体軌跡上の一点）を求め、該色温度を含む所定の色範囲を示す情報（図１５のｘｙ色度図上、一点鎖線で示す範囲を表わす関数）を決定し、これらを制御データとして出力する。そして、照明制御データ生成部３４では、映像データ、音声データに基づいて求めた場（雰囲気）推定結果が、シーン状況データに基づいて求められた色範囲内に収まるように補正し、照明制御データ（ＲＧＢデータ）を出力する。【００８６】
なお、タイムコード（ＴＣ）は、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。【００８７】
本実施形態の照明制御データ生成部３４は、図１４に示すように、シーン状況データに基づいて、シーン区間の開始点ＴＣ、終了点ＴＣを検出するシーン区間検出部４１と、シーン区間の開始点ＴＣから所定時間分の映像データ及び音声データに基づいて、撮影現場の照明状態や場面設定（雰囲気）を推定する場（雰囲気）推定部４２と、場（雰囲気）推定部４２による推定結果とＣＰＵ３３より出力された制御データとから、照明装置２７を制御する照明制御データを出力する照明制御部４３とを備えている。【００８８】
場（雰囲気）推定部４２による撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。尚、ここでは、各シーンの場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。【００８９】
また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。【００９０】
この場（雰囲気）推定部４２は、映像データ、音声データの特徴量に基づいて、撮影時の周囲光の色、明るさを推定するものであるが、ここで推定された周囲光の色が、シーン状況データより求められた所定の色範囲外にある場合は、照明制御部４３により補正されて、各シーンのストーリー上における場面設定状況に適した照明制御データを得ることが可能となっている。【００９１】
例えば、場（雰囲気）推定部４２による周囲光の色の推定結果が、図１５のｘｙ色度図上の（Ａ）点であり、ＣＰＵ３３より出力される制御データが示す照明色温度が図１５のｘｙ色度図上の（ａ）点を示している場合、照明制御部４３は、ｘｙ色度図上の（Ａ）点と（ａ）点とを結ぶ直線と、（ａ）点を中心とした色範囲を示す関数（図１５のｘｙ色度図上、一点鎖線で示した楕円形を表わす関数）との交点（Ａ’）を求め、これを視聴環境照明光の色とする。【００９２】
同様に、場（雰囲気）推定部４２による周囲光の色の推定結果が、図１５のｘｙ色度図上の（Ｂ）点であり、ＣＰＵ３３より出力される制御データが示す照明色温度が図１５のｘｙ色度図上の（ｅ）点を示している場合、照明制御部４３は、ｘｙ色度図上の（Ｂ）点と（ｅ）点とを結ぶ直線と、（ｅ）点を中心とした色範囲を示す関数（図１５のｘｙ色度図上、一点鎖線で示した楕円形を表わす関数）との交点（Ｂ’）を求め、これを視聴環境照明光の色とする。【００９３】
また、場（雰囲気）推定部４２による周囲光の明るさの推定結果についても、ＣＰＵ３３より出力される制御データが示す照明強度に応じて適切に補正される。尚、場（雰囲気）推定部４２による周囲光の推定結果が、シーン状況データより求められた所定の照明範囲内にある場合は、場（雰囲気）推定部４２による周囲光の推定結果を、そのまま照明制御データとして照明装置２７に出力する。【００９４】
また、ここでは、ｘｙ色度図上で、場（雰囲気）推定部４２による推定結果とＣＰＵ３３より出力される制御データが示す照明色温度とを結ぶ直線と、ＣＰＵ３３より出力される制御データが示す色範囲を表わす関数との交点から、照明装置２７に出力する照明制御データを求めるようにしているが、これに限られないことは明らかである。例えば、ｘｙ色度図上で、場（雰囲気）推定部４２による推定結果までの距離が最小となる所定の色範囲内の点や、場（雰囲気）推定部４２による推定結果との色差ΔＥが最小となる所定の色範囲内の点から、照明制御データを求めるようにしてもよい。【００９５】
また、単に場（雰囲気）推定部４２による推定結果とＣＰＵ３３より出力される制御データが示す照明色温度及び照明強度との平均値や加重平均値を、照明装置２７に出力する照明制御データとするようにしてもよい。【００９６】
以上のように、本実施形態においては、シーン状況データと映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成としているので、シーン状況データからだけでは推定することが困難な照明環境に対しても、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定結果を用いることで、より正確な照明環境を推定することができ、より適切な照明制御を行うことが可能になるとともに、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを抑制し、常に最適な視聴環境を実現することが可能である。【００９７】
また、本実施形態においては、シーン状況データに基づいて、照明光の色温度を含む所定の色範囲を示す情報（図１５のｘｙ色度図上、一点鎖線で示す範囲を表す関数）を決定しているが、この所定の色範囲の大きさは、ユーザが任意に可変設定できるようにしてもよい。すなわち、所定の色範囲を大きく設定すれば、より画面の広がりを再現する効果が得られ、所定の色範囲を小さく設定すれば、より制作者が想定する場の雰囲気を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかによって、シーン状況データより求められる色範囲の大きさを可変設定すればよい。【００９８】
さらに、画面の広がりを再現する効果と制作者が想定する場の雰囲気を再現する効果とのいずれが望ましいかは、映像表示装置２５で表示する映像コンテンツによっても異なるため、この映像コンテンツの種別（例えばジャンル）の判別結果に応じて、シーン状況データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。【００９９】
また、本実施形態によれば、シーン状況データに基づいてシーン区間を検出するシーン区間検出部４１を設け、シーン単位で照明制御データを切替制御する構成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。【０１００】
なお、上記本発明の第１、第２の実施形態においては、シーン状況データが放送データに多重付加されて送信される場合について説明したが、放送データにシーン状況データが付加されていない場合、表示する映像データに対応するシーン状況データを外部サーバ装置等より送受信することによって、映像のシーン状況に応じた最適な視聴環境を実現することが可能となる。これについて、以下に説明する。【０１０１】
以下、本発明の視聴環境制御システムの第３実施形態について、図１６乃至図１８とともに詳細に説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。【０１０２】
図１６は、本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図で、本実施形態における外部サーバ装置（データ送信装置）は、図１６に示すように、映像受信装置（データ受信装置）側から特定の映像データ（コンテンツ）に関するシーン状況データの送信要求を受信する受信部５１と、映像データ（コンテンツ）毎のシーン状況データを格納しているデータ格納部５２と、送信要求を受けたシーン状況データを要求元の映像受信装置（データ受信装置）へ送信する送信部５３とを備えている。【０１０３】
図１７は、本実施形態の視聴環境制御システムにおけるシーン状況データ格納テーブルの一例を示す説明図で、本実施形態のデータ格納部５２に格納されているシーン状況データは、図１７に示すように、各映像シーンのシーン番号、シーン開始タイムコードに対応付けてテーブル形式に記述されており、送信要求を受けた映像データ（番組コンテンツ）のシーン状況データを、当該映像データを構成する各シーンのシーン番号、シーン開始ＴＣ（タイムコード）とともに、送信部５３より要求元の映像受信装置へ送信する。【０１０４】
次に、上記外部サーバ装置より送出されたシーン状況データを受けて、視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。図１８は、本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図で、本実施形態における映像受信装置は、図１８に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部６１と、受信部６１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データのそれぞれを分離・抽出するデータ分離部６２と、表示する映像データ（コンテンツ）に対応したシーン状況データの送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部６５と、前記送信要求したシーン状況データを、通信ネットワークを介して外部サーバ装置より受信する受信部６６とを備えている。【０１０５】
また、前記受信部６６で受信したシーン状況データを記憶し、映像データの各シーンの表示タイミングに同期して、当該映像シーンのシーン状況データから求められた照明強度及び色温度に関する制御データを出力するＣＰＵ６３と、ＣＰＵ６３からの出力制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４とを備えている。【０１０６】
すなわち、ＣＰＵ６３は、外部サーバ装置より受信して内部に記憶しているシーン状況データ格納テーブルの各シーンの開始タイムコードと、映像表示装置２５に表示される映像データのタイムコードとを比較し、これらが一致した時に対応するシーン状況データを読み出し、このシーン状況データから表示映像シーンの場面設定（雰囲気）に適応した制御データを出力することができる。【０１０７】
これによって、放送データにシーン状況データが付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応するシーン状況データを外部サーバ装置より入手し、このシーン状況データに基づいて照明制御データを生成することでき、しかも簡単な構成で映像シーンの表示切替わりタイミングと視聴環境照明の切替えタイミングとを同期させることができるので、映像のシーン状況に応じた最適な視聴環境を実現することが可能となる。【０１０８】
なお、上記本発明の第３の実施形態においては、外部サーバ装置より受信したシーン状況データのみを用いて、視聴環境照明を制御するものについて説明したが、より適切な視聴環境照明の制御を実現するために、シーン状況データに加えて、映像データ及び／又は音声データも用いて、視聴環境照明を制御する構成としてもよい。これについて、本発明の第４の実施形態として、以下に説明する。【０１０９】
以下、本発明の視聴環境制御システムの第４実施形態について、図１９及び図２０とともに詳細に説明するが、上記第２、第３の実施形態と同一部分には同一符号を付し、その説明は省略する。
本実施形態における外部サーバ装置（データ送信装置）は、図１８とともに上述した第３実施形態のものと同様であり、ここではその説明を省略する。【０１１０】
図１９は、本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図で、本実施形態における映像受信装置（データ受信装置）は、図１９に示すように、伝送路より入力された放送データを受信して復調するとともに、受信部６１と、受信部６１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データのそれぞれを分離・抽出するデータ分離部６２と、表示する映像データ（コンテンツ）に対応したシーン状況データの送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部６５と、前記送信要求したシーン状況データを、通信ネットワークを介して外部サーバ装置より受信する受信部６６とを備えている。【０１１１】
また、前記受信部６６で受信したシーン状況データを記憶し、映像データの各シーンの出力タイミングに同期して、当該映像シーンのシーン状況データから求められた照明強度及び色温度、色範囲に関する制御データ、及びシーン開始点タイムコードを出力するＣＰＵ７３と、ＣＰＵ７３からの出力制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部７４と、照明制御データ生成部７４における処理時間分だけ映像データ、音声データ、制御データを遅延して出力するディレイ発生部３５，３６，３７とを備えている。【０１１２】
ここで、本実施形態のＣＰＵ７３は、シーン状況データに基づいて、照明光の強度及び色温度（黒体軌跡上の一点）を求め、該色温度を含む所定の色範囲を示す情報（図１５のｘｙ色度図上、一点鎖線で示す範囲を表わす関数）を決定し、これらを制御データとして出力する。そして、照明制御データ生成部７４では、映像データ、音声データに基づいて求めた場（雰囲気）推定結果が、シーン状況データに基づいて求められた色範囲内に収まるように補正し、照明制御データ（ＲＧＢデータ）を出力する。【０１１３】
図２０は、図１９における照明制御データ生成部を示すブロック図で、本実施形態の照明制御データ生成部７４は、図２０に示すように、ＣＰＵ７３からのシーン開始点ＴＣから所定時間分の映像データ及び音声データに基づいて、撮影現場の照明状態や場面設定（雰囲気）を推定する場（雰囲気）推定部８２と、場（雰囲気）推定部８２による推定結果とＣＰＵ７３より出力された制御データとから、照明装置２７を制御する照明制御データを出力する照明制御部４３とを備えている。【０１１４】
この場（雰囲気）推定部８２は、映像データ、音声データの特徴量に基づいて、撮影時の周囲光の色、明るさを推定するものであるが、ここで推定された周囲光の色が、シーン状況データより求められた所定の色範囲外にある場合は、照明制御部４３により補正されて、各シーンのストーリー上における場面設定状況に適した照明制御データを得ることが可能となっている。【０１１５】
以上のように、本実施形態においては、放送データにシーン状況データが付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応するシーン状況データを外部サーバ装置より入手し、このシーン状況データと映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成としているので、シーン状況データに加えて映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定結果を考慮した照明制御を行うことが可能になるとともに、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを抑制し、常に最適な視聴環境を実現することが可能である。【０１１６】
また、本実施形態においては、シーン状況データに基づいて、照明光の色温度を含む所定の色範囲を示す情報（図１５のｘｙ色度図上、一点鎖線で示す範囲を表す関数）を決定しているが、この所定の色範囲の大きさは、ユーザが任意に可変設定できるようにしてもよい。すなわち、所定の色範囲を大きく設定すれば、より画面の広がりを再現する効果が得られ、所定の色範囲を小さく設定すれば、より制作者が想定する場の雰囲気を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかによって、シーン状況データより求められる色範囲の大きさを可変設定すればよい。【０１１７】
さらに、画面の広がりを再現する効果と制作者が想定する場の雰囲気を再現する効果とのいずれが望ましいかは、映像表示装置２５で表示する映像コンテンツによっても異なるため、この映像コンテンツの種別（例えばジャンル）の判別結果に応じて、シーン状況データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。【０１１８】
また、本実施形態によれば、シーン状況データ格納テーブルのシーン開始タイムコードに基づいて、シーン単位で照明制御データを切替制御する構成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。【０１１９】
なお、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、視聴環境制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。【０１２０】
また、上述したシーン状況データは、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に付加されたシーン状況データを読み出して、これを用いるようにしてもよい。
【図１】
2007122987.tif 000003
【図２】
2007122987.tif 000004
【図３】
2007122987.tif 000005
【図４】
2007122987.tif 000006
【図５】
2007122987.tif 000007
【図６】
2007122987.tif 000008
【図７】
2007122987.tif 000009
【図８】
2007122987.tif 000010
【図９】
2007122987.tif 000011
【図１０】
2007122987.tif 000012
【図１１】
2007122987.tif 000013
【図１２】
2007122987.tif 000014
【図１３】
2007122987.tif 000015
【図１４】
2007122987.tif 000016
【図１５】
2007122987.tif 000017
【図１６】
2007122987.tif 000018
【図１７】
2007122987.tif 000019
【図１８】
2007122987.tif 000020
【図１９】
2007122987.tif 000021
【図２０】
2007122987.tif 000022
【国際調査報告】
2007122987.tif 000023
2007122987.tif 000024