(57)【要約】【課題】  表示映像の撮影時におけるカメラワーク、照明状況、シーン設定状況に応じた、最適な視聴環境の照明制御を実現することが可能な視聴環境制御システムを提供する。【解決手段】  データ送信装置は、映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で映像データに付加して送信する。一方、データ受信装置は、映像データからセグメント区切り情報、カメラワーク状況、撮影照明情報、シーン設定情報の少なくともいずれか一つを分離し、これらの情報を用いて、照明装置３８の照明光を制御する照明制御データを生成する。これによって、表示映像の内容に適応させて、視聴環境の照明光を適切に制御することが可能となる。【選択図】  図１３
2009081822.tif 000002
【特許請求の範囲】
【請求項１】
１以上のフレームから構成される映像データを送信するデータ送信装置において、
前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で映像データに付加することを特徴とするデータ送信装置。
【請求項２】
前記請求項１に記載のデータ送信装置において、
前記カメラワーク情報は、少なくとも各セグメントの撮影時におけるカメラポジションを表わす情報を含むことを特徴とするデータ送信装置。
【請求項３】
前記請求項１または２に記載のデータ送信装置において、
前記カメラワーク情報は、少なくとも各セグメントの撮影時におけるカメラアングルを表わす情報を含むことを特徴とするデータ送信装置。
【請求項４】
前記請求項１乃至３のいずれかに記載のデータ送信装置において、
前記カメラワーク情報は、少なくとも各セグメントの撮影時における被写体のサイズを表わす情報を含むことを特徴とするデータ送信装置。
【請求項５】
前記請求項１乃至４のいずれかに記載のデータ送信装置において、
前記カメラワーク情報は、少なくとも各セグメントの撮影時における被写体の数を表わす情報を含むことを特徴とするデータ送信装置。
【請求項６】
前記請求項１乃至５のいずれかに記載のデータ送信装置において、
前記カメラワーク情報は、少なくとも各セグメントの撮影時におけるカメラの動きを表わす情報を含むことを特徴とするデータ送信装置。
【請求項７】
前記請求項１乃至６のいずれかに記載のデータ送信装置において、
前記カメラワーク情報は、少なくとも各セグメントの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とするデータ送信装置。
【請求項８】
前記請求項１乃至７のいずれかに記載のデータ送信装置において、
前記撮影照明情報は、少なくとも各セグメントの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とするデータ送信装置。
【請求項９】
前記請求項１乃至８のいずれかのいずれかに記載のデータ送信装置において、
前記撮影照明情報は、少なくとも各セグメントの撮影に用いられた照明の性質を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１０】
前記請求項１乃至９のいずれかに記載のデータ送信装置において、
前記撮影照明情報は、少なくとも各セグメントの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１１】
前記請求項１乃至１０のいずれかに記載のデータ送信装置において、
前記撮影照明情報は、少なくとも各セグメントの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１２】
前記請求項１乃至１１のいずれかに記載のデータ送信装置において、
前記撮影照明情報は、少なくとも各セグメントの撮影に用いられた照明の光の色温度を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１３】
前記請求項１乃至１２に記載のデータ送信装置において、
前記シーン設定情報は、少なくとも各セグメントのストーリー上における季節を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１４】
前記請求項１乃至１３のいずれかに記載のデータ送信装置において、
前記シーン設定情報は、少なくとも各セグメントのストーリー上における時刻を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１５】
前記請求項１乃至１４のいずれかに記載のデータ送信装置において、
前記シーン設定情報は、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１６】
前記請求項１乃至１５のいずれかに記載のデータ送信装置において、
前記シーン設定情報は、少なくとも各セグメントのストーリー上における時代を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１７】
前記請求項１乃至１６のいずれかに記載のデータ送信装置において、
前記シーン設定情報は、少なくとも各セグメントのストーリー上における天候を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１８】
前記請求項１乃至１９のいずれかに記載のデータ送信装置において、
前記シーン設定情報は、少なくとも各セグメントのストーリー上における地域を表わす情報を含むことを特徴とするデータ送信装置。
【請求項１９】
外部からの要求を受けて、映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で送信することを特徴とするデータ送信装置。
【請求項２０】
表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを受信する受信手段と、
前記セグメント区切り情報と、前記映像データ及び／又はカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
【請求項２１】
前記制御手段は、前記照明装置の照明光を、前記セグメント単位で切替え制御することを特徴とする前記請求項２０に記載の視聴環境制御装置。
【請求項２２】
少なくとも前記映像データの特徴量を用いて、前記照明装置の照明光を制御する映像参照モードと、前記映像データの特徴量を用いることなく、前記撮影照明情報、シーン設定情報の少なくともいずれかのみを用いて、前記照明装置の照明光を制御する付加情報参照モードとを備えたことを特徴とする前記請求項２０または２１に記載の視聴環境制御装置。
【請求項２３】
前記請求項２２に記載の視聴環境制御装置において、
前記映像参照モードが設定されているとき、前記制御手段は、前記カメラワーク情報に応じて、前記映像データの特徴量を検出する画面領域を制限することを特徴とする視聴環境制御装置。
【請求項２４】
前記請求項２２または２３に記載の視聴環境制御装置において、
前記映像参照モードが設定されているとき、前記制御手段は、前記映像データの特徴量に基づいて求めた照明推定値と、前記撮影照明情報、シーン設定情報の少なくともいずれかに基づいて求めた照明推定値とを用いて、前記照明装置の照明光を制御することを特徴とする視聴環境制御装置。
【請求項２５】
前記請求項２０乃至２４に記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
【請求項２６】
１以上のフレームから構成される映像データを送信するデータ送信方法において、
前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で前記映像データに付加して送信することを特徴とするデータ送信方法。
【請求項２７】
外部からの要求を受けて、映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で送信することを特徴とするデータ送信方法。
【請求項２８】
表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを受信し、
前記セグメント区切り情報と、前記映像データ及び／又はカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。
【背景技術】
【０００２】
例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。
【０００３】
例えば特許文献１には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。
【０００４】
また、例えば特許文献２には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
【０００５】
さらに、例えば特許文献３には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
【特許文献１】特開平２−１５８０９４号公報
【特許文献２】特開平２−２５３５０３号公報
【特許文献３】特開平３−１８４２０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した従来の視聴環境制御装置では、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御しているため、表示映像内容によっては該映像の場（雰囲気）に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。すなわち、映像シーンの撮影時における照明状況から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。
【０００７】
上記特許文献３のものは、肌色部分の画素を取り除いた残りの部分を背景部として、この背景部の各画素の特徴量（色信号及び輝度信号）に基づき、視聴環境空間の照明光を制御しているが、例えば背景部に地面や建築物が多く占める映像の場合、この影響を受けて不適切な色の照明光を周囲に照射してしまうことになるので、却って臨場感や雰囲気を損なってしまうことになる。すなわち、表示映像の撮影時における照明状況（雰囲気）を映像信号から推定するには、肌色部分の画素を取り除くだけでは不十分であり、撮影時における照明状況（雰囲気）を表わす背景画素のみを適切に抽出して用いる必要がある。
【０００８】
また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、撮影時の照明状況に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。
【０００９】
図３７は上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図３７に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
【００１０】
すなわち、この映像シーンは、カメラポジション、アングル、被写体の数、カメラの動き、カメラレンズ種別のそれぞれは、ローポジ、ローアングル、ワンショット（１Ｓ）、フィックス、標準レンズという一定のカメラワーク状況により撮影されたものである。
【００１１】
そして、このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。すなわち、被写体サイズは、フレームＡ〜Ｄがログショットで、フレームＥがフルフィギュアとなっている。
【００１２】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００１３】
図３８は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図３８に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がバストショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
【００１４】
すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、カメラの動き、カメラレンズ種別のそれぞれが、目高、水平アングル、フィックス、標準レンズで、被写体のサイズ、数が、フレームＡ〜Ｂ（ショット１）及びフレームＥ〜Ｆ（ショット３）はロングショット、ツーショット（２Ｓ）、フレームＣ〜Ｄ（ショット２）はバストショット、ワンショット（１Ｓ）である。
【００１５】
このような場合、ショット１では、月夜の比較的暗い映像が連続しているので、これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、バストショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。
【００１６】
すなわち、一定の照明状況の下で撮影された一連の映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００１７】
図３９は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図３７に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、ズーム撮影により被写体（前景）である茶色い犬がロングジョットからアップショットへ序々に変化している。
【００１８】
すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、被写体の数、カメラの動きのそれぞれが、ハイポジ、ハイアングル、ワンショット（１Ｓ）、ズームで、被写体サイズが、フレームＡ〜Ｂはロングショット、フレームＣはフルフィギュア、フレームＤはバストショット、フレームＥはアップショット、カメラレンズ種別が、フレームＡは標準レンズ、フレームＢ以降は望遠レンズである。
【００１９】
これらの映像の各フレームの輝度や色度に従って照明光を制御すると、緑色が強い照明光から茶色い照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００２０】
図４０は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図３８に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、ズーム撮影により被写体（前景）である桃色の服を着た人物がロングジョットからバストショットへ序々に変化している。
【００２１】
すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、被写体の数、カメラの動きのそれぞれが、目高、水平アングル、ワンショット（１Ｓ）、ズームで、被写体サイズが、フレームＡ〜Ｂはロングショット、フレームＣはフルフィギュア、フレームＤはウエストショット、フレームＥはアップショット、カメラレンズ種別が、フレームＡは標準レンズ、フレームＢ以降は望遠レンズである。
【００２２】
これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強い照明光から桃色の照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００２３】
図４１は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図４１に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、カメラレンズを切替えて撮影することにより、被写体（前景）である桃色の服を着た人物がロングジョットからバストショットに変化している。
【００２４】
すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、被写体の数、カメラの動きのそれぞれが、目高、水平アングル、ワンショット（１Ｓ）、フィックスで、被写体サイズが、フレームＡ〜Ｃはロングショット、フレームＤ〜Ｅはバストショット、カメラレンズ種別が、フレームＡ〜Ｃは標準レンズ、フレームＤ以降は望遠レンズである。
【００２５】
これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強い照明光から突然、桃色の照明光に変化することになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００２６】
また、通常、映像のシーンは例えば映像制作者（脚本家や演出家など）の意図により、一連の場面設定に基づく一区切りの映像として、適切に設定された照明状況の下で撮影されて作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン撮影時における照明状況に応じた照明光を視聴空間に照射することが望ましい。
【００２７】
しかしながら、上述した従来の視聴環境制御装置では、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御しているため、表示映像内容によっては該映像のシーン状況に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。すなわち、各シーンの撮影時に用いられた照明状況から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。
【００２８】
また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、撮影時の照明状況に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。
【００２９】
図３７は上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図３７に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
【００３０】
すなわち、この映像シーンは、冬の日中晴天時の太陽光（自然光）の下で撮影されており、この太陽光がキーライトであり、このキーライトの照明光源の性質はスポットライト（点光源）、水平方向の照明光の入射方向は順光、垂直方向の照明光の入射方向がトップライト、照明強度は強く、照明色温度は約６０００Kという照明状況で撮影されたものである。
【００３１】
そして、このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。
【００３２】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、上述した照明状況の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００３３】
図３８は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図３８に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がアップショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
【００３４】
このシーンの撮影においては、照明光源の性質がフラッドライト（面光源）、水平方向の照明光の入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度が普通、照明色温度が約７０００Kであるキーライトと、照明光源の性質がフラッドライト（面光源）、水平方向の光の入射方向がレンブラントライト（左）、垂直方向の光の入射方向があおり、照明強度が弱く、照明色温度が約７０００Kであるフィルライトと、照明光源の性質がスポットライト（点光源）、水平方向の光の入射方向が側光（右）、垂直方向の光の入射方向が順光、照明強度がやや弱く、照明色温度が約５０００Kであるタッチライトとが用いられている。
【００３５】
このような場合、ショット１では、月夜の比較的暗い映像が連続しているので、これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。
【００３６】
すなわち、上述した照明状況の下で撮影された一連の映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００３７】
さらに、通常、映像のシーンは例えば映像制作者（脚本家や演出家など）の意図により、一連の場面設定に基づく一区切りの映像として作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン状況（ストーリー上の場面設定状況）に応じた照明光を視聴空間に照射することが望ましい。
【００３８】
しかしながら、上述した従来の視聴環境制御装置では、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御しているため、表示映像内容によっては該映像のシーン状況に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。
【００３９】
すなわち、一般的に各シーン毎にその場面設定に基づく撮影時の照明が特徴付けられるにも関わらず、このシーンの特徴から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。
【００４０】
また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、場面設定に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。
【００４１】
図３７は上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図３７に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
【００４２】
このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。
【００４３】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、冬の日中晴天時の太陽光の下という一連のシーン状況であるにもかかわらず、このシーン状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００４４】
図３８は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図３８に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がアップショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
【００４５】
このような場合、ショット１では、月夜の比較的暗い映像が連続している。これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。
【００４６】
すなわち、時代劇の夜更けの月光の下という一連のシーン状況であるにもかかわらず、このシーン状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００４７】
本発明は、上記課題に鑑みてなされたものであり、表示映像の内容に応じた、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。
【課題を解決するための手段】
【００４８】
本願の第１の発明は、１以上のフレームから構成される映像データを送信するデータ送信装置において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で映像データに付加することを特徴とする。
【００４９】
本願の第２の発明は、前記カメラワーク情報が、少なくとも各セグメントの撮影時におけるカメラポジションを表わす情報を含むことを特徴とする。
【００５０】
本願の第３の発明は、前記カメラワーク情報が、少なくとも各セグメントの撮影時におけるカメラアングルを表わす情報を含むことを特徴とする。
【００５１】
本願の第４の発明は、前記カメラワーク情報が、少なくとも各セグメントの撮影時における被写体のサイズを表わす情報を含むことを特徴とする。
【００５２】
本願の第５の発明は、前記カメラワーク情報が、少なくとも各セグメントの撮影時における被写体の数を表わす情報を含むことを特徴とする。
【００５３】
本願の第６の発明は、前記カメラワーク情報が、少なくとも各セグメントの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする。
【００５４】
本願の第７の発明は、前記カメラワーク情報が、少なくとも各セグメントの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。
【００５５】
本願の第８の発明は、前記撮影照明情報が、少なくとも各セグメントの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とする。
【００５６】
本願の第９の発明は、前記撮影照明情報が、少なくとも各セグメントの撮影に用いられた照明の性質を表わす情報を含むことを特徴とする。
【００５７】
本願の第１０の発明は、前記撮影照明情報が、少なくとも各セグメントの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とする。
【００５８】
本願の第１１の発明は、前記撮影照明情報が、少なくとも各セグメントの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とする。
【００５９】
本願の第１２の発明は、前記撮影照明情報が、少なくとも各セグメントの撮影に用いられた照明の光の色温度を表わす情報を含むことを特徴とする。
【００６０】
本願の第１３の発明は、前記シーン設定情報が、少なくとも各セグメントのストーリー上における季節を表わす情報を含むことを特徴とする。
【００６１】
本願の第１４の発明は、前記シーン設定情報が、少なくとも各セグメントのストーリー上における時刻を表わす情報を含むことを特徴とする。
【００６２】
本願の第１５の発明は、前記シーン設定情報が、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とする。
【００６３】
本願の第１６の発明は、前記シーン設定情報が、少なくとも各セグメントのストーリー上における時代を表わす情報を含むことを特徴とする。
【００６４】
本願の第１７の発明は、前記シーン設定情報が、少なくとも各セグメントのストーリー上における天候を表わす情報を含むことを特徴とする。
【００６５】
本願の第１８の発明は、前記シーン設定情報が、少なくとも各セグメントのストーリー上における地域を表わす情報を含むことを特徴とする。
【００６６】
本願の第１９の発明は、外部からの要求を受けて、映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で送信することを特徴とする。
【００６７】
本願の第２０の発明は、表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを受信する受信手段と、前記セグメント区切り情報と、前記映像データ及び／又はカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする。
【００６８】
本願の第２１の発明は、前記制御手段が、前記照明装置の照明光を、前記セグメント単位で切替え制御することを特徴とする。
【００６９】
本願の第２２の発明は、前記映像データの特徴量を用いて、少なくとも前記映像データの特徴量を用いて、前記照明装置の照明光を制御する映像参照モードと、前記映像データの特徴量を用いることなく、前記撮影照明情報、シーン設定情報の少なくともいずれかのみを用いて、前記照明装置の照明光を制御する付加情報参照モードとを備えたことを特徴とする。
【００７０】
本願の第２３の発明は、前記映像参照モードが設定されているとき、前記制御手段が、前記カメラワーク情報に応じて、前記映像データの特徴量を検出する画面領域を制限することを特徴とする。
【００７１】
本願の第２４の発明は、前記映像参照モードが設定されているとき、前記制御手段は、前記映像データの特徴量に基づいて求めた照明推定値と、前記撮影照明情報、シーン設定情報の少なくともいずれかに基づいて求めた照明推定値とを用いて、前記照明装置の照明光を制御することを特徴とする視聴環境制御装置。
【００７２】
本願の第２５の発明は、前記視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする。
【００７３】
本願の第２６の発明は、１以上のフレームから構成される映像データを送信するデータ送信方法において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で前記映像データに付加して送信することを特徴とする。
【００７４】
本願の第２７の発明は、外部からの要求を受けて、映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを、前記セグメント単位で送信することを特徴とする。
【００７５】
本願の第２８の発明は、表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データの撮影時におけるカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとを受信し、前記セグメント区切り情報と、前記映像データ及び／又はカメラワーク情報、撮影照明情報、シーン設定情報の少なくともいずれか一つとに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする。
【発明の効果】
【００７６】
本発明によれば、映像の撮影時における場（雰囲気）に応じた最適な視聴環境を実現することが可能となる。
【発明を実施するための最良の形態】
【００７７】
＜第１の実施形態＞
以下、本発明の視聴環境制御システムの第１実施形態について、図１乃至図３４とともに詳細に説明する。ここで、図１は本実施形態の視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図、図２は本実施形態の視聴環境制御システムにおける映像送信装置の出力ビットストリーム例を示す説明図、図３は本実施形態の視聴環境制御システムにおける付加データのデータ構造の一例を説明するための図、図４は映像の構成要素を説明するための説明図、図５は本実施形態の視聴環境制御システムにおけるシーン区切り情報の一例を示す説明図である。
【００７８】
図６は本実施形態の視聴環境制御システムにおけるカメラワーク情報の一例を示す説明図、図７はカメラポジション及びカメラアングルを説明するための図、図８は被写体サイズを説明するための図、図９は被写体数を説明するための図、図１０は本実施形態の視聴環境制御システムにおける撮影照明情報の一例を示す説明図、図１１は撮影照明光の水平方向及び垂直方向の区分を説明するための説明図、図１２は本実施形態の視聴環境制御システムにおけるシーン設定情報の一例を示す説明図である。
【００７９】
また、図１３は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図、図１４は図１３における照明制御データ生成部の構成を示すブロック図、図１５は本実施形態の視聴環境制御システムにおける仮想視聴環境空間を示す説明図、図１６は本実施形態の視聴環境制御システムにおける映像参照モード時の照明推定処理を示すフローチャート、図１７は本実施形態の視聴環境制御システムにおける付加情報参照モード時の照明推定処理を示すフローチャートである。
【００８０】
図１８は本実施形態の視聴環境制御システムにおけるカメラワーク情報を用いた照明推定処理を示すフローチャート、図１９は本実施形態の視聴環境制御システムにおけるカメラポジション及びカメラアングルによって決まる場（雰囲気）推定対象領域例を示す説明図、図２０は本実施形態の視聴環境制御システムにおけるカメラポジションによって決まる場（雰囲気）推定対象領域例を示す説明図、図２１は本実施形態の視聴環境制御システムにおけるカメラアングルによって決まる場（雰囲気）推定対象領域例を示す説明図である。
【００８１】
図２２は本実施形態の視聴環境制御システムにおける被写体サイズ及び被写体数によって決まる場（雰囲気）推定対象領域例を示す説明図、図２３は本実施形態の視聴環境制御システムにおける被写体サイズによって決まる場（雰囲気）推定対象領域例を示す説明図、図２４は本実施形態の視聴環境制御システムにおける被写体数によって決まる場（雰囲気）推定対象領域例を示す説明図、図２５は本実施形態の視聴環境制御システムにおける画面特徴量検出領域を示す図である。
【００８２】
さらに、図２６は本実施形態の視聴環境制御システムにおける撮影照明情報を用いた照明推定処理を示すフローチャート、図２７は本実施形態の視聴環境制御システムにおける制御データの一例を示す説明図、図２８は本実施形態の視聴環境制御システムにおける照明方向情報と対応する照明装置ＩＤとの関係例を示す説明図、図２９は図３７に示した映像シーンに対応した撮影照明情報の例を示す説明図、図３０は本実施形態の視聴環境制御システムにおける照明光の色再現範囲を表す説明図、図３１は図３８に示した映像シーンに対応した撮影照明情報を示す説明図である。
【００８３】
図３２は本実施形態の視聴環境制御システムにおけるシーン設定情報を用いた照明推定処理を示すフローチャート、図３３は本実施形態の視聴環境制御システムにおけるシーン設定情報と制御データとの関係例を示す説明図、図３４は本実施形態の視聴環境制御システムにおける照明光の色再現範囲を表す別の説明図である。
【００８４】
本実施形態における映像送信装置（データ送信装置）は、図１に示すように、映像データ、音声データ、付加データとして供給されたセグメント区切りデータと、シーン設定情報、撮影照明情報、カメラワーク情報のいずれか少なくとも１つとをトランスポートストリームパケット（Transport Stream packet；ＴＳＰ）形式に分割して多重するデータ多重部１と、データ多重部１の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部２とを備えている。
【００８５】
図２はＭＰＥＧ２（Moving Picture Experts Group ２）−Ｓｙｓｔｅｍｓで規定されたトランスポートストリームパケット（ＴＳＰ）の構成の概略を示す説明図であり、１１はＴＳＰのデータ内容その他のＭＰＥＧ２−Ｓｙｓｔｅｍｓで規定された情報が記述されたヘッダ、１２は拡張ヘッダ（アダプテーション・フィールド）であって送信者が決めた情報を記述できる部分、１３は映像、音声などのデータから構成されるペイロードである。
【００８６】
本実施形態では、例えば映像データ及び音声データをペイロード１３で伝送し、付加データを拡張ヘッダ（アダプテーション・フィールド）１２で伝送することが可能に構成されている。尚、映像データ、音声データ、付加データのそれぞれの異なるデータストリームを多重して伝送するようにしてもよい。さらに、この付加データは、テキスト形式で記述されてもよいし、符号化されてバイナリ形式で記述されてもよい。
【００８７】
図３は付加データのデータ構造の一例を説明するための図である。本実施形態においては、映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントに関する各種付加情報がセグメント単位で記述されている。
【００８８】
ここで、セグメントとは、映像コンテンツの構成を時間方向に任意の長さで区切ったものとして定義され、例えばシーン、ショット、フレームなどに対応して区切られたものである。例えば、セグメントがシーンに対応する場合、ショット単位で存在する情報はセグメント内にまとめて記述する。セグメントがショットに対応する場合、シーン単位に存在する情報は、対応するセグメント全てで同じものを繰り返し記述する。また、セグメントがフレームに対応する場合、シーン単位やショット単位で存在する情報は、対応するセグメント全てで同じものを繰り返し記述する。
【００８９】
尚、視聴環境照明の制御においては、主に場面の状況が一定となるシーン単位での制御が多いが、撮影の状況が一定となるショット単位で制御することも少なからずある。また、時にはフレーム単位でのきめ細やかな制御が望ましい場合も存在することから、表示データの内容によって視聴環境照明を一定に制御すべきことが多い単位でセグメントを区切ることにより、付加するデータ量の増加を抑制して、効率的に付加データを記述することができる。
【００９０】
次に、シーンやショットを含む映像の構成について、図４を参照して説明する。連続する動画像を構成する映像データは、図４に示すように、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤは、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤはショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤがシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。
【００９１】
セグメント区切り情報は、図５に示すように、セグメント番号、開始時刻、区間情報により構成されている。セグメント開始時刻は、映像データ、音声データそれぞれの再生時間情報を示すために付加されたタイムコードにより指定されており、例えば図５に示すように、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。セグメント区間は、当該セグメントの開始タイムコードを示す時間から次のセグメントの開始タイムコードとの期間を示す時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。
【００９２】
次に、映像データの撮影時におけるカメラワーク状況を示すカメラワーク情報について、図６とともに詳細に説明する。本実施形態では、カメラワーク情報として、映像撮影時におけるカメラポジションを表わすポジション情報、映像撮影時におけるカメラアングルを表わすアングル情報、映像撮影時における被写体のサイズを表わす被写体サイズ情報、映像撮影時における被写体の数を表わす被写体数情報、映像撮影時におけるカメラの動きを表わすカメラの動き情報、映像撮影に用いられたカメラレンズの種別を表わすレンズ種別情報を有している。これらの情報はいずれも、映像データの撮影時における照明環境を推定し、各セグメントの雰囲気や臨場感を照明光によって演出するために有用な情報である。以下、それぞれの情報について説明する。
【００９３】
まず、映像撮影時のカメラのポジションとして、ハイポジション（ハイポジ）、目高、ローポジション（ローポジ）に分類される。図７（ａ）に示すように、ハイポジは、後述するロングショットに活用されることが多いポジションで、広大な広がりを表現したり、人垣越しなどで用いられる高い位置である。目高は、通常のポジションであり、被写体の目の高さの位置である。ローポジは、子供の目線などの低い位置である。
【００９４】
屋外撮影の場合、撮影画面内における水平線（地平線）の高さは、ハイポジでは低く、ローポジでは高い位置になる傾向があるため、映像撮影時におけるカメラポジションに適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、ポジション情報として、各セグメントの映像撮影時におけるカメラポジションが、ハイポジ／目高／ローポジのいずれに属するかを示す２ビットの記述を、カメラワーク情報の中に含有している。
【００９５】
また、映像撮影時のカメラのアングルとして、ハイアングル（俯瞰）、水平アングル（目線）、ローアングル（あおり）に分類される。図７（ｂ）に示すように、ハイアングルは、下方を見下ろす角度での撮影方法であり、全体の客観的な状況説明などで用いられる。水平アングルは、カメラを水平方向に向けた、自然で標準的なアングルである。ローアングルは、上方を見上げる角度での撮影方法であり、威圧的、優位、勝利などを表現する際に用いられる。
【００９６】
屋外撮影の場合、撮影画面内における水平線（地平線）の高さは、ハイアングルでは高く、ローアングルでは低い位置になる傾向があるため、映像撮影時におけるカメラアングルに適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、アングル情報として、各セグメントの映像撮影時におけるカメラアングルが、ハイアングル（俯瞰）／水平アングル（目線）／ローアングル（あおり）のいずれに属するかを示す２ビットの記述を、カメラワーク情報の中に含有している。
【００９７】
さらに、映像撮影時の被写体サイズ（画面サイズとも称す）として、ロングショット、フルフィギュア、ニーショット、ウエストショット、バストショット、アップショット、クローズアップショット、ビッグクローズアップショットに分類される。図８に示すように、ロングショット（Ｌ.Ｓ.）は、スタジオ風景や野外の広角ショットであり、全体の位置関係や、ストーリーの始まりと終わりに用いられることが多い。フルフィギュア（Ｆ.Ｆ.）は、撮影画面内に被写体の全身（立ったときの足先から頭までの全身像、座ったときの全身像）を納めたサイズとなる。ニーショット（Ｋ.Ｓ.）は、撮影画面内に被写体の膝上から頭までを入れたサイズとなる。
【００９８】
ウエストショット（Ｗ.Ｓ.）は、撮影画面内に被写体の腰か腰上から頭までを入れた半身像のサイズとなり、ニュース、話し手の基本的ショットに用いられ、テロップを入れ易いのが特徴である。バストショット（Ｂ.Ｓ.）は、撮影画面内に被写体の胸か胸上から頭までを入れた上半身のサイズとなり、これは人物像で最も多く使われるサイズである。アップショット（Ｕ.Ｓ.）は、被写体の表情、盛り上げを表現するショットである。クローズアップショット（Ｃ.Ｕ.）は、アップを強調するショットであり、被写体の頭（髪の毛）が切れる程度のサイズとなる。ビッグクローズアップショット（Ｂ.Ｃ.Ｕ.）は、クローズアップを強調する際に用いられる。
【００９９】
このように、映像撮影時の被写体サイズ（画面サイズ）によって、背景の領域面積は変わるので、映像撮影時における被写体サイズ（画面サイズ）に適応して、映像特徴量を検出するセグメントを制限したり、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、被写体サイズ情報として、各セグメントの映像撮影時における被写体のサイズが、ロングショット／フルフィギュア／ニーショット／ウエストショット／バストショット／アップショット／クローズアップショット／ビッグクローズアップショットのいずれに属するかを示す３ビットの記述を、カメラワーク情報の中に含有している。
【０１００】
また、映像撮影時の被写体の数として、ワンショット（１Ｓ）、ツーショット（２Ｓ）、スリーショット（３Ｓ）、グループショット（ＧＳ）、風景（背景）のみに分類される。図９に示すように、ワンショットは前景となる被写体が１人（１つ）のみ、ツーショットは前景となる被写体が２人（２つ）、スリーショットは前景となる被写体が３人（３つ）、グループショットは前景となる被写体が４以上の多数である場合のショットである。
【０１０１】
このように、映像撮影時の被写体数によって、背景の領域面積は変わるので、映像撮影時における被写体数に適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、被写体数情報として、各セグメントの映像撮影時における被写体の数が、ワンショット（１Ｓ）／ツーショット（２Ｓ）／スリーショット（３Ｓ）／グループショット（ＧＳ）／風景（背景）のみのいずれに属するかを示す３ビットの記述を、カメラワーク情報の中に含有している。
【０１０２】
さらに、映像撮影時のカメラの動きとして、フィックス、パン、チルト（ティルト）、ロール、ズーム、ドリー、フォローに分類される。フィックスは、画角を変えるズーム操作などは行わないで、カメラ位置も動かさない撮影方法である。パンは、カメラを水平方向に振って、周囲を見せる撮影方法であり、状況説明や左右のものの位置関係を見せたいときなどに使用される。チルト（ティルト）は、カメラを垂直方向に振る撮影方法であり、下から上（上から下）に向かって撮ったり、木の幹に沿って上に振っていき、枝や葉を撮るようなときに利用される。
【０１０３】
ロールは、カメラを回転させる撮影方法、ズームは、ズームレンズによって大写しや広いサイズにする撮影方法である。ドリーは、カメラ自体が動きながら撮影する手法、フォローは、走る人や乗り物など移動する被写体を撮る場合に、被写体の動きを追いかけながら撮影する手法である。
【０１０４】
このように、映像撮影時のカメラの動きによって、背景の領域面積や特徴量が変わるので、映像撮影時におけるカメラの動きに適応して、映像特徴量を検出するセグメントを制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、カメラの動き情報として、各セグメントの映像撮影時におけるカメラの動きが、フィックス／パン／チルト（ティルト）／ロール／ズーム／ドリー／フォローのいずれに属するかを示す３ビットの記述を、カメラワーク情報の中に含有している。
【０１０５】
また、映像撮影時に用いられるレンズワークとして、標準レンズ、広角レンズ、望遠レンズ、マクロレンズに分類される。標準レンズは、人間の視野に近く、自然な遠近感の撮影が可能なレンズである。広角レンズは、画角が広く、広い範囲を撮影することが可能なレンズであり、風景や集合写真の撮影などによく利用される。望遠レンズは、遠くの被写体を引き寄せて大きく撮影することが可能なレンズであり、実際に近づけないスポーツのワンシーン、ポートレイトの撮影などによく利用される。マクロレンズは、接近撮影が可能なレンズであり、草花や昆虫のクローズアップ撮影に適している。
【０１０６】
このように、映像撮影時のレンズワークによって、背景の領域面積が変わるので、映像撮影時におけるカメラの動きに適応して、映像特徴量を検出するセグメントを制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、レンズ種別情報として、各セグメントの映像撮影時に用いられたカメラレンズの種別が、標準レンズ／広角レンズ／望遠レンズ／マクロレンズのいずれに属するかを示す２ビットの記述を、カメラワーク情報の中に含有している。
【０１０７】
尚、カメラワーク情報に含まれる各種情報は上述したものに限定されず、もっと詳細な情報を追加するなどしてもよいことは明らかである。また、上述したカメラワーク情報は、台本（シナリオもしくは脚本とも呼ぶ）に基づいて作成され、映像撮影現場で用いられるカメラワークプログラムなどを利用して生成することができ、この場合、新たにカメラワーク情報を作成する作業を省くことが可能となる。また、このカメラワーク情報は、ショット単位で変化することが多いため、セグメントをショットに合わせて区切ることにより、カメラワーク情報をセグメント単位で効率良く記述することができる。
【０１０８】
次に、映像データの撮影時における照明状況を示す撮影照明情報について、図１０とともに詳細に説明する。本実施形態では、撮影照明情報として、映像撮影時に用いられた照明のライティング種別を表わすライティング種別情報、映像撮影時に用いられた照明光源の性質を表わす照明性質情報、映像撮影時に用いられた照明の光の入射方向（水平方向）を表わす照明光方向（水平方向）情報、の映像撮影時に用いられた照明の光の入射方向（垂直方向）を表わす照明光方向（垂直方向）情報、の映像撮影時に用いられた照明の光の強度を表わす照明強度情報、映像撮影時に用いられた照明の光の色温度を表わす照明色温度情報を有している。これらの情報はいずれも、映像データの撮影時における照明環境を推定し、各セグメントの雰囲気や臨場感を照明光によって演出するために有用な情報である。以下、それぞれの情報について説明する。
【０１０９】
まず、一般的によく用いられる撮影照明のライティング種別として、キーライト、フィルライト（おさえ）、タッチライト、ベースライトが知られている。キーライトは、主光源によるものであって、その場面の設定上の光、中心となる光であり、例えば昼間の室外のロケーションでは普通太陽光線に相当する。フィルライト（おさえ）は、補助光源によるものであって、影などを消し、被写体を明るくしたりツヤをつけたりする光であり、例えば昼間の室外のロケーションでレフ板により太陽光を反射し、暗い所に当てているのがこの光である。
【０１１０】
また、タッチライトは、被写体を背景と分離したり、立体感を与えたりするための光であり、また、暗さを表現するために斜め後ろから照射して有効な光である。ベースライトは、全体を平均的に明るくしたり、強いコントラストを和らげるために用いる光である。
【０１１１】
通常は、１以上のライティングを組み合わせて用いた撮影が行われるため、各ライティング種別毎の照明状況に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、ライティング種別情報として、各セグメントの映像撮影時における照明光が、キーライト／フィルライト（おさえ）／タッチライト／ベースライトのいずれに属するかを示す２ビットの記述を、撮影照明情報の中に含有している。
【０１１２】
また、各ライティング種別毎に用いられる照明光源の性質が決められる。一般的な撮影時の照明光源の性質として、スポットライト（点光源）と、フラッドライト（面光源）とが挙げられる。スポットライト（点光源）は、光の方向性がはっきりしている照明であり、影がくっきりと出る照明である。一方、フラッドライト（面光源）は、空間全体にわたって均一な明るさを得るために用いる照明であり、影がぼやけて濃淡が強く出ない照明である。
【０１１３】
通常は、各ライティング種別毎に照明光源の性質が決められるため、この照明光源の性質に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。例えば、スポットライト（点光源）による照明光を再現する場合は、視聴環境照明装置による照明範囲を狭くし、フラッドライト（面光源）による照明光を再現する場合は、視聴環境照明装置による照明範囲を広くするようなことが可能となる。
【０１１４】
従って、本実施形態では、照明性質情報として、各セグメントの映像撮影時に用いられた照明光源の性質が、スポットライト（点光源）／フラッドライト（面光源）のいずれに属するかを示す１ビットの記述を、撮影照明情報の中に含有している。
【０１１５】
さらに、各ライティング種別毎に照明光の方向が決められるため、この照明光の方向に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。すなわち、映像表示装置の上下左右に配置された複数の照明装置を独立制御することにより、映像撮影時における撮影照明環境をきめ細かく再現することが可能となる。
【０１１６】
ここで、照明光の水平方向の区分としては、図１１（ａ）に示すように、順光、側光（左、右）、逆光、リムライト（左、右）、レンブラントライト（左、右）に分けられる。順光は、最も効率的に明るさが得られる正面からの光である。側光は、立体感を強調することができるが、陰影が強く現れ、強いコントラストで強烈な印象が得られる光である。逆光は、輪郭を浮かび上がらすシルエット効果をつくることができ、幻想的効果をもたらす後方からの光である。リムライトは、立体感の強調や髪の毛のディテイルを出すために用いられる半逆光的な方向の光である。レンブラントライトは、顔の特徴を最も良く表現し美しく見せることができる４５度方向の光である。
【０１１７】
また、照明光の垂直方向の区分としては、図１１（ｂ）に示すように、順光、逆光、トップライト、あおり、レンブラントライトに分けられる。順光は、最も効率的に明るさが得られる正面からの光である。逆光は、輪郭を浮かび上がらすシルエット効果をつくることができ、幻想的効果をもたらす後方からの光である。トップライトは、人物を綺麗に見せるというより、特徴的な映像表現などのために用いられる被写体のほぼ真上からの光である。あおりは、特殊な効果の目的として用いられる被写体の前方下からの光である。レンブラントライトは、顔の特徴を最も良く表現し美しく見せることができる４５度方向の光である。
【０１１８】
従って、本実施形態では、照明光方向（水平方向）情報として、各映像シーンの撮影時における照明の光の入射方向（水平方向）が、順光／側光（左）／側光（右）／逆光／リムライト（左）／リムライト（右）／レンブラントライト（左）／レンブラントライト（右）のいずれに属するかを示す３ビットの記述を、撮影照明情報の中に含有している。また、照明光方向（垂直方向）情報として、各セグメントの映像撮影時における照明の光の入射方向（垂直方向）が、順光／逆光／トップライト／あおり／レンブラントライトのいずれに属するかを示す３ビットの記述を、撮影照明情報の中に含有している。
【０１１９】
また、各ライティング種別毎に照明光の強度及び色温度が決められるため、この照明光の強度及び色温度に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。ここでは、照明強度情報として、各映像シーンの撮影時における照明の光の強度が、非常に弱い／弱い／やや弱い／普通／やや強い／強い／非常に強いのいずれに属するかを示す３ビットの記述を、撮影照明情報の中に含有している。また、照明色温度情報として、各映像シーンの撮影時における照明の光の色温度（Ｋ）が、1000／2000／3000／4000／5000／6000／7000／8000／9000／10000／11000／12000／13000／14000／15000／25000のいずれに属するかを示す４ビットの記述を、撮影照明情報の中に含有している。
【０１２０】
尚、撮影照明情報に含まれる各種情報は上述したものに限定されないことは言うまでもない。例えば、撮影照明光の色温度を直接表わす照明色温度情報の代わりに、照明器具種別（ナトリウム灯／水銀灯／ＬＥＤ／蛍光灯／蝋燭／・・・／メタルハライドランプなど）情報や色変換フィルター（コンバージョンフィルター）種別情報などを記述しておき、これから撮影時における照明光の色温度を求めるようにしても良い。
【０１２１】
また、上述した撮影照明情報は、台本に基づいて作成され、映像撮影現場で用いられるライティングプランなどを利用して生成することができ、この場合、新たに撮影照明情報を作成する作業を省くことが可能となる。尚、この撮影照明情報は、ショット単位又はシーン単位で変化することが多いため、セグメントをショット、シーンに合わせて区切ることにより、撮影照明情報をセグメント単位で効率良く記述することができる。
【０１２２】
さらに、映像データの各シーンの場面設定状況を示すシーン設定情報について、図１２とともに詳細に説明する。本実施形態では、シーン設定情報として、各シーンのストーリー上の季節を表わす季節情報、各シーンのストーリー上の時刻を表わす時刻情報、各シーンのストーリー上の場所を表わす場所情報、各シーンのストーリー上の時代を表わす時代情報、各シーンのストーリー上の天候を表わす天候情報、各シーンのストーリー上の地域を表わす地域情報を有している。これらの情報はいずれも、各シーンの場面設定に係る特徴的な照明環境を推定することが可能なものであり、各シーンの雰囲気や臨場感を照明光によって演出するために有用な情報である。
【０１２３】
まず、季節によって自然光（太陽光）の強度及び色温度は変化するため、ストーリー上設定された季節に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば春〜秋の昼間の太陽光の色温度は約6000Kであるが、冬は昼間であっても太陽光の色温度を約7000Kに上げることで、寒さを表現することが可能となる。また、夏の太陽光の強度は強いが、春・秋はやや強く、冬は普通である。従って、本実施形態では、季節情報として、各セグメントの映像シーンの場面設定が春／夏／秋／冬のいずれに属するかを示す２ビットの記述を、シーン設定情報の中に含有している。
【０１２４】
また、自然光（太陽光）の強度及び色温度は１日の中の時刻によっても変化するため、ストーリー上設定された時刻に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば早朝の太陽光の色温度は約2000K、朝は約4000K、午前は約5000K、正午は約6000K、午後は約5000K、夕方は約3000K、薄暮れは約4000K、夜は約7000Kである。また、早朝の太陽光の強度はやや弱いが、朝は普通、午前はやや強く、正午は強くなり、午後はやや強く、夕方は普通、薄暮れはやや弱く、夜は非常に弱くなる。従って、本実施形態では、時刻情報として、各セグメントの映像シーンの場面設定が早朝／朝／午前／正午／午後／夕方／薄暮れ／夜のいずれに属するかを示す３ビットの記述を、シーン設定情報の中に含有している。
【０１２５】
また、場所によって自然光や人工光の強度及び色温度は変化するため、ストーリー上設定された場所に適応して、後述する視聴環境照明を制御することにより、屋内・屋外シーンの臨場感を向上させることができる。すなわち、例えば一般的に夜間の場合は屋外では月光や街頭照明によるやや弱い強度の光しか存在しないが、屋内においては夜間であっても室内照明が点灯するためやや強い強度の光が存在する。また、スタジオの照明光の強度は昼夜を問わず強いし、昼間の屋外であっても日陰であれば、光の強度は普通になる。従って、本実施形態では、場所情報として、各セグメントの映像シーンの場所設定が屋内／スタジオ／屋外／屋外日陰のいずれに属するかを示す２ビットの記述を、シーン設定情報の中に含有している。
【０１２６】
さらに、時代によって自然光や人工光の強度及び色温度は変化するため、ストーリー上設定された時代に適応して、後述する視聴環境照明を制御することにより、現代・時代劇の各シーンの臨場感を向上させることができる。すなわち、例えば現代ドラマの中で一般的に用いられる照明機器の光の色温度は、蛍光灯（昼白色）が約5000K、蛍光灯（昼光色）が約6700K、白熱電球が約2800Kである。これに対して、時代劇の中で夜間の光源としてよく用いられる蝋燭の炎の色温度は約1800〜2500Kである。また、現代劇では照明強度が強く、時代劇においては照明強度が弱い傾向にある。従って、本実施形態では、時代情報として、各セグメントの映像シーンの時代設定が現代／時代劇のいずれに属するかを示す１ビットの記述を、シーン設定情報の中に含有している。
【０１２７】
また、天候によっても自然光（太陽光）の強度及び色温度は変化するため、ストーリー上設定された天候に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば晴天昼光の色温度は約6000K、雨天時の昼光は8000〜9000K、曇天時の昼光は約6500〜8000Kである。また、自然光の強度は、快晴時が最も強く、雪（晴れの日）、晴、曇、霧・もや・かすみ・雷、雨の順に弱くなる。従って、本実施形態では、天候情報として、各セグメントの映像シーンの天候設定が快晴／晴／曇／霧・もや・かすみ・雷／雨／雪（晴れの日）のいずれに属するかを示す３ビットの記述を、シーン設定情報の中に含有している。
【０１２８】
そしてまた、地域によっても自然光（太陽光）の強度及び色温度は変化するため、ストーリー上設定された地域に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば熱帯(昼)の太陽光の色温度は約5000K、寒帯(昼)では約7000K、乾燥帯、温帯、亜寒帯（昼）においては約6000Kである。また、太陽光の強度は熱帯では非常に強く、乾燥帯、温帯、亜寒帯、寒帯の順に弱くなる傾向がある。従って、本実施形態では、地域情報として、各セグメントの映像シーンの地域設定が熱帯／乾燥帯／温帯／亜寒帯／寒帯のいずれかに属するかを示す３ビットの記述を、シーン設定情報の中に含有している。
【０１２９】
尚、シーン設定情報に含まれる各種情報は上述したものに限定されないことは言うまでもない。例えば、上記季節情報及び時刻情報は、各シーンのストーリー上設定された月日及び時刻を表わす日時情報として、シーン設定情報の中に記述されていてもよいし、上記地域情報は、各シーンのストーリー上設定された地域の緯度、経度を表わす緯度、経度情報として、シーン設定情報の中に記述されていてもよい。
【０１３０】
さらに、上述したシーン設定情報内の各種情報は、番組付加情報として放送データに含まれるシナリオ情報内のシーン設定状況情報や、編集・検索のために用意されたシーン設定状況情報等を兼用することができる。また、このシーン設定情報は、シーン単位で変化するものであるため、セグメントをシーンに合わせて区切ることにより、シーン設定情報をセグメント単位で効率良く記述することができる。
【０１３１】
次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。
【０１３２】
本実施形態における映像受信装置は、図１３に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部２１と、受信部２１の出力データから、映像表示装置２５に出力する映像データ、ＴＣ（タイムコード）、音声再生装置２６に出力する音声データ、ＴＣ（タイムコード）、付加データのそれぞれを分離・抽出するデータ分離部２２と、データ分離部２２で分離された付加データ及び／又は前記映像データ／音声データの特徴量に基づいて求めた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４と、照明制御データ生成部２４における処理時間分だけ映像データ、音声データを遅延して出力するディレイ発生部２８，２９とを備えている。
【０１３３】
尚、タイムコードは、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。
【０１３４】
また、照明装置２７は、映像表示装置２５の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置２７は、映像表示装置２５の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置２７は１個以上設置されていればよい。
【０１３５】
本実施形態の照明制御データ生成部２４は、図１４に示すように、データ分離部２２で分離された付加データを解析する付加データ解析部３５１と、該付加データ解析部３５１により抽出されたセグメント区切り情報と、映像データ、ＴＣ、音声データ、ＴＣ、或いは、シーン設定情報及び／又は撮影照明情報及び／又はカメラワーク情報とに基づいて、仮想の視聴環境空間における８つの頂点に対応する照明制御データ推定値（Ｒ，Ｇ，Ｂ）を算出する照明制御データ推定部３５２と、前記照明制御データ推定値を実際の視聴環境空間内に設置された１以上の照明装置２７を制御する照明制御データ（Ｒ，Ｇ，Ｂ）に変換して出力する照明制御部３５４とを備えている。
【０１３６】
本実施形態では、図１５に示すように、映像表示装置を含む仮想の視聴環境空間（例えば、標準的な部屋のサイズである4500ｍｍ×3600ｍｍ×2400ｍｍからなる空間）の各頂点Ｖ1〜Ｖ8に、それぞれが独立制御可能であり、固有のＩＤ１〜８が付与された８個の照明装置が設けられているものとし、映像特徴量／音声特徴量、及び／又は、付加データに基づいて、８個の照明装置ＩＤ１〜８のそれぞれに対応する照明制御データ推定値（Ｒ，Ｇ，Ｂ）を求めることとする。尚、ここでは、仮想の視聴環境空間を表す座標軸の原点は、映像表示装置の画面中心とし、ｘｚ平面は映像表示装置の画面に平行な面としている。
【０１３７】
また、仮想の視聴環境空間を構成する各平面を４つに等分割し、同一の頂点を共有する３面からなる領域を照明単位（照射範囲）と定義する。８個の照明装置ＩＤ１〜８はそれぞれ対応する８つの照明単位（照射範囲）を照射するものとし、従って、各照明単位を照射すべき照明光の明るさ、色を示す照明制御データ推定値（Ｒ，Ｇ，Ｂ）が、８個の照明装置ＩＤ１〜８毎に求められることとなる。図１５では、一例として照明装置ＩＤ６に対応した照明単位（照射領域）を網掛けで示している。
【０１３８】
次に、実際に視聴を行う空間環境（部屋の大きさ、形状、照明装置の数、位置）は、ユーザによって千差万別であり、上述した仮想の視聴環境空間と同一ではないため、実際の視聴環境空間に設置された照明装置２７に出力する照明制御データ（Ｒ，Ｇ，Ｂ）は、仮想の視聴環境空間から実際の視聴環境空間へのマッピング処理を行って求める必要がある。
【０１３９】
照明制御部３５４には、実際の視聴環境を示す情報が与えられており、この情報を用いて、仮想の視聴環境空間における８個の照明装置ＩＤ１〜８に対応した照明制御データ推定値（Ｒ，Ｇ，Ｂ）から、実際の視聴環境空間に設置された照明装置２７に出力すべき照明制御データ（Ｒ，Ｇ，Ｂ）を算出する。
【０１４０】
尚、実際の視聴環境を示す情報は、少なくとも映像表示装置２５に対する照明装置２７の相対位置を表す情報を直接的又は間接的に含んでおればよく、映像受信装置は、ユーザによって映像表示装置２５に対する照明装置２７の相対位置を表す情報が入力される構成としてもよいし、センサーやカメラなどを用いて自動的に照明装置２７の相対位置を表す情報を検出する構成としてもよい。
【０１４１】
ここで、実際の視聴環境空間に設置された照明装置２７に出力すべき照明制御データの算出方法の一例について説明する。まず、双方の視聴環境空間を同一座標系に変換した上でその大きさが一致するか否かを判断する。双方の視聴環境空間の大きさが一致する場合、実際の視聴環境空間内に設置された照明装置２７による照明範囲と、仮想の視聴環境空間における８個の照明装置ＩＤ１〜８に対応する照明単位（照明範囲）との重なりを判定する。
【０１４２】
実際の視聴環境空間内に設置された照明装置２７による照明範囲が、仮想の視聴環境空間におけるいずれかの照明装置ＩＤ１〜８に対応する照明単位（照明範囲）に含まれる場合、該照明装置２７に対する照明制御データは、該照明装置２７による照明範囲を含む照明単位に対応する照明装置ＩＤ１〜８のいずれかに対する照明制御データ推定値とする。
【０１４３】
例えば、実際の視聴環境空間内に設置された照明装置２７による照明範囲が、仮想の視聴環境空間における照明装置ＩＤ６に対応する照明単位（照明範囲）に含まれる場合、該照明装置２７に対する照明制御データは、仮想の視聴環境空間における照明装置ＩＤ６に対して求められた照明制御データ推定値とする。
【０１４４】
一方、実際の視聴環境空間内に設置された照明装置２７による照明範囲が、仮想の視聴環境空間における複数の照明装置ＩＤ１〜８に対応する照明単位（照明範囲）にまたがる場合、該照明装置２７による照明範囲と重なる複数の照明単位に対応する照明装置ＩＤ１〜８の照明制御データ推定値を、該照明装置２７による照明範囲と重なる領域の面積比率に応じて加重平均することにより、該照明装置２７に対する照明制御データを算出する。
【０１４５】
例えば、実際の視聴環境空間内に設置された照明装置２７による照明範囲が、仮想の視聴環境空間における照明装置ＩＤ２、ＩＤ４、ＩＤ６、ＩＤ８に対応する照明単位（照明範囲）と重なる場合、仮想の視聴環境空間における照明装置ＩＤ２、ＩＤ４、ＩＤ６、ＩＤ８に対して求められた照明制御データ推定値を、該照明装置ＩＤ２、ＩＤ４、ＩＤ６、ＩＤ８に対応する照明単位と上記照明装置２７による照明範囲とが重なる領域の面積比率に応じて加重平均し、該照明装置２７に対する照明制御データとする。
【０１４６】
一方、双方の視聴環境空間の大きさが一致しない場合は、実際の視聴環境空間の大きさを、仮想の視聴環境空間の大きさと一致するように変換する。具体的には、実際の視聴環境空間の縦方向と横方向と高さ方向とでそれぞれ倍率を変えて、仮想的な視聴環境空間の大きさと一致させることで、双方の視聴環境空間の大きさを一致させることができる。
【０１４７】
双方の視聴環境空間の大きさを一致させることにより、上記双方の視聴環境空間の大きさが一致する場合と同様、仮想的な視聴環境空間における各照明装置ＩＤ１〜８に対応する照明制御データ推定値から、実際の視聴環境空間に設置された照明装置２７に対する照明制御データを算出することができる。上述の演算を実際の視聴環境空間に存在する他の照明装置２７についても行うことにより、実際の視聴環境空間に設置された全ての照明装置２７に対する照明制御データを生成することができる。
【０１４８】
尚、上述の例では、実際の視聴環境空間に設置された照明装置２７による照明範囲と、仮想的な視聴環境空間における照明装置ＩＤ１〜８との照明装置ＩＤ１〜８に対応する照明単位（照明範囲）との重なり領域に応じて、照明装置２７に対する照明制御データを求めているが、照明装置２７に出力すべき照明制御データの算出方法はそれ以外の方法でもよいことは明らかである。
【０１４９】
例えば、仮想的な視聴環境空間を、各照明装置ＩＤ１〜８に対応する照明単位で囲まれた８つの空間ブロックに分割し、実際の視聴環境空間内の照明装置２７が位置する空間ブロックに対応する照明装置ＩＤ１〜８の照明制御データ推定値を用いて、照明装置２７の照明制御データを求めるようにしてもよい。
【０１５０】
また、実際の視聴環境空間に設置された照明装置２７に出力すべき照明制御データの算出方法の他の例について説明する。実際の視聴環境空間内の照明装置２７を制御すべき照明制御データは、この照明装置２７に最も近い仮想的な視聴環境空間の壁面の４隅に設置されている照明装置ＩＤ１〜８の照明制御データ推定値を、該照明装置２７と各照明装置ＩＤ１〜８との距離に応じて加重平均することにより、該照明装置２７に対する照明制御データを算出する。
【０１５１】
例えば、実際の視聴環境空間内に設置された照明装置２７に最も近い仮想的な視聴環境空間の壁面の４隅に設置されているのが照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７である場合、この照明装置２７と照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７との距離の逆数比を求め、その逆数比に応じて照明装置２７に対する各照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７の寄与率を決定する。そして、照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７のそれぞれに対して求められた照明制御データ推定値に対して、上記寄与率に応じた加重平均演算を行うことにより、照明装置２７に対する照明制御データを算出する。
【０１５２】
以下、具体的な演算方法を説明する。仮想的な視聴環境空間における照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７の照明装置２７からの距離をそれぞれ１，３，２，４とすると、距離の逆数比はそれぞれ２４：８：１２：６である。ここでは、説明を簡単にするため、照明装置２７と照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７との距離に関して、上述のような数値を例にとって記載しているが、もちろん実際にはもっと複雑になることは言うまでもない。
【０１５３】
さらに、照明装置ＩＤ１に対する照明制御データ推定値が、Ｒ＝２５０，Ｇ＝２３０，Ｂ＝１５０、照明装置ＩＤ３に対する照明制御データ推定値が、Ｒ＝１７０，Ｇ＝２００，Ｂ＝１００、照明装置ＩＤ５に対する照明制御データ推定値が、Ｒ＝９０，Ｇ＝１１０，Ｂ＝１３０、照明装置ＩＤ７に対する照明制御データ推定値が、Ｒ＝１５０，Ｇ＝５０，Ｂ＝４０とする。
【０１５４】
次に、各照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７の照明装置２７からの距離の逆数比と、照明制御データ推定値とから、照明装置２７に対する照明制御データを求める。まず、赤色光源（Ｒ）の最適値を算出する。各照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７のＲの値は、ＩＤ１：２５０，ＩＤ３：１７０，ＩＤ５：９０，ＩＤ７：１５０である。
【０１５５】
この値に各照明装置ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ７の照明装置２７からの距離の逆数比を乗算すると、ＩＤ１：２５０×２４＝６０００，ＩＤ３：１７０×８＝１３６０，ＩＤ５：９０×１２＝１０８０，ＩＤ７：１５０×６＝９００となり、得られた値を足し（６０００＋１３６０＋１０８０＋９００＝９３４０）、距離の逆数比の合計（２４＋８＋１２＋６＝５０）で除算すると（９３４０/５０＝１８６．８）、照明装置２７の赤色光源（Ｒ）に対する照明制御データＲが算出できる。
【０１５６】
緑色光源（Ｇ）に対する照明制御データＧ、青色光源（Ｂ）に対する照明制御データＢについても、上記と同様に求めると、照明装置２７を適切に制御するための照明制御データ（Ｒ：１８７，Ｇ：１７５，Ｂ：１２４）が算出できる。この演算を実際の視聴環境空間に存在する他の照明装置２７についても行うことにより、実際の視聴環境空間に設置された全ての照明装置２７に対する照明制御データを生成することができる。
【０１５７】
尚、上述の例では、実際の視聴環境空間に設置されている照明装置２７と仮想的な視聴環境空間における照明装置ＩＤ１〜８との距離の逆数比を用いて重み付け補間を行っているが、重み付けの方法はそれ以外の方法でもよいことは明らかである。
【０１５８】
また、ここでは、実際の視聴環境空間に設置されている照明装置２７に対する照明制御データを、該照明装置２７に最も近接する仮想的な視聴環境空間における壁面上の４つの照明装置ＩＤ１〜８に対応する照明制御データ推定値から求めたが、例えば、仮想的な視聴環境空間における８つの照明装置ＩＤ１〜８に対する照明制御データ推定値から求めても良いし、近傍の２つ以上の照明装置ＩＤ１〜８に対する照明制御データ推定値から所定の補間演算を行うことで、実際の視聴環境空間に設置された各照明装置２７に対する照明制御データを求めるようにしてもよい。
【０１５９】
尚、本実施形態では、簡易的に所望の照明効果を得るため、上述したような簡素化した仮想空間モデルを用いて、実際の視聴環境空間に設置された照明装置２７に対する照明制御データ（Ｒ，Ｇ，Ｂ）を求めるようにしているが、本発明は、上記の仮想空間モデルを用いたものに限られず、また、仮想空間から実空間へのマッピング処理も上述のものに限られないことは言うまでもない。
【０１６０】
照明制御データ推定部３５２は、上述したとおり、映像データ、音声データの特徴量、シーン設定情報及び／又は撮影照明情報及び／又はカメラワーク情報を用いて、各セグメント表示時に適した照明推定処理を行う。
【０１６１】
ここで、本実施形態においては、映像データ、音声データの特徴量を用いた照明推定処理を行うモード（映像参照モード）と、映像データ、音声データの特徴量を用いず、付加データに含まれるシーン設定情報及び／又は撮影照明情報のみから照明推定処理を行うモード（付加情報参照モード）とを備えており、これらモードは映像受信装置側で視聴者により任意に切替設定することが可能となっている。
【０１６２】
映像参照モードが設定されているとき、照明制御データ推定部３５２は、映像データ、音声データの特徴量を用いて照明制御データ推定値を求める。映像データ、音声データの特徴量を用いた撮影時の周囲光の状態の推定方法としては、公知のものをはじめとする各種の技術を用いることができる。なお、ここでは、各セグメントの場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから、または映像データの特徴量と付加データの解析結果を利用して撮影シーンの場（雰囲気）を推定するようにしてもよい。
【０１６３】
ここで、映像データの特徴量としては、例えばカラーテレビの表示映像から色信号（Ｃｂ、Ｃｒ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明制御データとして用いることも出来るし、カラーテレビに表示される映像を複数に分割し、照明装置によって照明制御される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて、分割部に対応した照明制御データ推定値を算出しても構わない。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。
【０１６４】
また、映像データ、音声データの特徴量を用いた照明推定処理を行う際、カメラワーク情報を用いて映像データの特徴量を検出する画面領域を制限するようにしても良い。さらに、上記映像データ、音声データの特徴量から算出した照明制御データ推定値を、シーン設定情報及び／又は撮影照明情報から算出した照明制御データ推定値を用いて補正するようにしても良い。
【０１６５】
一方、付加情報参照モードが設定されているとき、照明制御データ推定部３５２は、映像データ、音声データの特徴量を用いることなく、シーン設定情報及び／又は撮影照明情報のみを用いた照明推定処理を行う。シーン設定情報や撮影照明情報を用いることにより、映像撮影時に用いられた照明光の色温度、照明強度をより正確に推定することができる。
【０１６６】
映像参照モードが設定されている場合の照明推定処理の概略動作について、図１６とともに説明する。図１６において、まず照明制御データ推定部３５２でカメラワーク情報の有無を判断する（Ｓ１）。カメラワーク情報がある場合は、該カメラワーク情報と映像特徴量とに基づく照明推定処理（照明推定処理1)）を行う（Ｓ２）。照明推定処理1)を行った後は、付加データの個数をインクリメントし、照明制御データ推定部３５２内で記憶しておき（Ｓ３）、次の付加データの有無の確認を行う（Ｓ１）。尚、付加データの個数は、デフォルト値を０を設定しておき、個数がカウントされる毎に１ずつ増加する。カメラワーク情報がない場合は、撮影照明情報の有無を判断する（Ｓ１）。
【０１６７】
撮影照明情報がある場合は、該撮影照明情報と映像特徴量とに基づく照明推定処理（照明推定処理2)）を行う（Ｓ２）。照明推定処理2)を行った後は、付加データの個数をインクリメントし、照明制御データ推定部３５２内で記憶しておき（Ｓ３）、次の付加データの有無の確認を行う（Ｓ１）。撮影照明情報がない場合は、シーン設定情報の有無を判断する（Ｓ１）。
【０１６８】
シーン設定情報がある場合は、該シーン設定情報と映像特徴量とに基づく照明推定処理（照明推定処理3)）を行う（Ｓ２）。照明推定処理3)を行った後は、付加データの個数をインクリメントし、照明制御データ推定部３５２内で記憶しておき（Ｓ３）、次の付加データの有無の確認を行う（Ｓ１）。当該セグメントに対応した更なる付加データがない場合は、照明補正処理を行う（Ｓ４）。
【０１６９】
照明補正処理は、照明推定処理1)〜3)による照明推定値を加算した後、ステップＳ３にて記憶された付加データの個数で除算する。ここでは、照明推定処理1)〜3)による照明推定値を単純平均することによって照明補正処理を行っているが、加重平均演算を行うなど、補正方法は上記のものに限らないことは言うまでもない。
【０１７０】
また、照明推定処理1)による照明推定値はＲＧＢデータ、照明推定処理2)、3)による照明推定値は照明の明るさと色温度データであるため、ＲＧＢデータもしくは色温度データか、もしくはこれに限らない照明の明るさや色を表現可能なデータに変換して、同一のデータ上で補正演算する必要があるが、明るさや色を表現可能なデータは限定されずＬ＊ａ＊ｂ＊やＬｕｖなどの均等色空間上であってもかまわない。
【０１７１】
上述のように照明補正処理された照明推定値が、当該セグメントの照明制御データ推定値として、照明制御部３５４へ出力される。照明制御部３５４では、この照明制御データ推定値から、実際の視聴環境空間に設置された照明装置２７に対する照明制御データを求めて出力する。これによって、映像表示装置２５に表示される映像データの特徴量を考慮した照明光の照射を行うことができる。
【０１７２】
次に、付加情報参照モードが設定されている場合の照明推定処理の概略動作について、図１７とともに説明する。図１７において、まず照明制御データ推定部３５２で撮影照明情報の有無を判断する（Ｓ１）。撮影照明情報がある場合は、該撮影照明情報を用いた照明推定処理（照明推定処理4)）を行う（Ｓ２）。
【０１７３】
また、照明推定処理4)を行った後は、シーン設定情報の有無を確認する（Ｓ３）。シーン設定情報がある場合は、該シーン設定情報を用いた照明推定処理（照明推定処理5)）を行う（Ｓ４）。ステップＳ３にてシーン設定情報がないことが確認された場合は、照明推定処理4)によって得られた照明推定値として色温度データからＲＧＢデータへの変換を行う（Ｓ７）。
【０１７４】
そして、照明推定処理5)を行った後は、照明推定補正処理を行う（Ｓ５）。ここでは、照明推定処理4)によって得られた照明推定値と照明推定処理5)によって得られた照明推定値との単純平均を求めることとするが、均等空間上で視覚特性を考慮した補正処理を行うなどしてもよいことは言うまでもない。この照明補正処理によって得られた照明推定値は色温度データであるので、これをＲＧＢデータへ変換する（Ｓ７）。
【０１７５】
また、ステップＳ１にて撮影照明情報がないことが確認された場合は、シーン設定情報の有無を判断し（Ｓ３）、シーン設定情報がある場合は、該シーン設定情報を用いた照明推定処理（照明推定処理5)）を行った（Ｓ４）後に、照明推定処理5)によって得られた照明推定値として色温度データからＲＧＢデータへの変換を行う（Ｓ７）。
【０１７６】
尚、ステップＳ３にてシーン設定情報がないことが確認された場合は、付加データのみを用いた照明推定処理はできないため、エラー表示を行って、映像参照モードへの設定切替をユーザに促す（Ｓ８）。
【０１７７】
ステップＳ７にて求められたＲＧＢデータが、当該セグメントの照明制御データ推定値として、照明制御部３５４へ出力される。照明制御部３５４では、この照明制御データ推定値から、実際の視聴環境空間に設置された照明装置２７に対する照明制御データを求めて出力する。これによって、映像表示装置２５に表示される映像データの撮影時における照明光と略同等な照明光の照射を行うことができる。
【０１７８】
次に、映像データとカメラワーク情報を利用した照明推定処理1)について、図１８のフローチャートとともに説明する。まず、付加データ解析部３５１は、新しく入力されたセグメントを読み込み、そのセグメントにカメラワーク情報が付加されているか否かを検出する（Ｓ１）。カメラワーク情報を検出した場合、このカメラワーク情報を用いて照明推定領域の抽出を行う（Ｓ２）。そして、抽出された照明推定領域の映像データから照明推定処理を行う（Ｓ３）。ステップＳ１にてカメラワーク情報が検出されない場合は、照明推定領域の抽出を行わずに、映像データに基づく照明推定処理を行う（Ｓ３）。
【０１７９】
ここで、照明推定領域の抽出方法について以下に説明する。ここでは、カメラワーク情報に基づいて、映像データの特徴量を検出する際に用いる画面領域を決定する。尚、本実施形態においては、基本的に各セグメントの先頭フレームの映像特徴量に基づいて照明推定処理を行う。
【０１８０】
但し、例えば、被写体サイズがバストショット、アップショット、クローズアップショット、ビッグクローズアップショットのいずれかであるセグメント内のフレームは、被写体（前景部）が画面内の多くの領域面積を占めるため、当該セグメントに含まれるフレームの映像特徴量を用いた照明推定処理は行わず、直前のセグメントに対して求められた照明推定値を引き続き維持して出力するようにする。
【０１８１】
また、レンズ種別が望遠レンズ、マクロレンズのいずれかであるセグメント内のフレームも、被写体（前景部）が画面内の多くの領域面積を占めるため、該セグメントに含まれるフレームの映像特徴量を用いた照明推定処理は行わず、直前のセグメントに対して求められた照明推定値を引き続き維持して出力する。
【０１８２】
さらに、カメラの動きがパン、チルト（ティルト）、ロール、ズーム、ドリー、フォローのいずれかであるセグメント内のフレームは、一連のカメラの動きに伴って背景の様子が極端に変化している可能性が高いことから、当該セグメントに含まれるフレームの映像特徴量を用いた照明推定処理は行わず、直前のセグメントに対して求められた照明推定値を引き続き維持して出力することとする。
【０１８３】
そしてまた、映像特徴量の検出に用いる各セグメントの先頭フレームであっても、映像特徴量の検出対象とすべき画面領域は、映像撮影時のカメラワークによって異なる。例えば、図１９に示すように、当該セグメントの映像撮影時におけるカメラポジションとアングルとによって、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図１９中、斜線部分で示す）が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適した画面領域は通常、画面上部の領域であるが、この画面上部の領域の大きさを規定する水平ラインがカメラポジションとアングルとによって決められる。
【０１８４】
尚、例えば図２０、図２１に示すように、当該セグメントの映像撮影時におけるカメラポジションのみの情報やアングルのみの情報によっても、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図２０、図２１中、斜線部分で示す）が決まることは言うまでもない。
【０１８５】
また、図２２に示すように、当該セグメントの映像撮影時における被写体サイズと数とによっても、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図２２中、斜線部分で示す）が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適した画面領域は、前景となる被写体を除いた領域が望ましく、この被写体が位置する可能性が高く、映像特徴量の検出対象領域から除外すべき領域が、被写体サイズと数とによって決められる。
【０１８６】
尚、例えば図２３、図２４に示すように、当該フレームの撮影時における被写体サイズのみの情報や人数のみの情報によっても、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図２３、図２４中、斜線部分で示す）が決まることは言うまでもない。また、被写体の数が背景のみの場合は、全画面領域を映像特徴量の検出対象とする。
【０１８７】
従って、本実施形態では、ポジション、アングル、被写体サイズ、被写体像の各カメラワーク情報に基づいて、映像特徴量を検出する対象領域を制限している。具体的には、カメラポジション及びカメラアングルによって決まる図１９の斜線領域と、被写体サイズ及び被写体像によって決まる図２２の斜線領域との論理積によって求められる画面領域の映像データのみを用いて、映像特徴量を検出することとしている。
【０１８８】
ここで、図１５とともに上述した仮想空間内の各照明装置ＩＤ１〜８と映像特徴量を検出する画面領域との基本的な関係を図２５に示す。映像特徴量のみから照明推定を行う場合は、図２５に示した画面領域の映像特徴量から仮想空間内の各照明装置ＩＤ１〜８に対する照明推定を行う。例えば、仮想空間の頂点Ｖ1に位置する照明装置ＩＤ１に対しては、図２５（ａ）に示すように、画面左上の領域における映像特徴量を用いて照明制御推定データを求める。
【０１８９】
また、カメラワーク情報を用いて映像特徴量を検出する画面領域を制限する場合は、カメラワーク情報に基づいて抽出された画面領域と、図２５に示した画面領域との論理積を求めることによって、仮想空間内の各照明装置ＩＤ１〜８に対する照明制御データ推定値を算出する。
【０１９０】
すなわち、図２５において斜線で示した画面領域と、上記図１９〜２４において示した対象領域とのＡＮＤ演算を行うことで、仮想空間内の各照明装置ＩＤ１〜８による照射光の明るさ、色を求めることが可能となる。尚、上記図２５において斜線で示した画面領域と、上記図１９〜２４において示した対象領域とのＡＮＤ演算によって、頂点Ｖ5に位置する照明装置ＩＤ５に対する対象領域が求められない場合は、図２５（ａ）に示した頂点Ｖ1に位置する照明装置ＩＤ１に対する対象領域から映像特徴量を検出する。
【０１９１】
また、頂点Ｖ6に位置する照明装置ＩＤ６に対する対象領域が求められない場合は、図２５（ｂ）に示した頂点Ｖ2に位置する照明装置ＩＤ２に対する対象領域から映像特徴量を検出する。頂点Ｖ7に位置する照明装置ＩＤ７に対する対象領域が求められない場合は、図２５（ｃ）に示した頂点Ｖ3に位置する照明装置ＩＤ３に対する対象領域から映像特徴量を検出する。頂点Ｖ8に位置する照明装置ＩＤ８に対する対象領域が求められない場合は、頂点Ｖ4に位置する照明装置ＩＤ４に対する対象領域から映像特徴量を検出する。
【０１９２】
このように、カメラワーク情報を用いて、映像シーンの場（雰囲気）推定に適したフレーム及び画面領域を制限・抽出し、抽出されたフレーム及び画面領域における映像特徴量を検出することで、場（雰囲気）の推定精度を向上させることができる。これによって、場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを防止し、常に最適な視聴環境を実現することが可能となる。
【０１９３】
さらに、図３７乃至図４１に示した各映像シーン例に対する場（雰囲気）推定処理について説明する。ここでは、図３７に示した映像シーンが、フレームＡ〜Ｅ−１から構成されるセグメントと、フレームＥから構成されるセグメントとに分割されているものとする。
【０１９４】
フレームＡ〜Ｅ−１からなるセグメントに対しては、フレームＡにおける図１９（ｇ）の斜線で示した領域と図２２（ａ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。また、フレームＥからなるセグメントに対しては、フレームＥにおける図１９（ｇ）の斜線で示した領域と図２２（ｅ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。これによって、背景部の映像特徴量のみを用いた照明制御データ推定値を生成することができ、本シーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１９５】
図３８に示した映像シーンにおいては、カメラワークが異なるショット単位でセグメントに分割されている。フレームＡ〜Ｃ−１からなるセグメント、フレームＥ〜Ｆからなるセグメントに対しては、フレームＡ、Ｅにおける図１９（ｅ）の斜線で示した領域と図２２（ｂ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。フレームＣ〜Ｅ−１からなるセグメントに対しては、被写体サイズがバストショットであるので、映像データ特徴量の検出は行わず、直前のフレームＡ〜Ｃ−１からなるセグメントに対して求められた照明制御データ推定値を引き続き出力する。これによって、背景部の映像特徴量のみを用いた照明制御データ推定値を生成することができ、本シーン撮影時の照明状況を反映した適切な視聴環境照明光を照射することが可能となる。
【０１９６】
図３９に示した映像シーンにおいては、ズーム撮影が行われていることから、フレームＡ〜Ｅでひとつのセグメントを構成しているが、このセグメントに対しては、映像データ特徴量の検出は行わず、直前のセグメントに対して求められた照明制御データ推定値を引き続き出力する。通常、ズーム撮影が開始される直前には、カメラの動きがフィックスのセグメントが存在することから、該セグメントに対して求められた照明制御データ推定値を用いることで、このシーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１９７】
図４０に示した映像シーンにおいては、同じくズーム撮影が行われていることから、フレームＡ〜Ｅでひとつのセグメントを構成しているが、このセグメントに対しては、映像データ特徴量の検出は行わず、直前のセグメントに対して求められた照明制御データ推定値を引き続き出力する。この場合も、通常、ズーム撮影が開始される直前には、カメラの動きがフィックスのセグメントが存在することから、該セグメントに対して求められた照明制御データ推定値を用いることで、このシーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１９８】
図４１に示した映像シーンにおいては、レンズ種別が標準レンズであるフレームＡ〜Ｄ−１から構成されるセグメントと、レンズ種別が望遠レンズに切り換えられ、バストショットとなったフレームＤ〜Ｅから構成されるセグメントとに分割とに分割されている。フレームＡ〜Ｄ−１からなるセグメントに対しては、図１９（ｅ）の斜線で示した領域と図２２（ａ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。フレームＤ〜Ｅからなるセグメントに対しては、映像データ特徴量の検出を行わず、直前のフレームＡ〜Ｄ−１からなるセグメントに対して求められた照明制御データ推定値を引き続き出力する。これによって、背景部の映像特徴量のみを用いた照明制御データを生成することができ、このシーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１９９】
上記のように、本実施形態においては、映像データとともにカメラワーク情報として入力された各種情報内容を利用して、各シーンの撮影時における照明状況（雰囲気）を適切に再現すべく照明制御データを求め、照明装置２７の照明光を制御することが可能である。従って、前景部（被写体）などの映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。また、任意のセグメント単位で照明制御データを切替制御する構成としているので、同じセグメント内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。
【０２００】
尚、図１９，図２２に示した画面領域パターンは適宜設定することができる。また、この画面領域パターンから求められた場（雰囲気）推定画面領域内における映像データのヒストグラム分布（度数分布）を検出し、分布割合の高い映像データのみから映像特徴量を検出して場（雰囲気）推定を行うことにより、場（雰囲気）推定の精度を向上することができる。
【０２０１】
また、本実施形態においては、各セグメントの映像撮影時におけるカメラワーク状況に関するカメラワーク情報を送受信するようにしているので、このカメラワーク情報を用いて所望のセグメントを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。
【０２０２】
例えば、カメラポジションが目高、アングルが水平アングル、被写体サイズ（画面サイズ）がロングショット、カメラの動きがフィックス、レンズ種別が標準レンズを用いて撮影されたセグメントの先頭フレームを選択・抽出することにより、代表的な映像場面（キーフレーム、キーショット）を集めたインデックスを作成することが可能となる。
【０２０３】
次に、撮影照明情報を利用した照明推定処理4)について、図２６のフローチャートとともに説明する。まず、付加データ解析部３５１は、新しく入力されたセグメントを読み込み、そのセグメントに撮影照明情報が付加されているか否かを検出する（Ｓ１）。撮影照明情報を検出した場合、この撮影照明情報を用いて照明推定処理を行う。撮影照明情報が検出されない場合は、照明推定処理を行わずにフローを終了する。
【０２０４】
照明制御データ推定部３５２は、図１０とともに上述した撮影照明情報から、各シーンの映像撮影時における照明環境を、照明装置２７による視聴環境照明によって再現すべく、仮想空間内の各照明装置ＩＤ１〜８毎に照明光の強度及び色温度（黒体軌跡上の一点）を決定し、これを照明制御データ推定値として照明制御部３５４へ出力する。ここでは、撮影照明情報に含まれる各種情報に基づいて、例えば図２７に示すように、照明強度を７段階、照明色温度を１６段階で示す制御データ推定値を仮想空間内における各照明装置のＩＤ毎に生成する。尚、照明制御データ推定部３５２は、各ライティング種別毎の照明状況に関する情報を足し合わせて、映像撮影時における照明環境を再現すべく、各照明装置のＩＤ毎の制御データを生成する。
【０２０５】
ここで、黒体はエネルギーを完全に吸収する理想的な物体をさしており、温度が上昇すると発する光の色が赤→黄→白と変化する。このときの絶対温度を色温度という。この色温度と色の軌跡(黒体軌跡)をｘｙ色度図上で表すと、図３０のようになる。光源の色が黒体軌跡上にない場合、完全に一致しないが最も近似の黒体の温度を「相関色温度」という。一般的に相関色温度は黒体軌跡からの偏差(Δｕｖ)と共に表される。
【０２０６】
例えば、照明性質情報がスポットライト（点光源）である場合は、その照明光の入射方向に位置するＩＤの照明装置を中心としたＮ個の照明装置によって、所定の強度及び色温度の照明光を照射するものとする。また、照明性質情報がフラッドライト（面光源）である場合は、その照明光の入射方向に位置するＩＤの照明装置を含む広範囲のＭ（Ｍ≫Ｎ）個の照明装置によって、所定の強度及び色温度の照明光を照射するものとする。
【０２０７】
ここで、撮影照明光の入射方向と対応する仮想空間内の照明装置ＩＤ１〜８との関係例は、例えば図２８に示すようになる。すなわち、水平方向の照明光の方向が順光であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、２つの照明装置ＩＤ１、ＩＤ２を用いる。また、水平方向の照明光の方向が側光（左）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、照明装置ＩＤ１、ＩＤ３を、水平方向の照明光の方向が側光（右）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、照明装置ＩＤ２、ＩＤ４を用いる。
【０２０８】
さらに、水平方向の照明光の方向が逆光であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、照明装置ＩＤ１、ＩＤ２を、水平方向の照明光の方向がリムライト（左）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、照明装置ＩＤ１を、水平方向の照明光の方向がリムライト（右）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、照明装置ＩＤ２を用いる。
【０２０９】
そしてまた、水平方向の照明光の方向がレンブラントライト（左）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、照明装置ＩＤ１を、水平方向の照明光の方向がレンブラントライト（右）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、照明装置ＩＤ２を用いる。
【０２１０】
また、水平方向の照明光の方向が順光であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、の照明装置ＩＤ５、ＩＤ６を、水平方向の照明光の方向が側光（左）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、照明装置ＩＤ５、ＩＤ７を、水平方向の照明光の方向が側光（右）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、照明装置ＩＤ６、ＩＤ８を用いる。
【０２１１】
さらに、水平方向の照明光の方向が逆光であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、照明装置ＩＤ５、ＩＤ６を、水平方向の照明光の方向がリムライト（左）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、照明装置ＩＤ５を、水平方向の照明光の方向がリムライト（右）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、照明装置ＩＤ６を用いる。
【０２１２】
そしてまた、水平方向の照明光の方向がレンブラントライト（左）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、照明装置ＩＤ５を、水平方向の照明光の方向がレンブラントライト（右）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、照明装置ＩＤ６を用いる。
【０２１３】
また、水平方向の照明光の方向に関わらず、垂直方向の照明光の方向がトップライトの場合、この照明光を再現するには、４つの照明装置ＩＤ１〜ＩＤ４を用いる。このように、撮影照明情報に基づいて仮想空間内に配置された複数の照明装置に対応する照明制御データ推定値を決定し、この照明制御データ推定値をもとに実際の視聴環境空間に設置された複数の照明装置２７を独立制御することにより、撮影現場の照明状況をきめ細かく再現して、映像視聴時の臨場感を増大させることが可能となる。
【０２１４】
さらに、撮影照明情報に応じた具体的な照明制御例について、以下に説明する。図２９は図３７とともに上述した映像シーンに対応した撮影照明情報であり、この映像シーンは、照明光源の性質がスポットライト（点光源）、水平方向の照明光の入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度は強く、照明色温度は約6000Kのキーライト（太陽光）のみの照明状況下で撮影されたことを示している。
【０２１５】
照明制御データ推定部３５２は、この撮影照明情報に基づいて、仮想空間内に配置された照明装置ＩＤ１〜４によって、照明強度が強く、照明色温度が約6000K（図３０のｘｙ色度図上、（ｂ）点で示す）の照明光を照射するような照明制御データ推定値を生成する。
【０２１６】
照明制御部３５４は、照明制御データ推定部３５２からの照明制御データ推定値を受けて、実際の視聴環境空間に設置された照明装置２７に対する照明制御データ（ＲＧＢデータ）を算出して出力する。これによって、映像表示装置２５の周囲を適切な照明光により照射して、上述した表示映像シーンの撮影時における照明環境を視聴空間に再現することが可能となり、映像視聴時の臨場感を増大させることができる。
【０２１７】
また、図３１は図３８とともに上述した映像シーンに対応した撮影照明情報であり、この映像シーンは、照明光源の性質がフラッドライト（面光源）、水平方向の照明光の入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度が普通、照明色温度が約7000Kであるキーライトと、照明光源の性質がフラッドライト（面光源）、水平方向の光の入射方向がレンブラントライト（左）、垂直方向の光の入射方向があおり、照明強度が弱く、照明色温度が約7000Kであるフィルライトと、照明光源の性質がスポットライト（点光源）、水平方向の光の入射方向が側光（右）、垂直方向の光の入射方向が順光、照明強度がやや弱く、照明色温度が約5000Kであるタッチライトとによる照明状況下で撮影されたことを示している。
【０２１８】
照明制御データ推定部３５２は、この撮影照明情報に基づいて、仮想空間内に配置された照明装置ＩＤ１によって、照明強度が普通で、照明色温度が約7000K（図３０のｘｙ色度図上、（ｃ）点で示す）の照明光を照射するとともに、照明装置ＩＤ２によって、照明強度がやや強く、照明色温度が約7000K（図３０のｘｙ色度図上、（ｃ）点で示す）の照明光を照射するような照明制御データ推定値を生成する。
【０２１９】
また、照明装置ＩＤ４によって、照明強度が弱く、照明色温度が約7000K（図３０のｘｙ色度図上、（ｃ）点で示す）の照明光を照射するとともに、照明装置ＩＤ５によって、照明強度がやや弱く、照明色温度が約5000K（図３０のｘｙ色度図上、（ａ）点で示す）の照明光を照射するような照明制御データ推定値を生成する。
【０２２０】
尚、上述の例では、照明装置ＩＤ２によって、キーライト、タッチライトによる照明光を足し合わせた照明光を照明するような照明制御データ推定値を生成しているが、複数の照明光を足し合わせる場合は、それぞれの照明光の照射強度を加算して、当該照明装置より照射する照明光の強度を求めるとともに、それぞれの照明光の照明色温度を照射強度比に応じて加重平均することによって、当該照明装置より照射する照明光の照明色温度を求めるようにすればよい（ここでは、照明装置ＩＤ２による照明光の照明色温度として加重平均演算された結果に最も近い約7000Kを表す照明制御データ推定値を生成している）。
【０２２１】
上記のように、本実施形態においては、撮影照明情報として入力された各種情報内容から、各セグメントの映像撮影時における照明状況（雰囲気）を適切に再現すべく照明制御データ推定値を求め、この照明制御データ推定値に応じて、実際の視聴環境空間に設置された照明装置２７の照明光を制御する照明制御データを出力することが可能である。従って、映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。
【０２２２】
尚、本実施形態においては、各セグメントの映像撮影時照明状況に関する撮影照明情報を送受信するようにしているので、多様な視聴環境空間に適応した視聴環境照明制御を行うことが可能である。すなわち、照明装置の数や配置状況などの視聴空間／照明装置に関する情報を予め照明制御部３５４に入力しておくことにより、受信した撮影照明情報から個々の映像視聴空間に応じた適切な制御データを生成することができる。
【０２２３】
また、照明装置が１個のみの場合や、複数の照明装置の独立制御が不可能な場合は、例えばキーライトに関する情報のみを用いて、視聴環境照明の制御を行うようすればよい。このように、受信した撮影照明情報を視聴空間／照明装置に応じて適宜選択／加工し、視聴環境照明を制御することにより、最適な映像視聴空間を実現することができる。この場合、撮影照明情報は、キーライト、フィルライト、タッチライト、ベースライトのそれぞれに関する照明状況情報を、階層構造を持ったデータ構成として送受信するようにすれば、必要な情報を用意に選択／加工することが可能である。
【０２２４】
以上、付加情報参照モード設定時における照明推定処理4)について詳述したが、映像参照モード設定時における照明推定処理2)は、上述した照明推定処理4)によって求められた照明制御データ推定値に、映像データの特徴量検出結果を加味した照明制御データ推定値を算出することにより実現される。
【０２２５】
例えば、撮影照明情報に基づいて、仮想空間内の各照明装置ＩＤ１〜８毎に照明光の強度及び色温度（黒体軌跡上の一点）、各色温度を含む所定の色範囲を示す情報を求め、映像データ、音声データに基づいて求めた照明制御データ推定結果が、上記撮影照明情報に基づいて求められた色範囲内に収まるように補正し、照明制御データ推定値（ＲＧＢデータ）を求めるようにすればよい。
【０２２６】
また、単に映像データ、音声データに基づいて求めた照明制御データ推定結果と撮影照明情報に基づいて求めた照明制御データ推定結果との平均値や加重平均値を、照明制御部３５４に出力する照明制御データ推定値とするようにしてもよい。尚、上述の照明制御データ推定値は仮想空間内の照明装置ＩＤ１〜８毎に生成されることは、言うまでもない。
【０２２７】
以上のように、撮影照明情報と映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成とすることで、撮影照明情報に加えて映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定結果を考慮した照明制御を行うことが可能になる。また、映像データ及び／又は音声データの特徴量を考慮したダイナミックな視聴環境照明の制御を実現しつつ、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを防止することができ、適切な視聴環境を実現することが可能となる。
【０２２８】
次に、シーン設定情報を利用した照明推定処理5)について、図３２のフローチャートとともに説明する。まず、付加データ解析部３５１は、新しく入力されたセグメントを読み込み、そのセグメントにシーン設定情報が付加されているか否かを検出する（Ｓ１）。シーン設定情報を検出すれば照明推定処理を行う。シーン設定情報が検出されない場合は、照明推定処理を行わずにフローを終了する。
【０２２９】
照明制御データ推定部３５２は、図１２とともに上述したシーン設定情報から、各シーンのストーリー上における設定場面（雰囲気）を照明装置２７による視聴環境照明により再現すべく、仮想空間内の各照明装置ＩＤ１〜８毎に照明光の強度及び色温度（黒体軌跡上の一点）を決定し、これを照明制御データ推定値として照明制御部３５４へ出力する。ここでは、シーン設定情報に含まれる各種情報に基づいて、例えば図３３に示すように、照明強度を７段階、照明色温度を１６段階で示す照明制御データ推定値を仮想空間内における各照明装置のＩＤ毎に生成する。
【０２３０】
以下、シーン設定情報に応じた具体的な照明制御例について、図３３とともに説明する。例えばシーン設定情報における季節情報が春、時刻情報が昼、場所情報が屋外、天候情報が晴である場合、このときの自然光を再現すべく、照明強度はやや強く、照明色温度は6000K（図３４中（ｄ）点で示す）であることを示す照明制御データ推定値が生成される。ここで、季節情報が夏になると、照明色温度は6000Kのまま、照明強度が強いことを示す照明制御データ推定値が生成される。
【０２３１】
また、地域情報が熱帯の場合、照明強度が非常に強いことを示す制御データが生成される。さらに、季節情報が秋になると、照明強度がやや強いことを示す照明制御データ推定値が、季節情報が冬になると、照明強度が普通で照明色温度は7000K（図３４中（ｅ）点で示す）あることを示す制御データが生成される。ここで、地域情報が寒帯の場合、照明強度がやや弱いことを示すことを示す照明制御データ推定値が生成される。
【０２３２】
また、シーン設定情報における時刻情報が朝、場所情報が屋内、天候情報が晴である場合、このときの自然光が屋内に差し込む状況を再現すべく、照明強度は普通で、照明色温度は4000K（図３４中（ｂ）点で示す）であることを示す照明制御データ推定値が生成される。ここで、時刻情報が夕方になると、照明強度は普通のまま、照明色温度は3000K（図３４中（ａ）点で示す）であることを示す照明制御データ推定値が生成される。また、時刻情報が夜になると、屋内照明機器である蛍光灯（昼白色）の照明光を再現すべく、照明強度はやや弱く、照明色温度は5000K（図３４中（ｃ）点で示す）であることを示す照明制御データ推定値が生成される。
【０２３３】
さらに、シーン設定情報における時刻情報が夜、場所情報が屋内、時代情報が時代劇である場合、蝋燭の炎が照明光源である可能性が高く、これを再現するために、照明強度はやや弱く、照明色温度は3000K（図３４中（ａ）点で示す）であることを示す照明制御データ値が生成される。ここで、場所情報が屋外になると、月光が照明光源である可能性が高く、時代劇の月夜の雰囲気を再現するために、照明強度は非常に弱く、照明色温度は7000K（図３４中（ｅ）点で示す）であることを示す照明制御データ推定値が生成される。
【０２３４】
また、シーン設定情報における時刻情報が昼、場所情報が屋外、天候情報が霧・もや・かすみ・雪である場合、このときの自然光を再現すべく、照明強度は弱く、照明色温度は6000K（図３４中（ｄ）点で示す）であることを示す照明制御データ推定値が生成される。尚、図３３とともに上述した各種情報の組み合わせに合致しない場合は、シーン設定情報がないものとして、照明推定処理を終了する。
【０２３５】
尚、シーン設定情報から求められる照明制御データ推定値は、仮想空間内に配置された全ての照明装置ＩＤ１〜８に対応する照明制御データ推定値としてもよいし、上方に位置する照明装置ＩＤ１〜４に対応する照明制御データ推定値としてもよい。
【０２３６】
上記のように、本実施形態においては、映像データとともにシーン設定情報として入力された各種情報内容から、仮想空間内に配置された照明装置ＩＤ１〜８に対応する照明制御データ推定値を決定し、この照明制御データ推定値をもとに実際の視聴環境空間に設置された照明装置２７を制御することにより、各セグメントのストーリー上における設定場面（雰囲気）を適切に再現することができる。従って、映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。
【０２３７】
尚、本実施形態においては、各シーンのストーリー上における設定場面に関するシーン設定情報を送受信するようにしているので、このシーン設定情報を用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以外にも様々なデータ処理が可能となる。
【０２３８】
以上、付加情報参照モード設定時における照明推定処理5)について詳述したが、映像参照モード設定時における照明推定処理3)は、上述した照明推定処理5)によって求められた照明制御データ推定値に、映像データの特徴量検出結果を加味した照明制御データ推定値を算出することにより実現される。
【０２３９】
例えば、シーン設定情報に基づいて、仮想空間内の各照明装置ＩＤ１〜８毎に照明光の強度及び色温度（黒体軌跡上の一点）、各色温度を含む所定の色範囲を示す情報を求め、映像データ、音声データに基づいて求めた照明制御データ推定結果が、上記シーン設定情報に基づいて求められた色範囲内に収まるように補正し、照明制御データ推定値（ＲＧＢデータ）を求めるようにすればよい。
【０２４０】
また、単に映像データ、音声データに基づいて求めた照明制御データ推定結果とシーン設定情報に基づいて求めた照明制御データ推定結果との平均値や加重平均値を、照明制御部３５４に出力する照明制御データ推定値とするようにしてもよい。尚、上述の照明制御データ推定値は仮想空間内の照明装置ＩＤ１〜８毎に生成されることは、言うまでもない。
【０２４１】
以上のように、シーン設定情報と映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成とすることで、シーン設定情報に加えて映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定結果を考慮した照明制御を行うことが可能になる。また、映像データ及び／又は音声データの特徴量を考慮したダイナミックな視聴環境照明の制御を実現しつつ、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを防止することができ、適切な視聴環境を実現することが可能となる。
【０２４２】
以上のように、付加情報参照モード設定時においては、シーン設定情報や撮影照明情報を用いることにより、映像撮影時に用いられた照明光の色温度、照明強度をより正確に推定することができる。これにより、視聴環境照明光の強さや色温度を適切に制御して、映像表示時の臨場感を向上させることができる。また、この付加情報参照モード設定時においては、映像データ、音声データの特徴量に関わらず、自然な照明光による視聴環境を実現することができるので、落ち着いた雰囲気の中で映像視聴を行いたい場合に適している。
【０２４３】
一方、映像参照モード設定時においては、映像データ、音声データの特徴量を用いて照明制御データ推定値を算出しているので、映像データ、音声データの特徴量を考慮した、色再現範囲が大きいダイナミックな視聴環境照明光の制御が可能である。この付加情報参照モード設定時においては、映像、音声の迫力をより強調して刺激的な映像視聴を行いたい場合に適している。
【０２４４】
本実施形態においては、上述のとおり、付加情報参照モードと映像参照モードとをユーザが任意に切り換え可能に構成しているので、表示する映像コンテンツの種別や視聴者の好みなどによって、照明推定処理を変化させることで、所望の視聴環境照明を実現している。
【０２４５】
尚、本実施形態では、図１５に示した仮想空間内の照明装置ＩＤ１〜８に対する照明制御データ推定値をまず求め、その後、実際の視聴環境空間に設置された照明装置２７に対する照明制御データを求めているが、仮想空間内の照明装置ＩＤ１〜８に対する照明制御データ推定値を求めることなく、直接、実際の視聴環境空間に設置された照明装置２７に対する照明制御データを求めるようにしてもよいことは言うまでもない。
【０２４６】
さらに、上記本実施形態においては、セグメント区切り情報などの付加データが放送データに多重付加されて送信される場合について説明したが、放送データに付加データが付加されていない場合、表示する映像データに対応する照明制御メタデータを外部サーバ装置等より送受信することによって、映像の撮影時照明状況に応じた最適な視聴環境を実現することが可能となる。これについて、以下に説明する。
【０２４７】
＜第２の実施形態＞
以下、本発明の視聴環境制御システムの第２実施形態について、図３５及び３６とともに詳細に説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。ここで、図３５は本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図、図３６は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【０２４８】
本実施形態における外部サーバ装置（データ送信装置）は、図３５に示すように、映像受信装置（データ受信装置）側からカメラワーク情報、撮影環境情報、シーン設定情報などの照明制御データの送信要求を受信する受信部５１と、照明制御メタデータを格納しているデータ格納部５２と、送信要求を受けた照明制御メタデータを、セグメント区切り情報とともに、要求元の映像受信装置（データ受信装置）へ送信する送信部５３とを備えている。
【０２４９】
次に、上記外部サーバ装置より送出されたセグメント区切り情報、照明制御メタデータを受けて、視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。本実施形態における映像受信装置は、図３６に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部６１と、受信部６１の出力データから、映像表示装置３６に出力する映像データ、音声再生装置３７に出力する音声データのそれぞれを分離・抽出するデータ分離部６２と、表示する映像データ（コンテンツ）に対応した照明制御メタデータの送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部６７と、前記送信要求した照明制御メタデータを、セグメント区切り情報とともに、通信ネットワークを介して外部サーバ装置より受信する受信部６８とを備えている。
【０２５０】
また、前記受信部６８で受信したセグメント区切り情報、照明制御メタデータを一旦記憶し、このセグメント区切り情報に含まれる開始時刻ＴＣ（タイムコード）と、データ分離部６２で抽出された映像データのＴＣ（タイムコード）とを比較し、それらが一致したときに、対応する照明制御データを出力するＣＰＵ６６と、ＣＰＵ６６からの照明制御メタデータ情報及び／又は前記映像データ及び前記音声データの特徴量に基づいて、照明制御データ（ＲＧＢデータ）を生成し、視聴環境空間を照明する照明装置３８に出力する照明制御データ生成部６５とを備えている。
【０２５１】
すなわち、ＣＰＵ６６は、外部サーバ装置より受信して内部に記憶している照明制御メタデータ格納テーブルの各セグメントの開始タイムコードと、照明制御データ生成部６５に入力される映像データのタイムコードとを比較し、これらが一致した時にそのセグメントに対応する照明制御メタデータを照明制御データ生成部６５に出力する。そして、照明制御データ生成部６５は、前記セグメント区切り情報と、前記照明制御メタデータに含まれるカメラワーク情報、撮影環境情報、シーン設定情報のいずれか少なくとも１つ及び／又は映像データ、音声データとを用いて、各フレーム表示時に適した照明制御データ（ＲＧＢデータ）を生成・出力する。照明制御データ生成部６５の動作は、上記第１実施形態における照明制御データ生成部２４のそれと同じであるので、その説明は省略する。
【０２５２】
これによって、放送データに照明制御メタデータが付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応する照明制御メタデータを外部サーバ装置より入手し、この照明制御メタデータに基づいて、視聴環境照明を制御する構成としているので、上述した第１の実施形態と同様、映像制作者の意図に応じた適切な照明制御を行うことができる。
【０２５３】
尚、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、環境照明制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。
【０２５４】
さらに、上述したセグメント区切り情報、照明制御メタデータ（カメラワーク情報、撮影環境情報、シーン設定情報のいずれか少なくとも１つ）は、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に記録されたセグメント区切り情報、照明制御メタデータを読み出して、これを用いるようにしてもよい。
【０２５５】
この場合、セグメント区切り情報、照明制御メタデータは映像情報に付加されていてもよいし、メディア媒体内で映像情報と異なる領域に記録されていてもよい。また、セグメント区切り情報、照明制御メタデータは、映像情報が記録されたメディア媒体とは別のメディア媒体や外部サーバ装置から取得するようにしてもよく、セグメント区切り情報、照明制御メタデータがセグメント単位で映像データに対応付けられていればよいことは言うまでもない。
【図面の簡単な説明】
【０２５６】
【図１】本発明の一実施形態の視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。
【図２】本発明の一実施形態の視聴環境制御システムにおける映像送信装置の出力ビットストリーム例を示す説明図である。
【図３】本発明の一実施形態の視聴環境制御システムにおける付加データのデータ構造の一例を説明するための図である。
【図４】映像の構成要素を説明するための説明図である。
【図５】本発明の一実施形態の視聴環境制御システムにおけるシーン区切り情報の一例を示す説明図である。
【図６】本発明の一実施形態の視聴環境制御システムにおけるカメラワーク情報の一例を示す説明図である。
【図７】カメラポジション及びカメラアングルを説明するための図である。
【図８】被写体サイズを説明するための図である。
【図９】被写体数を説明するための図である。
【図１０】本発明の一実施形態の視聴環境制御システムにおける撮影照明情報の一例を示す説明図である。
【図１１】撮影照明光の水平方向及び垂直方向の区分を説明するための説明図である。
【図１２】本発明の一実施形態の視聴環境制御システムにおけるシーン設定情報の一例を示す説明図である。
【図１３】本発明の一実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図１４】図１３における照明制御データ生成部の構成を示すブロック図である。
【図１５】本発明の一実施形態の視聴環境制御システムにおける仮想視聴環境空間を示す説明図である。
【図１６】本発明の一実施形態の視聴環境制御システムにおける映像参照モード時の照明推定処理を示すフローチャートである。
【図１７】本発明の一実施形態の視聴環境制御システムにおける付加情報参照モード時の照明推定処理を示すフローチャートである。
【図１８】本発明の一実施形態の視聴環境制御システムにおけるカメラワーク情報を用いた照明推定処理を示すフローチャートである。
【図１９】本発明の一実施形態の視聴環境制御システムにおけるカメラポジション及びカメラアングルによって決まる場（雰囲気）推定対象領域例を示す説明図である。
【図２０】本発明の一実施形態の視聴環境制御システムにおけるカメラポジションによって決まる場（雰囲気）推定対象領域例を示す説明図である。
【図２１】本発明の一実施形態の視聴環境制御システムにおけるカメラアングルによって決まる場（雰囲気）推定対象領域例を示す説明図である。
【図２２】本発明の一実施形態の視聴環境制御システムにおける被写体サイズ及び被写体数によって決まる場（雰囲気）推定対象領域例を示す説明図である。
【図２３】本発明の一実施形態の視聴環境制御システムにおける被写体サイズによって決まる場（雰囲気）推定対象領域例を示す説明図である。
【図２４】視聴環境制御システムにおける被写体数によって決まる場（雰囲気）推定対象領域例を示す説明図である。
【図２５】本発明の一実施形態の視聴環境制御システムにおける画面特徴量検出領域を示す図である。
【図２６】本発明の一実施形態の視聴環境制御システムにおける撮影照明情報を用いた照明推定処理を示すフローチャートである。
【図２７】本発明の一実施形態の視聴環境制御システムにおける制御データの一例を示す説明図である。
【図２８】本発明の一実施形態の視聴環境制御システムにおける照明方向情報と対応する照明装置ＩＤとの関係例を示す説明図である。
【図２９】図３７に示した映像シーンに対応した撮影照明情報の例を示す説明図である。
【図３０】本発明の一実施形態の視聴環境制御システムにおける照明光の色再現範囲を表す説明図である。
【図３１】図３８に示した映像シーンに対応した撮影照明情報を示す説明図である。
【図３２】本発明の一実施形態の視聴環境制御システムにおけるシーン設定情報を用いた照明推定処理を示すフローチャートである。
【図３３】本発明の一実施形態の視聴環境制御システムにおけるシーン設定情報と制御データとの関係例を示す説明図である。
【図３４】本発明の一実施形態の視聴環境制御システムにおける照明光の色再現範囲を表す別の説明図である。
【図３５】本発明の第２実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。
【図３６】本発明の第２実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図３７】従来の技術による照明制御の問題点の一例を説明するための図である。
【図３８】従来の技術による照明制御の問題点の他の例を説明するための図である。
【図３９】従来の技術による照明制御の問題点の他の例を説明するための図である。
【図４０】従来の技術による照明制御の問題点の他の例を説明するための図である。
【図４１】従来の技術による照明制御の問題点の他の例を説明するための図である。
【符号の説明】
【０２５７】
１…データ多重部
２…送信部
１１…ヘッダ
１２…拡張ヘッダ
１３…ペイロード
２１…受信部
２２…データ分離部
２４…照明制御データ生成部
２５…映像表示装置
２６…音声再生装置
２７…照明装置
２８、２９…ディレイ発生部
３１、６１…受信部
３２、６２…データ分離部
３３、３４…ディレイ発生部
３５、６５…照明制御データ生成部
３６…映像表示装置
３７…音声再生装置
３８…照明装置
５１…受信部
５２…データ格納部
５３…送信部
６１…受信部
６２…データ分離部
６５…照明制御データ生成部
６６…ＣＰＵ
６７…送信部
６８…受信部
３５１…付加データ解析部
３５２…照明制御データ推定部
３５４…照明制御部
【図１】
2009081822.tif 000003
【図２】
2009081822.tif 000004
【図３】
2009081822.tif 000005
【図４】
2009081822.tif 000006
【図５】
2009081822.tif 000007
【図７】
2009081822.tif 000008
【図８】
2009081822.tif 000009
【図９】
2009081822.tif 000010
【図１１】
2009081822.tif 000011
【図１３】
2009081822.tif 000012
【図１４】
2009081822.tif 000013
【図１５】
2009081822.tif 000014
【図１６】
2009081822.tif 000015
【図１７】
2009081822.tif 000016
【図１８】
2009081822.tif 000017
【図１９】
2009081822.tif 000018
【図２０】
2009081822.tif 000019
【図２１】
2009081822.tif 000020
【図２２】
2009081822.tif 000021
【図２３】
2009081822.tif 000022
【図２４】
2009081822.tif 000023
【図２５】
2009081822.tif 000024
【図２６】
2009081822.tif 000025
【図２８】
2009081822.tif 000026
【図２９】
2009081822.tif 000027
【図３０】
2009081822.tif 000028
【図３１】
2009081822.tif 000029
【図３２】
2009081822.tif 000030
【図３３】
2009081822.tif 000031
【図３４】
2009081822.tif 000032
【図３５】
2009081822.tif 000033
【図３６】
2009081822.tif 000034
【図６】
2009081822.tif 000035
【図１０】
2009081822.tif 000036
【図１２】
2009081822.tif 000037
【図２７】
2009081822.tif 000038
【図３７】
2009081822.tif 000039
【図３８】
2009081822.tif 000040
【図３９】
2009081822.tif 000041
【図４０】
2009081822.tif 000042
【図４１】
2009081822.tif 000043