(57)【特許請求の範囲】
【請求項１】
映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを、前記映像データに付加して送信するデータ送信装置と、
前記データ送信装置からのカメラワークデータを受信する受信手段と、
前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、該制限された映像フレームもしくは画面領域における前記映像データの前記映像特徴量を検出し、該検出された映像特徴量に基づき照明装置の照明光を制御する制御手段とを有する視聴環境制御装置と、
を備えたことを特徴とする視聴環境制御システム。
【請求項２】
前記請求項１に記載のデータ視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラポジションを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項３】
前記請求項１又は２に記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラアングルを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項４】
前記請求項１乃至３のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体のサイズを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項５】
前記請求項１乃至４のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項６】
前記請求項１乃至５のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項７】
前記請求項１乃至６のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項８】
外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを、前記映像データを構成する各フレームの開始タイミングとともに送信するデータ送信装置と、
前記カメラワークデータを受信する受信手段と、
前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、該制限された映像フレームもしくは画面領域における前記映像特徴量を検出し、該検出された映像特徴量に基づき照明装置の照明光を制御する制御手段とを有する視聴環境制御装置と、
を備えたことを特徴とする視聴環境制御システム。
【請求項９】
前記請求項８に記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラポジションを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項１０】
前記請求項８又は９に記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラアングルを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項１１】
前記請求項８乃至１０のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体のサイズを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項１２】
前記請求項８乃至１１のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項１３】
前記請求項８乃至１２のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項１４】
前記請求項８乃至１３のいずれかに記載の視聴環境制御システムにおいて、
前記カメラワークデータは、少なくとも各フレームの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする視聴環境制御システム。
【請求項１５】
表示装置に表示すべき映像データの映像特徴量に基づいて、照明装置の照明光を制御する視聴環境制御装置であって、
前記映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを受信する受信手段と、
前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、該制限された映像フレームもしくは画面領域における前記映像特徴量を検出し、該検出された映像特徴量に基づき前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
【請求項１６】
前記請求項１５に記載の視聴環境制御装置において、
前記制御手段は、前記映像データを構成するシーン単位で前記照明装置の照明光を切替制御することを特徴とする視聴環境制御装置。
【請求項１７】
前記請求項１５又は１６のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラポジションを表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項１８】
前記請求項１５乃至１７のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラアングルを表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項１９】
前記請求項１５乃至１８に記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体のサイズを表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２０】
前記請求項１５乃至１９のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２１】
前記請求項１５乃至２０のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２２】
前記請求項１５乃至２１のいずれかに記載の視聴環境制御装置において、
前記カメラワークデータは、少なくとも各フレームの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする視聴環境制御装置。
【請求項２３】
前記請求項１５乃至２２のいずれかに記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境照明制御システム。
【請求項２４】
表示装置に表示すべき映像データの映像特徴量に基づいて、照明装置の照明光を制御する視聴環境制御方法であって、
前記映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを受信し、
前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、
前記制限された映像フレームもしくは画面領域における前記映像特徴量を検出し、
前記検出された映像特徴量に基づき前記表示装置の周辺に設置された前記照明装置の照明光を制御することを特徴とする視聴環境制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能な視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法に関するものである。
【０００２】
例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。
【０００３】
例えば、特開平２−１５８０９４号公報には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。
【０００４】
また、例えば特開平２−２５３５０３号公報には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
【０００５】
さらに、例えば特開平３−１８４２０３号公報には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した従来の視聴環境制御装置では、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御しているため、表示映像内容によっては該映像の場（雰囲気）に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。すなわち、映像シーンの撮影時における照明状況から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。
【０００７】
上記特開平３−１８４２０３号公報のものは、肌色部分の画素を取り除いた残りの部分を背景部として、この背景部の各画素の特徴量（色信号及び輝度信号）に基づき、視聴環境空間の照明光を制御しているが、例えば背景部に地面や建築物が多く占める映像の場合、この影響を受けて不適切な色の照明光を周囲に照射してしまうことになるので、却って臨場感や雰囲気を損なってしまうことになる。すなわち、表示映像の撮影時における照明状況（雰囲気）を映像信号から推定するには、肌色部分の画素を取り除くだけでは不十分であり、撮影時における照明状況（雰囲気）を表わす背景画素のみを適切に抽出して用いる必要がある。
【０００８】
また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、撮影時の照明状況に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。
【０００９】
図１は、上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図１の（Ａ）に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
【００１０】
すなわち、この映像シーンは、図１の（Ｂ）に示すように、カメラポジション（ａ）、アングル（ｂ）、被写体の数（ｄ）、カメラの動き（ｅ）、カメラレンズ種別（ｆ）のそれぞれは、ローポジション、ローアングル、ワンショット（１Ｓ）、フィックス、標準レンズという一定のカメラワーク状況により撮影されたものである。
【００１１】
そして、このシーンの映像は、その初期のフレーム（フレームＡ）では背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。すなわち、被写体サイズ（ｃ）は、フレームＡ〜Ｄがログショットで、フレームＥがフルフィギュアとなっている。
【００１２】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００１３】
図２は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図２の（Ａ）に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がバストショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
【００１４】
すなわち、このシーンの撮影に用いられているカメラワーク状況は、図２の（Ｂ）に示すように、カメラポジション（ａ）、アングル（ｂ）、カメラの動き（ｅ）、カメラレンズ種別（ｆ）のそれぞれが、目高、水平アングル、フィックス、標準レンズで、被写体のサイズ（ｃ）、被写体の数（ｄ）が、フレームＡ〜Ｂ（ショット１）及びフレームＥ〜Ｆ（ショット３）はロングショット、ツーショット（２Ｓ）、フレームＣ〜Ｄ（ショット２）はバストショット、ワンショット（１Ｓ）である。
【００１５】
このような場合、ショット１では、月夜の比較的暗い映像が連続しているので、これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、バストショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。
【００１６】
すなわち、一定の照明状況の下で撮影された一連の映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００１７】
図３は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図３の（Ａ）に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、ズーム撮影により被写体（前景）である茶色い犬がロングショットからアップショットへ序々に変化している。
【００１８】
すなわち、このシーンの撮影に用いられているカメラワーク状況は、図３の（Ｂ）に示すように、カメラポジション（ａ）、アングル（ｂ）、被写体の数（ｄ）、カメラの動き（ｅ）のそれぞれが、ハイポジション、ハイアングル、ワンショット（１Ｓ）、ズームで、被写体サイズ（ｃ）が、フレームＡ〜Ｂはロングショット、フレームＣはフルフィギュア、フレームＤはバストショット、フレームＥはアップショット、カメラレンズ種別（ｆ）が、フレームＡは標準レンズ、フレームＢ〜Ｅは望遠レンズである。
【００１９】
これらの映像の各フレームの輝度や色度に従って照明光を制御すると、緑色が強い照明光から茶色い照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００２０】
図４は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図４の（Ａ）に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、ズーム撮影により被写体（前景）である桃色の服を着た人物がロングショット（フレームＡ）からバストショット（フレームＥ）へ徐々に変化している。
【００２１】
すなわち、このシーンの撮影に用いられているカメラワーク状況は、図４の（Ｂ）に示すように、カメラポジション（ａ）、アングル（ｂ）、被写体の数（ｄ）、カメラの動き（ｅ）のそれぞれが、目高、水平アングル、ワンショット（１Ｓ）、ズームで、被写体サイズ（ｃ）が、フレームＡ〜Ｂはロングショット、フレームＣはフルフィギュア、フレームＤはウエストショット、フレームＥはバストショット、カメラレンズ種別（ｆ）が、フレームＡは標準レンズ、フレームＢ以降は望遠レンズである。
【００２２】
これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強い照明光から桃色の照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
［００２３］
図５は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図５の（Ａ）に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、カメラレンズを切り替えて撮影することにより、被写体（前景）である桃色の服を着た人物がロングショットからバストショットに変化している。
［００２４］
すなわち、このシーンの撮影に用いられているカメラワーク状況は、図５の（Ｂ）に示すように、カメラポジション（ａ）、アングル（ｂ）、被写体の数（ｄ）、カメラの動き（ｅ）のそれぞれが、目高、水平アングル、ワンショット（１Ｓ）、フィックスで、被写体サイズ（ｃ）が、フレームＡ〜Ｃはロングショット、フレームＤ〜Ｅはバストショット、カメラレンズ種別（ｆ）が、フレームＡ〜Ｃは標準レンズ、フレームＤ以降は望遠レンズである。
［００２５］
これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強い照明光から突然、桃色の照明光に変化することになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００２６】
本発明は、上記課題に鑑みてなされたものであり、表示映像の撮影時カメラワーク状況に応じた、最適な視聴環境の照明制御を実現することが可能な視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法を提供することを目的とする。
【００２７】
本願の第１の発明は、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを、前記映像データに付加して送信するデータ送信装置と、前記データ送信装置からのカメラワークデータを受信する受信手段と、前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、該制限された映像フレームもしくは画面領域における前記映像データの前記映像特徴量を検出し、該検出された映像特徴量に基づき照明装置の照明光を制御する制御手段とを有する視聴環境制御装置と、を備えたことを特徴とする。
［００２８］
本願の第２の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラポジションを表わす情報を含むことを特徴とする。
［００２９］
本願の第３の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラアングルを表わす情報を含むことを特徴とする。
［００３０］
本願の第４の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時における被写体のサイズを表わす情報を含むことを特徴とする。
［００３１］
本願の第５の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする。
［００３２］
本願の第６の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする。
［００３３］
本願の第７の発明は、前記カメラワークデータが、少なくとも各フレームの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。
【００３４】
本願の第８の発明は、外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを、前記映像データを構成する各フレームの開始タイミングとともに送信するデータ送信装置と、前記カメラワークデータを受信する受信手段と、前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、該制限された映像フレームもしくは画面領域における前記映像特徴量を検出し、該検出された映像特徴量に基づき照明装置の照明光を制御する制御手段とを有する視聴環境制御装置と、を備えたことを特徴とする。
［００３５］
本願の第９の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラポジションを表わす情報を含むことを特徴とする。
［００３６］
本願の第１０の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラアングルを表わす情報を含むことを特徴とする。
［００３７］
本願の第１１の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時における被写体のサイズを表わす情報を含むことを特徴とする。
［００３８］
本願の第１２の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする。
［００３９］
本願の第１３の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする。
［００４０］
本願の第１４の発明は、前記カメラワークデータが、少なくとも各フレームの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。
【００４１】
本願の第１５の発明は、表示装置に表示すべき映像データの映像特徴量に基づいて、照明装置の照明光を制御する視聴環境制御装置であって、前記映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを受信する受信手段と、前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、該制限された映像フレームもしくは画面領域における前記映像特徴量を検出し、該検出された映像特徴量に基づき前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする。
［００４２］
本願の第１６の発明は、前記制御手段が、前記映像データを構成するシーン単位で前記照明装置の照明光を切替制御することを特徴とする。
［００４３］
本願の第１７の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラポジションを表わす情報を含むことを特徴とする。
［００４４］
本願の第１８の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラアングルを表わす情報を含むことを特徴とする。
［００４５］
本願の第１９の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時における被写体のサイズを表わす情報を含むことを特徴とする。
［００４６］
本願の第２０の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする。
［００４７］
本願の第２１の発明は、前記カメラワークデータが、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする。
［００４８］
本願の第２２の発明は、前記カメラワークデータが、少なくとも各フレームの撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。
【００５１】
本願の第２３の発明は、上述の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えた視聴環境照明制御システムでることを特徴とする。
【００５４】
本願の第２４の発明は、表示装置に表示すべき映像データの映像特徴量に基づいて、照明装置の照明光を制御する視聴環境制御方法であって、前記映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを受信し、前記カメラワークデータに基づき前記映像データの映像特徴量を検出する対象の映像フレームもしくは画面領域を制限し、前記制限された映像フレームもしくは画面領域における前記映像特徴量を検出し、前記検出された映像特徴量に基づき前記表示装置の周辺に設置された前記照明装置の照明光を制御することを特徴とする。
【発明の効果】
［００５５］
本発明によれば、映像の撮影時における場（雰囲気）に応じた最適な視聴環境を実現することが可能となる。
【図面の簡単な説明】
［００５６］
［図１］従来技術による照明変動の問題点の一例を説明するための図である。
［図２］従来技術による照明変動の問題点の他の例を説明するための図である。
［図３］従来技術による照明変動の問題点の他の例を説明するための図である。
［図４］従来技術による照明変動の問題点の他の例を説明するための図である。
［図５］従来技術による照明変動の問題点の他の例を説明するための図である。
［図６］本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。
［図７］本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の出力ビットストリームの例を示す説明図である。
［図８］本発明の第１実施形態に係る視聴環境制御システムにおけるカメラワークデータの一例を示す説明図である。
［図９］カメラポジション及びカメラアングルを説明するための説明図である。
［図１０］被写体サイズ（画面サイズ）を説明するための説明図である。
【図１１】被写体数を説明するための説明図である。
【図１２】映像の構成要素を説明するための説明図である。
【図１３】本発明の第１実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図１４】本発明の第１実施形態に係る視聴環境制御システムにおける照明制御データ生成部の構成を示すブロック図である。
【図１５】本発明の第１実施形態に係る視聴環境制御システムにおけるポジション及びアングルによって決まる場（雰囲気）推定対象領域の一例を示す説明図である。
【図１６】本発明の第１実施形態に係る視聴環境制御システムにおける被写体サイズ及び被写体数によって決まる場（雰囲気）推定対象領域の一例を示す説明図である。
【図１７】本発明の第１実施形態に係る視聴環境制御システムにおける照明制御データ生成部の動作を示すフローチャートである。
【図１８】本発明の第２実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。
【図１９】本発明の第２実施形態に係る視聴環境制御システムにおけるカメラワークデータ格納テーブルの一例を示す説明図である。
【図２０】本発明の第２実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【符号の説明】
【００５７】
１…データ多重部、２…送信部、２１，５１…受信部、２２，５２…データ分離部、２３，５３…ＣＰＵ、２４…照明制御データ生成部、２５…映像表示装置、２６…音声再生装置、２７…照明装置、２８，２９…ディレイ発生部、３１…シーン区間検出部、３２…場（雰囲気）推定部、４１…受信部、４２…データ格納部、４３…送信部、５４…送信部、５５…受信部。
【発明を実施するための最良の形態】
【００５８】
図６は、本発明の一実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図で、本実施形態における映像送信装置（データ送信装置）は、図６に示すように、映像データ、音声データ、付加情報として供給されたカメラワークデータのそれぞれをトランスポートストリームパケット（Transport Stream packet；ＴＳＰ）形式に分割して多重するデータ多重部１と、データ多重部１の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部２とを備えている。
【００５９】
図７は、ＭＰＥＧ２（Moving Picture Experts Group 2）−Systemsで規定されたトランスポートストリームパケット（ＴＳＰ）の構成の概略を示す説明図であり、１１はＴＳＰのデータ内容その他のＭＰＥＧ２−Systemsで規定された情報が記述されたヘッダ、１２は拡張ヘッダ（アダプテーション・フィールド）であって送信者が決めた情報を記述できる部分、１３は映像、音声などのデータから構成されるペイロードである。本実施形態では、例えば、映像データ及び音声データをペイロード１３で伝送し、付加的な情報であるカメラワークデータなどを拡張ヘッダ（アダプテーション・フィールド）１２で伝送することが可能に構成されている。なお、映像データ、音声データ、カメラワークデータのそれぞれの異なるデータストリームを多重して伝送するようにしてもよい。
【００６０】
図８は、映像データの各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを説明するための図である。図８に示す本実施形態では、カメラワークデータとして、各フレームの撮影時におけるカメラポジションを表わすポジション情報（ａ）、各フレームの撮影時におけるカメラアングルを表わすアングル情報（ｂ）、各フレームの撮影時における被写体のサイズを表わす被写体サイズ情報（ｃ）、各フレームの撮影時における被写体の数を表わす被写体数情報（ｄ）、各フレームの撮影時におけるカメラの動きを表わすカメラの動き情報（ｅ）、各フレームの撮影に用いられたカメラレンズの種別を表わすレンズ種別情報（ｆ）を有している。これらの情報はいずれも、各フレームの撮影時における照明環境を推定し、各シーンの雰囲気や臨場感を照明光によって演出するために有用な情報である。以下、それぞれの情報について説明する。
【００６１】
まず、映像撮影時のカメラのポジション（ａ）として、（ａ１）ハイポジション、（ａ２）目高、（ａ３）ローポジションに分類される。図９の（Ａ）に示すように、ハイポジション（ａ１）は、後述するロングショットに活用されることが多いポジションで、広大な広がりを表現したり、人垣越しなどで用いられる高い位置である。目高（ａ２）は、通常のポジションであり、被写体（Ｏ）の目の高さの位置である。ローポジション（ａ３）は、子供の目線などの低い位置である。
【００６２】
屋外撮影の場合、撮影画面内における水平線（地平線）の高さは、ハイポジションでは低く、ローポジションでは高い位置になる傾向があるため、映像撮影時におけるカメラポジションに適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、ポジション情報として、各映像フレームの撮影時におけるカメラポジションが、ハイポジション／目高／ローポジションのいずれに属するかを示す２ビットの記述を、カメラワークデータの中に含有している。
【００６３】
また、映像撮影時のカメラのアングル（ｂ）として、(ｂ１)ハイアングル（俯瞰）、(ｂ２)水平アングル（目線）、(ｂ３)ローアングル（あおり）に分類される。図９の（Ｂ）に示すように、ハイアングル（ｂ１）は、下方を見下ろす角度での撮影方法であり、全体の客観的な状況説明などで用いられる。水平アングル（ｂ２）は、カメラを水平方向に向けた、自然で標準的なアングルである。ローアングル（ｂ３）は、上方を見上げる角度での撮影方法であり、威圧的、優位、勝利などを表現する際に用いられる。
【００６４】
屋外撮影の場合、撮影画面内における水平線（地平線）の高さは、ハイアングルでは高く、ローアングルでは低い位置になる傾向があるため、映像撮影時におけるカメラアングルに適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、アングル情報として、各映像フレームの撮影時におけるカメラアングルが、ハイアングル（俯瞰）／水平アングル（目線）／ローアングル（あおり）のいずれに属するかを示す２ビットの記述を、カメラワークデータの中に含有している。
【００６５】
さらに、映像撮影時の被写体（画面）サイズ（ｃ）として、ロングショット（ｃ１）、フルフィギュア（ｃ２）、ニーショット（ｃ３）、ウエストショット（ｃ４）、バストショット（ｃ５）、アップショット（ｃ６）、クローズアップショット（ｃ７）、ビッグクローズアップショット（ｃ８）に分類される。図１０に示すように、ロングショット（Ｌ.Ｓ.：ｃ１）は、スタジオ風景や野外の広角ショットであり、全体の位置関係や、ストーリーの始まりと終わりに用いられることが多い。フルフィギュア（Ｆ.Ｆ.：ｃ２）は、撮影画面内に被写体の全身（立ったときの足先から頭までの全身像、座ったときの全身像）を納めたサイズとなる。ニーショット（Ｋ.Ｓ.：ｃ３）は、撮影画面内に被写体の膝上から頭までを入れたサイズとなる。
【００６６】
ウエストショット（Ｗ.Ｓ.：ｃ４）は、撮影画面内に被写体の腰か腰上から頭までを入れた半身像のサイズとなり、ニュース、話し手の基本的ショットに用いられ、テロップを入れ易いのが特徴である。バストショット（Ｂ.Ｓ.：ｃ５）は、撮影画面内に被写体の胸か胸上から頭までを入れた上半身のサイズとなり、これは人物像で最も多く使われるサイズである。アップショット（Ｕ.Ｓ.：ｃ６）は、被写体の表情、盛り上げを表現するショットである。クローズアップショット（Ｃ.Ｕ.：ｃ７）は、アップを強調するショットであり、被写体の頭（髪の毛）が切れる程度のサイズとなる。ビッグクローズアップショット（Ｂ.Ｃ.Ｕ.：ｃ８）は、クローズアップを強調する際に用いられる。
【００６７】
このように、映像撮影時の被写体サイズ（画面サイズ）によって、背景の領域面積は変わるので、映像撮影時における被写体サイズ（画面サイズ）に適応して、映像特徴量を検出するフレームを制限したり、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、被写体サイズ情報として、各映像フレームの撮影時における被写体のサイズが、ロングショット／フルフィギュア／ニーショット／ウエストショット／バストショット／アップショット／クローズアップショット／ビッグクローズアップショットのいずれに属するかを示す３ビットの記述を、カメラワークデータの中に含有している。
【００６８】
また、映像撮影時の被写体の数（ｄ）として、ワンショット（１Ｓ：ｄ１）、ツーショット（２Ｓ：ｄ２）、スリーショット（３Ｓ：ｄ３）、グループショット（ＧＳ：ｄ４）、風景（背景）のみ(ｄ５）に分類される。図１１に示すように、ワンショット（ｄ１）は前景となる被写体が１人（１つ）のみ、ツーショット（ｄ２）は前景となる被写体が２人（２つ）、スリーショット（ｄ３）は前景となる被写体が３人（３つ）、グループショット（ｄ４）は前景となる被写体が４以上の多数である場合のショットである。
【００６９】
このように、映像撮影時の被写体数によって、背景の領域面積は変わるので、映像撮影時における被写体数に適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、被写体数情報として、各映像フレームの撮影時における被写体の数が、ワンショット（１Ｓ）／ツーショット（２Ｓ）／スリーショット（３Ｓ）／グループショット（ＧＳ）／風景（背景）のみのいずれに属するかを示す３ビットの記述を、カメラワークデータの中に含有している。
【００７０】
さらに、映像撮影時のカメラの動き（ｅ）として、フィックス（ｅ１）、パン（ｅ２）、チルト（ｅ３）、ロール（ｅ４）、ズーム（ｅ５）、ドリー（ｅ６）、フォロー（ｅ７）に分類される。フィックス（ｅ１）は、画角を変えるズーム操作などは行わないで、カメラ位置も動かさない撮影方法である。パン（ｅ２）は、カメラを水平方向に振って、周囲を見せる撮影方法であり、状況説明や左右のものの位置関係を見せたいときなどに使用される。チルト（ｅ３）は、カメラを垂直方向に振る撮影方法であり、下から上（上から下）に向かって撮ったり、木の幹に沿って上に振っていき、枝や葉を撮るようなときに利用される。
【００７１】
ロール（ｅ４）は、カメラを回転させる撮影方法、ズーム（ｅ５）は、ズームレンズによって大写しや広いサイズにする撮影方法である。ドリー（ｅ６）は、カメラ自体が動きながら撮影する手法、フォロー（ｅ７）は、走る人や乗り物など移動する被写体を撮る場合に、被写体の動きを追いかけながら撮影する手法である。
【００７２】
このように、映像撮影時のカメラの動きによって、急激に背景の領域面積や特徴量が変わるので、映像撮影時におけるカメラの動きに適応して、映像特徴量を検出するフレームを制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、カメラの動き情報として、各映像フレームの撮影時におけるカメラの動きが、フィックス／パン／チルト／ロール／ズーム／ドリー／フォローのいずれに属するかを示す３ビットの記述を、カメラワークデータの中に含有している。
【００７３】
また、映像撮影時に用いられるレンズワーク（レンズ種別情報；ｆ）として、標準レンズ（ｆ１）、広角レンズ（ｆ２）、望遠レンズ（ｆ３）、マクロレンズ（ｆ４）に分類される。標準レンズ（ｆ１）は、人間の視野に近く、自然な遠近感の撮影が可能なレンズである。広角レンズ（ｆ２）は、画角が広く、広い範囲を撮影することが可能なレンズであり、風景や集合写真の撮影などによく利用される。望遠レンズ（ｆ３）は、遠くの被写体を引き寄せて大きく撮影することが可能なレンズであり、実際に近づけないスポーツのワンシーン、ポートレイトの撮影などによく利用される。マクロレンズ（ｆ４）は、接近撮影が可能なレンズであり、草花や昆虫のクローズアップ撮影に適している。
【００７４】
このように、映像撮影時のレンズワークによって、背景の領域面積が変わるので、映像撮影時におけるカメラの動きに適応して、映像特徴量を検出するフレームを制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、レンズ種別情報として、各映像フレームの撮影時に用いられたカメラレンズの種別が、標準レンズ／広角レンズ／望遠レンズ／マクロレンズのいずれに属するかを示す２ビットの記述を、カメラワークデータの中に含有している。
【００７５】
なお、カメラワークデータに含まれる各種情報は上述したものに限定されず、もっと詳細な情報を追加するなどしてもよいことは明らかである。また、上述したカメラワークデータは、台本（シナリオもしくは脚本とも呼ぶ）に基づいて作成され、映像撮影現場で用いられるカメラワークプログラムなどを利用して生成することができ、この場合、新たにカメラワークデータを作成する作業を省くことが可能となる。
【００７６】
ところで、シーンやショットを含む映像の構成について、図１２を参照して説明する。連続する動画像を構成する映像データは、図１２に示すように、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤ（＃１）は、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤ（＃２）はショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤ（＃３）がシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。
【００７７】
ここでは、映像データのフレーム単位で、上述したカメラワークデータを付加することとしているが、全てのフレームに対して上述のカメラワークデータを付加する以外にも、撮影時のカメラワーク状況に変化があるフレームに対してのみ、上述のカメラワークデータを付加するようにしてもよい。これによっても、映像データの各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを、前記映像データに付加することが可能となる。
【００７８】
次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。
【００７９】
本実施形態における映像受信装置は、図１３に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部２１と、受信部２１の出力データから、映像表示装置２５に出力する映像データとＴＣ（タイムコード）、音声再生装置２６に出力する音声データとＴＣ（タイムコード）、付加情報としてのカメラワークデータのそれぞれを分離・抽出するデータ分離部２２と、データ分離部２２で分離されたカメラワークデータを受けて、照明制御データ生成部２４に対する制御データを出力するＣＰＵ２３と、ＣＰＵ２３からの制御データに応じて、前記映像データ／音声データの特徴量を検出し、この検出結果に基づいた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４と、照明制御データ生成部２４における処理時間分だけ映像データ、音声データを遅延して出力するディレイ発生部２８，２９とを備えている。
【００８０】
ここで、本実施形態のＣＰＵ２３は、カメラワークデータに基づき、照明制御データ生成部２４にて映像データの特徴量を検出する対象の映像フレーム及び画面領域を制御する制御データを出力する。
【００８１】
なお、タイムコード（ＴＣ）は、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。
【００８２】
また、照明装置２７は、映像表示装置２５の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置２７は、映像表示装置２５の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置２７は１個以上設置されていればよい。
【００８３】
次に、本実施形態における照明制御データ生成部２４の具体的構成について、図１４とともに説明する。図１４において、３１は映像データ及び音声データからシーン区間の開始点ＴＣ、終了点ＴＣを検出するシーン区間検出部であり、シーン変化点の検出方法は、公知のものをはじめとする各種の技術を用いることができる。なお、ここでは、シーン区間の検出のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これはシーン変化点の検出精度をより向上させるためであり、映像データの特徴量のみからシーン区間を検出するようにしてもよい。また、シーン変化点を示す情報が放送データに付加されている場合、これを利用するようにしてもよい。
【００８４】
３２は、映像データ及び音声データから撮影現場の照明状態や場面設定（雰囲気）を推定し、その推定結果に従って照明装置２７を制御するための照明制御データを出力する場（雰囲気）推定部であり、撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。なお、ここでも、撮影時の場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。
【００８５】
また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。
【００８６】
さらに、本実施形態では、同一シーンの中では視聴環境照明光の色及び強度を略一定に保持するため、場（雰囲気）推定部３２は、シーン区間検出部３１によりシーン変化点（開始点）が検出された時点から、所定数Ｎ（Ｎは予め設定された任意の自然数であり、例えばＮ＝１００）のフレームにおける映像特徴量及び音声特徴量を検出し、この特徴量に応じた照明制御データ（ＲＧＢデータ）を、次のシーンに切り替わるまで出力するように構成している。
【００８７】
ここで、上記シーン変化点（開始点）が検出された時点から連続する所定数Ｎのフレームの中で、映像データの特徴量を検出する際に用いるフレーム及びその画面領域は、ＣＰＵ２３からの制御データによって決められる。例えば、被写体サイズがバストショット、アップショット、クローズアップショット、ビッグクローズアップショットのいずれかであるフレームは、被写体（前景部）が画面内の多くの領域面積を占めるため、映像特徴量の検出には用いないようにする。また、レンズ種別が望遠レンズ、マクロレンズのいずれかであるフレームも、被写体（前景部）が画面内の多くの領域面積を占めるため、映像特徴量の検出には用いないようにする。
【００８８】
さらに、カメラの動きがパン、チルト、ロール、ズーム、ドリー、フォローのいずれかであるフレームは、一連のカメラの動きに伴って背景の様子が極端に変化する可能性が高いことから、最初のフレーム以外は映像特徴量の検出に用いないこととする。例えば、カメラの動きがパンであるフレームが２以上連続した場合、２枚目以降のフレームは映像特徴量の検出に用いない。なお、上述のカメラの動きのフレームが連続した場合、予め定められた最初の数フレームのみを映像特徴量の検出に用いるようにしてもよい。
【００８９】
そしてまた、映像特徴量の検出に用いるフレームであっても、映像特徴量の検出対象とすべき画面領域は、映像撮影時のカメラワークによって異なる。例えば、図１５に示すように、当該フレームの撮影時におけるカメラポジションとアングルとによって、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図１５中、斜線部分で示す）が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適した画面領域は通常、画面上部の領域であるが、この画面上部の領域の大きさを規定する水平ラインがカメラポジションとアングルとによって決められる。
【００９０】
また、図１６に示すように、当該フレームの撮影時における被写体サイズと数とによっても、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図１６中、斜線部分で示す）が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適した画面領域は、前景となる被写体を除いた領域が望ましく、この被写体が位置する可能性が高く、映像特徴量の検出対象領域から除外すべき領域が、被写体サイズと数とによって決められる。なお、被写体の数が背景のみの場合は、全画面領域を映像特徴量の検出対象とする。
【００９１】
従って、本実施形態では、ポジション、アングル、被写体サイズ、被写体数の各カメラワーク情報に基づいて、映像特徴量を検出する対象領域を制限している。具体的には、ポジション及びアングルによって決まる図１５の斜線領域と、被写体サイズ及び被写体数によって決まる図１６の斜線領域との論理積によって求められる画面領域の映像データのみを用いて、映像特徴量を検出することとしている。
【００９２】
このように、カメラワークデータを用いて、映像シーンの場（雰囲気）推定に適したフレーム及び画面領域のみを制限・抽出し、抽出されたフレーム及び画面領域における映像特徴量を検出することで、場（雰囲気）の推定精度を向上させることができる。これによって、場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを防止し、常に最適な視聴環境を実現することが可能となる。
【００９３】
さらに、本実施形態の照明制御データ生成部２４の動作について、図１７のフローチャートとともに説明する。まず、シーン区間検出部３１は、新しく入力されたフレームを読み込み（ステップＳ１）、そのフレームの映像特徴量や音声特徴量から当該フレームがシーン開始点（変化点）か否かを検出する（ステップＳ２）。シーン開始フレームが検出されない場合は、ステップＳ１に戻って次のフレームを読み込む。シーン開始フレームが検出された場合、場（雰囲気）推定部３２は、該シーン開始フレームから連続するＮフレーム分の映像データ及び音声データを読み込む（ステップＳ３）。
【００９４】
そして、カメラワークデータの被写体サイズ情報、カメラの動き情報、レンズ種別情報に基づいて、上記読み込んだＮフレームの中から、場（雰囲気）推定に用いる推定対象フレームを判定・抽出する（ステップＳ４）。ここで、上記読み込んだＮフレームの中に、場（雰囲気）推定対象フレームが存在するか否かを判別し（ステップＳ５）、場（雰囲気）推定対象フレームが存在する場合は、推定対象フレームを１フレーム読み込む（ステップＳ６）。そして、カメラワークデータのポジション情報、アングル情報、被写体サイズ情報、被写体数情報に基づいて、この読み込んだ推定対象フレームにおける場（雰囲気）推定に用いる推定対象画面領域を判定・抽出し（ステップＳ７）、場（雰囲気）推定対象領域の映像データ特徴量を検出して、場（雰囲気）推定を行う（ステップＳ８）。
【００９５】
次に、場（雰囲気）推定対象フレームの全てについて、上述の場（雰囲気）推定処理が完了したか否かを判断し（ステップＳ９）、全ての場（雰囲気）推定対象フレームについて、場（雰囲気）推定処理が完了した場合、場（雰囲気）推定結果の１フレーム当たりの平均値を算出し（ステップＳ１０）、これに応じた照明制御データ（ＲＧＢデータ）を生成・出力する（ステップＳ１１）。なお、音声データ特徴量の検出は、上述のＮフレーム期間にわたって行われ、上記のようにして算出された映像データ特徴量と併せて、場（雰囲気）の推定処理に利用される。
【００９６】
また、上記ステップＳ５において、上記ステップＳ３で読み込んだＮフレームの中に、場（雰囲気）推定対象フレームが存在しないと判別された場合は、予め用意されたデフォルト値に基づく照明制御データを生成・出力する（ステップＳ１１）。ここでは、場（雰囲気）推定対象フレームが存在しない場合、例えばやや弱い白色の照明光を視聴環境空間に照明するようにしているが、これに限らず、直前のシーンに係る照明制御データをそのまま継続して出力し、視聴環境照明光の色、強度を保持するようにしてもよい。
【００９７】
そして、処理が終了であるか否かを判別し（ステップＳ１３）、例えば映像データが終了した場合や、視聴環境照明制御の停止が指示された場合は、シーン区間検出及び場（雰囲気）推定の処理を終了し、それ以外の場合は、ステップＳ１に戻って新しいフレームを取得する。
【００９８】
本実施形態においては、上述のとおり、シーン開始点からＮフレーム内に含まれる映像データ及び音声データの特徴量に基づいて照明制御データを生成し、この照明制御データを次にシーン変化が検出されるまで出力するので、シーン単位で視聴環境照明光の色、強度を切り替えて、同一シーン内では視聴環境照明光の色、強度を略一定に保持することができる。
【００９９】
また、上記データ分離部２２で分離された映像データ、音声データは、上記場（雰囲気）推定部３２での推定処理にかかる時間分だけ、ディレイ発生部２８，２９で遅延された上で、映像表示装置２５、音声再生装置２６により再生されるので、映像／音声の再生タイミングに合わせて、視聴環境照明光の色、強度を適切に制御することができる。
【０１００】
さらに、図１乃至図５に示した各映像シーン例に対する場（雰囲気）推定処理について説明する。図１に示した映像シーンにおいて、フレームＡ〜Ｅ−１（フレームＥの直前のフレーム）に対しては、図１５（ｇ）の斜線で示した領域と図１６（ａ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。また、フレームＥ以降に対しては、図１５（ｇ）の斜線で示した領域と図１６（ｅ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。これによって、背景部の映像特徴量のみを用いた照明制御データを生成することができ、本シーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１０１】
図２に示した映像シーンにおいて、フレームＣ〜Ｅ−１に対しては、被写体サイズがバストショットであるので、映像データ特徴量の検出は行わない。そして、フレームＡ〜Ｃ−１（フレームＣの直前のフレーム）、フレームＥ以降に対しては、図１５（ｅ）の斜線で示した領域と図１６（ｂ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。これによって、背景部の映像特徴量のみを用いた照明制御データを生成することができ、本シーン撮影時の照明状況を反映した適切な視聴環境照明光を照射することが可能となる。
【０１０２】
図３に示した映像シーンにおいては、ズーム撮影が行われていることから、フレームＡに対してのみ、映像データ特徴量の検出は行う。ここで、フレームＡに対しては、図１５（ｃ）の斜線で示した領域と図１６（ａ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。これによって、背景部の映像特徴量のみを用いた照明制御データを生成することができ、このシーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１０３】
図４に示した映像シーンにおいては、同じくズーム撮影が行われていることから、フレームＡに対してのみ、映像データ特徴量の検出は行う。ここで、フレームＡに対しては、図１５（ｅ）の斜線で示した領域と図１６（ａ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。これによって、背景部の映像特徴量のみを用いた照明制御データを生成することができ、このシーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１０４】
図５に示した映像シーンにおいては、望遠レンズに切り換えられ、バストショットとなったフレームＤ以降に対する映像データ特徴量の検出を行わず、フレームＡ〜Ｄ−１（フレームＤの直前のフレーム）に対してのみ、映像データ特徴量の検出を行う。ここで、フレームＡ〜Ｄ−１に対しては、図１５（ｅ）の斜線で示した領域と図１６（ａ）の斜線で示した領域とが重なる画面領域の映像データを用いて、映像特徴量を検出する。これによって、背景部の映像特徴量のみを用いた照明制御データを生成することができ、このシーン撮影時の照明状況を反映した適切な視聴環境照明光を、このシーンの表示再生期間にわたって照射することが可能となる。
【０１０５】
上記のように、本実施形態においては、映像データとともにカメラワークデータとして入力された各種情報内容を利用して、各シーンの撮影時における照明状況（雰囲気）を適切に再現すべく照明制御データを求め、照明装置２７の照明光を制御することが可能である。従って、前景部（被写体）などの映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。また、シーン単位で照明制御データを切替制御する構成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。
【０１０６】
なお、図１５，図１６に示した画面領域パターンは適宜設定することができる。また、この画面領域パターンから求められた場（雰囲気）推定画面領域内における映像データのヒストグラム分布（度数分布）を検出し、分布割合の高い映像データのみから映像特徴量を検出して場（雰囲気）推定を行うことにより、場（雰囲気）推定の精度をさらに向上することが可能となる。
【０１０７】
また、本実施形態においては、各フレームの撮影時におけるカメラワーク状況に関するカメラワークデータを送受信するようにしているので、このカメラワークデータを用いて所望のフレームを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。
【０１０８】
例えば、カメラポジションが目高、アングルが水平アングル、被写体サイズ（画面サイズ）がロングショット、カメラの動きがフィックス、レンズ種別が標準レンズを用いて撮影されたフレームを選択・抽出することにより、代表的な映像場面（キーフレーム、キーショット）を集めたインデックスを作成することが可能となる。
【０１０９】
さらに、上記本発明の第１の実施形態においては、カメラワークデータが放送データに多重付加されて送信される場合について説明したが、放送データにカメラワークデータが付加されていない場合、表示する映像データに対応するカメラワークデータを外部サーバ装置等より送受信することによって、映像の撮影時照明状況に応じた最適な視聴環境を実現することが可能となる。これについて、以下に説明する。
【０１１０】
図１８は、本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図で、本実施形態における外部サーバ装置（データ送信装置）は、図１８に示すように、映像受信装置（データ受信装置）側から特定の映像データ（コンテンツ）に関するカメラワークデータの送信要求を受信する受信部４１と、映像データ（コンテンツ）毎のカメラワークデータを格納しているデータ格納部４２と、送信要求を受けたカメラワークデータを要求元の映像受信装置（データ受信装置）へ送信する送信部４３とを備えている。
【０１１１】
ここで、本実施形態のデータ格納部４２に格納されているカメラワークデータは、図１９に示すように、撮影時のカメラワーク状況に変化があるフレームの開始タイムコード（ＴＣ）に対応付けてテーブル形式に記述されており、送信要求を受けた映像データ（番組コンテンツ）に対応するカメラワークデータ（ａ）〜（ｆ）を、映像撮影時のカメラワーク状況に変化のあるフレームを示すＴＣ（タイムコード）とともに、送信部４３より要求元の映像受信装置へ送信する。
【０１１２】
なお、ここで、映像データを構成する全てのフレームについてカメラワークデータを記述するようにしてもよいが、図１９に示すように、撮影時のカメラワーク状況に変化があるフレームのみについてカメラワークデータを記述するようにすることで、データ格納部４２に格納するデータ量を削減することができる。
【０１１３】
次に、上記外部サーバ装置より送出されたカメラワークデータを受けて、視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。本実施形態における映像受信装置は、図２０に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部５１と、受信部５１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データのそれぞれを分離・抽出するデータ分離部５２と、表示する映像データ（コンテンツ）に対応したカメラワークデータの送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部５４と、前記送信要求したカメラワークデータを、通信ネットワークを介して外部サーバ装置より受信する受信部５５とを備えている。
【０１１４】
また、前記受信部５５で受信したカメラワークデータを記憶し、映像データのＴＣ（タイムコード）に同期して、対応するフレームのカメラワークデータから求められた制御データを出力するＣＰＵ５３と、ＣＰＵ５３からの出力制御データに応じて決められるフレーム及び画面領域の映像特徴量に応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４とを備えている。
【０１１５】
すなわち、ＣＰＵ５３は、外部サーバ装置より受信して内部に記憶しているカメラワークデータ格納テーブルの各フレームの開始タイムコードと、データ分離部５２で分離された映像データのタイムコードとを比較し、これらが一致した時に対応するカメラワークデータを読み出し、このカメラワークデータから表示映像シーンの場（雰囲気）推定に適応したフレーム及び画面領域を制限するための制御データを生成し、出力することができる。
【０１１６】
これによって、放送データにカメラワークデータが付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応するカメラワークデータを外部サーバ装置より入手し、このカメラワークデータを用いて照明制御データを生成することでき、しかも簡単な構成で映像シーンの表示切替わりタイミングと視聴環境照明の切替えタイミングとを同期させることができるので、映像の撮影時照明状況に応じた最適な視聴環境を実現することが可能となる。
【０１１７】
なお、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、視聴環境制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。
【０１１８】
また、上述したカメラワークデータは、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に付加されたカメラワークデータを読み出して、これを用いるようにしてもよい。
【図１】
0004709897.tif 000002
【図２】
0004709897.tif 000003
【図３】
0004709897.tif 000004
【図４】
0004709897.tif 000005
【図５】
0004709897.tif 000006
【図６】
0004709897.tif 000007
【図７】
0004709897.tif 000008
【図８】
0004709897.tif 000009
【図９】
0004709897.tif 000010
【図１０】
0004709897.tif 000011
【図１１】
0004709897.tif 000012
【図１２】
0004709897.tif 000013
【図１３】
0004709897.tif 000014
【図１４】
0004709897.tif 000015
【図１５】
0004709897.tif 000016
【図１６】
0004709897.tif 000017
【図１７】
0004709897.tif 000018
【図１８】
0004709897.tif 000019
【図１９】
0004709897.tif 000020
【図２０】
0004709897.tif 000021