(57)【要約】映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて周囲の照明光を制御する。視聴環境制御装置は、映像表示装置１に表示する映像についてのシーン区間検出処理部２２と、その映像のシーンの場（雰囲気）推定部２３とを有する。シーン区間検出処理部２２は、映像のシーン区間を検出し、また、場（雰囲気）推定部２３は、映像を撮影した現場の照明状態による場面設定（雰囲気）を推定して、シーンに適合する照明制御データを生成し３１に記憶する。照明切替制御部４１では３１から読み出された照明制御データを元に照明装置５の照明光を制御することで、映像表示装置１に表示される映像に適応した照明の制御を行う。
2007052395.tif 000002
【特許請求の範囲】
【請求項１】
表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御装置であって、
前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴とする視聴環境制御装置。
【請求項２】
請求項１に記載の視聴環境制御装置において、
前記映像データを構成するシーンの区間を検出するシーン区間検出手段と、
該シーン区間検出手段で検出された各シーンの映像特徴量を検出する映像特徴量検出手段と、
該映像特徴量検出手段による検出結果に基づいて、前記照明装置の照明光をシーン毎に切り替えて制御する照明切替制御手段と、を有することを特徴とする視聴環境制御装置。
【請求項３】
請求項２に記載の視聴環境制御装置において、
前記映像特徴量検出手段で検出されたシーン毎の前記検出結果と、前記シーン区間検出手段で検出された各シーンのシーン開始点及びシーン終了点のタイムコードとを、シーン照明データとして記憶するシーン照明データ記憶手段と、
前記映像データをタイムコードとともに記憶する映像データ記憶手段とを有し、
前記照明切替制御手段は、前記シーン照明データ記憶手段から読み出されたシーン照明データと、前記映像データ記憶手段から読み出されたタイムコードとに従って、前記照明装置の照明光をシーン毎に切り替えて制御することを特徴とする視聴環境制御装置。
【請求項４】
請求項２に記載の視聴環境制御装置において、
前記シーン区間検出手段で検出された各シーンのシーン開始点以後の所定フレーム数の映像データを蓄積する映像データ蓄積手段を有し、
前記映像特徴量検出手段は、前記映像データ蓄積手段に蓄積された映像データを使用して、前記シーン開始点から開始したシーンの映像特徴量を検出することを特徴とする視聴環境制御装置。
【請求項５】
請求項４に記載の視聴環境制御装置において、
前記表示すべき映像データを所定時間だけ遅延させて出力する映像データ遅延手段を有することを特徴とする視聴環境制御装置。
【請求項６】
請求項１ないし５のいずれか１に記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
【請求項７】
表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御方法であって、
前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴とする視聴環境制御方法。
【請求項８】
請求項７に記載の視聴環境制御方法において、
前記映像データを構成するシーンの区間を検出するシーン区間検出ステップと、
該シーン区間検出ステップで検出された各シーンの映像特徴量を検出する映像特徴量検出ステップと、
該映像特徴量検出ステップによる検出結果に基づいて、前記照明装置の照明光をシーン毎に切り替えて制御する照明切替判定ステップと、を有することを特徴とする視聴環境制御方法。
【請求項９】
請求項８に記載の視聴環境制御方法において、
前記シーン区間検出ステップとして、映像データの１フレームごとにシーン開始点を検出するステップと、
前記シーン開始点が検出されたときに該シーン開始点のタイムコードを記録するステップと、
前記シーン開始点が検出された後、該シーン開始点の後の１フレームごとにシーン終了点を検出するステップと、
前記シーン検出点が検出されたときに該シーン終了点のタイムコードを記録するステップとを有し、
前記映像特徴量検出ステップとして、前記記録したシーン開始点及びシーン終了点のタイムコードに該当するシーン区間の映像データを再生するステップと、
該再生した映像データを使用して、前記シーンの映像特徴量を検出するステップと、を有することを特徴とする視聴環境制御方法。
【請求項１０】
請求項８に記載の視聴環境制御方法において、
前記シーン区間検出ステップとして、映像データからシーン開始点を検出するステップを有し、
さらに前記シーン開始点が検出されたときに、該シーン開始点以後の所定フレーム数の映像データを取得するステップを有し、
前記映像特徴量検出ステップは、前記取得した所定フレーム数の映像データを使用して、前記シーン開始点から開始したシーンの映像特徴量を検出することを特徴とする視聴環境制御方法。
【請求項１１】
請求項８に記載の視聴環境制御方法において、
前記シーン区間検出ステップとして、映像データからシーン開始点を検出するステップと、
前記映像データからシーン終了点を検出するステップとを有し、
さらに、前記シーン開始点が検出されたときに、該シーン開始点以後の所定フレーム数の映像データを取得するステップと、
前記シーン開始点以後の所定フレーム数の映像データを取得する前に、シーン終了点を検出した場合、再び前記映像データからシーン開始点を検出するステップとを有し、
前記映像特徴量検出ステップは、前記取得した所定フレーム数の映像データを使用して、前記シーン開始点から開始したシーンの映像特徴量を検出することを特徴とする視聴環境制御方法。
【請求項１２】
請求項１０または１１に記載の視聴環境制御方法において、
前記表示すべき映像データを所定時間だけ遅延させて出力することを特徴とする視聴環境制御方法。
【請求項１３】
１以上のシーンから構成される映像データを送信するデータ送信装置において、
前記映像データの各シーンの区切り位置を示すシーン区切り位置情報を、前記映像データに付加して送信することを特徴とするデータ送信装置。
【請求項１４】
前記シーン区切り位置情報は、前記映像データのフレーム単位で付加されることを特徴とする請求項１３に記載のデータ送信装置。
【請求項１５】
外部からの要求を受けて、映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報を送信するデータ送信装置であって、
前記シーン区切り位置情報は、前記映像データを構成する各シーンの開始フレームを表わすものであることを特徴とするデータ送信装置。
【請求項１６】
前記シーン区切り位置情報は、前記映像データを構成する各シーンの開始フレームと、各シーンの終了フレームとを表わすものであることを特徴とする請求項１５に記載のデータ送信装置。
【請求項１７】
表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信する受信手段と、
前記映像データの特徴量と、前記シーン区切り位置情報とを用いて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
【請求項１８】
前記制御手段は、前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴とする請求項１７に記載の視聴環境制御装置。
【請求項１９】
請求項１７または１８に記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
【請求項２０】
１以上のシーンから構成される映像データを送信するデータ送信方法において、
前記映像データの各シーンの区切り位置を示すシーン区切り位置情報を、前記映像データに付加して送信することを特徴とするデータ送信方法。
【請求項２１】
外部からの要求を受けて、映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報を送信するデータ送信方法であって、
前記シーン区切り位置情報は、前記映像データを構成する各シーンの開始フレームを表わすものであることを特徴とするデータ送信方法。
【請求項２２】
表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信し、
前記映像データの特徴量と、前記シーン区切り位置情報とを用いて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。
【請求項２３】
前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴とする請求項２２に記載の視聴環境制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて映像表示装置周囲の照明光を制御することが可能な視聴環境制御装置、システム、視聴環境制御方法、データ送信装置、及びデータ送信方法に関する。
【背景技術】
【０００２】
例えば、テレビジョン受像器のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。【０００３】
例えば特許文献１には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。【０００４】
また、例えば特許文献２には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。【０００５】
さらに、例えば特許文献３には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
【特許文献１】特開平２−１５８０９４号公報
【特許文献２】特開平２−２５３５０３号公報
【特許文献３】特開平３−１８４２０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
通常、映像のシーンは例えば映像制作者（脚本家や演出家など）の意図により、一連の場面設定に基づく一区切りの映像として作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン状況に応じた照明光を視聴空間に照射することが望ましい。【０００７】
しかしながら、上述した従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、場面設定に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。【０００８】
図２５は上記従来の技術による照明制御の問題点の一例を説明するための図である。図２５に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がアップショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。【０００９】
このような場合、ショット１では、月夜の比較的暗い映像が連続している。これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。【００１０】
すなわち、一つの場面（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。【００１１】
図２６はシーン内の照明の変動による問題点の他の例を説明するための図である。図２６に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。【００１２】
このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。【００１３】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、一つの場面（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化してしまい、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。【００１４】
本発明は、上記課題に鑑みてなされたものであり、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて周囲の照明光を制御することにより、最適な視聴環境の照明制御を実現することが可能な視聴環境制御装置、視聴環境制御システム、視聴環境制御方法、データ送信装置及びデータ送信方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明の第１の技術手段は、表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御装置であって、映像データにおける同一シーン内では、照明装置の照明光を略一定に保持することを特徴としたものである。【００１６】
第２の技術手段は、第１の技術手段において、映像データを構成するシーンの区間を検出するシーン区間検出手段と、シーン区間検出手段で検出された各シーンの映像特徴量を検出する映像特徴量検出手段と、映像特徴量検出手段による検出結果に基づいて、照明装置の照明光をシーン毎に切り替えて制御する照明切替制御手段と、を有することを特徴としたものである。【００１７】
第３の技術手段は、第２の技術手段において、映像特徴量検出手段で検出されたシーン毎の検出結果と、シーン区間検出手段で検出された各シーンのシーン開始点及びシーン終了点のタイムコードとを、シーン照明データとして記憶するシーン照明データ記憶手段と、映像データをタイムコードとともに記憶する映像データ記憶手段とを有し、照明切替制御手段は、シーン照明データ記憶手段から読み出されたシーン照明データと、映像データ記憶手段から読み出されたタイムコードとに従って、照明装置の照明光をシーン毎に切り替えて制御することを特徴としたものである。【００１８】
第４の技術手段は、第２の技術手段において、シーン区間検出手段で検出された各シーンのシーン開始点以後の所定フレーム数の映像データを蓄積する映像データ蓄積手段を有し、映像特徴量検出手段は、映像データ蓄積手段に蓄積された映像データを使用して、シーン開始点から開始したシーンの映像特徴量を検出することを特徴としたものである。【００１９】
第５の技術手段は、第４の技術手段において、表示すべき映像データを所定時間だけ遅延させて出力する映像データ遅延手段を有することを特徴としたものである。【００２０】
第６の技術手段は、第１ないし第５のいずれか１の技術手段における視聴環境制御装置と、視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システムである。【００２１】
第７の技術手段は、表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御方法であって、映像データにおける同一シーン内では、照明装置の照明光を略一定に保持することを特徴としたものである。【００２２】
第８の技術手段は、第７の技術手段において、映像データを構成するシーンの区間を検出するシーン区間検出ステップと、シーン区間検出ステップで検出された各シーンの映像特徴量を検出する映像特徴量検出ステップと、映像特徴量検出ステップによる検出結果に基づいて、照明装置の照明光をシーン毎に切り替えて制御する照明切替判定ステップと、を有することを特徴としたものである。【００２３】
第９の技術手段は、第８の技術手段において、シーン区間検出ステップとして、映像データの１フレームごとにシーン開始点を検出するステップと、シーン開始点が検出されたときにシーン開始点のタイムコードを記録するステップと、シーン開始点が検出された後、シーン開始点の後の１フレームごとにシーン終了点を検出するステップと、シーン検出点が検出されたときにシーン終了点のタイムコードを記録するステップとを有し、映像特徴量検出ステップとして、記録したシーン開始点及びシーン終了点のタイムコードに該当するシーン区間の映像データを再生するステップと、再生した映像データを使用して、シーンの映像特徴量を検出するステップと、を有することを特徴としたものである。【００２４】
第１０の技術手段は、第８の技術手段において、シーン区間検出ステップとして、映像データからシーン開始点を検出するステップを有し、さらにシーン開始点が検出されたときに、シーン開始点以後の所定フレーム数の映像データを取得するステップを有し、映像特徴量検出ステップは、取得した所定フレーム数の映像データを使用して、シーン開始点から開始したシーンの映像特徴量を検出することを特徴としたものである。【００２５】
第１１の技術手段は、第８の技術手段において、シーン区間検出ステップとして、映像データからシーン開始点を検出するステップと、映像データからシーン終了点を検出するステップとを有し、さらに、シーン開始点が検出されたときに、シーン開始点以後の所定フレーム数の映像データを取得するステップと、シーン開始点以後の所定フレーム数の映像データを取得する前に、シーン終了点を検出した場合、再び映像データからシーン開始点を検出するステップとを有し、映像特徴量検出ステップは、取得した所定フレーム数の映像データを使用して、シーン開始点から開始したシーンの映像特徴量を検出することを特徴としたものである。【００２６】
第１２の技術手段は、第１０または第１１の技術手段において、表示すべき映像データを所定時間だけ遅延させて出力することを特徴としたものである。【００２７】
第１３の技術手段は、１以上のシーンから構成される映像データを送信するデータ送信装置において、映像データの各シーンの区切り位置を示すシーン区切り位置情報を、映像データに付加して送信することを特徴としたものである。【００２８】
第１４の技術手段は、第１３の技術手段において、シーン区切り位置情報が、前記映像データのフレーム単位で付加されることを特徴としたものである。【００２９】
第１５の技術手段は、外部からの要求を受けて、映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報を送信するデータ送信装置であって、シーン区切り位置情報が、映像データを構成する各シーンの開始フレームを表わすものであることを特徴としたものである。【００３０】
第１６の技術手段は、第１５の技術手段において、シーン区切り位置情報が、映像データを構成する各シーンの開始フレームと、各シーンの終了フレームとを表わすものであることを特徴としたものである。【００３１】
第１７の技術手段は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信する受信手段と、映像データの特徴量とシーン区切り位置情報とを用いて、表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴としたものである。【００３２】
第１８の技術手段は、第１７の技術手段において、制御手段が、映像データにおける同一シーン内では、照明装置の照明光を略一定に保持することを特徴としたものである。【００３３】
第１９技術手段は、第１７または第１８の技術手段による視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システムである。【００３４】
第２０の技術手段は、１以上のシーンから構成される映像データを送信するデータ送信方法において、映像データの各シーンの区切り位置を示すシーン区切り位置情報を、映像データに付加して送信することを特徴としたものである。【００３５】
第２１の技術手段は、外部からの要求を受けて、映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報を送信するデータ送信方法であって、シーン区切り位置情報は、映像データを構成する各シーンの開始フレームを表わすものであることを特徴としたものである。【００３６】
第２２の技術手段は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信し、映像データの特徴量と、シーン区切り位置情報とを用いて、表示装置の周辺に設置された照明装置の照明光を制御することを特徴としたものである。【００３７】
第２３の技術手段は、第２２の技術手段において、映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴としたものである。
【発明の効果】
【００３８】
本発明によれば、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて、視聴環境の照明光を適切に制御することが可能となり、視聴者に臨場感を与えてより高度な映像効果を得ることができる。【００３９】
特に本発明では、表示すべき映像のシーン毎にその映像特徴量を検出することによって、そのシーンが撮影された場の照明光の状態を推定し、その推定結果に従って映像表示装置周囲の照明光を制御する。これにより、映像制作者等の意図により一つの雰囲気が連続する一区切りのシーン内では、そのシーンの映像特徴量検出結果に従って略一定の状態で照明を行うことができ、視聴者はそのシーンの臨場感を違和感なく感じることができるようになる。
【図面の簡単な説明】
【００４０】
【図１】本発明に関わる視聴環境制御装置における要部概略構成を説明するための図である。
【図２】映像の構成要素を説明するための図である。
【図３】本発明に関わる視聴環境制御装置の一実施形態を説明するためのブロック図である。
【図４】本発明に関わる視聴環境制御装置の他の実施形態を説明するためのブロック図である。
【図５】本発明に関わる視聴環境制御装置の更に他の実施形態を説明するためのブロック図である。
【図６】本発明に関わる視聴環境制御装置の一実施形態におけるシーン区切り検出処理及び場（雰囲気）推定処理の流れの一例を説明するためのフローチャートである。
【図７】本発明に関わる視聴環境制御装置の他の実施形態におけるシーン区切り検出処理及び場（雰囲気）推定処理の流れの一例を説明するためのフローチャートである。
【図８】本発明に関わる視聴環境制御装置の更に他の実施形態におけるシーン区切り検出処理及び場（雰囲気）推定処理の流れの一例を説明するためのフローチャートである。
【図９】シーンの区切り検出及び場（雰囲気）の推定結果に基づいて照明装置の切替制御を行う照明切替制御部の処理例を説明するためのフローチャートである。
【図１０】色温度の推定処理の実施例を説明するための図である。
【図１１】シーン区切り検出処理の一例を説明するためのフローチャートである。
【図１２】シーン区切り検出処理の他の例を説明するためのフローチャートである。
【図１３】本発明の視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。
【図１４】ＭＰＥＧにより符号化された動画像の符号化データの階層構造を説明するための図である。
【図１５】シーンチェンジを説明するための図である。
【図１６】図１３に対応する実施形態における映像受信装置の要部概略構成を示すブロック図である。
【図１７】図１６における照明制御データ生成部を示すブロック図である。
【図１８】図１６における照明制御データ生成部の動作を示すフローチャートである。
【図１９】本発明の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。
【図２０】図１９の視聴環境制御システムにおけるシーン区切り位置情報格納テーブルの一例を示す説明図である。
【図２１】図１９に対応する実施形態における映像受信装置の要部概略構成を示すブロック図である。
【図２２】図２１における照明制御データ生成部を示すブロック図である。
【図２３】図２１における照明制御データ生成部の動作を示すフローチャートである。
【図２４】色差ΔＥのレベルと一般的な視覚の程度を示した図である。
【図２５】従来技術による照明変動の問題点の一例を説明するための図である。
【図２６】従来技術による照明変動の問題点の他の例を説明するための図である。
【符号の説明】
【００４１】
１…映像表示装置、２…場（雰囲気）推定処理、３…シーン区切り検出処理、４…視聴環境制御、５…照明装置、１０…データ伝送部、２０…映像記録装置、２１…映像データ抽出部、２２…シーン区間検出部、２２ａ…開始点検出部、２２ｂ…終了点検出部、２３…場（雰囲気）推定部、２４…シーン開始点検出部、２５…映像データ蓄積部、２６…照明切替制御部、２７…シーン終了点検出部、３１…シーン照明データ、３２…映像記録データ、４０…映像再生装置、４１…照明切替制御部、５０…映像受信装置、６０…ディレイ発生部、７０…映像受信装置、１０１…データ多重部、１０２…送信部、１３１，１６１…受信部、１３２，１６２…データ分離部、１３３，１３４…ディレイ発生部、１３５，１６５…照明制御データ生成部、１３６…映像表示装置、１３７…音声再生装置、１３８…照明装置、１５１…受信部、１５２…データ格納部、１５３…送信部、１６６…ＣＰＵ、１６７…送信部、１６８…受信部
【発明を実施するための最良の形態】
【００４２】
図１は、本発明に関わる視聴環境制御装置における要部概略構成を説明するための図である。視聴環境制御装置は、テレビジョン装置などの映像表示装置１に表示する映像について、その映像の撮影シーンにおける場（雰囲気）を推定する場（雰囲気）推定処理部２と、映像のシーン区切り（開始点、終了点）を検出するシーン区切り検出処理部３とを備えている。また、視聴環境制御装置は、上記の場（雰囲気）推定処理部２とシーン区切り検出処理部３との推定／検出結果に基づいて、照明装置５の照明光を可変制御するための照明制御信号を出力し、映像表示装置１の周囲の視聴環境を制御する視聴環境制御部４を備えている。【００４３】
映像表示装置１の周囲には、その周囲環境を照明するための照明装置５が備えられる。この照明装置５は、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置５は、映像表示装置１の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置５は１個以上設置されていればよい。【００４４】
視聴環境制御装置は、上記の視聴環境制御部４において、場（雰囲気）推定処理部２とシーン区切り検出処理部３とにより生成された照明制御信号に従って、照明装置５の照明色及び照明の明るさを制御する。ここでは照明制御信号により、映像中の一つのシーンが表示されている間は、照明光の状態が略一定となるように照明装置５を制御する。これにより、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて映像表示装置１の周囲の照明光を制御することができ、視聴者に臨場感を与えてより高度な映像効果を得ることができる。【００４５】
次に、本発明の視聴環境制御に関連するシーンやショットを含む映像の構成について、図２を参照して説明する。ビデオ映像は、図２に示すように、３層（レイヤ）構成に分けて考えることができる。
映像(Ｖｉｄｅｏ)を構成する第１レイヤは、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。【００４６】
第２レイヤはショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして第３レイヤがシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。本発明ではこのように定義されるシーンの区切りを推定して、各シーンごとに照明装置から発光させる照明光を略一定に保持するように制御する。【００４７】
図３は、本発明に関わる視聴環境制御装置の一実施形態を説明するためのブロック図で、データ蓄積側の処理ブロックを図３（Ａ）に、再生側の処理ブロックを図３（Ｂ）に示すものである。本実施形態の視聴環境制御装置は、映像データを映像記録装置に一旦記録し、その映像データを再生するときに映像表示装置の周囲に設置された照明装置の照明光を制御できるようにした構成を有するものである。【００４８】
まず、図３（Ａ）のデータ蓄積側の構成及びその処理について説明する。ここでは放送により伝送される放送データを例として考える。放送データは、データ伝送部１０を介して映像記録装置２０に入力される。データ伝送部１０は、映像記録装置に対して放送データを伝送する機能を備えるもので、その具体的構成は限定されない。例えば、チューナで受信した放送信号を映像記録装置に記録可能な形態で出力する処理系を含むものでもよく、あるいは他の記録再生装置や記録メディアから映像記録装置２０に対して放送データを伝送するものであってもよく、あるいはネットワークや他の通信回線を介して放送データを映像記録装置２０に伝送するものであってもよい。【００４９】
データ伝送部１０により伝送された放送データは、映像記録装置２０の映像データ抽出部２１に入力する。映像データ抽出部２１では、放送データに含まれる映像データとＴＣ（タイムコード）とを抽出する。この映像データは、映像表示装置に表示すべき映像のデータであり、タイムコードは、映像データの再生時間情報を示すために付加された情報である。タイムコードは、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。【００５０】
映像データ抽出部２１が抽出した映像データとＴＣ（タイムコード）は、シーン区間検出部２２に入力され、また後述する映像再生装置４０で再生する映像記録データ３２として記録手段に記録保持される。【００５１】
映像記録装置２０のシーン区間検出部２２は、映像データ抽出部２１で抽出された映像データのシーン区間の検出を行う。シーン区間検出部２２は、シーンの開始点を検出する開始点検出部２２ａと、シーンの終了点を検出する終了点検出部２２ｂとを有している。そして、これら開始点検出部２２ａと終了点検出部２２ｂとによりシーンの開始点と終了点を検出し、シーン区間検出部２２から開始点ＴＣ（タイムコード）と終了点ＴＣ（タイムコード）とを出力する。開始点ＴＣと終了点ＴＣは、映像データ抽出部２１で抽出されたＴＣから生成される。【００５２】
場（雰囲気）推定部（本発明の映像特徴量検出手段に相当）２３は、シーン区間検出部２２で検出された開始点ＴＣと終了点ＴＣを使用し、開始点から終了点までのシーンの映像特徴量から、そのシーンが撮影された場（雰囲気）を推定する。場（雰囲気）は、各シーンにおいて撮影されたときの周囲光の状態を推定するもので、場（雰囲気）推定部２３は、その推定結果に従って照明装置を制御するための照明制御データを生成し、その照明制御データをシーンの開始点ＴＣ及び終了点ＴＣとともに出力する。そして、これらの照明制御データ、開始点ＴＣ、及び終了点ＴＣは、シーン照明データ３１として記録保持される。【００５３】
上記のシーン区間検出部２２におけるシーン区間の検出は、入力した映像データの全長（あるいはユーザ設定等に基づく一部）に亘って実行処理され、その対象となる映像データに含まれる全てのシーン区間が検出される。そして場（雰囲気）推定部２３は、シーン区間検出部２２で検出された全てのシーンについて場（雰囲気）の推定を行い、シーン毎に照明制御データを生成する。
このようにして、対象となった全てのシーン毎にその照明制御データと開始点ＴＣと終了点ＴＣとが生成され、これらがシーン照明データ３１として記憶手段に記憶保持される。【００５４】
上記のシーン照明データ３１及び映像記録データ３２を記憶する記憶手段（ＨＤＤやメモリ、他の記録媒体等）は、映像記録装置２０に備えられていてもよく、また映像再生装置４０に備えられていてもよい。さらに、映像記録装置２０と映像再生装置４０とが一体となった映像記録再生装置の記憶手段を用いることもできる。【００５５】
また、上記のシーン区間の検出処理、及び場（雰囲気）の推定処理の具体例は後述して説明するが、本発明ではこれらの処理手法を特に限定するものではなく、映像データを構成するシーン区間の検出を行い、そのシーン毎に撮影時の周囲光の状態を推定する手法を適宜適用することができる。以下の各実施形態におけるシーン開始点／終了点検出処理及び場（雰囲気）推定処理についても同様である。【００５６】
次に、図３（Ｂ）の再生側の構成及びその処理について説明する。映像再生装置４０では、所定の記憶手段に記憶されているシーン照明データ３１及び映像記録データ３２を使用し、映像表示装置１に対する映像データの表示制御と、照明装置５の照明光の制御とを行う。【００５７】
映像再生装置４０は、映像記録データ３２に含まれる映像データを映像表示装置１に出力して、その表示画面に映像表示させる。
また、照明切替制御部４１は、映像表示させる映像データに関するシーン照明データ３１（照明制御データ、開始点ＴＣ、及び終了点ＴＣ）を取得する。そして再生表示を行う映像記録データのＴＣと、取得したシーン照明データ３１の開始点ＴＣ及び終了点ＴＣとに従って再生中のシーンを判別し、その再生中のシーンに該当する照明制御データを使用して照明装置５を制御する。照明装置５に出力する照明制御データは、映像表示装置１に出力する映像データに同期しているため、映像表示装置１における再生映像のシーンの切替に応じて、照明制御データも切り替わる。【００５８】
照明装置５は、上述のように照明色及び明るさの制御が可能なＬＥＤ等の光源により構成されていて、照明切替制御部４１から出力される照明制御データに従ってその照明色や明るさが切り替えられる。
上記のようにして、蓄積型の視聴環境制御装置は、映像データを再生するときにシーン単位で周囲の照明を切替制御することが可能となる。【００５９】
図４は、本発明に関わる視聴環境制御装置の他の実施形態を説明するためのブロック図である。本実施形態の視聴環境制御装置は、入力した映像データをリアルタイムで映像表示装置に表示するとともに、映像表示装置の周囲に設置された照明装置の照明光を制御する構成を有するものである。【００６０】
本実施形態においても、放送により伝送される放送データを入力して再生する場合について説明する。放送データは、データ伝送部１０を介して映像受信装置５０に入力される。データ伝送部１０は、上記図３と同様の機能を有するものである。
データ伝送部１０により伝送された放送データは、映像受信装置５０の映像データ抽出部２１に入力される。そして映像データ抽出部２１では、放送データに含まれる映像データとＴＣ（タイムコード）とを抽出する。【００６１】
映像データ抽出部２１が抽出した映像データとＴＣは、シーン開始点検出部２４に入力される。シーン開始点検出部２４は、映像データ抽出部２１で抽出された映像データのシーンの開始点を検出し、映像データと開始点ＴＣ（タイムコード）とを出力する。開始点ＴＣは、映像データ抽出部２１で抽出されたＴＣから生成される。なお本実施形態では、シーン開始点検出部２４が本発明のシーン区間検出部に該当する。【００６２】
映像データ蓄積部２５は、各シーンの場（雰囲気）を判定するために、シーン開始点検出部２４で抽出された開始点ＴＣ（タイムコード）に基づき、一時的に各シーンの映像データにおける先頭部分の所定数のフレームを蓄積する。ここでの所定数は予めデフォルトで定めてもよく、あるいはユーザ操作に従って任意に可変設定可能としてもよい。例えば、所定数として１００フレーム等を設定しておく。【００６３】
場（雰囲気）推定部（本発明の映像特徴量検出手段に相当）２３は、映像データ蓄積部２５に蓄積された所定フレーム数の映像データから検出したシーン毎の特徴量とそのシーンの開始点ＴＣ（タイムコード）とを使用して、その映像シーンの場（雰囲気）を推定する。シーンの場（雰囲気）は、上述のように映像が撮影されたときの照明光の状態に対応するものである。
そして、場（雰囲気）推定部２３は、その推定結果に従って照明装置５を制御するための照明制御データを生成し、その照明制御データを照明切替制御部２６に出力する。【００６４】
上記のシーン開始点検出部２４におけるシーン開始点の検出は、入力した映像データの全長（あるいは、ユーザ設定等に基づく一部）に亘って実行処理され、その対象となる映像データに含まれる全てのシーンの開始点が検出される。映像データ蓄積部２５では、各シーンごとにその先頭部分の所定フレーム数の映像データが蓄積される。そして場（雰囲気）推定部２３は、蓄積された各シーンの映像特徴量を検出することにより、各シーンの場（雰囲気）の推定を行い、シーン毎に照明制御データを生成する。【００６５】
一方、映像表示装置１に表示させる映像データは、映像データ抽出部２１からディレイ発生部（本発明の映像データ遅延手段に相当）６０に入力され、照明切替制御部２６から出力される照明制御データに同期するようにディレイ（遅延）処理が行われ、映像表示装置１に出力される。
すなわち、入力した映像データを映像表示装置１に表示するときに、上述の映像データ蓄積処理、及び場（雰囲気）推定処理による処理時間が必要であり、放送データの入力から照明制御データの出力までの間に時間差が生じる。ディレイ発生部６０では、この時間差分だけ映像表示装置１への映像データの出力を遅延させる。これにより、映像受信装置５０から照明装置５に出力される照明制御データと、映像表示装置１に出力される映像データとが同期することとなり、表示映像のシーンの切り替わりに対応したタイミングで照明装置５の照明光を切り替えることができる。【００６６】
図５は、本発明に関わる視聴環境制御装置の更に他の実施形態を説明するためのブロック図である。本実施形態の視聴環境制御装置は、入力した映像データをリアルタイムで映像表示装置に表示するとともに、映像表示装置の周囲に設置された照明装置の照明光を制御するもので、図４に対してシーン終了点検出部２７が加えられた構成を有するものである。本実施形態では、シーン開始点検出部２４とシーン終了点検出部２７とが本発明のシーン区間検出手段に該当する。【００６７】
映像受信装置７０のシーン開始点検出部２４は、上記図４と同様に、映像データ抽出部２１で抽出された映像データのシーンの開始点を検出し、映像データと開始点ＴＣ（タイムコード）とを出力する。そして映像データ蓄積部２５と場（雰囲気）推定部２３では、上記図４と同様な処理が実行され、場（雰囲気）推定部２３からは、照明装置５を制御するための照明制御データが出力される。【００６８】
上記図４の実施形態では、シーンの開始点のみを検出して照明制御データを生成するようにしていたが、本実施形態では、シーン終了点検出部２７によりシーンの終了点を検出し、その検出結果に基づいて照明光の切り替えを制御するようにしている。
シーン終了点検出部２７には、映像データ抽出部２１で抽出された映像データとＴＣ（タイムコード）とが入力され、またシーン開始点検出部２４で検出された開始点ＴＣが入力される。なお映像データは、シーン開始点検出部２４から入力するようにしてもよい。【００６９】
シーン終了点検出部２７では、入力した映像データのシーンの終了点を検出し、シーンの開始点ＴＣと終了点ＴＣとを照明切替制御部２６に出力する。
照明切替制御部２６は、場（雰囲気）推定部（本発明の映像特徴量検出手段に相当）２３から出力された照明制御データに従って、そのシーンの照明制御データを照明装置５に出力する。そしてシーン終了点検出部２７でシーン終了点が検出されるまでは、同一の照明制御データによる照明装置５の制御を保持する。【００７０】
上記のシーン開始点検出部２４とシーン終了点検出部２７におけるシーン開始点と終了点の検出は、入力した映像データの全長（あるいは、ユーザ設定等に基づく一部）に亘って実行処理され、その対象となる映像データに含まれる全てのシーンの開始点と終了点が検出される。映像データ蓄積部２５には、各シーンごとにその先頭部分の所定フレーム数の映像データが蓄積される。そして場（雰囲気）推定部２３は、蓄積された各シーンの映像特徴量を検出することにより、各シーンの場（雰囲気）の推定を行い、シーン毎に照明制御データを生成する。【００７１】
ディレイ発生部（本発明の映像データ遅延手段に相当）６０は、上記図４の構成と同様に、映像データ抽出部２１からの映像データを入力し、照明切替制御部２６から出力される照明制御データに同期するようにディレイ（遅延）処理を行って映像表示装置１に出力する。これにより、映像受信装置７０から照明装置５に出力される照明制御データと、映像表示装置１に出力される映像データとが同期することとなり、表示映像のシーンの切り替わりに対応したタイミングで照明装置５の照明光を切り替えることができる。【００７２】
本実施形態では、シーンの開始点と終了点とを検出して、場（雰囲気）推定処理および照明切替処理を行う構成としている。すなわち、あるシーンの開始から所定フレーム数の映像データが蓄積される前にそのシーンが終了した場合、そのシーンの映像データに基づいた場（雰囲気）推定処理および照明切替制御を行わないようにしている。例えば、シーンとシーンとの間に短時間の不要なシーン（あるいはフレーム、ショット）が存在する場合に、それらを取り除いて場（雰囲気）の推定処理を行うとともに周囲照明光の切替制御を行うことができる。
不要なシーンとして、例えばシーンとシーンとの間に文字画面からなるごく短い説明用映像（ショット）が挿入されるケースなどが考えられる。このようなショットは、ごく短い時間表示されるため照明光を制御する必要がなく、また照明光を制御すると却って違和感が生じるおそれがある。本実施形態によって、所望のシーン区間毎の場（雰囲気）を適切に推定して、より有効な照明光制御を行うことができるようになる。【００７３】
図６は、シーン区切り検出処理及び場（雰囲気）推定処理の流れの一例を説明するためのフローチャートで、上記図３（Ａ）に示した、一実施形態にかかる蓄積型の視聴環境制御装置における処理例を示すものである。
シーン区間検出部２２におけるシーン区間検出処理では、まず映像データから新しいフレームを取得する（ステップＳ１）。そしてその取得したフレームに対してシーン開始点の検出処理を行い、シーン開始点（フレーム）かどうかを判別する（ステップＳ２，Ｓ３）。【００７４】
取得したフレームがシーン開始点でなければ、上記ステップＳ１に戻ってさらに新しいフレームを取得し、シーン開始点検出処理を行う。また取得したフレームがシーン開始点であれば、このときのＴＣをシーンの開始点ＴＣとして記録する（ステップＳ４）。【００７５】
次いで、映像データから次のフレームを取得し（ステップＳ５）、シーン終了点の検出処理を行ってシーン終了点かどうかを判別する（ステップＳ６、Ｓ７）。取得したフレームがシーン終了点でなければ、ステップＳ５に戻ってさらに次のフレームを取得し、シーン終了点の検出処理を行う。また取得したフレームがシーン終了点であれば、このときのＴＣをシーンの終了点ＴＣとして記録する（ステップＳ８）。以上の処理によりシーン区間検出処理が終了する。【００７６】
次いで、場（雰囲気）推定部２３により場（雰囲気）推定処理が行われる。上述のシーン区間検出処理によって記録された開始点ＴＣと終了点ＴＣは、場（雰囲気）推定部２３に送られる。場（雰囲気）推定部２３では、まずその開始点ＴＣと終了点ＴＣとを参照し（ステップＳ９）、その対象シーン区間を再生する（ステップＳ１０）。そしてその対象シーン区間の映像データの特徴量を検出することにより、その対象シーン区間に対する場（雰囲気）推定処理を行ない（ステップＳ１１）、その推定処理結果に基づいて照明装置を制御するための照明制御データを取得する（ステップＳ１２）。
そして処理が終了であるかどうかを判別する（ステップＳ１３）。ここでは例えば映像データが終了した場合には、シーン区間検出及び場（雰囲気）の推定処理も終了し、映像データがさらに続く場合にはステップＳ１に戻ってシーン区間検出処理を続行する。【００７７】
図７は、シーン区切り検出処理及び場（雰囲気）推定処理の流れの他の例を説明するためのフローチャートで、上記図４に示した、他の実施形態にかかるリアルタイム型の視聴環境制御装置における処理例を示すものである。
シーン開始点検出部２４におけるシーン開始点検出処理では、まず映像データから新しいフレームを取得する（ステップＳ２１）。そしてその取得したフレームに対してシーン開始点の検出処理を行い、シーン開始点（フレーム）かどうかを判別する（ステップＳ２２，Ｓ２３）。【００７８】
取得したフレームがシーン開始点でなければ、上記ステップＳ２１に戻ってさらに新しいフレームを取得してシーン開始点検出処理を行う。また取得したフレームがシーン開始点であれば、さらに次のフレームを取得する（ステップＳ２４）。
そして、上記ステップＳ２４で次のフレームを取得することにより、取得したフレーム数がシーン開始点から予め定めたｎフレームに達したかどうかを判別する（ステップＳ２５）。シーン開始点から取得した累積フレーム数がｎフレームに達していなければ、ステップＳ２４に戻って次のフレームを取得する。またシーン開始点から取得した累積フレーム数がｎフレームに達していれば、場（雰囲気）の推定処理に移行する。取得したｎフレーム分の映像データは、映像データ蓄積部２５に蓄積される。【００７９】
場（雰囲気）推定部２３は、映像データ蓄積部２５に蓄積されたｎフレーム分の映像データを用いて映像特徴量を検出することにより、そのシーンの場（雰囲気）の推定処理を行い（ステップＳ２６）、その推定処理結果に基づいて、照明装置５を制御するための照明制御データを取得する（ステップＳ２７）。そして照明制御データに基づき照明装置５による照明光の切替制御を行い（ステップＳ２８）、この後処理が終了であるかどうかを判別する（ステップＳ２９）。ここでは例えば映像データが終了した場合には、シーン区間検出及び場（雰囲気）の推定処理も終了し、映像データがさらに続く場合には、ステップＳ２１に戻って新しいフレームを取得する。【００８０】
図８は、シーン区切り検出処理及び場（雰囲気）推定処理の流れの更に他の例を説明するためのフローチャートで、上記図５に示した、更に他の実施形態にかかるリアルタイム型の視聴環境制御装置における処理例を示すものである。
シーン開始点検出部２４におけるシーン開始点検出処理では、まず映像データから新しいフレームを取得する（ステップＳ３１）。そしてその取得したフレームに対してシーン開始点の検出処理を行い、シーン開始点（フレーム）かどうかを判別する（ステップＳ３２，Ｓ３３）。【００８１】
取得したフレームがシーン開始点でなければ、上記ステップＳ３１に戻ってさらに新しいフレームを取得し、シーン開始点検出処理を行う。また取得したフレームがシーン開始点であれば、さらに次のフレームを取得する（ステップＳ３４）。そしてそのフレームがシーン終了点（フレーム）かどうかを判別し、シーン終了点であればステップＳ３１に戻って新しいフレームを取得する。また上記ステップＳ３４で取得したフレームがシーン終了点でなければ、ここで取得したフレーム数がシーン開始点から予め定めたｎフレームに達したかどうかを判別する（ステップＳ３６）。シーン開始点から取得した累積フレーム数がｎフレームに達していなければ、ステップＳ３４に戻って次のフレームを取得する。またシーン開始点から取得した累積フレーム数がｎフレームに達していれば、場（雰囲気）の推定処理に移行する。取得したｎフレーム分の映像データは、映像データ蓄積部２５に蓄積される。【００８２】
場（雰囲気）推定部２３は、映像データ蓄積部２５に蓄積されたｎフレーム分の映像データを用いて映像特徴量を検出することにより、そのシーンの場（雰囲気）の推定処理を行い（ステップＳ３７）、その推定処理結果に基づいて照明装置５を制御するための照明制御データを取得する（ステップＳ３８）。そして照明制御データに基づき照明装置５による照明光の切替制御を行う（ステップＳ３９）。
そしてこの後、次のフレームを取得し（ステップＳ４０）、取得したフレームに対するシーン終了点の検出処理を行って、取得したフレームがシーン終了点（フレーム）かどうかを判別する（ステップＳ４１，Ｓ４２）。【００８３】
上記シーン終了点の検出処理により、シーンが終了していなければ、ステップＳ４０に戻ってさらに次のフレームを取得する。またシーン終了であれば、さらに処理が終了であるかどうかを判別する（ステップＳ４３）。ここでは例えば映像データが終了した場合にはシーン区間検出及び場（雰囲気）の推定処理も終了し、映像データがさらに続く場合には、ステップＳ３１に戻って新しいフレームを取得する。【００８４】
図９は、シーンの区切り検出及び場（雰囲気）の推定結果に基づいて照明装置の切替判定を行う照明切替制御部の処理例を説明するためのフローチャートで、図３（Ｂ）に示した、一実施形態にかかる蓄積型の視聴環境制御装置における照明切替制御部４１の処理例に該当する。【００８５】
照明切替制御部４１は、まず映像データの蓄積側である映像記録装置で記録された映像記録データ３２から、新しいフレームのＴＣ（タイムコード）を取得する（ステップＳ５１）。そして映像記録装置で記憶されたシーン照明データ３１の開始点ＴＣと、上記ステップＳ５１で取得した新しいフレームのＴＣとを比較し、これらが一致するかどうかを判別する（ステップＳ５２）。ここで開始点ＴＣと取得したフレームのＴＣが一致しなければ、ステップＳ５１に戻ってさらに新しいフレームのＴＣを取得する。【００８６】
また、照明切替制御部４１は、上記ステップＳ５２で開始点ＴＣと新しいフレームのＴＣが一致すれば、照明装置５にそのフレームから始まるシーンの照明制御データを送信する（ステップＳ５３）。照明装置５では、送信された照明制御データに従ってその照明光を変更する（ステップＳ５４）。【００８７】
そして、照明切替制御部４１は、映像記録装置で記憶されたシーン照明データ３１の終了点ＴＣと、上記ステップＳ５１で取得した新しいフレームのＴＣとを比較し、これらが一致するかどうかを判別する（ステップＳ５５）。ここで終了点ＴＣと取得したフレームのＴＣが一致しなければ、ステップＳ５１に戻ってさらに新しいフレームのＴＣを取得する。また終了点ＴＣと新しいフレームのＴＣが一致すれば、シーン終了を示すシーン終了情報を照明装置５に送信する（ステップＳ５６）。シーン終了情報は照明制御データに含まれるもので、例えば照明制御データ（Ｒ，Ｇ，Ｂ）＝（０，０，０）を用いることができる。【００８８】
照明装置５では、送信されたシーン終了情報に従って照明装置の照明光を変更する（ステップＳ５７）。そして処理が終了であるかどうかを判別し（ステップＳ５８）、処理が終了でなければステップＳ５１に戻って新しいフレームのＴＣを取得する。【００８９】
次に、上記各実施形態で実施される場（雰囲気）推定手法の具体例を説明する。場（雰囲気）の推定処理は、上述のように表示すべき映像データの特徴量に基づいて、その映像を撮影した現場の照明状態や場面設定（雰囲気）を推定するもので、本発明ではその処理手法を限定するものではないが、例えば文献「シーン照明の色温度推定」，富永昌治，戎井悟，Ｂ.Ａ.Ｗａｎｄｅｌｌ，信学技報，ＰＲＭＵ９９−１８４，１９９９．に記載されたセンサ相関法を適用することができる。
センサ相関法では、センサ空間で色温度毎にセンサ出力の占める色域を予め求めておき、その色域と獲得した画像画素分布との相関を調べることによって色温度を推定する。【００９０】
例えば、本実施形態では、上記のようなセンサ相関法を適用して各シーンの映像データから、その映像の撮影時の照明の色温度を推定することができる。
処理方法の手順としては、センサ出力が占める色域を予め求めておき、対象画素の全画素を正規化し、正規化した（Ｒ，Ｂ）座標値をＲＢ平面上にプロットし、対象画像の（Ｒ，Ｂ）座標値と最も相関の高い色域を対象画像の色温度として推定する。上記色域は、例えば５００Ｋごとに求めておく。【００９１】
上記の色温度の推定においては、シーン照明を分類するために色温度ごとにセンサ出力が占め得る色域が色空間内に定義される。ここでは各色温度の分光分布の下で様々な物体表面に対するセンサ出力のＲＧＢ値を求める。そしてこれらのＲＧＢの凸包をＲＢ平面上に投影した２次元照明光域を使用する。この照明光域は、上記のようにセンサ出力が占める５００Ｋごとの色域により形成することができる。【００９２】
センサ相関法では、画像間における全体的な輝度差を調整するために画像データのスケーリング演算処理が必要となる。対象画素のうちのi 番目画素の輝度をIiとおき， 最大値をＩmax する。そして異なった画像間での輝度調整のために、センサ出力をＲＧＢと最大値で次のように正規化する。
（ＲＧＢ）＝ ( Ｒ／Ｉmax，Ｇ／Ｉmax，Ｂ／Ｉmax )
Ｉmax＝ｍａｘ（Ｒｉ２＋Ｇｉ２＋Ｂｉ２）１／２【００９３】
そして、上記の照明色域が投影されたＲＢ平面に対して、上記で正規化された（Ｒ，Ｂ）座標値をプロットする。この照明色域を参照色域とし、プロットした対象画像の座標値と比較する。そして対象画像の座標値に最も相関の高い参照色域を選択して、その選択した参照色域により色温度を決定する。【００９４】
図１０は、色温度の推定処理の実施例を説明するための図で、図１０（Ａ）は白熱電球下での室内の撮影画像例を示す図、図１０（Ｂ）はＲＢ平面（ＲＢセンサ平面）における色域と対象画像のＲＢ座標値の例を示す図である。白熱電球の色温度は２８７６Ｋである。
図１０（Ｂ）に示すように、センサ出力が占める色域ａを５００Ｋ間隔でＲＢ平面上で予め求めておく。そして図１０（Ａ）に示すような対象画像を正規化して求めた（Ｒ，Ｂ）座標値をそのＲＢ平面にプロットする。【００９５】
図１０（Ｂ）に示すように、プロットされた対象画像の（Ｒ，Ｂ）座標値は、３０００Ｋの色域と最も相関が高く、本例では、対象画像は３０００Ｋであるものと推定される。
上記のような処理例を用いて、場（雰囲気）推定部２３では、映像データが撮影されたときの色温度を推定することができ、この推定値に応じて照明制御データを生成することができる。照明装置５では、上述のようにその照明制御データに従って照明光を制御し、上記映像データが撮影されたときの色温度を再現するように映像表示装置の周囲を照明することができる。
なお、場（雰囲気）の推定処理に使用する各シーンの映像特徴量としては、例えば上述した従来例のように、表示すべき映像データに含まれる所定画面領域の色信号と輝度信号をそのまま用いてもよいことは言うまでもない。
また、映像データに加えて、音声データや字幕データなどの各種付加データを用いて、場（雰囲気）推定処理を行ってもよい。【００９６】
次に、映像のシーン区切り検出処理部３の具体的な処理例について説明する。図１１は、シーン区切り検出処理の一例を説明するためのフローチャートで、上記図３に示した、一実施形態にかかる蓄積型の視聴環境制御装置におけるシーン区間検出部２２の処理例を示すものである。【００９７】
シーン区間検出部２２では、まず映像データ抽出部２１で抽出された映像データから新しいフレームを取得する（ステップＳ６１）。そして画像解像度変換処理を行って画像サイズを縮小する（ステップＳ６２）。
次いで、シーン区間検出部２２は、図示しないメモリに画素データがあるかどうかを判別し（ステップＳ６３）、メモリに画素データがあれば、その画素データからなるフレームと上記ステップＳ６１で取得したフレームとの間で、フレーム間の輝度信号変化量と色度信号変化量とを算出する（ステップＳ６４）。【００９８】
そして、シーン区間検出部２２は、上記の輝度信号変化量が所定の閾値よりも大きいかどうかを判別し（ステップＳ６５）、さらに色度信号変化量が所定の閾値より大きいかどうかを判別する（ステップＳ６６）。輝度信号変化量が所定の閾値よりも大きく、且つ色度信号変化量が所定の閾値より大きい場合、さらに上記ステップＳ６１で取得したフレームにシーン開始点フラグがあるかどうかを判別する（ステップＳ６７）。また上記ステップＳ６３でメモリに画素データがない場合、ステップＳ６５で輝度信号変化量が閾値よりも大きくない場合、及びステップＳ６６で色度信号変化量が閾値よりも大きくない場合、上記ステップＳ６１で取得したフレームの画素データをメモリに保存する（ステップＳ６９）。【００９９】
そして、ステップＳ６７でシーン開始点フラグがなければ、上記ステップＳ６１で取得したフレームのＴＣを開始点ＴＣとして記録し（ステップＳ６８）、メモリにそのフレームの画素データを保存する（ステップＳ６９）。
また、上記ステップＳ６７でシーン開始点フラグがあれば、上記ステップＳ６１で取得したフレームのＴＣを終了点ＴＣとして記録し（ステップＳ７１）、シーン終了点フラグをたてて（ステップＳ７２）、メモリに画素データを保存する（ステップＳ６９）。【０１００】
上記ステップＳ６９でメモリに画素データを保存した後、シーン区間検出部２２では、シーン終了点フラグがあるかどうかを判別し（ステップＳ７０）、シーン終了点フラグがあればシーン区間検出に関わる処理を終了し、シーン終了点フラグがなければ上記ステップＳ６１に戻って新しいフレームを取得する。【０１０１】
本例では、シーン区間を検出するためにフレーム間の輝度信号変化量と色度信号の変化量とを監視し、これらの値がそれぞれ所定の閾値より大きかったときにシーンの開始点または終了点であることが判別される。すなわち本例では、フレームが切り替わるとき一定以上の輝度の変化と色度の変化とがある場合に、シーンが切り替わるものと判断する。ここで輝度信号に加えて色度信号を利用する利点として、色度信号は、現実に存在する色を表現することが可能であり、シーン区間検出を精度良く実施できることがあげられる。【０１０２】
また、上記図４及び図５に示したような、他の実施形態にかかるリアルタイム型の視聴環境制御装置では、図１１のステップＳ６７以降の処理が不要となる。【０１０３】
図１２は、シーン区切り検出処理の他の例を説明するためのフローチャートで、上記図３に示した、一実施形態にかかる蓄積型の視聴環境制御装置におけるシーン区間検出部２２の他の処理例を示すものである。本例は、上記図１１の処理例に比較して色度信号の代わりに色温度信号を用いるものである。【０１０４】
シーン区間検出部２２では、まず映像データ抽出部２１で抽出された映像データから新しいフレームを取得する（ステップＳ８１）。そして画像解像度変化処理を行って画像サイズを縮小する（ステップＳ８２）。
次いで、シーン区間検出部２２は、図示しないメモリに画素データがあるかどうかを判別し（ステップＳ８３）、メモリに画素データがあれば、その画素データからなるフレームと上記ステップＳ８１で取得したフレームとの間で、フレーム間の輝度信号変化量と色温度信号変化量とを算出する（ステップＳ８４）。【０１０５】
そして、シーン区間検出部２２は、上記の輝度信号変化量が所定の閾値よりも大きいかどうかを判別し（ステップＳ８５）、さらに色温度信号変化量が所定の閾値より大きいかどうかを判別する（ステップＳ８６）。輝度信号変化量が所定の閾値よりも大きく、且つ色温度信号変化量が所定の閾値より大きい場合、さらに上記ステップＳ８１で取得したフレームにシーン開始点フラグがあるかどうかを判別する（ステップＳ８７）。また上記ステップＳ８３でメモリに画素データがない場合、ステップＳ８５で輝度信号変化量が閾値よりも大きくない場合、又はステップＳ８６で色温度信号変化量が閾値よりも大きくない場合、上記ステップＳ８１で取得したフレームの画素データをメモリに保存する（ステップＳ８９）。【０１０６】
そして、ステップＳ８７でシーン開始点フラグがなければ、上記ステップＳ８１で取得したフレームのＴＣを開始点ＴＣとして記録し（ステップＳ８８）、メモリにそのフレームの画素データを保存する（ステップＳ８９）。
また、上記ステップＳ８７でシーン開始点フラグがあれば、上記ステップＳ８１で取得したフレームのＴＣを終了点ＴＣとして記録し（ステップＳ９１）、シーン終了点フラグをたてて（ステップＳ９２）、メモリに画素データを保存する（ステップＳ８９）。【０１０７】
上記ステップＳ８９でメモリに画素データを保存した後、シーン区間検出部２２では、シーン終了点フラグがあるかどうかを判別し（ステップＳ９０）、シーン終了点フラグがあればシーン区間検出に関わる処理を終了し、シーン終了点フラグがなければ上記ステップＳ８１に戻って新しいフレームを取得する。【０１０８】
本例では、シーン区間を検出するためにフレーム間の輝度信号変化量と色温度信号の変化量とを監視し、これらの値がそれぞれ所定の閾値より大きかったときにシーンの開始点または終了点であることが判別される。すなわち本例では、フレームが切り替わるとき一定以上の輝度の変化と色温度の変化とがある場合に、シーンが切り替わるものと判断する。ここで輝度信号に加えて色温度信号を利用する利点として、色温度信号は、現実に存在する照明色を表現することが可能であるため、照明色以外の色を誤推定することがなくなることがあげられる。【０１０９】
また、上記図４及び図５に示したような、他の実施形態にかかるリアルタイム型の視聴環境制御装置では、図１２のステップＳ８７以降の処理が不要となる。【０１１０】
なお、上述のように本発明ではシーン区切りの推定手法を特定の手法に限定するものではない。上記の例では隣り合うフレーム間の輝度信号や色度信号、あるいは色温度信号を用いた非類似度に基づいてシーン区切りを判定しているが、より広い間隔をおいた２枚のフレーム間を比較して得られる非類似度に基づいてシーン区切りの推定を行ってもよい。この場合、例えば、２枚のフレーム間に現れる輝度信号等の特徴的なパターンに着目してシーン区切りであることを推定するようにしてもよい。【０１１１】
また、シーン区切りの推定手法として、映像データを利用するものに限ることなく、映像データに付随する音声データを使用することも考えられる。例えば、ステレオ音声のときに左右の音の差からシーンの切替を推定したり、また音声周波数の変化からシーンの切替を推定することが考えられる。【０１１２】
さらに、放送局側でシーン区切り位置情報を映像データに付加して送信するような形態を実現することにより、そのシーン区切り位置情報を利用してシーン毎に照明光の制御を行うようにすることができる。以下に、放送局側（データ送信側）にてシーン区切り位置情報を映像データに付加して送信し、受信側にてその放送データによる映像・音声を再生するとともに、そのときの視聴環境照明を制御するようにした視聴環境制御システムの実施形態を説明する。【０１１３】
図１３乃至図１９は、本発明の更に他の実施形態を説明するための図で、図１３は本実施形態の視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図、図１４はＭＰＥＧにより符号化された動画像の符号化データの階層構造を説明するための図、図１５はシーンチェンジを説明するための図である。【０１１４】
また、図１６は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図、図１７は図１６における照明制御データ生成部を示すブロック図、図１８は本実施形態の視聴環境制御システムにおける照明制御データ生成部の動作を示すフローチャートである。【０１１５】
本実施形態における映像送信装置（データ送信装置）は、図１３に示すように、映像データ、音声データ、付加データとして供給されたシーン区切り位置情報のそれぞれを多重するデータ多重部１０１と、データ多重部１０１の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部１０２とを備えている。シーン区切り位置情報は、映像データを構成する各シーンの区切り位置を示すものであり、ここでは、各映像シーンの開始フレームを示すものとする。【０１１６】
図１４はＭＰＥＧ２（Moving Picture Experts Group 2）−Systemsで規定された動画像符号化データにおける階層構造の一部概略を示す説明図である。複数の連続するピクチャからなるシーケンスの符号化データは、シーケンスレイヤ、ＧＯＰ（Group Of Pictures）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤ（不図示）の６層の階層構造となっており、ピクチャレイヤのデータは、先頭がピクチャヘッダー情報であり、その後に複数のスライスレイヤのデータ（スライス）が続く。【０１１７】
ピクチャヘッダー情報領域には、ピクチャ・タイプやフレーム全体のスケールなどの予め定められた種々の情報が記述されるピクチャヘッダー領域（picture header）に加えて、付加的な任意の情報を記述することができるユーザ・データ（extensions and user data）領域が設けられており、本実施形態では、このユーザ・データ領域にシーン区切り位置情報を記述する。例えば図１５に示す動画像シーケンスの場合、映像シーンの切替り開始フレーム１６に対しては「０００００００１」、その他のフレーム１１〜１５、１７〜２１に対しては「００００００００」からなる８ビットのシーン区切り位置情報を、各フレームのユーザ・データとして付加する。【０１１８】
尚、上記シーン区切り位置情報は、映像データを所定の方式により符号化（エンコード）する際に上述したピクチャレイヤのユーザ・データ領域に記述されるようにしてもよいことは言うまでもない。また、本発明においては、シナリオ（脚本）上のシーン変化点となるフレームを識別することが可能な情報を、映像データまたは音声データに付加すればよく、その際のデータ構造は上記のものに限らない。例えば、シーン開始フレームを示す情報を、ＭＰＥＧ２−Systemsで規定されたトランスポートストリームパケット（ＴＳＰ）の拡張ヘッダに付加して伝送するようにしてもよい。【０１１９】
さらに、上述したシーン区切り位置情報は、映像撮影時のシナリオ（脚本）に基づいて生成することができ、この場合、映像データの変化量に基づいて決定されるシーン変化点に対して、より映像制作者の意図を反映したシーン変化点を表現することが可能となり、後述する視聴環境照明の切替制御を適切に行うことができる。【０１２０】
ところで、図２を参照して上述したように、連続する動画像シーケンスを構成する映像データは、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤは、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤはショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤがシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。【０１２１】
ここでは、上述したとおり、映像データのフレーム単位で、上記シーン区切り位置情報を付加することができ、映像制作者（脚本家や演出家など）の意図に応じて、後述する視聴環境照明を切り替えることが望ましいタイミングに対応するフレームを示すことが可能になっている。【０１２２】
次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。【０１２３】
本実施形態における映像受信装置は、図１６に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部１３１と、受信部１３１の出力データから、映像表示装置１３６に出力する映像データ、ＴＣ（タイムコード）、音声再生装置１３７に出力する音声データ、ＴＣ（タイムコード）、付加情報としてのシーン区切り位置情報のそれぞれを分離・抽出するデータ分離部１３２と、データ分離部１３２で分離されたシーン区切り位置情報と、前記映像データ及び前記音声データの特徴量とに基づいて、各シーンの場面設定（雰囲気）に適応した照明制御データ（ＲＧＢデータ）を生成し、視聴環境空間を照明する照明装置１３８に出力する照明制御データ生成部１３５と、照明制御データ生成部１３５における処理時間分だけ映像データ、音声データを遅延して出力するディレイ発生部１３３，１３４とを備えている。【０１２４】
ここで、照明装置１３８は、映像表示装置１３６の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置１３８は、映像表示装置１３６の周囲環境の照明色及び明るさを制御することができるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置１３８は１個以上設置されていればよい。【０１２５】
そしてまた、タイムコードは、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。【０１２６】
次に、本実施形態の照明制御データ生成部１３５は、図１７に示すように、シーン区切り位置情報に基づいて、シーン区間の開始フレームを検出するシーン開始点検出部１４１と、シーン区間の開始点ＴＣから所定時間分の映像データ及び音声データを抽出し、これらに基づいて撮影現場の照明状態や場面設定（雰囲気）を推定する場（雰囲気）推定部１４２と、場（雰囲気）推定部１４２による推定結果に基づいて、照明装置１３８を制御する照明制御データを出力する照明制御部１４３とを備えている。【０１２７】
場（雰囲気）推定部１４２による撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。尚、ここでは、各シーンの場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。【０１２８】
また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。【０１２９】
この場（雰囲気）推定部１４２は、映像データ、音声データの特徴量に基づいて、映像撮影時の周囲光の色、明るさを推定するものであるが、ここでは、例えば各シーンの先頭部分における所定数のフレームの映像データ及び音声データを蓄積し、この蓄積された映像データ及び音声データの特徴量から、そのシーンの場（雰囲気）を推定する。シーンの場（雰囲気）は、上述のように映像が撮影されたときの照明光の状態に対応するものである。【０１３０】
ここで、上記各シーンの場（雰囲気）を推定するために蓄積するフレーム数ｎは、予めデフォルト（例えば、ｎ＝１００フレームなど）で定めておいてもよく、あるいはユーザ操作によって任意に可変設定可能としてもよい。以上のように、放送データに付加されたシーン区切り位置情報に応じて、各映像シーン毎に照明制御データを生成することが可能となり、同一シーン内では視聴環境照明光を略同一に保持することができる。【０１３１】
一方、映像表示装置１３６、音声再生装置１３７に出力される映像データ、音声データは、上述した映像データ及び音声データの蓄積処理及び場（雰囲気）推定処理に必要な時間分だけ、ディレイ発生部１３３，１３４により遅延されるため、映像受信装置から照明装置１３８に出力される照明制御データと、映像表示装置１３６、音声再生装置１３７に出力される映像データ、音声データとは同期することになり、表示映像のシーンの切り替わりに対応したタイミングで照明装置１３８の照明光を切り替えることが可能となる。【０１３２】
次に、照明制御データ生成部１３５における処理の流れを、図１８のフローチャートとともに説明する。まず入力映像データから新しいフレームを取得し（ステップＳ１０１）、その取得したフレームがシーン開始点（フレーム）かどうかを、シーン区切り位置情報に基づいて判別する（ステップＳ１０２）。取得したフレームがシーン開始点でなければ、上記ステップＳ１０１に戻ってさらに新しいフレームを取得してシーン開始点検出処理を行う。また取得したフレームがシーン開始点であれば、さらに次のフレームを取得する（ステップＳ１０３）。【０１３３】
そして、上記ステップＳ１０３で次のフレームを取得することにより、取得したフレーム数がシーン開始点から予め定めたｎフレームに達したかどうかを判別する（ステップＳ１０４）。シーン開始点から取得した累積フレーム数がｎフレームに達していなければ、ステップＳ１０３に戻って次のフレームを取得する。またシーン開始点から取得した累積フレーム数がｎフレームに達していれば、場（雰囲気）の推定処理に移行する。取得したｎフレーム分の映像データは、不図示のデータ蓄積部に蓄積される。【０１３４】
次に、データ蓄積部に蓄積されたｎフレーム分の映像データ／音声データを用いて映像／音声特徴量を検出することにより、そのシーンの場（雰囲気）の推定処理を行い（ステップＳ１０５）、その推定処理結果に基づいて、照明装置１３８を制御するための照明制御データを生成する（ステップＳ１０６）。そして照明制御データに基づき照明装置１３８による照明光の切替制御を行い（ステップＳ１０７）、この後処理が終了であるかどうかを判別する（ステップＳ１０８）。ここでは、例えば映像データが終了した場合には、シーン区間検出及び場（雰囲気）の推定処理も終了し、映像データがさらに続く場合には、ステップＳ１０１に戻って新しいフレームを取得する。【０１３５】
以上のように、本実施形態においては、シーン区切り位置情報と映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成としているので、映像制作者の意図に応じたシーン単位で視聴環境照明の切替制御を行うことが可能となる。すなわち、同一シーン内では視聴環境照明光の明るさ及び色を略一定に保持することが可能になるので、同じシーン内で視聴環境照明が激しく変化して臨場感や雰囲気を損なってしまうことを防止し、常に適切な視聴環境を実現することができる。【０１３６】
尚、本実施形態においては、各シーンのストーリー上における設定場面の区切り位置を示すシーン区切り位置情報を送受信するようにしているので、このシーン区切り位置情報を用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。【０１３７】
また、上記実施形態においては、シーン区切り位置情報として、各映像シーンの開始フレームを示す情報のみを送受信しているが、これに加えて各映像シーンの終了フレームを示す情報を送受信するようにしてもよい。このように、各映像シーンの終了フレームを示す情報も送受信する構成とした場合、非常に短い時間の映像シーンに対しても、場（雰囲気）の推定処理及び視聴環境照明光の切替制御を適切に行うことが可能になる。また、シーン間にいずれのシーンにも属さない短時間のショット（テロップなど）が挿入されている場合、このショットに対しては、視聴環境照明を切り替えないようにしたり、例えば予め決められた明るさの白色光を照明するなどの照明制御を行うことも可能となる。【０１３８】
さらに、上記実施形態においては、ユーザ・データとして規定された８ビットのうちの最下位ビットに当該フレームがシーン切替り開始フレームであるか否かを示す情報を記述しているが、上位の７ビットにその他の情報を記述してもよく、例えば、当該フレームから開始されるシーンを表示する際の視聴環境照明制御に関する情報を記述するようにしてもよい。この場合、（１）当該フレームから開始されるシーンの映像／音声特徴量に応じた照明光への切替制御を行うか、（２）当該フレームから開始されるシーンの映像／音声特徴量に関わらず、直前のシーンの映像／音声特徴量に応じた照明光を維持するか、或いは、（３）デフォルトとして設定された照明光（白色照明光など）への切替制御を行うかなどの視聴環境照明制御情報を、上記シーン区切り位置情報とともに、各フレームのユーザ・データとして付加すればよい。これによって、各シーンの特性に応じたより適切な視聴環境照明制御を行うことが可能となる。【０１３９】
そしてまた、上記の実施形態においては、シーン区切り位置情報が放送データに付加されて送信される場合について説明したが、放送データにシーン区切り位置情報が付加されていない場合、表示する映像データに対応するシーン区切り位置情報を外部サーバ装置等より送受信することによって、映像の各シーン単位での最適な視聴環境を実現することが可能となる。これについて、本発明の更に他の実施形態として以下に説明する。【０１４０】
図１９は本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図、図２０は本実施形態の視聴環境制御システムにおけるシーン区切り位置情報格納テーブルの一例を示す説明図、図２１は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図、図２２は図２１における照明制御データ生成部を示すブロック図、図２３は本実施形態の視聴環境制御システムにおける照明制御データ生成部の動作を示すフローチャートである。なお各図において、上記実施形態と同一部分には同一符号を付し、その説明は省略する。【０１４１】
本実施形態における外部サーバ装置（データ送信装置）は、図１９に示すように、映像受信装置（データ受信装置）側から特定の映像データ（コンテンツ）に関するシーン区切り位置情報の送信要求を受信する受信部１５１と、映像データ（コンテンツ）毎のシーン区切り位置情報を格納しているデータ格納部１５２と、送信要求を受けたシーン区切り位置情報を要求元の映像受信装置（データ受信装置）へ送信する送信部１５３とを備えている。【０１４２】
ここで、本実施形態のデータ格納部１５２に格納されているシーン区切り位置情報は、図２０に示すように、各映像シーンのシーン番号に、シーン開始タイムコード、シーン終了タイムコードを対応付けてテーブル形式で記述されており、送信要求を受けた映像データ（番組コンテンツ）のシーン区切り位置情報を、当該映像データを構成する各シーンのシーン番号、シーン開始ＴＣ（タイムコード）、シーン終了ＴＣ（タイムコード）とともに、送信部１５３より要求元の映像受信装置へ送信する。【０１４３】
次に、上記外部サーバ装置より送出されたシーン区切り位置情報を受けて、視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。本実施形態における映像受信装置は、図２１に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部１６１と、受信部１６１の出力データから、映像表示装置１３６に出力する映像データ、音声再生装置１３７に出力する音声データのそれぞれを分離・抽出するデータ分離部１６２と、表示する映像データ（コンテンツ）に対応したシーン区切り位置情報の送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部１６７と、前記送信要求したシーン区切り位置情報を、通信ネットワークを介して外部サーバ装置より受信する受信部１６８とを備えている。【０１４４】
また、前記受信部１６８で受信したシーン区切り位置情報を一旦記憶し、このシーン区切り位置情報に含まれるシーン開始ＴＣ（タイムコード）、シーン終了ＴＣ（タイムコード）と、データ分離部１６２で抽出された映像データのＴＣ（タイムコード）とを比較し、データ分離部１６２で抽出された映像データの各フレームがシーン開始点（フレーム）或いはシーン終了点（フレーム）であるか否かを示す情報を出力するＣＰＵ１６６と、ＣＰＵ１６６からのシーン開始点（フレーム）、シーン終了点（フレーム）であることを示す情報を用いて、各シーン区間の場（雰囲気）推定を行い、その推定結果に応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置１３８に出力する照明制御データ生成部１６５とを備えている。【０１４５】
すなわち、ＣＰＵ１６６は、外部サーバ装置より受信して内部に記憶しているシーン区切り位置情報格納テーブルの各シーンの開始タイムコード、終了タイムコードと、照明制御データ生成部１６５に入力される映像データのタイムコードとを比較し、これらが一致した時にシーン開始点情報、シーン終了点情報を照明制御データ生成部１６５に出力する。【０１４６】
そして、本実施形態の照明制御データ生成部１６５は、図２２に示すように、各シーン区間の開始点ＴＣから所定時間分の映像データ及び音声データを抽出し、これらに基づいて撮影現場の照明状態や場面設定（雰囲気）を推定する場（雰囲気）推定部１７２と、場（雰囲気）推定部１７２による推定結果に基づいて、照明装置１３８を制御する照明制御データを出力する照明制御部１４３とを備えている。【０１４７】
場（雰囲気）推定部１７２による撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。尚、ここでは、各シーンの場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。【０１４８】
また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域 における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。【０１４９】
この場（雰囲気）推定部１７２は、映像データ、音声データの特徴量に基づいて、映像撮影時の周囲光の色、明るさを推定するものであるが、ここでは、例えば各シーンの先頭部分における所定数のフレームの映像データ及び音声データを蓄積し、この蓄積された映像データ及び音声データの特徴量から、そのシーンの場（雰囲気）を推定する。シーンの場（雰囲気）は、上述のように映像が撮影されたときの照明光の状態に対応するものである。【０１５０】
ここで、上記各シーンの場（雰囲気）を推定するために蓄積するフレーム数ｎは、予めデフォルト（例えば、ｎ＝１００フレームなど）で定めておいてもよく、あるいはユーザ操作によって任意に可変設定可能としてもよい。以上のように、放送データに付加されたシーン区切り位置情報に応じて、各映像シーン毎に照明制御データを生成することが可能となり、同一シーン内では視聴環境照明光を略同一に保持することができる。【０１５１】
一方、映像表示装置１３６、音声再生装置１３７に出力される映像データ、音声データは、上述した映像データ及び音声データの蓄積処理及び場（雰囲気）推定処理に必要な時間分だけ、ディレイ発生部１３３，１３４により遅延されるため、映像受信装置から照明装置１３８に出力される照明制御データと、映像表示装置１３６、音声再生装置１３７に出力される映像データ、音声データとは同期することになり、表示映像のシーンの切り替わりに対応したタイミングで照明装置１３８の照明光を切り替えることが可能となる。【０１５２】
次に、照明制御データ生成部１６５における処理の流れを、図２３のフローチャートとともに説明する。まず入力映像データから新しいフレームを取得し（ステップＳ１１１）、その取得したフレームがシーン開始点（フレーム）かどうかを、シーン開始点情報に基づいて判別する（ステップＳ１１２）。取得したフレームがシーン開始点でなければ、上記ステップＳ１１１に戻ってさらに新しいフレームを取得してシーン開始点検出処理を行う。【０１５３】
また、取得したフレームがシーン開始点であれば、さらに次のフレームを取得し（ステップＳ１１３）、その取得したフレームがシーン終了点（フレーム）かどうかを、シーン終了点情報に基づいて判別する（ステップＳ１１４）。取得したフレームがシーン終了点であれば、上記ステップＳ１１１に戻って新しいフレームを取得する。【０１５４】
そして、上記ステップＳ１１４で取得したフレームがシーン終了点でなければ、ここで取得したフレーム数がシーン開始点から予め定めたｎフレームに達したかどうかを判別する（ステップＳ１１５）。シーン開始点から取得した累積フレーム数がｎフレームに達していなければ、ステップＳ１１３に戻って次のフレームを取得する。またシーン開始点から取得した累積フレーム数がｎフレームに達していれば、場（雰囲気）の推定処理に移行する。取得したｎフレーム分の映像データは、不図示のデータ蓄積部に蓄積される。【０１５５】
次に、データ蓄積部に蓄積されたｎフレーム分の映像データ／音声データを用いて映像／音声特徴量を検出することにより、そのシーンの場（雰囲気）の推定処理を行い（ステップＳ１１６）、その推定処理結果に基づいて、照明装置１３８を制御するための照明制御データを生成する（ステップＳ１１７）。そして照明制御データに基づき照明装置１３８による照明光の切替制御を行う（ステップＳ１１８）。そしてこの後、次のフレームを取得し（ステップＳ１１９）、取得したフレームがシーン終了点（フレーム）かどうかを判別する（ステップＳ１２０）。ここでシーンが終了していなければ、ステップＳ１１９に戻って次のフレームを取得する。また、シーンが終了であれば、さらに処理が終了であるかどうかを判別する（ステップＳ１２１）。ここでは、例えば映像データが終了した場合には、シーン区間検出及び場（雰囲気）の推定処理も終了し、映像データがさらに続く場合には、ステップＳ１１１に戻って新しいフレームを取得する。【０１５６】
これによって、放送データにシーン区切り位置情報が付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応するシーン区切り位置情報を外部サーバ装置より入手し、このシーン区切り位置情報と映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成としているので、映像制作者の意図に応じたシーン単位で視聴環境照明の切替制御を行うことが可能となる。すなわち、同一シーン内では視聴環境照明光の明るさ及び色を略一定に保持することが可能になるので、同じシーン内で視聴環境照明が激しく変化して臨場感や雰囲気を損なってしまうことを防止し、常に適切な視聴環境を実現することができる。【０１５７】
尚、本実施形態においては、各シーンのストーリー上における設定場面の区切り位置を示すシーン区切り位置情報を外部サーバ装置から取得するようにしているので、このシーン区切り位置情報を用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。【０１５８】
また、上記実施形態においては、シーン区切り位置情報として、各映像シーンの開始フレームを示す情報に加えて各映像シーンの終了フレームを示す情報を送受信するようにしているので、非常に短い時間の映像シーンに対しても、場（雰囲気）の推定処理及び視聴環境照明光の切替制御を適切に行うことが可能になる。また、シーン間にいずれのシーンにも属さない短時間のショット（テロップなど）が挿入されている場合、このショットに対しては、視聴環境照明を切り替えないようにすることができ、さらに、例えば予め決められた明るさの白色光を照明するなどの照明制御を行うことも可能となる。【０１５９】
さらに、上記実施形態においては、シーン区切り位置情報として、各シーンの開始フレーム、終了フレームを表わす情報を、シーン区切り位置情報格納テーブルに記述しているが、その他の情報を併せて記述するようにしてもよく、例えば、各シーンを表示する際の視聴環境照明制御に関する情報をシーン区切り位置情報格納テーブルに記述するようにしてもよい。この場合、（１）当該シーンの映像／音声特徴量に応じた照明光への切替制御を行うか、（２）当該シーンの映像／音声特徴量に関わらず、直前のシーンの映像／音声特徴量に応じた照明光を維持するか、或いは、（３）デフォルトとして設定された照明光（白色照明光など）への切替制御を行うかなどの視聴環境照明制御情報を、上記各シーンの開始フレーム、終了フレームを表わす情報とともに、シーン区切り位置情報格納テーブルに記述すればよい。これによって、各シーンの特性に応じたより適切な視聴環境照明制御を行うことが可能となる。【０１６０】
尚、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、視聴環境制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。【０１６１】
また、上述したシーン区切り位置情報は、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に付加されたシーン区切り位置情報を読み出して、これを用いるようにしてもよい。【０１６２】
以上、詳述したとおり、本発明においては、表示すべき映像データにおける同一シーン内では、表示装置の周辺に設置された照明装置の照明光の明るさ及び色を略一定に保持することを特徴とするものであるが、ここでの略一定とは、同一シーン内での照明光の変動が視聴者にとって臨場感を損なわない程度、範囲を示す。人間の視覚には、色の許容差が存在することは本願の出願時によく知られた事項であり、例えば、図２４は色差ΔＥのレベル分けと一般的な視覚の程度を示したものである。本発明における略一定の範囲として、図２４中の印象レベルでは同じ色として扱える範囲、すなわち色差ΔＥ＝６.５以下となるレベル範囲が好適であるが、系統色で区別がつかない程度の色の差として扱える範囲、すなわち色差ΔＥ＝１３未満となるレベル範囲内に収まればよい。【０１６３】
尚、シーン開始直後やシーン終了直前などで照明光をフェード制御するような場合も、その間で照明光の明るさ及び色を略一定としていれば、本発明の技術範囲内にあることは明らかである。
【図１】
2007052395.tif 000003
【図２】
2007052395.tif 000004
【図３】
2007052395.tif 000005
【図４】
2007052395.tif 000006
【図５】
2007052395.tif 000007
【図６】
2007052395.tif 000008
【図７】
2007052395.tif 000009
【図８】
2007052395.tif 000010
【図９】
2007052395.tif 000011
【図１０】
2007052395.tif 000012
【図１１】
2007052395.tif 000013
【図１２】
2007052395.tif 000014
【図１３】
2007052395.tif 000015
【図１４】
2007052395.tif 000016
【図１５】
2007052395.tif 000017
【図１６】
2007052395.tif 000018
【図１７】
2007052395.tif 000019
【図１８】
2007052395.tif 000020
【図１９】
2007052395.tif 000021
【図２０】
2007052395.tif 000022
【図２１】
2007052395.tif 000023
【図２２】
2007052395.tif 000024
【図２３】
2007052395.tif 000025
【図２４】
2007052395.tif 000026
【図２５】
2007052395.tif 000027
【図２６】
2007052395.tif 000028
【手続補正書】
【提出日】平成18年12月18日(2006.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御装置であって、
前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持する手段を備えたことを特徴とする視聴環境制御装置。
【請求項２】
請求項１に記載の視聴環境制御装置において、
前記映像データを構成するシーンの区間を検出するシーン区間検出手段と、
該シーン区間検出手段で検出された各シーンの映像特徴量を検出する映像特徴量検出手段と、
該映像特徴量検出手段による検出結果に基づいて、前記照明装置の照明光をシーン毎に切り替えて制御する照明切替制御手段と、を有することを特徴とする視聴環境制御装置。
【請求項３】
請求項２に記載の視聴環境制御装置において、
前記映像特徴量検出手段で検出されたシーン毎の前記検出結果と、前記シーン区間検出手段で検出された各シーンのシーン開始点及びシーン終了点のタイムコードとを、シーン照明データとして記憶するシーン照明データ記憶手段と、
前記映像データをタイムコードとともに記憶する映像データ記憶手段とを有し、
前記照明切替制御手段は、前記シーン照明データ記憶手段から読み出されたシーン照明データと、前記映像データ記憶手段から読み出されたタイムコードとに従って、前記照明装置の照明光をシーン毎に切り替えて制御することを特徴とする視聴環境制御装置。
【請求項４】
請求項２に記載の視聴環境制御装置において、
前記シーン区間検出手段で検出された各シーンのシーン開始点以後の所定フレーム数の映像データを蓄積する映像データ蓄積手段を有し、
前記映像特徴量検出手段は、前記映像データ蓄積手段に蓄積された映像データを使用して、前記シーン開始点から開始したシーンの映像特徴量を検出することを特徴とする視聴環境制御装置。
【請求項５】
請求項４に記載の視聴環境制御装置において、
前記表示すべき映像データを所定時間だけ遅延させて出力する映像データ遅延手段を有することを特徴とする視聴環境制御装置。
【請求項６】
請求項１ないし５のいずれか１に記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
【請求項７】
表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御方法であって、
前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持するステップを備えたことを特徴とする視聴環境制御方法。
【請求項８】
請求項７に記載の視聴環境制御方法において、
前記映像データを構成するシーンの区間を検出するシーン区間検出ステップと、
該シーン区間検出ステップで検出された各シーンの映像特徴量を検出する映像特徴量検出ステップと、
該映像特徴量検出ステップによる検出結果に基づいて、前記照明装置の照明光をシーン毎に切り替えて制御する照明切替判定ステップと、を有することを特徴とする視聴環境制御方法。
【請求項９】
請求項８に記載の視聴環境制御方法において、
前記シーン区間検出ステップとして、映像データの１フレームごとにシーン開始点を検出するステップと、
前記シーン開始点が検出されたときに該シーン開始点のタイムコードを記録するステップと、
前記シーン開始点が検出された後、該シーン開始点の後の１フレームごとにシーン終了点を検出するステップと、
前記シーン終了点が検出されたときに該シーン終了点のタイムコードを記録するステップとを有し、
前記映像特徴量検出ステップとして、前記記録したシーン開始点及びシーン終了点のタイムコードに該当するシーン区間の映像データを再生するステップと、
該再生した映像データを使用して、前記シーンの映像特徴量を検出するステップと、を有することを特徴とする視聴環境制御方法。
【請求項１０】
請求項８に記載の視聴環境制御方法において、
前記シーン区間検出ステップとして、映像データからシーン開始点を検出するステップを有し、
さらに前記シーン開始点が検出されたときに、該シーン開始点以後の所定フレーム数の映像データを取得するステップを有し、
前記映像特徴量検出ステップは、前記取得した所定フレーム数の映像データを使用して、前記シーン開始点から開始したシーンの映像特徴量を検出することを特徴とする視聴環境制御方法。
【請求項１１】
請求項８に記載の視聴環境制御方法において、
前記シーン区間検出ステップとして、映像データからシーン開始点を検出するステップと、
前記映像データからシーン終了点を検出するステップとを有し、
さらに、前記シーン開始点が検出されたときに、該シーン開始点以後の所定フレーム数の映像データを取得するステップと、
前記シーン開始点以後の所定フレーム数の映像データを取得する前に、シーン終了点を検出した場合、再び前記映像データからシーン開始点を検出するステップとを有し、
前記映像特徴量検出ステップは、前記取得した所定フレーム数の映像データを使用して、前記シーン開始点から開始したシーンの映像特徴量を検出することを特徴とする視聴環境制御方法。
【請求項１２】
請求項１０または１１に記載の視聴環境制御方法において、
前記表示すべき映像データを所定時間だけ遅延させて出力することを特徴とする視聴環境制御方法。
【請求項１３】
請求項１に記載の視聴環境制御装置に対して、１以上のシーンから構成される映像データを送信するデータ送信装置であって、
前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持するための、前記映像データの各シーンの区切り位置を示すシーン区切り位置情報を、前記映像データに付加して送信する手段を備えたことを特徴とするデータ送信装置。
【請求項１４】
前記シーン区切り位置情報は、前記映像データのフレーム単位で付加されることを特徴とする請求項１３に記載のデータ送信装置。
【請求項１５】
請求項１に記載の視聴環境制御装置からの要求を受けて、表示すべき映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持するための、映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報を、該視聴環境制御装置に対して送信する手段を備えたデータ送信装置であって、
前記シーン区切り位置情報は、前記映像データを構成する各シーンの開始フレームを表わすものであることを特徴とするデータ送信装置。
【請求項１６】
前記シーン区切り位置情報は、前記映像データを構成する各シーンの開始フレームと、各シーンの終了フレームとを表わすものであることを特徴とする請求項１５に記載のデータ送信装置。
【請求項１７】
表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信する受信手段と、
前記映像データの特徴量と、前記シーン区切り位置情報とを用いて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
【請求項１８】
前記制御手段は、前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴とする請求項１７に記載の視聴環境制御装置。
【請求項１９】
前記請求項１７または１８に記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
【請求項２０】
表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信し、
前記映像データの特徴量と、前記シーン区切り位置情報とを用いて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。
【請求項２１】
前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴とする請求項２０に記載の視聴環境制御方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
目的とする。
課題を解決するための手段
［００１５］
上記課題を解決するために、本発明の第１の技術手段は、表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御装置であって、前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持する手段を備えたことを特徴としたものである。
［００１６］
第２の技術手段は、第１の技術手段において、映像データを構成するシーンの区間を検出するシーン区間検出手段と、シーン区間検出手段で検出された各シーンの映像特徴量を検出する映像特徴量検出手段と、映像特徴量検出手段による検出結果に基づいて、照明装置の照明光をシーン毎に切り替えて制御する照明切替制御手段と、を有することを特徴としたものである。
［００１７］
第３の技術手段は、第２の技術手段において、映像特徴量検出手段で検出されたシーン毎の検出結果と、シーン区間検出手段で検出された各シーンのシーン開始点及びシーン終了点のタイムコードとを、シーン照明データとして記憶するシーン照明データ記憶手段と、映像データをタイムコードとともに記憶する映像データ記憶手段とを有し、照明切替制御手段は、シーン照明データ記憶手段から読み出されたシーン照明データと、映像データ記憶手段から読み出されたタイムコードとに従って、照明装置の照明光をシーン毎に切り替えて制御することを特徴としたものである。
［００１８］
第４の技術手段は、第２の技術手段において、シーン区間検出手段で検出された各シーンのシーン開始点以後の所定フレーム数の映像データを蓄積する映像データ蓄積手段を有し、映像特徴量検出手段は、映像データ蓄積手段に蓄積された映像データを使用して、シーン開始点から開始したシーンの映像特徴量を検出することを特徴としたものである。
［００１９］
第５の技術手段は、第４の技術手段において、表示すべき映像データを所定時間だけ遅延させて出力する映像データ遅延手段を有することを特徴としたものである。
［００２０］
第６の技術手段は、第１ないし第５のいずれか１の技術手段における視聴環境制御装置と、視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システムである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
［００２１］
第７の技術手段は、表示すべき映像データの特徴量に応じて、照明装置の照明光を制御する視聴環境制御方法であって、前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持するステップを備えたことを特徴としたものである。
［００２２］
第８の技術手段は、第７の技術手段において、映像データを構成するシーンの区間を検出するシーン区間検出ステップと、シーン区間検出ステップで検出された各シーンの映像特徴量を検出する映像特徴量検出ステップと、映像特徴量検出ステップによる検出結果に基づいて、照明装置の照明光をシーン毎に切り替えて制御する照明切替判定ステップと、を有することを特徴としたものである。
［００２３］
第９の技術手段は、第８の技術手段において、シーン区間検出ステップとして、映像データの１フレームごとにシーン開始点を検出するステップと、前記シーン開始点が検出されたときに該シーン開始点のタイムコードを記録するステップと、前記シーン開始点が検出された後、該シーン開始点の後の１フレームごとにシーン終了点を検出するステップと、前記シーン終了点が検出されたときに該シーン終了点のタイムコードを記録するステップとを有し、前記映像特徴量検出ステップとして、前記記録したシーン開始点及びシーン終了点のタイムコードに該当するシーン区間の映像データを再生するステップと、該再生した映像データを使用して、前記シーンの映像特徴量を検出するステップと、を有することを特徴としたものである。
［００２４］
第１０の技術手段は、第８の技術手段において、シーン区間検出ステップとして、映像データからシーン開始点を検出するステップを有し、さらにシーン開始点が検出されたときに、シーン開始点以後の所定フレーム数の映像データを取得するステップを有し、映像特徴量検出ステップは、取得した所定フレーム数の映像データを使用して、シーン開始点から開始したシーンの映像特徴量を検出することを特徴としたものである。
［００２５］
第１１の技術手段は、第８の技術手段において、シーン区間検出ステップとして、映像データからシーン開始点を検出するステップと、映像データからシーン終了点を検出するステップとを有し、さらに、シーン開始点が検出されたときに、シーン開始点以後の所定フレーム数の映像データを取得するステップと、シーン開始点以後の所定フレーム数の映像データを取得する前に、シーン終了点を検出した場合、再び映像
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
データからシーン開始点を検出するステップとを有し、映像特徴量検出ステップは、取得した所定フレーム数の映像データを使用して、シーン開始点から開始したシーンの映像特徴量を検出することを特徴としたものである。
［００２６］
第１２の技術手段は、第１０または第１１の技術手段において、表示すべき映像データを所定時間だけ遅延させて出力することを特徴としたものである。
［００２７］
第１３の技術手段は、第１の技術手段の視聴環境制御装置に対して、１以上のシーンから構成される映像データを送信するデータ送信装置であって、前記映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持するための、前記映像データの各シーンの区切り位置を示すシーン区切り位置情報を、前記映像データに付加して送信する手段を備えたことを特徴としたものである。
［００２８］
第１４の技術手段は、第１３の技術手段において、シーン区切り位置情報が、前記映像データのフレーム単位で付加されることを特徴としたものである。
［００２９］
第１５の技術手段は、第１の技術手段の視聴環境制御装置からの要求を受けて、表示すべき映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持するための、映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報を、該視聴環境制御装置に対して送信する手段を備えたデータ送信装置であって、前記シーン区切り位置情報は、前記映像データを構成する各シーンの開始フレームを表わすものであることを特徴としたものである。
［００３０］
第１６の技術手段は、第１５の技術手段において、シーン区切り位置情報が、映像データを構成する各シーンの開始フレームと、各シーンの終了フレームとを表わすものであることを特徴としたものである。
［００３１］
第１７の技術手段は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信する受信手段と、映像データの特徴量とシーン区切り位置情報とを用いて、表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴としたものである。
［００３２］
第１８の技術手段は、第１７の技術手段において、制御手段が、映像データにおける同一シーン内では、照明装置の照明光を略一定に保持することを特徴としたものである。
［００３３］
第１９技術手段は、第１７または第１８の技術手段による視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システムである。
［００３４］
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
［００３５］
［００３６］
第２０の技術手段は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの区切り位置を示すシーン区切り位置情報とを受信し、映像データの特徴量と、シーン区切り位置情報とを用いて、表示装置の周辺に設置された照明装置の照明光を制御することを特徴としたものである。
［００３７］
第２１の技術手段は、第２０の技術手段において、映像データにおける同一シーン内では、前記照明装置の照明光を略一定に保持することを特徴としたものである。
発明の効果
［００３８］
本発明によれば、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて、視聴環境の照明光を適切に制御することが可能となり、視聴者に臨場感を与えてより高度な映像効果を得ることができる。
［００３９］
特に本発明では、表示すべき映像のシーン毎にその映像特徴量を検出することによって、そのシーンが撮影された場の照明光の状態を推定し、その推定結果に従って映像表示装置周囲の照明光を制御する。これにより、映像制作者等の意図により一つの雰囲気が連続する一区切りのシーン内では、そのシーンの映像特徴量検出結果に従って略一定の状態で照明を行うことができ、視聴者はそのシーンの臨場感を違和感なく感じることができるようになる。
図面の簡単な説明
［００４０］
［図１］本発明に関わる視聴環境制御装置における要部概略構成を説明するための図である。
［図２］映像の構成要素を説明するための図である。
［図３］本発明に関わる視聴環境制御装置の一実施形態を説明するためのブロック図である。
【国際調査報告】
2007052395.tif 000029
2007052395.tif 000030
2007052395.tif 000031
2007052395.tif 000032
2007052395.tif 000033
2007052395.tif 000034