(57)【特許請求の範囲】
【請求項１】
映像信号及び音声信号の再生時に、前記映像信号及び音声信号が取得されたときの撮影時の照明環境に関する照明環境情報に基づいて、照明装置をコントロールすることにより、前記撮影時の照明環境を再現する照明環境再現装置において、
前記照明装置として、ＲＧＢ値で制御されるカラー照明装置を利用する場合には、色度値で表される前記照明環境情報をＲＧＢ値に変換して前記照明装置に出力し、
前記照明装置として、色温度値で制御される照明装置を利用する場合には、色度値で表される前記照明環境情報を色温度値に変換して前記照明装置に出力することを特徴とする照明環境再現装置。
【請求項２】
前記請求項１に記載の照明環境再現装置と、
前記映像信号に再生処理を施して映像表示する表示手段と、
前記音声信号に再生処理を施して音声出力する音声出力手段とを有することを特徴とする映像再生装置。
【請求項３】
映像信号及び音声信号の再生時に、前記映像信号及び音声信号が取得されたときの撮影時の照明環境に関する照明環境情報に基づいて、照明装置をコントロールすることにより、前記撮影時の照明環境を再現する照明環境再現方法において、
前記照明装置として、ＲＧＢ値で制御されるカラー照明装置を利用する場合には、色度値で表される前記照明環境情報をＲＧＢ値に変換して前記照明装置に出力し、
前記照明装置として、色温度値で制御される照明装置を利用する場合には、色度値で表される前記照明環境情報を色温度値に変換して前記照明装置に出力することを特徴とする照明環境再現方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号及び音声信号の再生時に、これら映像信号及び音声信号が取得されたときの撮影時の照明環境に関する照明環境情報に基づいて照明装置をコントロールすることにより、撮影時の照明環境を再現可能とする技術に関する。
【背景技術】
【０００２】
例えば、特許文献１には、ビデオ撮影時の情報を記録し、ビデオ再生時に撮影時の環境を再現できるようにしたビデオ記録装置及び再生装置が開示されている。このビデオ記録再生装置は、ビデオ撮影時に、ＣＣＤ及びマイクロフォンによって映像及び音声を収録し、それぞれ所定の信号処理を施して磁気テープに記録する。また、ビデオ撮影と同時に環境検出装置によって撮影時の現場の環境を検出して環境情報を取得する。取得した環境情報は、回路で所定の信号処理を施して磁気テープの所定の領域に記録される。
【０００３】
そして観客等に対して記録情報を再生する時には、モニタやスピーカで映像／音声を再現すると共に、例えばエアコンによって温度，湿度を再現し、送風機によって風向，風速を再現し、伸縮自在な支柱を制御する支柱制御装置によって観客が座る椅子が設置された小部屋の傾斜，加速度などを再現し、照明灯によって照度を再現する。こうして、映像／音声と共に撮影時の現場の環境が再現されるため、観客は、より高い現実感を体験することができる。
【特許文献１】特開平９−２０５６０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記特許文献１の技術では、色温度照度計を利用して照度情報や色温度情報を検出することは可能であるが、色度値の情報がないため、舞台照明等で利用されるＲＧＢ３原色を再現した照明の検出をすることが不可能である。また、たとえ色温度照度計によって色温度情報を検出したとしても、色フィルター付きの照明灯の具体的な制御方法が記載されてなく、撮影時の照明の色みを再現することができない。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮影情報再生時に、撮影時の周囲光に関する環境照明情報に基づいて照明装置をコントロールすることにより、撮影時の周囲光の色みを忠実に再現することができ、あたかもその場にいるかのような高臨場感を感じることができるようにした照明環境再現装置及び方法、映像再生装置を提供することにある。
【課題を解決するための手段】
【０００６】
第１の技術手段は、映像信号及び音声信号の再生時に、前記映像信号及び音声信号が取得されたときの撮影時の照明環境に関する照明環境情報に基づいて、照明装置をコントロールすることにより、前記撮影時の照明環境を再現する照明環境再現装置において、前記照明装置として、ＲＧＢ値で制御されるカラー照明装置を利用する場合には、色度値で表される前記照明環境情報をＲＧＢ値に変換して前記照明装置に出力し、前記照明装置として、色温度値で制御される照明装置を利用する場合には、色度値で表される前記照明環境情報を色温度値に変換して前記照明装置に出力することを特徴とする。
【０００７】
第２の技術手段は、第１の技術手段に記載の照明環境再現装置と、前記映像信号に再生処理を施して映像表示する表示手段と、前記音声信号に再生処理を施して音声出力する音声出力手段とを有することを特徴とする。
【０００８】
第３の技術手段は、映像信号及び音声信号の再生時に、前記映像信号及び音声信号が取得されたときの撮影時の照明環境に関する照明環境情報に基づいて、照明装置をコントロールすることにより、前記撮影時の照明環境を再現する照明環境再現方法において、前記照明装置として、ＲＧＢ値で制御されるカラー照明装置を利用する場合には、色度値で表される前記照明環境情報をＲＧＢ値に変換して前記照明装置に出力し、前記照明装置として、色温度値で制御される照明装置を利用する場合には、色度値で表される前記照明環境情報を色温度値に変換して前記照明装置に出力することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮影情報再生時に、撮影時の周囲光に関する環境照明情報に基づいて照明装置をコントロールすることにより、撮影時の周囲光の色みを忠実に再現することができ、あたかもその場にいるかのような高臨場感を感じることが可能となる。
【発明を実施するための最良の形態】
【００１８】
図１は、本発明による映像記録装置の一実施形態を示すブロック図である。撮像装置１は、例えばズームレンズ，フォーカスレンズ，絞りなどから成る光学系とＣＣＤによる撮像素子とからなり、その光学系を介してＣＣＤに被写体像が入射される。ＣＣＤに入射された被写体像は、電気信号に変換されて映像信号とされ、Ａ／Ｄ変換器２に供給されてディジタル信号に変換される。
【００１９】
Ａ／Ｄ変換器２でディジタル信号に変換された映像信号は、エンコーダ３に供給され、圧縮符号化される。エンコーダ３における圧縮符号化方式としては、ＭＰＥＧ−２，ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＳＰ、ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６３、Ｈ．２６４などが適用できるが、これらに限定されず適宜最適な圧縮符号化方式を採用することができる。エンコーダ３で圧縮符号化された映像信号は、ディジタル信号処理回路８に供給される。
【００２０】
一方、撮影時の音声はマイクロフォン４によって電気信号に変換され音声信号とされる。この音声信号はＡ／Ｄ変換器５に供給され、例えば所定のサンプリング周波数でサンプリングされディジタル信号に変換される。このディジタル信号に変換された音声信号は、ディジタル信号処理回路８に供給される。
【００２１】
上記のＣＣＤを備えた撮像装置１及びマイクロフォン４と、これらの信号の処理系は、例えばビデオカメラやディジタルカメラのムービー機能等に代表されるように、映像の取得が可能なものとして構成され、互いの信号の同期が取られている。
【００２２】
色彩計６は、上述の撮像装置１とマイクロフォン４とを用いた映像の撮影において、撮影時の周囲の照明環境の明るさ及び色情報といった照明信号を測定するための装置である。例えば屋外で撮影を行う場合には、色彩計６によって周囲の明るさ及び色情報といった照明環境情報が取得される。色彩計６が取得した照明環境情報は、アナログ信号あるいはディジタル信号として外部に出力することができる。ここでは、色彩計６から出力される出力信号は、マイクロプロセッサから成るＡ／Ｄ，ＭＰＵ部７に供給される。このＡ／Ｄ，ＭＰＵ部７は、Ａ／Ｄ変換機能を有し、アナログ信号が入力したときには、Ａ／Ｄ変換機能によりディジタル信号に変換される。
【００２３】
ここで色彩計６からの出力信号は、Ａ／Ｄ，ＭＰＵ部７に対して連続的に供給されるが、Ａ／Ｄ，ＭＰＵ部７からは所定の間隔で信号出力される。ここではＡ／Ｄ，ＭＰＵ部７をコントロールすることにより、例えば、ビデオ信号数フレーム毎に１回の信号出力を行うようにする。Ａ／Ｄ，ＭＰＵ部７から所定間隔で出力された信号は、ディジタル信号処理回路８に供給される。
【００２４】
上述の処理によって、ディジタル信号処理回路８には、映像信号，音声信号，照明信号がそれぞれディジタル信号化されて供給されることになる。例えば映像信号では圧縮符号化といった所定の処理を施され、ディジタル信号処理回路８に供給される。ディジタル信号処理回路８に供給されたこれらの信号は、多重化され、誤り訂正符号の付加などの所定の信号処理が行われ、撮影情報記録装置９に供給される。
【００２５】
撮影情報記録装置９では、供給された信号に対して記録符号化や変調などの記録信号処理が施され、例えば磁気テープのような記録媒体に記録される。磁気テープ上に記録が行われる場合は、映像信号と音声信号の記録と合わせて、磁気テープ上にサブコードエリアが確保され、照明信号がメタデータとして記録される。勿論、記録媒体としては上記の磁気テープに限定されることはなく、磁気ディスクや光ディスク、光磁気ディスク等のディスク媒体や、他の記録媒体を適宜適用することができる。
【００２６】
図２は、本発明による映像再生装置の一実施形態を示すブロック図である。本実施形態の映像再生装置は、上記図１に示す映像記録装置によって記録された信号を入力し、各信号毎に再生処理して出力を行う再生装置である。
撮影情報入力部１０は、上述のようにディジタル映像信号及びディジタル音声信号とともにディジタル照明信号が多重化されて記録された記録媒体から、その多重化信号が入力される。すなわち、撮影情報入力部１０は、上記記録媒体から信号を読み取る読み取り装置であってもよく、また、上記のような多重化信号を外部から入力する入力インターフェースであってもよい。
また映像再生装置に、図１に示すごとくの映像記録装置で取得された多重化信号を入力し、固定磁気ディスク等の記録媒体に記録させる記録装置を備えてもよい。この場合、撮影情報入力部１０は、その記録装置から多重化信号を読み出して、ディジタル信号処置回路１１に出力する。
【００２７】
映像再生装置において、撮影情報入力部１０で入力された信号は、ディジタル信号処理回路１１に供給される。ディジタル信号処理回路１１では、供給された再生信号に対して誤り訂正などの処理が施され、記録時に多重化されたディジタル映像信号，ディジタル音声信号，及びディジタル照明信号にそれぞれ分離される。
【００２８】
ディジタル信号処理回路１１にて分離された信号のうち、ディジタル映像信号はデコーダ１２に供給されて圧縮解除された後、Ｄ／Ａ変換器１３に供給されアナログ映像信号に変換される。このアナログ信号は、本発明の表示手段として機能する表示装置１４に送られて映像として再生される。
【００２９】
また、ディジタル信号処理回路１１で分離された信号のうち、ディジタル音声信号はＤ／Ａ変換器１５に供給され、アナログ信号に変換されてアナログ音声信号とされる。このアナログ音声信号は、スピーカ１６で音声として再生される。スピーカ１６は、本発明の音声出力手段として機能する。
【００３０】
さらに、ディジタル信号処理回路１１で分離された信号のうち、照明信号は、ＭＰＵ，Ｄ／Ａ部１７に供給される。このＭＰＵ，Ｄ／Ａ部１７はマイクロプロセッサから成り、Ｄ／Ａ変換機能を有する。ＭＰＵ，Ｄ／Ａ部１７に入力した照明信号は、色彩計の測定データより成り、ＭＰＵ，Ｄ／Ａ部１７においてアナログ信号に変換される。変換されたアナログ信号は、再現用照明変換装置１８に供給され、後述する再現用照明変換処理を行った後に、照明装置１９に対して制御信号として供給される。照明装置１９では、その制御信号に基づいて再現用照明の色を制御することにより、撮影環境の照明の色情報を再現する。上記再現用照明変換装置１８は、ディジタル信号処理回路１１により分離された照明環境情報に基づいて撮影時の照明環境を再現するため制御信号を生成する。
【００３１】
次に、上記再現用照明変換処理の手順について図３のフローチャートを用いて説明する。図２に示す再現用照明変換装置１８には、撮影照明光データの一例として色度値（ｘ，ｙ，ｚ）が供給される（ステップＳ１）。再現用照明変換装置１８は、再現用照明にカラー照明を利用する場合は、色度値（ｘ，ｙ，ｚ）を再現用照明のＲＧＢ値（Ｒ，Ｇ，Ｂ）に変換する（ステップＳ２，Ｓ３）。色度値（ｘ，ｙ，ｚ）は、デバイスに依存しない均等色空間の一例であって、他の均等色空間であっても構わない。またカラー照明を利用せずに、一般の照明色温度情報を利用する場合は、色度値（ｘ，ｙ）から再現用照明の相関色温度値への変換を行う（ステップＳ２，Ｓ４）。再現用照明変換装置１８は、上記の均等色空間内の色度値情報をＲＧＢ値に変換する処理と、均等色空間内の色度値情報を相関色温度値に変換する処理とのいずれかの選択が可能である。
【００３２】
ここで、カラー照明の一例としてＲＧＢ３原色の照明を利用する場合について説明する。ＲＧＢ３原色タイプの照明としては、カラーＬＥＤやカラー蛍光灯などが挙げられるが、これに限られるものではない。そしてあらかじめＲＧＢそれぞれの照明の強さを２５６レベルに分けて発光させ、そのときの色度値（ｘ，ｙ，ｚ）を測定し、ＲＧＢ−ｘｙｚ変換テーブルを作成した上で再現用照明変換装置１８に記憶させておく。
【００３３】
変換テーブルの作成方法の一例を、図４に描かれた本発明をホームシアターに応用した場合を用いて説明する。図４において、部屋の中の所定位置に表示装置１４及びスピーカ１６が配置され、さらに再現用の照明装置１９がスピーカ１６の上方に配置されている。この部屋には、ソファー２０が前方に向けて配置され、視聴者が座れるようになっている。そして視聴者前方の表示装置１４が配置される位置に、表示装置１４のかわりに図示しない標準白色板を設置し、ソファー２０の位置に色彩計を設置する。
【００３４】
そしてスピーカ１６上の照明装置１９から、標準白色板に向けてＲＧＢそれぞれの照明の強さを２５６レベルに分けて照射させ、その際の色度値（ｘ，ｙ，ｚ）を色彩計で測定する。そして色彩計で得られた色度値をもとに、ＲＧＢ−ｘｙｚ変換テーブルを作成する。これにより、撮影照明光の色度値（ｘ，ｙ，ｚ）に対応するカラー照明のＲＧＢ値（Ｒ，Ｇ，Ｂ）を決定することができる。
【００３５】
そして再現用照明変換装置１８では、得られた色度値に基づいてＲＧＢ値を決定し、その制御信号を照明装置１９に供給して発光させることによって撮影時の照明状態を再現することができる。ここでＲＧＢからｘｙｚへの変換はＲＧＢ−ｘｙｚ変換テーブルの利用に限定されず、マトリクス変換を行っても構わない。以下はマトリクス変換の一例である。
【００３６】
【数１】
0004651307.tif 000002
【００３７】
図５は、本実施形態に係る再現用照明の色の範囲を示すｘｙ色度図である。図６は、ｘｙ色度図上の色温度曲線と相関色温度曲線である。図５及び図６に示すように、再現照明用の色の範囲を、色温度曲線や相関温度曲線や現在のテレビジョンで再現できる色の範囲よりも広くすることによって、放送システムに応用する場合に撮影照明光の色の範囲を全て再現することが可能となる。
【００３８】
また、一般の照明色温度情報を利用する場合は、上述のように色度値（ｘ，ｙ）から再現用照明の相関色温度値Ｔへの変換を行う。このときに色度値（ｘ，ｙ）から相関色温度値Ｔを求める簡易的な計算方法としては、以下に挙げるＭｃＣａｍｙの相関色温度変換式がある。（Ｃｏｌｏｒ  Ｒｅｓ．  Ａｐｐｌｉｃａｔｉｏｎ  １７，１４２−１４４（１９９２））
Ｔ＝−４３７ｎ3＋３６０１ｎ2−６８６１ｎ＋５５１４.３１    （２）
そして、再現用照明変換装置１８では、撮影照明光の色度値（ｘ，ｙ）に対応する相関色温度Ｔを有する照明を選択し、制御信号を供給して発光させることによって、撮影時の照明状態を再現することができる。
【００３９】
上記のようなシステムにより、例えば図４に示す部屋の中のソファー２０に座った視聴者に対して、映像や音声だけでなく、撮影された現場おける照明の色みが再現され、視聴者に高臨場感を提供することができる。
【００４０】
なお、上記の実施形態においては、撮影時に色彩計６によって照明の色みを測定し、測定された情報がＡ／Ｄ，ＭＰＵ部７を介してディジタル信号処理回路８に供給され、撮影情報記録装置９において記録されるものとしたが、本発明はこのような構成に限定されるものではない。例えば他の例として、上述のような本発明に係るディジタル信号処理機能を有するビデオ記録装置に、ユーザによってデータの入力ができるような入力部を設け、他の撮像装置ないしマイクロフォン、及び色彩計等によって取得した環境情報を、この入力部からマニュアルで入力するようにしてもよい。この際、入力する環境情報は、実際に検出されたものでなくてもよい。
【００４１】
また本発明の実施形態により実施可能な映像記録方法は、撮影によって映像信号と音声信号とを取得すると共に、撮影の時の周囲光に関する照明情報を取得する照明環境情報取得ステップと、その照明情報取得ステップで取得した照明環境情報を、映像信号及び音声信号と共に記録媒体に記録する記録ステップとを有している。上記照明環境情報取得ステップは図１に示す撮像装置１，マイクロフォン４及び色彩計６によってそれぞれ映像信号，音声信号及び照明情報を取得する処理に該当する。また、記録ステップは、図１の映像信号用のＡ／Ｄ変換器２，エンコーダ３，音声信号用のＡ／Ｄ変換器５，照明情報用のＡ／Ｄ，ＭＰＵ部７，及びこれらに所定の信号処理を施すディジタル信号処理回路８による処理と、信号処理された信号を撮影情報記録装置９記録する処理とを含む。
【００４２】
また、本発明の実施形態により実施可能な映像再生方法は、映像信号及び音声信号と、その映像信号及び音声信号が取得されたときの撮影時の周囲光に関する照明環境情報とが記録された記録媒体の記録情報を信号処理して分離する信号処理ステップと、その信号処理ステップによって分離されたそれぞれの信号を再生出力する再生出力ステップとを有している。そしてその再生出力ステップは、信号処理ステップにより分離された照明環境情報に基づいて撮影時の照明環境を再現するための制御信号を生成する再現用照明変換ステップを含んでいる。
【００４３】
上記の信号処理ステップは、図２に示すディジタル信号処理回路１１において、撮影情報入力部１０に入力した信号に、誤り訂正などの所定の信号処理を施して、各信号を分離する処理に該当する。また上記の再生出力ステップは、ディジタル信号処理回路１１によって分離された各信号の再生処理を行うステップである。ここで音声信号については、デコーダ１２，Ｄ／Ａ変換器１３による処理及び表示装置１４による表示出力処理を含み、また音声信号については、Ｄ／Ａ変換器１５による処理及びスピーカ１６からの音声出力を含んでいる。また照明信号については、ＭＰＵ，Ｄ／Ａ部１７による処理及び再現用照明変換装置１８による照明制御信号の生成処理を含んでいる。照明装置は、再現用照明変換装置１８にて生成された制御信号に従って照明を制御する。
【００４４】
上記映像再生方法は、コンピュータによるプログラムの実行によって実現することができる。この本発明に係るプログラムはコンピュータ読み取り可能な記録媒体に記録されて、持ち運び自在な記録媒体として流通可能とし、あるいは電気通信回線を介してユーザに提供可能とすることができる。
【００４５】
プログラムを記録した記録媒体は、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００４６】
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、マイクロコンピュータのプログラム記憶エリアに読み出されたプログラムがダウンロードされて、そのプログラムが実行される方式であってもよい。本発明の映像記録装置及び映像再生装置を、インターネットを含む通信ネットワークを接続可能なシステム構成とし、通信ネットワークからプログラムをダウンロードするようにしてもよい。このダウンロード用のプログラムは予め本体装置に格納されているか、もしくは別の記録媒体からインストールされるものであってもよい。
最後に、上述した実施の形態は、本発明の範囲を限定するものではなく、本発明の範囲内で種々の変更が可能である。
【図面の簡単な説明】
【００４７】
【図１】本発明による映像記録装置の一実施形態を示すブロック図である。
【図２】本発明による映像再生装置の一実施形態を示すブロック図である。
【図３】再現用照明変換処理の手順について説明するためのフローチャートである。
【図４】変換テーブルの作成方法の一例を示す図である。
【図５】本実施形態に係る再現用照明の色の範囲を示す色度図である。
【図６】ｘｙ色度図上の色温度曲線と相関色温度曲線を示す図である。
【符号の説明】
【００４８】
１…撮像装置、２…Ａ／Ｄ変換器、３…エンコーダ、４…マイクロフォン、５…Ａ／Ｄ変換器、６…色彩計、７…Ａ／Ｄ，ＭＰＵ部、８…ディジタル信号処理回路、９…撮影情報記録装置、１０…撮影情報入力部、１１…ディジタル信号処理回路、１２…デコーダ、１３…Ｄ／Ａ変換器、１４…表示装置、１５…Ｄ／Ａ変換器、１６…スピーカ、１７…ＭＰＵ，Ｄ／Ａ部、１８…再現用照明変換装置、１９…照明装置、２０…ソファー。
【図１】
0004651307.tif 000003
【図２】
0004651307.tif 000004
【図３】
0004651307.tif 000005
【図４】
0004651307.tif 000006
【図５】
0004651307.tif 000007
【図６】
0004651307.tif 000008