(57)【要約】  【課題】被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が出来る撮像装置を提供すること目的とする。  【解決手段】  撮像系の映像の補正制御を行う撮像制御手段と、補正制御量が補正目標に達していない時間の長さを計数して時間情報を生成する計時手段と、時間情報を映像に関連付けて記録する情報記録手段と、再生時に時間情報を参照して映像の補正を行う再生時補正手段とを備え、再生時補正手段は時間情報に応じて補正を行うことを特徴とする。【選択図】  図１
2012156885.tif 000002
【特許請求の範囲】
【請求項１】
撮像系の映像の補正制御を行う撮像制御手段と、
補正制御量が補正目標に達していない時間の長さを計数して時間情報を生成する計時手段と、
時間情報を映像に関連付けて記録する情報記録手段と、
再生時に時間情報を参照して映像の補正を行う再生時補正手段とを備え、
再生時補正手段は時間情報に応じて補正を行うことを特徴とする撮像装置。
【請求項２】
時間情報は所定時間以上かどうかを示すフラグであり、
再生時補正手段はフラグの状態に従って補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
時間情報は時間の長さを示す変数であり、
再生時補正手段は時間情報が所定時間以上かどうかで補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
時間情報は補正制御量が補正目標に達しなくなって所定時間以上経った場合の開始点の絶対時間であり、
再生時補正手段は時間情報を基に得られる開始点から補正を開始することを特徴とする請求項１に記載の撮像装置。
【請求項５】
時間情報は時間の長さを示す変数として補正目標に達しなくなた場合の開始点に書き込まれ、
再生時補正手段は開始点を再生する時点で時間情報が所定時間以上かどうかで補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項６】
撮像系の映像の補正制御を行う撮像制御手段と、
補正制御量が補正目標に達していない時間の長さを計数して時間情報を生成する計時手段と、
時間情報を映像に関連付けて記録する情報記録手段とを備え、
情報記録手段は撮影時に計時手段によって得られた時間情報を記録することを特徴とする撮像装置。
【請求項７】
撮像系の映像に対して撮像制御手段の補正制御量が補正目標に達していない時間の長さを映像に関連付けて記録された記録媒体を再生する映像再生装置で、
再生時に記録情報を参照して映像の補正を行う再生時補正手段とを備え、
再生時補正手段は記録情報として記録されている時間情報に応じて補正を行うことを特徴とする映像再生装置。
【請求項８】
撮像制御手段は光学絞り、露光時間、利得制御の露出制御であることを特徴とする請求項１乃至請求項６の何れか１項に記載の撮像装置。
【請求項９】
撮像制御手段はホワイトバランス制御、ガンマ処理、輪郭強調、蛍光灯フリッカ補正の信号処理制御であることを特徴とする請求項１乃至請求項６の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、更には撮像装置のメタデータ記録と、再生時のメタデータを使用して映像の補正を行う行う方法に関するものである。
【背景技術】
【０００２】
従来、電子カメラなどの撮像装置に於いて、その露出を最適値に自動設定する自動露出制御装置が設けられているが、被写体上の横切りなどの突発的な被写体環境変化に影響されないように、あえて応答速度を遅くして制御する場合が多い。被写体上の横切りなどの突発的な変化に対しては追従する必要がなく、これは補正をする対象ではない。一方で、被写体全体にわたって照明環境の変化がおこり、一時的に、或いは長期にわたり目標から外れる場合には、補正を行う必要があり、時定数を持って制御が行われる。上述のような被写体の状況変化に対応する為には、自動露出制御装置の応答速度を遅くすることが有効であり、突発的な変化に対しては応答が追いつかない為に追従せず、被写体全体にわたって照明環境の変化がおこった場合などは初期応答は遅れるが、最終的には目標レベルに制御される。
【０００３】
また一方で、映像を記録する際に付加情報として露出制御情報を記録し、再生時に露出制御情報をもとにして出力の露出レベルを制御するものが考案されている（例えば、特許文献１参照）。特許文献１によれば、撮影時に付加した露出レベル制御指示信号に応じて再生時に映像信号の露出レベルを制御して出力するので、撮像装置より出力された映像信号に対し常に適正な露出補正を施すことが出来る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公平０６−０８３４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来例の撮像装置では以下のような課題がある。
【０００６】
まず、映像記録時の自動露出制御装置に関して、突発的な被写体環境変化があった場合には追従しない構成となっているが、被写体全体にわたって照明環境の変化があった場合でも、初期の応答は遅れる為、実際に撮像される画像は十分に補正しきれない期間が発生してしまうことになる。
【０００７】
また、上記特許文献１による従来例では、撮影時に補正しきれていない期間が生じても再生時に補正することが可能となるので問題が無いように解釈されがちであるが、本来は補正しないほうが望ましい被写体上の横切りなどの突発的な被写体環境変化になども全て補正する方向に働いてしまうため、逆に安定性が損なわれる場合があった。
【０００８】
本発明に係る発明の目的は、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が出来る撮像装置および映像再生装置を提供すること目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本出願に係る第１の発明は、撮像系の映像の補正制御を行う撮像制御手段と、補正制御量が補正目標に達していない時間の長さを計数して時間情報を生成する計時手段と、時間情報を映像に関連付けて記録する情報記録手段と、再生時に時間情報を参照して映像の補正を行う再生時補正手段とを備え、再生時補正手段は時間情報に応じて補正を行うことを特徴としている。
【００１０】
また、本出願に係る第６の発明は、撮像系の映像の補正制御を行う撮像制御手段と、補正制御量が補正目標に達していない時間の長さを計数して時間情報を生成する計時手段と、時間情報を映像に関連付けて記録する情報記録手段とを備え、情報記録手段は撮影時に計時手段によって得られた時間情報を記録することを特徴としている。
【００１１】
また、本出願に係る第７の発明は、撮像系の映像に対して撮像制御手段の補正制御量が補正目標に達していない時間の長さを映像に関連付けて記録された記録媒体を再生する映像再生装置で、再生時に記録情報を参照して映像の補正を行う再生時補正手段とを備え、再生時補正手段は記録情報として記録されている時間情報に応じて補正を行うことを特徴としている。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、再生時補正手段は時間情報に応じて映像の補正を行うので、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施例のブロック図
【図２】被写体の明るさの変化を示すグラフ
【図３】絞り制御を示すグラフ
【図４】映像信号の輝度信号レベルを示す図
【図５】フラグ情報を生成する課程を説明するグラフ
【図６】再生系における輝度レベル補正処理の動作を説明するグラフ
【図７】本発明の第２の実施例のブロック図
【図８】本発明の第１の実施例のタイムコード情報生成を説明するグラフ
【図９】本発明の第３の実施例のブロック図
【発明を実施するための形態】
【００１４】
＜第１の実施形態＞
図１−ａは本発明の実施形態であるビデオカメラの撮像系のブロック図である。１００はレンズ、１０１は露光量調節を行う光学絞り、１０２はイメージセンサ、１０３はホワイトバランス処理やガンマ処理、カラーバランス処理などを行う信号処理装置、１０４は撮像した映像信号を記録する記録装置、１０５は撮像信号から信号処理途中の輝度信号をもとに露出情報を取得するレベル検出装置、１０６はレベル検出装置１０５で検出した輝度レベルをもとに、絞りなどの露出パラメータを制御するレベル制御装置、１０７はレベル検出装置１０５で検出した輝度レベルが目標値に達していない期間をカウントする時間カウント装置、１０８は時間カウント装置１０７でカウントした時間情報をもとに記録データを生成するメタデータ生成装置、１０９は信号処理装置１０３で処理された映像信号にメタデータ生成装置１０８で生成された記録データを重畳する信号重畳装置である。
【００１５】
レンズ１００に入射した光は光学絞り１０１で適正露光に調整されイメージセンサ１０２で光電変換される。イメージセンサ１０２で光電変換された映像信号は信号処理装置１０３へ入力される。信号処理装置１０３では輝度信号や色信号に対してガンマ処理、輪郭強調処理、ノイズリダクション処理、ホワイトバランス処理、カラーバランス処理、各種記録フォーマットにのっとったエンコード処理などが施された後、記録装置１０４で動画として記録される。
【００１６】
次に、撮像装置の露出制御に関する部分について説明をする。一般的に撮像装置の露出制御は、撮像した映像の輝度レベルをもとに露出の評価を行い、入射光量から蓄積時間、さらには撮像信号のアンプゲインなどの制御をフィードバック制御し、映像信号レベルを最適に保つように制御する構成である。本実施例では簡潔に説明する為に一般的な撮像装置の露出制御のうち、入射光量を制御する光学絞りの調節に関して説明する。レベル検出装置１０５は信号処理装置１０３中の映像信号から複数の領域ごとに積分された輝度レベル信号を測光値として取得する。映像信号をもとにした露出の評価は、例えば撮像領域の中央部分に重みを置いた中央部重点平均測光や、複数の領域中の明るい部分だけを用いるピーク測光、全体的に平均して測光する平均測光など様々な評価方法があり、撮影モードなどに応じて算出方法を切替えて使い分ける手法が一般的になっている。
【００１７】
レベル制御装置１０６では、レベル検出装置１０５で検出された輝度信号レベルを露出制御の目標値と比較し、輝度信号レベルが目標値よりも低い場合は露光量を増やす方向へ露出制御方向を決定する。逆に輝度信号レベルが目標値よりも高い場合は露光量を減らす方向へ露出制御方向を決定し、判定した露出制御方向に従って、光学絞りを駆動制御する。図１のとおり、光学絞りの制御はフィードバックループで構成されており、入射光量が変化しても所定の時定数を持って光学絞りが変更され、適切な露光量を得ることが出来る構成である。
【００１８】
レベル検出装置１０５では、検出された輝度信号レベルと露出制御の目標値とを比較するが、この際に輝度信号レベルと露出制御の目標値との差分が算出される。この差分が閾値を超えると露出が適正ではないと判断され露出制御がなされるが、時間カウント装置１０７では露出が適正ではない期間を計数する。メタデータ生成装置１０８では時間カウント装置１０７で計数された時間に応じて記録する情報を生成する。本実施例では、まず記録情報として所定の時間を超えたか否かを示すフラグデータを用いる例を以下で説明する。信号重畳装置１０９はメタデータ生成装置１０８で生成された記録情報であるフラグデータを映像信号に重畳する処理を行い、記録情報を重畳された映像信号は記録装置１０４で動画として記録される。
【００１９】
図２から図４までの図は、被写体の明るさの変化から、対応する絞り制御、さらには絞り制御されて撮像された映像信号レベルまでを時間経過での変化の観点で示すグラフである。まずは図２に関して説明する。図２は被写体の明るさの変化を示すグラフで、縦軸は被写体の明るさである。図中２０１は光った物体が通り過ぎたりするような一瞬明るくなる状態の被写体を示し、２０２は逆に暗い物体が通り過ぎたりするような一瞬暗くなる状態の被写体を示す。２０３は曇りから日が射すような、被写体の照明状態が変わった場合を示し、本来であれば露光量を適正にする必要がある被写体変化を示す。
【００２０】
図３は絞り制御を示すグラフで、縦軸は絞りの状態である。図中の点線は図２の被写体の明るさを示しており、絞りの状態と時間的に対比するために記載しており、図中の実線が絞りの状態を示す。図中３０１は絞りを絞って露光量を少なくする動作を示す部分、３０２は絞りを開いて露光量を多くする動作を示す部分、３０３から３０６は被写体の光量変化があって露光量を制御する場合に制御を開始するまでの時定数を示す時間Ｔで、全て同じ長さを示している。３０３は図２の被写体の明るさの変化２０１の明るくなった期間が時間Ｔを超えないことを示し、３０４は図２の被写体の明るさの変化２０２の暗くなった期間が時間Ｔを超えないことを示す。また、３０５は図２の被写体の明るさの変化２０３の明るくなった期間が時間Ｔを超えることを示し、３０６は図２の被写体の明るさの変化２０３の暗くなった期間が時間Ｔを超えることを示す。
【００２１】
図が示すように、絞り制御は光った物体が通り過ぎたりするような一瞬明るくなる状態による被写体の光量の変化には追従しないように時定数をもって制御されるため、被写体の明るさの変化２０１では露出の補正を開始する前に明るさが戻ってしまい、露出の補正は行われない。これは被写体の明るさの変化２０２でも同様である。ところが、被写体の明るさの変化２０３では明るくなった期間が時間Ｔを超えるため、露出を補正する動作が開始され、３０１のとおり絞りを絞る動作を開始する。このあと適正な露出状態になったところで絞りを絞る制御は停止するが、再び暗くなって、３０６の時間Ｔを過ぎると露出を補正する動作が開始され、３０２のとおり絞りを開く動作を開始する。
【００２２】
図４は図２の被写体の明るさの変化に対して図３の絞り制御を行った状態に於いて生成される映像信号の輝度信号レベルを示す図である。縦軸には輝度信号レベルを表し、露出制御は輝度信号レベルが制御目標と等しくなるように制御を行う。図中４０１は被写体の明るさの変化２０１に対して露出の補正が行われない為に被写体の変化がそのまま映像信号として現れる部分を示す。４０２も４０１と同様に、被写体の明るさの変化２０２に対して露出の補正が行われない為に被写体の変化がそのまま映像信号として現れる部分を示す。４０３は被写体の明るさの変化２０３により絞り制御３０１および３０２が行われた際に、明るさの変化に追従できない量だけ制御目標に達する時間がかかり、その補正残りがそのまま映像信号として現れる部分を示す。
【００２３】
図４のように、被写体の明るさの変化に対して絞り制御を行うと４０１のように光った物体が通り過ぎたりするような一瞬明るくなる状態による被写体の光量の変化はそのまま映像として表現されるし、４０２のように暗い物体が通り過ぎたりするような一瞬暗くなる状態の被写体の光量の変化もそのまま映像として表現される。ただし、４０３のように曇りから日が射すような被写体の照明状態が変わった場合に、明るさの変化に追従できない量だけ制御目標に達する時間がかかり、その補正残りが生じる場合にも映像信号として現れてしまう。本実施例ではこの４０３のように本来は補正すべきであるが制御の処理上補正残りが生じるような条件でも、再生時に補正できるところが特徴となる。
【００２４】
図５は図４の映像信号の輝度信号レベルに対して補正残りが生じる時間を計数してフラグ情報を生成する課程を説明するグラフである。図中の縦軸は映像信号の輝度レベルおよびフラグ情報を表し、５０１は映像信号の制御目標レベル、５０２は制御上の目標範囲の上限レベル、５０３は制御上の目標範囲の下限レベル、５０４は図４の４０３に相当する補正残り、５０５は図４の４０１に相当する被写体の光量の変化による輝度の高い部分、５０６は輝度の高い部分５０５の期間、５０７は補正残り５０４の期間、５０８は逆に暗くなる方向の補正残りの期間、５１０は映像信号に重畳するフラグ信号のうちＦａｌｓｅレベルの期間、５１１は映像信号に重畳するフラグ信号のうち５０７の補正残り期間を表すＴｒｕｅレベルの期間、５１２は映像信号に重畳するフラグ信号のうち５０８の補正残り期間を表すＴｒｕｅレベルの期間である。
【００２５】
図５の制御目標レベル５０１を中心とした上限レベル５０２と下限レベル５０３の範囲は、この範囲内に輝度信号レベルがあればモニター装置での視感上変化を感じにくい範囲に設定する。通常映像信号の５〜１０％程度であれば違和感は少ない。この上限レベル５０２および下限レベル５０３を超える信号が撮像された場合、再生時の補正候補として時間を計数する。５０６では光った物体が通り過ぎたりするような一瞬明るくなる状態なので極めて短時間であり、この時間であれば再生時の補正は行わないため、フラグ５１０はＦａｌｓｅ状態を保つ。それに対して、５０７では曇りから日が射すような被写体の照明状態が変わった場合なので再生時の補正を行う対象となる。５０７では上述の５０６よりも十分に長い時間補正残りが発生する。この時間であれば再生時の補正を行う対象となり、フラグ５１１をＴｒｕｅの状態とする。なお、フラグをＴｒｕｅの状態とするのは５０７の時間計数を開始した時点に立ち返ってフラグ情報を付加することで、５０７の補正残りが発生した時点からの補正が可能となる。このようにして、本発明の撮像系では再生時に補正を行いたい期間だけフラグをＴｒｕｅとして映像信号と共に記録するものである。
【００２６】
図１−ｂは本発明の実施形態であるビデオカメラの再生系のブロック図である。１２１は映像信号が記録された記録媒体から映像信号を再生処理する再生装置、１２２は再生された映像信号の信号レベルを変化させるアンプ、１２３は再生された映像信号をモニター装置などに出力する出力端子、１２４は映像信号に重畳記録された記録データを分離して生成するメタデータ再生装置、１２５は再生された映像信号の輝度信号レベルを検出する再生信号レベル検出装置、１２６はメタデータ再生装置１２４で再生された記録情報を基にして再生映像信号の補正を行うか否かを判定する補正判定装置、１２７は再生信号レベル検出装置１２５で検出された映像信号の輝度信号レベルを基にアンプ１２２のゲインを算出する再生信号レベル制御装置である。
【００２７】
再生装置１２１では映像信号が記録された記録媒体から映像信号を再生する。再生装置１２１で再生された映像信号はアンプ１２２で所定のレベルに増幅された後出力端子１２３から出力される。一方で、本実施例の撮像系で説明したように、記録された映像信号には再生時補正用のフラグ情報が吹かされている。これを映像信号から分離して、補正情報を生成するのがメタデータ再生装置１２４である。補正判定装置１２６はメタデータ再生装置１２４で生成された補正情報をもとにレベル補正を行うか否かを判定する。再生信号レベル検出装置１２５では再生された映像信号の輝度レベルを検出し、再生信号レベル制御装置１２７に供給される。再生信号レベル制御装置１２７は補正判定装置１２６で補正を行うと判定された場合に再生信号レベル検出装置１２５で検出した輝度信号レベルを制御目標値に近づくように補正ゲイン量を決定する。再生信号レベル制御装置１２７で決定された補正ゲイン量はアンプ１２２に供給され、決定したゲイン量に基づいて利得制御される。
【００２８】
図６は再生系における輝度レベル補正処理の動作を説明するグラフである。図中６０１は目標レベル、６０２は目標上限レベル、６０３は目標下限レベル、６０４は図４の４０１に相当する被写体の光量の変化による輝度の高い部分に相当する期間、６０５は図４の４０３に相当する暗くなる方向の補正残りの期間、６０６は逆に暗くなる方向の補正残りの期間、６１０はは映像信号に重畳されたフラグ信号のうちＦａｌｓｅレベルの期間、５０２は映像信号に重畳されたフラグ信号のうち５０７の補正残り期間を表すＴｒｕｅレベルの期間、５０３は映像信号に重畳されたフラグ信号のうち５０８の補正残り期間を表すＴｒｕｅレベルの期間である。
【００２９】
６０４の輝度変化は、補正残り量としては大きく目標範囲から外れているものの、フラグ情報６１０から補正すべき期間では無いことが判る。従ってそのまま補正せずに再生される。一方で、６０５の期間及び６０６の期間はフラグ情報６１１およびフラグ情報６１２から補正すべき期間であることが判り、目標レベルになるように補正した結果が図５のグラフに対する図６のグラフの輝度信号レベルである。本実施例ではこの様にして補正された再生信号が出力端子１２３からモニタ装置などに出力される。
【００３０】
以上が本発明の実施形態であるビデオカメラに関する説明である。本実施例によれば、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。
【００３１】
本実施例では記録情報としてフラグデータを用いることで説明したが、記録情報としては時間データそのものでも良いし、補正開始点および終了点を指示することでも容易に実現可能である。また、本実施例では光学絞りで露出制御を行う構成で説明したが、ＮＤフィルタなどの減光装置やイメージセンサの蓄積時間、また、撮像信号の利得制御などでも同様の効果を得ることが出来る。さらには、記録再生可能な撮像装置として説明したが、撮像部分、記録部分、再生部分が分離されている構成でも構わない。
【００３２】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００３３】
＜第２の実施形態＞
図７−ａは本発明の第２の実施形態であるビデオカメラの撮像系のブロック図である。７００はレンズ、７０１は露光量調節を行う光学絞り、７０２はイメージセンサ、７０３はホワイトバランス処理やガンマ処理、カラーバランス処理などを行う信号処理装置、７０４は撮像した映像信号を記録する記録装置、７０５は撮像信号から信号処理途中の輝度信号をもとに露出情報を取得するレベル検出装置、７０６はレベル検出装置７０５で検出した輝度レベルをもとに、絞りなどの露出パラメータを制御するレベル制御装置、７０７はレベル検出装置７０５で検出した輝度レベルが目標値に達していない期間をカウントする時間カウント装置、７０８は時間カウント装置７０７でカウントした時間情報をもとに記録データを生成するメタデータ生成装置、７０９は信号処理装置７０３で処理された映像信号にメタデータ生成装置７０８で生成された記録データを重畳する信号重畳装置、７１０は撮影記録の経過時間を生成する時計装置、７１１は時計装置７１０で生成された記録時間をタイムコード情報として生成するタイムコード生成装置である。
【００３４】
本実施例の構成のうち、７００から７０８までは本発明の第１の実施例と同様の構成となり、その部分の主な処理の流れは本発明の第１の実施例を参照していただきたい。以下、本実施例の構成のうち、本発明の第１の実施例と異なる部分に関して説明する。レベル検出装置７０５では、検出された輝度信号レベルと露出制御の目標値とを比較するが、この際に輝度信号レベルと露出制御の目標値との差分が算出される。この差分が閾値を超えると露出が適正ではないと判断され露出制御がなされるが、時間カウント装置７０７では露出が適正ではない期間を計数する。
【００３５】
時計装置７１０は撮像信号を記録している間の時間を計時し、タイムコード生成装置７１１は時計装置７１０の時間情報を基に記録開始からのタイムコードを生成する。メタデータ生成装置７０８では時間カウント装置７０７で計数された時間に応じて記録する情報を生成する。本実施例では、記録情報として所定の時間を超えた際のタイムコードを情報として用いる例を以下で説明する。信号重畳装置７０９はメタデータ生成装置７０８で生成された記録情報であるメタデータを映像信号に重畳する処理を行い、記録情報を重畳された映像信号は記録装置７０４で動画として記録される。
【００３６】
被写体の明るさの変化から、対応する絞り制御、さらには絞り制御されて撮像された映像信号レベルまでを時間経過での変化に関しては、本発明の第１の実施例と同様であり、記録される映像信号は図４の通りとなる。図８は図４の映像信号に対してメタデータ生成装置７０８でどのようなタイムコード情報が生成されるのかを説明するグラフである。図中８０１から８０３は図５の５０１から５０３と同様の輝度レベル目標値である。再生時に補正を行いたいポイントは本発明の第１の実施例で説明したものと同様であり、８１０は補正開始を示し、８１１は補正終了、８１２は補正開始、８１３は補正終了をそれぞれ示す。それに対応して、それぞれのタイムコードは図の上に示す通りとなり、撮影していくに従って以下の情報が得られてゆく。
【００３７】
（１）  ００：０１：２２          補正開始
（２）  ００：０１：２６          補正終了
（３）  ００：０２：１２          補正開始
（４）  ００：０２：１６          補正終了
この情報が映像信号を記録する記録媒体に追記されてゆくことで、再生時にタイムコードのどの時点で補正を行えば良いかの情報を得ることが出来る。
【００３８】
図７−ｂは本発明の実施形態であるビデオカメラの再生系のブロック図である。７２１は映像信号が記録された記録媒体から映像信号を再生処理する再生装置、７２２は再生された映像信号の信号レベルを変化させるアンプ、７２３は再生された映像信号をモニター装置などに出力する出力端子、７２４は映像信号に重畳記録された記録データを分離して生成するメタデータ再生装置、７２８は映像信号に重畳記録されたタイムコードを分離して生成するタイムコード再生装置、７２５は再生された映像信号の輝度信号レベルを検出する再生信号レベル検出装置、７２６はメタデータ再生装置７２４で再生された記録情報とタイムコード再生装置７２８で再生されたタイムコード情報を基にして再生映像信号の補正を行うか否かを判定する補正判定装置、７２７は再生信号レベル検出装置７２５で検出された映像信号の輝度信号レベルを基にアンプ７２２のゲインを算出する再生信号レベル制御装置である。
【００３９】
図７−ｂの７２１から７２７までの構成は本発明の第１の実施例と同様で、本実施例に特有の構成はタイムコード再生装置７２８の部分である。本実施例のメタデータはタイムコードを基にした時間情報と補正の開始／終了情報である。メタデータ再生装置７２４で分離されたメタデータは補正判定装置７２６においてタイムコード再生装置７２８で分離された時間情報に照らし合わされ、再生時のどの時点で補正を行えば良いかが判定される。補正判定装置７２６の判定結果で再生信号レベル制御が行われる部分に関しては、本発明の第１の実施例と同様である。
【００４０】
本実施例によれば、記録されるメタデータは映像信号と同一の時間に記録されていなくても構わない。別の部分に記録されていた場合は、映像信号の再生前、或いは再生中にメタデータを読み出し、メタデータの情報が映像信号のタイムコードと一致した時点で補正を行う構成にすることが可能となる。
【００４１】
以上が本発明の実施形態であるビデオカメラに関する説明である。本実施例によれば、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。
【００４２】
本実施例では記録情報としてタイムコードを用いることで説明したが、記録情報としてはフラグデータなどの単純なものでも良いし、補正するか否かのスレッシュは再生装置に持たせても実現可能である。また、本実施例では光学絞りで露出制御を行う構成で説明したが、ＮＤフィルタなどの減光装置やイメージセンサの蓄積時間、また、撮像信号の利得制御などでも同様の効果を得ることが出来る。さらには、記録再生可能な撮像装置として説明したが、撮像部分、記録部分、再生部分が分離されている構成でも構わない。
【００４３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００４４】
＜第３の実施形態＞
図９−ａは本発明の第３の実施形態であるビデオカメラの撮像系のブロック図である。９００はレンズ、９０１はイメージセンサ、９０２はホワイトバランスアンプ、９０３はガンマ処理、カラーバランス処理などを行う信号処理装置、９０４は撮像した映像信号を記録する記録装置、９０５は撮像信号から信号処理途中の色信号をもとに色温度情報を取得する色温度検出装置、９０６は色温度検出装置９０５で検出した色温度情報が目標値に達していない期間をカウントする時間カウント装置、９０７は時間カウント装置９０６でカウントした時間情報をもとに記録データを生成するメタデータ生成装置、９０８は信号処理装置９０３で処理された映像信号にメタデータ生成装置９０７で生成された記録データを重畳する信号重畳装置である。
【００４５】
レンズ９００に入射した光はイメージセンサ９０１で光電変換される。イメージセンサ９０１で光電変換された映像信号はホワイトバランスアンプ９０２で色温度が調整された後信号処理装置９０３へ入力される。信号処理装置９０３では輝度信号や色信号に対してガンマ処理、輪郭強調処理、ノイズリダクション処理、カラーバランス処理、各種記録フォーマットにのっとったエンコード処理などが施された後、記録装置９０４で動画として記録される。
【００４６】
次に、撮像装置のホワイトバランス制御に関する部分について説明をする。一般的に撮像装置のホワイトバランス制御は、撮像した映像の色信号をもとに色温度の評価を行い、ホワイトバランスアンプの利得をフィードバックあるいはフィードフォワード制御し、映像信号のホワイトバランスを最適に保つように制御する構成である。本実施例では簡潔に説明する為に一般的な撮像装置のホワイトバランス制御のうち、フィードバック制御に関して説明する。色温度検出装置９０５は信号処理装置９０３中の映像信号から複数の領域ごとに積分された色信号を評価値として取得する。映像信号をもとにした色温度の評価は、例えば撮像領域の無彩色部分を抽出して評価する技術や、画像全体の平均色信号を用いて評価する技術など様々な評価方法があり、撮影モードなどに応じて算出方法を切替えて使い分ける手法が一般的になっている。
【００４７】
ホワイトバランス制御装置１０６では、色温度検出装置９０５で検出された色温度を色温度制御の目標値と比較し、色温度が目標値よりも低い場合は色温度を高くする方向へ色温度制御方向を決定する。逆に色温度が目標値よりも高い場合は色温度を低くする方向へ色温度制御方向を決定し、判定した色温度制御方向に従って、ホワイトバランスアンプゲインを制御する。図９のとおり、ホワイトバランスの制御はフィードバックループで構成されており、入射光が変化しても所定の時定数を持ってホワイトバランスゲインが変更され、適切なホワイトバランスを得ることが出来る構成である。
【００４８】
色温度検出装置９０５では、検出された色温度とホワイトバランス制御の目標値とを比較するが、この際に色温度とホワイトバランス制御の目標値との差分が算出される。この差分が閾値を超えるとホワイトバランスが適正ではないと判断されホワイトバランス制御がなされるが、時間カウント装置９０６ではホワイトバランスが適正ではない期間を計数する。メタデータ生成装置９０７では時間カウント装置９０６で計数された時間に応じて記録する情報を生成する。
【００４９】
本実施例では、記録情報として所定の時間を超えた際のタイムコードを情報として用いる例を以下で説明する。信号重畳装置７０９はメタデータ生成装置７０８で生成された記録情報であるメタデータを映像信号に重畳する処理を行い、記録情報を重畳された映像信号は記録装置７０４で動画として記録される。
【００５０】
映像信号から色温度を判別する装置では、被写体の色を照明の色温度として誤検出する場合がある。撮影中に色温度の変化と誤検出するような被写体が横切った場合、即座にホワイトバランス補正が追従すると不安定な色の映像となってしまう。従って、本発明の第１の実施例における絞り制御の考え方と同様に、フィードバックゲインを低くしたり、制御開始に時定数を持たせたりする手法が一般的である。従って、このような被写体環境の変化を時系列で説明すると、本発明の第１の実施例の絞り制御の説明と同様のものとなる。
【００５１】
色温度の変化から、対応するホワイトバランス制御、さらにはホワイトバランス制御されて撮像された映像信号の色信号までの時間経過での変化に関しては、本発明の第１の実施例の絞り制御と極めて類似しており、記録される映像信号は図４の通りとなる。また、メタデータ生成装置９０７で生成されるメタデータとしても、本発明の第２の実施例を参照することで説明できる。ここでは図８を参照してそれぞれのタイムコードは、撮影していくに従って以下の情報が得られてゆく。
【００５２】
（１）  ００：０１：２２          補正開始
（２）  ００：０１：２６          補正終了
（３）  ００：０２：１２          補正開始
（４）  ００：０２：１６          補正終了
この情報が映像信号を記録する記録媒体に追記されてゆくことで、再生時にタイムコードのどの時点で補正を行えば良いかの情報を得ることが出来る。
【００５３】
図９−ｂは本発明の実施形態であるビデオカメラの再生系のブロック図である。９２１は映像信号が記録された記録媒体から映像信号を再生処理する再生装置、９２２は再生された映像信号のホワイトバランスを変化させるホワイトバランスアンプ、９２３は再生された映像信号をモニター装置などに出力する出力端子、９２４は映像信号に重畳記録された記録データを分離して生成するメタデータ再生装置、９２８は映像信号に重畳記録されたタイムコードを分離して生成するタイムコード再生装置、９２５は再生された映像信号の色温度を検出する再生信号色温度検出装置、９２６はメタデータ再生装置９２４で再生された記録情報とタイムコード再生装置９２８で再生されたタイムコード情報を基にして再生映像信号の補正を行うか否かを判定する補正判定装置、９２７は再生信号色温度検出装置９２５で検出された映像信号の色温度を基にホワイトバランスアンプ９２２のゲインを算出する再生信号ホワイトバランス制御装置である。
【００５４】
図９−ｂの構成は本発明の第２の実施例と極めて近く、本実施例に特有の構成は露出制御ではなくホワイトバランス制御に関するという部分である。本実施例のメタデータはタイムコードを基にした時間情報と補正の開始／終了情報である。メタデータ再生装置９２４で分離されたメタデータは補正判定装置９２６においてタイムコード再生装置７２８で分離された時間情報に照らし合わされ、再生時のどの時点で補正を行えば良いかが判定される。補正判定装置７２６の判定結果で再生信号ホワイトバランス制御が行われる部分に関しては、本発明の第２の実施例と同様である。
【００５５】
本実施例によれば、記録されるメタデータは映像信号と同一の時間に記録されていなくても構わない。別の部分に記録されていた場合は、映像信号の再生前、或いは再生中にメタデータを読み出し、メタデータの情報が映像信号のタイムコードと一致した時点で補正を行う構成にすることが可能となる。
【００５６】
以上が本発明の実施形態であるビデオカメラに関する説明である。本実施例によれば、被写体上の横切りなどの突発的な被写体環境変化が発生するシーンを撮影した場合や、短い周期で明るさや色などの条件が変化する被写体を撮影した場合などのその短期間の変化が映像として再現されるうえで、被写体全体にわたって照明環境の変化があった場合には照明状態を十分に補正して適切な再現が可能な映像再生が可能になった。
【００５７】
本実施例では記録情報としてタイムコードを用いることで説明したが、記録情報としてはフラグデータなどの簡単なものでも良いし、補正するか否かのスレッシュは再生装置に持たせても実現可能である。また、本実施例ではホワイトバランス制御を行う構成で説明したが、ガンマ処理、輪郭強調、蛍光灯フリッカ補正などの信号処理制御でも同様の効果を得ることが出来る。さらには、記録再生可能な撮像装置として説明したが、撮像部分、記録部分、再生部分が分離されている構成でも構わない。
【００５８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００５９】
１００‥‥レンズ
１０１‥‥光学絞り
１０２‥‥撮像素子
１０３‥‥信号処理装置
１０４‥‥記録装置
１０５‥‥レベル検出装置
１０６‥‥レベル制御装置
１０７‥‥時間カウント装置
１０８‥‥メタデータ生成装置
１０９‥‥信号重畳装置
１２１‥‥再生装置
１２２‥‥アンプ
１２３‥‥出力端子
１２４‥‥メタデータ再生装置
１２５‥‥再生信号レベル検出装置
１２６‥‥補正判定装置
１２７‥‥再生信号レベル制御装置
【図１】
2012156885.tif 000003
【図２】
2012156885.tif 000004
【図３】
2012156885.tif 000005
【図４】
2012156885.tif 000006
【図５】
2012156885.tif 000007
【図６】
2012156885.tif 000008
【図７】
2012156885.tif 000009
【図８】
2012156885.tif 000010
【図９】
2012156885.tif 000011