(57)【要約】 【課題】  動きのある被写体を撮影しても、撮影した画像中の被写体の動きへの影響が少ないフリッカ補正を行うことができる動画撮像装置を提供する。【解決手段】  照明情報取得部２は、撮像素子１から出力された画像信号に基づいて、被写体を照明する照明光の強度変化を示す照明情報L(t)を取得する。蓄積電荷量設定部４は、各フレーム内で撮像素子１に蓄積される蓄積電荷量αを設定する。仮想電荷蓄積タイミング決定部５は、フレームレート情報記録部３に記録されたフレームレート情報に基づいて、撮像素子１に電荷を蓄積する際の基準タイミングを示す仮想電荷蓄積タイミングを決定する。電荷蓄積時間決定部６は、仮想電荷蓄積タイミング決定部５によって決定された仮想電荷蓄積タイミングを間に含むように、照明情報L(t)と蓄積電荷量αとに基づいて、撮像素子１における電荷蓄積の開始時間と終了時間とを設定する。【選択図】    図１
2006340174.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像し、前記被写体像に基づいた画像信号を生成する撮像素子と、
前記撮像素子から出力された前記画像信号に基づいて、被写体を照明する照明光の強度変化を示す照明情報を取得する照明情報取得手段と、
各フレーム内で前記撮像素子に蓄積される電荷量を設定する蓄積電荷量設定手段と、
前記画像信号のフレームレートを示すフレームレート情報に基づいて、前記撮像素子に電荷を蓄積する際の基準タイミングを示す基準電荷蓄積タイミングを決定する基準電荷蓄積タイミング決定手段と、
前記基準電荷蓄積タイミング決定手段によって決定された前記基準電荷蓄積タイミングを間に含むように、前記照明情報と前記電荷量とに基づいて、前記撮像素子における電荷蓄積の開始時間と終了時間とを設定する電荷蓄積時間設定手段と、
を有することを特徴とする動画撮像装置。
【請求項２】
前記蓄積電荷量設定手段は、前記フレームレート情報と前記照明情報とに基づいて、前記電荷量を設定することを特徴とする請求項１に記載の動画撮影装置。
【請求項３】
前記蓄積電荷量設定手段は、前記照明情報に基づいて、周期的に変化する照明光の強度が極小値となる瞬間を含む時間内に前記撮像素子に蓄積される電荷量を算出し、各フレーム内で前記撮像素子に蓄積される前記電荷量として設定することを特徴とする請求項１または請求項２に記載の動画撮影装置。
【請求項４】
前記蓄積電荷量設定手段は、前記照明情報に基づいて、周期的に変化する照明光の強度が極小値となる瞬間を含み、前記フレームレート情報に基づいた１フレーム分の時間内に前記撮像素子に蓄積される電荷量を算出し、各フレーム内で前記撮像素子に蓄積される前記電荷量として設定することを特徴とする請求項１または請求項２に記載の動画撮影装置。
【請求項５】
前記撮像素子は、前記フレームレートを可変とする撮像素子であって、
前記蓄積電荷量設定手段は、前記撮像素子の駆動に用いられるフレームレートのうち、最も高速のフレームレートに基づいた１フレーム以内の時間内に前記撮像素子に蓄積される電荷量を算出し、各フレーム内で前記撮像素子に蓄積される前記電荷量として設定する
ことを特徴とする請求項１〜請求項４のいずれかの項に記載の動画撮像装置。
【請求項６】
前記基準電荷蓄積タイミング決定手段は、前記撮像素子の駆動に用いられるフレームレートのうち、最も高速のフレームレートに基づいた１フレームの時間の半分の時間だけ最初のフレームの開始時点から遅れた時点を基準電荷蓄積タイミングとして決定することを特徴とする請求項５に記載の動画撮像装置。
【請求項７】
前記基準電荷蓄積タイミングの時間間隔は、前記フレームレート情報に基づいた１フレーム分の時間に等しいことを特徴とする請求項１〜請求項６のいずれかの項に記載の動画撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明光によるフリッカを補正する動画撮像装置に関する。
【背景技術】
【０００２】
交流電源で駆動される照明の照明光量は、交流電源の周波数に比例した周期で変化する。例えば、周波数50Hzの交流電源で駆動される照明の光量変化の周期は1/100secである。このような照明環境下で動画撮像装置を使用すると、各フレームもしくは各フィールドで、映像信号のレベルが異なって出力される。これがフリッカである。フリッカのある画像を観察すると、観察者はちらつきを感じる。照明光量が変化するような条件で動画撮像装置を用いて撮像を行う場合に、フリッカの影響を少なくする補正が従来から行われてきた。
【０００３】
従来のフリッカ補正の一例が特許文献１に記載されている。このフリッカ補正では、1/100sec周期で発光する光源に対応して、1/30sec周期で撮像動作を繰り返す撮像素子の動作タイミングが３周期毎に設定される。第１の期間Ｖ１では、垂直走査のタイミングに対して、フレーム転送のタイミングが1/300sec早まり、第２の期間Ｖ２では、フレーム転送のタイミングが2/300sec早まる。これにより、第１および第２の期間Ｖ１、Ｖ２が照明の発光周期Ｔ１の３倍に一致し、第３の期間Ｖ３が照明の発光周期Ｔ１の４倍に一致する。各期間Ｖ１〜Ｖ３で照明の発光状態が均一になるため、その期間の撮像動作によって得られる画像信号では、垂直走査期間毎のレベルのばらつきがなくなる。
【特許文献１】特開２０００−２２４４８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のようにフレーム転送のタイミングを変化させる従来のフリッカ補正では、フレーム間での被写体の動きに対する蓄積のタイミングが考慮されていない。そのため、従来の補正方法で、動きのある被写体に対してフリッカ補正を行うと、フレームレートを変動させた場合と同様な影響が出て、被写体の動きを忠実に再現できないという問題があった。
【０００５】
本発明は、上述した問題点に鑑みてなされたものであって、動きのある被写体を撮影しても、撮影した画像中の被写体の動きへの影響が少ないフリッカ補正を行うことができる動画撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、請求項１に記載の発明は、被写体像を撮像し、前記被写体像に基づいた画像信号を生成する撮像素子と、前記撮像素子から出力された前記画像信号に基づいて、被写体を照明する照明光の強度変化を示す照明情報を取得する照明情報取得手段と、各フレーム内で前記撮像素子に蓄積される電荷量を設定する蓄積電荷量設定手段と、前記画像信号のフレームレートを示すフレームレート情報に基づいて、前記撮像素子に電荷を蓄積する際の基準タイミングを示す基準電荷蓄積タイミングを決定する基準電荷蓄積タイミング決定手段と、前記基準電荷蓄積タイミング決定手段によって決定された前記基準電荷蓄積タイミングを間に含むように、前記照明情報と前記電荷量とに基づいて、前記撮像素子における電荷蓄積の開始時間と終了時間とを設定する電荷蓄積時間設定手段とを有することを特徴とする動画撮像装置である。
【０００７】
請求項２に記載の発明は、請求項１に記載の動画撮像装置において、前記蓄積電荷量設定手段は、前記フレームレート情報と前記照明情報とに基づいて、前記電荷量を設定することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１または請求項２に記載の動画撮像装置において、前記蓄積電荷量設定手段は、前記照明情報に基づいて、周期的に変化する照明光の強度が極小値となる瞬間を含む時間内に前記撮像素子に蓄積される電荷量を算出し、各フレーム内で前記撮像素子に蓄積される前記電荷量として設定することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１または請求項２に記載の動画撮像装置において、前記蓄積電荷量設定手段は、前記照明情報に基づいて、周期的に変化する照明光の強度が極小値となる瞬間を含み、前記フレームレート情報に基づいた１フレーム分の時間内に前記撮像素子に蓄積される電荷量を算出し、各フレーム内で前記撮像素子に蓄積される前記電荷量として設定することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４のいずれかの項に記載の動画撮像装置において、前記撮像素子は、前記フレームレートを可変とする撮像素子であって、前記蓄積電荷量設定手段は、前記撮像素子の駆動に用いられるフレームレートのうち、最も高速のフレームレートに基づいた１フレーム以内の時間内に前記撮像素子に蓄積される電荷量を算出し、各フレーム内で前記撮像素子に蓄積される前記電荷量として設定することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項５に記載の動画撮像装置において、前記基準電荷蓄積タイミング決定手段は、前記撮像素子の駆動に用いられるフレームレートのうち、最も高速のフレームレートに基づいた１フレームの時間の半分の時間だけ最初のフレームの開始時点から遅れた時点を基準電荷蓄積タイミングとして決定することを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１〜請求項６のいずれかの項に記載の動画撮像装置において、前記基準電荷蓄積タイミングの時間間隔は、前記フレームレート情報に基づいた１フレーム分の時間に等しいことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、各フレームで撮像素子に蓄積される電荷量を一定に保ちながら、撮像素子に電荷を蓄積する際の基準タイミングを決定すると共に、その基準タイミングを間に含むように電荷蓄積開始時間および電荷蓄積終了時間を設定するようにしたので、動きのある被写体を撮影しても、撮影した画像中の被写体の動きへの影響が少ないフリッカ補正を行うことができるという効果が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。まず、本発明の第１の実施形態を説明する。図４は、本実施形態におけるフリッカ補正の概念を示している。本撮影が行われる前に照明情報L(t)およびフレームレート情報FRが取得される。
【００１５】
照明情報L(t)は、被写体を照明する照明光の強度変化を示す情報であり、照明光の強度や周期の情報を含んでいる。この照明情報L(t)は、撮像素子から出力される画像信号に基づいて取得される。照明情報L(t)を取得する際には、例えば撮影のフレームレートが高速に設定され、照明光の強度変化の１周期内あるいはそれ以上の期間内で複数点の強度が取得され、それらに基づいて照明情報L(t)が生成される。照明情報L(t)から、任意の時刻での照明光の強度が得られる。フレームレート情報FRは、撮像素子のフレームレートの情報を含むと共に、そのフレームレートで撮影を行う場合に撮像素子が電荷蓄積に費やすことができる時間（以下、電荷蓄積期間と称す）の情報を含んでいる。本実施形態においては、撮影中のフレームレートは一定の値ｆであるとし、フレームレートfにおける１フレームの時間をFとする。
【００１６】
続いて、照明情報L(t)およびフレームレート情報FRに基づいて、各フレーム内で撮像素子に蓄積される電荷量である蓄積電荷量αが設定される（図４参照）。蓄積電荷量αは以下のようにして設定される。まず、フレームレート情報FRに基づいて、撮像素子が電荷を蓄積できる最大の蓄積時間が取得される。続いて、周期的に変化する照明光の照明情報L(t)に基づいて、照明の強度が一番小さくなる瞬間が求められ、この瞬間を含む最大の蓄積時間で蓄積できる電荷量が蓄積電荷量の最大値として算出される。この最大値以下になるように蓄積電荷量αが設定される。
【００１７】
この蓄積電荷量αは、各フレーム内で撮像素子に蓄積される電荷量であり、各フレームでの蓄積電荷量αを一定にすることによって、一定の露光量が保たれ、照明光の強度変化によるフリッカを抑えることができる。フリッカ補正を行う場合、照明の強度が一番小さくなったときに、電荷蓄積時間が最も長く必要である。上記のように、最大の電荷蓄積時間に対応して蓄積電荷量αが設定される。このため、照明の強度が大きくなった場合であっても、電荷蓄積時間は１フレームの電荷蓄積期間内に収まる。上記の最大の電荷蓄積時間は、フレームレート情報FRに基づいた１フレームの時間と同一あるいはそれ以下の時間として設定される。
【００１８】
続いて、フレームレート情報FRに基づいて、仮想電荷蓄積タイミングK1が決定される（図４参照）。仮想電荷蓄積タイミング（基準電荷蓄積タイミング）とは、撮像素子に電荷を蓄積する際の基準タイミングを示しており、動く被写体のフレーム間での動きに影響がないように設定される。この仮想電荷蓄積タイミングK1は以下のようにして決定される。まず、フレームレート情報FRから、撮像素子が電荷を蓄積できる最大の蓄積時間が取得される。この最大の蓄積時間の中心（半分）となる時刻に仮想電荷蓄積タイミングK1が決定される。仮想電荷蓄積タイミングK1は、最大の蓄積時間の中心（半分）となる時刻に限定されないが、この時刻であることがより望ましい。
【００１９】
続いて、１フレーム内で撮像素子に蓄積される電荷量が、設定された蓄積電荷量αになるように、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1が設定される（図４参照）。電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1は、仮想電荷蓄積タイミングK1を間に含むように、照明情報L(t)と蓄積電荷量αとに基づいて決定される。すなわち、次式を満たすようなT1およびT1+W1がそれぞれ電荷蓄積開始時間および電荷蓄積終了時間に設定される。ただし、次式においてn=1,2,・・・とする。
【００２０】
【数１】
2006340174.tif 000003
【００２１】
電荷蓄積開始時間および電荷蓄積終了時間の設定において、Wn=W’n+W”nとし、仮想電荷蓄積タイミングＫnから電荷蓄積開始時間Tnまでの蓄積時間をW’n、仮想電荷蓄積タイミングＫnから電荷蓄積終了時間Tn+Wnまでの蓄積時間をW”nとすると、W’n=W”n（すなわちW’n/W”n=1）が成り立つことを条件とする（図４参照）。これによって、後述するように、被写体の動きが滑らかになる。第１フレーム目において、電荷蓄積開始時間T1、電荷蓄積終了時間T1+W1で制御された撮像素子から出力される信号が読み出される。
【００２２】
また、第１フレーム目において、フレームレート情報FRから仮想電荷蓄積タイミングK2が設定される。ここで、フレームレート情報FRに含まれるフレームレートfでの１フレームの実時間Fと仮想電荷蓄積タイミングＫnとの間にはKn+1-Ｋn=Fが成り立つことを条件とする。１フレーム内で撮像素子に蓄積される電荷量が、設定された蓄積電荷量αになるように、仮想電荷蓄積タイミングK2を中心に電荷蓄積開始時間T2と電荷蓄積終了時間T2+W2が設定される（図４参照）。ここで、W2’=W2”が条件である。
【００２３】
第２フレーム目において、電荷蓄積開始時間T2、電荷蓄積終了時間T2+W2で制御された撮像素子から出力される信号が読み出される。以降のフレームでは同様の処理が行われる。上述した方法によって、図４に示されるように、補正前蓄積時間およびタイミングは補正後蓄積時間およびタイミングのように補正される。このように、蓄積時間を変えてフリッカが補正され、被写体の動きに対して影響の少ないタイミングで電荷の蓄積が行われる。
【００２４】
図５は、本実施形態によって得られるフレーム間の被写体の動きを概念的に示している。従来のフリッカ補正では電荷蓄積のタイミングが変わるため、撮像素子のフレームレートが一定であっても、各フレームで被写体の動きをとらえるタイミングが異なる。そのため、フレーム間で被写体の動きが滑らかでなくなる。一方、本実施形態においては、各フレームの被写体の動きの中心位置（時間軸上での中心位置）の間隔が、フレームレートに基づいた１フレームの長さに等しくなるように仮想電荷蓄積タイミングが決定される。このため、フレーム間で被写体の動きが滑らかに見える。
【００２５】
次に、上述したフリッカ補正を行う動画撮像装置の構成を説明する。図１は、本実施形態による動画撮像装置の構成を示している。撮像素子１は被写体像を撮影し、被写体像に基づいた画像信号を生成する。撮像素子１から出力された画像信号は照明情報取得部２に入力されると共に、実映像信号Snとして出力される。照明情報取得部２は、入力された画像信号に基づいて、照明情報L(t)を取得する。取得された照明情報L(t)は、蓄積電荷量設定部４および電荷蓄積時間決定部６へ出力される。
【００２６】
フレームレート情報記録部３は、フレームレート情報FRを記録するメモリ等を備えている。フレームレート情報FRは、例えば撮影前に予め作成され、フレームレート情報記録部３に記録されている。フレームレート情報FRは適宜読み出されて、蓄積電荷量設定部４および仮想電荷蓄積タイミング決定部５へ出力される。蓄積電荷量設定部４は、入力された照明情報L(t)およびフレームレート情報FRを用いて、撮像素子１の蓄積電荷量αを設定する。設定された蓄積電荷量αは電荷蓄積時間決定部６へ出力される。
【００２７】
仮想電荷蓄積タイミング決定部５は、入力されたフレームレート情報FRを用いて仮想電荷蓄積タイミングＫnを決定する。決定された仮想電荷蓄積タイミングＫnは電荷蓄積時間決定部６へ出力される。電荷蓄積時間決定部６は、入力された照明情報L(t)、蓄積電荷量α、および仮想電荷蓄積タイミングＫnに基づいて、電荷蓄積開始時間Tnおよび電荷蓄積終了時間Tn+Wnを決定する。決定された電荷蓄積開始時間Tnおよび電荷蓄積終了時間Tn+Wnに基づいて、撮像素子１の露光が制御される。
【００２８】
次に、図２を参照し、本実施形態におけるフリッカ補正の手順を説明する。画像データの記録が行われる本撮影が行われる前に、照明情報取得部２は、撮像素子１から出力された画像信号に基づいて、被写体を照明する照明光の照明情報L(t)を取得する（ステップＳ２０１）。続いて、フレームレート情報記録部３に撮像素子１のフレームレート情報FRが記録される（ステップＳ２０２）。蓄積電荷量設定部４は、照明情報L(t)とフレームレート情報FRを用いて、各フレームで合わせる映像信号レベルとなる撮像素子１の蓄積電荷量αを設定する（ステップＳ２０３）。
【００２９】
仮想電荷蓄積タイミング決定部５は、フレームレート情報FRに基づいて、被写体のフレーム間の動きに影響がない蓄積タイミングである仮想電荷蓄積タイミングＫnを決定する（ステップＳ２０４）。電荷蓄積時間決定部６は、照明情報L(t)、蓄積電荷量α、および仮想電荷蓄積タイミングＫnを用いて、被写体のフレーム間の動きに影響がなく、撮像素子１の蓄積電荷量が、設定した蓄積電荷量αになるように、電荷蓄積開始時間Tnおよび電荷蓄積終了時間Tn+Wnを決定する（ステップＳ２０５）。撮像素子１は、電荷蓄積時間決定部６によって決定された電荷蓄積開始時間および電荷蓄積終了時間の間で電荷を蓄積するよう制御される。続いて、制御された撮像素子１から出力された実映像信号Snが読み出される（ステップＳ２０６）。以後、１フレーム毎にｎの値を増加させながら、ステップＳ２０４〜Ｓ２０６の処理が撮影終了まで繰り返し行われる。
【００３０】
図３は、本実施形態による動画撮像装置の駆動タイミングを示している。画像データの記録が行われる本撮影が行われる前、照明情報L(t)およびフレームレート情報FRが取得される。照明情報L(t)およびフレームレート情報FRに基づいて、蓄積電荷量αが設定される。また、フレームレート情報FRから仮想電荷蓄積タイミングK1が設定される。続いて、照明情報L(t)、仮想電荷蓄積タイミングK1、および蓄積電荷量αに基づいて、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1が設定される。
【００３１】
第１フレーム目において、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1で電荷の蓄積が制御された撮像素子１から出力される実信号S1が読み出される。また、フレームレート情報FRに基づいて、仮想電荷蓄積タイミングK2が設定される。続いて、照明情報L(t)、仮想電荷蓄積タイミングK2、および蓄積電荷量αに基づいて、電荷蓄積開始時間T2および電荷蓄積終了時間T2+W2が設定される。第２フレーム目において、電荷蓄積開始時間T2および電荷蓄積終了時間T2+W2で電荷の蓄積が制御された撮像素子１から出力される実信号S2が読み出される。以降、同様の処理が行われる。
【００３２】
上述したように、本実施形態による動画撮像装置は、各フレームで撮像素子１に蓄積される電荷量を一定に保ちながら、撮像素子１に電荷を蓄積する際の基準タイミングとなる仮想電荷蓄積タイミング（基準電荷蓄積タイミング）を決定すると共に、仮想電荷蓄積タイミングを間に含むように電荷蓄積開始時間および電荷蓄積終了時間を設定する。特に、本実施形態による動画撮像装置は、隣接するフレームの仮想電荷蓄積タイミングの間隔が１フレームの長さに等しくなるように仮想電荷蓄積タイミングを決定すると共に、仮想電荷蓄積タイミングから電荷蓄積開始時間までの時間と仮想電荷蓄積タイミングから電荷蓄積終了時間までの時間を等しく設定する。これによって、被写体の動きの中心の間隔が１フレームの長さに等しくなるので、動きのある被写体を撮影しても、撮影した画像中の被写体の動きへの影響が少ないフリッカ補正を行うことができる。
【００３３】
また、本実施形態による動画撮像装置は、周期的に変化する照明光の強度が極小値となる瞬間を含む時間内（特に、１フレームの時間内）に撮像素子１に蓄積される電荷量を算出し、蓄積電荷量αとして設定する。これによって、どのフレームにおいても、電荷蓄積時間を１フレームの電荷蓄積期間内に収めることができる。
【００３４】
次に、本発明の第２の実施形態を説明する。本実施形態による動画撮像装置の構成は第１の実施形態と同様である。以下、図６を用いて、本実施形態によるフリッカ補正の方法を説明する。本撮影が行われる前に照明情報L(t)およびフレームレート情報FRが取得される。続いて、第１の実施形態と同様に、照明情報L(t)およびフレームレート情報FRに基づいて、蓄積電荷量αが設定される。また、フレームレート情報FRに基づいて、仮想電荷蓄積タイミングK1が決定される。
【００３５】
続いて、１フレーム内で撮像素子１に蓄積される電荷量が、設定された蓄積電荷量αになるように、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1が設定される（図６参照）。このとき、仮想電荷蓄積タイミングＫnから電荷蓄積開始時間Tnまでの蓄積時間W’nと仮想電荷蓄積タイミングＫnから電荷蓄積終了時間Tn+Wnまでの蓄積時間W”nとが極力等しい値になるように設定される。第１フレーム目において、電荷蓄積開始時間T1、電荷蓄積終了時間T1+W1で制御された撮像素子１から出力される信号が読み出される。
【００３６】
また、第１フレーム目において、フレームレート情報FRから仮想電荷蓄積タイミングK2が設定される。第１の実施形態と同様に、フレームレート情報FRに含まれるフレームレートfでの１フレームの実時間Fと仮想電荷蓄積タイミングＫnとの間にはKn+1-Ｋn=Fが成り立つことを条件とする。続いて、１フレーム内で撮像素子１に蓄積される電荷量が、設定された蓄積電荷量αになるように、電荷蓄積開始時間T2と電荷蓄積終了時間T2+W2が設定される（図６参照）。この際にW2’とW2”は、ほぼ等しい値となるように設定される。第２フレーム目において、電荷蓄積開始時間T2、電荷蓄積終了時間T2+W2で制御された撮像素子１から出力される信号が読み出される。以降のフレームでは同様の処理が行われる。
【００３７】
図７は、本実施形態によって得られるフレーム間の被写体の動きを概念的に示している。本実施形態においては、各フレームの被写体の動きの中心位置（時間軸上での中心位置）の間隔が、フレームレートに基づいた１フレームの長さに極力等しくなるように、仮想電荷蓄積タイミングが設定される。このため、動く被写体を撮影する場合に、フリッカ補正のために電荷蓄積時間を変更しても、フレーム間での被写体の動きに影響が少ないようなフリッカ補正を行うことができる。
【００３８】
次に、本発明の第３の実施形態を説明する。図８は、本実施形態による撮像装置の構成を示している。図１と同一の構成には同一の符号が付与されている。本実施形態の撮像素子１は、被写体像を撮影する際にフレームレートを任意に設定可能な可変フレームレート（VFR: Variable Frame Rate ）機能を有している。また、フレームレート情報記録部３にフレームレート情報取得部７が接続されている。フレームレート情報取得部７は、例えばフレームレートを設定するためのつまみから出力される信号に基づいて、各フレームにおいてフレームレートを検出する。また、フレームレート情報取得部７は、本撮影前において、後述する最速のフレームレートも検出する。フレームレート情報取得部７は、検出したフレームレートfnを含むフレームレート情報FRnをフレームレート情報記録部３に記録する。
【００３９】
図１１は、本実施形態におけるフリッカ補正の概念を示している。本撮影が行われる前に照明情報L(t)、および最速のフレームレートf0に関するフレームレート情報FR0が取得される。このフレームレート情報FR0は、撮像素子１の駆動に用いられる撮影時のフレームレートのうち、最速のフレームレートf0の情報を含むと共に、そのフレームレートf0で電荷蓄積に費やすことができる電荷蓄積時間の情報を含んでいる。上記の最速のフレームレートf0は、動画撮像装置に設定可能なフレームレートの中で最速のフレームレートであってもよいし、撮影用に予め設定されたフレームレートの中で最速のフレームレートであってもよい。
【００４０】
続いて、照明情報L(t)およびフレームレート情報FR0に基づいて、蓄積電荷量αが設定される。蓄積電荷量αの設定方法は、最速のフレームレートf0の情報が用いられる以外は第１の実施形態と同様である。最速のフレームレートf0に合わせて蓄積電荷量αを設定することによって、本撮影のどのフレームにおいても、必要な電荷蓄積時間を必ず１フレーム内に設定することができる。
【００４１】
さらに、フレームレート情報FR0に基づいて、以下のようにして仮想電荷蓄積タイミングK1が決定される。最速のフレームレートf0に基づいた１フレームの時間の長さをF0とすると、第１フレームの開始時刻からF0の半分の時間遅れた時刻に仮想電荷蓄積タイミングK1が設定される。このため、仮にｎ番目のフレームの時間の長さFnがF0となった場合には、仮想電荷蓄積タイミングＫnが電荷蓄積期間内に収まり、かつその電荷蓄積期間の中心の時刻に仮想電荷蓄積タイミングＫnが設定される。したがって、最も短いフレームにおいても、蓄積電荷量αの電荷を蓄積するために必要な電荷蓄積時間を必ずそのフレームの電荷蓄積期間内に設定することができる。
【００４２】
続いて、１フレーム内で撮像素子１に蓄積される電荷量が、設定された蓄積電荷量αになるように、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1が設定される（図１１参照）。電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1は、第１の実施形態と同様に、仮想電荷蓄積タイミングK1を間に含むように、照明情報L(t)と蓄積電荷量αとに基づいて決定される。電荷蓄積開始時間および電荷蓄積終了時間の設定において、Wn=W’n+W”nとし、仮想電荷蓄積タイミングＫnから電荷蓄積開始時間Tnまでの蓄積時間をW’n、仮想電荷蓄積タイミングＫnから電荷蓄積終了時間Tn+Wnまでの蓄積時間をW”nとすると、W’n=W”n（すなわちW’n/W”n=1）が成り立つことを条件とする（図１１参照）。第１フレーム目において、電荷蓄積開始時間T1、電荷蓄積終了時間T1+W1で制御された撮像素子１から出力される信号が読み出される。
【００４３】
また、第１フレーム目において、第１フレームのフレームレートf1を含むフレームレート情報FR1から仮想電荷蓄積タイミングK2が設定される。ここで、フレームレート情報FRnに含まれるｎフレーム目のフレームレートfnでの１フレームの実時間Fnと仮想電荷蓄積タイミングＫnとの間にはKn+1-Ｋn=Fnが成り立つことを条件とする。１フレーム内で撮像素子１に蓄積される電荷量が、設定された蓄積電荷量αになるように、仮想電荷蓄積タイミングK2を中心に電荷蓄積開始時間T2と電荷蓄積終了時間T2+W2が設定される（図１１参照）。ここで、W2’=W2”が条件である。
【００４４】
第２フレーム目において、電荷蓄積開始時間T2、電荷蓄積終了時間T2+W2で制御された撮像素子１から出力される信号が読み出される。以降のフレームでは同様の処理が行われる。上述した方法によって、図１１に示されるように、補正前蓄積時間およびタイミングは補正後蓄積時間およびタイミングのように補正される。このように、蓄積時間を変えてフリッカが補正され、被写体の動きに対して影響の少ないタイミングで電荷の蓄積が行われる。
【００４５】
図１２は、本実施形態によって得られるフレーム間の被写体の動きを概念的に示している。従来のフリッカ補正では電荷蓄積のタイミングが、照明の発光周期に合わせて変わるため、各フレームで設定された被写体の動きの中心位置（時間軸上での中心位置）の間隔が、フレームレートに基づいたフレームの長さと異なる。そのため、フレーム間で被写体の動きが滑らかでなくなり、可変フレームレート機能による所望の結果を得ることができないという問題がある。一方、本実施形態においては、各フレームの被写体の動きの中心位置の間隔が、フレームレートに基づいた１フレームの長さに等しくなるように仮想電荷蓄積タイミングが決定される。このためフレーム間で被写体の動きが滑らかに見える。また、可変フレームレート機能も意図したものを維持することができる。
【００４６】
次に、図９を参照し、本実施形態におけるフリッカ補正の手順を説明する。画像データの記録が行われる本撮影が行われる前に、照明情報取得部２は、撮像素子１から出力された画像信号に基づいて、被写体を照明する照明光の照明情報L(t)を取得する（ステップＳ９０１）。続いて、フレームレート情報取得部７は、撮影に用いられるフレームレートのうち、最速のフレームレートf0を含むフレームレート情報FR0を取得し、フレームレート情報記録部３に記録する（ステップＳ９０２）。蓄積電荷量設定部４は、照明情報L(t)とフレームレート情報FR0を用いて、各フレームで合わせる映像信号レベルとなる撮像素子１の蓄積電荷量αを設定する（ステップＳ９０３）。
【００４７】
仮想電荷蓄積タイミング決定部５は、フレームレート情報FRn（本撮影前においてはフレームレート情報FR0）に基づいて、被写体のフレーム間の動きに影響がない蓄積タイミングである仮想電荷蓄積タイミングＫnを決定する（ステップＳ９０４）。電荷蓄積時間決定部６は、照明情報L(t)、蓄積電荷量α、および仮想電荷蓄積タイミングＫnを用いて、被写体のフレーム間の動きに影響がなく、撮像素子１の蓄積電荷量が、設定した蓄積電荷量αになるように、電荷蓄積開始時間Tnおよび電荷蓄積終了時間Tn+Wnを決定する（ステップＳ９０５）。
【００４８】
撮像素子１は、電荷蓄積時間決定部６によって決定された電荷蓄積開始時間および電荷蓄積終了時間の間で電荷を蓄積するよう制御される。続いて、制御された撮像素子１から出力された実映像信号Snが読み出される（ステップＳ９０６）。さらに、フレームレート情報取得部７はｎ番目のフレームのフレームレート情報FRnを取得し、フレームレート情報記録部３に記録する（ステップＳ９０７）。本撮影前においては、ステップＳ９０７の処理は省略してもよい。以後、１フレーム毎にｎの値を増加させながら、ステップＳ９０４〜Ｓ９０７の処理が撮影終了まで繰り返し行われる。
【００４９】
図１０は、本実施形態による動画撮像装置の駆動タイミングを示している。本撮影が行われる前に、照明情報L(t)およびフレームレート情報FR0が取得される。照明情報L(t)およびフレームレート情報FR0に基づいて、蓄積電荷量αが設定される。また、フレームレート情報FR0から仮想電荷蓄積タイミングK1が設定される。続いて、照明情報L(t)、仮想電荷蓄積タイミングK1、および蓄積電荷量αに基づいて、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1が設定される。
【００５０】
第１フレーム目において、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1で電荷の蓄積が制御された撮像素子１から出力される実信号S1が読み出される。また、フレームレートf1を含むフレームレート情報FR1が取得され、フレームレート情報FR1に基づいて、仮想電荷蓄積タイミングK2が設定される。続いて、照明情報L(t)、仮想電荷蓄積タイミングK2、および蓄積電荷量αに基づいて、電荷蓄積開始時間T2および電荷蓄積終了時間T2+W2が設定される。第２フレーム目において、電荷蓄積開始時間T2および電荷蓄積終了時間T2+W2で電荷の蓄積が制御された撮像素子１から出力される実信号S2が読み出される。以降、同様の処理が行われる。
【００５１】
次に、本発明の第４の実施形態を説明する。本実施形態による動画撮像装置の構成は第３の実施形態と同様である。以下、図１３を用いて、本実施形態によるフリッカ補正の方法を説明する。本撮影が行われる前に照明情報L(t)、および最速のフレームレートf0を含むフレームレート情報FR0が取得される。続いて、第３の実施形態と同様に、照明情報L(t)およびフレームレート情報FR0に基づいて、蓄積電荷量αが設定される。また、フレームレート情報FR0に基づいて、仮想電荷蓄積タイミングK1が決定される。第１フレームの開始時刻から、最速のフレームレートf0での１フレームの長さF0の半分の時間遅れた時刻に仮想電荷蓄積タイミングK1が設定される。
【００５２】
続いて、１フレーム内で撮像素子１に蓄積される電荷量が、設定された蓄積電荷量αになるように、電荷蓄積開始時間T1および電荷蓄積終了時間T1+W1が設定される（図１３参照）。このとき、仮想電荷蓄積タイミングＫnから電荷蓄積開始時間Tnまでの蓄積時間W’nと仮想電荷蓄積タイミングＫnから電荷蓄積終了時間Tn+Wnまでの蓄積時間W”nとが極力同じ値になるように設定される。第１フレーム目において、電荷蓄積開始時間T1、電荷蓄積終了時間T1+W1で制御された撮像素子１から出力される信号が読み出される。
【００５３】
また、第１フレーム目において、フレームレート情報FR1から仮想電荷蓄積タイミングK2が設定される。第１の実施形態と同様に、フレームレート情報FRnに含まれるフレームレートでの１フレームの実時間Fnと仮想電荷蓄積タイミングＫnとの間にはKn+1-Ｋn=Fnが成り立つことを条件とする。続いて、１フレーム内で撮像素子１に蓄積される電荷量が、設定された蓄積電荷量αになるように、電荷蓄積開始時間T2と電荷蓄積終了時間T2+W2が設定される（図１３参照）。この際にW2’とW2”は、ほぼ等しい値となるように設定される。第２フレーム目において、電荷蓄積開始時間T2、電荷蓄積終了時間T2+W2で制御された撮像素子１から出力される信号が読み出される。以降のフレームでは同様の処理が行われる。
【００５４】
図１４は、本実施形態によって得られるフレーム間の被写体の動きを概念的に示している。本実施形態においては、各フレームの被写体の動きの中心位置（時間軸上での中心位置）の間隔が、フレームレートに基づいた１フレームの長さに極力等しくなるように、仮想電荷蓄積タイミングが設定される。このため、動く被写体を撮影する場合に、フリッカ補正のために電荷蓄積時間を変更しても、フレーム間での被写体の動きに影響が少ないようなフリッカ補正を行うことができる。また、可変フレームレート機能への影響も少ない。
【００５５】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１の実施形態による動画撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるフリッカ補正の手順を示すフローチャートである。
【図３】本発明の第１の実施形態による動画撮像装置の駆動タイミングを示すタイミングチャートである。
【図４】本発明の第１の実施形態におけるフリッカ補正の概念を示す概念図である。
【図５】本発明の第１の実施形態におけるフレーム間の被写体の動きを概念的に示す概念図である。
【図６】本発明の第２の実施形態におけるフリッカ補正の概念を示す概念図である。
【図７】本発明の第２の実施形態におけるフレーム間の被写体の動きを概念的に示す概念図である。
【図８】本発明の第３の実施形態による動画撮像装置の構成を示すブロック図である。
【図９】本発明の第３の実施形態におけるフリッカ補正の手順を示すフローチャートである。
【図１０】本発明の第３の実施形態による動画撮像装置の駆動タイミングを示すタイミングチャートである。
【図１１】本発明の第３の実施形態におけるフリッカ補正の概念を示す概念図である。
【図１２】本発明の第３の実施形態におけるフレーム間の被写体の動きを概念的に示す概念図である。
【図１３】本発明の第４の実施形態におけるフリッカ補正の概念を示す概念図である。
【図１４】本発明の第４の実施形態におけるフレーム間の被写体の動きを概念的に示す概念図である。
【符号の説明】
【００５７】
１・・・撮像素子、２・・・照明情報取得部、３・・・フレームレート情報記録部、４・・・蓄積電荷量設定部、５・・・仮想電荷蓄積タイミング決定部、６・・・電荷蓄積時間決定部、７・・・フレームレート情報取得部
【図１】
2006340174.tif 000004
【図２】
2006340174.tif 000005
【図３】
2006340174.tif 000006
【図４】
2006340174.tif 000007
【図５】
2006340174.tif 000008
【図６】
2006340174.tif 000009
【図７】
2006340174.tif 000010
【図８】
2006340174.tif 000011
【図９】
2006340174.tif 000012
【図１０】
2006340174.tif 000013
【図１１】
2006340174.tif 000014
【図１２】
2006340174.tif 000015
【図１３】
2006340174.tif 000016
【図１４】
2006340174.tif 000017