(57)【特許請求の範囲】
【請求項１】
絞りを含む光学系からの入射光を光電変換することにより画像信号を生成する撮像素子から、第１フレームレート又は前記第１フレームレートよりも高い第２フレームレートで前記画像信号を読み出すことにより、映像データを取得する撮像手段と、
前記撮像素子の露光時間が前記撮像手段のフレームレートの逆数である最大露光時間以下となる範囲で、前記撮像手段によって取得される前記画像信号の輝度が所定のレベルになるように、前記絞りと前記露光時間とを制御する制御手段と、
前記撮像手段のフレームレートを前記第１フレームレートから前記第２フレームレートに切り替える切り替え指示を受信する受信手段と、
を備え、
前記露光時間が前記第２フレームレートに対応する最大露光時間よりも長いときに前記切り替え指示が受信された場合、前記制御手段は、前記露光時間が前記第２フレームレートに対応する最大露光時間まで短縮された場合の前記画像信号の輝度の低下を補償するように前記絞りを開放する制御を行うと共に、前記撮像手段のフレームレートを前記第１フレームレートから前記第２フレームレートに切り替える制御を行い、
前記制御手段は、前記切り替える制御において、前記開放する制御により前記絞りが徐々に開放される間に、前記撮像手段のフレームレートを前記第１フレームレートから前記第２フレームレートまで徐々に変更する
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記切り替える制御において、前記撮像手段のフレームレートを、前記切り替え指示が受信されたときの露光時間を最大露光時間とするフレームレートまで一気に変更し、その後、前記第２フレームレートまで徐々に変更する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段によって取得される前記画像信号に含まれる被写体の動きを検出する検出手段を更に備え、
前記制御手段は、前記切り替える制御において、前記検出された動きが所定の度合いよりも大きい場合、前記撮像手段のフレームレートを前記第１フレームレートから前記第２フレームレートまで一気に変更すると共に、当該変更に伴う輝度の低下を補償するように前記画像信号を増幅する
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、前記増幅を開始した後、前記開放する制御により前記絞りが徐々に開放される間に、当該開放に伴う前記画像信号の輝度の上昇に対応して前記増幅の度合いを徐々に小さくする
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記切り替える制御において、前記絞りが最大限に開放された状態になっても前記撮像手段のフレームレートが前記第２フレームレートに到達していない場合、前記撮像手段のフレームレートを前記第２フレームレートまで一気に変更すると共に、当該変更に伴う輝度の低下を補償するように前記画像信号を増幅する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
撮像装置の制御方法であって、
前記撮像装置の撮像手段が、絞りを含む光学系からの入射光を光電変換することにより画像信号を生成する撮像素子から、第１フレームレート又は前記第１フレームレートよりも高い第２フレームレートで前記画像信号を読み出すことにより、映像データを取得する撮像工程と、
前記撮像装置の制御手段が、前記撮像素子の露光時間が前記撮像工程のフレームレートの逆数である最大露光時間以下となる範囲で、前記撮像工程において取得される前記画像信号の輝度が所定のレベルになるように、前記絞りと前記露光時間とを制御する制御工程と、
前記撮像装置の受信手段が、前記撮像工程のフレームレートを前記第１フレームレートから前記第２フレームレートに切り替える切り替え指示を受信する受信工程と、
を備え、
前記露光時間が前記第２フレームレートに対応する最大露光時間よりも長いときに前記切り替え指示が受信された場合、前記制御工程において前記制御手段は、前記露光時間が前記第２フレームレートに対応する最大露光時間まで短縮された場合の前記画像信号の輝度の低下を補償するように前記絞りを開放する制御を行うと共に、前記撮像工程のフレームレートを前記第１フレームレートから前記第２フレームレートに切り替える制御を行い、
前記制御手段は、前記切り替える制御において、前記開放する制御により前記絞りが徐々に開放される間に、前記撮像工程のフレームレートを前記第１フレームレートから前記第２フレームレートまで徐々に変更する
ことを特徴とする制御方法。
【請求項７】
コンピュータに、請求項６に記載の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及びその制御方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置の中には、被写体を撮像する際のフレームレート（以下、「撮像フレームレート」）を変更可能なものがある。このような撮像装置を用いて通常の撮像フレームレート（例えば、６０ｆｐｓ）よりも高速な撮像フレームレート（例えば、２４０ｆｐｓ）で撮像して記録した映像データを、通常のフレームレートで再生することができる。このような再生により、被写体の動きが実際よりも遅くなったスロー再生映像を得ることができる。
【０００３】
また、撮像装置の液晶ディスプレイのフレームレートは、一般的に、通常の撮像フレームレートと同等（例えば、６０ｆｐｓ）である。そのため、高速な撮像フレームレートで映像を撮像中に液晶ディスプレイを電子ビューファインダ（ＥＶＦ）として利用する場合、撮像装置は、フレーム画像を間引いて表示することにより、映像のフレームレートを液晶ディスプレイのフレームレートに変換する。
【０００４】
撮像フレームレートが「通常」から「高速」に変化するタイミングの例として、次の２つのタイミングが挙げられる。第１に、映像の記録を開始するタイミングが挙げられる。例えば、撮像装置が高速な撮像フレームレートでの記録を行うモードに設定されていている場合を考える。この場合であっても、記録開始前は一般的に、消費電力の削減等を目的として、撮像装置は通常のフレームレートでの撮像、及び液晶ディスプレイへの表示を行う。そのため、記録開始のタイミングで、撮像フレームレートが「通常」から「高速」に変化する。第２に、映像の記録中に撮像フレームレートを切り替えるタイミングが挙げられる。例えば、撮像装置の中には、「高速記録開始ボタン」のような操作部を備えるものがある。ユーザは通常の撮像フレームレートでの映像記録中に、スロー再生を望むシーンで「高速記録開始ボタン」を押下することにより、一部のシーンだけを高速な撮像フレームレートで撮像して記録することができる。
【０００５】
ところで、映像を撮像する場合、撮像素子の露光時間は、フレーム間隔（撮像フレームレートの逆数）よりも短くなければならない。そのため、撮像フレームレートが「通常」から「高速」に変化すると、露光時間が短くなって映像が暗くなってしまう場合がある。これに対し、撮像フレームレートの変化時に画像の明るさを所定レベルに保持する技術が提案されている（特許文献１）。特許文献１によれば、撮像フレームレートが高くなる際に、露光時間の変化を打ち消すように絞りや画像信号のゲインが調整される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１９５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、絞りが目標の状態に変化するまでにはある程度の時間を要する。そのため、絞りの変化が完了するまでの間、映像が一時的に暗くなって画質が低下する。また、ゲインが増加するとノイズが増え、画質が低下する。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、映像の撮像フレームレートが変化する際の画質の低下を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の本発明は、絞りを含む光学系からの入射光を光電変換することにより画像信号を生成する撮像素子から、第１フレームレート又は前記第１フレームレートよりも高い第２フレームレートで前記画像信号を読み出すことにより、映像データを取得する撮像手段と、前記撮像素子の露光時間が前記撮像手段のフレームレートの逆数である最大露光時間以下となる範囲で、前記撮像手段によって取得される前記画像信号の輝度が所定のレベルになるように、前記絞りと前記露光時間とを制御する制御手段と、前記撮像手段のフレームレートを前記第１フレームレートから前記第２フレームレートに切り替える切り替え指示を受信する受信手段と、を備え、前記露光時間が前記第２フレームレートに対応する最大露光時間よりも長いときに前記切り替え指示が受信された場合、前記制御手段は、前記露光時間が前記第２フレームレートに対応する最大露光時間まで短縮された場合の前記画像信号の輝度の低下を補償するように前記絞りを開放する制御を行うと共に、前記撮像手段のフレームレートを前記第１フレームレートから前記第２フレームレートに切り替える制御を行い、前記制御手段は、前記切り替える制御において、前記開放する制御により前記絞りが徐々に開放される間に、前記撮像手段のフレームレートを前記第１フレームレートから前記第２フレームレートまで徐々に変更することを特徴とする撮像装置を提供する。
【００１０】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１１】
以上の構成により、本発明によれば、映像の撮像フレームレートが変化する際の画質の低下を抑制することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】各実施形態に係るＤＶＣ１０の構成を示すブロック図
【図２】垂直同期信号（ＶＤ信号）及び電子シャッターパルスのタイミングチャート
【図３】一般的な露出制御、及び第１の実施形態に係る露出制御を示す図
【図４】高速記録モードが無効の場合、高速記録モードは有効だが撮像は通常のフレームレートで行われている場合、及び、高速記録モードで記録が行われている場合の、垂直同期信号及び電子シャッターのタイミングチャート
【図５】一般的な露出制御、及び第２の実施形態に係る露出制御を示す図
【図６】第２の実施形態に係る、巡回係数Ｋの変化を表すグラフを示す図
【図７】第３の実施形態に係る撮像フレームレートの変更処理を示すタイミングチャート
【図８】第３の実施形態に係る、露光時間が撮像フレームレートの変更後の最大露光時間よりも長く変更前の最大露光時間よりも短い場合の、撮像フレームレートの変更処理を示すタイミングチャート
【図９】第４の実施形態に係る撮像フレームレートの変更処理の流れを示すフローチャート
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１４】
以下の各実施形態では、本発明の撮像装置の一例としてデジタルビデオカメラ（ＤＶＣ）に言及する。しかしながら、本発明の撮像装置はＤＶＣに限定されず、例えば、映像を撮像可能なカメラを搭載したパーソナルコンピュータ（ＰＣ）や携帯電話でも構わない。また、撮像のための構成要素の一部（例えば、レンズ）は、本発明の撮像装置の外部に設けられていてもよい。
【００１５】
図１は、各実施形態に係るＤＶＣ１０の構成を示すブロック図である。図１において、レンズ群１００は、フォーカスレンズ及びズームレンズを含み、また、オートフォーカス（ＡＦ）のためのＡＦ機構を含む。絞り１０１は、入射光の光量を調整する。レンズ群１００及び絞り１０１により、光学系が形成される。レンズドライバ１０２は、後述するＣＰＵ１０９による制御に従い、レンズ群１００に含まれるフォーカスレンズ及びズームレンズ、並びに絞り１０１を駆動する。ＣＣＤ１０３は、光学系からの入射光を光電変換することにより電気信号（画像信号）を生成する。ＣＣＤ１０３は、タイミングジェネレータ（ＴＧ）１０５によって制御され、ＴＧ１０５からの電子シャッターパルスに従ってフォトダイオードの電荷を掃き捨てることにより、露光時間を制御することができる。なお、撮像素子として、ＣＣＤ１０３の代わりにＣＭＯＳ等を利用してもよい。
【００１６】
ＡＦＥ１０４は、ＣＤＳ回路、ＡＧＣ回路、及びＡ／Ｄ変換器を含み、ＣＣＤ１０３から出力されるアナログ画像信号に基づいてデジタル画像データを生成する。ＴＧ１０５は、後述するＣＰＵ１０９による制御に従い、画像処理ＩＣ１０６からの垂直同期信号及び水平同期信号を基に、ＣＣＤ１０３を駆動するための垂直転送パルス及び水平転送パルス、並びに電荷を掃き棄てるための電子シャッターパルスを出力する。
【００１７】
画像処理ＩＣ１０６は、ＡＦＥ１０４から出力されるデジタル画像データに対して、γ、アパーチャ、カラーバランス等の画像処理を行う。画像処理ＩＣ１０６は、このように画像処理された複数の画像データを所望の動画フォーマットに変換することにより、映像データを取得する。更に、画像処理ＩＣ１０６は、ＣＣＤ１０３から所定のフレームレートで画像信号が読み出されるように、適切なタイミングで垂直同期信号及び水平同期信号をＴＧ１０５に出力する。本発明の各実施形態では、画像処理ＩＣ１０６は、通常のフレームレート（第１フレームレート）又は高速なフレームレート（第２フレームレート）で画像信号を読み出すように動作可能である。また、必要に応じて、通常のフレームレートと高速なフレームレートとの間のフレームレートも使用可能である。以下、通常のフレームレートでの記録モード、及び高速なフレームレートでの記録モードをそれぞれ、「通常記録モード」及び「高速記録モード」とも呼ぶ。ＡＦＥ１０４及び画像処理ＩＣ１０６により、撮像手段が形成される。
【００１８】
記録部１０７は、ＭＰＥＧ等の動画フォーマットの映像データを記録するためのＳＤカードやフラッシュメモリ等を含む。表示部１０８は、画像処理ＩＣ１０６が取得した映像データなどを表示する。ＣＰＵ１０９は、前述の通りレンズドライバ１０２及びＴＧ１０５を制御すると共に、ＤＶＣ１０全体を制御する。操作部１１０は、記録開始ボタン、及び高速記録開始ボタンを備える。高速記録開始ボタンが押下されると、ＣＰＵ１０９は、フレームレートを「通常」から「高速」に切り替える切り替え指示を受信する。また、ユーザは表示部１０８に表示されるメニュー画面等を、操作部１１０を介して操作することにより、「高速なフレームレート」の値を設定することができる。
【００１９】
次に、ＤＶＣ１０による撮像動作の詳細について説明する。通常記録モードの場合、撮像フレームレートは６０ｆｐｓであるものとする。この場合、記録部１０７は、１／６０秒毎に１フレームの画像データを記録する。
【００２０】
ＣＰＵ１０９はまず、ＴＧ１０５に対して、センサ読出しのためのＶパルス（後述）のタイミング設定、電子シャッター設定、及びＨパルス（後述）のタイミング設定等の、ＣＣＤ１０３の読出しのために必要なレジスタ設定を行う。Ｖパルスは、ＣＣＤ１０３内のフォトダイオード（不図示）上に溜まった電荷を、垂直同期時間（フレーム時間：１／６０秒）毎に垂直転送部（不図示）に移動し、水平同期時間毎に垂直転送部から水平転送部（不図示）に随時転送するパルス信号である。Ｖパルスは、ＴＧ１０５からＣＣＤ１０３に出力される。Ｈパルスは、主に水平転送部に転送された電荷を１画素ずつＡＦＥ１０４に出力するためのパルス信号である。Ｈパルスは、ＴＧ１０５からＣＣＤ１０３に出力される。
【００２１】
電子シャッターパルスは、ＣＣＤ１０３の露光時間を制御するための信号であり、ＣＣＤ１０３に電子シャッターパルスが出力されると、フォトダイオードに溜まった電荷が掃き捨てられる。電荷の掃き捨て後、溜まった電荷が垂直転送部に転送されるまでがＣＣＤ１０３の露光時間となる。なお、電子シャッターパルスは、ＣＣＤ１０３より読み出される画像信号の輝度を所定の（適切な）レベルに制御するＡＥ制御の一部を担う。
【００２２】
ＣＰＵ１０９は更に、ＡＦＥ１０４に対して、Ａ／Ｄ変換のタイミング設定、ゲイン設定等を行う。
【００２３】
以上の各初期設定が終了すると、ＴＧ１０５からＣＣＤ１０３へ制御信号が出力され、画像信号の読出しが開始される。
【００２４】
画像処理ＩＣ１０６から、垂直同期信号（以下ＶＤ信号）がＴＧ１０５に出力され、ＴＧ１０５はＶＤ信号を基準に、ＣＣＤ１０３にＶパルスを出力する。レンズ群１００及び絞り１０１を通過した入射光は、ＴＧ１０５に設定された電子シャッタータイミングにより決定される露光時間の間、ＣＣＤ１０３に露光される。
【００２５】
図２は、垂直同期信号（ＶＤ信号）及び電子シャッターパルスのタイミングチャートを示す。図２に示すように、ＶＤ信号が１／６０秒毎に出力されると、ＣＣＤ１０３のフォトダイオード上から電荷が垂直転送路に転送される。また、ＶＤ信号の間隔内に電子シャッターパルスが出力される。図２の場合、Ａ秒が露光時間であり、電子シャッターパルスを出力しなければ最大１／６０秒まで露光が可能である。換言すれば、撮像フレームレートの逆数に対応するＶＤ信号の間隔が、最大露光時間となる。
【００２６】
また、ＶＤ信号の周期を変えることにより、撮像フレームレートを変更することができる。例えば、ＶＤ信号の周期を１／２４０秒間隔にすれば、２４０ｆｐｓの撮像フレームレートとなる。この場合、最大露光時間は１／２４０秒となり、ＶＤ信号の周期が最大露光時間となる。
【００２７】
ＴＧ１０５より出力されるＶパルス及びＨパルスにより、１フレーム分の画像信号が１画素ずつＡＦＥ１０４へ出力される。画像信号は、ＡＦＥ１０４の相関二重サンプリング（ＣＤＳ）回路（不図示）で輝度レベルが検知され、ＡＧＣ回路で所望のゲインレベルで増幅され、Ａ／Ｄ変換器でアナログからデジタルの信号（画像データ）に変換（Ａ／Ｄ変換）される。Ａ／Ｄ変換された画像データは、画像処理ＩＣ１０６に転送され、ホワイトバランス調整、ノイズリダクション（ノイズ低減、ＮＲ）、輪郭強調補正等の処理を経て、表示部１０８に表示される。また、画像処理ＩＣ１０６は、１フレームの画像データの輝度レベルを検知し、ＣＰＵ１０９は、取得される画像データが適正露出となるように、絞り１０１、ＴＧ１０５による電子シャッター、及びＡＦＥ１０４による増幅のゲインを制御する。
【００２８】
次に、図３のＡＥプログラム線図を参照して、一般的な露出制御について説明する。なお、ここでは図３の実線部（範囲Ａ〜Ｄ）についてのみ説明し、一点鎖線部（範囲Ｅ〜Ｇ）については後述する。
【００２９】
図３のＡＥプログラム線図は、露出制御における絞り、露光時間、及びゲインの関係を示す。図３において、横軸は被写体の明るさを示しており、縦軸は絞りの開口径と焦点距離の比で求まるＦ値である。Ｆ値は、Ｆ＝１．８〜３０程度の間で推移し、Ｆ値が小さいほどＣＣＤ１０３への被写体の露光量は大きく、大きい程小さくなる。Ｆ値は、光量が１／２になれば√２倍になり、光量が２倍になれば１／√２倍になる。
【００３０】
被写体が極めて明るい場合、図３の範囲Ａの左端に示すように、シャッタースピード１／５００秒、ゲイン０ｄＢ、Ｆ値３０となる。そして、被写体が暗くなるにつれて、絞り１０１が徐々に開放されてＦ４．０となる。更に被写体が暗くなると、図３の範囲Ｂに示すように、Ｆ値４．０、ゲイン０ｄＢ、シャッタースピード１／５００秒の状態から、被写体が暗くなるにつれて、シャッタースピード１／６０秒まで露光時間が長くなる。ここでは、絞り１０１に貼り付けてあるＮＤの中間回折による解像感ぼけなどの影響を少なくするために、絞り１０１を固定してシャッタースピードを遅くすることにより、ＣＣＤ１０３への露光量を増やしている。
【００３１】
そして、図３の範囲Ｃに示すように、シャッタースピードが１／６０秒まで遅くなると、シャッタースピード１／６０秒、ゲイン０ｄＢに固定したまま、絞り１０１をＦ４．０からＦ１．８まで開く。被写体が更に暗くなれば、図３の範囲Ｄに示すように、ゲインを０ｄＢから２０ｄＢまで増加させる。
【００３２】
以上、図３に示すように、ＤＶＣ１０は、画像処理ＩＣ１０６内で算出される輝度値に応じて、プログラム線図に従って、被写体が適正な露出値となるように、絞り、シャッタースピード、及びゲインを制御する。そして、操作部１１０の記録開始ボタンが押されると、ＤＶＣ１０は、記録部１０７に６０ｆｐｓのフレームレートで映像データの記録を行う。
【００３３】
［第１の実施形態］
前述の通り、撮像フレームレートが「通常」から「高速」に変化すると、露光時間が短くなって映像が暗くなってしまう場合がある。そして、絞り１０１を開放することにより輝度の低下を補償しようとした場合、絞り１０１が目標の状態に変化するまでにはある程度の時間を要するため、適正な輝度の映像が得られるまでにはある程度の時間を要する。そこで、第１の実施形態では、ＤＶＣ１０は、図３において一点鎖線で示すようにプログラム線図の一部を変化させることにより、映像の撮像フレームレートが変化する際の画質の低下を抑制する。
【００３４】
第１の実施形態では、通常のフレームレートを６０ｆｐｓとし、高速なフレームレートを２４０ｆｐｓとするが、各フレームレートはこれに限定されない。
【００３５】
図３において、範囲Ｅと範囲Ｆとの境界におけるシャッタースピード（即ち、露光時間）は１／２４０秒であり、通常のフレームレートの逆数である時間（第１時間）（ここでは、１／６０秒）よりも短い。即ち、詳細は後述するが、ＤＶＣ１０は、通常のフレームレートではシャッタースピードを１／６０秒まで長くすることができるところを、これよりも短い時間に制限することで、映像の撮像フレームレートが変化する際の画質の低下を抑制する。また、図３に示すように、シャッタースピードを高速なフレームレートの逆数に対応する時間（第２時間）（ここでは、１／２４０秒）、或いはこれ以下（第２時間以下）に制限することで、撮像フレームレートが変化する際の画質の低下が特に効果的に抑制される。
【００３６】
ところで、撮像フレームレートが「通常」から「高速」に変化するタイミングの例として、スタンバイ状態から高速記録モードで映像の記録を開始するタイミングと、通常記録モードで映像を記録中に高速記録開始ボタンが押されたタイミングとが挙げられる。スタンバイ状態では映像の記録は行われないが、表示部１０８におけるＥＶＦ表示を実現するために、ＤＶＣ１０は、通常記録モードでの記録時と同じフレームレートで撮像を行う。従って、スタンバイ状態であっても、通常記録モードで映像を記録中であっても、通常のフレームレートで映像を撮像中であるという点では同じである。また、いずれの場合も、高速記録開始ボタンの押下により撮像フレームレートが「通常」から「高速」に変化するという点でも同じである。従って、以下の説明においては、これら２つのタイミングを特に区別しない。
【００３７】
以下、第１の実施形態について詳細に説明する。ＤＶＣ１０は、操作部１１０を介したユーザの指示に従い、高速記録モードの有効／無効を切り替えることができる。高速記録モードが無効に設定されている場合、高速記録開始ボタンが押下されても、高速なフレームレートでの撮像は行われない。従って、この場合は撮像フレームレートが「通常」から「高速」に変化する可能性が無いので、ＤＶＣ１０は図３の実線のプログラム線図に従って露出制御を行う。一方、高速記録モードが有効に設定されると、ＤＶＣ１０は、図３の実線のプログラム線図における範囲Ｂの一部と範囲Ｃを一点鎖線で示すように切り替えて、露出制御を行う。
【００３８】
具体的には、高速なフレームレートが２４０ｆｐｓなので、最大露光時間は１／２４０秒に制限される。図３の範囲Ｅに示すように、被写体が暗くなるにつれて、シャッタースピードは１／５００秒から１／２４０秒まで遅くなる。被写体が更に暗くなると、範囲Ｆに示すように、シャッタースピードは１／２４０秒のまま、絞り１０１がＦ４．０からＦ１．８まで開放される。被写体が更に暗くなると、範囲Ｇに示すように、シャッタースピード及びＦ値を固定したまま、ゲインが増加する。
【００３９】
図４に、高速記録モードが無効の場合、高速記録モードは有効だが撮像は通常のフレームレートで行われている場合、及び、高速記録モードで記録が行われている場合の、垂直同期信号及び電子シャッターのタイミングチャートを示す。
【００４０】
図４の上段に示すように、高速記録モードが無効の場合、シャッタースピード、Ｆ値、及びゲインはそれぞれ、１／１２０秒、Ｆ４．０、０ｄＢであるとする。ここで、高速記録モードが有効に切り替えられると、図４の中段に示すように、シャッタースピードが１／２４０秒に変更される。被写体の明るさが同じであれば、露光時間が１／１２０秒から１／２４０秒に変化するので、画像処理ＩＣ１０６内での輝度レベルが落ちる。そこで、図３の一点鎖線（範囲Ｆ）に示されるプログラム線図に従い、絞り１０１は、Ｆ４．０からＦ２．８まで開放される。これにより、シャッタースピードが遅くなっても、輝度が所定のレベルに保たれる。なお、図４の中段では、撮像フレームレートは「通常」（ここでは、６０ｆｐｓ）のままであり、表示部１０８には、撮像フレームレートに合わせて６０ｆｐｓで映像が表示される。
【００４１】
図４の中段の状態で高速記録開始ボタンが押されると、図４の下段に示すように、ＣＣＤ１０３からの読み出し（撮像フレームレート）が２４０ｆｐｓに変更される。また、撮像フレームレートが２４０ｆｐｓに変化する前からシャッタースピードは１／２４０秒なので、シャッタースピードの変更は不要である（シャッタースピードがフレームレートの逆数と一致するので、電子シャッターパルスの出力が停止する）。従って、Ｆ値やゲインを変更しなくてもＣＣＤ１０３から得られる画像信号の輝度は変化せず、絞り１０１の変化に伴う一時的な輝度の低下や、ゲインの増加に伴うノイズの増加などが発生しない。また、高速記録モードでの記録中は、表示部１０８には、毎秒２４０フレームの中から間引いて選択された６０フレームの画像が、６０ｆｐｓで表示される。
【００４２】
なお、図４の中段の状態で、シャッタースピードは１／６０秒よりも少しでも短ければ、１／２４０秒よりも長くても構わない。この場合、撮像フレームレートが「通常」から「高速」に変化するタイミングでＦ値やゲインを変更が必要になる可能性がある。しかしながら、その場合であっても、撮像フレームレートの切り替え前にシャッタースピードが１／６０秒である場合に比べれば、画質の低下が抑制される。
【００４３】
以上説明したように、本実施形態によれば、ＤＶＣ１０は、高速記録モードが「有効」に設定されている場合、通常のフレームレートで動作中の場合であっても、露光時間を制限する。具体的には、ＤＶＣ１０は、露光時間が通常のフレームレートの逆数である時間（最大露光時間）よりも短くなる範囲で、露光制御を行う。これにより、映像の撮像フレームレートが変化する際の画質の低下を抑制することができる。
【００４４】
［第２の実施形態］
第２の実施形態では、最初に、通常のフレームレートでの撮像中にゲインの増加を抑制するための構成について説明し、次に、フレーム巡回型のノイズ低減のための構成について説明する。第２の実施形態において、ＤＶＣ１０の基本的な構成は第１の実施形態と同様であるが（図１参照）、プログラム線図が図３に示すものから図５に示すものに変更される。また、第２の実施形態においても、通常のフレームレートを６０ｆｐｓとし、高速なフレームレートを２４０ｆｐｓとする。
【００４５】
図３と図５とを比較すると、図３の範囲Ｇが図５においては範囲Ｇ１と範囲Ｇ２とに分割された点が異なる。範囲Ｇ１においては、被写体が暗くなるにつれて、シャッタースピードは１／２４０秒から１／６０秒まで遅くなる。この間、Ｆ値及びゲインは変化しない。被写体が更に暗くなると、範囲Ｇ２に示すように、シャッタースピード及びＦ値を固定したまま、ゲインが増加する。
【００４６】
また、被写体の明るさが範囲Ｇ１及び範囲Ｇ２に対応する場合、ＣＰＵ１０９は、現在の露光時間、及び高速記録モード時のフレームレートを基に、高速記録モード時の補正ゲインを算出する。
【００４７】
例えば、高速記録モードのフレームレートが２４０ｆｐｓであり、現在の（通常のフレームレートにおける）露出制御がＦ値１．８、露光時間１／６０秒、ゲインｘ［ｄＢ］で行われている場合を考える。この場合、２４０÷６０＝４倍＝１２ｄＢとなるので、補正ゲインは１２ｄＢである。そして、撮像フレームレートが「通常」から「高速」に変化すると、ＣＰＵ１０９は、変化前のゲイン（即ち、ｘｄＢ）に１２ｄＢを加算することで露出制御を行う。
【００４８】
範囲Ｇ１及び範囲Ｇ２においては、露光時間が１／２４０秒以下（高速なフレームレートに対応する最大露光時間以下）では、絞り１０１を最大限に開放しても画像データの輝度を所定のレベルに保つことができない。このような範囲においては、通常のフレームレートでの撮像時に露光時間を１／２４０秒以下に制限した場合、図３の範囲Ｇに示すように、所定のゲインでの増幅が行われ、ノイズが増加する。これに対し、第２の実施形態においては、図５の範囲Ｇ１においてはゲインの増加が発生しない。また、範囲Ｇ２においても、ゲインの増加が抑制される。従って、露光時間が１／６０秒以下（第１時間以下）であれば１／２４０秒よりも長くなることを許容することで、通常のフレームレートでの撮像時の、画像データのノイズの増加を抑制することができる。
【００４９】
次に、フレーム巡回型のノイズ低減（以下、「ＮＲ処理」と呼ぶ）のための構成について説明する。ＮＲ処理は、次式で表現される。
Ｙｎ＝（１−Ｋ）Ｘｎ＋Ｋ＊Ｙｎ−１
但し、
Ｙｎは、ＮＲ処理によって得られる画像（記録／表示される画像）であり、
Ｙｎ−１は、ＮＲ処理が適用された１フレーム前の画像であり、
Ｘｎは、ＮＲ処理が適用される前の画像であり、
Ｋは、巡回係数である。
【００５０】
上式で表されるように、ＮＲ処理は、巡回係数Ｋが大きくなればなるほど、過去の画像に対する依存度が大きくなり残像が大きくなるが、より多くのフレーム画像により平均化されるので、ランダムノイズは低減される。一方、巡回係数Ｋが小さくなればなるほど、現在の画像に対する依存度が大きくなり残像は小さくなるが、ランダムノイズは多くなる。そこで、本実施形態では、ＤＶＣ１０は、ゲインに応じて巡回係数Ｋを大きくすることで、ランダムノイズを低減する。
【００５１】
図６は、第２の実施形態に係る、巡回係数Ｋの変化を表すグラフを示す図である。図６において、横軸はゲインを示し、縦軸は巡回係数Ｋを示す。図６に示すように、ＤＶＣ１０は、通常のフレームレートでの撮像時は、ゲインが上がるにつれて巡回係数Ｋを大きくし、最大ゲイン２０ｄＢで巡回係数Ｋを最大とすることで、ランダムノイズを抑制している。また、ＤＶＣ１０は、高速なフレームレートでの撮像時は、通常のフレームレートの場合よりもαだけ巡回係数Ｋを大きくし、最大ゲイン３２ｄＢで巡回係数Ｋを最大とすることで、ランダムノイズを抑制する。
【００５２】
本実施形態では、高速なフレームレートが２４０ｆｐｓなので、２４０÷６０＝４倍＝１２ｄＢとなり、最大ゲインは２０ｄＢ＋１２ｄＢ＝３２ｄＢとなる。また、高速なフレームレートでの撮像時は、ＣＣＤ１０３からの読み出しが高速なので、通常のフレームレートの場合よりも各フレーム画像の相関性が高くなる（即ち、被写体の動きが小さくなる）。従って、通常のフレームレートの場合よりも巡回係数Ｋを大きくしても残像がそれほど発生せず、ランダムノイズを強く抑制することができる。
【００５３】
なお、上記αは、例えば実験等で求められた値であり、具体的には、残像レベルが通常のフレームレートの場合と同等レベルになる値である。フレームレートが大きくなれば、αの値も大きくすることが可能である。また、上記ＮＲ処理では、残像を改善するために、フレーム間の各画素の輝度値を比較し、ある一定以上の差分がある場合は上記ＮＲ処理を適応しないこととしてもよい。
【００５４】
以上説明したように、本実施形態によれば、プログラム線図の一部を図５の範囲Ｇ１及び範囲Ｇ２のようにすることで、通常のフレームレートでの撮像中にゲインの増加を抑制することができる。また、フレーム巡回型のノイズ低減のための巡回係数を図６に示すようにすることで、効果的なノイズ低減を行うことができる。
【００５５】
［第３の実施形態］
第１及び第２の実施形態では、ＤＶＣ１０は原則として、撮像フレームレートが「高速」に変化する前から露光時間を制限することで、撮像フレームレートが変化する際の画質の低下を抑制した。これに対し、第３の実施形態では、ＤＶＣ１０は、撮像フレームレートが「通常」から「高速」に変化するタイミングでの工夫により、画質の低下を抑制する。第３の実施形態において、ＤＶＣ１０の基本的な構成は第１の実施形態と同様であるが（図１参照）、プログラム線図は、図３の一点鎖線ではなく、実線で示される部分が使用される。また、第３の実施形態においても、通常のフレームレートを６０ｆｐｓとし、高速なフレームレートを２４０ｆｐｓとする。
【００５６】
前述の通り、撮像フレームレートが「通常」から「高速」に変化するタイミングの例として、スタンバイ状態から高速記録モードで映像の記録を開始するタイミングと、通常記録モードで映像を記録中に高速記録開始ボタンが押されたタイミングとが挙げられる。以下、このようなタイミングにおける、ＤＶＣ１０が実行する処理について説明する。
【００５７】
ＣＰＵ１０９は、撮像フレームレートを切り替える指示（切り替え指示）を受信すると、その時点での露光時間を検出する。露光時間が１／２４０秒以下（即ち、高速なフレームレートでの最大露光時間以下）であれば、ＣＰＵ１０９は、次フレームからＶＤ間隔を１／２４０秒にすることで、撮像フレームレートを６０ｆｐｓから２４０ｆｐｓへと一気に変更する。
【００５８】
次に、露光時間が１／２４０秒よりも長いときに切り替え指示が発生した場合について説明する。図７は、第３の実施形態に係る撮像フレームレートの変更処理を示すタイミングチャートである。図７の上段に示すように、Ｆ値４．０、露光時間１／６０秒（電子シャッターパルスが出力されない）の状態で、ＣＰＵ１０９が切り替え指示を受信したものとする。この場合、図７の中段から下段にかけて示すように、ＣＰＵ１０９は、絞り１０１を開放してＦ値を小さくする制御を行う。絞り１０１を開放する制御は、撮像フレームレートの変更に伴って露光時間が短縮された場合の画像データの輝度の低下を補償するように実行される。ＣＰＵ１０９はまた、絞り１０１が徐々に解放される間に、ＶＤ間隔を１／６０秒→１／６６秒→１／７２秒→１／８０秒・・・・１／２４０秒のように、徐々に（約１割ずつ）短くする。即ち、ＣＰＵ１０９は、撮像フレームレートを「通常」から「高速」まで徐々に変更する。これにより、絞り１０１の変化が完了するまでの間に映像が一時的に暗くなって画質が低下する事態の発生が抑制され、撮像フレームレートが変化する際の画質の低下が抑制される。
【００５９】
ところで、切り替え指示が発生する前の露光時間が１／２４０秒より長く１／６０秒よりも短い場合、ＣＰＵ１０９は、図８に示す追加的な制御を行うことができる。図８の上段に示すように、Ｆ値４．０、露光時間１／１２０秒の状態で、ＣＰＵ１０９が切り替え指示を受信したものとする。この場合、図８の中段に示すように、ＣＰＵ１０９は、撮像フレームレートを、その時点の露光時間を最大露光時間とするフレームレート（即ち、１２０ｆｐｓ）まで一気に変更する。その後は、図７の場合と同様、ＣＰＵ１０９は絞り１０１を開放する制御を行うと共に、その間に撮像フレームレートを２４０ｆｐｓまで徐々に変更する（図８の下段参照）。これにより、撮像フレームレートの変更が高速化される。
【００６０】
また、例えば図３の範囲Ｄのように被写体が暗く、所定の輝度レベルを維持したままでは絞り１０１が最大限に開放された状態になっても撮像フレームレートが２４０ｆｐｓ（「高速」）に到達しない場合、ＣＰＵ１０９は、以下に説明する制御を行ってもよい。
【００６１】
まず、ＣＰＵ１０９は、撮像フレームレートの変更開始前のゲインα［ｄＢ］を取得し、高速なフレームレート２４０ｆｐｓと露光時間１／６０秒とに基づき、補正ゲインｘ＝２０ｌｏｇ（２４０／６０）［ｄＢ］＝１２ｄＢを算出する。そして、ＣＰＵ１０９は切り替え指示を受信すると、撮像フレームレートを一気に「高速」に変更すると共に、ゲインをα＋ｘ［ｄＢ］に変更して画像データの増幅を行う。例えば、α＝４ｄＢとすると、ゲインは１６ｄＢに変更される。
【００６２】
また、ＣＰＵ１０９は、図３の範囲Ｃのうち、範囲Ｇと重複する領域においても、範囲Ｄと同様の処理を行ってもよい。この場合、絞り１０１を若干開放する余地があるため、補正ゲインの値はそれに応じた分だけ小さくなる。また、ＣＰＵ１０９は、絞り１０１を開放する制御の間は、撮像フレームレートを徐々に変更してもよい。
【００６３】
また、ＣＰＵ１０９は、上述のような露出制御の最中であっても、被写体自体の輝度が変化した場合は、その変化に応じた露出制御も行う。
【００６４】
以上説明したように、本実施形態によれば、ＤＶＣ１０は、撮像フレームレートの変更を原則として徐々に行う。これにより、絞り１０１の変化が完了するまでの間に映像が一時的に暗くなって画質が低下する事態の発生が抑制され、撮像フレームレートが変化する際の画質の低下が抑制される。
【００６５】
［第４の実施形態］
第４の実施形態では、ＤＶＣ１０は、撮像フレームレートの切り替え指示が発生したときの被写体の動きに応じて、撮像フレームレートの変更処理の内容を変更する。第４の実施形態において、ＤＶＣ１０の基本的な構成は第３の実施形態と同様である。但し、画像処理ＩＣ１０６は、被写体の動きを検出可能なように構成される。また、第４の実施形態においても、通常のフレームレートを６０ｆｐｓとし、高速なフレームレートを２４０ｆｐｓとする。
【００６６】
図９は、第４の実施形態に係る撮像フレームレートの変更処理の流れを示すフローチャートである。
【００６７】
Ｓ６０１で、ＣＰＵ１０９は、操作部１１０を介して撮像フレームレートの切り替え指示を受信したか否かを判定する。切り替え指示が受信されると、処理はＳ６０２に進む。Ｓ６０２で、ＣＰＵ１０９は、切り替え指示の受信時のＦ値、露光時間、及びゲインを記憶する。Ｓ６０３で、ＣＰＵ１０９は、露出状態がゲイン領域であるか否かを判定する。ゲイン領域とは、図３の範囲Ｄの対応する領域である。また、図３の範囲Ｃのうち、範囲Ｇと重複する領域もゲイン領域に含めてもよい。露出状態がゲイン領域である場合、処理はＳ６０４に進む。Ｓ６０４及びＳ６０５における処理は、第３の実施形態で説明した通りである。露出状態がゲイン領域でない場合、処理はＳ６０６に進む。
【００６８】
Ｓ６０６で、画像処理ＩＣ１０６は、ＣＣＤ１０３から読み出される画像信号を基にフレーム間の各対応画素における輝度レベルの差分をとり、さらに重み付けを行い、動き量Ｍの算出を行う。動き量Ｍは、被写体の動き度合いを表し、動き量Ｍが大きければ被写体の動きは大きくなる。また、動き量Ｍの算出時の重み付けに関する係数は、例えば、被写体認識により認識されている被写体領域は大きくしてもよい。また、画像エリアの中央部と周辺部等とでは異なる値としてもよい。更に、動き量Ｍは認識される被写体の動きベクトルの動き量を加味してもよく、手ぶれ補正等の切り出し領域の画角変動も考慮してもよい。動き量Ｍが算出されると、ＣＰＵ１０９は、被写体の動きが速い（所定の度合いよりも大きい）か遅いかを判定する。「所定の度合い」は、実際の被写体の動きを上記動き量検出アルゴリズムにより算出した結果を基に、実際の被写体の動きと比較して決められる。また、「所定の度合い」は、露光量、フレームレート、ズームフォーカス等の撮像条件によって変更されてもよい。
【００６９】
被写体の動きが遅い場合、処理はＳ６０７に進む。Ｓ６０７における処理は、第３の実施形態で説明した通りである。このように、被写体の動きが遅い場合、ＣＰＵ１０９は撮像フレームレートの変更にある程度時間をかけることで、輝度変化が生じないようする。
【００７０】
被写体の動きが速い場合、処理はＳ６０８に進む。Ｓ６０８の説明に際して、Ｓ６０２で記憶された内容は、Ｆ値４．０、露光時間１／１２０秒、ゲイン０ｄＢであるものとする。Ｓ６０８で、ＣＰＵ１０９は、撮像フレームレートが２４０ｆｐｓになった場合の露光時間の短縮に伴う輝度の低下を補償するための補正ゲインｙを算出する。補正ゲインｙは、ｙ＝２４０／１２０＝２倍＝６ｄＢとなる。
【００７１】
Ｓ６０９で、ＣＰＵ１０９は、フレームレートを一気に２４０ｆｐｓに変更すると共に、ゲインを６ｄＢ増加させて画像データの増幅を行う。Ｓ６１０で、ＣＰＵ１０９は、絞り１０１を開放する制御を行う。また、絞り１０１が徐々に開放されることに伴う画像データの輝度の上昇に対応して、ＣＰＵ１０９は、画像データの増幅のためのゲインを徐々に小さくする。例えば、露光量が１割ずつ増加するように絞り１０１を開放する場合、Ｆ値はＦ４．０→Ｆ３．８→Ｆ３．６→・・・Ｆ２．８、ゲインは６ｄＢ→５．１［ｄＢ］→４．２［ｄＢ］・・・→０［ｄＢ］となるように、輝度レベルが変化しないように制御される。
【００７２】
また、ＣＰＵ１０９は、上述のような露出制御の最中であっても、被写体自体の輝度が変化した場合は、その変化に応じた露出制御も行う。
【００７３】
以上の通り、被写体の動きが速い場合は撮像フレームレートが迅速に切り替えられる。この場合であっても、Ｓ６１０で説明した通りゲインは徐々に減少するので、ノイズの発生も限定的である。
【００７４】
また、ＣＰＵ１０９は、Ｓ６０７の処理の最中であっても、画像処理ＩＣ１０６を介して被写体の動き量Ｍを定期的に取得し、動き量Ｍが大きいと判断された時には処理をＳ６０８へ移行させてもよい。
【００７５】
以上説明したように、本実施形態によれば、ＤＶＣ１０は、撮像フレームレートの切り替え指示が発生したときの被写体の動きに応じて、撮像フレームレートの変更処理の内容を変更する。特に、ＤＶＣ１０は、被写体の動きが速い場合は、撮像フレームレートを迅速に切り替える。
【００７６】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005715436.tif 000002
【図２】
0005715436.tif 000003
【図３】
0005715436.tif 000004
【図４】
0005715436.tif 000005
【図５】
0005715436.tif 000006
【図６】
0005715436.tif 000007
【図７】
0005715436.tif 000008
【図８】
0005715436.tif 000009
【図９】
0005715436.tif 000010