(57)【要約】【課題】  低速シャッタを設定した場合に自動焦点合わせにおける合焦性能の低下が発生するのを防止することができる撮像技術を提供することを課題とする。【解決手段】  焦点調節を行うレンズ手段(11)を介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像素子(17)と、複数の画像の動きベクトルを検出する動きベクトル検出手段(114)と、動きベクトル検出手段で検出された各動きベクトルに基づいて画像の合成を行う合成手段(115,116)と、合成された画像に基づき、被写体に対するレンズ手段の合焦度に応じた第１の信号を抽出する抽出手段と、抽出された第１の信号に基づいてレンズ手段を制御し焦点調節を行う焦点制御手段(14a,14b,18)とを有する撮像装置が提供される。【選択図】        図１
2006030972.tif 000002
【特許請求の範囲】
【請求項１】
焦点調節を行うレンズ手段を介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像素子と、
前記複数の画像の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段で検出された各動きベクトルに基づいて画像の合成を行う合成手段と、
前記合成された画像に基づき、被写体に対する前記レンズ手段の合焦度に応じた第１の信号を抽出する抽出手段と、
前記抽出された第１の信号に基づいて前記レンズ手段を制御し焦点調節を行う焦点制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記抽出手段は、前記合成前の画像を基に前記レンズ手段の合焦度に応じた第２の信号を抽出し、
前記焦点制御手段は、前記第２の信号又は前記第１の信号を選択することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記抽出手段は、前記合成前の画像に応じて、被写体に対する前記レンズ手段の合焦度に応じた第２の信号を抽出し、
前記焦点制御手段は、前記第２の信号の振幅値が閾値より大きいときには前記第２の信号に基づいて前記レンズ手段を制御し焦点調節を行い、前記第２の信号の振幅値が閾値より小さいときには前記第１の信号に基づいて前記レンズ手段を制御し焦点調節を行うことを特徴とする請求項１記載の撮像装置。
【請求項４】
さらに、前記固体撮像素子から出力された前記複数の画像からなる画像信号を記憶する記憶手段を有し、
前記合成手段は、前記記憶手段に記憶される各画像のずれを補正して各画像の合成を行うことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
焦点調節を行うレンズ手段を介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像素子と、
前記複数の画像の動きベクトルを検出する動きベクトル検出手段と、
前記複数の動きベクトルに応じて画像の合成を行う合成手段と、
前記合成前の画像の信号から、被写体に対する前記レンズユニットの合焦度に応じた第１の信号を抽出する抽出手段と、
前記第１の信号に基づいて前記レンズ手段を制御し焦点調節を行う焦点制御手段と
を有することを特徴とする撮像装置。
【請求項６】
前記抽出手段は、前記動きベクトル検出手段で検出された動きベクトルを用いて前記第１の信号を抽出することを特徴とする請求項５記載の撮像装置。
【請求項７】
焦点調節を行うためのレンズユニットを介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像ユニットを有する撮像装置の制御方法であって、
前記複数の画像の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された各動きベクトルに応じて画像の合成を行う合成ステップと、
前記合成された画像に応じて、被写体に対する前記レンズユニットの合焦度に応じた信号を抽出する抽出ステップと、
前記抽出された信号に基づいて前記レンズユニットを制御し焦点調節を行う焦点制御ステップと
を有することを特徴とする撮像方法。
【請求項８】
焦点調節を行うためのレンズユニットを介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像ユニットを有する撮像装置の制御方法であって、
前記複数の画像の動きベクトルに応じて画像の合成を行う合成ステップと、
前記画像を合成する前の信号から、被写体に対する前記レンズユニットの合焦度に応じた第１の信号を抽出する抽出ステップと、
前記抽出された第１の信号に基づいて前記レンズユニットを制御し焦点調節を行う焦点制御ステップと
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像技術に関し、特に焦点調節を行う撮像技術に関するものである。
【背景技術】
【０００２】
近年、被写体像を撮像光学系により半導体撮像素子、たとえばＣＣＤ二次元イメージセンサ上に結像して電気信号に変換し、これにより得られた動画像の画像データを半導体メモリや磁気ディスク、磁気テープのような記録媒体に記録するいわゆるディジタルビデオカメラや、静止画のみならず動画像も記録可能なディジタルスチルカメラが広く普及しつつある。さらに現在のディジタルビデオカメラ・ディジタルスチルカメラは露出決定や焦点合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。
【０００３】
上述のＣＣＤイメージセンサは、シャッタ速度を自由に設定することができる電子シャッタ機能を備える。したがって、ユーザは、被写体の動きや照明の状態に応じてシャッタ時間を短くしたり長くすることができる。ユーザは、例えば照明が少なくて暗い被写体の動画を撮影する場合は、露光を多くするために電子シャッタの速度が遅くなるようにいわゆる低速シャッタを設定する。この速度は通常のビデオ信号の１フィールド期間１／６０秒より遅いシャッタ速度であり例えば１／３０秒とか１／１５秒に設定される。しかし、シャッタ速度が遅いと手振れの影響が生じやすく、その結果、被写体の映像がぼやけてしまう。この対策として手振れが生じない程度の露光時間で複数回撮影をくり返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像を得る方法がある（例えば、特許文献１）。
【０００４】
この特許文献１では、複数の画面間の動き情報を検出する検出手段と、該検出手段の検出情報に基づいて、前記複数の画面の夫々を、平面座標内で位置変換する画像移動手段とを具備することを特徴とする撮像画面合成装置に関して開示されている。すなわち、この文献に開示されている技術を応用すれば、低速シャッタを設定しなければ充分な露出が得られないような暗い被写体の動画を撮影する場合に、通常の１／３０秒とか１／１５秒あるいはそれ以上の低速シャッタを設定するかわりに、手振れが生じない程度の露光時間であるところの例えば通常のビデオ信号の１フィールド期間１／６０秒を設定したのち、低速シャッタ露光期間と同一の時間間隔中に１／６０秒間隔にて複数回の撮影を行ったのちに得られた複数の画像を合成することにより、露出量が低速シャッタを設定した場合と同等でかつ手振れの影響のない動画画像を低速シャッタ露光期間と同一の時間間隔ごとに得ることが可能となる。
【０００５】
【特許文献１】特許第３１１０７９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記説明したように低速シャッタを設定するかわりに手振れが生じない程度の露光時間を設定し、低速シャッタ露光期間と同一の時間間隔中に複数回の撮影を行った後に複数の画像を合成することにより、手振れの影響がなくさらに露出量も低速シャッタを設定した場合と同等な動画像を得ようとした場合には、上述した自動焦点合わせ手段における合焦性能に多大な影響があることが判明した。すなわち、通常の動画用焦点調節手段は、レンズ部の合焦度に応じて撮像素子出力信号から画像撮影間隔ごとに得られる焦点合わせ用の鮮鋭度信号を抽出することにより、抽出された鮮鋭度信号に基づいて例えば鮮鋭度信号量が最大になるようにレンズ部を制御することで焦点調節を行う手法が取られる（いわゆるテレビオートフォーカス方式）。しかし、照明が少なくて暗い被写体の動画を撮影する場合では、複数回の撮影ごとに得られる撮像素子出力信号の振幅が小さく、結果的に撮像素子から得られる焦点合わせのための鮮鋭度信号の振幅も小さく、すなわち合焦性能を満足するに充分な信号を得られなくなる（低コントラスト状態）。
【０００７】
図４によりこの場合の撮像素子での信号蓄積量と撮像素子から出力される信号量及び撮像素子出力から得られる鮮鋭度信号の振幅の例を示す。図において（３−１）は撮像素子に蓄積される信号量と露光期間との関係を示している。符号ｅ２／ｏ３／ｅ３・・・は撮像素子上での露光期間の偶数／奇数フィールドの繰り返し番号である。暗い被写体であっても後段の画像合成手段により手振れの影響がなくさらに露出量も低速シャッタを設定した場合と同等な動画像を得るため、露光期間Ｔは手振れのない１／６０秒程度の時間に設定しており、１／６０秒ごとに信号が読み出される（３−２）。この信号を４回分、合成すれば露光時間が１／１５秒の低速シャッタを設定したときと同等の露光撮影画像（合成画像）を得ることができる。しかしながら（３−３）に示すように抽出された鮮鋭度信号は撮像素子蓄積信号量に応じて小さいものとなり合焦性能を満足するに充分ではない。
【０００８】
なお、（３−４）、（３−５）、（３−６）  は露光期間を通常の１／１５秒の低速シャッタに設定した場合の撮像素子での信号蓄積量と撮像素子から出力される信号量及び撮像素子出力から得られる鮮鋭度信号の振幅の例である。この場合は、当然鮮鋭度信号の振幅は大きくなるものの撮像素子出力すなわち鮮鋭度信号中に長時間露光によるコントラストぼけ成分が多く残留し、合焦性能が大きく低下してしまう。
【０００９】
ここで例えば上記説明したような画像合成処理を行わないものとするならば、暗い被写体の場合は通常のビデオ信号の１フィールド期間１／６０秒ごとに得られる低振幅の撮像素子出力信号の利得を上げることで鮮鋭度信号の振幅を増幅することでノイズ量は多いもののコントラストの確保はできる。しかし、結果的に撮像素子出力信号を増幅して見かけの露光量を上げたことになるため、説明したような画像合成によるノイズ量の少ない良質な動画像の取得はできない。
【００１０】
従って、本発明は上述の課題に鑑みてなされたものであり、その目的とするところは、複数画像合成方式により手振れの影響のない動画画像を取得する際に、自動焦点合わせにおける合焦性能の低下が発生するのを防止することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、焦点調節を行うレンズ手段を介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像素子と、前記複数の画像の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段で検出された各動きベクトルに基づいて画像の合成を行う合成手段と、前記合成された画像に基づき、被写体に対する前記レンズ手段の合焦度に応じた第１の信号を抽出する抽出手段と、前記抽出された第１の信号に基づいて前記レンズ手段を制御し焦点調節を行う焦点制御手段とを有することを特徴とする。
また、本発明の撮像装置は、焦点調節を行うレンズ手段を介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像素子と、前記複数の画像の動きベクトルを検出する動きベクトル検出手段と、前記複数の動きベクトルに応じて画像の合成を行う合成手段と、前記合成前の画像の信号から、被写体に対する前記レンズユニットの合焦度に応じた第１の信号を抽出する抽出手段と、前記第１の信号に基づいて前記レンズ手段を制御し焦点調節を行う焦点制御手段とを有することを特徴とする。
また、本発明の撮像方法は、焦点調節を行うためのレンズユニットを介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像ユニットを有する撮像装置の制御方法であって、前記複数の画像の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップで検出された各動きベクトルに応じて画像の合成を行う合成ステップと、前記合成された画像に応じて、被写体に対する前記レンズユニットの合焦度に応じた信号を抽出する抽出ステップと、前記抽出された信号に基づいて前記レンズユニットを制御し焦点調節を行う焦点制御ステップとを有することを特徴とする。
また、本発明の撮像方法は、焦点調節を行うためのレンズユニットを介して形成される被写体像を入力とし、時間的に連続する複数の画像からなる画像信号を出力する固体撮像ユニットを有する撮像装置の制御方法であって、前記複数の画像の動きベクトルに応じて画像の合成を行う合成ステップと、前記画像を合成する前の信号から、被写体に対する前記レンズユニットの合焦度に応じた第１の信号を抽出する抽出ステップと、前記抽出された第１の信号に基づいて前記レンズユニットを制御し焦点調節を行う焦点制御ステップとを有することを特徴とする。
【発明の効果】
【００１２】
時間的に連続する複数の画像のずれを補正して合成することにより、低速シャッタで動画像の撮影をするときに手振れの影響を抑制し、撮影動画像の精度を向上させることができる。また、合成された画像を基に第１の信号を抽出して焦点調節することにより、照明が少なくて暗い被写体の動画像を撮影する場合に、合焦性能を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照してこの発明の実施形態を説明する。
図１は、本発明の実施形態であるディジタルビデオカメラの構成例を示した図である。撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッタ１２ａを通り撮像部１７に結像する。撮像部１７は、ＣＣＤなどの二次元イメージセンサからなる。
【００１４】
撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がオートフォーカス（ＡＦ）駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。
【００１５】
絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ｂからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１７に入射する光束を制御する。シャッタ１２ａはディジタルビデオカメラにて静止画を撮影するときに使用される。
【００１６】
撮像素子駆動部１６、焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂの駆動は、撮影制御部１８により制御されている。撮影制御部１８には、絞り操作部１３ｃ、ズーム操作部１５ｃ及び後述する画像合成防振操作部１２０からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記操作信号を各々撮像素子駆動部１６、焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂに与えて撮影条件を設定し、撮影を行うようにしている。なお、絞り１３ａの開口径は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作部１３ｃは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。
【００１７】
撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいた測光用信号１３０により被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径と撮像素子駆動部１６の電子シャッタタイミング（露光時間）を定めている。
【００１８】
撮像部１７から出力される映像（画像）信号は、Ａ／Ｄ変換部１１０によりアナログ信号からディジタル信号に変換されて信号処理部１１１に入力される。信号処理部１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー動画映像信号を形成する。
【００１９】
そして、信号処理部１１１で信号処理された映像信号は、信号切替部１１２を介して画像補正部１１７に入力される。画像補正部１１７では、入力された信号のガンマ補正や圧縮処理を行う。
【００２０】
画像補正部１１７の信号は、表示部１１８と記録部１１９に入力され、撮影された動画像が表示部１１８に表示されるとともにビデオ記録部１１９に記録される。
【００２１】
以上説明した動作において、撮影被写体が暗く、露光秒時が長くなる場合には通常の低速シャッタでは手振れの恐れが有るので、撮影者は画像合成防振操作部１２０を操作して画像合成防振システムをオンにし、図３に示す撮影制御部１８によるフローのような、以下の動作に切り替える。
【００２２】
まず、測光動作が開始される（ステップＳ３０１）。測光動作により得られた測光値に基づいて撮像素子駆動部１６の電子シャッタタイミング（露光時間）と絞り１３ａの絞り口径を設定するが、一般的に上記のような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光が選択されようとする。そこで、後述の複数画像合成方式により加算合成される露出量が、低速シャッタを設定した場合に得られる露出量と同等となるように、上記長秒時露光時間を複数の連続した短い露光時間に分割する。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像は手振れの影響が少ない画像となる。
【００２３】
そして、連続した複数の画像を低速シャッタ周期と同じ繰返し周期ごとに加算合成することで露出及び手振れを改善した動画像を得る。
【００２４】
撮像部１７から出力される画像信号は、Ａ／Ｄ変換部１１０でディジタル信号に変換されてから信号処理部１１１にて信号処理が施される。画像合成防振操作部１２０を操作して画像合成防振システムをオンにすることを撮影制御部１８に伝えた場合には、信号処理部１１１からの画像データは信号切替部１１２を介して画像記憶部１１３に入力される（ステップＳ３０２）。画像記憶部１１３は、露光時間の分割数に応じた複数画像の記憶領域と記憶容量を有し、それぞれ撮影された連続したビデオフィールドの複数の画像を記憶し、さらに続いて入力される画像データに応じて上書きされていく。ズレ検出部１１４は、画像記憶部１１３に記憶された画像内における同一特徴点を抽出し、撮影画面内におけるこの特徴点のそれぞれの位置座標を割り出すことにより連続する画像の動きベクトルを検出する（ステップＳ３０３）。座標変換部１１５は、この特徴点の各画像における位置座標に応じてそれぞれの差分を補正（座標変換）して特徴点位置を一致させる。すなわち、検出した動きベクトルと同じ大きさでありそれと逆向きの方向に映像を順次動かし、次に画像合成部１１６においてぶれを補正した良好な映像とを重ね合わせ合成する（ステップＳ３０４）。これにより、フィールド間に生じる手振れを補正して良好な映像信号を生成することができる。
【００２５】
同時に、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの画像合成前鮮鋭度信号抽出用出力１４０または後述の画像合成部１１６からの画像合成後鮮鋭度信号抽出用出力１５０のいずれかにより形成抽出される鮮鋭度信号に基づいて撮影レンズ１１の合焦位置を求めている。
【００２６】
撮影制御部１８には、信号処理部１１１からの画像合成前の鮮鋭度信号を抽出するための出力信号１４０と、画像合成部１１６からの画像合成後の鮮鋭度信号を抽出するための出力信号１５０が供給される。そして、撮影制御部１８内では画像合成前の鮮鋭度信号を抽出するための出力１４０から生成した鮮鋭度信号の振幅値と所定の閾値を比較し、上記のように撮影被写体が暗い撮影条件下である場合のように振幅値が所定の値よりも小さい場合には、鮮鋭度信号を抽出するための信号源として画像合成前の鮮鋭度信号を抽出するための出力１４０は選択せず、画像合成後の鮮鋭度信号を抽出するための出力１５０を選択するように制御する（ステップＳ３０５）。選択された大振幅の画像合成後鮮鋭度信号抽出用出力に基づき、オートフォーカス用に位置／サイズが決定された測距枠内における周波数ピーク評価値、輝度レベルピーク評価値、Max-Min評価値を生成して山登り方式自動焦点調節動作を行う（ステップＳ３０６）。
【００２７】
なお、上記選択切り替え時には選択動作に閾値に対する適度なヒステリシスを持たせ、画像合成前鮮鋭度信号抽出用出力１４０からの鮮鋭度信号の振幅値が閾値付近である場合に頻繁な切り替え動作が発生しないように制御する。
【００２８】
図２により本発明の実施形態における撮像素子での信号蓄積量と撮像素子から出力される信号量及び撮像素子出力から得られる鮮鋭度信号の振幅の例を示す。図において（２−１）は撮像素子に蓄積される信号量と露光期間との関係を示している。符号ｅ２／ｏ３／ｅ３・・・は撮像素子上での露光期間の偶数／奇数フィールドの繰り返し番号である。暗い被写体であっても後段の画像合成部１１６により手振れの影響がなくさらに露出量も低速シャッタを設定した場合と同等な動画像を得るため、露光期間Ｔは手振れのない１／６０秒程度の時間に設定しており、１／６０秒ごとに信号が読み出される（２−２）。この信号を４回分、合成すれば（２−３）に示すように、露光時間が１／１５秒の低速シャッタを設定したときと同等の露光撮影画像（合成画像）を得ることができ、さらに鮮鋭度信号の振幅値が所定の値よりも小さい場合には、合成後の画像により大振幅・高Ｓ／Ｎの鮮鋭度信号を取得するため高精度のオートフォーカス用評価値データを生成することができる（２−４）。
【００２９】
以上のように、本実施形態によれば、焦点調節を行うためのレンズ手段１１と、レンズ手段１１を介して形成される被写体像を入力とし、連続的に電子シャッタを切ることによって時間的に連続する複数の画像からなる画像信号を出力する固体撮像素子１７と、複数の画像のそれぞれに対して時間的に１つ前の画像に対する動きベクトルを検出する動きベクトル検出手段１１４と、動きベクトル検出手段１１４で検出された各動きベクトルに基づいて各画像のずれを補正して各画像の合成を行う合成手段１１５，１１６と、合成された画像を基にレンズ手段１１の合焦度に応じた鮮鋭度信号１５０を抽出する抽出手段１１６と、抽出された鮮鋭度信号に基づいてレンズ手段を制御し焦点調節を行う焦点制御手段１８，１４ａ，１４ｂとを有する。
【００３０】
抽出手段１１１は、合成前の画像を基にレンズ手段１１の合焦度に応じた鮮鋭度信号１４０を抽出する。焦点制御手段１８，１４ａ，１４ｂは、合成前の画像に基づく先鋭度信号１４０又は合成後の画像に基づく先鋭度信号１５０を選択し、選択した先鋭度信号に基づいてレンズ手段１１を制御し焦点調節を行う。
【００３１】
焦点制御手段１８は、合成前の画像に基づく先鋭度信号１４０の振幅値が閾値より大きいときには合成前の画像に基づく先鋭度信号１４０に基づいてレンズ手段１１を制御し焦点調節を行い、合成前の画像に基づく先鋭度信号１４０の振幅値が閾値より小さいときには合成後の画像に基づく先鋭度信号１５０に基づいてレンズ手段１１を制御し焦点調節を行う。
【００３２】
時間的に連続する複数の画像のずれを補正して合成することにより、低速シャッタで動画像の撮影をするときに手振れの影響を抑制し、撮影動画像の精度を向上させることができる。また、合成された画像を基に先鋭度信号を抽出して焦点調節することにより、照明が少なくて暗い被写体の動画像を撮影する場合に、合焦性能を向上させることができる。
【００３３】
複数画像合成方式により、露出量が低速シャッタを設定した場合と同等で、かつ手振れの影響のない動画画像を取得できる撮像装置において、自動焦点合わせ手段における合焦性能の低下が発生するのを防止することを目的として、焦点調節を行うための鮮鋭度信号を各映像の重ね合わせ処理補正後の合成画像より抽出する手段を備える撮像装置を提供することができる。
【００３４】
本実施形態においては焦点調節を行うための鮮鋭度信号を各映像の重ね合わせ処理補正後の合成画像より抽出するように構成したため、照明が少なくて暗い被写体の動画を撮影する場合に、手振れ補正合成後の信号振幅・コントラストが回復した画像によるテレビオートフォーカス方式の合焦制御が可能となるため、従来に比べて合焦性能の向上が可能となる。また、低速シャッタで動画像の撮影をするときに手振れを補正することで撮影動画像の精度を向上させることができる。
【００３５】
次に、合焦性能を満足するに充分な信号を得られなくなる低コントラスト状態においても適切な合焦性能を得ることができる別の技術について説明する。すなわち、ここで説明する技術も、上述したものと同様、照明が少なくて暗い被写体の動画を撮影する場合、撮像素子から得られる焦点合わせのための鮮鋭度信号の振幅も小さい場合、適切な合焦性能を得ることができる別の技術である。
【００３６】
当該技術は、図１で説明したディジタルビデオカメラの構成例と同様の構成例を有する。異なる点は、鮮鋭度信号の抽出のタイミングと、その抽出した鮮鋭度信号の取扱いである。当該技術について図５を用いて撮影制御部１８によるフローを用いて説明する。
【００３７】
まず、図３のステップＳ３０１と同様に、測光動作が開始される（ステップＳ５０１）。この測光動作により得られた測光値に基づいて撮像素子駆動部１６の電子シャッタタイミング（露光時間）と絞り１３ａの絞り口径を設定するが、ここでは被写体が暗いので絞りは全開、露光時間は長秒時露光が選択されようとする。そこで、上述の説明と同様に、そ複数画像合成方式のための露光制御により、取得する１枚、１枚の画像は露出不足となる。
【００３８】
撮像部１７から出力される画像信号は、Ａ／Ｄ変換部１１０でディジタル信号に変換されてから信号処理部１１１にて信号処理が施される。画像合成防振操作部１２０を操作して画像合成防振システムをオンにすることを撮影制御部１８に伝えた場合には、ステップＳ３０２と同様に、信号処理部１１１からの画像データは信号切替部１１２を介して画像記憶部１１３に入力される（ステップＳ５０２）。
【００３９】
ズレ検出部１１４は、ステップＳ３０３と同様に、画像記憶部１１３に記憶された画像内における同一特徴点を抽出し、撮影画面内におけるこの特徴点のそれぞれの位置座標を割り出すことにより連続する画像の動きベクトルを検出する（ステップＳ５０３）。座標変換部１１５は、この特徴点の各画像における位置座標に応じてそれぞれの差分を補正（座標変換）して特徴点位置を一致させる。すなわち、検出した動きベクトルと同じ大きさでありそれと逆向きの方向に映像を順次動かし、次に画像合成部１１６においてぶれを補正した良好な映像とを重ね合わせ合成する（ステップＳ５０４）。これにより、上述した技術と同様に、フィールド間に生じる手振れを補正して良好な映像信号を生成することができる。
【００４０】
ここで、本技術では、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの画像合成前鮮鋭度信号抽出用出力１４０により鮮鋭度信号を形成抽出する（ステップＳ５１０）。
【００４１】
ただし、ここで取得した画像の輝度レベルが低いため、取得する鮮鋭度信号もそのレベルが低いものとなってしまう。そこで、ステップＳ５０４での画像合成に対応して、鮮鋭度信号を加算する（Ｓ５１１）。ここでは、上述した露光時間の分割数に応じて、鮮鋭度信号を加算する。この加算によりレベルの高い鮮鋭度信号を取得することができる。そして、加算された鮮鋭度信号に基づき山登り方式自動焦点調節動作を行う（ステップＳ５１２）。
【００４２】
なお、ここでの鮮鋭度信号の抽出（ステップＳ５１０）は、ステップＳ５０３でのベクトル検出結果に応じて、鮮鋭度信号の抽出領域を制御するようにしてもよい。すなわち、検出されたベクトルに基づいて、映像信号の中における鮮鋭度信号の抽出領域を移動させることで、ステップＳ５０４で合成する画像に対応した領域での鮮鋭度信号の抽出を行うことができる。
【００４３】
このように画像合成前の映像から鮮鋭度信号を抽出し、当該鮮鋭度信号を加算することで、照明が少なくて暗い被写体の動画像を撮影する場合に、合焦性能を向上させることができる。
【００４４】
なお、図５での説明では、ステップＳ５０３でのベクトル検出後にステップＳ５１０で鮮鋭度信号を抽出したが、図６に示すように、ベクトル検出と並行して、鮮鋭度信号を抽出し（ステップＳ５２０）、鮮鋭度信号を加算し（ステップＳ５２１）、及び焦点調節動作を行うようにしても構わない（ステップＳ５２２）。この場合には、前述のようなベクトルを利用した、鮮鋭度信号抽出領域の移動を行うことができない。しかしながら、このように画像合成前の映像から鮮鋭度信号を抽出し、当該鮮鋭度信号を加算することで、照明が少なくて暗い被写体の動画像を撮影する場合に、合焦性能を向上させることができる。
【００４５】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係るディジタルビデオカメラの構成図である。
【図２】本発明の実施形態による鮮鋭度信号の振幅量を示すタイミングチャートである。
【図３】本発明の実施形態における画像合成防振システムがＯＮの場合の制御フローチャートである。
【図４】従来の鮮鋭度信号の振幅量を示すタイミングチャートである。
【図５】本発明の実施形態における画像合成防振システムがＯＮの場合の別の制御フローチャートである。
【図６】本発明の実施形態における画像合成防振システムがＯＮの場合の更に別の制御フローチャートである。
【符号の説明】
【００４７】
１０    光軸
１１    撮影レンズ
１２ａ  シャッタ
１２ｂ  シャッタ駆動部
１２ｃ  レリーズ操作部
１３ａ  絞り
１３ｂ  絞り駆動部
１３ｃ  絞り操作部
１４ａ  ＡＦ駆動モータ
１４ｂ  焦点駆動部
１５ａ  ズーム駆動モータ
１５ｂ  ズーム駆動部
１５ｃ  ズーム操作部
１６    撮像素子駆動部
１７    撮像部
１８    撮影制御部
１１０    Ａ／Ｄ変換部
１１１    信号処理部
１１２    信号切替部
１１３    画像記憶部
１１４    ズレ検出部
１１５    座標変換部
１１６    画像合成部
１１７    画像補正部
１１８    表示部
１１９    ビデオ記録部
１２０    画像合成方式防振操作部
１３０    測光用信号
１４０    画像合成前鮮鋭度信号抽出用出力
１５０    画像合成後鮮鋭度信号抽出用出力
【図１】
2006030972.tif 000003
【図２】
2006030972.tif 000004
【図３】
2006030972.tif 000005
【図４】
2006030972.tif 000006
【図５】
2006030972.tif 000007
【図６】
2006030972.tif 000008