(57)【特許請求の範囲】
【請求項１】
光学ズームが可能な撮影光学系により形成された光学像を光電変換する撮像手段と、
該撮像手段からの出力信号を用いて映像信号を生成する画像処理手段と、
前記映像信号を用いた電子ズームを行う電子ズーム処理手段と、
前記映像信号から被写体を抽出する被写体抽出手段と、
抽出された前記被写体の大きさに関する特徴量を算出する特徴量算出手段と、
目標とする前記特徴量を目標値として記憶する記憶手段と、
前記特徴量が前記目標値に一致するまたは近づくように光学ズーム倍率と電子ズーム倍率を決定し、決定された前記光学ズーム倍率が得られるように前記光学ズームを行わせ、決定された前記電子ズーム倍率が得られるように前記電子ズームを行わせるオートズームを行うズーム制御手段と、
前記特徴量の前記目標値に対する比率を算出する比較手段とを有し、
前記ズーム制御手段は、前記比率が所定範囲外であるときは、前記光学ズーム倍率と前記電子ズーム倍率を変更することで前記オートズームを行い、前記比率が前記所定範囲内であるときは、前記電子ズーム倍率を変更することで前記オートズームを行うことを特徴とする撮像装置。
【請求項２】
前記ズーム制御手段は、前記比率が所定範囲外であるときは、前記特徴量及び前記目標値に基づいて光学ズーム倍率を決定し、当該光学ズーム倍率に向けて前記オートズームを行う間に得られる映像信号について、前記特徴量、前記目標値及び光学ズーム倍率に基づいて電子ズーム倍率を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
光学ズームが可能な撮影光学系により形成された光学像を光電変換する撮像手段と、該撮像手段からの出力信号を用いて映像信号を生成する画像処理手段と、前記映像信号を用いた電子ズームを行う電子ズーム処理手段とを有する撮像装置の制御方法であって、
前記映像信号から、被写体を抽出するステップと、
抽出された前記被写体の大きさに関する特徴量を算出するステップと、
目標とする前記特徴量を目標値として記憶するステップと、
前記特徴量が前記目標値に一致するまたは近づくように光学ズーム倍率と電子ズーム倍率を決定し、決定された前記光学ズーム倍率が得られるように前記光学ズームを行わせ、決定された前記電子ズーム倍率が得られるように前記電子ズームを行わせるオートズームを行うズーム制御ステップと、
前記特徴量の前記目標値に対する比率を算出するステップとを有し、
前記ズーム制御ステップにおいて、前記比率が所定範囲外であるときは、前記光学ズーム倍率と前記電子ズーム倍率を変更することで前記オートズームを行い、前記比率が前記所定範囲内であるときは、前記電子ズーム倍率を変更することで前記オートズームを行うことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の大きさ（画角）を一定に保持するために自動的にズーム制御を行うオートズーム機能を備えた撮像装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラやビデオカメラ等の撮像装置では、ズームレンズを移動させてズーム倍率を変更する光学ズームと、撮像素子を用いて得られた画像信号からの切り出し領域の大きさを変更してズーム倍率を変更する電子ズームとが用いられている。光学ズームを用いた撮影では、光学的に被写体像の大きさを変更し、撮像素子の全領域からの出力信号を用いて画像信号を生成するため画質の劣化が少ない。一方、電子ズームを用いた撮影では、画像信号からの切り出し領域に対して拡大処理を行うため、画像信号の欠落による画質の劣化が生じる。このため、画質劣化が少ない光学ズームを優先的に用い、光学ズームが望遠端となったときに電子ズームの使用を開始するのが一般的である。
【０００３】
ただし、光学ズームでは画質の劣化は生じないものの、ズームレンズを移動させるアクチュエータ（ズームアクチュエータ）の動作音や、鏡筒内部でのズームレンズの移動による摩擦音が生じる。このため、音声付き動画撮影では、ズームアクチュエータの動作音等の騒音が音声ノイズとして記録されてしまう。また、オートズームのようにズーミングを頻繁に行うような状況においては、ズームレンズを頻繁に移動させなければならないため、消費電力が増加してしまう。
【０００４】
一方、撮像素子の高画素化に伴い、電子ズームによる画質の劣化が従来ほどは目立たないことや、画像信号の切り出し領域の大きさを変更することで、即座に所望のズーム倍率が得られるといった利点がある。このため、電子ズームを有効に利用すれば、さらに効果的なズーム撮影を行うことが可能となる。
【０００５】
特許文献１には、ズーム操作に応じて迅速にズーム倍率を変更できる電子ズームを優先して行い、その後に光学ズームによるズーミングを行いながら電子ズームにより切り出し領域を広げていく撮像装置が開示されている。この撮像装置によれば、画角を維持したまま電子ズームから画質劣化の少ない光学ズームへと移行することで、電子ズームの迅速性を有効に活かし、さらに最終的に画質劣化の少ない光学ズームによるズーム撮影が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３２９６８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１にて開示された撮像装置では、電子ズームを行った後に最終的に光学ズームへと移行する。このため、オートズームのようにズーミングを頻繁に行う状況において、ズームレンズ駆動による消費電力の増加や記録される音声ノイズの発生が目立つ。
【０００８】
本発明は、オートズームにおいて光学ズームと電子ズームを適切に用いることで、消費電力の増加と音声ノイズの発生を抑えることが可能な撮像装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての撮像装置は、光学ズームが可能な撮影光学系により形成された光学像を光電変換する撮像手段と、該撮像手段からの出力信号を用いて映像信号を生成する画像処理手段と、前記映像信号を用いた電子ズームを行う電子ズーム処理手段と、前記映像信号から被写体を抽出する被写体抽出手段と、抽出された前記被写体の大きさに関する特徴量を算出する特徴量算出手段と、目標とする前記特徴量を目標値として記憶する記憶手段と、前記特徴量が前記目標値に一致するまたは近づくように光学ズーム倍率と電子ズーム倍率を決定し、決定された前記光学ズーム倍率が得られるように前記光学ズームを行わせ、決定された前記電子ズーム倍率が得られるように前記電子ズームを行わせるオートズームを行うズーム制御手段と、前記特徴量の前記目標値に対する比率を算出する比較手段とを有し、前記ズーム制御手段は、前記比率が所定範囲外であるときは、前記光学ズーム倍率と前記電子ズーム倍率を変更することで前記オートズームを行い、前記比率が前記所定範囲内であるときは、前記電子ズーム倍率を変更することで前記オートズームを行うことを特徴とする。
【００１０】
また、本発明の他の一側面としての撮像装置の制御方法は、光学ズームが可能な撮影光学系により形成された光学像を光電変換する撮像手段と、該撮像手段からの出力信号を用いて映像信号を生成する画像処理手段と、前記映像信号を用いた電子ズームを行う電子ズーム処理手段とを有する撮像装置の制御方法であって、前記映像信号から、被写体を抽出するステップと、抽出された前記被写体の大きさに関する特徴量を算出するステップと、目標とする前記特徴量を目標値として記憶するステップと、前記特徴量が前記目標値に一致するまたは近づくように光学ズーム倍率と電子ズーム倍率を決定し、決定された前記光学ズーム倍率が得られるように前記光学ズームを行わせ、決定された前記電子ズーム倍率が得られるように前記電子ズームを行わせるオートズームを行うズーム制御ステップと、前記特徴量の前記目標値に対する比率を算出するステップとを有し、前記ズーム制御ステップにおいて、前記比率が所定範囲外であるときは、前記光学ズーム倍率と前記電子ズーム倍率を変更することで前記オートズームを行い、前記比率が前記所定範囲内であるときは、前記電子ズーム倍率を変更することで前記オートズームを行うことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、映像信号から抽出した被写体の大きさに関する特徴量の目標値に対する比率（つまりは被写体の大きさの変化量）に応じて、オートズームにおいて光学ズームを行うか否かが選択される。これにより、光学ズームを行わない場合（比率が所定範囲内である場合）は、電子ズームのみを用いてオートズームを行うので、光学ズームによる消費電力の増加や音声ノイズの発生を抑えることができる。また、このときの電子ズームは被写体の大きさの変化量が小さい場合に行われるので、画質の劣化も抑えることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例である撮像装置の構成を示す概略図。
【図２】実施例の撮像装置のオートズームにおけるズーム制御処理を示すフローチャート。
【図３】実施例の撮像装置のオートズームにおける初期設定処理を示すフローチャート。
【図４】実施例の撮像装置のオートズームにおいて電子ズームのみを用いる場合の画面全体に対する電子ズーム制御範囲を表す図。
【図５】実施例の撮像装置のオートズームにおいて光学ズームを用いる場合のタイミングチャート。
【図６】実施例の撮像装置のオートズームにおける被写体変化の周波数に対する光学ズームと電子ズームの補正処理を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図１には、本発明の実施例１である撮像装置（デジタルスチルカメラ、ビデオカメラ等）の構成を示している。図１において、１は不図示のズームレンズを含む撮影光学系であり、２は撮像素子（撮像手段）である。３はＡＦＥ（Analog Front End）であり、４は画像処理部（画像処理手段）である。５は画像メモリであり、６は画像切り出し部（電子ズーム処理手段）である。画像処理部４および画像切り出し部６により電子ズーム処理手段が構成される。
【００１５】
７は出力部であり、画像をモニタに表示したり、半導体メモリ、光ディスク等の記録媒体への記録を行ったりする。８は被写体抽出部（被写体抽出手段）である。９は被写体特徴量算出部（特徴量算出手段）であり、１０は参照値記憶部（記憶手段）である。１１は比較部（比較手段）である。
【００１６】
１２はズーム制御部であり、１３はズームレンズ駆動部である。ズーム制御部１２およびズームレンズ駆動部１３によりズーム制御手段が構成される。
【００１７】
撮影光学系１を透過した光は、撮像素子２の受光面に光学像を形成する。撮像素子２は該光学像を光電変換し、アナログ信号を出力する。撮像素子２としては、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子が用いられる。
【００１８】
撮像素子２から出力されたアナログ信号（出力信号）は、ＡＦＥ３に入力され、ＡＦＥ３内のＣＤＳ回路およびＡＧＣ回路にて処理された後、Ａ／Ｄ変換回路によってデジタル信号に変換される。ＡＦＥ３から出力されたデジタル信号は、画像処理部４に入力される。画像処理部４は、入力されたデジタル信号に対してγ補正や輪郭強調等のデジタル画像処理を行って、連続するフレーム画像により構成される映像信号を生成する。フレーム画像は順次、画像メモリ５に一時的に記憶される。
【００１９】
画像処理部４は、画像メモリ５に記憶されたフレーム画像のうち画像切り出し部６にて指定された切り出し範囲の画像信号を、出力部７に出力する。なお、ここにいうフレーム画像は、撮像素子２の全画素に対応する大きさの画像であり、ここからの切り出し範囲は、撮像素子２からの切り出し範囲ということもできる。また、画像処理部４は、画像切り出し部６にて指定された切り出し範囲が撮像素子２の全画素に対応する大きさよりも狭い場合は、該切り出し範囲を拡大処理して出力部７に出力する。これにより、電子ズームが行われる。
【００２０】
被写体抽出部８は、フレーム画像から被写体を抽出する。特徴量算出部９は、抽出された被写体の大きさに関する特徴量（以下、被写体の大きさという）を算出する。ここにいう被写体の大きさとは、１つのフレーム画像の全体に対する被写体の大きさを意味する。また、被写体の大きさに関する特徴量としては、寸法（長さ）、面積等の大きさに関する各種の情報を用いることができる。
【００２１】
参照値記憶部１０は、連続するフレーム画像から順次抽出される被写体の大きさのうち、後述するオートズームによって保持されるべき被写体の大きさを参照値（目標値）として記憶する。本実施例においては、参照値として、オートズームを開始する時点での被写体の大きさを用いる。ただし、他の時点や他の所定の被写体の大きさを予め参照値記憶部１０に記憶させておいてもよい。
【００２２】
比較部１１は、被写体特徴量算出部９により算出された被写体の大きさの参照値記憶部１０に記憶された参照値に対する比率（倍）を算出する。ズーム制御部１２は、その算出された比率に応じて光学ズームと電子ズームを制御する。光学ズームと電子ズームの具体的な制御方法については後述する。
【００２３】
また、ズーム制御部１２は、特徴量算出部９において順次算出される被写体の大きさが参照値に一致するまたは近づくように（言い換えれば、参照値に一致するまたは一致するとみなせる値の範囲に収まるように）光学ズーム倍率と電子ズーム倍率を決定する。ズームレンズ駆動部１３は、ズーム制御部１２によって決定された光学ズーム倍率が得られるように撮影光学系１を駆動する（撮影光学系１内のズームレンズを移動させる）。画像切り出し部６は、ズーム制御部１２により決定された電子ズーム制御となるように、画像メモリ５の切り出し範囲を指定（設定）する。
【００２４】
次に、ズーム制御部１２がコンピュータプログラムに従って実行するオートズーム制御について、図２のフローチャートを用いて説明する。以下の説明において、ステップを「Ｓ」と略記する。
【００２５】
まず、Ｓ２０１では、ズーム制御部１２は、オートズームが開始されたかどうかを判定する。オートズームは、ユーザがオートズーム開始ボタンを操作したことやタッチパネル上でオートズームの対象となる被写体を選択したことによって開始される。オートズームが開始されていない場合はＳ２０１の判定を再度行い、オートズームが開始された場合はＳ２０２に進み、初期設定を開始する。
【００２６】
Ｓ２０２で行う初期設定について、図３に示すフローチャートを用いて説明する。まず、Ｓ３０１では、ズーム制御部１２は、オートズームの開始にあたり、撮像素子２（フレーム画像）からの切り出し範囲を、通常撮影用の広い切り出し範囲からオートズーム用の狭い切り出し範囲へと変更する。すなわち、オートズーム用のデフォルトの切り出し範囲を通常撮影用の切り出し範囲より狭く設定する。これにより、オートズーム中に被写体が撮像装置に近づいてきて被写体の大きさが大きくなるときに、該切り出し範囲を広げて被写体の大きさを電子的に縮小する（電子ズームを行う）ことで、被写体の大きさを迅速に参照値と合わせることができる。
【００２７】
本実施例において、撮像素子は、３８４０×２１６０画素を有し、通常撮影時にはその全画素を用いる。一方、オートズームにおいては、３８４０×２１６０画素のうち中央部分の３４９１×１９６３画素をデフォルトの切り出し範囲に設定する。切り出し範囲は、電子ズームによって最大でデフォルトの＋１０％まで広げることが可能できる。被写体の大きさの変化量が１０％以内であれば、電子ズームによって切り出し範囲を広げる（切り出し範囲の拡大率を小さくする）ことで、被写体の大きさを参照値に合わせることができる。
【００２８】
なお、オートズームにおけるデフォルトの切り出し範囲は、必ずしも１０％の変更が可能な画素数である必要はなく、撮像素子の全画素数に応じて適切な切り出し範囲を設定すればよい。また、縮小方向へのオートズームが必要ない場合は、デフォルトの切り出し範囲を狭めなくてよい。このようにしてオートズーム用のデフォルトの切り出し範囲を設定した後は、Ｓ３０２へ進む。
【００２９】
Ｓ３０２では、ズーム制御部１２は、オートズームの対象とする被写体を、被写体抽出部８に抽出させる。ここでは、図２のＳ２０１において、ユーザがタッチパネル上で人の顔を選択し、その選択された顔に対してオートズームを行う場合について説明する。
【００３０】
次に、Ｓ３０３では、ズーム制御部１２は、Ｓ３０２で抽出された被写体の大きさ（特徴量）を算出する。ここでは、被写体の顔の大きさが、オートズーム用のデフォルトの切り出し範囲（以下、この切り出し範囲を全画面という）に対して３０％の大きさであったとする。また、被写体の大きさとは、全画面の水平方向の長さに対する抽出された被写体の水平方向の長さとする。ここでは、被写体の大きさが全画面に対して３０％の大きさのときにオートズームが開始された場合について説明する。
【００３１】
次にＳ３０４では、ズーム制御部１２は、Ｓ３０３で算出した被写体の大きさ（全画面に対して３０％）を、オートズーム中における参照値として参照値記憶部１０に記憶させ、これを被写体の大きさの目標値とする。つまり、本実施例においては、被写体の大きさが、全画面に対して常に３０％に一致するまたは近づくようにズーム制御を行う。３０％に近づくようにとは、例えば３０％±３％程度の範囲内に収まればよいという意味である。
【００３２】
Ｓ３０５では、ズーム制御部１２は、オートズームの初期設定が完了したかどうかを判定する。被写体の瞬間的な消失などが無く、適正に参照値が設定されている場合は、初期設定が完了したと判定し、初期設定を終了する。初期設定が行われていなかった場合は、Ｓ３０１からのフローを再びやり直す。
【００３３】
以上が図２のＳ２０２で行われる初期設定であり、これが完了すると図２のＳ２０３に進む。
【００３４】
Ｓ２０３では、ズーム制御部１２は、オートズームを行うために、新しいフレーム画像を取得する。
【００３５】
次にＳ２０４では、ズーム制御部１２は、Ｓ２０３で取得した新しいフレーム画像からオートズームによって大きさ（画角）を保持するべき被写体（ここでは、前述したユーザにより選択された顔）を、被写体抽出部８に抽出させる。
【００３６】
次にＳ２０５では、ズーム制御部１２は、Ｓ２０４で抽出された被写体の大きさを、Ｓ３０３と同様の方法で算出する。
【００３７】
次にＳ２０６では、ズーム制御部１２は、Ｓ２０５で算出した被写体の大きさの、初期設定において参照値として参照値記憶部１０に記憶させた全画面に対して３０％という大きさに対する比率（倍）を算出する。このとき、Ｓ２０５で算出した被写体の大きさを、そのときの電子ズーム倍率から逆算し、電子ズームによる拡大処理を行わなかった場合での被写体の大きさを算出し、Ｓ２０６にてこの算出した大きさの参照値に対する比率を算出する。
【００３８】
次にＳ２０７では、ズーム制御部１２は、Ｓ２０６で算出した比率が所定範囲（０．９〜１．１倍）内か否かを判定する。この判定は、該比率が所定範囲内である場合は光学ズームを用いずに電子ズームのみを用いてオートズーム（ズーミング）を行う一方、該比率が該所定範囲外である場合は電子ズームだけでなく光学ズームも用いてオートズームを行うために行われる。
【００３９】
例えば、図４に示すように、もともとの被写体の大きさに相当する参照値がＢ枠の大きさであった場合について説明する。新しく取得したフレーム画像における被写体の大きさがＢ枠より大きいＡ枠よりも小さく、かつＢ枠より小さなＣ枠よりも大きい場合（すなわち、比率が所定範囲内である場合）は、電子ズームのみを用いてオートズームを行う。また、新しく取得したフレーム画像における被写体の大きさがＡ枠より大きい場合もしくはＣ枠よりも小さい場合（いなわち、比率が所定範囲外である場合）は、次のフレームから光学ズームを用いてズーミングを行う。
【００４０】
本実施例では、説明を簡単にするために、所定範囲を０．９〜１．１倍の範囲に設定しているが、本来は、オートズーム中のデフォルトの切り出し範囲を１．１倍まで拡大可能であるので、所定範囲を１／１．１（≒０．９０９）〜１．１倍の範囲と設定してもよい。また、電子ズームのみを用いてオートズームを行う比率の範囲は、撮影光学系１におけるズームレンズの駆動能力（消費電力や発生騒音等）や撮像素子の画素数（拡大処理による画質の劣化具合）を考慮して決定するのが望ましい。Ｓ２０７において、比率が所定範囲内である場合は、Ｓ２０８に進む。
【００４１】
Ｓ２０８では、ズーム制御部１２は、電子ズームによって比率を１．０倍とするための電子ズーム倍率を算出する。電子ズーム倍率の算出方法としては、下記の計算式を用いればよい。
電子ズーム倍率（倍）＝１．０（倍）／ Ｓ２０６で算出された比率（倍）
例えば、Ｓ２０６で算出された比率が１．０５倍であった場合、電子ズーム倍率を０．９５２４倍に設定すればよい。すなわち、オートズーム中のデフォルトの切り出し範囲である３４９１×１９６３画素から中央部の３６６５×２０６１画素へと切り出し範囲の大きさを変更すればよい。このようにして電子ズーム倍率を決定した後、Ｓ２０９に進む。
【００４２】
Ｓ２０９では、ズーム制御部１２は、Ｓ２０８で決定した電子ズーム倍率に応じた切り出し範囲の大きさに基づいて、画像切り出し部６に切り出し範囲を指定させる。これにより、画像処理部４は、画像メモリ５に一時的に保存されたフレーム画像から指定された切り出し範囲の画像信号を切り出し、出力部７から切り出した画像信号を出力する。こうして切り出し範囲の変更を行った後、Ｓ２１６に進む。
【００４３】
このように、本実施例では、参照値に対する被写体の大きさの比率が所定範囲内である場合、すなわち被写体の大きさ変化が微小である場合は、光学ズームを用いずに電子ズームのみによってオートズームを行う。このため、光学ズームを用いる場合に問題となるズームレンズ駆動による消費電力の増加や音声ノイズの発生を抑えることができる。特に、オートズームにおいては被写体の大きさの微小な変化に対してもズーミングを行わなければならないため、Ｓ２０７による判定結果に応じた光学ズームの使用の有無が上記問題の解消に対してきわめて効果的である。また、電子ズームによる画質の劣化についても、切り出し範囲を若干変更する程度であるので画質が大きく劣化することはない。
【００４４】
Ｓ２０７において、Ｓ２０６で算出された比率が所定範囲内ではない場合は、Ｓ２１０に進む。Ｓ２１０では、ズーム制御部１２は、Ｓ２０６で算出された比率が所定範囲の上限値（１．１倍）より大きいか否かを判定する。比率が１．１倍より大きかった場合はＳ２１１に進む。
【００４５】
Ｓ２１１では、ズーム制御部１２は、電子ズームによる縮小処理が必要と判定して電子ズーム倍率をその最大縮小倍率である０．９倍（切り出し範囲の大きさとしては撮像素子２の全画素である３８４０×２１６０画素に相当する）に設定する。その後、Ｓ２１２に進む。
【００４６】
Ｓ２１２では、ズーム制御部１２は、Ｓ２０９と同様に、Ｓ２１１で決定した電子ズーム倍率に応じた切り出し範囲の大きさに基づいて、画像切り出し部６に切り出し範囲を指定させる。これにより、画像処理部４は、画像メモリ５に一時的に保存されたフレーム画像から指定された切り出し範囲の画像信号を切り出し、出力部７から切り出した画像信号を出力する。こうして切り出し範囲の変更を行った後、Ｓ２１６に進む。
【００４７】
また、Ｓ２１０において、Ｓ２０６で算出した比率が１．１倍より大きくないと判定した場合、すなわち０．９倍よりも小さいと判定した場合は、ズーム制御部１２は、Ｓ２１３において次のフレームで光学ズームを駆動させる決定をする。本実施例では、光学ズームの駆動速度は最速で１フレームあたり１．０５倍としており、１フレームの光学ズームでは被写体の大きさを参照値と同じ大きさに合わせることが不可能である。このため、最速のスピードである１．０５倍／フレームを用いる。いくつかのズーム速度を選択可能な場合は、ズーム速度を決定するための処理が必要となるが、本実施例においては省略する。光学ズームを用いる際の光学ズームと電子ズームの制御に関する具体的な内容については、後述する。
【００４８】
次にＳ２１４では、ズーム制御部１２は、Ｓ２０８と同様に、電子ズームによって比率を１．０倍とするための電子ズーム倍率を算出する。
【００４９】
次にＳ２１５では、ズーム制御部１２は、光学ズームを次のフレームで行うという情報を記憶し、次のフレームでズームレンズ駆動部１３を通じてズームレンズを移動させる。また、光学ズームに生じる遅延を補うため、ズーム制御部１２は、Ｓ２１４で算出した電子ズーム倍率に応じて切り出し範囲を変更する。切り出し範囲の変更を行った後、Ｓ２１６に進む。
【００５０】
Ｓ２１６では、ズーム制御部１２は、オートズームが継続されているか否かを判定し、オートズームが継続されている場合はＳ２０３に戻って上述したフローを繰り返す。オートズームが終了されていた場合は、本オートズーム制御を終了する。
【００５１】
次に、オートズームにおいて光学ズームを用いる場合の光学ズームと電子ズームの制御について、図５に示すタイミングチャートを用いて説明する。ここでは、光学ズームによるズーム速度は、１フレームあたり１．０５倍とする。
【００５２】
まず、Ｋ（ｎ）は、現在のフレームが何フレーム目であるかを表す。ｎ＝０，１，２，・・・，となり、本説明では１２フレーム目までを説明する。
【００５３】
実際の被写体の大きさ（対参照値）とは、現在のフレーム時点における実際の被写体の大きさが参照値として記憶させた被写体の大きさに対してどれぐらいの大きさであるかを示す。実際の被写体の大きさは、次のフレームで画像信号として取得される。
【００５４】
光学ズーム倍率とは、現在のフレーム時点での光学ズーム倍率を示す。光学ズームは、光学ズームを行うと決定した時点から実際にズームレンズの駆動が開始されるまでに１フレームを要し、光学ズームによりズーミングされた画像信号を取得するために、さらに１フレーム要するため、少なくとも２フレームの遅延が生ずる。
【００５５】
つまり、図６に示すように、光学ズームには遅延が生じるため、高い周波数の被写体の変化に対しては補正を即座に反映させることができないが、低い周波数のものに関しては、ズーム倍率を追従させることができる。一方、電子ズームにおいては、即座にズーム倍率を変更できるため、高い周波数の被写体の変化に対しても、ズーム倍率を合わせることができる。
【００５６】
抽出された被写体の大きさとは、現フレームで取得された画像において、被写体特徴量算出部９を用いて算出された被写体の大きさ（つまりは比率）を示す。この画像は、１フレーム前の実際の被写体の大きさと、１フレーム前の光学ズーム倍率との積で表される。
【００５７】
電子ズーム倍率とは、抽出された被写体の大きさの情報に基づいてオートズームによって被写体の大きさを合わせるべく、電子ズームを用いて即座に反映させるためのズーム倍率のことである（Ｓ２０８）。図５中の電子ズーム倍率の欄に記載された電子ズーム倍率が得られるように切り出し範囲を設定（変更）することで、被写体の大きさを常に参照値に相当する大きさ（またはそれに近い大きさ）にすることができる。
【００５８】
図５中の備考欄には、各フレームにおけるズームに関する情報を記載している。また、図５に記載している数値は全て倍率を示すため、単位は[倍]である。
【００５９】
ここでは、実際の被写体の大きさが、Ｋ（０）で１．０倍（参照値と同じ）、Ｋ（１）で０．９５倍、Ｋ（２）で０．９０倍、Ｋ（３）で０．８５倍、Ｋ（４）〜Ｋ（１２）は０．８０倍というように参照値に対して徐々に小さくなる場合を想定している。そして、これらの実際の被写体の大きさから、光学ズーム倍率と電子ズーム倍率を決定する。
【００６０】
Ｋ（０）では、被写体の大きさが１．０倍であり、光学ズーム倍率も１．０倍とする。
【００６１】
Ｋ（１）では、被写体の大きさが０．９５倍であるが、取得された画像から抽出された被写体の大きさはＫ（０）での被写体の大きさと光学ズーム倍率の積となるので、１．０倍となる。よって、光学ズームも電子ズームも変更する必要はない。
【００６２】
Ｋ（２）では、被写体の大きさが０．９０倍であるが、取得された画像から抽出された被写体の大きさはＫ（１）での被写体の大きさと光学ズーム倍率の積となるので、０．９５倍となる。このとき、比較部１１により算出された比率が０．９〜１．１の範囲内に入るので、電子ズームのみを用いたオートズームを行う。抽出された被写体の大きさ（０．９５倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように電子ズーム倍率は１．０５２６倍に設定される。
【００６３】
Ｋ（３）では、被写体の大きさが０．８５倍であるが、取得された画像から抽出された被写体の大きさはＫ（２）での被写体の大きさと光学ズーム倍率の積となるので、０．９０倍となる。このとき、比較部１１により算出された比率が０．９〜１．１の範囲内に入るので、電子ズームのみを用いたオートズームを行う。抽出された被写体の大きさ（０．９０倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように電子ズーム倍率は１．１１１１倍に設定される。
【００６４】
Ｋ（４）では、被写体の大きさが０．８０倍であるが、取得された画像から抽出された被写体の大きさはＫ（３）での被写体の大きさと光学ズーム倍率の積となるので、０．８５倍となる。このとき、比較部１１により算出された比率が０．９〜１．１の範囲外になるので、電子ズームだけでなく光学ズームも用いたオートズームをＫ（５）で行う。ただし、Ｋ（４）においては電子ズームのみを用いたズーム倍率の変更となるので、０．８５倍という抽出された被写体の大きさに対して、最終的な被写体の大きさが参照値と同じ大きさになるように電子ズーム倍率は１．１７６５倍に設定される。
【００６５】
Ｋ（５）では、被写体の大きさは０．８０倍であり、取得された画像から抽出された被写体の大きさも、Ｋ（４）での被写体の大きさと光学ズーム倍率の積であるので、０．８０倍となる。このとき、比較部１１により算出された比率が０．９〜１．１の範囲外になるので、電子ズームだけでなく光学ズームも用いたオートズームをＫ（６）で継続する。ただし、Ｋ（５）においては光学ズームの途中であるため、電子ズームのみを用いたズーム倍率の変更を行う。抽出された被写体の大きさ（０．８０倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は１．２５倍に設定される。
【００６６】
Ｋ（６）でも、被写体の大きさは０．８０倍であり、取得された画像から抽出された被写体の大きさも、Ｋ（５）での被写体の大きさと光学ズーム倍率の積であるので、０．８０倍となる。このとき、Ｋ（４）において決定された光学ズームによる倍率変更が反映されるため、光学ズーム倍率は１．０５倍となる。また、比較部１１により算出された比率が０．９〜１．１の範囲外になるので、電子ズームだけでなく光学ズームも用いたオートズームをＫ（７）で継続する。Ｋ（６）においては、抽出された被写体の大きさ（０．８０倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は１．２５倍に設定される。
【００６７】
Ｋ（７）では、被写体の大きさは０．８０倍であり、取得された画像から抽出された被写体の大きさは、Ｋ（６）での被写体の大きさと光学ズーム倍率の積である０．８４倍となる。このとき、Ｋ（５）において決定された光学ズームによる倍率変更が反映されるため、光学ズーム倍率は１．１０２５倍となる。また、比較部１１により算出された比率が０．９〜１．１の範囲外になるので、電子ズームだけでなく光学ズームも用いたオートズームをＫ（８）で継続する。Ｋ（７）においては、抽出された被写体の大きさ（０．８４倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は１．１９０５倍に設定される。
【００６８】
Ｋ（８）では、被写体の大きさ０．８０倍であり、取得された画像から抽出された被写体の大きさは、Ｋ（７）での被写体の大きさと光学ズーム倍率の積である０．８８２０倍となる。このとき、Ｋ（６）において決定された光学ズームによる倍率変更が反映されるため、光学ズーム倍率は１．１５７６倍となる。また、比較部１１により算出された比率が０．９〜１．１の範囲外になるので、電子ズームだけでなく光学ズームも用いたオートズームをＫ（９）で継続する。Ｋ（８）においては、抽出された被写体の大きさ（０．８８２０倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は１．１３３８倍に設定される。
【００６９】
Ｋ（９）では、被写体の大きさ０．８０倍であり、取得された画像から抽出された被写体の大きさは、Ｋ（８）での被写体の大きさと光学ズーム倍率の積である０．９２６１倍となる。このとき、Ｋ（７）において決定された光学ズームによる倍率変更が反映されるため、光学ズーム倍率は１．２１５５倍となる。また、比較部１１により算出された比率が０．９〜１．１の範囲内に入っているので、Ｋ（１０）では光学ズームを停止する。また、Ｋ（９）においては、抽出された被写体の大きさ（０．９２６１倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は１．０７９８倍に設定される。
【００７０】
Ｋ（１０）では、被写体の大きさ０．８０倍であり、取得された画像から抽出された被写体の大きさは、Ｋ（９）での被写体の大きさと光学ズーム倍率の積である０．９７２４倍となる。このとき、Ｋ（８）において決定された光学ズームによる倍率変更が反映されるため、光学ズーム倍率は１．２７６３倍となる。また、比較部１１により算出された比率が０．９〜１．１の範囲内に入っているので、Ｋ（１１）でも光学ズームを行わない。また、Ｋ（１０）においては、抽出された被写体の大きさ（０．９７２４倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は１．０２８４倍に設定される。
【００７１】
Ｋ（１１）では、被写体の大きさ０．８０倍であり、取得された画像から抽出された被写体の大きさは、Ｋ（１０）での被写体の大きさと光学ズーム倍率の積である１．０２１０倍となる。このとき、Ｋ（１０）において光学ズームが停止されていたため、光学ズーム倍率は１．２７６３倍のままとなる。また、比較部１１により算出された比率が０．９〜１．１の範囲内に入っているので、Ｋ（１２）でも光学ズームを行わない。また、Ｋ（１１）においては、抽出された被写体の大きさ（１．０２１０倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は０．９７９４倍に設定される。
【００７２】
Ｋ（１２）では、被写体の大きさ０．８０倍であり、取得された画像から抽出された被写体の大きさは、Ｋ（１１）での被写体の大きさと光学ズーム倍率の積である１．０２１０倍となる。このとき、Ｋ（１１）においても光学ズームが停止されているため、光学ズーム倍率は１．２７６３倍のままとなる。また、比較部１１により算出された比率が０．９〜１．１の範囲内に入っているので、Ｋ（１３）でも光学ズームを行わない。また、Ｋ（１２）においては、抽出された被写体の大きさ（１．０２１０倍）に対して、最終的な被写体の大きさが参照値と同じ大きさになるように、電子ズーム倍率は０．９７９４倍に設定される。
【００７３】
このように本実施例では、前フレーム画像での被写体の大きさと光学ズーム倍率とから決定される現フレーム画像での被写体の大きさ（参照値に対する比率）に応じて、オートズームにおいて電子ズームのみを用いるのか光学ズームを優先的に用いるのかを決定する。現フレーム画像での被写体の大きさは、前フレーム画像からの被写体の大きさの変化量と言うこともできる。そして、該比率または該変化量が所定範囲より大きい場合には、電子ズームによる画質劣化を抑えるため光学ズームを優先的に用いたオートズームを行う。ただし、光学ズームを用いたズーム倍率の変更には遅延が生じるため、迅速性に優れた電子ズームを光学ズームに加えて使用することで、被写体の大きさを参照値に相当する大きさに迅速に合わせることができる。
【００７４】
また、該比率または該変化量が所定範囲より小さい場合には、光学ズームを行わずに電子ズームのみによるオートズームを行う。このため、ズームレンズ駆動による消費電力の増加や音声ノイズの発生（記録）を抑えることができる。
【００７５】
また、上記実施例では、撮影光学系が一体化された撮像装置について説明したが、本発明は、撮影光学系の交換が可能な撮像装置にも適用することができる。
【００７６】
以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、上記実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００７７】
オートズームが可能なデジタルスチルカメラやビデオカメラ等の撮像装置を提供できる。
【符号の説明】
【００７８】
１  撮影光学系
２  撮像素子
４  画像処理部
６  画像切り出し部
８  被写体抽出部
９  被写体特徴量算出部
１０  参照値記憶部
１１  比較部
１２  ズーム制御部
【図１】
0005615031.tif 000002
【図２】
0005615031.tif 000003
【図３】
0005615031.tif 000004
【図４】
0005615031.tif 000005
【図５】
0005615031.tif 000006
【図６】
0005615031.tif 000007