(57)【要約】【課題】撮像範囲内のそれぞれの被写体までの距離を取得することができるようにする。【解決手段】撮像装置１においては、記録開始ボタンが押されるなどして撮像を開始することがユーザにより指示される前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像を撮像し、撮像したそれぞれの画像内の合焦領域（ピントがあっている領域）を検出して、検出した合焦領域と合焦距離をプレーン情報によって管理することが行われる。合焦領域の検出に用いる画像の撮像は、例えば、合焦距離を最も短くした状態から開始され、最も長くした状態になるまでの間、合焦距離の可変範囲の全範囲において所定の間隔で連続して行われる。プレーン情報は、例えば、フォーカス、露出、ホワイトバランスの制御に用いられる。本発明は、デジタルビデオカメラやデジタルスチルカメラに適用することができる。【選択図】図１
2008172516.tif 000002
【特許請求の範囲】
【請求項１】
合焦距離が可変であるレンズと、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、
前記撮像手段により撮像された複数の画像から合焦領域を検出し、検出した合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離を対応付けて管理する管理手段と
を備える撮像装置。
【請求項２】
前記撮像手段は、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像する
請求項１に記載の撮像装置。
【請求項３】
可変範囲の全範囲において前記レンズの合焦距離が変わる毎に前記撮像手段により撮像された前記複数の画像を記憶する記憶手段をさらに備え、
前記管理手段は、前記複数の画像が前記記憶手段に記憶されたとき、前記記憶手段に記憶されたそれぞれの画像から合焦領域を検出する
請求項２に記載の撮像装置。
【請求項４】
前記撮像手段はCMOSイメージセンサである
請求項１に記載の撮像装置。
【請求項５】
１フレームの画像が撮像される毎に、撮像された画像を対象として前記管理手段により合焦領域の検出が行われる場合、
前記撮像手段は、合焦距離を変えて行う２回目以降の撮像時に、撮像済みの画像を対象として前記管理手段により検出された合焦領域を構成する画素の画素値の取り込みを行わずに、他の画素の画素値を取り込むことによって撮像を行う
請求項４に記載の撮像装置。
【請求項６】
所定の位置の合焦領域において合焦する被写体を着目する被写体として選択し、前記レンズの合焦距離を、前記所定の位置の合焦領域と対応付けて前記管理手段により管理されている合焦距離と同じ合焦距離に制御して前記着目する被写体の撮像を行う制御手段をさらに備える
請求項１に記載の撮像装置。
【請求項７】
所定の位置の合焦領域において合焦する被写体を着目する被写体として選択し、前記所定の位置の合焦領域の明るさに基づいて前記着目する被写体の露出を制御して撮像を行う制御手段をさらに備える
請求項１に記載の撮像装置。
【請求項８】
所定の位置の合焦領域において合焦する被写体を着目する被写体として選択し、前記所定の位置の合焦領域の色に基づいて前記着目する被写体のホワイトバランスを制御して撮像を行う制御手段をさらに備える
請求項１に記載の撮像装置。
【請求項９】
合焦距離が可変であるレンズを備える撮像装置の撮像方法において、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、検出した合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離を対応付けて管理する
ステップを含む撮像方法。
【請求項１０】
合焦距離が可変であるレンズを備える撮像装置の処理をコンピュータに実行させるプログラムにおいて、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、検出した合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離を対応付けて管理する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、撮像範囲内のそれぞれの被写体までの距離を取得することができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
ビデオカメラなどの撮像装置においては、レンズやイメージセンサなどを通って撮像された画像から、被写体の明るさ、色、輪郭、動きなどを検知し、ユーザによる操作によらずに、フォーカス・露出・ホワイトバランスなどを自動的に制御することが一般的に行われている。
【０００３】
例えば、フォーカスの制御は、映像信号の高周波成分が最も大きくなる位置をウォブリングによって検出し、レンズの位置を調整することによって行われる。露出の制御は、フレーム内に固定的に設定されたスポット、またはエリアにおいて測光を行い、測光された明るさに基づいて、最適な露出値になるように絞りを調整したり、あるいは、取り込まれた映像信号のゲインを調整したりすることによって行われる。ホワイトバランスの制御は、取り込まれた映像信号から色温度を測定し、RGB信号にそれぞれ加えるゲインを調整することによって行われる。
【０００４】
特許文献１には、ウォブリング動作を行うことによってフォーカスの制御を行う技術が開示されている。
【特許文献１】特開２００６−４７９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
カメラから被写体までの距離が分かれば、その距離にある被写体にフォーカスがあうようにレンズを調整するだけであるから、例えばフォーカスの制御については、ウォブリングなどを行わなくてもそれを容易に、かつ精度よく行うことができるものと考えられる。
【０００６】
しかし、撮像された１フレームの画像から、画像内に写るそれぞれの被写体までの距離を求め、どの部分が近いか遠いかを判断して、それをフォーカスの制御などに用いることは困難である。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、撮像範囲内のそれぞれの被写体までの距離を取得することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の撮像装置は、合焦距離が可変であるレンズと、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、前記撮像手段により撮像された複数の画像から合焦領域を検出し、検出した合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離を対応付けて管理する管理手段とを備える。
【０００９】
前記撮像手段には、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像させることができる。
【００１０】
可変範囲の全範囲において前記レンズの合焦距離が変わる毎に前記撮像手段により撮像された前記複数の画像を記憶する記憶手段をさらに設けることができる。この場合、前記管理手段には、前記複数の画像が前記記憶手段に記憶されたとき、前記記憶手段に記憶されたそれぞれの画像から合焦領域を検出させることができる。
【００１１】
前記撮像手段はCMOSイメージセンサであるようにすることができる。
【００１２】
１フレームの画像が撮像される毎に、撮像された画像を対象として前記管理手段により合焦領域の検出が行われる場合、前記撮像手段には、合焦距離を変えて行う２回目以降の撮像時に、撮像済みの画像を対象として前記管理手段により検出された合焦領域を構成する画素の画素値の取り込みを行わせずに、他の画素の画素値を取り込むことによって撮像を行わせることができる。
【００１３】
所定の位置の合焦領域において合焦する被写体を着目する被写体として選択し、前記レンズの合焦距離を、前記所定の位置の合焦領域と対応付けて前記管理手段により管理されている合焦距離と同じ合焦距離に制御して前記着目する被写体の撮像を行う制御手段をさらに設けることができる。
【００１４】
所定の位置の合焦領域において合焦する被写体を着目する被写体として選択し、前記所定の位置の合焦領域の明るさに基づいて前記着目する被写体の露出を制御して撮像を行う制御手段をさらに設けることができる。
【００１５】
所定の位置の合焦領域において合焦する被写体を着目する被写体として選択し、前記所定の位置の合焦領域の色に基づいて前記着目する被写体のホワイトバランスを制御して撮像を行う制御手段をさらに設けることができる。
【００１６】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離を対応付けて管理するステップを含む。
【００１７】
本発明の一側面においては、光軸を固定として、レンズの合焦距離が変わる毎に撮像が行われる。また、撮像された複数の画像から合焦領域が検出され、検出された合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離が対応付けて管理される。
【発明の効果】
【００１８】
本発明の一側面によれば、撮像範囲内のそれぞれの被写体までの距離を取得することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００２０】
本発明の一側面の撮像装置（例えば、図１の撮像装置１）は、合焦距離が可変であるレンズ（例えば、図４の可変焦点レンズ１１）と、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段（例えば、図４のCMOSイメージセンサ１２）と、前記撮像手段により撮像された複数の画像から合焦領域を検出し、検出した合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離を対応付けて管理する管理手段（例えば、図５のプレーン情報管理部３２）とを備える。
【００２１】
この撮像装置には、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に前記撮像手段により撮像された前記複数の画像を記憶する記憶手段（例えば、図４の画像メモリ１４）をさらに設けることができる。
【００２２】
また、この撮像装置には、所定の位置の合焦領域において合焦する被写体を着目する被写体として選択し、前記レンズの合焦距離を、前記所定の位置の合焦領域と対応付けて前記管理手段により管理されている合焦距離と同じ合焦距離に制御して前記着目する被写体の撮像を行う制御手段（例えば、図５の撮像制御部３３）をさらに設けることができる。
【００２３】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域と、それぞれの画像の撮像が行われたときの前記レンズの合焦距離を対応付けて管理するステップ（例えば、図７のステップＳ９）を含む。
【００２４】
以下、本発明の実施の形態について図を参照して説明する。
【００２５】
図１は、本発明の一実施形態に係る撮像装置１による撮像の様子を示す図である。
【００２６】
撮像装置１は例えばデジタルビデオカメラであり、合焦距離が可変であるレンズが設けられている。図１に示されるように、撮像装置１に近いものから順に、人物、建物、山などの風景が撮像範囲に存在する場合、撮像装置１は、人物に合焦させた画像、建物に合焦させた画像、風景に合焦させた画像などをそれぞれ撮像することができる。
【００２７】
図１の例においては、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する。図１の一点鎖線Ｌはレンズの光軸を表す。
【００２８】
図２は、合焦距離を変えて撮像した画像の例を示す図である。
【００２９】
撮像装置１に設けられるレンズの被写界深度は比較的浅く、合焦距離を距離Ｄ1として人物に合焦させて撮像した画像である画像Ｐ1には建物と風景がピントがあっていない状態で写り、合焦距離を距離Ｄ2として建物に合焦させて撮像した画像である画像Ｐ2には人物と風景がピントがあっていない状態で写る。また、合焦距離を距離Ｄ3として風景に合焦させて撮像した画像である画像Ｐ3には人物と建物がピントがあっていない状態で写る。
【００３０】
図２において、実線で示される被写体はピントがあっている状態であることを表し、点線で示される被写体はピントがあっていない状態であることを表す。
【００３１】
撮像装置１においては、記録開始ボタンが押されるなどして撮像を開始することがユーザにより指示される前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像を撮像し、撮像したそれぞれの画像内の合焦領域（ピントがあっている領域）を検出して、検出した合焦領域と合焦距離を管理することが行われる。
【００３２】
合焦領域の検出に用いる画像の撮像は、例えば、合焦距離を最も短くした状態から開始され、最も長くした状態になるまでの間、合焦距離の可変範囲の全範囲において所定の間隔で連続して行われる。画像内の合焦領域の検出は、画像のコントラストを抽出するなどの方法によって行われる。
【００３３】
図１に示されるように、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する場合、合焦距離を距離Ｄ1として撮像して得られた画像Ｐ1には人物が合焦した状態で写っているから、画像Ｐ1からは、図３の右側に示されるように、人物が写っている領域である領域Ａ1が検出され、領域Ａ1と、合焦距離である距離Ｄ1が対応付けて管理される。図３においては、検出される合焦領域が斜線で示されている。
【００３４】
また、合焦距離を距離Ｄ2として撮像して得られた画像Ｐ2には建物が合焦した状態で写っているから、画像Ｐ2からは、図３の中央に示されるように、建物が写っている領域である領域Ａ2が検出され、領域Ａ2と、合焦距離である距離Ｄ2が対応付けて管理される。
【００３５】
合焦距離を距離Ｄ3として撮像して得られた画像Ｐ3には風景が合焦した状態で写っているから、画像Ｐ3からは、図３の左側に示されるように、風景が写っている領域である領域Ａ3が検出され、領域Ａ3と、合焦距離である距離Ｄ3が対応付けて管理される。
【００３６】
なお、合焦した状態で写っている被写体を含むように、その被写体の領域を若干広げた領域までが合焦領域として検出されるようにしてもよい。
【００３７】
図２、図３においては３フレームの画像だけが示されているが、撮像装置１においては、さらに多くの画像が合焦距離を変えながら撮像される。撮像された画像の中には合焦領域が検出されない画像もある。また、図３においてはそれぞれの画像から１つの合焦領域だけが検出されているが、１フレームの画像から複数の合焦領域が検出されることもある。
【００３８】
合焦領域と合焦距離の対応付けは、撮像装置１の光軸を垂線とする、撮像範囲内の平面（プレーン）の情報を表すプレーン情報によって撮像装置１により管理される。それぞれのプレーン情報には、合焦領域の画像内の位置、範囲、その合焦領域の検出元になった画像を撮像したときの合焦距離などが含まれる。
【００３９】
合焦距離は画像内で合焦している被写体までの距離を表すから、このように、撮像装置１によれば、光軸を固定とし、合焦距離を変えて複数の画像の撮像が行われることによって、撮像範囲に含まれるそれぞれの被写体までの距離を取得することができる。
【００４０】
合焦距離を変えて可変範囲の全範囲分の画像を撮像することは、例えば、１／６０秒周期などの所定の周期で高速に、繰り返し行われる。可変範囲の全範囲分の画像を撮像することがそのような短い周期で行われることにより、合焦距離を変えて行われる１回１回の撮像が短い時間間隔で行われることになり、撮像された画像は光軸をほぼ固定して撮像されたものになる。
【００４１】
撮像装置１の撮像素子にはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられており、高速での撮像が可能となっている。以下、適宜、撮像装置１の光軸を垂線とする撮像範囲内のそれぞれの平面の状態を検出するための撮像といえるから、合焦距離を所定の間隔で変えて可変範囲の全範囲分の画像を撮像することをスキャンフォーカスという。
【００４２】
以上のようにして得られたプレーン情報は、例えば、フォーカス、露出、ホワイトバランスの制御に用いられる。
【００４３】
例えば、画像の中央付近に写っている被写体に着目して合焦させる場合、撮像装置１は、画像の中央付近において検出された合焦領域の情報を含むプレーン情報を参照することによって、その合焦領域と対応付けられている距離を合焦距離として撮像が行われるようにレンズを駆動させ、フォーカスを制御する。
【００４４】
プレーン情報には、合焦領域と、その合焦領域の検出元になった画像を撮像したときの合焦距離が対応付けられているから、どの位置の合焦領域に写る被写体に着目するのかを選択すれば、その被写体に合焦させるための合焦距離を一意に選択することが可能となる。
【００４５】
従って、撮像装置１は、プレーン情報を参照して選択した合焦距離で撮像が行われるようにレンズを駆動させるだけで、フォーカスレンズを前後に細かく往復運動させるウォブリングなどを行うことなく、迅速に、かつ精度よく、着目する被写体に合焦させることができる。
【００４６】
また、画像の中央付近に写っている被写体に着目して露出を制御する場合、撮像装置１は、プレーン情報を参照することによって、画像内の中央付近において検出された合焦領域の明るさに基づいて露出を制御する。
【００４７】
これにより、撮像装置１は、着目した被写体の明るさを基準に露出を制御することができる。フレーム内に固定的に設定されたスポット、またはエリアの明るさに基づいて露出を制御する場合、仮に、そのスポットが被写体に当たっているとしても、被写体全体のうちのスポットの当たっていない部分の明るさを考慮して露出を制御することはできないし、エリアに被写体全体が含まれているとしても、エリアに含まれる被写体以外の部分の明るさを考慮して露出が制御されてしまうのに対し、プレーン情報を用いることにより、着目する被写体の明るさに応じて、露出を正しく制御することができる。
【００４８】
プレーン情報によって表される領域は被写体の位置や大きさに応じてその位置、形状が変わるものであるから、露出を制御する際に基準となる被写体の明るさを確実に検出することが可能となる。
【００４９】
また、撮像装置１は、着目する被写体の露出については、その被写体が写っている領域の明るさに基づいて制御し、他の被写体の露出については、その、他の被写体が写っている領域の明るさに基づいて制御するといったように、プレーン情報に基づいて、被写体毎に別々の露出制御を行うことができる。これにより、画像のダイナミックレンジを確保することができ、撮像環境が逆光である場合など、被写体と背景の明るさの差が大きい場合であっても、画像全体に対して最適な露出条件で撮像することができる。
【００５０】
画像の中央付近に写っている被写体に着目してホワイトバランスを制御する場合、撮像装置１は、プレーン情報を参照することによって、画像内の中央付近において検出された合焦領域の色に基づいて色温度を測定し、RGB信号にそれぞれ加えるゲインを変えるなどしてホワイトバランスを制御する。
【００５１】
これにより、撮像装置１は、着目する被写体の色を基準にホワイトバランスを制御することができる。画像全体の色を基準にホワイトバランスを制御する場合、図１の人物が反射する光と、建物が反射する光と、風景が反射する光がそれぞれ光源の異なるものであるときには、ホワイトバランスを制御したとしても、着目する被写体の色を正しく表現することができないことがあるが、プレーン情報を用いることにより、着目する被写体の色を正しく表現することができる。
【００５２】
プレーン情報によって表される領域は被写体の位置や大きさに応じてその位置、形状が変わるものであるから、ホワイトバランスを制御する際に基準となる被写体の色を確実に検出することが可能となる。
【００５３】
また、着目する被写体のホワイトバランスについては、その被写体が写っている領域の色に基づいて制御し、他の被写体のホワイトバランスについては、その、他の被写体が写っている領域の色に基づいて制御するといったように、プレーン情報に基づいて、被写体毎に別々のホワイトバランス制御を行うことができる。これにより、画像全体に対して、最適なホワイトバランスで撮像することができる。
【００５４】
以上のようにして撮像を行う撮像装置１の一連の処理についてはフローチャートを参照して後述する。
【００５５】
図４は、撮像装置１のハードウエア構成例を示すブロック図である。
【００５６】
可変焦点レンズ１１は、被写体からの光を取り込み、取り込んだ光をCMOSイメージセンサ１２に導く。可変焦点レンズ１１は複数のレンズから構成され、その位置関係が調整されることによって合焦距離が制御される。合焦距離の制御はレンズ駆動回路２１により行われる。
【００５７】
CMOSイメージセンサ１２は、可変焦点レンズ１１を介して入射した光を受光して光電変換を行い、受光量に応じたアナログの画像信号をADC(Analog Digital Converter)１３に出力する。
【００５８】
ADC１３は、CMOSイメージセンサ１２から供給された画像信号をA/D変換し、デジタルの画像データを画像メモリ１４に出力する。ADC１３においては、CMOSイメージセンサ１２から供給された画像信号に対して相関二重サンプリング処理、ゲインコントロール処理なども施される。
【００５９】
画像メモリ１４は、ADC１３から供給された画像データを記憶する。画像メモリ１４に記憶された画像データは動画処理回路１５と画像信号処理回路１８により適宜読み出される。
【００６０】
動画処理回路１５は、マイクロコントローラ２０による制御に従って動画の記録、再生を行う。例えば、動画処理回路１５は、動画を記録するとき、画像メモリ１４に記憶されている画像データに基づいて所定のフォーマットの動画データを生成し、圧縮した動画データを記録デバイス１６に出力する。動画処理回路１５は、動画データを生成するとき、マイクロコントローラ２０による制御に従って、露出やホワイトバランスを制御する。
【００６１】
また、動画処理回路１５は、動画を再生するとき、記録デバイス１６から読み出した動画データを再生して得られた画像信号をモニタ１７に出力する。さらに、動画処理回路１５は、画像メモリ１４に記憶されている画像データに基づいて、取り込み中の画像をモニタ１７に表示させることも行う。
【００６２】
記録デバイス１６は、テープ、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)などよりなり、動画処理回路１５から供給された動画データを記録する。
【００６３】
モニタ１７はLCD(Liquid Crystal Display)などよりなり、動画処理回路１５から供給された画像信号に基づいて取り込み中の画像を表示する。例えば、動画の記録がユーザにより指示される前の、スキャンフォーカスが所定の周期で繰り返し行われる期間においては、モニタ１７に表示させるための画像の撮像もスキャンフォーカスの合間にCMOSイメージセンサ１２により行われ、取り込み中の画像を表示することは、そのようにスキャンフォーカスの合間に撮像された画像に基づいて行われる。
【００６４】
画像信号処理回路１８は、スキャンフォーカスによって撮像された可変範囲の全範囲分の、合焦距離がそれぞれ異なる複数の画像のデータが画像メモリ１４に記憶されたとき、画像メモリ１４に記憶されている画像データを読み出し、それぞれの画像から合焦領域を検出する。画像信号処理回路１８は、合焦領域の画像内の位置、範囲などの、合焦領域に関する情報をマイクロコントローラ２０に出力する。
【００６５】
メモリ１９は、画像信号処理回路１８が処理を行う上で必要なデータを記憶する。
【００６６】
マイクロコントローラ２０は、所定のプログラムを実行し、動画処理回路１５、レンズ駆動回路２１を制御して動画の記録、再生などの各種の処理を行う。
【００６７】
例えば、マイクロコントローラ２０は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。また、マイクロコントローラ２０は、画像信号処理回路１８から供給された合焦領域に関する情報と、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいてプレーン情報を生成し、生成したプレーン情報を管理する。
【００６８】
マイクロコントローラ２０は、動画の記録がユーザにより指示されたとき、プレーン情報に基づいてレンズ駆動回路２１を制御し、着目する被写体に合焦させる。また、マイクロコントローラ２０は、プレーン情報に基づいて動画処理回路１５を制御し、露出、ホワイトバランスを制御する。
【００６９】
レンズ駆動回路２１は、マイクロコントローラ２０による制御に従ってモータを駆動させ、可変焦点レンズ１１を構成する各レンズの位置を移動させる。例えば、レンズ駆動回路２１は、最も短い距離から最も長い距離まで合焦距離が順次ずれるように各レンズの位置を移動させ、スキャンフォーカスを行う。
【００７０】
図５は、撮像装置１の機能構成例を示すブロック図である。図５に示す機能部のうちの少なくとも一部は、図４のマイクロコントローラ２０により所定のプログラムが実行されることによって実現される。
【００７１】
図５に示されるように、撮像装置１においてはスキャンフォーカス制御部３１、プレーン情報管理部３２、および撮像制御部３３が実現される。
【００７２】
スキャンフォーカス制御部３１は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。スキャンフォーカス制御部３１は、スキャンフォーカスによってそれぞれの画像を撮像したときの合焦距離の情報をプレーン情報管理部３２に出力する。
【００７３】
図６は、スキャンフォーカスを行うときの可変焦点レンズ１１の制御の例を示す図である。
【００７４】
図６の横軸は時刻を表し、縦軸は可変焦点レンズ１１の合焦距離を表す。図６の例においては、可変焦点レンズ１１の合焦距離の可変範囲は距離ｙ0から距離ｙ2（無限遠）までの範囲とされている。距離ｙ1は、スキャンフォーカスを開始する直前に、オートフォーカスにより、またはユーザの手動での調整により設定されていた合焦距離である。
【００７５】
スキャンフォーカス制御部３１は、スキャンフォーカスを開始するとき、そのとき設定されている合焦距離である距離ｙ1を記憶し、合焦距離が距離ｙ0になるように可変焦点レンズ１１を制御する。スキャンフォーカス制御部３１は、合焦距離が距離ｙ0になったとき、合焦距離を距離ｙ2まで所定の間隔で変えながら連続して撮像を行わせる。距離ｙ0から開始されるのではなく、スキャンフォーカスを開始するときの合焦距離から開始されるようにしてもよい。
【００７６】
図６の例においては、時刻ｔ0から時刻ｔ1までの間に１回目のスキャンフォーカスが行われている。時刻ｔ0から時刻ｔ1までの間に示されるそれぞれの矢印のタイミングで１回ずつ撮像が行われ、これにより、合焦距離の異なる複数の画像が１回のスキャンフォーカスによって撮像される。スキャンフォーカス制御部３１からプレーン情報管理部３２に対しては、それぞれの矢印のタイミングにおける合焦距離の情報が通知される。
【００７７】
スキャンフォーカスによって撮像された画像は、順次、画像メモリ１４に記憶される。全ての画像が画像メモリ１４に記憶されたとき、画像信号処理回路１８においては、それぞれの画像から合焦領域が検出される。
【００７８】
１回目のスキャンフォーカスが終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離を、スキャンフォーカスの開始前に記憶しておいた距離ｙ1に復帰させ、その後、所定の期間だけ、モニタ１７に表示させるのに用いる画像の撮像を行う。
【００７９】
図６の例においては、時刻ｔ1から時刻ｔ2までの間に、可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させることが行われ、その後の時刻ｔ2から時刻ｔ3までの間に画像の撮像が行われている。時刻ｔ2から時刻ｔ3までの間に撮像された画像は、モニタ１７に表示させるのに用いる次の画像が撮像されるまでモニタ１７に表示され、これにより、ユーザは、取り込み中の画像を確認し、記録を開始するタイミングを図ることができる。
【００８０】
モニタ１７に表示させるのに用いる画像の撮像が終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離をスキャンフォーカスの開始時の距離である距離ｙ0に移動させ、その後、次のスキャンフォーカスを開始する。
【００８１】
図６の例においては、時刻ｔ3から時刻ｔ4までの間に可変焦点レンズ１１の合焦距離が距離ｙ0まで移動され、時刻ｔ4において次のスキャンフォーカスが開始されている。その後、同様の処理が繰り返される。すなわち、スキャンフォーカス制御部３１は、時刻ｔ0から時刻ｔ4までの間に行われる以上の処理を１単位の処理として繰り返し行う。時刻ｔ0から時刻ｔ4までの時間が、上述した例えば１／６０秒の時間になる。
【００８２】
時刻ｔ4から時刻ｔ5までの間に２回目のスキャンフォーカスが行われ、時刻ｔ5から時刻ｔ6までの間に、可変焦点レンズ１１の合焦距離がスキャンフォーカスの開始前に記憶されていた距離ｙ1に復帰される。時刻ｔ6から時刻ｔ7までの間に、モニタ１７に表示させるのに用いる画像の撮像が行われ、時刻ｔ7から時刻ｔ8までの間に、３回目のスキャンフォーカスを開始するために可変焦点レンズ１１の合焦距離が距離ｙ0まで移動される。
【００８３】
図５の説明に戻り、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を図示せぬメモリに記憶させて管理する。プレーン情報管理部３２によるプレーン情報の生成はスキャンフォーカスが行われる毎に生成され、実際に動画を記録するときの撮像には、撮像を開始するときを基準として最新のプレーン情報が用いられる。
【００８４】
プレーン情報管理部３２は、記録開始ボタンが押されるなどして動画の記録がユーザにより指示されたとき、管理しているプレーン情報を撮像制御部３３に出力する。
【００８５】
撮像制御部３３は、着目する被写体をプレーン情報に基づいて選択し、動画の記録を制御する。例えば、撮像制御部３３は、中央付近に写っている被写体、撮像装置１に最も近い被写体、そのときユーザにより設定されている撮像モードに応じた被写体を、着目する被写体として選択する。
【００８６】
撮像装置１には、風景モード、ポートレートモードなどの各種の撮像モードが用意されおり、風景モードが設定されている場合には、撮像装置１から遠い被写体が着目する被写体として選択される。また、被写体の人物が画像の中央付近に入るように構図を選択して撮像することが多いため、ポートレートモードが設定されている場合には、画像の中央付近に写っている被写体が着目する被写体として選択される。
【００８７】
撮像制御部３３は、フォーカスを制御する場合、現在の合焦距離と、着目する被写体が写る合焦領域に対応付けられている合焦距離に差分があるときには、着目する被写体が写る合焦領域に対応付けられている合焦距離で撮像が行われるようにレンズ駆動回路２１を制御する。
【００８８】
例えば、図３に示されるような合焦領域の情報がプレーン情報に含まれている場合、着目する被写体として撮像装置１に最も近い被写体を選択しているときには、撮像制御部３３は、合焦距離が最も短いときに撮像された画像である画像Ｐ1から検出された領域Ａ1に対応付けられている距離Ｄ1を合焦距離として撮像が行われるようにレンズ駆動回路２１を制御する。
【００８９】
また、着目する被写体として画像の中央付近に写っている被写体を選択しているときには、撮像制御部３３は、画像の中央付近に存在する合焦領域である領域Ａ2に対応付けられている距離Ｄ2を合焦距離として撮像が行われるようにレンズ駆動回路２１を制御する。
【００９０】
風景モードが設定されるなどして、着目する被写体として撮像装置１から遠い被写体を選択しているときには、撮像制御部３３は、合焦距離が最も長いときに撮像された画像である画像Ｐ3から検出された領域Ａ3に対応付けられている距離Ｄ3を合焦距離として撮像が行われるようにレンズ駆動回路２１を制御する。
【００９１】
また、撮像制御部３３は、露出やホワイトバランスを制御するとき、着目する被写体が写る合焦領域を構成する画素の画素値（明るさ、色）を基準として動画処理回路１５に画像処理を行わせる。
【００９２】
例えば、図３に示されるような合焦領域の情報がプレーン情報に含まれている場合、着目する被写体として撮像装置１に最も近い被写体を選択しているときには、撮像制御部３３は、合焦距離が最も短いときに撮像された画像である画像Ｐ1から検出された領域Ａ1を構成する画素の画素値を基準として、その領域Ａ1の明るさが最適になるように露出を動画処理回路１５に制御させ、また、領域Ａ1の色が適切になるようにホワイトバランスを動画処理回路１５に制御させる。
【００９３】
また、着目する被写体として画像の中央付近に写っている被写体を選択しているときには、撮像制御部３３は、画像の中央付近に存在する合焦領域である領域Ａ2を構成する画素の画素値を基準として、その領域Ａ2の明るさが最適になるように露出を動画処理回路１５に制御させ、また、領域Ａ2の色が適切になるようにホワイトバランスを動画処理回路１５に制御させる。
【００９４】
風景モードが設定されるなどして、着目する被写体として撮像装置１から遠い被写体を選択しているときには、撮像制御部３３は、合焦距離が最も長いときに撮像された画像である画像Ｐ3から検出された領域Ａ3を構成する画素の画素値を基準として、その領域Ａ3の明るさが最適になるように露出を動画処理回路１５に制御させ、また、領域Ａ3の色が適切になるようにホワイトバランスを動画処理回路１５に制御させる。
【００９５】
ここで、以上のような構成を有する撮像装置１の処理について説明する。
【００９６】
はじめに、図７のフローチャートを参照して、スキャンフォーカスを行う撮像装置１の処理について説明する。
【００９７】
ステップＳ１において、スキャンフォーカス制御部３１は、現在の合焦距離を記憶する。ここで記憶された合焦距離は、スキャンフォーカスが終わったときに合焦距離を元に戻すときに用いられる。
【００９８】
ステップＳ２において、CMOSイメージセンサ１２は、プレーン情報を生成するのに用いられるプレーン情報生成用の画像を撮像する。このときの合焦距離は、所定の距離にスキャンフォーカス制御部３１により調整されている。撮像によって得られた画像データは画像メモリ１４に記憶される。
【００９９】
ステップＳ３において、スキャンフォーカス制御部３１は、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したか否かを判定する。
【０１００】
ステップＳ３において可変範囲の全範囲でプレーン情報生成用の画像を撮像していないと判定した場合、スキャンフォーカス制御部３１は、ステップＳ４に進み、レンズ駆動回路２１を制御して、合焦距離を例えば長くなる方向に所定の間隔だけずらす。合焦距離の情報はスキャンフォーカス制御部３１からプレーン情報管理部３２に出力される。その後、ステップＳ２に戻り、それ以降の処理が繰り返される。
【０１０１】
一方、ステップＳ３において最も短い距離から長い距離まで、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したと判定した場合、ステップＳ５において、スキャンフォーカス制御部３１は、ステップＳ１で記憶しておいた合焦距離に可変焦点レンズ１１の合焦距離を戻す。
【０１０２】
ステップＳ６において、CMOSイメージセンサ１２は、モニタ１７の表示に用いられるモニタ表示用の画像を撮像する。撮像によって得られた画像データは画像メモリ１４に記憶される。
【０１０３】
ステップＳ７において、動画処理回路１５は、ステップＳ６で撮像され、画像メモリ１４に記憶された画像データに基づいて、取り込み中の画像をモニタ１７に表示させる。
【０１０４】
ステップＳ８において、画像信号処理回路１８は、スキャンフォーカスによって撮像された画像データを画像メモリ１４から読み出し、プレーン情報生成用のそれぞれの画像から合焦領域を検出する。画像信号処理回路１８により検出された合焦領域に関する情報は画像信号処理回路１８からプレーン情報管理部３２に出力される。
【０１０５】
ステップＳ９において、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報をメモリに記憶させて管理する。その後、処理は終了される。
【０１０６】
以上の処理が、例えば、動画の記録がユーザによって指示されるまで繰り返し行われる。
【０１０７】
次に、図８のフローチャートを参照して、動画を記録する撮像装置１の処理について説明する。
【０１０８】
この処理は、例えば、記録開始ボタンが押されるなどして動画の記録がユーザにより指示されたときに開始される。動画の記録がユーザにより指示されたとき、図７を参照して説明した処理によって直前に生成されていたプレーン情報がプレーン情報管理部３２から撮像制御部３３に供給される。
【０１０９】
ステップＳ２１において、撮像制御部３３は、着目する被写体をプレーン情報に基づいて選択する。ここでは、上述したように、中央付近に写っている被写体、撮像装置１に最も近い被写体、そのときユーザにより設定されている撮像モードに応じた被写体などが、着目する被写体として選択される。
【０１１０】
ステップＳ２２において、撮像制御部３３は、着目する被写体が写る合焦領域に対応付けられている合焦距離で撮像が行われるようにレンズ駆動回路２１を制御してフォーカスを制御する。
【０１１１】
ステップＳ２３において、撮像制御部３３は、着目する被写体が写る合焦領域の明るさを基準として動画処理回路１５に画像処理を行わせ、撮像される画像の露出を制御する。
【０１１２】
ステップＳ２４において、撮像制御部３３は、着目する被写体が写る合焦領域の色を基準として動画処理回路１５に画像処理を行わせ、撮像される画像のホワイトバランスを制御する。
【０１１３】
ステップＳ２５において、動画処理回路１５は、露出やホワイトバランスを制御した画像からなる動画データを、CMOSイメージセンサ１２により取り込まれ、ADC１３を介して画像メモリ１４に記憶された画像データに基づいて生成し、圧縮させた後、記録デバイス１６に記録させる。動画の記録を終了することがユーザにより指示されたとき、処理は終了される。
【０１１４】
以上においては、動画の記録がユーザにより指示されるまでスキャンフォーカスが繰り返し行われるものとしたが、動画の記録を開始する直前にスキャンフォーカスが１回だけ行われ、それによって生成されたプレーン情報が、記録に用いる画像の撮像に用いられるようにしてもよい。
【０１１５】
記録開始ボタンが押されることに応じてスキャンフォーカスが１回だけ行われるようにしてもよいが、その場合、ユーザが記録開始ボタンを押したときと実際に動画の記録が開始されるときに遅延が発生してしまうため、記録開始ボタンにユーザの指が触れたことが検出されることに応じてスキャンフォーカスが１回だけ行われ、そのような遅延が発生してしまうのを防ぐようにしてもよい。ユーザの指が触れたか否かは、例えば、記録開始ボタンに設けられる静電センサによって検出される。
【０１１６】
スキャンフォーカスが１回だけ行われるようにすることにより、記録開始ボタンが押されるまで繰り返し行われる場合に較べて、電力の消費を抑えることができる。
【０１１７】
また、以上においては、可変範囲の全範囲分の画像の撮像が終わってから、それぞれの画像から合焦領域が検出されるものとしたが、合焦距離を変えて１フレームの画像の撮像が行われる毎に、撮像された画像を対象として合焦領域が検出されるようにしてもよい。
【０１１８】
この場合、CMOSイメージセンサ１２はX-Yアドレス型の撮像素子であり、所定の画素の画素値を表す信号だけを出力するといったことが可能であるから、１回のスキャンフォーカスにおいて行う複数回の撮像のうちの２回目以降の撮像においては、既に合焦領域として検出された領域に対応する画素の信号を取り込まずに、合焦領域としてまだ検出されていない領域に対応する画素の信号だけを取り込むといったような撮像がCMOSイメージセンサ１２により行われるようにしてもよい。
【０１１９】
例えば、図３の画像Ｐ1乃至Ｐ3がその順番で撮像される場合、画像Ｐ2の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素の信号は取り込まれず、画像Ｐ3の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素と、画像Ｐ2から検出された領域Ａ2に対応する画素の信号は取り込まれない。
【０１２０】
これにより、取り込みの対象となる画素の信号の数を減らすことができるから、スキャンフォーカスにかかる時間を短縮することができる。
【０１２１】
以上においては、撮像装置１がデジタルビデオカメラであるものとしたが、デジタルスチルカメラにおいて以上のようなスキャンフォーカスや、それによって生成されたプレーン情報を用いたフォーカス、露出、ホワイトバランスの制御が行われるようにしてもよい。
【０１２２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な機器に、プログラム記録媒体からインストールされる。
【０１２３】
上述した処理を実行させるプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２４】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２５】
【図１】本発明の一実施形態に係る撮像装置による撮像の様子を示す図である。
【図２】合焦距離を変えて撮像した画像の例を示す図である。
【図３】図２の画像から検出される合焦領域の例を示す図である。
【図４】撮像装置のハードウエア構成例を示すブロック図である。
【図５】撮像装置の機能構成例を示すブロック図である。
【図６】可変焦点レンズの制御の例を示す図である。
【図７】撮像装置のスキャンフォーカス処理について説明するフローチャートである。
【図８】撮像装置の動画記録処理について説明するフローチャートである。
【符号の説明】
【０１２６】
１  撮像装置，  １１  可変焦点レンズ，  １２  CMOSイメージセンサ，  １５  動画処理回路，  １８画像信号処理回路，  ２０  マイクロコントローラ，  ２１  レンズ駆動回路，  ３１  スキャンフォーカス制御部，  ３２  プレーン情報管理部，  ３３  撮像制御部
【図１】
2008172516.tif 000003
【図２】
2008172516.tif 000004
【図３】
2008172516.tif 000005
【図４】
2008172516.tif 000006
【図５】
2008172516.tif 000007
【図６】
2008172516.tif 000008
【図７】
2008172516.tif 000009
【図８】
2008172516.tif 000010