(57)【要約】【課題】動きベクトルの検出を効率的に行うことができるようにする。【解決手段】記録デバイスに記録する画像の撮像を開始する直前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像が撮像され、撮像されたそれぞれの画像内の合焦領域（ピントがあっている領域）が検出される。また、合焦領域において合焦する物体である合焦物体が、動きの多いものであるか少ないものであるかが予測され、動きの少ない合焦物体が合焦する合焦領域に対応する圧縮対象の画像の領域には、動きの多い合焦物体が合焦する合焦領域に対応する圧縮対象の画像の領域よりも大きい検出窓が設定され、動きベクトルの検出が行われる。本発明は、デジタルビデオカメラに適用することができる。【選択図】図１
2008199382.tif 000002
【特許請求の範囲】
【請求項１】
合焦距離が可変であるレンズと、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、
前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段と、
前記合焦領域検出手段により検出された合焦領域において合焦する物体の動きを予測する予測手段と、
前記予測手段により予測された動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓を設定して動きベクトルの検出を行う動きベクトル検出手段と
を備える撮像装置。
【請求項２】
前記予測手段は、合焦領域において合焦する物体の動きを、合焦領域の検出元になった画像を撮像したときの合焦距離、合焦領域の画像内の位置、および合焦領域の画像内の面積のうちの少なくともいずれかに基づいて予測する
請求項１に記載の撮像装置。
【請求項３】
前記動きベクトル検出手段は、合焦する物体の動きの量が閾値より少ない合焦領域に対応する前記圧縮対象の画像の領域に対して、合焦する物体の動きの量が閾値より多い合焦領域に対応する前記圧縮対象の画像の領域より大きい検出窓を設定して動きベクトルの検出を行う
請求項１に記載の撮像装置。
【請求項４】
前記撮像手段は、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することを、圧縮対象とする画像の撮像前に所定の回数だけ行う
請求項１に記載の撮像装置。
【請求項５】
可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することが前記撮像手段により複数回行われる場合、
前記予測手段は、同じ合焦距離で撮像された画像から検出された合焦領域の差分に基づいて、その合焦領域において合焦する物体の動きを予測する
請求項１に記載の撮像装置。
【請求項６】
前記撮像手段はCMOSイメージセンサである
請求項１に記載の撮像装置。
【請求項７】
合焦距離が可変であるレンズを備える撮像装置の撮像方法において、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、
検出した合焦領域において合焦する物体の動きを予測し、
予測した動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓を設定して動きベクトルの検出を行う
ステップを含む撮像方法。
【請求項８】
合焦距離が可変であるレンズを備える撮像装置の処理をコンピュータに実行させるプログラムにおいて、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、
検出した合焦領域において合焦する物体の動きを予測し、
予測した動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓を設定して動きベクトルの検出を行う
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、動きベクトルの検出を効率的に行うことができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
MPEG(Moving Picture Experts Group)などに代表される動画圧縮方式においては、画像中の物体の動きを表す動きベクトルを検出し、動きベクトルによって物体の動きを予測することによって圧縮率を大きくすることが可能になっている。
【０００３】
動きベクトルの検出は、圧縮対象の画像全域を１６×１６画素などのブロックに細かく区切り、区切ったブロックを検出窓として、連続するフレーム間で検出窓がどの方向にどれだけ動いたのかを総合的に評価することによって行われる。
【０００４】
特許文献１には、ウォブリング動作を行うことによってフォーカスの制御を行う技術が開示されている。
【特許文献１】特開２００６−４７９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
動きベクトルの検出は、装置全体の演算量、回路規模などに大きく影響を及ぼすことから、効率的にそれを行うことが求められる。
【０００６】
例えば、圧縮対象の画像の内容がどのようなものであっても画像全域に渡って同じ大きさの検出窓を設定するのではなく、動きが少ない物体の領域には大きな検出窓を設定し、動きベクトルの検出を行うようにすれば、動きベクトルの検出に要する演算量を減らし、動きベクトルの検出を効率的に行うことができるものと考えられる。
【０００７】
圧縮の開始からある程度処理が進んだ段階であれば、それまでの動きから、動きの少ない物体の領域などを判断し、検出窓の大きさを変えるといったことを実現することができるものの、圧縮開始直後にはそれまでの動きを参照することができないから、そのようなことを実現することができない。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、動きベクトルの検出を効率的に行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の撮像装置は、合焦距離が可変であるレンズと、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段と、前記合焦領域検出手段により検出された合焦領域において合焦する物体の動きを予測する予測手段と、前記予測手段により予測された動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓を設定して動きベクトルの検出を行う動きベクトル検出手段とを備える。
【００１０】
前記予測手段には、合焦領域において合焦する物体の動きを、合焦領域の検出元になった画像を撮像したときの合焦距離、合焦領域の画像内の位置、および合焦領域の画像内の面積のうちの少なくともいずれかに基づいて予測させることができる。
【００１１】
前記動きベクトル検出手段には、合焦する物体の動きの量が閾値より少ない合焦領域に対応する前記圧縮対象の画像の領域に対して、合焦する物体の動きの量が閾値より多い合焦領域に対応する前記圧縮対象の画像の領域より大きい検出窓を設定して動きベクトルの検出を行わせることができる。
【００１２】
前記撮像手段には、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することを、圧縮対象とする画像の撮像前に所定の回数だけ行わせることができる。
【００１３】
可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することが前記撮像手段により複数回行われる場合、前記予測手段には、同じ合焦距離で撮像された画像から検出された合焦領域の差分に基づいて、その合焦領域において合焦する物体の動きを予測させることができる。
【００１４】
前記撮像手段はCMOSイメージセンサであるようにすることができる。
【００１５】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域において合焦する物体の動きを予測し、予測した動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓を設定して動きベクトルの検出を行うステップを含む。
【００１６】
本発明の一側面においては、光軸を固定として、レンズの合焦距離が変わる毎に撮像され、撮像された複数の画像から合焦領域が検出される。また、検出された合焦領域において合焦する物体の動きが予測され、予測された動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓が設定されて動きベクトルの検出が行われる。
【発明の効果】
【００１７】
本発明の一側面によれば、動きベクトルの検出を効率的に行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の撮像装置（例えば、図１の撮像装置１）は、合焦距離が可変であるレンズ（例えば、図４の可変焦点レンズ１１）と、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段（例えば、図４のCMOSイメージセンサ１２）と、前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段（例えば、図４の画像信号処理回路１８）と、前記合焦領域検出手段により検出された合焦領域において合焦する物体の動きを予測する予測手段（例えば、図７の動き予測部４１）と、前記予測手段により予測された動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓を設定して動きベクトルの検出を行う動きベクトル検出手段（例えば、図７の動画圧縮制御部４２）とを備える。
【００２０】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域において合焦する物体の動きを予測し、予測した動きに基づいて、合焦領域に対応する圧縮対象の画像の領域毎に異なる大きさの検出窓を設定して動きベクトルの検出を行うステップ（例えば、図１２のステップＳ２３）を含む。
【００２１】
図１は、本発明の一実施形態に係る撮像装置１による撮像の様子を示す図である。
【００２２】
撮像装置１は例えばデジタルビデオカメラであり、合焦距離が可変であるレンズが設けられている。図１に示されるように、撮像装置１に近いものから順に、人物、建物、山などの風景が撮像範囲に存在する場合、撮像装置１は、人物に合焦させた画像、建物に合焦させた画像、風景に合焦させた画像などをそれぞれ撮像することができる。
【００２３】
図１の例においては、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する。図１の一点鎖線Ｌはレンズの光軸を表す。
【００２４】
図２は、合焦距離を変えて撮像した画像の例を示す図である。
【００２５】
撮像装置１に設けられるレンズの被写界深度は比較的浅く、合焦距離を距離Ｄ1として人物に合焦させて撮像した画像である画像Ｐ1には建物と風景がピントがあっていない状態で写り、合焦距離を距離Ｄ2として建物に合焦させて撮像した画像である画像Ｐ2には人物と風景がピントがあっていない状態で写る。また、合焦距離を距離Ｄ3として風景に合焦させて撮像した画像である画像Ｐ3には人物と建物がピントがあっていない状態で写る。
【００２６】
図２において、実線で示される被写体はピントがあっている状態であることを表し、点線で示される被写体はピントがあっていない状態であることを表す。
【００２７】
撮像装置１においては、例えば、記録開始ボタンがユーザにより押されることに応じて記録デバイスに記録する画像の撮像を開始する直前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像を撮像し、撮像したそれぞれの画像内の合焦領域（ピントがあっている領域）を検出することが行われる。
【００２８】
合焦領域の検出に用いる画像の撮像は、例えば、合焦距離を最も短くした状態から開始され、最も長くした無限遠の状態になるまでの間、合焦距離の可変範囲の全範囲において所定の間隔で連続して行われる。画像内の合焦領域の検出は、画像のコントラストを抽出するなどの方法によって行われる。
【００２９】
図１に示されるように、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する場合、合焦距離を距離Ｄ1として撮像して得られた画像Ｐ1には人物が合焦した状態で写っているから、画像Ｐ1からは、図３の右側に示されるように、人物が写っている領域である領域Ａ1が検出され、領域Ａ1と、合焦距離である距離Ｄ1が対応付けて管理される。図３においては、検出される合焦領域が斜線で示されている。
【００３０】
また、合焦距離を距離Ｄ2として撮像して得られた画像Ｐ2には建物が合焦した状態で写っているから、画像Ｐ2からは、図３の中央に示されるように、建物が写っている領域である領域Ａ2が検出され、領域Ａ2と、合焦距離である距離Ｄ2が対応付けて管理される。
【００３１】
合焦距離を距離Ｄ3として撮像して得られた画像Ｐ3には風景が合焦した状態で写っているから、画像Ｐ3からは、図３の左側に示されるように、風景が写っている領域である領域Ａ3が検出され、領域Ａ3と、合焦距離である距離Ｄ3が対応付けて管理される。
【００３２】
なお、合焦した状態で写っている被写体を含むように、その被写体の領域を若干広げた領域までが合焦領域として検出されるようにしてもよい。
【００３３】
図２、図３においては３フレームの画像だけが示されているが、撮像装置１においては、さらに多くの画像が合焦距離を変えながら撮像される。撮像された画像の中には合焦領域が検出されない画像もある。また、図３においてはそれぞれの画像から１つの合焦領域だけが検出されているが、１フレームの画像から複数の合焦領域が検出されることもある。
【００３４】
合焦領域と合焦距離の対応付けは、撮像装置１の光軸を垂線とする、撮像範囲内の平面（プレーン）の情報を表すプレーン情報によって撮像装置１により管理される。それぞれのプレーン情報には、合焦領域の画像内の位置、範囲、その合焦領域の検出元になった画像を撮像したときの合焦距離などが含まれる。
【００３５】
合焦距離は画像内で合焦している被写体までの距離を表すから、このように、撮像装置１によれば、光軸を固定とし、合焦距離を変えて複数の画像の撮像が行われることによって、撮像範囲に含まれるそれぞれの被写体までの距離を取得することができる。
【００３６】
合焦距離を変えて可変範囲の全範囲分の画像を撮像することは、例えば、１秒間より短い時間内に高速に行われる。可変範囲の全範囲分の画像を撮像することがそのような短い時間内で行われることにより、合焦距離を変えて行われる１回１回の撮像がさらに短い時間間隔で行われることになり、撮像された画像は光軸をほぼ固定して撮像されたものになる。
【００３７】
撮像装置１の撮像素子にはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられており、高速での撮像が可能となっている。以下、適宜、撮像装置１の光軸を垂線とする撮像範囲内のそれぞれの平面の状態を検出するための撮像といえるから、合焦距離を所定の間隔で変えて可変範囲の全範囲分の画像を撮像することをスキャンフォーカスという。
【００３８】
以上のようにして得られたプレーン情報は、例えば、圧縮対象の画像から動きベクトルを検出するときに、動きベクトルの検出窓の大きさを最適化するのに用いられる。撮像装置１においては、動画はMPEGなどの所定の圧縮方式で圧縮されてから記録デバイスに記録されるようになされており、動きベクトルの検出はその圧縮処理における１つの処理として行われる。
【００３９】
例えば、スキャンフォーカスによって撮像された画像から検出された合焦領域において合焦する物体（被写体）である合焦物体が、動きの多いものであるか少ないものであるかが予測され、それぞれの合焦領域に対応する圧縮対象の画像の領域に対して、動きの量に応じた重み付けが行われる。ここで、合焦領域に対応する圧縮対象の画像の領域とは、合焦領域の検出元になった画像（スキャンフォーカスによって撮像された画像）と、圧縮対象の画像を同じ大きさにして較べたときに、合焦領域と同じ位置、同じ範囲の圧縮対象の画像の領域をいう。
【００４０】
合焦物体の動きが多いか少ないかは、プレーン情報によって表される、合焦物体までの距離、合焦物体の画像中の位置、範囲などのうちの少なくともいずれかに基づいて、あらかじめ設定された閾値を基準として予測される。
【００４１】
また、重みに応じて、動きの少ない合焦物体が合焦する合焦領域に対応する圧縮対象の画像の領域には、動きの多い合焦物体が合焦する合焦領域に対応する圧縮対象の画像の領域よりも大きい検出窓が設定され、動きベクトルの検出が行われる。
【００４２】
すなわち、動きの少ない物体が写っている領域においては、動きベクトルを精度よく検出する必要はないから、大きい検出窓を設定し、粒度を粗くして動きベクトルを検出するといったことが撮像装置１においては行われる。
【００４３】
これにより、画像の内容にかかわらず、画像全域に渡って同じ大きさの検出窓を設定して動きベクトルを検出する場合に較べて、動きベクトルの検出を効率的に行うことができ、演算量を削減することが可能となる。また、演算量を削減することができることにより、動きベクトルの検出に必要になる回路規模を削減することができ、消費電力を減らすこともできる。
【００４４】
一方、演算量を固定とした場合、動きの少ない物体が写っている領域に大きい検出窓を設定してその領域の分の演算量を削減するかわりに、動きの多い物体が写っている領域の動きベクトルの検出に演算量を割り当てることが可能となり、これにより、動きの多い物体の動きベクトルの確度を向上させ、画質を向上させることができる。特に、撮像範囲の状況がスキャンフォーカスが行われたときとほぼ同じ状況である、動画記録開始直後の部分の画質を向上させることができる。
【００４５】
以上のようにして撮像を行う撮像装置１の一連の処理についてはフローチャートを参照して後述する。
【００４６】
図４は、撮像装置１のハードウエア構成例を示すブロック図である。
【００４７】
可変焦点レンズ１１は、被写体からの光を取り込み、取り込んだ光をCMOSイメージセンサ１２に導く。可変焦点レンズ１１は複数のレンズから構成され、その位置関係が調整されることによって合焦距離が制御される。合焦距離の制御はレンズ駆動回路２１により行われる。
【００４８】
CMOSイメージセンサ１２は、可変焦点レンズ１１を介して入射した光を受光して光電変換を行い、受光量に応じたアナログの画像信号をADC(Analog Digital Converter)１３に出力する。
【００４９】
ADC１３は、CMOSイメージセンサ１２から供給された画像信号をA/D変換し、デジタルの画像データを画像メモリ１４に出力する。ADC１３においては、CMOSイメージセンサ１２から供給された画像信号に対して相関二重サンプリング処理、ゲインコントロール処理なども施される。
【００５０】
画像メモリ１４は、ADC１３から供給された画像データを記憶する。画像メモリ１４に記憶された画像データは動画処理回路１５と画像信号処理回路１８により適宜読み出される。
【００５１】
動画処理回路１５は、マイクロコントローラ２０による制御に従って動画の記録、再生を行う。
【００５２】
例えば、動画処理回路１５は、動画を記録するとき、画像メモリ１４に記憶されている画像データに基づいて所定のフォーマットの動画データを生成し、圧縮した動画データを記録デバイス１６に出力する。動画データを圧縮する際、動画処理回路１５は、マイクロコントローラ２０による制御に従って、圧縮対象の画像のそれぞれの領域に異なる大きさの検出窓を設定し、動きベクトルの検出を行う。
【００５３】
また、動画処理回路１５は、動画を再生するとき、記録デバイス１６から読み出した動画データを再生して得られた画像信号をモニタ１７に出力する。さらに、動画処理回路１５は、画像メモリ１４に記憶されている画像データに基づいて、取り込み中の画像をモニタ１７に表示させることも行う。
【００５４】
記録デバイス１６は、テープ、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)などよりなり、動画処理回路１５から供給された、圧縮済みの動画データを記録する。
【００５５】
モニタ１７はLCD(Liquid Crystal Display)などよりなり、動画処理回路１５から供給された画像信号に基づいて取り込み中の画像などを表示する。
【００５６】
画像信号処理回路１８は、スキャンフォーカスによって撮像された可変範囲の全範囲分の、合焦距離がそれぞれ異なる複数の画像のデータが画像メモリ１４に記憶されたとき、画像メモリ１４に記憶されている画像データを読み出し、それぞれの画像から合焦領域を検出する。画像信号処理回路１８は、合焦領域の画像内の位置、範囲などの、合焦領域に関する情報をマイクロコントローラ２０に出力する。
【００５７】
メモリ１９は、画像信号処理回路１８が処理を行う上で必要なデータを記憶する。
【００５８】
マイクロコントローラ２０は、所定のプログラムを実行し、動画処理回路１５、レンズ駆動回路２１を制御して動画の記録、再生などの各種の処理を行う。
【００５９】
例えば、マイクロコントローラ２０は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。また、マイクロコントローラ２０は、画像信号処理回路１８から供給された合焦領域に関する情報と、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいてプレーン情報を生成する。
【００６０】
レンズ駆動回路２１は、マイクロコントローラ２０による制御に従ってモータを駆動させ、可変焦点レンズ１１を構成する各レンズの位置を移動させる。例えば、レンズ駆動回路２１は、最も短い距離から最も長い距離まで合焦距離が順次ずれるように各レンズの位置を移動させ、スキャンフォーカスを行う。
【００６１】
図５は、撮像装置１の機能構成例を示すブロック図である。図５に示す機能部のうちの少なくとも一部は、図４のマイクロコントローラ２０により所定のプログラムが実行されることによって実現される。
【００６２】
図５に示されるように、撮像装置１においてはスキャンフォーカス制御部３１、プレーン情報管理部３２、および記録制御部３３が実現される。
【００６３】
スキャンフォーカス制御部３１は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。スキャンフォーカス制御部３１は、スキャンフォーカスによってそれぞれの画像を撮像したときの合焦距離の情報をプレーン情報管理部３２に出力する。
【００６４】
図６は、スキャンフォーカスを行うときの可変焦点レンズ１１の制御の例を示す図である。
【００６５】
図６の横軸は時刻を表し、縦軸は可変焦点レンズ１１の合焦距離を表す。図６の例においては、可変焦点レンズ１１の合焦距離の可変範囲は距離ｙ0から距離ｙ2（無限遠）までの範囲とされている。距離ｙ1は、スキャンフォーカスを開始する直前、すなわち、スキャンフォーカスが上述したように記録デバイス１６に記録する画像の撮像を開始する前に行われる場合、記録開始ボタンがユーザにより押される直前に、オートフォーカスにより、またはユーザの手動での調整により設定されていた合焦距離である。
【００６６】
スキャンフォーカス制御部３１は、スキャンフォーカスを開始するとき、そのとき設定されている合焦距離である距離ｙ1を記憶し、合焦距離が距離ｙ0になるように可変焦点レンズ１１を制御する。スキャンフォーカス制御部３１は、合焦距離が距離ｙ0になったとき、合焦距離を距離ｙ2まで所定の間隔で変えながら連続して撮像を行わせる。距離ｙ0から開始されるのではなく、記録開始ボタンがユーザにより押される直前にオートフォーカスなどにより設定されていた合焦距離からスキャンフォーカスが開始されるようにしてもよい。
【００６７】
図６の例においては、時刻ｔ0から時刻ｔ1までの間にスキャンフォーカスが行われている。時刻ｔ0から時刻ｔ1までの間に示されるそれぞれの矢印のタイミングで１回ずつ撮像が行われ、これにより、合焦距離の異なる複数の画像が１回のスキャンフォーカスによって撮像される。スキャンフォーカス制御部３１からプレーン情報管理部３２に対しては、それぞれの矢印のタイミングにおける合焦距離の情報が通知される。
【００６８】
スキャンフォーカスによって撮像された画像は、順次、画像メモリ１４に記憶される。全ての画像が画像メモリ１４に記憶されたとき、画像信号処理回路１８においては、それぞれの画像から合焦領域が検出される。
【００６９】
スキャンフォーカスが終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離を、スキャンフォーカスの開始前に記憶しておいた距離ｙ1に復帰させ、その後、記録デバイス１６に記録する画像の撮像を開始する。
【００７０】
図６の例においては、時刻ｔ1から時刻ｔ2までの間に、可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させることが行われ、その後、記録デバイス１６に記録する画像の撮像が行われている。時刻ｔ2以降に撮像された画像に基づいて動画データが生成され、圧縮された後、圧縮済みの動画データが記録デバイス１６に記録される。可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させる時刻ｔ1から時刻ｔ2までの間に、動きベクトルの検出窓が設定されるようにしてもよい。
【００７１】
図５の説明に戻り、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を記録制御部３３に出力する。
【００７２】
記録制御部３３は、プレーン情報管理部３２から供給されたプレーン情報を参照して撮像範囲内のそれぞれの合焦物体の動きの量を予測し、予測した動きの量に応じて、圧縮対象の画像のそれぞれの領域に重み付けを行う。また、記録制御部３３は、重みに応じて、動きの少ない合焦物体が合焦する合焦領域に対応する圧縮対象の画像の領域に、動きの多い合焦物体が合焦する合焦領域に対応する圧縮対象の画像の領域よりも大きい検出窓を設定させるなどして、動きベクトルの検出を含む動画の圧縮処理を動画処理回路１５に行わせる。
【００７３】
図７は、図５の記録制御部３３の構成例を示すブロック図である。
【００７４】
図７に示されるように、記録制御部３３は、動き予測部４１、動画圧縮制御部４２から構成される。
【００７５】
動き予測部４１は、撮像範囲内のそれぞれの合焦物体の動きの量をプレーン情報管理部３２から供給されたプレーン情報に基づいて予測し、予測結果を表す情報を動画圧縮制御部４２に出力する。
【００７６】
図８は、撮像の他の様子を示す図である。
【００７７】
図８に示されるように、風景と、その風景を背景とする人物が撮像範囲に含まれる状況でスキャンフォーカスが行われた場合、図９に示されるように、人物が合焦している合焦領域と、風景が合焦している合焦領域が検出される。
【００７８】
図９の例においては、スキャンフォーカスによって撮像された画像Ｐ11，Ｐ12，Ｐ13のうちの画像Ｐ11から、人物が合焦している領域である領域Ａ11が検出され、画像Ｐ13から、風景が合焦している領域である領域Ａ12が検出されている。画像Ｐ11は、合焦距離が距離Ｄ1であるときに撮像された画像であり、画像Ｐ12は、合焦距離が距離Ｄ2であるときに撮像された画像である。画像Ｐ13は、合焦距離が無限遠の距離Ｄ3であるときに撮像された画像である。
【００７９】
この場合、動き予測部４１は、例えば、プレーン情報によって表される、合焦領域の検出元になった画像を撮像したときの合焦距離、合焦領域の占有位置、占有面積などに基づいて、領域Ａ11については、近距離から中距離にある物体が合焦している合焦領域であり、画像の中央付近で検出されている合焦領域であるから、動きの多い物体が合焦している領域であると予測する。
【００８０】
また、動き予測部４１は、領域Ａ12については、合焦距離を無限遠として撮像された画像から検出された合焦領域であり、画像内の広い範囲を占有する合焦領域であるから、動きの少ない背景部分が合焦している領域であると予測する。
【００８１】
このようにして予測された予測結果の情報が動き予測部４１から動画圧縮制御部４２に供給される。
【００８２】
図７の説明に戻り、動画圧縮制御部４２は、圧縮対象の画像のそれぞれの領域に対して、その領域に対応する合焦領域において合焦する合焦物体の動きの量に応じた重み付けを行う。合焦物体の動きの量は、動き予測部４１から供給された情報によって表される。
【００８３】
また、動画圧縮制御部４２は、重みに応じて、圧縮対象の画像の領域のうち、動きの少ない合焦物体が合焦する合焦領域に対応する領域には、動きの多い合焦物体が合焦する合焦領域に対応する領域よりも大きい検出窓を設定して動きベクトルの検出を行わせるなどして、動画処理回路１５において行われる動画の圧縮を制御する。
【００８４】
図１０は、動きベクトルの検出窓の例を示す図である。
【００８５】
図１０に示される黒丸は、それぞれの領域に設定された検出窓の例えば中心位置を表す。図９の合焦領域が検出され、領域Ａ11が、動きの多い物体が合焦している領域であり、領域Ａ12が、動きの少ない背景部分が合焦している領域であると動き予測部４１により予測されている場合、図１０に示されるように、領域Ａ12に対応する圧縮対象の画像の領域には、領域Ａ11に対応する領域よりも大きい検出窓が設定され、粗い粒度で動きベクトルの検出が行われる。
【００８６】
図１０の例においては、領域Ａ12に対応する圧縮対象の画像の領域には、検出窓の中心位置として位置Ｖ1乃至Ｖ4の４つの位置だけが示され、それらの位置において動きベクトルの検出が行われるものとされている。一方、領域Ａ11に対応する圧縮対象の画像の領域には、検出窓の中心位置として４つ以上の位置が示され、細かい粒度で動きベクトルの検出が行われるものとされている。
【００８７】
なお、図１０の画像のうちの領域Ａ11と領域Ａ12に対応する領域以外の領域（山の上空にあたる部分）においては所定の大きさの検出窓が設定され、動きベクトルの検出が行われる。
【００８８】
これにより、動きの少ない物体が写る領域を対象として行われる動きベクトルの検出の演算量を減らすことができ、動きベクトルの検出を効率的に行うことが可能となる。
【００８９】
ここで、以上のような構成を有する撮像装置１の処理について説明する。
【００９０】
はじめに、図１１のフローチャートを参照して、スキャンフォーカスを行う撮像装置１の処理について説明する。
【００９１】
ステップＳ１において、スキャンフォーカス制御部３１は、現在の合焦距離を記憶する。ここで記憶された合焦距離は、スキャンフォーカスが終わったときに合焦距離を元に戻すときに用いられる。
【００９２】
ステップＳ２において、CMOSイメージセンサ１２は、プレーン情報を生成するのに用いられるプレーン情報生成用の画像を撮像する。このときの合焦距離は、所定の距離にスキャンフォーカス制御部３１により調整されている。撮像によって得られた画像データは画像メモリ１４に記憶される。
【００９３】
ステップＳ３において、スキャンフォーカス制御部３１は、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したか否かを判定する。
【００９４】
ステップＳ３において可変範囲の全範囲でプレーン情報生成用の画像を撮像していないと判定した場合、スキャンフォーカス制御部３１は、ステップＳ４において、レンズ駆動回路２１を制御して、合焦距離を例えば長くなる方向に所定の間隔だけずらす。合焦距離の情報はスキャンフォーカス制御部３１からプレーン情報管理部３２に出力される。その後、ステップＳ２に戻り、それ以降の処理が繰り返される。
【００９５】
一方、ステップＳ３において最も短い距離から長い距離まで、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したと判定した場合、ステップＳ５において、スキャンフォーカス制御部３１は、ステップＳ１で記憶しておいた合焦距離に可変焦点レンズ１１の合焦距離を戻す。
【００９６】
ステップＳ６において、画像信号処理回路１８は、スキャンフォーカスによって撮像された画像データを画像メモリ１４から読み出し、プレーン情報生成用のそれぞれの画像から合焦領域を検出する。画像信号処理回路１８により検出された合焦領域に関する情報は画像信号処理回路１８からプレーン情報管理部３２に出力される。
【００９７】
ステップＳ７において、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成する。その後、処理は終了される。
【００９８】
以上の処理が、例えば、動画の記録がユーザによって指示されることに応じて行われる。
【００９９】
次に、図１２のフローチャートを参照して、動画を記録する撮像装置１の処理について説明する。
【０１００】
この処理は図１１の処理が終了したときに開始される。図１１を参照して説明した処理によって生成されたプレーン情報はプレーン情報管理部３２から記録制御部３３の動き予測部４１に供給される。動画の記録に用いるものとしてCMOSイメージセンサ１２により撮像された画像は画像メモリ１４に記憶される。
【０１０１】
ステップＳ２１において、動き予測部４１は、プレーン情報管理部３２から供給されたプレーン情報を参照して、撮像範囲内のそれぞれの合焦物体の動きの量を予測し、予測結果を表す情報を動画圧縮制御部４２に出力する。
【０１０２】
ステップＳ２２において、動画圧縮制御部４２は、動き予測部４１から供給された情報によって表される予測結果に基づいて、圧縮対象の画像のそれぞれの領域に対して、その領域に対応する合焦領域において合焦する合焦物体の動きの量に応じた重み付けを行う。
【０１０３】
ステップＳ２３において、動画圧縮制御部４２は、重みに応じて、圧縮対象の画像の領域のうち、動きの少ない合焦物体が合焦する合焦領域に対応する領域には、動きの多い合焦物体が合焦する合焦領域に対応する領域よりも大きい検出窓を設定して動きベクトルの検出を行わせるなどして、動画処理回路１５において行われる動画の圧縮を制御する。
【０１０４】
ステップＳ２４において、動画処理回路１５は、動画圧縮制御部４２による制御に応じて圧縮した動画を記録デバイス１６に記録させる。動画の記録を終了することがユーザにより指示されたとき、処理は終了される。
【０１０５】
以上においては、記録デバイス１６に記録する画像の撮像を開始する前に１回だけスキャンフォーカスが行われるものとしたが、時間を微妙にずらして複数回行われるようにしてもよい。
【０１０６】
図１３は、スキャンフォーカスが複数回行われることによって撮像された画像から検出される合焦領域の例を示す図である。
【０１０７】
図１３の上段に示される画像Ｐ11，Ｐ12，Ｐ13は、１回目のスキャンフォーカスによって撮像された画像を示し、下段に示される画像Ｐ21，Ｐ22，Ｐ23は、１回目のスキャンフォーカスと時間をずらして行われた２回目のスキャンフォーカスによって撮像された画像を示す。図１３は、図８の状況で２回のスキャンフォーカスが行われた場合の例を示している。画像Ｐ11，Ｐ12，Ｐ13は、図９に示されるそれぞれの画像と同じ画像である。
【０１０８】
複数回のスキャンフォーカスが行われるようにすることにより、合焦距離を同じ距離として撮像された画像から検出された合焦領域の差分に基づいて、合焦物体の動きの方向、動きの量を判断することが可能となる。
【０１０９】
例えば、１回目のスキャンフォーカスによって合焦距離を距離Ｄ1として撮像された画像である画像Ｐ11から検出された領域Ａ11と、２回目のスキャンフォーカスによって合焦距離を距離Ｄ1として撮像された画像である画像Ｐ21から検出された領域Ａ21の差分から、領域Ａ11と領域Ａ21において合焦している合焦物体が左方向に比較的多くの量だけ移動しているといったように、合焦物体の動きの方向、動きの量を判断することが可能となる。
【０１１０】
プレーン情報を参照することにより、合焦領域の位置や範囲だけでなく、合焦物体までの距離にも基づいて判断することが可能であるため、領域Ａ11において合焦している合焦物体と領域Ａ21において合焦している合焦物体が同じ物体であると判断することができ、撮像装置１においては、ある合焦物体の動きを容易に追うことができる。
【０１１１】
また、１回目のスキャンフォーカスによって合焦距離を距離Ｄ3として撮像された画像である画像Ｐ13から検出された領域Ａ12と、２回目のスキャンフォーカスによって合焦距離を距離Ｄ3として撮像された画像である画像Ｐ23から検出された領域Ａ22の差分から、領域Ａ11と領域Ａ21において合焦している合焦物体がほとんど動いていない物体であると判断することが可能となる。
【０１１２】
動き予測部４１においては、このように、複数回のスキャンフォーカスによって撮像された画像から検出された合焦領域に基づいて合焦物体の動きの量が判断されるようにしてもよい。
【０１１３】
また、以上においては、合焦物体の動きの量に基づいて、圧縮対象の画像の各領域に異なる大きさの検出窓が設定され、動きベクトルの検出が行われるものとしたが、撮像装置１に風景モード、ポートレートモードなどの各種の撮像モードが用意されている場合、設定されている撮像モードを考慮して検出窓が設定されるようにしてもよい。
【０１１４】
例えば、風景モードが設定されている場合、合焦距離を無限遠として撮像された画像から検出された合焦領域に対応する圧縮対象の画像の領域に対して、他の領域より小さい検出窓が設定され、高い精度で動きベクトルの検出が行われる。
【０１１５】
また、被写体の人物が画像の中央付近に入るように構図を選択して撮像することが多いため、ポートレートモードが設定されている場合には、画像の中央付近にある合焦領域に対応する圧縮対象の画像の領域に対して、他の領域より小さい検出窓が設定され、高い精度で動きベクトルの検出が行われる。
【０１１６】
これにより、ユーザが撮像しようとしている被写体の動きベクトルを精度よく検出することが可能となり、その被写体の画質を向上させることができる。
【０１１７】
さらに、以上においては、合焦物体の動きの量に応じて重み付けがされ、異なる大きさの検出窓が設定されるものとしたが、合焦物体の動きが複雑であるか単純であるかに応じて重み付けがされ、検出窓が設定されるようにしてもよい。例えば、動きが複雑である合焦物体が合焦している合焦領域に対応する圧縮対象の画像の領域には、動きが単純である合焦物体が合焦している合焦領域に対応する圧縮対象の画像の領域よりも小さい検出窓が設定され、高い精度で動きベクトルの検出が行われる。
【０１１８】
動きが複雑であるか単純であるかは、例えば、図１３に示されるように、スキャンフォーカスが複数回行われることによって得られた画像から検出された合焦領域の差分に基づいて判断されるようにしてもよい。
【０１１９】
以上においては、記録開始ボタンが押されることに応じてスキャンフォーカスが行われるものとしたが、記録開始ボタンにユーザの指が触れたことが検出されることに応じてスキャンフォーカスが行われるようにしてもよい。ユーザの指が触れたか否かは、例えば、記録開始ボタンに設けられる静電センサによって検出される。
【０１２０】
これにより、記録開始ボタンが押されることに応じてスキャンフォーカスが行われる場合に較べて、ユーザが記録開始ボタンを押したときと実際に動画の記録が開始されるときに遅延が発生してしまうのを防ぐことができる。
【０１２１】
また、以上においては、可変範囲の全範囲分の画像の撮像が終わってから、それぞれの画像から合焦領域が検出されるものとしたが、合焦距離を変えて１フレームの画像の撮像が行われる毎に、撮像された画像を対象として合焦領域が検出されるようにしてもよい。
【０１２２】
この場合、CMOSイメージセンサ１２はX-Yアドレス型の撮像素子であり、所定の画素の画素値を表す信号だけを出力するといったことが可能であるから、１回のスキャンフォーカスにおいて行う複数回の撮像のうちの２回目以降の撮像においては、既に合焦領域として検出された領域に対応する画素の信号を取り込まずに、合焦領域としてまだ検出されていない領域に対応する画素の信号だけを取り込むといったような撮像がCMOSイメージセンサ１２により行われるようにしてもよい。
【０１２３】
例えば、図３の画像Ｐ1乃至Ｐ3がその順番で撮像される場合、画像Ｐ2の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素の信号は取り込まれず、画像Ｐ3の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素と、画像Ｐ2から検出された領域Ａ2に対応する画素の信号は取り込まれない。
【０１２４】
これにより、取り込みの対象となる画素の信号の数を減らすことができるから、スキャンフォーカスにかかる時間を短縮することができる。
【０１２５】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な機器に、プログラム記録媒体からインストールされる。
【０１２６】
上述した処理を実行させるプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２７】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２８】
【図１】本発明の一実施形態に係る撮像装置による撮像の様子を示す図である。
【図２】合焦距離を変えて撮像した画像の例を示す図である。
【図３】図２の画像から検出される合焦領域の例を示す図である。
【図４】撮像装置のハードウエア構成例を示すブロック図である。
【図５】撮像装置の機能構成例を示すブロック図である。
【図６】可変焦点レンズの制御の例を示す図である。
【図７】図５の記録制御部の構成例を示すブロック図である。
【図８】撮像装置による撮像の他の様子を示す図である。
【図９】合焦領域の例を示す図である。
【図１０】圧縮対象の画像に設定される検出窓の例を示す図である。
【図１１】撮像装置のスキャンフォーカス処理について説明するフローチャートである。
【図１２】撮像装置の動画記録処理について説明するフローチャートである。
【図１３】複数回のスキャンフォーカスによって撮像された画像の例を示す図である。
【符号の説明】
【０１２９】
１  撮像装置，  １１  可変焦点レンズ，  １２  CMOSイメージセンサ，  １５  動画処理回路，  １８  画像信号処理回路，  ２０  マイクロコントローラ，  ２１  レンズ駆動回路，  ３１  スキャンフォーカス制御部，  ３２  プレーン情報管理部，  ３３  記録制御部，  ４１  動き予測部，  ４２  動画圧縮制御部
【図１】
2008199382.tif 000003
【図２】
2008199382.tif 000004
【図３】
2008199382.tif 000005
【図４】
2008199382.tif 000006
【図５】
2008199382.tif 000007
【図６】
2008199382.tif 000008
【図７】
2008199382.tif 000009
【図８】
2008199382.tif 000010
【図９】
2008199382.tif 000011
【図１０】
2008199382.tif 000012
【図１１】
2008199382.tif 000013
【図１２】
2008199382.tif 000014
【図１３】
2008199382.tif 000015