(57)【要約】【課題】主画像と差分画像に対するデータの割り振りを、圧縮開始直後から最適化することができるようにする。【解決手段】動画の記録を開始することが指示されたことに応じて、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像が撮像され、撮像されたそれぞれの画像内の合焦領域（ピントがあっている領域）が検出される。動画の記録を開始することが指示されたときの合焦距離と同じ距離を合焦距離として撮像された画像の高周波成分の量が閾値としての量より多い場合、Ｉピクチャを優先して、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータがＩピクチャに割り振られて動画の圧縮が行われる。本発明は、デジタルビデオカメラに適用することができる。【選択図】図１
2008199383.tif 000002
【特許請求の範囲】
【請求項１】
合焦距離が可変であるレンズと、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、
前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段と、
前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から前記合焦領域検出手段により検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きを検出する動き検出手段と、
フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、前記動き検出手段により検出された動きに応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行う圧縮手段と
を備える撮像装置。
【請求項２】
前記圧縮手段は、前記動き検出手段により検出された動きの量が閾値としての量より多い場合、前記差分画像に割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータを前記差分画像に割り振って圧縮を行う
請求項１に記載の撮像装置。
【請求項３】
動画の記録を開始することがユーザにより指示されたときの合焦距離と同じ距離を合焦距離として前記撮像手段により撮像された画像を解析し、閾値より大きい周波数の成分を検出する高周波成分検出手段をさらに備え、
前記圧縮手段は、さらに、前記高周波成分検出手段により検出された周波数の成分の量に応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行う
請求項１に記載の撮像装置。
【請求項４】
前記圧縮手段は、前記高周波成分検出手段により検出された量が、閾値としての量より多い場合、前記主画像に割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータを前記主画像に割り振って、圧縮対象の動画の圧縮を行う
請求項３に記載の撮像装置。
【請求項５】
前記圧縮手段は、単位区間あたりのデータ量を固定として、または可変として圧縮対象の動画の圧縮を行う
請求項１に記載の撮像装置。
【請求項６】
前記撮像手段は、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することを複数回行う
請求項１に記載の撮像装置。
【請求項７】
前記撮像手段はCMOSイメージセンサである
請求項１に記載の撮像装置。
【請求項８】
合焦距離が可変であるレンズを備える撮像装置の撮像方法において、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、
前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きを検出し、
フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、検出した動きに応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行う
ステップを含む撮像方法。
【請求項９】
合焦距離が可変であるレンズを備える撮像装置の処理をコンピュータに実行させるプログラムにおいて、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、
前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きを検出し、
フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、検出した動きに応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行う
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、主画像と差分画像に対するデータの割り振りを、圧縮開始直後から最適化することができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
MPEG(Moving Picture Experts Group)などに代表される動画圧縮方式によって圧縮された動画データは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャを複数組み合わせたGOP(Group Of Picture)という単位で構成される。
【０００３】
主画像としてのＩピクチャは、一般的にはJPEG(Joint Photographic Expert Group)方式によって圧縮するなどの、対象フレームの情報だけを用いて圧縮するフレーム内圧縮によって生成され、差分画像としてのＰピクチャ、Ｂピクチャは、デコード順で前のフレームとの差分や動き情報を符号化するフレーム間圧縮によって生成される。
【０００４】
動画の圧縮の方法の中には、１GOP(Group Of Picture)などの単位区間の動画毎に圧縮後のデータ量の目標値を設定し、限られたデータ量のうちのどの程度の割合のデータをＩピクチャと、Ｐ，Ｂピクチャにそれぞれ割り振るかを、動画に写る物体の細かさや物体のそれまでの動きの多さに基づいて判断して、動画の圧縮を進めるものがある。
【０００５】
例えば、細かい模様などが表面に現れる物体を撮像した動画が圧縮対象の動画になっている場合、Ｐ，ＢピクチャよりＩピクチャに多い割合のデータが割り振られ、反対に、動きが多い物体を撮像した動画が圧縮対象の動画になっている場合、Ｉピクチャより、Ｐ，Ｂピクチャに多い割合のデータが割り振られて圧縮が行われる。物体の細かさや動きなど、動画の内容を要因としてデータの割り振りが最適化されることにより、通常、そのような割り振りをしない場合に較べて高画質の動画を得ることが可能になる。
【０００６】
特許文献１には、ウォブリング動作を行うことによってフォーカスの制御を行う技術が開示されている。
【特許文献１】特開２００６−４７９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したようなデータの割り振りは、圧縮の開始からある程度処理が進んだ段階であればそれまでの物体の動きを参照することができるため、可能であるものの、圧縮の開始直後に行うことは困難である。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、主画像と差分画像に対するデータの割り振りを、圧縮開始直後から最適化することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の撮像装置は、合焦距離が可変であるレンズと、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段と、前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から前記合焦領域検出手段により検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きを検出する動き検出手段と、フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、前記動き検出手段により検出された動きに応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行う圧縮手段とを備える。
【００１０】
前記圧縮手段には、前記動き検出手段により検出された動きの量が閾値としての量より多い場合、前記差分画像に割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータを前記差分画像に割り振って圧縮を行わせることができる。
【００１１】
動画の記録を開始することがユーザにより指示されたときの合焦距離と同じ距離を合焦距離として前記撮像手段により撮像された画像を解析し、閾値より大きい周波数の成分を検出する高周波成分検出手段をさらに設けることができる。この場合、前記圧縮手段には、さらに、前記高周波成分検出手段により検出された周波数の成分の量に応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行わせることができる。
【００１２】
前記圧縮手段には、前記高周波成分検出手段により検出された量が、閾値としての量より多い場合、前記主画像に割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータを前記主画像に割り振って、圧縮対象の動画の圧縮を行わせることができる。
【００１３】
前記圧縮手段には、単位区間あたりのデータ量を固定として、または可変として圧縮対象の動画の圧縮を行わせることができる。
【００１４】
前記撮像手段には、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することを複数回行わせることができる。
【００１５】
前記撮像手段はCMOSイメージセンサであるようにすることができる。
【００１６】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きを検出し、フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、検出した動きに応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行うステップを含む。
【００１７】
本発明の一側面においては、光軸を固定として、レンズの合焦距離が変わる毎に撮像され、撮像された複数の画像から合焦領域が検出される。また、前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きが検出され、フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、検出された動きに応じた割合のデータが割り振られて、圧縮対象の動画の圧縮が行われる。
【発明の効果】
【００１８】
本発明の一側面によれば、主画像と差分画像に対するデータの割り振りを、圧縮開始直後から最適化することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００２０】
本発明の一側面の撮像装置（例えば、図１の撮像装置１）は、合焦距離が可変であるレンズ（例えば、図４の可変焦点レンズ１１）と、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段（例えば、図４のCMOSイメージセンサ１２）と、前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段（例えば、図４の画像信号処理回路１８）と、前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から前記合焦領域検出手段により検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きを検出する動き検出手段（例えば、図７の動き検出部４１）と、フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、前記動き検出手段により検出された動きに応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行う圧縮手段（例えば、図７の動画圧縮制御部４３）とを備える。
【００２１】
この撮像装置には、動画の記録を開始することがユーザにより指示されたときの合焦距離と同じ距離を合焦距離として前記撮像手段により撮像された画像を解析し、閾値より大きい周波数の成分を検出する高周波成分検出手段（例えば、図７の高周波成分検出部４２）をさらに設けることができる。
【００２２】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きを検出し、フレーム内圧縮によって生成される主画像と、フレーム間圧縮によって生成される、前記主画像との差分を表す差分画像に、検出した動きに応じた割合のデータを割り振って、圧縮対象の動画の圧縮を行うステップ（例えば、図１３のステップＳ２３）を含む。
【００２３】
図１は、本発明の一実施形態に係る撮像装置１による撮像の様子を示す図である。
【００２４】
撮像装置１は例えばデジタルビデオカメラであり、合焦距離が可変であるレンズが設けられている。図１に示されるように、撮像装置１に近いものから順に、人物、建物、山などの風景が撮像範囲に存在する場合、撮像装置１は、人物に合焦させた画像、建物に合焦させた画像、風景に合焦させた画像などをそれぞれ撮像することができる。
【００２５】
図１の例においては、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する。図１の一点鎖線Ｌはレンズの光軸を表す。
【００２６】
図２は、合焦距離を変えて撮像した画像の例を示す図である。
【００２７】
撮像装置１に設けられるレンズの被写界深度は比較的浅く、合焦距離を距離Ｄ1として人物に合焦させて撮像した画像である画像Ｐ1には建物と風景がピントがあっていない状態で写り、合焦距離を距離Ｄ2として建物に合焦させて撮像した画像である画像Ｐ2には人物と風景がピントがあっていない状態で写る。また、合焦距離を距離Ｄ3として風景に合焦させて撮像した画像である画像Ｐ3には人物と建物がピントがあっていない状態で写る。
【００２８】
図２において、実線で示される被写体はピントがあっている状態であることを表し、点線で示される被写体はピントがあっていない状態であることを表す。
【００２９】
撮像装置１においては、例えば、記録開始ボタンがユーザにより押され、動画の記録を開始することが指示されることに応じて、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像を撮像し、撮像したそれぞれの画像内の合焦領域（ピントがあっている領域）を検出することが行われる。
【００３０】
合焦領域の検出に用いる画像の撮像は、例えば、合焦距離を最も短くした状態から開始され、最も長くした無限遠の状態になるまでの間、合焦距離の可変範囲の全範囲において所定の間隔で連続して行われる。画像内の合焦領域の検出は、画像のコントラストを抽出するなどの方法によって行われる。
【００３１】
図１に示されるように、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する場合、合焦距離を距離Ｄ1として撮像して得られた画像Ｐ1には人物が合焦した状態で写っているから、画像Ｐ1からは、図３の右側に示されるように、人物が写っている領域である領域Ａ1が検出され、領域Ａ1と、合焦距離である距離Ｄ1が対応付けて管理される。図３においては、検出される合焦領域が斜線で示されている。
【００３２】
また、合焦距離を距離Ｄ2として撮像して得られた画像Ｐ2には建物が合焦した状態で写っているから、画像Ｐ2からは、図３の中央に示されるように、建物が写っている領域である領域Ａ2が検出され、領域Ａ2と、合焦距離である距離Ｄ2が対応付けて管理される。
【００３３】
合焦距離を距離Ｄ3として撮像して得られた画像Ｐ3には風景が合焦した状態で写っているから、画像Ｐ3からは、図３の左側に示されるように、風景が写っている領域である領域Ａ3が検出され、領域Ａ3と、合焦距離である距離Ｄ3が対応付けて管理される。
【００３４】
なお、合焦した状態で写っている被写体を含むように、その被写体の領域を若干広げた領域までが合焦領域として検出されるようにしてもよい。
【００３５】
図２、図３においては３フレームの画像だけが示されているが、撮像装置１においては、さらに多くの画像が合焦距離を変えながら撮像される。撮像された画像の中には合焦領域が検出されない画像もある。また、図３においてはそれぞれの画像から１つの合焦領域だけが検出されているが、１フレームの画像から複数の合焦領域が検出されることもある。
【００３６】
合焦領域と合焦距離の対応付けは、撮像装置１の光軸を垂線とする、撮像範囲内の平面（プレーン）の情報を表すプレーン情報によって撮像装置１により管理される。それぞれのプレーン情報には、合焦領域の画像内の位置、範囲、その合焦領域の検出元になった画像を撮像したときの合焦距離などが含まれる。
【００３７】
合焦距離は画像内で合焦している被写体までの距離を表すから、このように、撮像装置１によれば、光軸を固定とし、合焦距離を変えて複数の画像の撮像が行われることによって、撮像範囲に含まれるそれぞれの被写体までの距離を取得することができる。
【００３８】
合焦距離を変えて可変範囲の全範囲分の画像を撮像することは、例えば、１秒間より短い時間内に高速に行われる。可変範囲の全範囲分の画像を撮像することがそのような短い時間内で行われることにより、合焦距離を変えて行われる１回１回の撮像がさらに短い時間間隔で行われることになり、撮像された画像は光軸をほぼ固定して撮像されたものになる。
【００３９】
撮像装置１の撮像素子にはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられており、高速での撮像が可能となっている。以下、適宜、撮像装置１の光軸を垂線とする撮像範囲内のそれぞれの平面の状態を検出するための撮像といえるから、合焦距離を所定の間隔で変えて可変範囲の全範囲分の画像を撮像することをスキャンフォーカスという。
【００４０】
以上のようにして得られたプレーン情報は、１GOPなどの単位区間の動画毎に圧縮後のデータ量の目標値を設定し、主画像としてのＩピクチャと、それとの差分を表す差分画像としてのＰ，Ｂピクチャにデータを割り振って動画の圧縮を行うときに、Ｉピクチャと、Ｐ，Ｂピクチャに割り振るデータの割合を最適化するのに用いられる。撮像装置１においては、動画の圧縮方式として例えばMPEG方式が採用されている。
【００４１】
例えば、撮像装置１は、動画の記録を開始することがユーザにより指示されることに応じて、スキャンフォーカスを少なくとも２回、動画の記録に用いる画像の撮像を開始する前に時間を微妙にずらして行い、同じ距離を合焦距離として撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれるそれぞれの物体（被写体）の動きの量を検出する。
【００４２】
また、撮像装置１は、スキャンフォーカスによって撮像された画像のうち、例えば、動画の記録を開始することが指示されたときにオートフォーカスにより、またはユーザによる手動での調整により設定されていた合焦距離と同じ距離を合焦距離として撮像された画像の高周波成分を検出する。
【００４３】
撮像装置１は、検出した物体の動きの量と高周波成分の量に基づいて、スキャンフォーカスが行われた後に撮像された動画の圧縮を制御する。
【００４４】
例えば、画像の高周波成分の量が閾値としての量より多く、圧縮対象の動画が、細かい模様のようなものが表面に現れる物体を撮像したものである場合、撮像装置１は、Ｉピクチャを優先して、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータをＩピクチャに割り振り、反対に、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より少ない割合のデータをＰ，Ｂピクチャに割り振って動画の圧縮が行われるように制御する。
【００４５】
動画の記録を開始することが指示されたときに設定されていた合焦距離と同じ距離を合焦距離として撮像された画像に写る物体はユーザが注目して撮像しようとしている物体と考えられるから、これにより、注目している物体の細かさなどを精度よく符号化することができ、ユーザが感じる見た目の画質を向上させることが可能となる。
【００４６】
また、撮像範囲に含まれる物体の動きの量が閾値としての量より多い場合、撮像装置１は、Ｐ，Ｂピクチャを優先して、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータをＰ，Ｂピクチャに割り振り、反対に、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より少ない割合のデータをＩピクチャに割り振って動画の圧縮が行われるように制御する。
【００４７】
これにより、撮像範囲に含まれる物体の動きを精度よく符号化することができ、画質を向上させることが可能となる。
【００４８】
データの割り振りは動画の記録に用いる画像の撮像前に行われるスキャンフォーカスによって撮像された画像に基づいて決定されるから、このような、画質を向上させるためのデータの割り振りを、動画の圧縮開始直後の１GOP目から最適化することができる。また、データ溢れによる画像破綻の無い圧縮を実現することができる。
【００４９】
以上のようにして撮像を行う撮像装置１の一連の処理についてはフローチャートを参照して後述する。
【００５０】
図４は、撮像装置１のハードウエア構成例を示すブロック図である。
【００５１】
可変焦点レンズ１１は、被写体からの光を取り込み、取り込んだ光をCMOSイメージセンサ１２に導く。可変焦点レンズ１１は複数のレンズから構成され、その位置関係が調整されることによって合焦距離が制御される。合焦距離の制御はレンズ駆動回路２１により行われる。
【００５２】
CMOSイメージセンサ１２は、可変焦点レンズ１１を介して入射した光を受光して光電変換を行い、受光量に応じたアナログの画像信号をADC(Analog Digital Converter)１３に出力する。
【００５３】
ADC１３は、CMOSイメージセンサ１２から供給された画像信号をA/D変換し、デジタルの画像データを画像メモリ１４に出力する。ADC１３においては、CMOSイメージセンサ１２から供給された画像信号に対して相関二重サンプリング処理、ゲインコントロール処理なども施される。
【００５４】
画像メモリ１４は、ADC１３から供給された画像データを記憶する。画像メモリ１４に記憶された画像データは動画処理回路１５と画像信号処理回路１８により適宜読み出される。
【００５５】
動画処理回路１５は、マイクロコントローラ２０による制御に従って動画の記録、再生を行う。
【００５６】
例えば、動画処理回路１５は、動画を記録するとき、画像メモリ１４に記憶されている画像データに基づいて所定のフォーマットの動画データを生成し、圧縮した動画データを記録デバイス１６に出力する。動画データを圧縮する際、動画処理回路１５は、マイクロコントローラ２０による制御に従ってＩピクチャと、Ｐ，Ｂピクチャにデータを割り振って圧縮を行う。
【００５７】
また、動画処理回路１５は、動画を再生するとき、記録デバイス１６から読み出した動画データを再生して得られた画像信号をモニタ１７に出力する。さらに、動画処理回路１５は、画像メモリ１４に記憶されている画像データに基づいて、取り込み中の画像をモニタ１７に表示させることも行う。
【００５８】
記録デバイス１６は、テープ、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)などよりなり、動画処理回路１５から供給された、圧縮済みの動画データを記録する。
【００５９】
モニタ１７はLCD(Liquid Crystal Display)などよりなり、動画処理回路１５から供給された画像信号に基づいて取り込み中の画像などを表示する。
【００６０】
画像信号処理回路１８は、スキャンフォーカスによって撮像された可変範囲の全範囲分の、合焦距離がそれぞれ異なる複数の画像のデータが画像メモリ１４に記憶されたとき、画像メモリ１４に記憶されている画像データを読み出し、それぞれの画像から合焦領域を検出する。画像信号処理回路１８は、合焦領域の画像内の位置、範囲などの、合焦領域に関する情報をマイクロコントローラ２０に出力する。
【００６１】
メモリ１９は、画像信号処理回路１８が処理を行う上で必要なデータを記憶する。
【００６２】
マイクロコントローラ２０は、所定のプログラムを実行し、動画処理回路１５、レンズ駆動回路２１を制御して動画の記録、再生などの各種の処理を行う。
【００６３】
例えば、マイクロコントローラ２０は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。また、マイクロコントローラ２０は、画像信号処理回路１８から供給された合焦領域に関する情報と、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいてプレーン情報を生成する。
【００６４】
レンズ駆動回路２１は、マイクロコントローラ２０による制御に従ってモータを駆動させ、可変焦点レンズ１１を構成する各レンズの位置を移動させる。例えば、レンズ駆動回路２１は、最も短い距離から最も長い距離まで合焦距離が順次ずれるように各レンズの位置を移動させ、スキャンフォーカスを行う。
【００６５】
図５は、撮像装置１の機能構成例を示すブロック図である。図５に示す機能部のうちの少なくとも一部は、図４のマイクロコントローラ２０により所定のプログラムが実行されることによって実現される。
【００６６】
図５に示されるように、撮像装置１においてはスキャンフォーカス制御部３１、プレーン情報管理部３２、および記録制御部３３が実現される。
【００６７】
スキャンフォーカス制御部３１は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。スキャンフォーカスは、上述したように、動画の記録を開始することが指示されることに応じて、時間をずらして少なくとも２回行われる。
【００６８】
スキャンフォーカス制御部３１は、スキャンフォーカスによってそれぞれの画像を撮像したときの合焦距離の情報をプレーン情報管理部３２に出力する。また、スキャンフォーカス制御部３１は、スキャンフォーカスを開始する直前、すなわち、動画の記録を開始することが指示されたときに、オートフォーカスにより、またはユーザにより手動で設定されていた合焦距離の情報を記録制御部３３に出力する。
【００６９】
図６は、スキャンフォーカスを行うときの可変焦点レンズ１１の制御の例を示す図である。この例においては、スキャンフォーカスが２回行われるものとされている。
【００７０】
図６の横軸は時刻を表し、縦軸は可変焦点レンズ１１の合焦距離を表す。図６の例においては、可変焦点レンズ１１の合焦距離の可変範囲は距離ｙ0から距離ｙ2（無限遠）までの範囲とされている。距離ｙ1は、動画の記録を開始することが指示されたときに設定されていた合焦距離である。
【００７１】
スキャンフォーカス制御部３１は、スキャンフォーカスを開始するとき、そのとき設定されている合焦距離である距離ｙ1を記憶し、合焦距離が距離ｙ0になるように可変焦点レンズ１１を制御する。スキャンフォーカス制御部３１は、合焦距離が距離ｙ0になったとき、合焦距離を距離ｙ2まで所定の間隔で変えながら連続して撮像を行わせる。距離ｙ0から開始されるのではなく、スキャンフォーカスを開始するときに設定されていた合焦距離からスキャンフォーカスが開始されるようにしてもよい。
【００７２】
図６の例においては、時刻ｔ0から時刻ｔ1までの間に１回目のスキャンフォーカスが行われている。時刻ｔ0から時刻ｔ1までの間に示されるそれぞれの矢印のタイミングで１回ずつ撮像が行われ、これにより、合焦距離の異なる複数の画像が１回のスキャンフォーカスによって撮像される。スキャンフォーカス制御部３１からプレーン情報管理部３２に対しては、それぞれの矢印のタイミングにおける合焦距離の情報が通知される。
【００７３】
スキャンフォーカスによって撮像された画像は、順次、画像メモリ１４に記憶される。全ての画像が画像メモリ１４に記憶されたとき、画像信号処理回路１８においては、それぞれの画像から合焦領域が検出される。
【００７４】
１回目のスキャンフォーカスが終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離を、スキャンフォーカスの開始前に記憶しておいた距離ｙ1に復帰させ、その後、所定の期間だけ、モニタ１７に表示させるのに用いる画像の撮像を行う。
【００７５】
図６の例においては、時刻ｔ1から時刻ｔ2までの間に、可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させることが行われ、その後の時刻ｔ2から時刻ｔ3までの間に画像の撮像が行われている。時刻ｔ2から時刻ｔ3までの間に撮像された画像はモニタ１７に表示され、これにより、ユーザは、取り込み中の画像を確認することができる。
【００７６】
モニタ１７に表示させるのに用いる画像の撮像が終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離をスキャンフォーカスの開始時の距離である距離ｙ0に移動させ、その後、２回目のスキャンフォーカスを開始する。なお、モニタ１７に表示させるのに用いる画像の撮像を省略し、スキャンフォーカスが続けて行われるようにすることも可能である。
【００７７】
図６の例においては、時刻ｔ3から時刻ｔ4までの間に可変焦点レンズ１１の合焦距離が距離ｙ0まで移動され、時刻ｔ4において２回目のスキャンフォーカスが開始されている。２回目のスキャンフォーカスが終わった時刻ｔ5から時刻ｔ6までの間に、可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させることが行われ、その後、記録デバイス１６に記録する画像の撮像が開始される。時刻ｔ6以降に撮像された画像に基づいて動画データが生成され、圧縮された後、圧縮済みの動画データが記録デバイス１６に記録される。可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させる時刻ｔ5から時刻ｔ6までの間に、Ｉピクチャと、Ｐ，Ｂピクチャに割り振るデータの割合が決定されるようにしてもよい。
【００７８】
図５の説明に戻り、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を記録制御部３３に出力する。
【００７９】
記録制御部３３は、プレーン情報管理部３２から供給されたプレーン情報を参照して、撮像範囲に含まれるそれぞれの物体の動きの量と、動画の記録を開始することがユーザにより指示されたときの合焦距離と同じ距離を合焦距離としてスキャンフォーカス時に撮像された画像の高周波成分の量を検出し、Ｉピクチャと、Ｐ，Ｂピクチャに所定の割合のデータを割り振るなどして、動画処理回路１５において行われる動画の記録を制御する。
【００８０】
図７は、図５の記録制御部３３の構成例を示すブロック図である。
【００８１】
図７に示されるように、記録制御部３３は、動き検出部４１、高周波成分検出部４２、および動画圧縮制御部４３から構成される。プレーン情報管理部３２から出力されたプレーン情報は動き検出部４１と高周波成分検出部４２に入力される。また、スキャンフォーカス制御部３１から出力された、動画の記録を開始することが指示されたときの合焦距離の情報は高周波成分検出部４２に入力される。高周波成分検出部４２に対しては、スキャンフォーカスによって撮像された画像の信号も所定の経路を介して入力される。
【００８２】
動き検出部４１は、プレーン情報管理部３２から供給されたプレーン情報を参照し、１回目のスキャンフォーカスによって撮像された画像と、２回目のスキャンフォーカスによって撮像された画像のうちの、同じ距離を合焦距離として撮像されたそれぞれの画像から検出された合焦領域の差分に基づいて、撮像範囲に含まれるそれぞれの物体の動きの量を検出する。動き検出部４１は、検出した動きの量を表す情報を動画圧縮制御部４３に出力する。
【００８３】
図８は、撮像の他の様子を示す図である。
【００８４】
図８に示されるように、風景と、その風景を背景とする人物が撮像範囲に含まれる状況で、時間をずらしてスキャンフォーカスが２回行われた場合、それぞれのスキャンフォーカスによって撮像された画像からは、図９に示されるように、人物が合焦している合焦領域と、風景が合焦している合焦領域が検出される。
【００８５】
図９の上段に示される画像Ｐ11，Ｐ12，Ｐ13は、１回目のスキャンフォーカスによって撮像された画像を示し、下段に示される画像Ｐ21，Ｐ22，Ｐ23は、１回目のスキャンフォーカスと時間をずらして行われた２回目のスキャンフォーカスによって撮像された画像を示している。画像Ｐ11と画像Ｐ21は、合焦距離を同じ距離Ｄ1として撮像された画像であり、画像Ｐ12と画像Ｐ22は、合焦距離を同じ距離Ｄ2として撮像された画像である。画像Ｐ13と画像Ｐ23は、合焦距離を同じ無限遠の距離Ｄ3として撮像された画像である。
【００８６】
１回目のスキャンフォーカスによって撮像された画像Ｐ11，Ｐ12，Ｐ13のうちの画像Ｐ11からは、人物が合焦している領域である領域Ａ11が検出され、画像Ｐ13からは、風景が合焦している領域である領域Ａ12が検出されている。また、２回目のスキャンフォーカスによって撮像された画像Ｐ21，Ｐ22，Ｐ23のうちの画像Ｐ21からは、人物が合焦している領域である領域Ａ21が検出され、画像Ｐ23からは、風景が合焦している領域である領域Ａ22が検出されている。
【００８７】
このような合焦領域の検出が行われたことがプレーン情報管理部３２から供給されたプレーン情報によって表されている場合、動き検出部４１は、合焦距離を同じ距離Ｄ1として撮像された画像である画像Ｐ11と画像Ｐ21から検出された合焦領域である領域Ａ11と領域Ａ21の差分に基づいて、領域Ａ11と領域Ａ21において合焦している物体（人物）の動きの量を検出する。この例においては、左方向に所定の量だけ移動していることが動き検出部４１により検出される。
【００８８】
また、動き検出部４１は、合焦距離を同じ距離Ｄ3として撮像された画像である画像Ｐ13と画像Ｐ23から検出された合焦領域である領域Ａ12と領域Ａ22の差分に基づいて、領域Ａ12と領域Ａ22において合焦している物体（風景）の動きの量を検出する。この例においては、ほとんど動いていないことが動き検出部４１により検出される。
【００８９】
例えば、このようにして検出されたそれぞれの物体の動きの量を合計した量を表す情報が、検出結果として動き検出部４１から動画圧縮制御部４３に出力される。
【００９０】
なお、１つの画像から複数の合焦領域が検出されることもあるが、プレーン情報を参照することにより、合焦領域の位置や範囲だけでなく、物体までの距離にも基づいて判断することが可能であるため、例えば、領域Ａ11において合焦している物体と領域Ａ21において合焦している物体が同じ物体であると判断することができ、動き検出部４１は、それぞれの物体の動きを容易に検出することができる。
【００９１】
図７の説明に戻り、高周波成分検出部４２は、プレーン情報管理部３２から供給されたプレーン情報を参照し、動画の記録を開始することが指示されたときの合焦距離と同じ距離を合焦距離としてスキャンフォーカス時に撮像された画像を解析することによって高周波成分を検出する。高周波成分検出部４２は、検出した高周波成分の量を表す情報を動画圧縮制御部４３に出力する。動画の記録を開始することが指示されたときの合焦距離は、スキャンフォーカス制御部３１から供給された情報によって表される。
【００９２】
例えば、合焦距離を距離Ｄ1として、人物に合焦させていたときにユーザが動画の記録の開始を指示した場合、高周波成分検出部４２は、１回目のスキャンフォーカス時に合焦距離を距離Ｄ1として撮像された図９の画像Ｐ11の信号を解析することによって、または、２回目のスキャンフォーカス時に合焦距離を距離Ｄ1として撮像された画像Ｐ21の信号を解析することによって高周波成分を検出する。閾値となる周波数があらかじめ設定されており、高周波成分検出部４２においては、その閾値の周波数以上の周波数の成分が高周波成分として検出される。
【００９３】
また、合焦距離を距離Ｄ3として、風景に合焦させていたときにユーザが動画の記録の開始を指示した場合、高周波成分検出部４２は、１回目のスキャンフォーカス時に合焦距離を距離Ｄ3として撮像された画像Ｐ13の信号を解析することによって、または、２回目のスキャンフォーカス時に合焦距離を距離Ｄ3として撮像された画像Ｐ23の信号を解析することによって高周波成分の量を検出する。
【００９４】
図７の動画圧縮制御部４３は、動き検出部４１から供給された情報によって表される撮像範囲に含まれる物体の動きの量と、高周波成分検出部４２から供給された情報によって表される高周波成分の量に基づいて、動画処理回路１５において行われる動画の圧縮を制御する。動画処理回路１５においては、例えば１GOPなどの単位区間あたりのデータ量を固定とするCBR(Constant Bit Rate)、または、単位区間あたりのデータ量を被写体の動きや色などに応じて可変とするVBR(Variable Bit Rate)によって圧縮が行われる。
【００９５】
図１０は、CBRによって圧縮が行われる場合に動画圧縮制御部４３によって行われる制御の例を示す図である。
【００９６】
図１０に示されるように、物体の動きの量が閾値としての量より多く、かつ、高周波成分の量も閾値としての量より多い場合、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られ、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られる。
【００９７】
また、物体の動きの量が閾値としての量より少なく、かつ、高周波成分の量が閾値としての量より多い場合、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータが割り振られ、反対に、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より少ない割合のデータが割り振られる。
【００９８】
物体の動きの量が閾値としての量より多く、かつ、高周波成分の量が閾値としての量より少ない場合、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より少ない割合のデータが割り振られ、反対に、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータが割り振られる。
【００９９】
物体の動きの量が閾値としての量より少なく、かつ、高周波成分の量も閾値としての量より少ない場合、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られ、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られる。
【０１００】
図１１は、VBRによって圧縮が行われる場合に動画圧縮制御部４３によって行われる制御の例を示す図である。
【０１０１】
図１１に示されるように、物体の動きの量が閾値としての量より多く、かつ、高周波成分の量も閾値としての量より多い場合、１GOPのデータ量を標準の量より多くして、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られ、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られる。
【０１０２】
また、物体の動きの量が閾値としての量より少なく、かつ、高周波成分の量が閾値としての量より多い場合、１GOPのデータ量は標準の量のまま、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータが割り振られ、反対に、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より少ない割合のデータが割り振られる。
【０１０３】
物体の動きの量が閾値としての量より多く、かつ、高周波成分の量が閾値としての量より少ない場合、１GOPのデータ量は標準の量のまま、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より少ない割合のデータが割り振られ、反対に、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合より多い割合のデータが割り振られる。
【０１０４】
物体の動きの量が閾値としての量より少なく、かつ、高周波成分の量も閾値としての量より少ない場合、１GOPのデータ量は標準の量より少なくして、Ｉピクチャに対しては、Ｉピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られ、Ｐ，Ｂピクチャに対しては、Ｐ，Ｂピクチャに割り振るデータの割合としてあらかじめ設定された標準の割合のデータが割り振られる。
【０１０５】
動画圧縮制御部４３においては、このようにして動画処理回路１５により行われる動画の圧縮が制御される。
【０１０６】
ここで、以上のような構成を有する撮像装置１の処理について説明する。
【０１０７】
はじめに、図１２のフローチャートを参照して、スキャンフォーカスを行う撮像装置１の処理について説明する。
【０１０８】
ステップＳ１において、スキャンフォーカス制御部３１は、現在の合焦距離を記憶する。ここで記憶された合焦距離は、スキャンフォーカスが終わったときに合焦距離を元に戻すときに用いられる。また、スキャンフォーカス制御部３１は、現在の合焦距離を表す情報を記録制御部３３の高周波成分検出部４２に出力する。
【０１０９】
ステップＳ２において、CMOSイメージセンサ１２は、プレーン情報を生成するのに用いられるプレーン情報生成用の画像を撮像する。このときの合焦距離は、所定の距離にスキャンフォーカス制御部３１により調整されている。撮像によって得られた画像データは画像メモリ１４に記憶される。
【０１１０】
ステップＳ３において、スキャンフォーカス制御部３１は、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したか否かを判定する。
【０１１１】
ステップＳ３において可変範囲の全範囲でプレーン情報生成用の画像を撮像していないと判定した場合、スキャンフォーカス制御部３１は、ステップＳ４において、レンズ駆動回路２１を制御して、合焦距離を例えば長くなる方向に所定の間隔だけずらす。合焦距離の情報はスキャンフォーカス制御部３１からプレーン情報管理部３２に出力される。その後、ステップＳ２に戻り、それ以降の処理が繰り返される。
【０１１２】
一方、ステップＳ３において最も短い距離から長い距離まで、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したと判定した場合、すなわち、１回のスキャンフォーカスが終わったと判定した場合、ステップＳ５において、スキャンフォーカス制御部３１は、２回などの、あらかじめ設定された回数だけスキャンフォーカスを行ったか否かを判定する。スキャンフォーカスが終わる毎に、必要に応じて、モニタ１７の表示に用いられる画像の撮像が行われる。
【０１１３】
ステップＳ５においてあらかじめ設定された回数だけスキャンフォーカスを行っていないと判定した場合、スキャンフォーカス制御部３１は、ステップＳ２以降の処理を繰り返す。
【０１１４】
一方、ステップＳ５においてあらかじめ設定された回数だけスキャンフォーカスを行ったと判定した場合、ステップＳ６において、スキャンフォーカス制御部３１は、ステップＳ１で記憶しておいた合焦距離に可変焦点レンズ１１の合焦距離を戻す。
【０１１５】
ステップＳ７において、画像信号処理回路１８は、スキャンフォーカスによって撮像された画像データを画像メモリ１４から読み出し、プレーン情報生成用のそれぞれの画像から合焦領域を検出する。画像信号処理回路１８により検出された合焦領域に関する情報は画像信号処理回路１８からプレーン情報管理部３２に出力される。
【０１１６】
ステップＳ８において、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を記録制御部３３に出力する。その後、動画の記録に用いる画像の撮像が開始される。
【０１１７】
次に、図１３のフローチャートを参照して、動画を記録する撮像装置１の処理について説明する。
【０１１８】
この処理は図１２の処理が終了したときに開始される。図１２を参照して説明した処理によって生成されたプレーン情報はプレーン情報管理部３２から記録制御部３３の動き検出部４１と高周波成分検出部４２に供給される。動画の記録に用いるものとしてCMOSイメージセンサ１２により撮像された画像は画像メモリ１４に記憶される。
【０１１９】
ステップＳ２１において、動き検出部４１は、プレーン情報管理部３２から供給されたプレーン情報を参照し、１回目のスキャンフォーカスによって撮像された画像と、２回目のスキャンフォーカスによって撮像された画像のうちの、同じ距離を合焦距離として撮像されたそれぞれの画像から検出された合焦領域の差分に基づいて、撮像範囲に含まれるそれぞれの物体の動きの量を検出する。
【０１２０】
ステップＳ２２において、高周波成分検出部４２は、プレーン情報管理部３２から供給されたプレーン情報を参照し、図１２のステップＳ１で記憶されていた合焦距離と同じ距離を合焦距離として、すなわち、動画の記録を開始することが指示されたときの合焦距離と同じ距離を合焦距離としてスキャンフォーカス時に撮像された画像の高周波成分の量を検出する。
【０１２１】
ステップＳ２３において、動き検出部４１により検出された物体の動きの量と、高周波成分検出部４２により検出された高周波成分の量に基づいて、Ｉピクチャと、Ｐ，Ｂピクチャに対するデータの割り振りと、動画処理回路１５がVBRによって圧縮を行う場合には単位区間である１GOP毎のデータの量を、図１０、図１１を参照して説明したようにして決定し、動画処理回路１５において行われる動画の圧縮を制御する。
【０１２２】
ステップＳ２４において、動画処理回路１５は、動画圧縮制御部４３による制御に従って圧縮した動画データを記録デバイス１６に記録させる。動画の記録を終了することがユーザにより指示されたとき、処理は終了される。
【０１２３】
以上においては、物体の動きの量に応じてデータの割り振りが決定されるものとしたが、物体の動きが複雑であるか単純であるかに応じてデータの割り振りが決定されるようにしてもよい。例えば、動きが複雑な物体が撮像範囲に含まれる場合には、Ｐ，Ｂピクチャが優先され、多い割合のデータが割り振られる。
【０１２４】
また、以上においては、高周波成分を検出する対象が、動画の記録を開始することが指示されたときに設定されていた合焦距離と同じ距離を合焦距離として撮像された画像であるものとしたが、その画像から検出された合焦領域を対象として高周波成分が検出され、データの割り振りが決定されるようにしてもよい。
【０１２５】
以上においては、記録開始ボタンが押され、動画の記録を開始することが指示されることに応じてスキャンフォーカスが行われるものとしたが、記録開始ボタンにユーザの指が触れたことが検出されることに応じてスキャンフォーカスが行われるようにしてもよい。ユーザの指が触れたか否かは、例えば、記録開始ボタンに設けられる静電センサによって検出される。
【０１２６】
これにより、記録開始ボタンが押されることに応じてスキャンフォーカスが行われる場合に較べて、ユーザが記録開始ボタンを押したときと実際に動画の記録が開始されるときに遅延が発生してしまうのを防ぐことができる。
【０１２７】
また、以上においては、可変範囲の全範囲分の画像の撮像が終わってから、それぞれの画像から合焦領域が検出されるものとしたが、合焦距離を変えて１フレームの画像の撮像が行われる毎に、撮像された画像を対象として合焦領域が検出されるようにしてもよい。
【０１２８】
この場合、CMOSイメージセンサ１２はX-Yアドレス型の撮像素子であり、所定の画素の画素値を表す信号だけを出力するといったことが可能であるから、１回のスキャンフォーカスにおいて行う複数回の撮像のうちの２回目以降の撮像においては、既に合焦領域として検出された領域に対応する画素の信号を取り込まずに、合焦領域としてまだ検出されていない領域に対応する画素の信号だけを取り込むといったような撮像がCMOSイメージセンサ１２により行われるようにしてもよい。
【０１２９】
例えば、図３の画像Ｐ1乃至Ｐ3がその順番で撮像される場合、画像Ｐ2の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素の信号は取り込まれず、画像Ｐ3の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素と、画像Ｐ２から検出された領域Ａ２に対応する画素の信号は取り込まれない。
【０１３０】
これにより、取り込みの対象となる画素の信号の数を減らすことができるから、スキャンフォーカスにかかる時間を短縮することができる。
【０１３１】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な機器に、プログラム記録媒体からインストールされる。
【０１３２】
上述した処理を実行させるプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３３】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１３４】
【図１】本発明の一実施形態に係る撮像装置による撮像の様子を示す図である。
【図２】合焦距離を変えて撮像した画像の例を示す図である。
【図３】図２の画像から検出される合焦領域の例を示す図である。
【図４】撮像装置のハードウエア構成例を示すブロック図である。
【図５】撮像装置の機能構成例を示すブロック図である。
【図６】可変焦点レンズの制御の例を示す図である。
【図７】図５の記録制御部の構成例を示すブロック図である。
【図８】撮像装置による撮像の他の様子を示す図である。
【図９】合焦領域の例を示す図である。
【図１０】データの割り振りの例を示す図である。
【図１１】データの割り振りの他の例を示す図である。
【図１２】撮像装置のスキャンフォーカス処理について説明するフローチャートである。
【図１３】撮像装置の動画記録処理について説明するフローチャートである。
【符号の説明】
【０１３５】
１  撮像装置，  １１  可変焦点レンズ，  １２  CMOSイメージセンサ，  １５  動画処理回路，  １８  画像信号処理回路，  ２０  マイクロコントローラ，  ２１  レンズ駆動回路，  ３１  スキャンフォーカス制御部，  ３２  プレーン情報管理部，  ３３  記録制御部，  ４１  動き検出部，  ４２  高周波成分検出部，  ４３  動画圧縮制御部
【図１】
2008199383.tif 000003
【図２】
2008199383.tif 000004
【図３】
2008199383.tif 000005
【図４】
2008199383.tif 000006
【図５】
2008199383.tif 000007
【図６】
2008199383.tif 000008
【図７】
2008199383.tif 000009
【図８】
2008199383.tif 000010
【図９】
2008199383.tif 000011
【図１０】
2008199383.tif 000012
【図１１】
2008199383.tif 000013
【図１２】
2008199383.tif 000014
【図１３】
2008199383.tif 000015