(57)【要約】【課題】動きの多い物体が撮像範囲に含まれる場合に、その物体と他の物体の境界部分の画質を向上させることができるようにする。【解決手段】記録デバイスに記録する画像の撮像を開始する直前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像が撮像され、撮像されたそれぞれの画像内の合焦領域（ピントがあっている領域）が検出される。同じ距離を合焦距離として撮像されたそれぞれの画像から検出された合焦領域の差分に基づいてそれぞれの物体の動きの量が検出され、また、画像を撮像したときの合焦距離に基づいてそれぞれの物体までの距離が判断される。動きの少ない物体の背景として動きの多い物体がある場合、それらの物体の境界を含む一定の領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータが割り振られて圧縮が行われる。本発明は、デジタルビデオカメラやデジタルスチルカメラに適用することができる。【選択図】図１
2008199384.tif 000002
【特許請求の範囲】
【請求項１】
合焦距離が可変であるレンズと、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、
前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段と、
前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から前記合焦領域検出手段により検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量を検出する動き検出手段と、
撮像範囲に含まれるそれぞれの物体までの距離を合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断し、第１の物体より離れた位置に、前記動き検出手段により検出された動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行う圧縮手段と
を備える撮像装置。
【請求項２】
前記圧縮手段は、さらに、前記第２の物体の領域に対応する圧縮対象の画像の領域に、標準の量より少ない量のデータを割り振って圧縮を行う
請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することを複数回行う
請求項１に記載の撮像装置。
【請求項４】
前記撮像手段はCMOSイメージセンサである
請求項１に記載の撮像装置。
【請求項５】
合焦距離が可変であるレンズを備える撮像装置の撮像方法において、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、
前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量を検出し、
撮像範囲に含まれるそれぞれの物体までの距離を合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断し、第１の物体より離れた位置に、動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行う
ステップを含む撮像方法。
【請求項６】
合焦距離が可変であるレンズを備える撮像装置の処理をコンピュータに実行させるプログラムにおいて、
光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
撮像した複数の画像から合焦領域を検出し、
前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量を検出し、
撮像範囲に含まれるそれぞれの物体までの距離を合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断し、第１の物体より離れた位置に、動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行う
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、動きの多い物体が撮像範囲に含まれる場合に、その物体と他の物体の境界部分の画質を向上させることができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
MPEG(Moving Picture Experts Group)などに代表される動画圧縮方式によって圧縮された動画データは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャを複数組み合わせたGOP(Group Of Picture)という単位で構成される。
【０００３】
Ｉピクチャは、一般的にはJPEG(Joint Photographic Expert Group)方式によって圧縮するなどの、対象フレームの情報だけを用いて圧縮するフレーム内圧縮によって生成され、Ｐピクチャ、Ｂピクチャは、デコード順で前のフレームとの差分や動き情報を符号化するフレーム間圧縮によって生成される。
【０００４】
JPEG方式による圧縮においては、画像に写る物体の細かさ、粗さを周波数成分から判断し、細かい物体の領域に対して、限られた量のデータのうちの多い割合のデータを割り振って圧縮を行うようになされている。
【０００５】
特許文献１には、ウォブリング動作を行うことによってフォーカスの制御を行う技術が開示されている。
【特許文献１】特開２００６−４７９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述したようにして物体の細かさに応じてデータの割り振りを変えて圧縮を行ったとしても、ある物体の背景として動きの激しい物体が写っている場合、物体の境界部分にノイズが生じやすい。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、動きの多い物体が撮像範囲に含まれる場合に、その物体と他の物体の境界部分の画質を向上させることができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の撮像装置は、合焦距離が可変であるレンズと、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段と、前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から前記合焦領域検出手段により検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量を検出する動き検出手段と、撮像範囲に含まれるそれぞれの物体までの距離を合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断し、第１の物体より離れた位置に、前記動き検出手段により検出された動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行う圧縮手段とを備える。
【０００９】
前記圧縮手段には、さらに、前記第２の物体の領域に対応する圧縮対象の画像の領域に、標準の量より少ない量のデータを割り振って圧縮を行わせることができる。
【００１０】
前記撮像手段には、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像することを複数回行わせることができる。
【００１１】
前記撮像手段はCMOSイメージセンサであるようにすることができる。
【００１２】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量を検出し、撮像範囲に含まれるそれぞれの物体までの距離を合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断し、第１の物体より離れた位置に、動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行うステップを含む。
【００１３】
本発明の一側面においては、光軸を固定として、レンズの合焦距離が変わる毎に撮像され、撮像された複数の画像から合焦領域が検出される。また、前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量が検出され、撮像範囲に含まれるそれぞれの物体までの距離が合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断される。第１の物体より離れた位置に、動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータが割り振られて圧縮が行われる。
【発明の効果】
【００１４】
本発明の一側面によれば、動きの多い物体が撮像範囲に含まれる場合に、その物体と他の物体の境界部分の画質を向上させることができる。
【発明を実施するための最良の形態】
【００１５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００１６】
本発明の一側面の撮像装置（例えば、図１の撮像装置１）は、合焦距離が可変であるレンズ（例えば、図４の可変焦点レンズ１１）と、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段（例えば、図４のCMOSイメージセンサ１２）と、前記撮像手段により撮像された複数の画像から合焦領域を検出する合焦領域検出手段（例えば、図４の画像信号処理回路１８）と、前記レンズの合焦距離を同じ距離として時間をずらして撮像されたそれぞれの画像から前記合焦領域検出手段により検出された合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量を検出する動き検出手段（例えば、図７の動き検出部４１）と、撮像範囲に含まれるそれぞれの物体までの距離を合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断し、第１の物体より離れた位置に、前記動き検出手段により検出された動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行う圧縮手段（例えば、図７の動画圧縮制御部４２）とを備える。
【００１７】
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、前記レンズの合焦距離を同じ距離として時間をずらして撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれる物体の動きの量を検出し、撮像範囲に含まれるそれぞれの物体までの距離を合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて判断し、第１の物体より離れた位置に、動きの量が閾値としての量より多い第２の物体がある場合、前記第１と第２の物体の境界を含む領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行うステップ（例えば、図１２のステップＳ２５）を含む。
【００１８】
図１は、本発明の一実施形態に係る撮像装置１による撮像の様子を示す図である。
【００１９】
撮像装置１は例えばデジタルビデオカメラであり、合焦距離が可変であるレンズが設けられている。図１に示されるように、撮像装置１に近いものから順に、人物、建物、山などの風景が撮像範囲に存在する場合、撮像装置１は、人物に合焦させた画像、建物に合焦させた画像、風景に合焦させた画像などをそれぞれ撮像することができる。
【００２０】
図１の例においては、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する。図１の一点鎖線Ｌはレンズの光軸を表す。
【００２１】
図２は、合焦距離を変えて撮像した画像の例を示す図である。
【００２２】
撮像装置１に設けられるレンズの被写界深度は比較的浅く、合焦距離を距離Ｄ1として人物に合焦させて撮像した画像である画像Ｐ1には建物と風景がピントがあっていない状態で写り、合焦距離を距離Ｄ2として建物に合焦させて撮像した画像である画像Ｐ2には人物と風景がピントがあっていない状態で写る。また、合焦距離を距離Ｄ3として風景に合焦させて撮像した画像である画像Ｐ3には人物と建物がピントがあっていない状態で写る。
【００２３】
図２において、実線で示される被写体はピントがあっている状態であることを表し、点線で示される被写体はピントがあっていない状態であることを表す。
【００２４】
撮像装置１においては、例えば、記録開始ボタンがユーザにより押され、動画の記録を開始することが指示されることに応じて、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像を撮像し、撮像したそれぞれの画像内の合焦領域（ピントがあっている領域）を検出することが行われる。
【００２５】
合焦領域の検出に用いる画像の撮像は、例えば、合焦距離を最も短くした状態から開始され、最も長くした無限遠の状態になるまでの間、合焦距離の可変範囲の全範囲において所定の間隔で連続して行われる。画像内の合焦領域の検出は、画像のコントラストを抽出するなどの方法によって行われる。
【００２６】
図１に示されるように、撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、距離Ｄ2だけ離れた位置に建物が存在し、距離Ｄ3だけ離れた位置に風景が存在する場合、合焦距離を距離Ｄ1として撮像して得られた画像Ｐ1には人物が合焦した状態で写っているから、画像Ｐ1からは、図３の右側に示されるように、人物が写っている領域である領域Ａ1が検出され、領域Ａ1と、合焦距離である距離Ｄ1が対応付けて管理される。図３においては、検出される合焦領域が斜線で示されている。
【００２７】
また、合焦距離を距離Ｄ2として撮像して得られた画像Ｐ2には建物が合焦した状態で写っているから、画像Ｐ2からは、図３の中央に示されるように、建物が写っている領域である領域Ａ2が検出され、領域Ａ2と、合焦距離である距離Ｄ2が対応付けて管理される。
【００２８】
合焦距離を距離Ｄ3として撮像して得られた画像Ｐ3には風景が合焦した状態で写っているから、画像Ｐ3からは、図３の左側に示されるように、風景が写っている領域である領域Ａ3が検出され、領域Ａ3と、合焦距離である距離Ｄ3が対応付けて管理される。
【００２９】
なお、合焦した状態で写っている被写体を含むように、その被写体の領域を若干広げた領域までが合焦領域として検出されるようにしてもよい。
【００３０】
図２、図３においては３フレームの画像だけが示されているが、撮像装置１においては、さらに多くの画像が合焦距離を変えながら撮像される。撮像された画像の中には合焦領域が検出されない画像もある。また、図３においてはそれぞれの画像から１つの合焦領域だけが検出されているが、１フレームの画像から複数の合焦領域が検出されることもある。
【００３１】
合焦領域と合焦距離の対応付けは、撮像装置１の光軸を垂線とする、撮像範囲内の平面（プレーン）の情報を表すプレーン情報によって撮像装置１により管理される。それぞれのプレーン情報には、合焦領域の画像内の位置、範囲、その合焦領域の検出元になった画像を撮像したときの合焦距離などが含まれる。
【００３２】
合焦距離は画像内で合焦している被写体までの距離を表すから、このように、撮像装置１によれば、光軸を固定とし、合焦距離を変えて複数の画像の撮像が行われることによって、撮像範囲に含まれるそれぞれの被写体までの距離を取得することができる。
【００３３】
合焦距離を変えて可変範囲の全範囲分の画像を撮像することは、例えば、１秒間より短い時間内に高速に行われる。可変範囲の全範囲分の画像を撮像することがそのような短い時間内で行われることにより、合焦距離を変えて行われる１回１回の撮像がさらに短い時間間隔で行われることになり、撮像された画像は光軸をほぼ固定して撮像されたものになる。
【００３４】
撮像装置１の撮像素子にはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられており、高速での撮像が可能となっている。以下、適宜、撮像装置１の光軸を垂線とする撮像範囲内のそれぞれの平面の状態を検出するための撮像といえるから、合焦距離を所定の間隔で変えて可変範囲の全範囲分の画像を撮像することをスキャンフォーカスという。
【００３５】
以上のようにして得られたプレーン情報は、対象の画像を圧縮するときに、その画像を構成するそれぞれの領域に割り振るデータの量を決定するのに用いられる。
【００３６】
撮像装置１においては、動画の圧縮方式として例えばMPEG方式が採用されている。圧縮時には、それぞれの画像に対して圧縮後の目標とする量のデータが決定され、この領域には１０ＫＢ、隣の領域にも１０ＫＢといったように、目標とする量のデータが１フレームの画像の各領域に均一に割り振られるのが例えば標準の割り振りとなるが、撮像範囲の状況に応じて、標準の割り振りが変更され、領域毎に異なる量のデータが割り振られる。撮像範囲の状況を判断し、データの割り振りを決定することが、プレーン情報に基づいて行われる。
【００３７】
例えば、撮像装置１は、動画の記録を開始することがユーザにより指示されることに応じて、スキャンフォーカスを少なくとも２回、動画の記録に用いる画像の撮像を開始する前に時間を微妙にずらして行い、同じ距離を合焦距離として撮像したそれぞれの画像から検出した合焦領域の差分に基づいて、撮像範囲に含まれるそれぞれの物体（被写体）の動きの量を検出する。
【００３８】
また、撮像装置１は、それぞれの物体までの距離をプレーン情報に基づいて判断し、撮像装置１の位置を基準としたそれぞれの物体の前後関係を確認する。
【００３９】
動きの少ない物体の背景として動きの多い物体がスキャンフォーカスによって撮像された画像に写っていた場合、撮像装置１は、動画の記録に用いる画像の撮像を開始し、圧縮を行うとき、動きの少ない物体と動きの多い物体の境界を含む一定の領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行う。
【００４０】
ここで、境界を含む一定の領域に対応する圧縮対象の領域とは、物体の動きの検出などに用いられた画像（スキャンフォーカスによって撮像された画像）と、圧縮対象の画像を同じ大きさにして較べたときに、動きの少ない物体と動きの多い物体の境界を含む一定の領域と同じ位置、同じ範囲の、圧縮対象の画像の領域をいう。
【００４１】
これにより、動きの多い物体と、それより手前にある動きの少ない物体との境界部分の画質を向上させることが可能となる。
【００４２】
また、撮像装置１は、動きの多い物体が写っている領域に対応する圧縮対象の画像の領域に、標準の量より少ない量のデータを割り振って圧縮を行う。
【００４３】
このようなデータの割り振りは動画の記録に用いる画像の撮像前に行われるスキャンフォーカスによって撮像された画像に基づいて決定されるから、このような、画質を向上させるためのデータの割り振りを、動画の圧縮開始直後の１GOP目から最適化することができる。
【００４４】
以上のようにして撮像を行う撮像装置１の一連の処理についてはフローチャートを参照して後述する。
【００４５】
図４は、撮像装置１のハードウエア構成例を示すブロック図である。
【００４６】
可変焦点レンズ１１は、被写体からの光を取り込み、取り込んだ光をCMOSイメージセンサ１２に導く。可変焦点レンズ１１は複数のレンズから構成され、その位置関係が調整されることによって合焦距離が制御される。合焦距離の制御はレンズ駆動回路２１により行われる。
【００４７】
CMOSイメージセンサ１２は、可変焦点レンズ１１を介して入射した光を受光して光電変換を行い、受光量に応じたアナログの画像信号をADC(Analog Digital Converter)１３に出力する。
【００４８】
ADC１３は、CMOSイメージセンサ１２から供給された画像信号をA/D変換し、デジタルの画像データを画像メモリ１４に出力する。ADC１３においては、CMOSイメージセンサ１２から供給された画像信号に対して相関二重サンプリング処理、ゲインコントロール処理なども施される。
【００４９】
画像メモリ１４は、ADC１３から供給された画像データを記憶する。画像メモリ１４に記憶された画像データは動画処理回路１５と画像信号処理回路１８により適宜読み出される。
【００５０】
動画処理回路１５は、マイクロコントローラ２０による制御に従って動画の記録、再生を行う。
【００５１】
例えば、動画処理回路１５は、動画を記録するとき、画像メモリ１４に記憶されている画像データに基づいて所定のフォーマットの動画データを生成し、圧縮した動画データを記録デバイス１６に出力する。動画データを圧縮する際、動画処理回路１５は、マイクロコントローラ２０による制御に従ってそれぞれの領域にデータを割り振って圧縮を行う。
【００５２】
また、動画処理回路１５は、動画を再生するとき、記録デバイス１６から読み出した動画データを再生して得られた画像信号をモニタ１７に出力する。さらに、動画処理回路１５は、画像メモリ１４に記憶されている画像データに基づいて、取り込み中の画像をモニタ１７に表示させることも行う。
【００５３】
記録デバイス１６は、テープ、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)などよりなり、動画処理回路１５から供給された、圧縮済みの動画データを記録する。
【００５４】
モニタ１７はLCD(Liquid Crystal Display)などよりなり、動画処理回路１５から供給された画像信号に基づいて取り込み中の画像などを表示する。
【００５５】
画像信号処理回路１８は、スキャンフォーカスによって撮像された可変範囲の全範囲分の、合焦距離がそれぞれ異なる複数の画像のデータが画像メモリ１４に記憶されたとき、画像メモリ１４に記憶されている画像データを読み出し、それぞれの画像から合焦領域を検出する。画像信号処理回路１８は、合焦領域の画像内の位置、範囲などの、合焦領域に関する情報をマイクロコントローラ２０に出力する。
【００５６】
メモリ１９は、画像信号処理回路１８が処理を行う上で必要なデータを記憶する。
【００５７】
マイクロコントローラ２０は、所定のプログラムを実行し、動画処理回路１５、レンズ駆動回路２１を制御して動画の記録、再生などの各種の処理を行う。
【００５８】
例えば、マイクロコントローラ２０は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。また、マイクロコントローラ２０は、画像信号処理回路１８から供給された合焦領域に関する情報と、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいてプレーン情報を生成する。
【００５９】
レンズ駆動回路２１は、マイクロコントローラ２０による制御に従ってモータを駆動させ、可変焦点レンズ１１を構成する各レンズの位置を移動させる。例えば、レンズ駆動回路２１は、最も短い距離から最も長い距離まで合焦距離が順次ずれるように各レンズの位置を移動させ、スキャンフォーカスを行う。
【００６０】
図５は、撮像装置１の機能構成例を示すブロック図である。図５に示す機能部のうちの少なくとも一部は、図４のマイクロコントローラ２０により所定のプログラムが実行されることによって実現される。
【００６１】
図５に示されるように、撮像装置１においてはスキャンフォーカス制御部３１、プレーン情報管理部３２、および記録制御部３３が実現される。
【００６２】
スキャンフォーカス制御部３１は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。スキャンフォーカスは、上述したように、動画の記録を開始することが指示されることに応じて、時間をずらして少なくとも２回行われる。スキャンフォーカス制御部３１は、スキャンフォーカスによってそれぞれの画像を撮像したときの合焦距離の情報をプレーン情報管理部３２に出力する。
【００６３】
図６は、スキャンフォーカスを行うときの可変焦点レンズ１１の制御の例を示す図である。この例においては、スキャンフォーカスが２回行われるものとされている。
【００６４】
図６の横軸は時刻を表し、縦軸は可変焦点レンズ１１の合焦距離を表す。図６の例においては、可変焦点レンズ１１の合焦距離の可変範囲は距離ｙ0から距離ｙ2（無限遠）までの範囲とされている。距離ｙ1は、動画の記録を開始することが指示されたときに設定されていた合焦距離である。
【００６５】
スキャンフォーカス制御部３１は、スキャンフォーカスを開始するとき、そのとき設定されている合焦距離である距離ｙ1を記憶し、合焦距離が距離ｙ0になるように可変焦点レンズ１１を制御する。スキャンフォーカス制御部３１は、合焦距離が距離ｙ0になったとき、合焦距離を距離ｙ2まで所定の間隔で変えながら連続して撮像を行わせる。距離ｙ0から開始されるのではなく、スキャンフォーカスを開始するときに設定されていた合焦距離からスキャンフォーカスが開始されるようにしてもよい。
【００６６】
図６の例においては、時刻ｔ0から時刻ｔ1までの間に１回目のスキャンフォーカスが行われている。時刻ｔ0から時刻ｔ1までの間に示されるそれぞれの矢印のタイミングで１回ずつ撮像が行われ、これにより、合焦距離の異なる複数の画像が１回のスキャンフォーカスによって撮像される。スキャンフォーカス制御部３１からプレーン情報管理部３２に対しては、それぞれの矢印のタイミングにおける合焦距離の情報が通知される。
【００６７】
スキャンフォーカスによって撮像された画像は、順次、画像メモリ１４に記憶される。全ての画像が画像メモリ１４に記憶されたとき、画像信号処理回路１８においては、それぞれの画像から合焦領域が検出される。
【００６８】
１回目のスキャンフォーカスが終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離を、スキャンフォーカスの開始前に記憶しておいた距離ｙ1に復帰させ、その後、所定の期間だけ、モニタ１７に表示させるのに用いる画像の撮像を行う。
【００６９】
図６の例においては、時刻ｔ1から時刻ｔ2までの間に、可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させることが行われ、その後の時刻ｔ2から時刻ｔ3までの間に画像の撮像が行われている。時刻ｔ2から時刻ｔ3までの間に撮像された画像はモニタ１７に表示され、これにより、ユーザは、取り込み中の画像を確認することができる。
【００７０】
モニタ１７に表示させるのに用いる画像の撮像が終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離をスキャンフォーカスの開始時の距離である距離ｙ0に移動させ、その後、２回目のスキャンフォーカスを開始する。なお、モニタ１７に表示させるのに用いる画像の撮像を省略し、スキャンフォーカスが続けて行われるようにすることも可能である。
【００７１】
図６の例においては、時刻ｔ3から時刻ｔ4までの間に可変焦点レンズ１１の合焦距離が距離ｙ0まで移動され、時刻ｔ4において２回目のスキャンフォーカスが開始されている。２回目のスキャンフォーカスが終わった時刻ｔ5から時刻ｔ6までの間に、可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させることが行われ、その後、記録デバイス１６に記録する画像の撮像が開始される。時刻ｔ6以降に撮像された画像に基づいて動画データが生成され、圧縮された後、圧縮済みの動画データが記録デバイス１６に記録される。可変焦点レンズ１１の合焦距離を距離ｙ1に復帰させる時刻ｔ5から時刻ｔ6までの間に、合焦領域の検出や各領域に対するデータの割り振りなどが決定されるようにしてもよい。
【００７２】
図５の説明に戻り、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を記録制御部３３に出力する。
【００７３】
記録制御部３３は、プレーン情報管理部３２から供給されたプレーン情報を参照して、撮像範囲に含まれるそれぞれの物体までの距離を判断する。また、記録制御部３３は、それぞれの物体の動きの量を検出し、上述したように、撮像範囲の状況が、動きの少ない物体の背景に動きの多い物体が写るような状況である場合、動きの少ない物体と動きの多い物体の境界を含む一定の領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行うように、動画処理回路１５において行われる動画の記録を制御する。
【００７４】
図７は、図５の記録制御部３３の構成例を示すブロック図である。
【００７５】
図７に示されるように、記録制御部３３は、動き検出部４１、および動画圧縮制御部４２から構成される。
【００７６】
動き検出部４１は、プレーン情報管理部３２から供給されたプレーン情報を参照し、１回目のスキャンフォーカスによって撮像された画像と、２回目のスキャンフォーカスによって撮像された画像のうちの、同じ距離を合焦距離として撮像されたそれぞれの画像から検出された合焦領域の差分に基づいて、撮像範囲に含まれるそれぞれの物体の動きの量を検出する。動き検出部４１は、検出した動きの量を表す情報を、プレーン情報とともに動画圧縮制御部４２に出力する。
【００７７】
図８は、撮像の他の様子を示す図である。
【００７８】
図８の例においては、撮像装置１は白抜き矢印で示される方向に移動する電車の中に持ち込まれており、車内から、光軸を窓Ｗの外に向けて撮像するように設置されている。窓Ｗの手前には撮像装置１から距離Ｄ1だけ離れた位置に人物が存在し、窓Ｗの外の風景を背景として人物を撮像するような構図が選択されている。図８のタイミングでは、人物の背景に木が写ることになる。撮像装置１から電車の壁面までは距離Ｄ11だけ離れており、撮像装置１から車外の木までは距離Ｄ12だけ離れている。
【００７９】
例えば、このような状況で時間をずらしてスキャンフォーカスが２回行われた場合、それぞれのスキャンフォーカスによって撮像された画像からは、図９に示されるように、人物が合焦している合焦領域、人物が撮像装置１側を向いているとすると、人物の背中に対向する、窓Ｗを含む電車の壁面が合焦している合焦領域、および、木が合焦している合焦領域が検出される。
【００８０】
図９の上段に示される画像Ｐ11，Ｐ12，Ｐ13は、１回目のスキャンフォーカスによって撮像された画像を示し、下段に示される画像Ｐ21，Ｐ22，Ｐ23は、１回目のスキャンフォーカスと時間をずらして行われた２回目のスキャンフォーカスによって撮像された画像を示している。画像Ｐ11と画像Ｐ21は、合焦距離を同じ距離Ｄ1として撮像された画像であり、画像Ｐ12と画像Ｐ22は、合焦距離を同じ距離Ｄ11として撮像された画像である。画像Ｐ13と画像Ｐ23は、合焦距離を同じ距離Ｄ12として撮像された画像である。
【００８１】
１回目のスキャンフォーカスによって撮像された画像Ｐ11，Ｐ12，Ｐ13のうちの画像Ｐ11からは、人物が合焦している領域である領域Ａ11が検出され、画像Ｐ12からは、電車の壁面が合焦している領域である領域Ａ12が検出されている。画像Ｐ13からは、木が合焦している領域である領域Ａ13が検出されている。
【００８２】
また、２回目のスキャンフォーカスによって撮像された画像Ｐ21，Ｐ22，Ｐ23のうちの画像Ｐ21からは、人物が合焦している領域である領域Ａ21が検出され、画像Ｐ22からは、電車の壁面が合焦している領域である領域Ａ22が検出されている。画像Ｐ23からは、木が合焦している領域である領域Ａ23が検出されている。画像Ｐ23から検出された領域Ａ23の大きさは、画像Ｐ13が撮像されてから画像Ｐ23が撮像されるまでの間に電車が進み、窓Ｗの外の風景が変わることによって、画像Ｐ13から検出された領域Ａ13より小さいものになっている。
【００８３】
このような合焦領域の検出が行われたことがプレーン情報管理部３２から供給されたプレーン情報によって表されている場合、動き検出部４１は、合焦距離を同じ距離Ｄ1として撮像された画像である画像Ｐ11と画像Ｐ21から検出された合焦領域である領域Ａ11と領域Ａ21の差分に基づいて、領域Ａ11と領域Ａ21において合焦している物体（人物）の動きの量を検出する。この例においては、ほとんど動いていないことが動き検出部４１により検出される。
【００８４】
また、動き検出部４１は、合焦距離を同じ距離Ｄ11として撮像された画像である画像Ｐ12と画像Ｐ22から検出された合焦領域である領域Ａ12と領域Ａ22の差分に基づいて、領域Ａ12と領域Ａ22において合焦している物体（電車の壁面）の動きの量を検出する。この例においては、ほとんど動いていないことが動き検出部４１により検出される。
【００８５】
さらに、動き検出部４１は、合焦距離を同じ距離Ｄ12として撮像された画像である画像Ｐ13と画像Ｐ23から検出された合焦領域である領域Ａ13と領域Ａ23の差分に基づいて、領域Ａ13と領域Ａ23において合焦している物体（木）の動きの量を検出する。この例においては、所定の量だけ右方向に移動していることが動き検出部４１により検出される。
【００８６】
なお、木の周りや後ろにある物体も、木と同じ量だけ動きがあることがスキャンフォーカスによって撮像された画像から動き検出部４１により検出される。すなわち、窓Ｗの枠の内側の領域に写る物体全体が、動きのある物体として検出されることになる。
【００８７】
例えば、このようにして検出されたそれぞれの物体の動きの量を表す情報が、検出結果として動き検出部４１から動画圧縮制御部４２に出力される。
【００８８】
なお、１つの画像から複数の合焦領域が検出されることもあるが、プレーン情報を参照することにより、合焦領域の位置や範囲だけでなく、物体までの距離にも基づいて判断することが可能であるため、例えば、領域Ａ11において合焦している物体と領域Ａ21において合焦している物体が同じ物体であると判断することができ、動き検出部４１は、それぞれの物体の動きを容易に検出することができる。
【００８９】
図７の説明に戻り、動画圧縮制御部４２は、動き検出部４１から供給されたプレーン情報に基づいて、撮像範囲に含まれるそれぞれの物体までの距離を判断し、物体の前後関係を確認する。
【００９０】
例えば、図９に示されるような合焦領域の検出が行われたことがプレーン情報によって表されている場合、動画圧縮制御部４２は、領域Ａ11，Ａ21において合焦している物体（人物）が最も手前にあり、その後ろに領域Ａ12，Ａ22において合焦している物体（電車の壁面）があり、さらにその後ろに領域Ａ13，Ａ23において合焦している物体（木）があるといったことを確認することになる。
【００９１】
また、動画圧縮制御部４２は、動きの少ない物体の背景として動きの多い物体が写っている場合には、動きの少ない物体と動きの多い物体の境界を含む一定の領域に対応する圧縮対象の画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行うように、動画処理回路１５において行われる圧縮を制御する。
【００９２】
図１０は、圧縮対象の画像に対するデータの割り振りの例を示す図である。
【００９３】
図９に示されるような合焦領域の検出が行われ、プレーン情報に基づいて、領域Ａ11，Ａ21において合焦している物体が最も手前にあり、その後ろに領域Ａ12，Ａ22において合焦している物体があり、さらにその後ろに領域Ａ13，Ａ23において合焦している物体があるといったことを確認している場合、動画圧縮制御部４２は、窓Ｗの内側の領域に写る物体の動きの量が、閾値としてあらかじめ設定されている量より多いときには、図１０に示されるように、圧縮対象の画像に領域Ａ31を設定し、領域Ａ31に対して標準の量より多くの量のデータを割り振って動画処理回路１５に圧縮を行わせる。
【００９４】
領域Ａ31は、最も手前にある物体である人物と最も後ろにある物体の境界を含む領域と、人物の後ろにある物体である車体の壁面と最も後ろにある物体の境界を含む領域に対応する、圧縮対象の画像の領域である。
【００９５】
これにより、人物が動かないとすると、人物と風景の境界部分、窓Ｗの枠と風景の境界部分には多くのデータが割り振られて圧縮が行われ、その部分の画質が向上することになる。
【００９６】
また、動画圧縮制御部４２は、動きの多い物体が写っている領域として判断した窓Ｗの枠の内側の領域に対応する圧縮対象の画像の領域であって、領域Ａ31を除く領域を領域Ａ32として設定し、領域Ａ32に対して標準の量より少ない量のデータを割り振って動画処理回路１５に圧縮を行わせる。
【００９７】
動きの少ない物体の背景となっているような物体は、特に、その動きが多いときには、視聴時にユーザがそれほど注目しない物体と考えられるから、このように、動きの多い物体に割り振られるデータの量を減らすことにより、ユーザが感じる画質を極端に落とすことなくデータの量を削減することができる。
【００９８】
動画圧縮制御部４２においては、動画処理回路１５により行われる動画の圧縮がこのようにして制御される。なお、圧縮対象の画像がＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれの画像であっても同様の圧縮が行われる。
【００９９】
ここで、以上のような構成を有する撮像装置１の処理について説明する。
【０１００】
はじめに、図１１のフローチャートを参照して、スキャンフォーカスを行う撮像装置１の処理について説明する。
【０１０１】
ステップＳ１において、スキャンフォーカス制御部３１は、現在の合焦距離を記憶する。ここで記憶された合焦距離は、スキャンフォーカスが終わったときに合焦距離を元に戻すときに用いられる。
【０１０２】
ステップＳ２において、CMOSイメージセンサ１２は、プレーン情報を生成するのに用いられるプレーン情報生成用の画像を撮像する。このときの合焦距離は、所定の距離にスキャンフォーカス制御部３１により調整されている。撮像によって得られた画像データは画像メモリ１４に記憶される。
【０１０３】
ステップＳ３において、スキャンフォーカス制御部３１は、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したか否かを判定する。
【０１０４】
ステップＳ３において可変範囲の全範囲でプレーン情報生成用の画像を撮像していないと判定した場合、スキャンフォーカス制御部３１は、ステップＳ４において、レンズ駆動回路２１を制御して、合焦距離を例えば長くなる方向に所定の間隔だけずらす。合焦距離の情報はスキャンフォーカス制御部３１からプレーン情報管理部３２に出力される。その後、ステップＳ２に戻り、それ以降の処理が繰り返される。
【０１０５】
一方、ステップＳ３において最も短い距離から長い距離まで、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したと判定した場合、すなわち、１回のスキャンフォーカスが終わったと判定した場合、ステップＳ５において、スキャンフォーカス制御部３１は、２回などの、あらかじめ設定された回数だけスキャンフォーカスを行ったか否かを判定する。スキャンフォーカスが終わる毎に、必要に応じて、モニタ１７の表示に用いられる画像の撮像が行われる。
【０１０６】
ステップＳ５においてあらかじめ設定された回数だけスキャンフォーカスを行っていないと判定した場合、スキャンフォーカス制御部３１は、ステップＳ２以降の処理を繰り返す。
【０１０７】
一方、ステップＳ５においてあらかじめ設定された回数だけスキャンフォーカスを行ったと判定した場合、ステップＳ６において、スキャンフォーカス制御部３１は、ステップＳ１で記憶しておいた合焦距離に可変焦点レンズ１１の合焦距離を戻す。
【０１０８】
ステップＳ７において、画像信号処理回路１８は、スキャンフォーカスによって撮像された画像データを画像メモリ１４から読み出し、プレーン情報生成用のそれぞれの画像から合焦領域を検出する。画像信号処理回路１８により検出された合焦領域に関する情報は画像信号処理回路１８からプレーン情報管理部３２に出力される。
【０１０９】
ステップＳ８において、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を記録制御部３３に出力する。その後、動画の記録に用いる画像の撮像が開始される。
【０１１０】
次に、図１２のフローチャートを参照して、動画を記録する撮像装置１の処理について説明する。
【０１１１】
この処理は図１１の処理が終了したときに開始される。図１１を参照して説明した処理によって生成されたプレーン情報はプレーン情報管理部３２から記録制御部３３の動き検出部４１に供給される。動画の記録に用いるものとしてCMOSイメージセンサ１２により撮像された画像は画像メモリ１４に記憶される。
【０１１２】
ステップＳ２１において、動き検出部４１は、プレーン情報管理部３２から供給されたプレーン情報を参照し、１回目のスキャンフォーカスによって撮像された画像と、２回目のスキャンフォーカスによって撮像された画像のうちの、同じ距離を合焦距離として撮像されたそれぞれの画像から検出された合焦領域の差分に基づいて、撮像範囲に含まれるそれぞれの物体の動きの量を検出する。
【０１１３】
ステップＳ２２において、動画圧縮制御部４２は、撮像範囲に含まれるそれぞれの物体までの距離をプレーン情報に基づいて判断し、物体の前後関係を確認する。
【０１１４】
ステップＳ２３において、動画圧縮制御部４２は、撮像範囲の状況が、動きの少ない物体の背景として動きの多い物体が写っているような状況であるか否かを判定する。
【０１１５】
ステップＳ２３において動きの少ない物体の背景として動きの多い物体が写っているような状況ではないと判定した場合、動画圧縮制御部４２は、ステップＳ２４において、動画処理回路１５を制御し、標準の割り振りどおりにデータを割り振って動画の圧縮を行わせる。例えば、所定のデータを各領域に均等に割り振ることが標準の割り振りとしてあらかじめ設定されている場合、そのようにしてデータが割り振られ、圧縮が行われる。
【０１１６】
一方、撮像範囲の状況が図８に示されるような状況であることから、ステップＳ２３において動きの少ない物体の背景として動きの多い物体が写っているような状況であると判定した場合、動画圧縮制御部４２は、ステップＳ２５において、動画処理回路１５を制御し、動きの少ない物体と動きの多い物体の境界を含む一定の領域に対応する圧縮対象の１フレームの画像の領域に、標準の量より多くの量のデータを割り振って圧縮を行わせる。また、動画圧縮制御部４２は、動画処理回路１５を制御し、動きの多い物体が写っている領域に対応する圧縮対象の１フレームの画像の領域に対して標準の量より少ない量のデータを割り振って圧縮を行わせる。
【０１１７】
ステップＳ２６において、動画処理回路１５は、画像メモリ１４に記憶されている画像データに基づいて動画データを生成し、動画圧縮制御部４２による制御に従って圧縮した動画データを記録デバイス１６に記録させる。動画の記録を終了することがユーザにより指示されたとき、処理は終了される。
【０１１８】
以上においては、物体の動きの量に応じてデータの割り振りが決定されるものとしたが、物体の動きが複雑であるか単純であるかに応じてデータの割り振りが決定されるようにしてもよい。
【０１１９】
以上においては、記録開始ボタンが押され、動画の記録を開始することが指示されることに応じてスキャンフォーカスが行われるものとしたが、記録開始ボタンにユーザの指が触れたことが検出されることに応じてスキャンフォーカスが行われるようにしてもよい。ユーザの指が触れたか否かは、例えば、記録開始ボタンに設けられる静電センサによって検出される。
【０１２０】
これにより、記録開始ボタンが押されることに応じてスキャンフォーカスが行われる場合に較べて、ユーザが記録開始ボタンを押したときと実際に動画の記録が開始されるときに遅延が発生してしまうのを防ぐことができる。
【０１２１】
また、以上においては、可変範囲の全範囲分の画像の撮像が終わってから、それぞれの画像から合焦領域が検出されるものとしたが、合焦距離を変えて１フレームの画像の撮像が行われる毎に、撮像された画像を対象として合焦領域が検出されるようにしてもよい。
【０１２２】
この場合、CMOSイメージセンサ１２はX-Yアドレス型の撮像素子であり、所定の画素の画素値を表す信号だけを出力するといったことが可能であるから、１回のスキャンフォーカスにおいて行う複数回の撮像のうちの２回目以降の撮像においては、既に合焦領域として検出された領域に対応する画素の信号を取り込まずに、合焦領域としてまだ検出されていない領域に対応する画素の信号だけを取り込むといったような撮像がCMOSイメージセンサ１２により行われるようにしてもよい。
【０１２３】
例えば、図３の画像Ｐ1乃至Ｐ3がその順番で撮像される場合、画像Ｐ2の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素の信号は取り込まれず、画像Ｐ3の撮像時には、その前に撮像された画像Ｐ1から検出された領域Ａ1に対応する画素と、画像Ｐ２から検出された領域Ａ２に対応する画素の信号は取り込まれない。
【０１２４】
これにより、取り込みの対象となる画素の信号の数を減らすことができるから、スキャンフォーカスにかかる時間を短縮することができる。
【０１２５】
以上においては、撮像装置１がデジタルビデオカメラであるものとしたが、デジタルスチルカメラにおいて以上のようなスキャンフォーカスや、圧縮時のデータの割り振りの制御が行われるようにしてもよい。
【０１２６】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な機器に、プログラム記録媒体からインストールされる。
【０１２７】
上述した処理を実行させるプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２８】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２９】
【図１】本発明の一実施形態に係る撮像装置による撮像の様子を示す図である。
【図２】合焦距離を変えて撮像した画像の例を示す図である。
【図３】図２の画像から検出される合焦領域の例を示す図である。
【図４】撮像装置のハードウエア構成例を示すブロック図である。
【図５】撮像装置の機能構成例を示すブロック図である。
【図６】可変焦点レンズの制御の例を示す図である。
【図７】図５の記録制御部の構成例を示すブロック図である。
【図８】撮像装置による撮像の他の様子を示す図である。
【図９】合焦領域の例を示す図である。
【図１０】データの割り振りの例を示す図である。
【図１１】撮像装置のスキャンフォーカス処理について説明するフローチャートである。
【図１２】撮像装置の動画記録処理について説明するフローチャートである。
【符号の説明】
【０１３０】
１  撮像装置，  １１  可変焦点レンズ，  １２  CMOSイメージセンサ，  １５  動画処理回路，  １８  画像信号処理回路，  ２０  マイクロコントローラ，  ２１  レンズ駆動回路，  ３１  スキャンフォーカス制御部，  ３２  プレーン情報管理部，  ３３  記録制御部，  ４１  動き検出部，  ４２  動画圧縮制御部
【図１】
2008199384.tif 000003
【図２】
2008199384.tif 000004
【図３】
2008199384.tif 000005
【図４】
2008199384.tif 000006
【図５】
2008199384.tif 000007
【図６】
2008199384.tif 000008
【図７】
2008199384.tif 000009
【図８】
2008199384.tif 000010
【図９】
2008199384.tif 000011
【図１０】
2008199384.tif 000012
【図１１】
2008199384.tif 000013
【図１２】
2008199384.tif 000014