(57)【要約】【課題】  画質の劣化を抑えるとともに、メイン被写体がブレない良好が画像を得ることができる撮像装置及びそのプログラムを実現する。【解決手段】  シャッタボタンが半押しされると顔検出処理を行う（Ｓ３）。そして、顔検出処理によって複数の顔が検出され（Ｓ５でＹ）、該検出された顔の中に登録された人物の顔があると認識された場合は（Ｓ７でＹ）、該認識された被写体をメイン被写体と判断し、該認識された顔の動きを検出する処理を開始する（Ｓ８）。一方、顔検出処理によって１つの顔が検出された場合（Ｓ５でＮ）、複数の顔が検出されたが登録された人物の顔があると認識されなかった場合は（Ｓ７でＮ）、該検出された顔をメイン被写体と判断し、該検出された顔の動きを検出する処理を開始する（Ｓ９）。そして、シャッタボタンが全押しされ、検出された動き量が所定量以上であると（Ｓ１２でＹ）、感度式ブレ軽減処理を行う（Ｓ１４）【選択図】  図２
2008301355.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段により撮像された画像データ内に顔があるか否かを検出する顔検出手段と、
前記撮像手段により撮像される画像データに基づいて、前記顔検出手段により検出された顔のブレ量を検出する顔ブレ検出手段と、
前記顔ブレ検出手段により検出されたブレ量に基づいて、ブレ軽減を行なうブレ軽減手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記顔検出手段は、
前記撮像手段により撮像された画像データの所定領域内に顔があるか否かを検出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記所定領域は、
画角の中央領域、又は、ユーザによって任意に指定された領域であることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記ブレ軽減手段は、
撮影感度を上げると共にシャッタ速度を速くするという感度式ブレ軽減を行なうことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
前記ブレ軽減手段は、
前記顔ブレ検出手段により検出されたブレ量が所定量より多い場合に、ブレ軽減を行なうことを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項６】
前記ブレ軽減手段は、
前記顔ブレ検出手段により検出されたブレ量に応じて、ブレ軽減の度合いを強くすることを特徴とする請求項１乃至５の何れかに記載の撮像装置。
【請求項７】
前記顔検出手段は、
前記撮像手段により撮像された画像データ内に、予め登録された人物の顔があるか否かを検出する手段を含み、
前記顔ブレ検出手段は、
前記撮像手段により撮像される画像データに基づいて、前記顔検出手段により検出された予め登録された人物の顔のブレ量を検出することを特徴とする請求項１乃至６の何れかに記載の撮像装置。
【請求項８】
前記顔検出手段は、
前記撮像手段により撮像された画像データ内に複数の顔があると検出された場合のみ、予め登録された人物の顔があるか否かを検出することを特徴とする請求項７記載の撮像装置。
【請求項９】
前記顔ブレ検出手段は、
前記顔検出手段により予め登録された人物の顔が検出された場合は、該検出された予め登録された人物の顔のブレ量を検出し、前記顔検出手段により予め登録された人物の顔が検出されず、且つ、顔が検出された場合は、該検出された顔のブレ量を検出することを特徴とする請求項７記載の撮像装置。
【請求項１０】
前記撮像手段により撮像される画像データの所定の領域のブレ量を検出するブレ検出手段を備え、
前記ブレ軽減手段は、
前記顔検出手段により顔が検出されなかった場合は、前記ブレ検出手段により検出された所定の領域のブレ量に基づいて、ブレ軽減を行なうことを特徴とする請求項１乃至９の何れかに記載の撮像装置。
【請求項１１】
前記ブレ検出手段は、
画像データの複数の領域のブレ量を検出し、
前記ブレ軽減手段は、
前記顔検出手段により顔が検出されなかった場合は、前記ブレ検出手段により検出された各領域のブレ量に基づいてブレ軽減を行なうことを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記顔ブレ検出手段と、前記ブレ検出手段は、
動きベクトルを検出することによりブレ量を検出することを特徴とする請求項１乃至１１の何れかに記載の撮像装置。
【請求項１３】
前記撮像手段を用いて静止画撮影を行なう静止画撮影制御手段を備え、
前記ブレ軽減手段は、
前記静止画撮影制御手段により撮像される静止画像データに対してブレ軽減を行なうことを特徴とする請求項１乃至１２の何れかに記載の撮像装置。
【請求項１４】
被写体を撮像する撮像処理と、
前記撮像処理により撮像された画像データ内に顔があるか否かを検出する顔検出処理と、
前記撮像処理により撮像される画像データに基づいて、前記顔検出処理により検出された顔のブレ量を検出する顔ブレ検出処理と、
前記顔ブレ検出処理により検出されたブレ量に基づいて、ブレ軽減を行なうブレ軽減処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びそのプログラムに係り、詳しくは、被写体のブレを抑える撮像装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置、例えば、デジタルカメラにおいては、被写体の動きが速い場合には、撮影感度を上昇させ、シャッタスピードを速くすることにより、ブレのない画像データを得るという技術が登場した（特許文献１）。
【０００３】
【特許文献１】公開特許公報  特開２００４−１２０５７６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献によれば、ブレのない画像データを得ることはできるが、撮像された何れかの被写体に動きがある場合は撮影感度を上昇させてシャッタ速度を速くしてしまうため、撮影者が真に撮影したいメイン被写体とは何ら関係のない被写体の動きによって、撮影感度が上昇してしまい画質が劣化してしまっていた。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、画質の劣化を抑えるとともに、メイン被写体がブレない良好な画像を得ることができる撮像装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による撮像装置は、被写体を撮像する撮像手段と、
前記撮像手段により撮像された画像データ内に顔があるか否かを検出する顔検出手段と、
前記撮像手段により撮像される画像データに基づいて、前記顔検出手段により検出された顔のブレ量を検出する顔ブレ検出手段と、
前記顔ブレ検出手段により検出されたブレ量に基づいて、ブレ軽減を行なうブレ軽減手段と、
を備えたことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、前記顔検出手段は、
前記撮像手段により撮像された画像データの所定領域内に顔があるか否かを検出するようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記所定領域は、
画角の中央領域、又は、ユーザによって任意に指定された領域であるようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、前記ブレ軽減手段は、
撮影感度を上げると共にシャッタ速度を速くするという感度式ブレ軽減を行なうようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記ブレ軽減手段は、
前記顔ブレ検出手段により検出されたブレ量が所定量より多い場合に、ブレ軽減を行なうようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、前記ブレ軽減手段は、
前記顔ブレ検出手段により検出されたブレ量に応じて、ブレ軽減の度合いを強くするようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、前記顔検出手段は、
前記撮像手段により撮像された画像データ内に、予め登録された人物の顔があるか否かを検出する手段を含み、
前記顔ブレ検出手段は、
前記撮像手段により撮像される画像データに基づいて、前記顔検出手段により検出された予め登録された人物の顔のブレ量を検出するようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記顔検出手段は、
前記撮像手段により撮像された画像データ内に複数の顔があると検出された場合のみ、予め登録された人物の顔があるか否かを検出するようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記顔ブレ検出手段は、
前記顔検出手段により予め登録された人物の顔が検出された場合は、該検出された予め登録された人物の顔のブレ量を検出し、前記顔検出手段により予め登録された人物の顔が検出されず、且つ、顔が検出された場合は、該検出された顔のブレ量を検出するようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記撮像手段により撮像される画像データの所定の領域のブレ量を検出するブレ検出手段を備え、
前記ブレ軽減手段は、
前記顔検出手段により顔が検出されなかった場合は、前記ブレ検出手段により検出された所定の領域のブレ量に基づいて、ブレ軽減を行なうようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記ブレ検出手段は、
画像データの複数の領域のブレ量を検出し、
前記ブレ軽減手段は、
前記顔検出手段により顔が検出されなかった場合は、前記ブレ検出手段により検出された各領域のブレ量に基づいてブレ軽減を行なうようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、前記顔ブレ検出手段と、前記ブレ検出手段は、
動きベクトルを検出することによりブレ量を検出するようにしてもよい。
【００１８】
また、例えば、請求項１３に記載されているように、前記撮像手段を用いて静止画撮影を行なう静止画撮影制御手段を備え、
前記ブレ軽減手段は、
前記静止画撮影制御手段により撮像される静止画像データに対してブレ軽減を行なうようにしてもよい。
【００１９】
上記目的達成のため、請求項１４記載の発明によるプログラムは、被写体を撮像する撮像処理と、
前記撮像処理により撮像された画像データ内に顔があるか否かを検出する顔検出処理と、
前記撮像処理により撮像される画像データに基づいて、前記顔検出処理により検出された顔のブレ量を検出する顔ブレ検出処理と、
前記顔ブレ検出処理により検出されたブレ量に基づいて、ブレ軽減を行なうブレ軽減処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、画質の劣化を抑えるとともに、メイン被写体がブレない良好な画像を得ることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［実施の形態］
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り兼用シャッタ４、ＣＣＤ５、垂直ドライバ６、ＴＧ（timing generator）７、ユニット回路８、ＤＭＡコントローラ（以下、ＤＭＡという）９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、ＤＭＡ１４、動きベクトル検出部１５、ＤＭＡ１６、画像生成部１７、ＤＭＡ１８、ＤＭＡ１９、表示部２０、ＤＭＡ２１、圧縮伸張部２２、ＤＭＡ２３、フラッシュメモリ２４、バス２５を備えている。
【００２２】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮影レンズ２には、レンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ（図示略）と、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ（図示略）とから構成されている。
【００２３】
絞り兼用シャッタ４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り兼用シャッタ４を動作させる。この絞り兼用シャッタ４は、絞り、シャッタとして機能する。
絞りとは、ＣＣＤ５に入射される光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ５に光を当てる時間を制御する機構のことをいい、ＣＣＤ５に光を当てる時間（露光時間）は、シャッタ速度によって変わってくる。
【００２４】
ＣＣＤ５は、垂直ドライバ６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。この垂直ドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０によって制御される。
【００２５】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５によって得られた撮像信号はユニット回路８を経た後、ＤＭＡ９によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ１３）に記憶される。
【００２６】
ＣＰＵ１０は、ＡＥ処理、ＡＦ処理などを行う機能を有すると共に、デジタルカメラ１の各部を制御するワンチップマイコンである。
特に、ＣＰＵ１０は、被写体の顔を検出する顔検出部１０１、動きベクトル検出部１５によって検出された動きベクトル（ブレ量）に応じて感度式ブレ軽減を行なう感度式ブレ軽減部１０２を含む。この顔検出部１０１は、人の顔が画像データ内にあるかを検出する顔検出処理と、該検出された顔が具体的に誰の顔であるかを認識する顔認識処理とを行なう。
ここで、感度式ブレ軽減とは、ＣＣＤなどの撮像素子の感度を上げ、シャッタ速度を速めることによりブレを軽減するものである。ここで、「感度を上げ」となっているが、要は画像を明るくさせる作用のことをいい、ＣＣＤ５から出力された撮像信号のゲインを上げることによって感度を上げる方法や、ＣＣＤ５を画素加算駆動させたり、ＣＣＤ５から出力された撮像信号に対して画素加算処理を実行することにより感度を上げる方法であってもよい。
【００２７】
キー入力部１１は、半押し操作全押し操作可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０がデジタルカメラ1の各部を制御するのに必要な制御プログラム（例えば、ＡＥ、ＡＦ処理に必要なプログラム）、及び必要なデータ（ＡＥプログラム線図等）が記録されており、ＣＰＵ１０は、該プログラムに従い動作する。
【００２８】
ＤＲＡＭ１３は、ＣＣＤ５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとしても使用される。
【００２９】
ＤＭＡ１４は、バッファメモリに記憶されているベイヤーデータ若しくは輝度色差信号の画像データを読み出して、動きベクトル検出部１５に出力するものである。
動きベクトル検出部１５は、フレーム（画像データ）のある領域の動きベクトルを検出するものであり、代表点マッチング法や、ブロックマッチング法などを用いて該画像データの動きベクトル（動き量）を検出する。また、この動きベクトルを検出するには、ある領域を含むフレームと、その後に撮像されたフレームとに基づいて動きベクトルを検出するので、撮像されたフレームを一定時間保持する記憶回路も含む。この検出された動きベクトルは、ＤＭＡ１４を介してＣＰＵ１０に送られる。これにより、該ある領域のブレ量を良好に検出することができる。
【００３０】
ＤＭＡ１６は、バッファメモリ（ＤＲＡＭ１３）に記憶されたベイヤーデータの画像データを読み出して画像生成部１７に出力するものである。
画像生成部１７は、ＤＭＡ１６から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を施す部分である。
ＤＭＡ１８は、画像生成部１７で画像処理が施された輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。
【００３１】
ＤＭＡ１９は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部２０に出力するものである。
表示部２０は、カラーＬＣＤとその駆動回路を含み、ＤＭＡ１９から出力された画像データの画像を表示させる。
【００３２】
ＤＭＡ２１は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部２２に出力したり、圧縮伸張部２２により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部２２は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ２３は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ２４に記録させたり、フラッシュメモリ２４に記録された圧縮画像データをバッファメモリに記憶させるものである。
【００３３】
Ｂ.デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を図２のフローチャートにしたがって説明する。
【００３４】
ユーザのキー入力部１１のモード切替キーの操作により撮影モードに設定されると、ステップＳ１で、ＣＰＵ１０は、ＣＣＤ５により被写体の撮像を開始させ、画像生成部１７によって順次生成されてバッファメモリ（ＤＲＡＭ１３）に記憶された輝度色差信号の画像データを表示部２０に表示させていく、といういわゆるスルー画像表示を開始する。
次いで、ステップＳ２で、ＣＰＵ１０は、ユーザによってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００３５】
ステップＳ２で、シャッタボタンが半押しされていないと判断すると、半押しされるまでステップＳ２に留まり、シャッタボタンが半押しされたと判断すると、ステップＳ３に進み、ＣＰＵ１０の顔検出部１０１は、シャッタボタン半押し直前、又は直後に撮像された画像データに基づいて顔検出処理を行う。つまり、画像データ内に人の顔があるか否かを検出する処理を行う。この顔検出処理は、撮像された画像データの画角の中央領域内の画像データに対して行なう。つまり、撮像された画像データに顔がある場合であっても、該中央領域内に位置しない顔は検出されることはない。
このとき、ＣＰＵ１０は、シャッタボタンが半押しされると、動きベクトル検出部１５に、シャッタボタン半押し直前、又は直後に撮像されたフレーム画像データを出力すると共に、その後ＣＣＤ５により撮像されたフレーム画像データも取得させていく。
【００３６】
図３（ａ）は、顔検出処理の対象となる画角の中央領域の様子の一例を示す図である。
２１は、ＣＣＤ５によって撮像された全画像データの画角を示し、２２は、顔検出処理の対象となる中央領域の画角を示している。通常、撮影者は、撮影したいメインとなる被写体を画角の中央に持ってくるので、端のほうにある顔はメイン被写体でないと判断して、画角の中央に位置する所定領域に対してのみ顔検出処理を行うことになる。これにより、顔検出処理の負担を軽減することができると共に、メイン被写体でない顔を検出するという誤検出の発生を抑えることができる。
【００３７】
また、この顔検出処理は、周知技術なので詳しく説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳等の特徴データ）と撮像された画像データとを比較照合することにより、撮像された該画像データの中に人の顔の画像データがあるか否かを検出する方法であってもよいし、他の方法であってもよい。要は、人の顔を検出する方法であればよい。この顔検出処理は、人の顔の輪郭、目や口など、大まかに人の顔であると認識する程度であり、その顔が誰の顔であるかを具体的に認識する必要は全くない。
【００３８】
次いで、ステップＳ４で、ＣＰＵ１０は、顔検出部１０１による顔検出処理によって顔が検出されたか否かを判断する。
ステップＳ４で、顔検出処理により顔が検出されたと判断すると、ステップＳ５に進み、ＣＰＵ１０は、複数の顔が検出されたか否かを判断する。
ステップＳ５で、複数の顔が検出されたと判断すると、ステップＳ６に進み、ＣＰＵ１０の顔検出部１０１は、該検出された顔の中に、登録された人物の顔があるかを認識する顔認識処理を行う。
【００３９】
この顔認識処理は、単に人の顔が画像内にあるかどうかを検出することだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。例えば、目の位置、口の位置、鼻の位置等の認識、及びそれらの位置関係なども認識し、それらを数値化して数値データ（顔特徴データ）を算出し、登録されている人物の顔の顔特徴データと比較照合することにより顔認識を行なう。この顔検出処理により、検出された顔の画像データ上の位置、大きさも分かる。この顔の位置、大きさに基づいて顔領域が定まる。
ここで、ユーザは、顔登録モード等において、人物の顔を登録することができる。この顔登録モード等においては、ユーザが登録したい人物の顔画像を指定すると、ＣＰＵ１０は、該人物の顔画像から顔認識により算出された数値データ（顔特徴データ）を登録する。この登録された顔特徴データはメモリ１２に記録される。
【００４０】
次いで、ステップＳ７で、ＣＰＵ１０は、顔認識処理による認識結果に基づいて登録された顔が画像データ内に有るか否かを判断する。なお、１つも顔が登録されていない場合は、登録された顔が画像データ内に無いと判断することになる。
【００４１】
ステップＳ７で、登録された顔が画像データ内にあると判断すると（顔認識された顔があると判断すると）、該顔がメイン被写体と判断して、ステップＳ８に進み、ＣＰＵ１０は、動きベクトル検出部１５に、順次撮像されるフレーム画像データに基づいて、該顔認識された登録されている顔の動き量を検出していく処理を開始させて、ステップＳ１１に進む。このとき、該顔認識した顔の画像データ上の位置、大きさ（検出された顔の顔領域情報）も動きベクトル検出部１５に送られ、それに基づいて該顔の動き量が検出される。この検出された動き量がメイン被写体のブレ量ということになり、動き量が大きくなればなるほどブレ量が多くなる。このブレ量は被写体の動きによって生じる場合とデジタルカメラ１の動きによって生じる場合とがある。
また、動きベクトル検出部１５は、認識された顔が複数ある場合は、該認識された各顔の動き量（ブレ量）を平行してそれぞれ検出する。
【００４２】
この動きベクトル検出部１５の動作を簡単に説明すると、顔認識の対象となったフレーム画像データのうち、該顔認識された顔領域の画像データと、ＣＣＤ５によって次に撮像されたフレーム画像データとに基づいて、ブロックマッチング法等により、該認識された顔の動き量（動きベクトル）を検出する。つまり、ブロックマッチング法等により次に撮像されたフレーム画像データ内のどこに該認識された顔領域の画像データがあるかを検出することにより該認識された顔の動き量を検出する。そして、新たにフレーム画像データが撮像されると、該検出された顔領域の画像データと、新たに撮像されたフレーム画像データとに基づいてブロックマッチング等により、動きベクトルを検出する。
【００４３】
なお、ＣＣＤ５によって、次に撮像されたフーム画像データに対しても顔認識処理を行うことにより、該認識した顔がどこにあるか否かを検出して、該顔の動き量を検出するようにしてもよく、要は、認識された顔がどこにあるか、若しくは認識された顔の動きを検出する方法であればよい。
【００４４】
一方、ステップＳ５で、複数の顔が検出されていないと判断された場合、ステップＳ７で、複数の顔が検出されたが登録された顔が画像データ内に無いと判断された場合は、検出された顔がメイン被写体と判断して、ステップＳ９に進み、ＣＰＵ１０は、動きベクトル検出部１５に、順次撮像されるフレーム画像データに基づいて、ステップＳ３の顔検出処理により検出された顔の動き量を検出していく処理を開始させて、ステップＳ１１に進む。このとき、該検出した顔の位置、大きさ（検出された顔の顔領域情報）が動きベクトル検出部１５に送られ、それに基づいて該顔の動き量が検出される。この検出された動き量がメイン被写体のブレ量ということになる。
また、動きベクトル検出部１５は、検出された顔が複数である場合（ステップＳ７でＮＯ）は、該検出された各顔の動き量（ブレ量）を平行してそれぞれ検出する。
【００４５】
この動き検出処理は、上述したように、ブロックマッチング法等により、ステップＳ３で検出された顔領域の画像データと、その次に撮像されたフレーム画像データとに基づいて、該検出された顔の動き量を検出するが、検出された顔が１つの場合は、その後に撮像されるフレーム画像データに対しても顔検出処理を行なうことにより、該顔の動き量を検出するようにしてもよい。また、検出された顔が複数の場合は、該検出された各顔を顔認識し、その後に撮像されるフレーム画像データに対しても顔認識を行なうことにより、該検出された各顔が撮像されたフレーム画像データ内のどこにあるかを検出して、該検出された各顔の動き量を検出するようにしてもよい。要は、検出された顔がどこにあるか、若しくは検出された顔の動きを検出する方法であればよい。
【００４６】
一方、ステップＳ４で、顔検出処理により顔が検出されていないと判断すると、ステップＳ１０に進み、ＣＰＵ１０は、顔検出処理の対象となったフレーム画像データに多数のサンプルポイントを設定し、動きベクトル検出部１５に、順次撮像されるフレーム画像データに基づいて、該設定したサンプルポイントの動き量を検出していく処理を開始させて、ステップＳ１１に進む。このとき、該設定した各サンプルポイントの位置、大きさ（サンプル領域情報）も動きベクトル検出部１５に送られ、それに基づいて各サンプルポイントの動き量が検出される。
また、動きベクトル検出部１５は、各サンプルポイントの動き量（ブレ量）を平行してそれぞれ検出する。
これにより、画像のブレを検出することができる。
【００４７】
図３（ｂ）は、サンプルポイントの様子を示す図である。２３は、各サンプルポイントを示し、このサンプルポイントは一定の領域を有している。そして、この各サンプルポイント２３の画像データが、次に撮像されたフレーム画像データ内のどこにあるか否かをブロックマッチング法等により検出することにより、各サンプルポイント２３の動き量を検出する。
【００４８】
ステップＳ１１に進むと、ＣＰＵ１０は、ユーザによってシャッタボタンが全押しされたか否かを判断する。
ステップＳ１１で、シャッタボタンが全押しされていないと判断すると、シャッタボタンが全押しされるまでステップＳ１１に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ１２に進み、ＣＰＵ１０は、該検出された動き量が所定量以上であるか否かを判断する。この判断は、シャッタボタン全押し直前に検出された動き量（複数の動き量が検出されている場合は、最も大きい動き量）が所定量以上であるか否かを判断する。
【００４９】
ステップＳ１２で、検出された動き量が所定量以上でないと判断すると、ステップＳ１３に進み、ＣＰＵ１０は、通常のＡＥ処理を行ってステップＳ１５に進む。つまり、感度式ブレ軽減を行なわないことになる。これにより、検出された動き量が所定量以上で無い場合は、画質を劣化させることはない。検出された動き量が所定量以上でない場合には、画質を劣化させてまでもブレを軽減させるほどのブレではないからである。
この通常のＡＥ処理とは、適正露出量となるように、適切なシャッタ速度、絞り値、感度を設定することをいい、静止画撮影用の普通のＡＥプログラム線図（動き量を考慮していないＡＥプログラム線図）に基づいて行なう。
【００５０】
一方、ステップＳ１２で、検出された動きが所定量以上であると判断すると、ステップＳ１４に進み、ＣＰＵ１０の感度式ブレ軽減部１０２は、感度を高めに設定し、シャッタ速度を速めにしたＡＥ処理を行ってステップＳ１５に進む。これにより、ブレを軽減しなければならないブレがある場合のみブレ軽減を行なうことができ、画質の劣化を抑えながらメイン被写体のブレを軽減することができる。
このＡＥ処理は、適正露出量となるように、通常のＡＥ処理により設定される感度より高く感度を設定すると共に、通常のＡＥ処理により設定されるシャッタ速度よりもシャッタ速度を速く設定する。このときは、静止画撮影用の動き量を考慮したＡＥプログラム線図に基づいて行なう。つまり、感度式ブレ軽減を行なうことになる。なお、通常のＡＥ処理に基づいてシャッタ速度等を設定し、該設定されたシャッタ速度を速めにすると共に、感度を高めに再設定するようにしてもよい。
【００５１】
また、この感度式ブレ軽減は、シャッタボタン全押し直前に検出された動き量（検出された動き量が複数ある場合は最も大きい動き量）に応じてブレ軽減の強度（度合い）を変えるようにする。検出された動き量と所定量との差分が少ない場合は、感度式ブレ軽減の強度を弱くし、検出された動き量と所定量との差分が多い場合は、感度式ブレ軽減の強度を強くする。なぜならば、検出された動きが所定量より遥かに大きい場合には、感度、シャッタ速度をかなり高く、速く設定しなければ（ブレ軽減の強度を強くしなければ）ブレを無くすことができないのに対し、検出された動きが所定量より少しだけ大きい場合には、感度、シャッタ速度を少しだけ高く、速く設定すれば（ブレ軽減の強度を弱くしても）ブレを無くすことができるからである。これにより、画質の劣化を抑えながらメイン被写体のブレを軽減することができる。
なお、検出された動き量が所定量以上であれば、ブレ軽減の強度を一律にしてもよい。
【００５２】
このように、上記実施の形態においては、画角の中央領域内に人の顔が検出されると、該検出された顔の動き量を検出していき、該顔の動き量に応じて感度式ブレ軽減を行なうので、メイン被写体でない他の被写体の動き量が感度式ブレ軽減に悪影響を与えることがない。
【００５３】
図４（ａ）は、シャッタボタン半押し直前、又は直後に撮像された画像データ及び検出される顔の様子の一例を示す図であり、検出される顔が１つの場合の時を例にしている。
図４（ａ）の２２は、顔検出処理の対象となる中央領域の画角を示しており、被写体として、ポーズをとっている人物３１と、左方向に走っている車３２が撮像されたのが分かる。このような構図において、撮影者は車３２を撮影したいのではなく、人物３１を撮影したいということが分かる。つまり、真の撮影者（メイン被写体）は人物３１ということになる。
【００５４】
従来は、このような場合であっても、走行している車３２の動き量までも検出してしまい、該検出した動き量に応じて感度式ブレ軽減を行なっていた。つまり、車３２がブレないように、撮影感度を上昇させ、シャッタ速度を速めていた。したがって、メイン被写体である人物３１の動きが少ない、若しくは全く無いのにもかかわらず、撮影感度が必要以上に上昇し、それに伴い画質が劣化していたため良好な画像が得られなかった。
これに対して、画角の中央領域に顔が検出されると、つまり、人物３１の顔が検出されると、該検出された顔の動き量に応じて感度式ブレ軽減処理を行うので、無駄に感度を上げる必要が無く、メイン被写体である人物３１のブレを軽減することができる。したがって、メイン被写体のブレが無い良好な画像を得ることができる。
【００５５】
また、図４（ｂ）は、シャッタボタン半押し直前、又は直後に撮像された画像データ及び検出、認識される顔の様子の一例を示す図であり、検出される顔が複数の場合を例にしている。
図４（ｂ）の２２は、同様に、顔検出処理の対象となる中央領域の画角を示しており、被写体として、ポーズをとっている人物３１と、左方向に走っている女の子３３と、その背景が撮像されたのがわかる。このような構図において、撮影者は女の子３３を撮影したいのではなく、人物３１を撮影したいということが分かる。つまり、真の撮影者は人物３１ということになる。
【００５６】
しかしながら、このように複数の顔がある場合は、検出される顔が複数となり、メイン被写体でない女の子３３の動きがブレ軽減処理に悪影響を与えてしまう。つまり、走っている女の子３３がブレないように、感度を上昇させ、シャッタ速度を速めるため、感度が必要以上に上昇し、それに伴い画質が劣化してしまう。
したがって、予め人物３１の顔を登録しておくことにより、検出された顔が複数であっても（ここでは、人物３１の顔と女の子３３の顔）、登録された人物（メイン被写体）の顔の動き量に基づいて感度式ブレ軽減処理を行うので、無駄に感度を上げる必要が無く、メイン被写体である人物３１のブレを軽減することができる。したがって、画質の劣化を抑えてメイン被写体のブレが無い良好な画像を得ることができる。
【００５７】
なお、図４（ａ）、（ｂ）を例にして説明したが、例えば、移動しているメイン被写体である人が中央に位置するように撮影者がカメラをパンニングした場合、メイン被写体の動きは少なくなり、逆に山やビル、人等の背景の動きが大きくなるが、このような場合であっても、背景の動きが感度式ブレ軽減処理に影響を与えることはない。
【００５８】
ステップＳ１５に進むと、ＣＰＵ１０は、ＡＥ処理で設定された露出条件で静止画撮影処理を行い、画像生成部１７により画像処理が施され、圧縮伸張部２２により圧縮されてバッファメモリに記憶された静止画像データをフラッシュメモリ２４に記録する。これにより、画質の劣化を抑えながらメイン被写体がブレない良好な静止画像を得ることができる。
【００５９】
以上のように、実施の形態においては、顔が検出されると該検出された顔がメイン被写体であると判断し、該検出された顔の動き量に応じて感度式ブレ軽減を行なうので、無駄に感度を上昇させることなく、メイン被写体のブレを軽減することができ、画質の劣化を抑えながらメイン被写体がブレない良好な画像を得ることができる。
また、登録された人物（メイン被写体）の顔が画像データ内にある場合は、該登録された人物の顔の動き量に基づいて感度式ブレ軽減を行なうようにしたので、顔が複数検出された場合であっても、無駄に感度を上昇させることなく、メイン被写体のブレを軽減することができ、画質の劣化を抑えながらブレのない良好な画像を得ることができる。
また、検出された顔が複数ある場合に顔認識処理を行なうので、無駄に顔認識処理を行うことがなく、処理負担を軽減させることができる。つまり、顔検出処理よりも負担の大きい顔認識処理を無駄に行うことがない。
また、顔検出処理の対象なる範囲は、画角の中央領域なので、メイン被写体である可能性の低い顔を検出することがなく、顔検出処理の負担を軽減させることができる。
また、顔が検出されなかった場合は、複数のサンプルポイントの動き量を検出し、該検出された動き量に基づいてブレを軽減するので、画像のブレを検出することができ、画像のブレを軽減することができる。
【００６０】
［変形例］
上記実施の形態は、以下のような変形例も可能である。
【００６１】
（０１）また、上記実施の形態においては、ステップＳ８、ステップＳ９の動き検出処理は、顔が画像データ内のどこに移動しようがその顔の動きを検出するようにしたが、動き検出の対象となっている顔が、画角の中央領域から外れた場合は、以後、該顔の動き量の検出を中止するようにしてもよい。
ユーザは、メイン被写体が中央に位置するようにカメラをパンニングするのが通常であり、画角の中央領域から外れた顔はメイン被写体でないと考えられるからであり、メイン被写体でない顔の動きが感度式ブレ軽減に悪影響を与えることを防ぐことができる。
【００６２】
（０２）また、上記実施の形態においては、静止画撮影により得られる静止画像データのブレを軽減するようにしたが、動画撮像中（スルー画像表示中、動画撮影記録時）にも適用するようにしてもよい。
この場合は、動画撮像用の普通のＡＥプログラム線図、動画撮像用の動き量を考慮したＡＥプログラム線図を用いて、感度、シャッタ速度、及び、絞りを設定する。
【００６３】
なお、動画撮像中にブレを軽減する場合は、感度式ブレ軽減でなく、トリミングによりブレを補正するようにしてもよい。このときは、検出された顔の動きベクトルに応じてトリミング位置を変えることによりブレを補正することによりブレを軽減してもよい。
また、静止画撮影の場合も感度式ブレ軽減でなく、トリミングによりブレ補正を行なうようにしてもよい。この場合は、連写撮影を行い（連続して静止画撮影を複数回行い）、該得られた複数の静止画像データをブレ量に応じてそれぞれトリミングして合成することによりブレを補正する。
【００６４】
また、静止画撮影、動画撮影の何れの場合にも、感度式ブレ軽減に代えて、ＣＣＤ５の前に補正レンズを設け、該補正レンズを移動（シフト）させることにより、補正レンズがない場合はＣＣＤ５を移動（シフト）させることによりブレを補正するようにしてもよい。このときも、検出された顔の動きベクトルに応じた補正レンズ又はＣＣＤ５を移動させる。
このようなトリミングによりブレを補正する構成や、ＣＣＤ５又は補正レンズをシフトして補正する構成にすれば、画質を劣化させることなく適切にメイン被写体のブレを補正することができる。
【００６５】
（０３）また、上記実施の形態においては、顔検出処理により検出された顔に基づいて顔認識処理を行うようにしたが、登録された人物の顔が画像データ内にあるかを具体的に認識して検出するという顔認識処理を一気に行うようにしてもよい。つまり、顔検出処理による検出結果を用いることなく顔認識処理を行うようにしてもよい。また、顔検出処理を行わずに、この顔認識処理のみを行うようにしてもよい。顔認識処理によっても当然に顔を検出することはできるからである。
この場合の顔認識処理は、画角の中央領域内の画像データに対してのみ行なう。つまり、画角の中央領域内に、登録された人物の顔があるかを具体的に認識して検出する。
【００６６】
（０４）また、上記実施の形態において、少なくとも顔検出モード、顔認識モードというモードを設け、ユーザによって顔検出モードが選択された場合は、顔検出処理を行い、顔認識モードが選択された場合は、顔認識処理を行うようにしてもよい。つまり、顔検出処理と顔認識処理とを２者択一的に行なうようにしてもよい。
【００６７】
（０５）また、上記実施の形態において、複数の顔が検出されたと判断され（ステップＳ５でＹ）、登録済みの顔がないと判断された場合の（ステップＳ７でＹ）、ステップＳ９の動作は、検出された各顔の動き量を単に平行して検出していくようにしたが、検出された各顔の動き量のうち、最も大きい動き量を１つ検出していくようにしてもよいし、検出された各顔の動き量の平均値を動き量とするようにしてもよいし、更に、検出された各顔の中から、顔の画角の中央からの近さ、顔の大きさを総合判断して１つの顔を特定し、該特定した顔の動き量のみを検出するようにしてもよい。画角の中央に近い顔ほど、また、大きい顔ほどメイン被写体と考えられるからである。ユーザは通常、メイン被写体を画角の中央付近となるように撮像し、また、メイン被写体の顔がある程度大きくなるように撮像するからである。
また、顔の画角の中央からの近さ、顔の大きさを総合判断して検出された各顔の動き量の重み付け度合いを決定し、その重み付け度合いに応じて動き量の平均値を算出するようにしてもよい。
【００６８】
また、ステップＳ６の顔認識処理により登録された顔が複数ある場合のステップＳ８の動作も同様に、顔認識された各顔の動き量のうち、最も大きい動き量を１つ検出するようにしてもよいし、顔認識された各顔の動き量の平均値を動き量とするようにしてもよいし、更に、顔認識された各顔の中から、顔の画角の中央からの近さ、顔の大きさを総合判断して１つの顔を特定し、該特定した顔の動き量のみを検出するようにしてもよい。また、顔の画角の中央からの近さ、顔の大きさを総合判断して顔認識された各顔の動き量の重み付け度合いを決定し、その重み付け度合いに応じて動き量の平均値を算出するようにしてもよい。
【００６９】
検出された顔が１つもない場合のステップＳ１０の動作においても、各サンプルポイントのうち最も大きい動き量を１つ検出するようにしてもよいし、該検出された各サンプルポイントの動き量の平均値を動き量とするようにしてもよい。
【００７０】
（０６）また、上記実施の形態において、シャッタボタン半押し後に、ステップＳ３〜ステップＳ１０までの動作を行なうようにしたが、シャッタボタン半押し前のスルー画像表示中において、ステップＳ３〜ステップＳ１０の動作を行い、シャッタボタンが半押しされると、ステップＳ１２〜ステップＳ１４の動作を行い、シャッタボタン全押し後に、ステップＳ１５の動作を行なうようにしてもよい。
【００７１】
（０７）また、上記実施の形態において、顔検出処理、顔認識処理を１回行うようにしたが、シャッタボタンが全押しされるまでは周期的に行なうようにしてもよい。時間の経過と共に、新たな顔が撮像される場合もあり、また、撮影者の撮影技術不足によってメイン被写体である人物が一端画角の中央領域から外れてしまう可能性もあり、このような場合は、メイン被写体として判断されなくなってしまうので、周期的に顔検出処理、顔認識処理を行なうことによりこのような不具合を是正することができ、メイン被写体である顔の動きを確実に検出することができる。
【００７２】
（０８）また、上記実施の形態において、顔検出処理は、画角の中央領域内にある顔を検出するようにしたが、画角の中央以外の領域内にある顔を検出するようにしてもよいし、ユーザによって指定された領域内にある顔を検出するようにしてもよい。要は、画像データの全領域のうち、１部の領域（所定の領域）内にある顔を検出するものであればよい。これにより、顔検出処理の処理負担を軽減することができるからである。また、ユーザによって指定された領域に対して顔検出を行なう場合は、メイン被写体である顔を効果的に検出することができる。
なお、画像データの全範囲内に顔があるか否かを検出するようにしてもよい。
【００７３】
（０９）また、上記実施の形態において、シャッタボタン全押し直前に検出された動き量が所定量以上の場合は、感度式ブレ軽減を行なうようにしたが、検出された動き量が所定量以上か否かにかかわらず、ブレ軽減処理を行うようにしてもよい。
この場合は、シャッタボタン全押し直前に検出された動き量（複数の動き量が検出された場合は最も大きい動き量）に応じて感度式ブレ軽減処理を行うことになる。つまり、検出された動き量が小さい場合は感度式ブレ軽減処理の強度を弱くして行い、検出された動き量が大きい場合は感度式ブレ軽減処理の強度を強くして行なう。これにより、画質の劣化を抑えながらメイン被写体のブレを軽減することができる。
【００７４】
（１０）また、上記実施の形態においては、顔検出処理を必ず行うようにしたが、顔認識処理のみ行なうようにしてもよい。この場合、ステップＳ２でシャッタボタンが半押しされると、顔認識処理を行い、顔認識処理によって登録済みの顔が認識された場合はステップＳ８に進み、登録済みの顔が認識されなかった場合はステップＳ１０に進むようにする。
【００７５】
（１１）また、上記実施の形態においては、顔が検出されなかった場合は（ステップＳ４でＮＯ）、多数のサンプルポイントを設定したが、設定するサンプルポイントは１つであってもよい。例えば、画角の中央に位置する領域やユーザによって指定された領域をサンプルポイントとして設定するようにしてよい。要は、検出、認識された顔に基かない領域の動き量を検出すればよく、選択するサンプルポイントの数や位置は上記実施の形態に限定されない。これにより、画像のブレを検出することができ、画像のブレを軽減することができる。
【００７６】
（１２）また、上記実施の形態においては、シャッタボタン全押し直前に検出された動き量（動き量が複数ある場合は最も大きい動き量）が所定量以上であるか否かを判断するようにしたが、動きを検出する処理の開始からシャッタボタン全押し直前までに、検出されてきた複数の動き量のうち最も大きい動き量が所定量以上であるか否かを判断するようにしてもよい。そして、該最も大きい動き量が所定量以上である場合は、該最も大きい動く量に応じてブレ軽減処理を行う。
【００７７】
（１３）また、上記実施の形態、上記変形例（０１）乃至（１２）を任意に組み合わせた態様であってもよい。
【００７８】
（１４）また、本発明の上記実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【００７９】
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体のブレを軽減することができる機器であれば適用可能である。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】実施の形態のデジタルカメラの動作を示すフローチャートである。
【図３】顔検出処理の対象となる画角の中央領域及びサンプルポイントの様子を示す図である。
【図４】シャッタボタン半押し直前、又は直後に撮像された画像データ及び検出、認識される顔の様子の一例を示す図である。
【符号の説明】
【００８１】
１      デジタルカメラ
２      撮影レンズ
３      レンズ駆動ブロック
４      絞り兼用シャッタ
５      ＣＣＤ
６      垂直ドライバ
７      ＴＧ
８      ユニット回路
９      ＤＭＡ
１０    ＣＰＵ
１１    キー入力部
１２    メモリ
１３    ＤＲＡＭ
１４    ＤＭＡ
１５    動きベクトル検出部
１６    ＤＭＡ
１７    画像生成部
１８    ＤＭＡ
１９    ＤＭＡ
２０    表示部
２１    ＤＭＡ
２２    圧縮伸張部
２３    ＤＭＡ
２４    フラッシュメモリ
２５    バス
【図１】
2008301355.tif 000003
【図２】
2008301355.tif 000004
【図３】
2008301355.tif 000005
【図４】
2008301355.tif 000006