(57)【要約】【課題】撮影画像全体としてのブレを補正するとともに、撮影画像に含まれる人物の顔等のブレについても適切に補正することを目的とする。【解決手段】撮像部１２０により撮像された撮影画像から顔を検出する顔検出部３００と、撮影画像における顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する動きベクトル検出部４００と、これらの検出された顔移動量および背景移動量と所定の重み付け係数とに基づいて撮影画像のブレの補正量を算出する補正量算出部４４０と、補正量算出部４４０により算出された補正量に基づいて画像のブレを補正するブレ補正部４１０とを具備する撮像装置１００である。なお、補正量算出部４４０は、背景移動量に係る重み付け係数の値よりも顔移動量に係る重み付け係数の値を大きくして補正量を算出する。【選択図】図１
2008141437.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から顔を検出する顔検出手段と、
前記撮像手段により撮像された画像における前記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、
前記移動量検出手段により検出された顔移動量および背景移動量に基づいて前記撮像手段により撮像された画像のブレを補正するブレ補正手段と
を具備することを特徴とする撮像装置。
【請求項２】
前記移動量検出手段により検出された顔移動量および背景移動量に基づいて前記ブレ補正手段により補正される画像のブレの補正量を算出する補正量算出手段をさらに具備することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記補正量算出手段は、前記移動量検出手段により検出された顔移動量および背景移動量と所定の重み付け係数とに基づいて前記補正量を算出することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記補正量算出手段は、前記移動量検出手段により検出された背景移動量に係る重み付け係数の値よりも前記移動量検出手段により検出された顔移動量に係る重み付け係数の値を大きくして前記補正量を算出することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記顔検出手段は、前記撮像手段により撮像された画像から検出された顔に関する各種情報を検出し、
前記補正量算出手段は、前記顔検出手段により検出された顔に関する各種情報に基づいて前記重み付け係数を算出する
ことを特徴とする請求項３記載の撮像装置。
【請求項６】
前記顔に関する各種情報は、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報であることを特徴とする請求項５記載の撮像装置。
【請求項７】
前記補正量算出手段は、前記顔検出手段により検出された顔の領域付近における重み付け係数の値を大きくして前記補正量を算出することを特徴とする請求項５記載の撮像装置。
【請求項８】
前記移動量検出手段は、前記顔検出手段により検出された顔が所定の領域に含まれるように前記撮像手段により撮像された画像を複数の領域に分割して当該顔が含まれる領域から顔移動量を検出して当該顔が含まれる領域以外の領域から背景移動量を検出する
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
前記撮像装置の振動によるブレ量を検出する振動検出手段をさらに具備し、
前記ブレ補正手段は、前記移動量検出手段により検出された顔移動量および背景移動量と前記振動検出手段により検出されたブレ量とに基づいて前記撮像手段により撮像された画像のブレを補正することを特徴とする請求項１記載の撮像装置。
【請求項１０】
前記顔検出手段により検出された顔に関する各種情報に基づいて当該顔についてフォーカスが合っている度合いまたは露出が合っている度合いを検出するカメラ制御値検出手段をさらに具備し、
前記補正量算出手段は、前記カメラ制御値検出手段により検出された顔についてのフォーカスが合っている度合いまたは露出が合っている度合いに基づいて当該顔に係る補正量を算出する
ことを特徴とする請求項５記載の撮像装置。
【請求項１１】
前記撮像手段により撮像された画像から顔を検出するか否かを設定する設定手段をさらに具備することを特徴とする請求項１記載の撮像装置。
【請求項１２】
特定の人物の顔に関する特定人物情報を記憶する特定人物記憶手段と、
前記顔検出手段により検出された顔が前記特定人物記憶手段に記憶されている特定人物の顔と一致するか否かを判定する特定人物判定手段とをさらに具備し、
前記補正量算出手段は、前記顔検出手段により検出された顔が前記特定人物記憶手段に記憶されている特定人物の顔と一致すると前記特定人物判定手段により判定された場合には当該特定人物の顔の領域であるか否かに応じて前記重み付け係数を変更して前記補正量を算出する
ことを特徴とする請求項３記載の撮像装置。
【請求項１３】
前記補正量算出手段は、前記移動量検出手段により検出された顔移動量の平均値である第１平均値を算出して当該第１平均値に基づいて前記顔検出手段により検出された顔の領域に係る補正量を算出するとともに前記移動量検出手段により検出された背景移動量の平均値である第２平均値を算出して当該第２平均値に基づいて前記顔検出手段により検出された顔の領域以外の領域に係る補正量を算出することを特徴とする請求項２記載の撮像装置。
【請求項１４】
前記補正量算出手段は、前記顔検出手段により複数の顔が検出された場合には前記検出された顔の領域毎に顔移動量の平均値を算出して当該平均値に基づいて前記補正量を算出することを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記ブレ補正手段は、前記撮像手段により撮像された画像において前記顔検出手段により検出された顔の領域が当該画像の中央寄りに移動するように当該画像のブレを補正することを特徴とする請求項１記載の撮像装置。
【請求項１６】
前記移動量検出手段は、前記撮像手段により撮像された画像において前記顔検出手段により検出された顔と当該画像の所定時間前に撮像された画像において前記顔検出手段により検出された顔との相関性の高さに基づいて当該顔の領域に係る顔移動量を検出することを特徴とする請求項１記載の撮像装置。
【請求項１７】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から顔を検出する顔検出手段と、
前記画像入力手段により入力された画像における前記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、
前記移動量検出手段により検出された顔移動量および背景移動量に基づいて前記画像入力手段により入力された画像のブレを補正するブレ補正手段と
を具備することを特徴とする画像処理装置。
【請求項１８】
画像を入力する画像入力手順と、
前記画像入力手順で入力された画像から顔を検出する顔検出手順と、
前記画像入力手順で入力された画像における前記顔検出手順で検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手順と、
前記移動量検出手順で検出された顔移動量および背景移動量に基づいて前記画像入力手順で入力された画像のブレを補正するブレ補正手順と
を具備することを特徴とする画像処理方法。
【請求項１９】
画像を入力する画像入力手順と、
前記画像入力手順で入力された画像から顔を検出する顔検出手順と、
前記画像入力手順で入力された画像における前記顔検出手順で検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手順と、
前記移動量検出手順で検出された顔移動量および背景移動量に基づいて前記画像入力手順で入力された画像のブレを補正するブレ補正手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、撮影画像等のブレを補正する撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置、および両者の機能を備える動画および静止画カメラ等の撮像装置が急速に普及し、これらの撮像装置の高性能化が進んでいる。これらの撮像装置を手で持って撮影する場合には、撮像装置自体のブレおよび被写体のブレの２種類のブレが主に生じる。
【０００３】
これらのブレを検出する方法として、（１）振動センサ、速度センサ、加速度センサ、重力センサ等によるブレの検出方法や、（２）画像処理による動きベクトルの検出方法等の検出方法が主に知られている。
【０００４】
これらの検出方法によって検出されたブレ成分を用いて、このブレ成分をキャンセルする方向に撮影画像の位置を移動させることによって撮影画像におけるブレを補正することができる。なお、ブレの補正方法としては、（３）撮像素子の読み出しアドレスのシフト、画像メモリの書き込みまたは読み出しアドレスのシフト等の電子的ブレ補正処理、および（４）ブレ補正用レンズのシフトや傾斜、ブレ補正用プリズムの変形や傾斜、撮像素子のシフト等の光学的ブレ補正処理の２種類の補正方法が主に知られている。
【０００５】
例えば、タイミングジェネレータから供給されるサンプリング信号のうちシャッタ速度に応じたサンプルタイミングによって、手振れセンサから供給される手振れ検出情報をサンプリングし、サンプリングされた手振れ検出情報に基づいて、撮像素子によって得られる画像信号の読み出し位置を制御して手振れを補正する撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平０５−３１６４０４号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、撮影画像に含まれる被写体に関わらずに均一的にブレ補正処理が実施される。このため、撮影画像全体としての手振れ等のブレを補正することができる。
【０００７】
しかしながら、これらの補正処理では、撮影画像に含まれる背景や人物が均一に扱われるため、撮影者が被写体として狙っていた人物やその顔、目、鼻、口等にブレ成分が残った状態となることが考えられる。そこで、撮影画像全体としてのブレを補正するとともに、撮影画像に含まれる人物の顔等のブレについても適切に補正することができれば、さらに鮮鋭度の高い顔を撮影することができると考えられる。
【０００８】
そこで、本発明は、画像に含まれるブレを適切に補正することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体の画像を撮像する撮像手段と、上記撮像手段により撮像された画像から顔を検出する顔検出手段と、上記撮像手段により撮像された画像における上記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、上記移動量検出手段により検出された顔移動量および背景移動量に基づいて上記撮像手段により撮像された画像のブレを補正するブレ補正手段と
を具備することを特徴とする撮像装置、およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像から顔を検出すると、撮像画像における顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出し、検出された顔移動量および背景移動量に基づいて撮像画像のブレを補正するという作用をもたらす。
【００１０】
また、この第１の側面において、上記移動量検出手段により検出された顔移動量および背景移動量に基づいて上記ブレ補正手段により補正される画像のブレの補正量を算出する補正量算出手段をさらに具備することができる。これにより、撮像画像から検出された顔移動量および背景移動量に基づいて、撮像画像のブレの補正量を算出するという作用をもたらす。この場合において、上記補正量算出手段は、上記移動量検出手段により検出された顔移動量および背景移動量と所定の重み付け係数とに基づいて上記補正量を算出することができる。これにより、撮像画像から検出された顔移動量および背景移動量と所定の重み付け係数とに基づいて、撮像画像のブレの補正量を算出するという作用をもたらす。この場合において、上記補正量算出手段は、上記移動量検出手段により検出された背景移動量に係る重み付け係数の値よりも上記移動量検出手段により検出された顔移動量に係る重み付け係数の値を大きくして上記補正量を算出することができる。これにより、背景移動量に係る重み付け係数の値よりも顔移動量に係る重み付け係数の値を大きくして、撮像画像のブレの補正量を算出するという作用をもたらす。
【００１１】
また、この第１の側面において、上記顔検出手段は、上記撮像手段により撮像された画像から検出された顔に関する各種情報を検出し、上記補正量算出手段は、上記顔検出手段により検出された顔に関する各種情報に基づいて上記重み付け係数を算出することができる。これにより、撮像画像から検出された顔に関する各種情報を検出し、検出された顔に関する各種情報に基づいて重み付け係数を算出するという作用をもたらす。この場合において、上記顔に関する各種情報は、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報であることができる。これにより、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報に基づいて重み付け係数を算出するという作用をもたらす。
【００１２】
また、この第１の側面において、上記補正量算出手段は、上記顔検出手段により検出された顔の領域付近における重み付け係数の値を大きくして上記補正量を算出することができる。これにより、撮影画像から検出された顔の領域付近における重み付け係数の値を大きくして、撮像画像のブレの補正量を算出するという作用をもたらす。
【００１３】
また、この第１の側面において、上記移動量検出手段は、上記顔検出手段により検出された顔が所定の領域に含まれるように上記撮像手段により撮像された画像を複数の領域に分割して当該顔が含まれる領域から顔移動量を検出して当該顔が含まれる領域以外の領域から背景移動量を検出することができる。これにより、撮像画像から検出された顔が所定の領域に含まれるようにその撮像画像を複数の領域に分割し、当該顔が含まれる領域から顔移動量を検出して当該顔が含まれる領域以外の領域から背景移動量を検出するという作用をもたらす。
【００１４】
また、この第１の側面において、上記撮像装置の振動によるブレ量を検出する振動検出手段をさらに具備し、上記ブレ補正手段は、上記移動量検出手段により検出された顔移動量および背景移動量と上記振動検出手段により検出されたブレ量とに基づいて上記撮像手段により撮像された画像のブレを補正することができる。これにより、検出された顔移動量および背景移動量と、撮像装置の振動によるブレ量とに基づいて、撮像画像のブレを補正するという作用をもたらす。
【００１５】
また、この第１の側面において、上記顔検出手段により検出された顔に関する各種情報に基づいて当該顔についてフォーカスが合っている度合いまたは露出が合っている度合いを検出するカメラ制御値検出手段をさらに具備し、上記補正量算出手段は、上記カメラ制御値検出手段により検出された顔についてのフォーカスが合っている度合いまたは露出が合っている度合いに基づいて当該顔に係る補正量を算出することができる。これにより、撮像画像から検出された顔についてのフォーカスが合っている度合いまたは露出が合っている度合いに基づいて当該顔に係る補正量を算出するという作用をもたらす。
【００１６】
また、この第１の側面において、上記撮像手段により撮像された画像から顔を検出するか否かを設定する設定手段をさらに具備することができる。これにより、撮像画像から顔を検出するか否かを設定し、顔移動量を考慮した撮像画像のブレ補正の有無を選択するという作用をもたらす。
【００１７】
また、この第１の側面において、特定の人物の顔に関する特定人物情報を記憶する特定人物記憶手段と、上記顔検出手段により検出された顔が上記特定人物記憶手段に記憶されている特定人物の顔と一致するか否かを判定する特定人物判定手段とをさらに具備し、上記補正量算出手段は、上記顔検出手段により検出された顔が上記特定人物記憶手段に記憶されている特定人物の顔と一致すると上記特定人物判定手段により判定された場合には当該特定人物の顔の領域であるか否かに応じて上記重み付け係数を変更して上記補正量を算出することができる。これにより、撮像画像から検出された顔が特定人物の顔と一致すると判定された場合には当該特定人物の顔の領域であるか否かに応じて重み付け係数を変更して、撮像画像のブレの補正量を算出するという作用をもたらす。
【００１８】
また、この第１の側面において、上記補正量算出手段は、上記移動量検出手段により検出された顔移動量の平均値である第１平均値を算出して当該第１平均値に基づいて上記顔検出手段により検出された顔の領域に係る補正量を算出するとともに上記移動量検出手段により検出された背景移動量の平均値である第２平均値を算出して当該第２平均値に基づいて上記顔検出手段により検出された顔の領域以外の領域に係る補正量を算出することができる。これにより、検出された顔移動量の平均値を算出してその平均値に基づいて顔の領域に係る補正量を算出するとともに、検出された背景移動量の平均値を算出してその平均値に基づいて顔の領域以外の領域に係る補正量を算出するという作用をもたらす。
【００１９】
また、この第１の側面において、上記補正量算出手段は、上記顔検出手段により複数の顔が検出された場合には上記検出された顔の領域毎に顔移動量の平均値を算出して当該平均値に基づいて上記補正量を算出することができる。これにより、複数の顔が検出された場合には、顔の領域毎に顔移動量の平均値を算出して、その平均値に基づいて顔の領域毎に補正量を算出するという作用をもたらす。
【００２０】
また、この第１の側面において、上記ブレ補正手段は、上記撮像手段により撮像された画像において上記顔検出手段により検出された顔の領域が当該画像の中央寄りに移動するように当該画像のブレを補正することができる。これにより、撮像画像において検出された顔の領域が画像の中央寄りに移動するように撮像画像のブレを補正するという作用をもたらす。
【００２１】
また、この第１の側面において、上記移動量検出手段は、上記撮像手段により撮像された画像において上記顔検出手段により検出された顔と当該画像の所定時間前に撮像された画像において上記顔検出手段により検出された顔との相関性の高さに基づいて当該顔の領域に係る顔移動量を検出することができる。これにより、撮像画像において検出された顔と当該画像の所定時間前に撮像された画像において検出された顔との相関性の高さに基づいて当該顔の領域の顔移動量を検出するという作用をもたらす。
【００２２】
また、本発明の第２の側面は、画像を入力する画像入力手段と、上記画像入力手段により入力された画像から顔を検出する顔検出手段と、上記画像入力手段により入力された画像における上記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、上記移動量検出手段により検出された顔移動量および背景移動量に基づいて上記画像入力手段により入力された画像のブレを補正するブレ補正手段とを具備することを特徴とする画像処理装置、およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力画像から顔を検出すると、入力画像における顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出し、検出された顔移動量および背景移動量に基づいて入力画像のブレを補正するという作用をもたらす。
【発明の効果】
【００２３】
本発明によれば、画像に含まれるブレを適切に補正することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２４】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２５】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
【００２６】
撮像装置１００は、制御部１１０と、撮像部１２０と、信号処理部１３０と、画像記憶部１４０と、画像圧縮伸張部１５０と、ユーザインターフェース１６０と、入出力端子１７０と、記憶媒体１８０と、バス１９０と、振動センサ２００と、メモリ２１０と、顔検出部３００と、動きベクトル検出部４００と、ブレ補正部４１０とを備える。なお、各ブロック間における画像信号の送受信は、直接のやりとり、または、画像記憶部１４０またはバス１９０を経由したやりとりによって行われる。
【００２７】
制御部１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御する制御部である。
【００２８】
撮像部１２０は、光学系１２１および撮像素子１２２を備え、被写体からの入射光を電気信号に光電変換し、光電変換された電気信号を信号処理部１３０に出力するものである。光学系１２１は、フォーカスレンズ、ズームレンズ、ブレ補正用レンズ、ブレ補正用プリズム等のレンズ群を備え、これらのレンズ群を介して入力された被写体からの入射光を撮像素子１２２に出力するものである。撮像素子１２２は、光学系１２１から出力された入射光を光電変換し、光電変換された電気信号を信号処理部１３０に出力するものである。なお、撮像部１２０において、ブレ補正用レンズの移動または傾き、ブレ補正用プリズムの変形や傾き、撮像素子１２２の移動等をすることによって、検出されたブレを光学的に補正することができる。これらは、制御部１１０からの制御に基づいて実行される。
【００２９】
信号処理部１３０は、撮像素子１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像記憶部１４０と画像圧縮伸張部１５０とユーザインターフェース１６０と顔検出部３００とに出力するものである。信号処理部１３０における信号処理として、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。また、信号処理部１３０は、制御部１１０の指示に基づいて各部から入力された画像に対して各種の画像処理を実行する。
【００３０】
画像記憶部１４０は、撮像装置１００において処理対象となる画像データを記憶するものである。
【００３１】
画像圧縮伸張部１５０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１５０により圧縮処理が施された画像データが記憶媒体１８０に出力されて記憶媒体１８０に記録される。また、画像圧縮伸張部１５０により伸張処理が施された画像データが画像記憶部１４０、表示部１６１、顔検出部３００に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
【００３２】
ユーザインターフェース１６０は、表示部１６１と選択受付部１６２とを備え、撮像装置１００を使用するユーザに対するインターフェースを提供するものである。
【００３３】
表示部１６１は、信号処理部１３０または画像圧縮伸張部１５０が出力した画像データに対応する画像を表示する表示部である。表示部１６１は、例えば、撮像装置１００が撮像する被写体の画像である撮影画像を表示する。
【００３４】
選択受付部１６２は、ユーザが入力した選択情報を電気信号に変換し、変換された電気信号を制御部１１０に出力するものである。例えば、撮像部１２０が出力した撮影画像から顔検出部３００が顔を検出した場合には、その撮影画像について検出された顔に基づくブレ補正処理を撮像装置１００が実行する。このように、撮影画像に顔が含まれている場合において、その顔に基づくブレ補正処理を実行するように設定（ＯＮ設定）することができるとともに、その顔に基づくブレ補正処理を実行しない設定（ＯＦＦ設定）をすることができる。このＯＮ、ＯＦＦ設定を選択受付部１６２において行う。
【００３５】
なお、ユーザインターフェース１６０は、例えば、タッチパネルとして表示部１６１と選択受付部１６２とが一体で構成するようにしてもよく、表示部１６１を液晶ディスプレイ（ＬＣＤ）とし、選択受付部１６２をハードキーとして双方を別体で構成するようにしてもよい。
【００３６】
入出力端子１７０は、画像圧縮伸張部１５０が出力した画像データを外部記憶媒体等の外部装置に出力するとともに、外部記憶媒体から入力された画像データを画像圧縮伸張部１５０に出力する入出力端子である。
【００３７】
記憶媒体１８０は、画像圧縮伸張部１５０が出力した画像データを記憶するとともに、記憶されている画像データを画像圧縮伸張部１５０に出力する画像記憶媒体である。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体および内蔵の記憶媒体の少なくとも何れか一方である。
【００３８】
バス１９０は、画像データを伝達するための共有バスである。
【００３９】
振動センサ２００は、撮像装置１００の振動を検出し、画像に依存しないブレ成分（すなわち、撮像装置１００本体のブレ成分）を検出するものであり、検出された各種情報を制御部１１０に出力する。振動センサ２００は、例えばジャイロセンサ、速度センサ、加速度センサにより実現することができる。
【００４０】
メモリ２１０は、各種情報を記憶する揮発／不揮発性の記憶媒体である。
【００４１】
顔検出部３００は、入力された画像データに対応する画像に含まれる人の顔を検出するものである。なお、顔検出部３００の詳細については、図２を参照して説明する。
【００４２】
動きベクトル検出部４００は、入力された画像データに対応する画像について分割された各ブロックの動きベクトルを画像処理によって検出し、検出された動きベクトルに対応する値を制御部１１０に出力するものである。
【００４３】
ブレ補正部４１０は、動きベクトル検出部４００が検出した動きベクトルに基づいて算出されるブレ補正量等に基づいて、入力された画像データに対応する画像の位置を移動させて、その画像のブレを補正するものである。なお、ブレ補正部４１０は、電子的ブレ補正手段および光学的ブレ補正手段を有する。これらの詳細については、図１４を参照して説明する。
【００４４】
なお、ブレ補正部４１０によりブレが補正された画像が画像圧縮伸張部１５０に出力される。そして、画像圧縮伸張部１５０は、ブレが補正された画像に対して画像圧縮処理を施し、画像圧縮処理が施された画像を記憶媒体１８０に記録する。また、ブレが補正された画像が表示部１６１に表示される。
【００４５】
図２は、顔検出部３００の機能構成例を示すブロック図である。
【００４６】
顔検出部３００は、制御部３１０と、画像入力部３２０と、画像拡大縮小部３３０と、画像保持部３４０と、基準データ保持部３５０と、判定部３６０と、検出結果出力部３７０と、画像出力部３８０とを備える。
【００４７】
制御部３１０は、制御部１１０からの指示に従って顔検出部３００の各部を制御するものである。
【００４８】
画像入力部３２０は、信号処理部１３０、画像記憶部１４０、画像圧縮伸張部１５０の何れかから画像データが入力されると、入力された画像データを画像拡大縮小部３３０に出力するものである。
【００４９】
画像拡大縮小部３３０は、画像入力部３２０が出力した画像データに対応する画像に対して、顔の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、制御部１１０からの指示に基づいて決定される。
【００５０】
画像保持部３４０は、画像拡大縮小部３３０が拡大または縮小処理をした画像を保持するものである。
【００５１】
基準データ保持部３５０は、顔検出に用いる顔の基準データを保持するものであり、保持している顔の基準データを判定部３６０に出力する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔としての特徴データベース、特定の人物の顔に関する特徴データベース等である。一般に、顔画像そのものよりも特徴データの方が、多くの顔データベースを比較的少ない記憶容量で保持することができる。
【００５２】
判定部３６０は、画像保持部３４０に保持されている画像データに対応する画像に顔が含まれているか否かを判定するものであり、判定結果を検出結果出力部３７０に出力する。具体的には、判定部３６０は、画像保持部３４０に保持されている画像データに対応する画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準データ保持部３５０に保持されている顔データとの相関性の高さに基づいて、取り出された画像が顔画像であるか否かを判定する。これらの判定を繰り返し実行し、画像保持部３４０に保持されている画像データに対応する画像に顔が含まれているか否かを判定する。
【００５３】
また、判定部３６０は、基準データ保持部３５０に保持されている顔データとの相関性の高さに基づいて、画像保持部３４０に保持されている画像データに対応する画像に含まれている顔に関する各種情報を抽出し、抽出された各種情報を顔検出結果として検出結果出力部３７０に出力する。
【００５４】
検出結果出力部３７０は、判定部３６０が出力した判定結果および顔検出結果を受け取ると、受け取った判定結果および顔検出結果を制御部１１０に出力するものである。
【００５５】
画像出力部３８０は、画像保持部３４０に保持されている画像を画像記憶部１４０に出力するものである。
【００５６】
ここで、顔検出部３００が出力する顔検出結果の値について説明する。
【００５７】
顔検出部３００が出力する顔検出結果の値として、以下に示す（１）乃至（６）等の顔領域に関する評価値がある。
（１）顔の面積の大小（カメラからの距離）
（２）顔の位置（画像中心からの距離）
（３）顔らしさの値
（４）顔の横向きの度合い（正面方向、上下左右何れかの方向）
（５）顔の傾きの度合い（首をかしげている）
（６）顔の上下左右
【００５８】
また、（１）乃至（６）以外の顔検出結果の値として、以下に示す（７）乃至（９）等の顔の表情や顔の一部分の状態等に関する評価値がある。
（７）笑顔の度合い
（８）真顔（真剣な顔）の度合い
（９）目が閉じている（まばたきをしている）度合い
【００５９】
これらの顔領域に関する評価値等を用いて、動きベクトルについての重み付け係数等を算出することができる。
【００６０】
図３は、本発明の実施の形態における撮像装置１００における画像のブレ補正に関する機能構成例を示すブロック図である。
【００６１】
撮像装置１００は、画像入力部４２０と、顔検出部３００と、動きベクトル検出部４００と、ブレ補正部４１０と、画像出力部４３０と、補正量算出部４４０と、選択受付部１６２とを備える。
【００６２】
画像入力部４２０は、画像を入力するものであり、入力された画像を顔検出部３００と、動きベクトル検出部４００と、ブレ補正部４１０とに出力するものである。
【００６３】
顔検出部３００は、図１および図２で示した顔検出部３００と同じものであり、画像入力部４２０が出力した画像から顔を検出するものであり、検出結果等を動きベクトル検出部４００と補正量算出部４４０とに出力するものである。また、顔検出部３００は、撮影画像に含まれる顔に基づくブレ補正処理についてＯＮ設定が選択受付部１６２から出力された場合には顔検出処理を実行し、一方、ＯＦＦ設定が出力された場合には顔検出処理を実行しない。
【００６４】
動きベクトル検出部４００は、画像入力部４２０が出力した画像について画像処理によって動きベクトルを検出し、検出された動きベクトルを補正量算出部４４０に出力するものである。なお、動きベクトル検出部４００が検出する動きベクトルについては、図４乃至図１４等を用いて詳細に説明する。
【００６５】
補正量算出部４４０は、顔検出部３００が検出した顔に関する各種情報等に基づいて、動きベクトル検出部４００が出力した動きベクトルに重み付け処理を施してブレ補正量を算出し、算出されたブレ補正量をブレ補正部４１０に出力するものである。なお、補正量算出部４４０が算出するブレ補正量については、図４乃至図１４等を用いて詳細に説明する。
【００６６】
ブレ補正部４１０は、補正量算出部４４０が出力したブレ補正量に基づいて、画像入力部４２０が出力した画像の位置を移動させて、その画像のブレを補正するものである。
【００６７】
画像出力部４３０は、ブレ補正部４１０によりブレが補正された画像を出力するものである。画像出力部４３０は、例えば、撮影画像を表示する表示部１６１に対応する。また、例えば、撮影画像に対応する画像データを、撮影画像を表示する他の外部装置に出力する入出力端子１７０に対応する。なお、撮影画像に対応する画像データを記憶媒体１８０等の画像記憶媒体に出力してその外部装置に撮影画像を記憶させるようにすることができる。
【００６８】
選択受付部１６２は、図１で示した選択受付部１６２と同じものであり、ユーザにより入力された顔のブレ補正に関するＯＮ設定またはＯＦＦ設定に関する選択情報を顔検出部３００に出力するものである。
【００６９】
次に、動きベクトルの検出方法の一つとして、ブロックマッチング方式の画像処理による動きベクトル検出方法について図面を参照して説明する。
【００７０】
図４は、動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の一例を示す図である。
【００７１】
ブロックマッチング方式の画像処理による動きベクトル検出方法とは、図４に示すように、動画像を構成する時間的に連続するフレーム画像（画像５００）を小さなブロックに分割し、分割されたブロックと似ている画像ブロックが前フレームのどこにあるかを探索し、探索結果に基づいて分割された各ブロックにおける動きベクトルを検出する方法である。
【００７２】
具体的に、動きベクトル検出部４００がブロックマッチング方式の画像処理によって画像５００から動きベクトルを検出する場合には、画像５００を複数の領域に分割する。例えば、最も簡易な画像分割は画像の縦横を等分する分割であり、図４に示すように、画像５００を１６分割にすることができる。また、分割された画像における各領域においてターゲットブロックが配置され、配置された各ターゲットブロックに対して、想定される最大の動き量の大きさにサーチ範囲が設定される。そして、設定されたサーチ範囲内でターゲットブロックにより動きベクトルが算出される。例えば、図４に示すように、画像５００が１６分割された各領域においてターゲットブロック５０１、５０３乃至５１７が配置され、各ターゲットブロックに対してサーチ範囲が設けられる。なお、ターゲットブロックは、サーチ範囲内においてサーチ対象となるものを探索する領域であり、例えば、ターゲットブロック５０１はサーチ範囲５０２内を探索する。
【００７３】
図５は、動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における前フレーム５４０と現フレーム５５０との関係の一例を示す図である。
【００７４】
前フレーム５４０および現フレーム５５０は、動画像を構成する時間的に連続するフレーム画像のうちの現フレームおよび所定時間前の前フレームである。なお、前フレーム５４０にはターゲットブロック５４１が配置される。また、現フレーム５５０においては、ターゲットブロック５４１が配置された同座標にターゲットブロック５５１が射影され、ターゲットブロック５５１の周辺にサーチ範囲５５２が設定される。なお、図５に示す前フレーム５４０、現フレーム５５０、およびこれらに含まれるターゲットブロック、サーチ範囲等については、説明のため拡大等をして示している。また、各サーチ範囲は重複して設定されるようにしてもよい。
【００７５】
続いて、現フレーム５５０に設定されたサーチ範囲５５２においてターゲットブロック５５１を移動させる。例えば、サーチ範囲５５２において領域５５１ａ乃至５５１ｃ等を移動させる。そして、サーチ範囲５５２において、前フレーム５４０に含まれるターゲットブロック５４１と最も相関の高い領域を探索する。例えば、サーチ範囲５５２においてターゲットブロック５４１と最も相関の高い領域を領域５５３とする。
【００７６】
そして、この探索の結果、サーチ範囲５５２において、ターゲットブロック５４１と最も相関の高い領域が検出された場合には、前フレーム５４０に含まれるターゲットブロック５４１が、現フレーム５５０のサーチ範囲５５２において検出された領域５５３の位置に動いたと推定する。そして、現フレーム５５０に設定されたサーチ範囲５５２においてターゲットブロック５５１と領域５５３との位置関係に基づいて、動きベクトル５５４が求められる。このように、ブロックマッチング方式の画像処理による動きベクトルの検出方法では、１つのターゲットブロックに対して１つの動きベクトルを算出する。つまり、分割されたブロック単位で、フレーム間の相関判定（マッチング判定）処理を行い、ブロック毎に動きベクトルを求める。
【００７７】
なお、図４に示すように、１つの画像５００については、各ターゲットブロックにおける動きベクトルが検出され、検出された動きベクトルに所定の平均化処理が施されて、１つの画像５００における１つのグローバルな動きベクトルが検出される。また、各ターゲットブロックにおいて検出された動きベクトルに重み付け処理が施され、各ターゲットブロックについてのローカルな動きベクトルが検出される。
【００７８】
ここで、図４に示すように、画像５００に人間６０１の顔６０２が含まれている場合において、顔検出部３００によって顔６０２の顔領域６０３が検出されている場合を考える。例えば、図４に示すように、顔検出部３００によって検出された顔領域６０３がターゲットブロック５１１に含まれている場合には、顔領域６０３を含むターゲットブロック５１１についての動きベクトルを検出する。このように、顔領域６０３について１つの動きベクトルを検出することができるため、例えば、人間６０１が移動しているような場合であっても、顔領域６０３についての適切な動きベクトルを検出することができる。
【００７９】
これに対して、図６（ａ）に示すように、画像５６０に人間６０４の顔６０５が含まれている場合において、顔検出部３００によって顔６０５の顔領域６０６が検出され、画像５６０が１６分割されている場合を考える。この場合には、顔検出部３００によって検出された顔領域６０６が、１つのターゲットブロックに含まれておらず、複数のターゲットブロック５６３乃至５６６に含まれている。そうすると、顔領域６０６を含む複数のターゲットブロック５６３乃至５６６のそれぞれについての動きベクトルが検出される。このため、例えば、人間６０４が移動しているような場合には、適切な動きベクトルを検出することができない場合がある。そこで、本発明の実施の形態では、動きベクトル検出部４００が撮影画像から動きベクトルを検出する場合において、顔検出部３００によって検出された顔領域に基づいて撮影画像を分割して動きベクトルを検出する。
【００８０】
図６は、動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の例を示す図である。
【００８１】
図６（ａ）は、図４に示す画像５００と同様に、画像５６０を１６分割する場合の画像分割例を示す図である。このように、人間６０４が含まれている画像５６０について、顔検出部３００によって検出された顔領域６０６を考慮せずに分割した場合には、顔領域６０６が複数のターゲットブロック５６３乃至５６６に含まれることになる。
【００８２】
図６（ｂ）は、顔検出部３００によって検出された顔領域６０６に基づいて、画像５６０を９分割する場合の画像分割例を示す図である。このように、人間６０４が含まれている画像５６０について、顔検出部３００によって検出された顔領域６０６が１つのターゲットブロック５７３に含まれるように画像分割をすることによって、顔領域６０６について１つの動きベクトルを検出することができる。
【００８３】
このように、図６（ａ）に示す画像５６０においては、顔領域が画像分割の境界と交わってしまうため、１つの顔領域に対して１つの動きベクトルを検出することができない。これに対して、図６（ｂ）に示す画像５６０においては、画像分割の境界と顔領域が交わっていないため、１つの顔領域に対して１つの動きベクトルを検出することができ、画像分割の境界の設定方法として好ましい。このように、何れかのターゲットブロックが顔領域を包含するような位置に画像分割の境界を移動させることによって、顔領域に最適な動きベクトルを確実に検出することが可能となる。なお、ターゲットブロックを配置する場合には、検出された顔を囲むようにターゲットブロックが配置されるようにすれば、画像を等分割する以外の他の配置方法を用いることができる。
【００８４】
このように、本発明の実施の形態では、撮影画像から動きベクトルを検出する処理において、顔検出部３００が出力した顔領域の座標を利用する。
【００８５】
なお、顔領域におけるブレ成分（ブレ量）を重点的に補正するため、顔領域を含むターゲットブロックについては、比較的大きい重み付け処理を実行し、全体の動きベクトルの算出に対する寄与度を高める。この重み付け処理については、以下で示すように、顔領域の面積の広さ、顔としての確からしさ、正面向きの度合い等によって、精密に設定することが可能である。
【００８６】
図７は、動きベクトル検出部４００が画像５８０から検出した動きベクトルの例を示す図である。
【００８７】
画像５８０においては、図４に示す画像５００と同様に、画像５８０が１６分割されて各ブロックにおける動きベクトルが検出される。なお、画像５８０には、人間６０７および６１０が含まれ、顔６０８の顔領域６０９および顔６１１の顔領域６１２が顔検出部３００によって検出されている。このため、検出された各顔領域６０９および６１２を含むように、各ターゲットブロックが配置されている。矢印５８１ｖ、５８４ｖ等は、ターゲットブロック５８１乃至５９７において検出された動きベクトルの例を示すものである。図７に示すように、各ターゲットブロックにおいて動きベクトルが検出される。
【００８８】
次に、検出された動きベクトルを重み付け処理するための重み付け係数の算出方法について図面を参照して説明する。
【００８９】
最初に、検出された顔に関する各種情報に基づいて重み付け係数を算出する場合について説明する。
【００９０】
図８は、人間の顔６１３、６１５、６１７が含まれている画像７０１を示す図である。上述したように、撮影画像において動きベクトルが検出された場合においては、検出された動きベクトルをブレ補正量としてそのまま使用せずに、被写体に応じた重み付け処理を行い、重み付け処理された後の動きベクトルを使用してブレ補正を行う。例えば、人間の顔が含まれている撮影画像の場合には、撮影画像におけるターゲットブロックが顔領域を含んでいるか否かに応じて重み付け係数を算出する。また、ターゲットブロックが顔領域を含んでいる場合は、顔領域付近の画像ブレを重点的に補正するために、当該ターゲットブロックに対してさらに大きな重み付け係数を算出する。
【００９１】
例えば、撮影画像におけるターゲットブロックがＮ個の場合について説明する。撮影画像におけるターゲットブロックが顔領域を含んでいない場合には、予め決まっている重み付け係数ｗｎ'＝ｗ０（ｎ＝０〜Ｎ−１）を算出する。ただし、この重み付け係数の初期値ｗ０は、ｗ０＝１／Ｎである。一方、撮影画像におけるターゲットブロックが顔領域を含んでいる場合には、次の（式１）に示すように、重み付けの要因を複数用いて、重み付け係数を算出する。なお、Ｅ０１乃至Ｅ０５はそれぞれの顔評価値の重み付け係数である。
ｗｎ'＝ｗ０×｛（Ｅ０１×顔領域の面積)
＋（Ｅ０２×顔領域の座標）
＋（Ｅ０３×顔らしさの値）
＋（Ｅ０４×顔の正面向きの度合い）
＋（Ｅ０５×顔の傾きの度合い）｝……（式１）
【００９２】
具体的には、ターゲットブロックに含まれる顔領域について、顔領域の面積が広いほど重みを増やし、顔領域の座標が中央寄りであるほど重みを増やし、顔らしさの値が高いほど重みを増やし、顔の正面向きの度合いが高いほど重みを増やし、顔の傾きが少ないほど重みを増やす等の重み付け処理で算出する。
【００９３】
Ｎ個のターゲットブロックから、それぞれの重み付け係数ｗ０'〜ｗ（Ｎ−１）'が算出された場合には、それぞれの重み付け係数の総和が１となるように正規化処理を施す。
【００９４】
例えば、図８に示すように、複数の人間の顔６１３、６１５、６１７が含まれている画像７０１において、顔領域６１４に含まれる人間の顔６１３は、顔領域の面積が広く、その座標が中央寄りであり、顔の正面向きの度合いが高く、顔の傾きが少ないため、重み付け係数が高い。また、顔領域６１８に含まれる人間の顔６１７は、顔領域の面積が比較的狭く、その座標が中央寄りではなく、顔の傾きが比較的大きいため、重み付け係数が低い。さらに、顔領域６１６に含まれる人間の顔６１５は、顔領域の面積が比較的狭く、その座標が中央寄りではなく、顔の正面向きの度合いが低いため、重み付け係数が低い。
【００９５】
次に、検出された顔についてのフォーカスや露出の合っている度合いに基づいて重み付け係数を算出する場合について説明する。
【００９６】
図９乃至図１２は、複数の人間の顔が含まれている撮影画像の例を示す図である。
【００９７】
図９に示すように、例えば、撮像装置１００からの距離が異なる複数の人間の顔が含まれている撮影画像においては、顔の各種情報に基づいて重み付け係数を算出することができるとともに、各顔のフォーカスや露出の合っている度合い等に基づいて、重み付け係数を算出することができる。また、各顔のフォーカスや露出の合っている度合いに基づいて、顔の各種情報に基づいて算出された重み付け係数を補正することができる。
【００９８】
図９（ａ）は、撮像装置１００からの距離が異なる複数の人間の顔６１９、６２１、６２３が含まれている画像７０２を示す図である。なお、画像７０２においては、各顔６１９、６２１、６２３を含む顔領域６２０、６２２、６２４が検出されている。
【００９９】
フォーカスの合っている度合いを検出する方法として、検出された顔領域内にＡＦ検波枠を設け、枠の内側で高周波成分を求め、高周波成分の積分値が大きいほど、フォーカスが合っているとみなす方法がある。例えば、図９（ａ）に示す画像７０２において、最もフォーカスが合っている顔領域を顔領域６２２とする。この場合には、画像７０２において顔領域６２２に係るターゲットブロックの重み付け係数の重みを増やすようにする。
【０１００】
図９（ｂ）は、撮像装置１００からの距離が異なる複数の人間の顔６２５、６２７、６２９が含まれている画像７０３を示す図である。なお、画像７０３においては、各顔６２５、６２７、６２９を含む顔領域６２６、６２８、６３０が検出されている。
【０１０１】
露出が合っている度合いを検出する方法として、適正露出を予め設定できるようにしておき、その値に近いほど露出が合っているとみなす方法がある。例えば、図９（ｂ）に示す画像７０３において、最も露出が合っている顔領域を顔領域６２６とする。この場合には、画像７０３において顔領域６２６に係るターゲットブロックの重み付け係数の重みを増やすようにする。
【０１０２】
図１０は、多数の人間の顔が含まれている画像７０４（いわゆる集合写真）を示す図である。なお、画像７０４においては、人間６３１の顔６３２を含む顔領域６３３とともに他の顔領域の全てが検出されている。
【０１０３】
図１０に示すように、いわゆる集合写真のような画像７０４においては、面積の比較的狭い顔領域が多数存在し、面積の広い顔領域が現れない。また、画像７０４に存在する顔の多くが正面を向いていることが多い。このため、撮影画像がいわゆる集合写真の画像であると判断された場合には、各々の顔領域に対する重み付けを均一にして、さらに重み付け係数を低めに設定するようにすることができる。これにより、いわゆる集合写真の画像に適した重み付けに補正することができる。
【０１０４】
図１１は、主たる被写体の人物６３４および６３６とともに、他の人物６３８および６４０が背景に含まれている画像７０５を示す図である。
【０１０５】
図１１に示すように、主たる被写体の人物６３４および６３６以外に、他の人物６３８および６４０が背景に存在する画像７０５においては、主たる被写体の人物６３４および６３６については、その顔領域の面積が比較的広く、さらに顔領域が画像の中央付近に存在する場合が多い。一方、背景の他の人物６３８および６４０については、その顔領域の面積は比較的狭く、さらに顔領域が画像の周辺付近に存在する場合が多い。また、主たる被写体の人物は正面を向いている確率が高く、背景の他の人物は正面を向いている確率が低い場合が多い。このため、これらを考慮して、背景の人物であると判断された場合には、その背景の人物の顔領域についての重み付け係数を低めに設定することができる。これにより、背景の人物に適した重み付けに補正することができる。
【０１０６】
図１２は、複数の人間の顔６４２、６４４、６４６が含まれている画像７０６を示す図である。
【０１０７】
図１２に示すように、例えば、画像７０６において複数の顔領域６４３、６４５、６４７が存在する場合において、複数の顔領域の中から特定人物（既知の人物）と認識される顔領域が存在している場合には、未知の顔領域よりも大きい重み付け係数を付与する。これにより、特定人物に対して最適なブレ補正を実現することができる。
【０１０８】
例えば、図１２に示すように、画像７０６において複数の顔領域６４３、６４５、６４７が存在する場合において、特定人物の顔領域を顔領域６４３とする。この場合において、顔領域６４３に係るターゲットブロックの重み付け係数については、顔領域の面積や正面向きの度合い等よりも優先して、特定人物に対して最も大きな重み付け係数を付与するようにする。
【０１０９】
なお、特定人物とは、撮像装置１００のユーザにより特定された人物である。その人物の顔領域に関する各種データが特定人物データベースとして撮像装置１００内に保持される。なお、各種データとしては、例えば、顔の輪郭、顔の構成部分（目、鼻、眉、口、耳、髪、ひげ、眼鏡等）の形状や特徴、位置等がある。また、外部から撮像装置１００に特定人物のデータを与えるようにしてもよい。その特定人物の顔に関する特定人物データベースと、撮影画像から検出された顔領域での各種データとを比較し、その相関値を算出して、同一人物であるか否かを判定し、同一人物であれば、その人物が特定人物であると判定する。このような顔画像による特定人物の認識に関しては、特公平６−７３８８等に記載されている技術がよく知られている。
【０１１０】
以上で示したように、撮影画像から顔が１つまたは複数検出された場合において、どの顔がどの程度重要な被写体であるかを数値で表現することができ、顔検出の結果値を各動きベクトルの重み付け係数の算出に忠実に反映させることが可能である。
【０１１１】
次に本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１１２】
図１３は、撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
【０１１３】
最初に、撮像装置１００において撮像部１２０が撮像した画像である撮影画像が入力される（ステップＳ９０１）。撮像部１２０から撮影画像が入力されると、顔検出の設定がＯＮにされているか否かが判断される（ステップＳ９０２）。顔検出の設定がＯＦＦであれば（ステップＳ９０２）、顔に基づくブレ補正をする必要がないため、ステップＳ９１２に進む。
【０１１４】
顔検出の設定がＯＮにされていれば（ステップＳ９０２）、顔検出部３００は、入力された画像から顔を検出するとともに検出された各顔の各種情報を算出する（ステップＳ９０３）。
【０１１５】
続いて、入力された画像から顔が検出されたか否かが判断される（ステップＳ９０４）。入力された画像から顔が検出されていなければ（ステップＳ９０４）、顔に基づくブレ補正をする必要がないため、ステップＳ９１２に進む。
【０１１６】
入力された画像から顔が検出されていれば（ステップＳ９０４）、検出された各顔領域を包含するように、入力された画像が複数のブロックに分割される（ステップＳ９０５）。この分割については、図６（ｂ）に示すように、顔領域が分割されないように各ブロックの境界が設定される。例えば、入力された画像がＮ個のブロックに分割されたとする。なお、入力された画像から複数の顔が検出されている場合には、検出された各顔の評価値に基づいて主要と思われる一または複数の顔が選択され、選択された顔の各顔領域を包含するように、入力された画像が複数のブロックに分割されるようにしてもよい。
【０１１７】
続いて、複数のターゲットブロックの中から１つのターゲットブロックが取り出される（ステップＳ９０６）。続いて、取り出されたターゲットブロックに関する動きベクトルが検出されて記憶される（ステップＳ９０７）。続いて、取り出されたターゲットブロックに顔が含まれているか否かが判断される（ステップＳ９０８）。取り出されたターゲットブロックに顔が含まれていれば（ステップＳ９０８）、ターゲットブロックに含まれている顔の各種情報に基づいて重み付け係数が算出される（ステップＳ９０９）。例えば、ターゲットブロックに顔が含まれている場合には、上述した（式１）を用いて当該ターゲットブロックにおける重み付け係数が算出される（ステップＳ９０９）。このようにすることによって、ターゲットブロックに顔が含まれている場合には、当該ターゲットブロックについては比較的大きな重み付け係数が算出され、当該ターゲットブロックに含まれる顔の顔領域付近の画像のブレを重点的に補正することができる。なお、ステップＳ９０９で、ターゲットブロックにおける重み付け係数を算出する場合においては、図９乃至１２を用いて説明した重み付け係数の算出方法を用いるようにしてもよい。
【０１１８】
一方、取り出したターゲットブロックに顔が含まれていなければ（ステップＳ９０８）、当該ターゲットブロックについては予め決定されている重み付け係数が算出される（ステップＳ９１０）。例えば、ターゲットブロックがＮ個ある場合において、予め決定されている重み付け係数の初期値をｗ０とした場合には、重み付け係数としてｗｎ'＝ｗ０＝１／Ｎが算出される（ｎ＝０〜Ｎ−１）。
【０１１９】
続いて、複数のターゲットブロックの全てのターゲットブロックが取り出されたか否かが判断される（ステップＳ９１１）。全てのターゲットブロックが取り出されていなければ（ステップＳ９１１）、ステップＳ９０６に進み、各ターゲットブロックの重み付け係数の算出処理を繰り返す（ステップＳ９０６乃至Ｓ９１０）。
【０１２０】
全てのターゲットブロックが取り出されていれば（ステップＳ９１１）、算出されたＮ個の各ターゲットブロックにおける重み付け係数ｗ０'〜ｗ（Ｎ−１）'について、その総和が１となるように正規化処理が実行される。続いて、正規化処理された各ターゲットブロックにおける重み付け係数ｗ０'〜ｗ（Ｎ−１）'を用いて、検出された各ターゲットブロックにおける動きベクトルについて重み付け処理が実行され、各ターゲットブロックに係るフレームにおける動きベクトルが算出される（ステップＳ９１５）。続いて、算出された各フレームの動きベクトルが補正量としてブレ補正部４１０に出力される（ステップＳ９１６）。
【０１２１】
また、顔検出の設定がＯＮの場合（ステップＳ９０２）または入力画像から顔が検出されなかった場合には（ステップＳ９０４）、入力された画像が複数のターゲットブロックに分割される（ステップＳ９１２）。例えば、入力された画像がＮ個のターゲットブロックに等分割される。
【０１２２】
続いて、複数のターゲットブロックの中から１つのターゲットブロックが順次取り出され、取り出されたターゲットブロックに関する動きベクトルが順次検出されて記憶される（ステップＳ９１３）。続いて、各ターゲットブロックについて予め決定されている重み付け係数が算出される（ステップＳ９１４）。例えば、ターゲットブロックがＮ個ある場合において、予め決定されている重み付け係数の初期値をｗ０とした場合には、重み付け係数としてｗｎ'＝ｗ０＝１／Ｎが算出される。続いて、ステップＳ９１５に進み、各ターゲットブロックに係るフレームにおける動きベクトルが算出される。
【０１２３】
以上で示したように、Ｎ個のターゲットブロックに係る各フレームにおいて検出された動きベクトルについて、各ターゲットブロックに含まれる顔領域を考慮した重み付け係数による重み付け処理を行い、最終的に１フレームに１つの動きベクトルを算出する。この動きベクトルは、ブレ補正部４１０に出力され、ブレと反対方向に補正が行われる。これにより、出力画像については、ブレの十分に少ない良好な画像が得られる。特に背景よりも人物の顔部分に対してブレが抑圧され、主要な被写体を鮮鋭に撮影することができる。
【０１２４】
次に、補正量算出部４４０が算出したブレ補正量に基づいて撮影画像のブレを補正するブレ補正部４１０について図１４を参照して説明する。
【０１２５】
ブレ補正部４１０は、上述したように、電子的ブレ補正手段および光学的ブレ補正手段を有する。電子的ブレ補正手段は、撮像素子１２２のアドレスをずらして書き込みまたは読み出し動作をすることによってブレを補正する手段、または、画像記憶部１４０のアドレスをずらして書き込みまたは読み出し動作をすることによってブレを補正する手段である。また、光学的ブレ補正手段は、ブレ補正用レンズの移動や傾きによってブレを補正する手段、または、ブレ補正用プリズムの変形や傾きによってブレを補正する手段、または、撮像素子１２２の移動によってブレを補正する手段である。
【０１２６】
なお、電子的ブレ補正手段および光学的ブレ補正手段は、１つの画像に対して複数得られたローカルな動きベクトルから、１つの動きベクトルを算出して、このベクトルに基づいて画像のブレを補正することができる。また、電子的ブレ補正手段は、１つの画像に対して複数得られたローカルな動きベクトルから、ローカルな補正を行うことが可能である。なお、ブレ補正部４１０は、少なくとも電子的ブレ補正手段を具備するようにする。
【０１２７】
図１４は、人間６４８が含まれている画像７０７において、９分割された各ブロックから算出された動きベクトル７５１乃至７５９を示す図である。なお、画像７０７において、動きベクトル７５１乃至７５８は、画像７０７における背景部分と判断されたブロックの動きベクトル（グローバルなベクトル）であり、同一の動きベクトルである。一方、動きベクトル７５９は、動被写体である人間６４８の顔６４９の顔領域６５０を含むブロックにおける動きベクトル（ローカルなベクトル）であるため、動きベクトル７５１乃至７５８とは異なる動きベクトルとなっている。なお、動きベクトル７５９は、顔の領域のブレ量である顔移動量の例であり、動きベクトル７５１乃至７５８は、顔の領域以外の領域のブレ量である背景移動量の例である。
【０１２８】
図１４に示す画像７０７については、ブレ補正部４１０の電子的ブレ補正手段は、動きベクトル７５１乃至７５８に係る各ブロックについては、同一の動きベクトルであるため、同一のローカルな補正を行う。一方、動きベクトル７５９に係るブロックについては、動きベクトル７５９が動きベクトル７５１乃至７５８とは異なる動きベクトルであるため、動きベクトル７５９に応じたローカルな補正を行う。
【０１２９】
これにより、被写体である人間の顔についてブレが少ない鮮鋭な画像を撮影することができる。特に人の顔の付近については、ブレを十分に抑圧することができ、主要な被写体を高画質で撮影することができる。また、背景ブレや背景の物体の動きに影響を受けることなく、人物の顔に自動的に重点をおいて、効果的にブレ補正を実現することができる。なお、本発明の実施の形態は、ブレ補正手段について特定の手段に限定するものではなく、電子的補正や光学的補正の手段に係らず、他のブレ補正手段に対しても適用することができる。
【０１３０】
次に、振動センサ２００が出力した撮像装置１００本体におけるブレ成分（ブレ量）２０１を用いて、撮影画像におけるブレを補正する場合について図１５を参照して説明する。
【０１３１】
図１５は、振動センサ２００が出力した撮像装置１００本体のブレ成分（ブレ量）２０１と、動きベクトル検出部４００が出力した画像の各部分におけるブレ成分（ブレ量）４０１とに基づいて、被写体のブレ成分を抽出する場合における抽出方法の一例を示す図である。
【０１３２】
図１５に示すように、動きベクトル検出部４００が出力した画像の各部分におけるブレ成分４０１から、振動センサ２００が出力した撮像装置１００本体のブレ成分２０１を減算すると、動被写体のブレ成分４０２を算出することができる。つまり、撮影画像の各部分におけるブレ成分から撮像装置１００本体のブレ成分（手振れ等によるブレ成分）を除去することができるため、動被写体のブレ成分を算出することができる。算出されたブレ成分を顔領域のブレ成分検出に利用することができる。
【０１３３】
図１６は、動きベクトル検出部４００が検出した画像７０８の各部分における動きベクトルと、動きベクトル検出部４００が検出した画像７０８に含まれる動被写体である人間６５１の動きベクトルとに基づいて、画像７０８に含まれる動被写体以外の背景部分のブレ成分を抽出する場合における抽出方法の一例を示す図である。
【０１３４】
図１６に示すように、画像７０８の各部分の動きベクトルから、動被写体である人間６５１の顔領域および胴体部分と推定される領域６５１ａに関する動きベクトルを減算すると、動いている被写体に影響を受けない、純粋な背景のみの動きベクトルを抽出することができる。
【０１３５】
このように、振動センサ２００を用いることによって、画像処理に依存しないブレ成分（すなわち、撮像装置１００本体のブレ成分）を検出することが可能である。また、画像の各部分において動きベクトル検出部４００が検出した動きベクトルから振動センサ２００が検出したブレ成分を減算し、減算して求められた値を用いて重み付け処理を実行して動被写体のブレ補正量を算出することができる。このように、動きベクトル検出部４００により検出された動きベクトルの値と、振動センサ２００により検出されたブレ成分の値と用いて、ブレ補正量を算出することができる。
【０１３６】
次に、顔検出部３００が検出した顔領域と動きベクトル検出部４００が検出した動きベクトルとに基づいて撮影画像の各部のブレを補正するブレ補正について図面を参照して説明する。なお、上記では、動きベクトル検出部４００が動きベクトルを検出する場合において、顔検出部３００が顔を検出している場合には、検出された顔を含むように撮影画像を複数の領域に分割し、分割された各領域における動きベクトルを求める例を説明した。
【０１３７】
ここでは、動きベクトル検出部４００が動きベクトルを検出する場合において、撮影画像に含まれる顔とは無関係に、撮影画像を複数の領域に分割し、分割された各領域における動きベクトルを求める場合におけるブレ補正の例について説明する。つまり、撮影画像を複数の領域に分割し、分割された各領域において検出された動きベクトルを、背景のブレベクトル（グローバルなベクトル）と、顔領域を含む動被写体部分のブレベクトル（ローカルなベクトル）とに分離して、ブレ量の検出および補正をローカルに行う。
【０１３８】
図１７は、人間６５２および人間６５５が含まれている画像７１１において、１６分割された各ブロックから算出された動きベクトル７５９乃至７７４を示す図である。なお、画像７１１において、動きベクトル７５９乃至７６８は、画像７１１における背景部分と判断されたブロックの動きベクトル（グローバルなベクトル）であり、同一の動きベクトルである。また、動きベクトル７６９および７７０は、動被写体である人間６５２の顔６５３の顔領域６５４の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。また、動きベクトル７７１は、動被写体である人間６５２の胴体部分の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。また、動きベクトル７７２および７７３は、動被写体である人間６５５の顔６５６の顔領域６５７の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。また、動きベクトル７７４は、動被写体である人間６５５の胴体部分の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。
【０１３９】
ブレ補正部４１０が有する電子的ブレ補正手段は、１つの画像に対して複数得られたローカルな動きベクトルから、ローカルな補正を行うことが可能である。
【０１４０】
図１７に示す画像７１１については、ブレ補正部４１０の電子的ブレ補正手段は、動きベクトル７５９乃至７６８に係る各ブロックについては、同一の動きベクトルであるため、同一のローカルな補正を行う。一方、動きベクトル７６９乃至７７４に係るブロックについては、動きベクトル７６９乃至７７４に応じたローカルな補正を行う。つまり、動被写体である人間６５５の顔６５６や胴体部分が移動しているような場合には、その移動に合わせてブレを補正することができる。
【０１４１】
このように、分割されたブロック毎に顔の少なくとも一部の領域があるか否かの判定を行い、この判定結果をブッロクに対応させて保存するとともに、顔領域および背景領域のそれぞれの平均ベクトルを算出し、算出された平均ベクトルを保存し、これらの平均ベクトルに基づいてブレ補正量を算出する。なお、顔領域から推定される動被写体領域（例えば、その人物の胴体部分や腕・脚部分）についても顔の一部と判定し、顔領域とともに、または、顔領域および顔以外の動被写体領域のそれぞれについての平均ベクトルを算出するようにしてもよい。これにより、被写体である人間の顔についてブレが少ない鮮鋭な画像を撮影することができる。特に人の顔の付近については、ブレを十分に抑圧することができ、主要な被写体を高画質で撮影することができる。また、背景ブレや背景の物体の動きに影響を受けることなく、人物の顔に自動的に重点をおいて、効果的にブレ補正を実現することができる。
【０１４２】
次に、図１７で示すブレ補正方法の動作について図１８を参照して説明する。
【０１４３】
図１８は、撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
【０１４４】
最初に、撮像装置１００において撮像部１２０が撮像した画像である撮影画像が入力される（ステップＳ９２１）。撮像部１２０から撮影画像が入力されると、顔検出の設定がＯＮにされているか否かが判断される（ステップＳ９２２）。顔検出の設定がＯＦＦであれば（ステップＳ９２２）、顔に基づくブレ補正をする必要がなく、通常のブレ補正処理によりブレ補正量が算出され、算出されたブレ補正量をブレ補正部４１０に出力する（ステップ９３８）。
【０１４５】
顔検出の設定がＯＮにされていれば（ステップＳ９２２）、顔検出部３００は、入力された画像から顔を検出するとともに検出された各顔の各種情報を算出する（ステップＳ９２３）。
【０１４６】
続いて、入力された画像が複数の領域（ブロック）に分割される（ステップＳ９２４）。例えば、入力された画像がＮ個のブロックに分割されたとする。
【０１４７】
続いて、複数の領域の中から１つのブロックが取り出され（ステップＳ９２５）、取り出されたブロックに顔が含まれているか否かが判断される（ステップＳ９２６）。取り出されたブロックに顔が含まれていれば（ステップＳ９２６）、取り出されたブロックにおける動きベクトルが検出されるとともに、検出された動きベクトルが顔用の配列に記憶される（ステップＳ９２７）。続いて、取り出されたブロックに対応する顔／背景判定情報として「顔」が記憶される（ステップＳ９２８）。なお、複数の顔が検出されている場合には、各顔についての顔用の配列に各動きベクトルが記憶され、取り出されたブロックに対応する顔／背景判定情報として各顔の情報が記憶される。
【０１４８】
一方、取り出されたブロックに顔が含まれていなければ（ステップＳ９２６）、取り出されたブロックにおける動きベクトルが検出されるとともに、検出された動きベクトルが背景用の配列に記憶される（ステップＳ９２９）。続いて、取り出されたブロックに対応する顔／背景判定情報として「背景」が記憶される（ステップＳ９３０）。
【０１４９】
続いて、複数のブロックの全てのブロックが取り出されたか否かが判断される（ステップＳ９３１）。全てのブロックが取り出されていなければ（ステップＳ９３１）、ステップＳ９２５に進み、各ブロックの動きベクトルの検出処理を繰り返す（ステップＳ９２５乃至Ｓ９３０）。
【０１５０】
全てのブロックが取り出されていれば（ステップＳ９３１）、顔用の配列に記憶されている動きベクトルに基づいて顔領域に関する平均ベクトルが算出されるとともに、背景用の配列に記憶されている動きベクトルに基づいて背景領域に関する平均ベクトルが算出される（ステップＳ９３２）。なお、複数の顔が検出されている場合には、各顔についての顔領域に関する平均ベクトルが算出される。
【０１５１】
続いて、複数の領域の中から１つのブロックが取り出され（ステップＳ９３３）、取り出されたブロックに対応する顔／背景判定情報に「顔」が記憶されているか否かが判断される（ステップＳ９３４）。取り出されたブロックに対応する顔／背景判定情報に「顔」が記憶されていれば（ステップＳ９３４）、顔領域に関する平均ベクトルに基づいて、取り出されたブロックに対応するブレ補正量が算出される（ステップＳ９３５）。一方、取り出されたブロックに対応する顔／背景判定情報に「背景」が記憶されていれば（ステップＳ９３４）、背景領域に関する平均ベクトルに基づいて、取り出されたブロックに対応するブレ補正量が算出される（ステップＳ９３６）。
【０１５２】
続いて、複数のブロックの全てのブロックが取り出されたか否かが判断される（ステップＳ９３７）。全てのブロックが取り出されていなければ（ステップＳ９３７）、ステップＳ９３３に進み、各ブロックの補正量の算出処理を繰り返す（ステップＳ９３３乃至Ｓ９３６）。
【０１５３】
全てのブロックが取り出されていれば（ステップＳ９３７）、算出された各ブロックの補正量がブレ補正部４１０に出力される（ステップＳ９３８）。
【０１５４】
以上で示したように、Ｎ個のブロックの全てについて動きベクトルを検出し、各ブロックにおける動きベクトルに基づいて顔領域および背景領域に応じた平均ベクトルを算出し、算出された平均ベクトルに基づいて各ブロックにおける顔領域および背景領域に応じた補正量を算出する。この補正量は、ブレ補正部４１０へ与えられ、ブレと反対方向に補正が行われて、出力画像ではブレの十分に少ない良好な画像が得られる。特に背景よりも人物の顔部分に対してブレが抑圧され、主要な被写体を鮮鋭に撮影することができる。
【０１５５】
次に、顔領域を含む動被写体領域についてのローカルな動きベクトルに基づいた補正量を、撮影画像の中央寄りになるように算出することによって、人物の像を常に画像の中央付近に移動するブレ補正について説明する。
【０１５６】
図１９は、顔領域を含む動被写体領域が撮影画像の中央寄りになるように算出する場合における概略を示す図である。
【０１５７】
図１９（ａ）に示すように、画像７１２について算出されたグローバルな補正量（補正ベクトル）がベクトルａである場合には、画像７１２に含まれる顔領域についてもベクトルａだけブレ補正処理が行われる。
【０１５８】
例えば、図１９（ｂ）に示すように、画像７１４に含まれる人間の顔６５８が画像の中央付近に存在しない場合には、ブレ補正とともに人間の顔６５８を画像７１４の中央付近に移動させることができる。
【０１５９】
例えば、画像７１４について算出されたグローバルな補正量がベクトルａである場合において、画像の中央に移動するためのベクトルｂを求め、このベクトルｂに重み付け係数Ｗ６を乗じ、ベクトルａとの合成でローカルな補正を行う（式２）。なお、ベクトルｂは、顔の座標と画像中心の座標との差異によって算出されるベクトルである。また、ｗ６は、重み付け係数であり、例えば０．１〜０．５の値を用いることができる。
補正量＝ベクトルａ＋ｗ６×ベクトルｂ……（式２）
【０１６０】
これにより、顔領域のブレ補正とともに、フレーミングの補正との双方を同時に行うことができる。
【０１６１】
また、顔領域、および顔領域から推定される人物の領域はローカルなベクトルで補正し、それ以外の背景部分は全体的な（グローバルな）ベクトルで補正することが可能となり、画像の各領域においてそれぞれ最適なブレ補正ができる。
【０１６２】
また、顔領域、および顔領域から推定される動被写体領域に対するローカルな補正ベクトルを、画像の中央寄りになるよう算出することにより、人物の像を画像の中央へと移動するようなブレ補正を行い、さらに適正なフレーミングを実現することができる。
【０１６３】
次に、動きベクトルの検出方法の一つとして、上述したブロックマッチング方式の画像処理による動きベクトル検出方法以外の動きベクトル検出方法の例について図面を参照して説明する。
【０１６４】
図２０は、顔検出部３００が検出した顔領域に基づいて撮影画像から動きベクトルを検出する場合における動きベクトル検出方法の一例を示す図である。
【０１６５】
顔検出部３００が検出した顔領域に基づく動きベクトル検出方法とは、図２０に示すように、動画像を構成する時間的に連続する前フレーム画像（画像７１５）および現フレーム画像（画像７１６）における顔領域に基づいて検出する方法である。なお、現フレーム画像（画像７１６）は、前フレーム画像（画像７１５）の所定時間ｔ経過後のフレームである。また、ブレ検出手段（移動量算出手段）として、振動センサ２００と、顔検出部３００が検出した顔領域に基づく動きベクトル検出手段の両方を利用する。
【０１６６】
図２０（ａ）は、前フレーム画像（画像７１５）において、人間６６０およびその顔６６１と、顔検出部３００により検出された顔６６１の顔領域６６２とを示す図である。
【０１６７】
図２０（ｂ）は、現フレーム画像（画像７１６）において、人間６６０およびその顔６６１と、顔検出部３００により検出された顔６６１の顔領域６６３と、振動センサ２００により検出された手振れベクトル６８０と、顔検出部３００が検出した顔領域に基づいて検出された動きベクトル６８１とを示す図である。このように、図２０（ｂ）には、手振れベクトル６８１と顔領域に基づく動きベクトル６８１とを合成した場合を示す。
【０１６８】
例えば、現フレーム画像（画像７１６）において顔検出部３００により顔領域が検出された場合には、検出された１または複数の顔についての顔領域の座標、顔らしさの値、顔の向きの値等の各種情報に基づいて総合的な評価値Ｅｎを求める。例えば、次の（式３）を用いて、総合的な評価値Ｅｎを求める。なお、ｗ１乃至ｗ５は、それぞれの顔評価値の重み付け係数である。
Ｅｎ＝ｗ１×顔領域の面積
＋ｗ２×顔領域の座標
＋ｗ３×顔らしさの値
＋ｗ４×正面向きの度合い
＋ｗ５×顔の傾きの度合い……（式３）
【０１６９】
なお、（式３）で示す顔に関する各種情報以外の情報を用いて総合的な評価値Ｅｎを求めるようにしてもよく、各評価値を統合せずに、個々に用いてもよい。また、（式３）で示す総合的な評価値Ｅｎは一例であり、他の各種情報に基づいて総合的な評価値Ｅｎを求めるようにしてもよい。
【０１７０】
また、前フレーム画像（画像７１５）において現フレーム画像（画像７１６）で検出された顔領域の近傍を含む広めのサーチ範囲を設定する。この設定されたサーチ範囲において、顔検出部３００により検出された顔領域に関する評価値と相関の高い顔を探索する。探索した結果、顔評価値が類似する顔が前フレームと現フレームとの双方に存在する場合には、その間のベクトルを動きベクトル（顔領域ベクトル）と判定する。
【０１７１】
また、振動センサ２００により検出された画像に依存しない手振れベクトルを用いて、次の（式４）を用いて、最終的な補正ベクトルを求める。なお、ｗ７、ｗ８は、それぞれの重み付け係数である。なお、ｗ８は、上述したｗ６と同じ値を用いるようにしてもよい。
補正ベクトル＝手振れ成分の補正ベクトル
＋ｗ７×顔領域の動きベクトル
＋ｗ８×顔から画面中心までのベクトル……（式４）
【０１７２】
なお、顔領域が複数検出された場合には、（式４）を用いて算出された補正ベクトルを１フレームに対して１つの補正ベクトルに統合するようにしてもよく、それぞれの顔領域に最適な補正ベクトルをローカルに適用してブレ補正するようにしてもよい。
【０１７３】
次に、顔領域に基づく動きベクトルを用いたブレ補正方法の動作について図２１を参照して説明する。
【０１７４】
図２１は、撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
【０１７５】
最初に、撮像装置１００において撮像部１２０が撮像した画像である撮影画像が入力される（ステップＳ９４１）。撮像部１２０から撮影画像が入力されると、顔検出の設定がＯＮにされているか否かが判断される（ステップＳ９４２）。顔検出の設定がＯＦＦであれば（ステップＳ９４２）、振動センサ２００が検出した手振れベクトルに基づいて、ブレ補正量である補正量３を算出し（ステップＳ９５０）、ステップＳ９５１に進む。
【０１７６】
顔検出の設定がＯＮにされていれば（ステップＳ９４２）、顔検出部３００は、入力された画像から顔を検出するとともに検出された各顔の各種情報を算出する（ステップＳ９４３）。
【０１７７】
続いて、顔検出部３００により検出された各顔の各種情報に基づいて総合的な評価値Ｅｎを求める。例えば、次の（式３）を用いて、総合的な評価値Ｅｎを求める（ステップＳ９４４）。続いて、動画像を構成する時間的に連続する前フレーム画像において現フレーム画像で検出された顔領域の近傍を含む広めのサーチ範囲を設定し、このサーチ範囲において、顔検出部３００により検出された顔領域に関する評価値と相関の高い顔が存在するか否かが判断される（ステップＳ９４５）。このサーチ範囲において、顔領域に関する評価値と相関の高い顔が存在しなければ（ステップＳ９４５）、顔領域に基づく動きベクトルを検出することができないため、ステップＳ９５０に進む。
【０１７８】
一方、このサーチ範囲において、顔領域に関する評価値と相関の高い顔が存在していれば（ステップＳ９４５）、前フレームと現フレームとの双方に存在する相関の高い顔と判断された各顔領域に基づいて、その間のベクトルを動きベクトル（顔領域の動きベクトル）と判定する（ステップＳ９４６）。
【０１７９】
続いて、振動センサ２００が検出した手振れベクトルに基づいて、ブレ補正量である補正量１を算出し（ステップＳ９４７）、算出された補正量１と検出された顔領域の動きベクトルとに基づいて、次の（式５）を用いて補正量２を算出する（ステップＳ９４８）。
補正量２＝補正量１
＋ｗ７×顔領域の動きベクトル……（式５）
【０１８０】
続いて、算出された補正量２と、次の（式６）を用いて補正量３を算出する（ステップＳ９４９）。
補正量３＝補正量２
＋ｗ８×顔から画面中心までのベクトル……（式６）
【０１８１】
なお、ステップＳ９４８およびＳ９４９では、上記で示した（式４）の値を求める。また、Ｗ７、Ｗ８は、上記で示した重み付け係数と同じものである。
【０１８２】
続いて、ステップＳ９４９またはステップＳ９５０で算出された補正量３に基づいて、撮影画像全体のブレ補正量を算出し、算出されたブレ補正量がブレ補正部４１０に出力される（ステップＳ９５１）。
【０１８３】
これにより、顔領域についてのブレ補正処理とともに、顔が画像中心に向かって移動するようなフレーミング補正を同時に実現することができるため、顔領域のブレを抑圧するとともに、フレーミングのバランスのよい、より好ましい出力画像を得ることができる。なお、（式１）等で示す数値や式等は一例であり、他の数値や式等を用いるようにしてもよい。
【０１８４】
以上で示したように、本発明の実施の形態によれば、ブレが少ない鮮鋭な画像を撮影することができる。特に人の顔の付近については、ブレを適切に補正することができるため、主要な被写体を高画質で撮影することができる。
【０１８５】
また、背景ブレや背景の物体の動きに関する影響を低減させることができるため、人物の顔に重点をおいて効果的にブレ補正を実現することができる。
【０１８６】
さらに、顔領域の座標、画像内での位置、面積、顔らしさの値、正面向きの度合い、顔の傾きの度合い等に基づいて、ブレ補正量の重み付け処理を実行することができ、適切なブレ補正量を算出することができる。
【０１８７】
また、画面全体で１つのベクトルを用いて全体的にブレを補正することができるとともに、画面内の複数のベクトルを用いてローカルにブレを補正することができるため、被写体に応じて適切にブレ補正をすることができる。
【０１８８】
さらに、ローカルなブレ補正をする場合には、顔領域をなるべく画像の中央寄りに移動させるような補正ベクトルを算出することによって、主要な被写体としての人物をより適切なフレーミングにすることができる。
【０１８９】
また、ブレ検出手段およびブレ補正手段として電子的なブレ検出手段およびブレ補正手段のみを撮像装置に設けるようにする場合には、撮像装置としての小型化、低コスト化、省電力化を可能とすることができる。
【０１９０】
さらに、人物のグループの画像（いわゆる集合写真）を判別することによって、いわゆる集合写真に適した重み付け処理を実行することができるため、適切な集合写真を撮影することができる。
【０１９１】
また、主たる被写体の人物と、背景に混在する人物とを判別することによって、背景の人物の影響を低減させることができるため、主たる被写体の人物に対する最適なブレ補正を実現することができる。
【０１９２】
さらに、画面内に複数の顔が存在する場合には、フォーカスや露出が最も適正な顔を選び出し、その領域のブレを重点的に補正することによって最適なブレ補正を実現することができ、適切な写真を撮影することができる。
【０１９３】
また、撮影画像から特定人物の顔が検出された場合には、特定人物に係る重み付け係数を大きめ値に変更することによって、特定人物に最適なブレ補正を実現することができる。
【０１９４】
さらに、動きベクトル検出の結果から顔領域付近のブレ成分を減算することによって、動被写体の動きに引かれない画像全体のブレ成分を抽出することができる。
【０１９５】
また、従来から知られているブロックマッチング方式の動きベクトル検出方法の代わりに、顔領域の移動ベクトルを検出することによって動きベクトルを検出する方法を用いることもできる。これにより、ブロックマッチング方式の動きベクトル検出方法と同様に、それぞれの顔領域に最適なローカル補正を実現することができ、顔が複数存在している場合であってもそれぞれの顔のブレを適正に補正することができる。
【０１９６】
このように、本発明の実施の形態によれば、画像に含まれるブレを適切に補正することができる。
【０１９７】
なお、デジタルスチルカメラ等から出力された画像を入力し、入力された画像をディスプレイ等に表示するパーソナルコンピュータ等の画像処理装置に本実施の形態を適用することができる。
【０１９８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１９９】
すなわち、請求項１において、撮像手段は、例えば撮像部１２０に対応する。
【０２００】
また、請求項１、請求項５、請求項１７において、顔検出手段は、顔検出部３００に対応する。
【０２０１】
また、請求項１、請求項８、請求項１６、請求項１７において、移動量検出手段は、例えば動きベクトル検出部４００に対応する。
【０２０２】
また、請求項１、請求項９、請求項１５、請求項１７において、ブレ補正手段は、例えばブレ補正部４１０に対応する。
【０２０３】
また、請求項２乃至請求項７、請求項１０、請求項１２乃至請求項１４において、補正量算出手段は、例えば補正量算出部４４０に対応する。
【０２０４】
また、請求項９において、振動検出手段は、例えば振動センサ２００に対応する。
【０２０５】
また、請求項１０において、カメラ制御値検出手段は、例えば制御部１１０に対応する。
【０２０６】
また、請求項１１において、設定手段は、例えば選択受付部１６２に対応する。
【０２０７】
また、請求項１２において、特定人物記憶手段は、メモリ２１０に対応する。また、特定人物判定手段は、例えば制御部１１０に対応する。
【０２０８】
また、請求項１７において、画像入力手段は、例えば信号処理部１３０に対応する。
【０２０９】
また、請求項１８または請求項１９において、画像入力手順は、ステップＳ９０１に対応する。また、顔検出手順は、ステップＳ９０３に対応する。また、移動量検出手順は、ステップＳ９０７に対応する。また、ブレ補正手順は、ステップＳ９１６に対応する。
【０２１０】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０２１１】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】顔検出部３００の機能構成例を示すブロック図である。
【図３】本発明の実施の形態における撮像装置１００における画像のブレ補正に関する機能構成例を示すブロック図である。
【図４】動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の一例を示す図である。
【図５】動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における前フレーム５４０と現フレーム５５０との関係の一例を示す図である。
【図６】動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の例を示す図である。
【図７】動きベクトル検出部４００が画像５８０から検出した動きベクトルの例を示す図である。
【図８】人間の顔６１３、６１５、６１７が含まれている画像７０１を示す図である。
【図９】複数の人間の顔が含まれている撮影画像の例を示す図である。
【図１０】複数の人間の顔が含まれている撮影画像の例を示す図である。
【図１１】複数の人間の顔が含まれている撮影画像の例を示す図である。
【図１２】複数の人間の顔が含まれている撮影画像の例を示す図である。
【図１３】撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
【図１４】人間６４８が含まれている画像７０７において、９分割された各ブロックから算出された動きベクトル７５１乃至７５９を示す図である。
【図１５】撮像装置１００本体のブレ成分２０１と、画像の各部分におけるブレ成分４０１とに基づいて、被写体のブレ成分を抽出する抽出方法の一例を示す図である。
【図１６】画像７０８の各部分における動きベクトルと、画像７０８に含まれる人間６５１の動きベクトルとに基づいて、画像７０８に含まれる背景部分のブレ成分を抽出する抽出方法の一例を示す図である。
【図１７】人間６５２および人間６５５が含まれている画像７１１において、１６分割された各ブロックから算出された動きベクトル７５９乃至７７４を示す図である。
【図１８】撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
【図１９】顔領域を含む動被写体領域が撮影画像の中央寄りになるように算出する場合における概略を示す図である。
【図２０】顔検出部３００が検出した顔領域に基づいて撮影画像から動きベクトルを検出する場合における動きベクトル検出方法の一例を示す図である。
【図２１】撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
【符号の説明】
【０２１２】
１００  撮像装置
１１０  制御部
１２０  撮像部
１２１  光学系
１２２  撮像素子
１３０  信号処理部
１４０  画像記憶部
１５０  画像圧縮伸張部
１６０  ユーザインターフェース
１６１  表示部
１６２  選択受付部
１７０  入出力端子
１８０  記憶媒体
１９０  バス
２００  振動センサ
２１０  メモリ
３００  顔検出部
３１０  制御部
３２０  画像入力部
３３０  画像拡大縮小部
３４０  画像保持部
３５０  基準データ保持部
３６０  判定部
３７０  検出結果出力部
３８０  画像出力部
４００  動きベクトル検出部
４１０  ブレ補正部
４２０  画像入力部
４３０  画像出力部
４４０  補正量算出部
【図１】
2008141437.tif 000003
【図２】
2008141437.tif 000004
【図３】
2008141437.tif 000005
【図４】
2008141437.tif 000006
【図５】
2008141437.tif 000007
【図６】
2008141437.tif 000008
【図７】
2008141437.tif 000009
【図８】
2008141437.tif 000010
【図９】
2008141437.tif 000011
【図１０】
2008141437.tif 000012
【図１１】
2008141437.tif 000013
【図１２】
2008141437.tif 000014
【図１３】
2008141437.tif 000015
【図１４】
2008141437.tif 000016
【図１５】
2008141437.tif 000017
【図１６】
2008141437.tif 000018
【図１７】
2008141437.tif 000019
【図１８】
2008141437.tif 000020
【図１９】
2008141437.tif 000021
【図２０】
2008141437.tif 000022
【図２１】
2008141437.tif 000023