(57)【要約】【課題】  被写体の特定の領域を含む構図で、被写体を撮影する際に、自動的に撮像倍率を決定し、構図の良い画像を容易に撮影可能な撮像装置等を提供すること。【解決手段】  撮像装置は、ズーム倍率の制御を行う倍率制御部と、撮像部１１５からの撮像画像を取得する画像取得部１２５と、画像取得部１２５が取得した撮像画像における、被写体の第１の画像領域の基準位置及び被写体の第２の画像領域の基準位置と、撮像画像の測定基準位置との相対的な位置関係情報を取得する位置関係取得部１６２と、を含み、倍率制御部は、位置関係取得部１６２が取得した位置関係情報に基づいて、ズーム倍率を制御する。【選択図】      図１
2012039591.tif 000002
【特許請求の範囲】
【請求項１】
ズーム倍率の制御を行う倍率制御部と、
撮像部からの撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像における、被写体の第１の画像領域の基準位置及び前記被写体の第２の画像領域の基準位置と、前記撮像画像の測定基準位置との相対的な位置関係情報を取得する位置関係取得部と、
を含み、
前記倍率制御部は、
前記位置関係取得部が取得した前記位置関係情報に基づいて、前記ズーム倍率を制御することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記位置関係取得部は、
前記被写体の前記第１の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第１の距離情報と、前記被写体の前記第２の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第２の距離情報とを、前記位置関係情報として取得する距離情報取得部を含み、
前記倍率制御部は、
前記距離情報取得部が取得した前記第１、第２の距離情報に基づいて、前記ズーム倍率を制御することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記倍率制御部は、
前記距離情報取得部が取得した前記第１の距離情報により表される距離が、第１の閾値よりも小さい場合には、前記第１の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。
【請求項４】
請求項２において、
前記倍率制御部は、
前記距離情報取得部が取得した前記第２の距離情報により表される距離が、第２の閾値よりも小さい場合には、前記第２の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。
【請求項５】
請求項１において、
前記被写体は、人物であり、
前記被写体の第１の画像領域は、前記人物の顔領域であることを特徴とする撮像装置。
【請求項６】
請求項５において、
前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部を含むことを特徴とする撮像装置。
【請求項７】
請求項６において、
前記倍率制御部は、
前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記基準位置及び前記サイズに基づいて、前記人物の顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。
【請求項８】
請求項７において、
前記倍率制御部は、
前記人物の顔領域の前記基準位置が、前記撮像画像の前記測定基準位置から遠ざかっていると判定された場合には、前記顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を下げる制御を行うことを特徴とする撮像装置。
【請求項９】
請求項１において、
前記被写体は、人物であり、
前記被写体の第１の画像領域は、前記人物の顔領域であり、
前記被写体の第２の画像領域は、前記人物の全身領域であることを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部と、
前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記サイズに基づいて、前記人物の全身領域の基準位置及びサイズを推定する全身領域推定部と、
を含むことを特徴とする撮像装置。
【請求項１１】
請求項１０において、
前記倍率制御部は、
前記全身領域推定部が推定した前記人物の全身領域の前記基準位置及び前記サイズに基づいて、前記人物の全身領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。
【請求項１２】
請求項１０において、
前記顔認識部は、
前記人物の顔領域における画素の特徴量に基づいて、前記人物の年齢及び性別の少なくとも一方の情報を認識し、
前記全身領域推定部は、
前記顔認識部が認識した前記人物の年齢及び性別の少なくとも一方の情報と、前記人物の顔領域の前記サイズとに基づいて、前記人物の全身領域の前記基準位置及び前記サイズを推定することを特徴とする撮像装置。
【請求項１３】
請求項１において、
前記撮像部は、
ズーム光学系を含み、
前記倍率制御部は、
前記位置関係取得部が取得した前記位置関係情報に基づいて、前記撮像部のズーム光学系における前記ズーム倍率を制御することを特徴とする撮像装置。
【請求項１４】
請求項２において、
前記第１の画像領域としての、前記被写体の所定部位領域の基準位置と大きさを検出する所定部位検出部と、
前記第２の画像領域としての、前記被写体の全体領域の基準位置と大きさを検出する全体検出部と、
前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する構図決定部と、
決定された構図に含まれる前記被写体の所定部位領域または前記被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、前記被写体の所定部位領域の大きさ、または前記被写体の全体領域の大きさに基づく演算によって求めるズーム倍率演算部を備えるズーム倍率決定部と、
前記位置関係取得部に含まれる前記距離情報取得部は、前記被写体の部位領域および前記被写体の全体領域が検出された場合には、前記撮像画像の中心を原点とし、かつ互いに直交する横座標軸と縦座標軸とによって規定される２次元座標系における、前記所定部位領域の基準位置の座標である第１座標と、前記被写体の全体領域の基準位置の座標である第２座標とを求め、
前記被写体の所定部位領域の基準位置と前記測定基準位置との間の距離を示す、前記第１の距離情報としての、前記第１座標の頭身方向成分である前記縦座標軸値の絶対値の情報と、前記被写体の全体領域の基準位置と前記測定基準位置との間の距離を示す、前記第２の距離情報としての、前記第２座標の頭身方向成分である前記縦座標軸値の絶対値の情報とを取得し、
前記構図決定部は、前記第１座標の前記縦座標軸値の絶対値と、前記第２座標の前記縦座標軸値の絶対値と、を比較し、前記第１座標の縦座標値の絶対値の方が小さいときは、前記被写体の所定部位領域を中心とする構図を採用し、前記第２座標の縦座標値の絶対値の方が小さいときは、前記被写体の全体領域を中心とする構図を採用し、
前記ズーム倍率制御部は、前記ズーム倍率演算部によって求められズーム倍率に基づいて、ズーム倍率を制御することを特徴とする撮像装置。
【請求項１５】
請求項１４において、
前記構図決定部は、
前記被写体の所定部位領域は検出されたが、前記被写体の全体領域の検出ができなったときには、前記所定部位領域を中心とする構図を採用し、
前記被写体の所定部位領域を検出できず、前記被写体の全体領域は検出できたときには、前記被写体の全体を中心とする構図を採用することを特徴とする撮像装置。
【請求項１６】
請求項１５において、
前記被写体の所定部位領域および前記被写体の全体領域の双方が検出されなかったときにおいて、
前記ズーム倍率決定部は、
ズーム倍率が広角端に対応するズーム倍率であるかを確認し、広角端に対応するズーム倍率であれば、ズーム制御を終了し、広角端に対応するズーム倍率でないときは、より低い倍率のズーム倍率を再設定し、
前記所定部位検出部は、前記ズーム倍率が再設定される毎に、前記所定部位の検出処理を実行し、
前記全体検出部は、前記ズーム倍率が再設定される毎に、前記被写体の全体の検出処理を実行し、
前記構図決定部は、前記ズーム倍率が再設定される毎に、前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する処理を実行することを特徴とする撮像装置。
【請求項１７】
請求項１４〜請求項１６のいずれかにおいて、
前記ズーム倍率演算部は、前記構図決定部によって、構図の変更が決定されたとき、下記の式（１）から式（４）を満たし、かつ、下記の式（１）から式（４）のうちの少なくとも一つの等号を満たす、全身または顔の検出枠の中心（ｘＩ，ｙＩ）と、枠の横幅ｗＩと、枠の高さｗＩとを求め、求められた結果に基づいて、許容される最大倍率を求め、
【数５】
2012039591.tif 000007
前記ズーム倍率決定部は、前記許容される最大倍率を超えない範囲で、ズーム倍率を決定することを特徴とする撮像装置。
【請求項１８】
請求項１４〜請求項１７のいずれかにおいて、
前記所定部位領域は顔領域であり、前記所定部位検出部は、前記被写体の顔の基準位置と大きさを検出し、
前記被写体の全体領域は、被写体の略全身領域または全身領域であり、前記全体検出部は、前記被写体の略全身領域または全身領域の基準位置と大きさを検出することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等に関する。
【背景技術】
【０００２】
顔アップ、全身ショットなどの構図の異なる写真を撮影する場合、カメラの光学中心とズーム倍率の両方を調節する必要がある。
【０００３】
監視カメラやパスポート用の自動撮影機などの据え置き型の撮影装置であって、パン、チルト、ズームを制御可能な場合には特許文献１にあるように、カメラや鏡筒の位置や向きとズーム倍率を適切に制御することによって、顔アップ、全身ショットなどの各構図の写真を撮影することが可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１１７３１６号公報
【特許文献２】特開２００８−２５２５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、ユーザが手持ちで撮影する場合には、カメラの姿勢は、ユーザまかせとなってしまう。この課題に対処するため、特許文献２では、光軸シフト光学系を用意して、光軸シフト量とズーム量を構図が適切になるように制御することを提案している。しかしながら、シフト光学系を用意するのは、コストがかかり、カメラの大きさも大きくなってしまう。
【０００６】
本発明の幾つかの態様によれば、被写体の特定の領域を含む構図で、被写体を撮影する際に、自動的に撮像倍率を決定し、構図の良い画像を容易に撮影可能な撮像装置等を提供できる。
【０００７】
また、本発明の幾つかの態様によれば、シフト光学系などのコストのかかる機構の追加なしに、顔アップ、全身ショットなどの構図で人物を撮影する際のユーザの手間を軽減する撮像装置等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、ズーム倍率の制御を行う倍率制御部と、撮像部からの撮像画像を取得する画像取得部と、前記画像取得部が取得した前記撮像画像における、被写体の第１の画像領域の基準位置及び前記被写体の第２の画像領域の基準位置と、前記撮像画像の測定基準位置との相対的な位置関係情報を取得する位置関係取得部と、を含み、前記倍率制御部は、前記位置関係取得部が取得した前記位置関係情報に基づいて、前記ズーム倍率を制御する撮像装置に関係する。
【０００９】
本発明の一態様では、被写体の第１の画像領域の基準位置及び被写体の第２の画像領域の基準位置と、撮像画像の測定基準位置との相対的な位置関係情報に基づいて、ズーム倍率を制御することができる。よって、ズーム倍率が自動で制御されるため、ユーザの操作負担を軽減するとともに、構図のよい画像を容易に撮影すること等が可能になる。
【００１０】
また、本発明の一態様では、前記位置関係取得部は、前記被写体の前記第１の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第１の距離情報と、前記被写体の前記第２の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第２の距離情報とを、前記位置関係情報として取得する距離情報取得部を含み、前記倍率制御部は、前記距離情報取得部が取得した前記第１、第２の距離情報に基づいて、前記ズーム倍率を制御してもよい。
【００１１】
これにより、相対的な位置関係情報として、第１の距離情報及び第２の距離情報を取得し、取得した第１の距離情報及び第２の距離情報に基づいてズーム倍率を制御することが可能になる。
【００１２】
また、本発明の一態様では、前記倍率制御部は、前記距離情報取得部が取得した前記第１の距離情報により表される距離が、第１の閾値よりも小さい場合には、前記第１の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム場合率を設定する制御を行ってもよい。
【００１３】
これにより、第１の距離情報によって表される距離が、第１の閾値よりも小さい場合には、第１の画像領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
【００１４】
また、本発明の一態様では、前記倍率制御部は、前記距離情報取得部が取得した前記第２の距離情報により表される距離が、第２の閾値よりも小さい場合には、前記第２の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム場合率を設定する制御を行ってもよい。
【００１５】
これにより、第２の距離情報によって表される距離が、第２の閾値よりも小さい場合には、第２の画像領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
【００１６】
また、本発明の一態様では、前記被写体は、人物であり、前記被写体の第１の画像領域は、前記人物の顔領域であってもよい。
【００１７】
これにより、人物の顔領域を撮像するのに適したズーム倍率の設定制御等が可能になる。
【００１８】
また、本発明の一態様では、前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部を含んでもよい。
【００１９】
これにより、撮像画像において、顔領域を検出し、検出した顔領域の基準位置及びサイズの特定情報を認識すること等が可能になる。
【００２０】
また、本発明の一態様では、前記倍率制御部は、前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記基準位置及び前記サイズに基づいて、前記人物の顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行ってもよい。
【００２１】
これにより、顔領域の基準位置及びサイズに基づいて、顔領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
【００２２】
また、本発明の一態様では、前記倍率制御部は、前記人物の顔領域の前記基準位置が、前記撮像画像の前記測定基準位置から遠ざかっていると判定された場合には、前記顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を下げる制御を行ってもよい。
【００２３】
これにより、撮像画像から顔領域が外れてしまうことを抑止し、顔領域が撮像画像に収まる可能性を高めるようなズーム倍率の設定制御等が可能になる。
【００２４】
また、本発明の一態様では、前記被写体は、人物であり、前記被写体の第１の画像領域は、前記人物の顔領域であり、前記被写体の第２の画像領域は、前記人物の全身領域であってもよい。
【００２５】
これにより、人物の顔領域及び全身領域を撮像するのに適したズーム倍率の設定制御等が可能になる。
【００２６】
また、本発明の一態様では、前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部と、前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記サイズに基づいて、前記人物の全身領域の基準位置及びサイズを推定する全身領域推定部と、を含んでもよい。
【００２７】
これにより、顔認識部により認識された顔領域のサイズに基づいて、全身領域の基準位置及びサイズを推定すること等が可能になる。
【００２８】
また、本発明の一態様では、前記倍率制御部は、前記全身領域推定部が推定した前記人物の全身領域の前記基準位置及び前記サイズに基づいて、前記人物の全身領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行ってもよい。
【００２９】
これにより、全身領域の基準位置及びサイズに基づいて、全身領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
【００３０】
また、本発明の一態様では、前記顔認識部は、前記人物の顔領域における画素の特徴量に基づいて、前記人物の年齢及び性別の少なくとも一方の情報を認識し、前記全身領域推定部は、前記顔認識部が認識した前記人物の年齢及び性別の少なくとも一方の情報と、前記人物の顔領域の前記サイズとに基づいて、前記人物の全身領域の前記基準位置及び前記サイズを推定してもよい。
【００３１】
これにより、全身領域の基準位置及びサイズを推定する際に、人物の年齢及び性別の少なくとも一方の情報を用いることが可能になる。
【００３２】
また、本発明の一態様では、前記撮像部は、ズーム光学系を含み、前記倍率制御部は、前記位置関係取得部が取得した前記位置関係情報に基づいて、前記撮像部のズーム光学系における前記ズーム倍率を制御してもよい。
【００３３】
これにより、光学ズームの自動制御により撮影されるため、デジタルズーム（画像中の領域切り出し）のような画質劣化がなく、ズーム操作を行うことが可能になる。
【００３４】
また、本発明の一態様では、前記第１の画像領域としての、前記被写体の所定部位領域の基準位置と大きさを検出する所定部位検出部と、前記第２の画像領域としての、前記被写体の全体領域の基準位置と大きさを検出する全体検出部と、前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する構図決定部と、決定された構図に含まれる前記被写体の所定部位領域または前記被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、前記被写体の所定部位領域の大きさ、または前記被写体の全体領域の大きさに基づく演算によって求めるズーム倍率演算部を備えるズーム倍率決定部と、前記位置関係取得部に含まれる前記距離情報取得部は、前記被写体の部位領域および前記被写体の全体領域が検出された場合には、前記撮像画像の中心を原点とし、かつ互いに直交する横座標軸と縦座標軸とによって規定される２次元座標系における、前記所定部位領域の基準位置の座標である第１座標と、前記被写体の全体領域の基準位置の座標である第２座標とを求め、前記被写体の所定部位領域の基準位置と前記測定基準位置との間の距離を示す、前記第１の距離情報としての、前記第１座標の頭身方向成分である前記縦座標軸値の絶対値の情報と、前記被写体の全体領域の基準位置と前記測定基準位置との間の距離を示す、前記第２の距離情報としての、前記第２座標の頭身方向成分である前記縦座標軸値の絶対値の情報とを取得し、前記構図決定部は、前記第１座標の前記縦座標軸値の絶対値と、前記第２座標の前記縦座標軸値の絶対値と、を比較し、前記第１座標の縦座標値の絶対値の方が小さいときは、前記被写体の所定部位領域を中心とする構図を採用し、前記第２座標の縦座標値の絶対値の方が小さいときは、前記被写体の全体領域を中心とする構図を採用し、前記ズーム倍率制御部は、前記ズーム倍率演算部によって求められズーム倍率に基づいて、ズーム倍率を制御する。
【００３５】
本態様では、所定部位検出部と、全体検出部と、構図決定部と、ズーム倍率演算部を備えるズーム倍率決定部と、がさらに設けられる。所定部位検出部が、第１画像領域としての所定部位領域の基準位置と大きさを検出し、また、全体検出部が、第２画像領域としての全体領域の基準位置と大きさを検出する。被写体の所定部位は、被写体の全体の一部であり、被写体の全体とは、撮像画像に含まれる被写体の全体（全部）であり、全体の中身は問わない。被写体の全体は、例えば人の全身であり、また、例えば、人の体の一部が欠けている場合であっても、被写体の全体であることには違いがない。
【００３６】
位置関係取得部に含まれる距離情報取得部は、所定部位領域および全体領域が検出されたときには、撮像画像の中心（画像中心）を原点とする２次元座標系における、所定部位領域の基準位置の座標である第１座標と、全体領域の基準位置の座標である第２座標とを求め、第１座標値および第２座標値の頭身方向成分である縦座標値の絶対値を取得する。例えば、第１座標における縦座標値の絶対値は、所定部位領域の基準位置と、その所定部位領域の基準位置を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離（第１の距離情報）を示している。同様に、第２座標における縦座標値の絶対値は、全体領域の基準位置を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離（第２の距離情報）を示している。
【００３７】
構図決定部は、第１座標についての距離（縦座標値の絶対値）と、第２座標についての距離（縦座標値の絶対値）を比較する。例えば、第１座標の距離の方が小さいときは、ユーザは、所定部位を画像の中心に置こうとしていると推定できることから、構図決定部は、被写体の所定部位領域を中心とする構図を採用し、第２座標の距離が小さいときは、被写体の全体領域を中心とする構図を採用する。
【００３８】
また、構図の移行に際して、被写体の欠けを防止する必要があることから、ズーム倍率決定部に備わっているズーム倍率演算部は、決定された構図に含まれる被写体の所定部位領域または被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、被写体の所定部位領域の大きさ、または被写体の全体領域の大きさに基づく演算によって求める。ズーム倍率制御部は、ズーム倍率演算部によって求められズーム倍率に基づいて、ズーム倍率を制御する。本態様によれば、ユーザが、例えば人物を撮影する場合に、被写体の所定部位（例えば顔）の中心を画像中心に置こうとするか、被写体の全体（例えば全身）の中心を画像中心の方に置こうとするかをカメラの内部で判定し、顔アップ、全身ショットなどの構図に合うように、光学系のズーム倍率を制御することができる。ズーム倍率が自動で制御されるため、ユーザの操作負担が軽減され、また、構図のよい画像を容易に撮影すること等が可能となる。
【００３９】
また、本発明の一態様では、前記構図決定部は、前記被写体の所定部位領域は検出されたが、前記被写体の全体領域の検出ができなったときには、前記所定部位領域を中心とする構図を採用し、前記被写体の所定部位領域を検出できず、前記被写体の全体領域は検出できたときには、前記被写体の全体を中心とする構図を採用する。
【００４０】
本態様では、被写体の全体領域のみが検出できたときには、構図決定部は、被写体の全体を中心とする構図を採用する。また、例えば、所定部位領域の検出には、所定サイズ以上の画素領域が必要である場合に、被写体の全体領域のサイズが小さいと、全体領域は検出できたが、所定部位領域は検出できなかった、という事態が生じ得る。構図決定部は、このような場合、被写体の全体を中心とする構図を採用する。本態様によれば、所定部位領域の検出ならびに全体領域の検出の結果に基づいて、スムーズかつ迅速に、構図の決定ならびに構図の移行を行える。
【００４１】
また、本発明の一態様では、前記被写体の所定部位領域および前記被写体の全体領域の双方が検出されなかったときにおいて、前記ズーム倍率決定部は、ズーム倍率が広角端に対応するズーム倍率であるかを確認し、広角端に対応するズーム倍率であれば、ズーム制御を終了し、広角端に対応するズーム倍率でないときは、より低い倍率のズーム倍率を再設定し、前記所定部位検出部は、前記ズーム倍率が再設定される毎に、前記所定部位の検出処理を実行し、前記全体検出部は、前記ズーム倍率が再設定される毎に、前記被写体の全体の検出処理を実行し、前記構図決定部は、前記ズーム倍率が再設定される毎に、前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する処理を実行する。
【００４２】
本態様では、被写体の所定部位領域および被写体の全体領域の双方を検出できないときは、ズーム倍率を、より低い倍率に再設定して、各領域の検出動作を繰り返し実行する。よって、オートズームに成功する可能性が高まる。
【００４３】
また、本発明の一態様では、前記ズーム倍率演算部は、前記構図決定部によって、構図の変更が決定されたとき、下記の式（１）から式（４）を満たし、かつ、下記の式（１）から式（４）のうちの少なくとも一つの等号を満たす、全身または顔の検出枠の中心（ｘＩ，ｙＩ）と、枠の横幅ｗＩと、枠の高さｗＩとを求め、求められた結果に基づいて、許容される最大倍率を求め、
【００４４】
【数１】
2012039591.tif 000003
【００４５】
前記ズーム倍率決定部は、前記許容される最大倍率を超えない範囲で、ズーム倍率を決定する。
【００４６】
本態様では、ズーム倍率演算部が、式（１）〜式（４）を用いて、許容される最大の倍率を求め、ズーム倍率決定部が、許容される最大倍率を超えない範囲で、ズーム倍率を設定する。これによって、被写体の欠けを確実に防止しつつ、適切なズーム倍率を設定することができる。
【００４７】
また、本発明の一態様では、前記所定部位領域は顔領域であり、前記所定部位検出部は、前記被写体の顔の基準位置と大きさを検出し、前記被写体の全体領域は、被写体の略全身領域または全身領域であり、前記全体検出部は、前記被写体の略全身領域または全身領域の基準位置と大きさを検出する。
【００４８】
本態様によれば、ユーザが、例えば人物を撮影する場合に、被写体の顔の中心を画像中心に置こうとするか、被写体の全身あるいは略全身の中心を画像中心の方に置こうとするかをカメラの内部で判定し、顔アップ、全身ショット（あるいは略全身ショット）などの構図に合うように、光学系のズーム倍率を制御することができる。ズーム倍率が自動で制御されるため、ユーザの操作負担が軽減され、また、構図のよい画像を容易に撮影すること等が可能となる。
【図面の簡単な説明】
【００４９】
【図１】第１の実施形態の撮像装置の構成例。
【図２】図２（Ａ）は全身領域を撮像する際の構図、図２（Ｂ）は顔領域を撮像する際の構図。
【図３】顔領域のサイズ、基準位置、撮像画像の基準位置及び第１の距離情報の関係を説明する図。
【図４】顔領域のサイズ及び基準位置から全身領域のサイズ及び基準位置を推定する手法の説明図。
【図５】顔と頭の大きさの違いを説明する図。
【図６】図６（Ａ）、図６（Ｂ）はズーム倍率の設定制御等に用いる閾値の説明図。
【図７】図７（Ａ）〜図７（Ｃ）は撮像画像が顔領域全体を含む倍率にズーム倍率を設定したときの撮像画像の例。
【図８】図８（Ａ）〜図８（Ｃ）は撮像画像が全身領域全体を含む倍率にズーム倍率を設定したときの撮像画像の例。
【図９】顔領域の追跡処理を説明する図。
【図１０】本実施形態の処理を説明するためのフローチャート。
【図１１】第２の実施形態の撮像装置の構成例を示す図。
【図１２】第２実施形態の処理を説明するためのフローチャート。
【図１３】図１３（Ａ）は全身領域を撮像する際の構図、図１３（Ｂ）は顔領域を撮像する際の構図を示す図。
【図１４】２次元座標系における顔の大きさと、顔の中心位置と、顔の中心位置と測定基準位置との間の距離について説明するための図。
【図１５】画像に顔、上半身ならびに全身が含まれるときにおける、構図決定方法について説明するための図。
【図１６】図１６（Ａ）および図１６（Ｂ）は、構図移行に伴うズーム倍率決定方法の一例を説明するための図。
【発明を実施するための形態】
【００５０】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５１】
（第１の実施形態）
１．本実施形態の手法
本実施形態の手法について図２（Ａ）、図２（Ｂ）を参照して説明する。図２（Ａ）、図２（Ｂ）に示したように、被写体（特に人物）を撮影する際には、顔アップや全身ショットといったような、特定の構図を用いるケースが多い。そのため、ユーザの意図に従い、自動的に構図を設定する撮像装置は非常に有用であると考えられる。
【００５２】
しかし、そのような撮像装置を実現するには、ズーム倍率の調整だけでなく、撮像画像の中心（以下、適宜画像中心と表記する）も適切に調整する必要がある。図２（Ａ）のような全身ショットであれば、全身の中心（腹部のあたり）に画像中心を設定する必要があるし、図２（Ｂ）のように顔アップであれば顔の中心（鼻のあたり）に画像中心を設定することが望ましい。
【００５３】
据え置き型の撮像装置、すなわち、ユーザが手で把持していない撮像装置であれば、画像中心を変更することは可能である。しかし、ユーザが手で把持して用いる撮像装置では、撮像画像内で画像中心を変更するにはシフト光学系等の大掛かりなシステムが必要となってしまう。
【００５４】
そこで本出願人は以下のような撮像装置を提案する。撮像装置には、シフト光学系のような画像中心を撮像装置内部で変更する機構は含まれない。つまり、画像中心の変更、設定はあくまでユーザにゆだねることになる。
【００５５】
ユーザの操作により、画像中心が顔中心に近い位置に設定されたと判断された場合には、ユーザは顔アップの画像を撮像しようとしているものとして、図２（Ｂ）に示したような顔アップに適したズーム倍率を設定する。また、画像中心が全身中心に近い位置に設定されたと判断された場合には、ユーザは全身ショットを撮像しようとしているものとして、図２（Ａ）に示したように、全身ショットに適したズーム倍率を設定する。
【００５６】
よって、本実施形態の撮像装置は、以下の２点の特徴を持つ。すなわち、ユーザの設定した画像中心の位置と顔中心、全身中心の位置との相対的な位置関係に基づいて、ユーザが撮像したいと考えている構図を推定する点、及び、撮像する構図に適したズーム倍率を自動的に設定する点である。
【００５７】
なお、以上の説明では、構図を推定するにあたって、画像中心、顔中心及び全身中心を基準とするものとしたが、これに限定されない。撮像画像の任意の位置を測定基準位置として採用してもよいし、顔領域の任意の位置、全身領域の任意の位置を基準位置として採用してもよい。
【００５８】
以下、撮像装置の構成例について述べた後、構図及びズーム倍率の設定手法について説明する。さらに顔領域の追跡手法、フローチャートを用いた処理の流れを説明し、最後に変形例について説明する。
【００５９】
２．撮像装置の構成例
図１は、本発明の第１の実施形態に係る撮像装置の概略的構成を説明するブロック図である。撮像装置は、撮像部１１５と、画像取得部１２５と、画像処理部１３０と、Ｉ／Ｆ部１４０と、記憶部１５０と、処理部１６０と、レンズ駆動モータ（ＡＦモータ、ズームモータ）１７０と、光学ズーム制御部１８０と、画像表示部１９０とを備えている。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６０】
なお、図示していないが撮像装置１００にはフラッシュ機構等の一般のデジタル撮像装置に装備される機器を設けても良い。
【００６１】
撮像部１１５は、撮影レンズ１１０（ズーム光学系）と、撮像素子１２０とを備えている。撮影レンズ１１０は、ＣＣＤあるいはＣＭＯＳイメージセンサで構成される撮像素子１２０の撮像面上に被写体像を形成する焦点距離可変のズームレンズである。本明細書中では、撮像素子１２０は内部にＣＤＳ、Ａ／Ｄ変換等の処理ブロックを有してデジタルの画像信号を出力可能なＣＭＯＳイメージセンサであるものとして説明をする。
【００６２】
撮像素子１２０から出力されるデジタルの画像信号は、記憶部１５０に一時的に保管される。記憶部１５０は、画像処理部１３０が画像処理を行う際のバッファメモリとしても用いられるので、書き込み・読み出しの速度が速いことが望ましく、例えばＤＲＡＭ、ＳＲＡＭ等で構成することが可能である。記憶部１５０へは、システムバスを介して撮像素子１２０、画像処理部１３０、Ｉ／Ｆ部１４０、処理部１６０、がアクセス可能に構成される。記憶部１５０は、上述した構成要素からのメモリアクセス要求を調停する機能を有する。
【００６３】
画像取得部１２５は、撮像素子１２０から画像信号を取得し、画像処理部１３０に出力する。なお、画像信号は、撮像素子１２０からではなく、記憶部１５０から、記憶部１５０に一時的に保管されたものを取得してもよい。
【００６４】
画像処理部１３０は、特定用途向けの集積回路（ＡＳＩＣ）等で構成することが可能である。この画像処理部１３０は、画像取得部１２５から入力されたデジタルの画像信号に同時化（デモザイク処理）、ホワイトバランス調整、階調・レベル補正、アンシャープマスク、シェーディング補正等の処理をしてデジタルの画像データを生成する。
【００６５】
画像処理部１３０は、電子ズーム処理部１３２（倍率制御部）を含む。電子ズーム処理部１３２は画像信号の画素数を変換するための信号処理を行う。画素間の補完、間引きを行うことで電子的に画像の拡大、縮小を行い、これにより電子ズーム処理を実現する。
【００６６】
処理部１６０は、撮像装置１００を動作させるための種々の処理を行う。
【００６７】
処理部１６０は、位置関係取得部１６２と、顔認識部１６４と、全身領域推定部１６６と、倍率決定部１６８とを含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６８】
位置関係取得部１６２は、被写体の第１の画像領域の基準位置、被写体の第２の画像領域の基準位置及び撮像画像の測定基準位置との相対的な位置関係を取得する。
【００６９】
また、位置関係取得部１６２は、距離情報取得部１６３を含む。距離情報取得部は、相対的な位置関係として、被写体の第１の画像領域の基準位置と撮像画像の測定基準位置との距離である第１の距離情報を取得する。また、被写体の第２の画像領域の基準位置と撮像画像の測定基準位置との距離である第２の距離情報を取得する。
【００７０】
顔認識部１６４は、撮像画像の中から被写体（人物）の顔を認識し、顔のサイズと基準位置を取得する。
【００７１】
全身領域推定部１６６は、顔認識部が認識した顔のサイズに基づいて、被写体（人物）の全身領域のサイズと基準位置を推定する。
【００７２】
倍率決定部１６８は、位置関係取得部１６２が取得した相対的な位置関係（具体的には例えば距離情報取得部１６３が取得した距離情報）に基づいて、ズーム倍率を決定する。決定されたズーム倍率は倍率制御部（電子ズーム処理部１３２あるいは光学ズーム制御部１８０）に送られる。
【００７３】
レンズ駆動モータ１７０は、ＡＦモータやズームモータから構成される。ズームモータは、光学ズーム制御部１８０からの制御情報を受け、適切なズーム倍率になるように撮影レンズ１１０の位置を調整する。また、ＡＦモータは画角調整の終了後に、被写体に対して自動的にフォーカスをあわせるＡＦ（オートフォーカス）を実行する。具体的にはズームモータと同様に撮影レンズ１１０の位置を調整する。
【００７４】
光学ズーム制御部１８０は、光学ズームの倍率を調整するための制御信号を生成する。生成した制御信号は、レンズ駆動モータ１７０に出力される。
【００７５】
画像表示部１９０は、液晶表示素子上での画像表示を制御する。カラー液晶表示（ＬＣＤ）パネルまたは有機ＥＬ（ＯＥＬ）ディスプレイパネルなどで構成される表示素子と、ライブビュー処理を行う不図示の表示制御部とを有する。
【００７６】
３．構図及びズーム倍率の設定
図２（Ａ）のように全身が写っている構図や図２（Ｂ）の顔がアップで写っている構図を顔の位置、大きさ、画像中心位置の関係からカメラ内で自動判定することが本実施形態の特徴となっているが、以下では、具体的な実施形態について説明する。
【００７７】
まず、画像取得部１２５において、撮影時のスルー画像が取得される。次に、顔認識部１６４において、画像中に顔があるか否かの判定を行い、顔がある場合には、図３に示したように、顔の中心（Ｂｘ，Ｂｙ）、及び大きさＦ（ｔ）を求める。
【００７８】
続いて、距離情報取得部１６３において、画像中心と顔の中心との時刻ｔでの距離Ｄ１（ｔ）を求める。画像サイズをＭ×Ｎ（例えば、スルー画像の場合Ｍ＝６４０，Ｎ＝４８０のＶＧＡサイズ）とすれば、画像の中心座標（Ａｘ，Ａｙ）は、下式（１）で表される。
【００７９】
（Ａｘ，Ａｙ）＝（Ｍ／２，Ｎ／２）  ・・・・・（１）
そこで、画像中心（Ａｘ，Ａｙ）と顔の中心（Ｂｘ，Ｂｙ）との時刻ｔでの距離Ｄ１（ｔ）は、下式（２）のように表される。これを図示したものが図３である。
【００８０】
【数２】
2012039591.tif 000004
【００８１】
次に、倍率決定部１６８において、Ｄ１（ｔ）が所定の閾値ε１より小さいか否かを判定し、ε１より小さいと判定した場合には、Ｓ１０５で、顔アップの構図に好適となるようズーム光学系の倍率を定める。以下、この倍率の定め方について具体的に説明する。
【００８２】
上記Ｄ１（ｔ）の値が０に近くなった時、つまり、ある小さな閾値ε１があって、Ｄ（１）とε１が下式（３）を満たすとき、画像中心と顔中心は近くにあると判定する。
【００８３】
Ｄ１（ｔ）＜ε１  ・・・・・（３）
そして、画像サイズＭ×Ｎに対し、時刻ｔでの画像中での顔の大きさＦ（ｔ）の比率（α＜１）が、顔アップの構図に好適となるよう、下式（４）を満たすようにズーム倍率を決定する。
【００８４】
Ｆ（ｔ）＝α×Ｍｉｎ（Ｍ，Ｎ）  ・・・・・（４）
ここで、Ｍｉｎ（Ｍ，Ｎ）は、Ｍ，Ｎの小さい方の値をとることを意味する。このようにすることで、撮像画像が縦長であっても、横長であっても対応することができる。尚、比率αの値は、事前に、顔アップの構図の定義として、カメラ内で定めておく。
【００８５】
次に、全身領域推定部１６６において、顔の中心・大きさ・上下の向き、頭身比の情報から、全身の中心と大きさを推定する手順について、図４を用いて具体的に説明する。
【００８６】
まず、全身中心とは、頭頂から足先までの全身の２等分線と、身体の左右対称軸の交点と表現できる。全身中心の推定方法について説明する。顔中心の座標を（Ｂｘ，Ｂｙ）とし、時刻ｔでの画像上の顔の大きさをＦ（ｔ）とする。
【００８７】
ここで、顔の大きさとは、図５に示すように、顔検出の結果出力される矩形枠の縦の長さで近似して扱うため頭の大きさとは異なってくる。この点、後で頭身比を用いて画像上での全身の身長を推定する際には、顔と頭の長さの比を考慮に入れる必要がある。ここでは簡単のため、顔の大きさ＝頭の大きさ、顔の中心＝頭の中心としておくが、人の顔と頭の平均的な比率を求めておき、換算しなおすことが望ましい。
【００８８】
顔の上下の向きが、画像の縦軸に平行とし、顔の下方に全身があると仮定し、さらに、頭身比をＲとすると、全身中心の座標（Ｃｘ，Ｃｙ）は、図４を参照すれば（ただし、図４は縦撮影に対応する図であることに注意）、下式（５）により算出される。
【００８９】
（Ｃｘ，Ｃｙ）＝（Ｂｘ，Ｂｙ＋（Ｒ−１）＊Ｆ（ｔ）／２）  ・・・・・（５）
ただし、顔の下方向を画像座標の正方向とした。ここでは例えば、頭身比Ｒ＝８、つまり８頭身などと仮定して算出する。
【００９０】
縦撮りの場合には、顔の上下の向きは、画像の横軸に平行となり、図４を参照して下式（６）で算出される。
【００９１】
（Ｃｘ，Ｃｙ）＝（Ｂｘ＋（Ｒ−１）＊Ｆ（ｔ）／２，Ｂｙ）  ・・・・・（６）
ただし、顔の下方向を画像座標の正方向とした。
【００９２】
なお、顔検出技術だけでなく、歩行者検出などの全身検出技術を用いると全身の中心と大きさの推定精度の向上も期待できる。以上で、全身領域推定部１６６において、顔の中心・大きさ・上下の向き、頭身比の情報から、全身の中心と大きさを推定する手順について説明した。
【００９３】
次に、距離情報取得部１６３において、顔の中心と全身の中心の時刻ｔでの距離Ｄ２（ｔ）を算出する。具体的には、画像中心（Ａｘ，Ａｙ）と全身中心（Ｃｘ，Ｃｙ）との時刻ｔでの距離Ｄ２（ｔ）は、下式（７）で表される。
【００９４】
【数３】
2012039591.tif 000005
【００９５】
続いて、倍率決定部１６８において、Ｓ１１０で、Ｄ２（ｔ）が所定の閾値ε２より小さいか否かを判定し、ε２より小さいと判定した場合には、Ｓ１１１で、全身撮影の構図に好適なズーム光学系の倍率を決定する。この倍率の決定の方法について説明する。
【００９６】
Ｄ２（ｔ）の値が０に近くなった時、つまり、ある小さな閾値ε２があって、Ｄ２（ｔ）とε２が下式（８）の関係を満たすとき、画像中心と全身中心は近くにあると判定する。
【００９７】
Ｄ２（ｔ）＜ε２  ・・・・・（８）
そして、画像サイズＭ×Ｎに対し、画像上での身長（≒Ｒ×Ｆ）の比率（β＜１）が、全身撮影の構図にふさわしくなるよう、下式（９）を満たすようにズーム倍率を決定する。
【００９８】
Ｒ×Ｆ（ｔ）＝β×Ｍｉｎ（Ｍ，Ｎ）  ・・・・・（９）
尚、比率βの値は、事前に、全身撮影の構図の定義として、カメラ内で定めておく。
【００９９】
最後に、倍率制御部において、オートズームの終了命令がなければ、画像取得に戻る一方、終了命令があれば、オートズームを終了する。ここでオートズームの終了命令とは、例えば、撮影者が、ズームを微調整したい場合などにズームレバーに手をかけることによって発動されるようになっている。
【０１００】
なお、以上の説明におけるε１とε２の設定については複数の手法が考えられる。例えば図６（Ａ）に示したように、顔中心と全身中心との間の点（例えば中点）を設け、顔中心と間の点との距離をε１、全身中心と間の点との距離をε２としてもよい。このように設定することで、顔中心と全身中心との間に画像中心がある場合には、必ず顔アップか全身ショットかどちらかの構図に決定される。また、図６（Ｂ）に示したように、顔アップにも、全身ショットにもならない不定領域を持たせる手法もある。図６（Ａ）、図６（Ｂ）のどちらの手法を用いてもよく、ユーザに使いやすい手法を選択させてもよい。
【０１０１】
以上の本実施形態では、図１に示すように、撮像装置は倍率制御部（電子ズーム処理部１３２、光学ズーム制御部１８０）と、画像取得部１２５と、位置関係取得部１６２とを含む。倍率制御部はズーム倍率の制御を行う。画像取得部１２５は撮像部１１５から撮像画像を取得する。位置関係取得部１６２は、被写体の第１の画像領域の基準位置と、被写体の第２の画像領域の基準位置と、撮像画像の測定基準位置との相対的な位置関係情報を取得する。そして、倍率制御部は、位置関係取得部１６２が取得した位置関係情報に基づいて、ズーム倍率を制御する。
【０１０２】
ここで、倍率制御部とは、具体的には、電子ズーム処理部１３２や光学ズーム制御部１８０のことである。すなわち、ここでのズームは、光学ズームやデジタルズームのことである。
【０１０３】
これにより、撮像画像を取得した上で、撮像画像における被写体の第１の画像領域の基準位置、被写体の第２の画像領域の基準位置及び撮像画像の測定基準位置との相対的な位置関係情報に基づいて、ズーム倍率を制御することが可能になる。よって、撮像画像における被写体の画像領域の位置関係に対応した構図を決定することができる。具体的には例えば、後述するように、第１の画像領域全体が撮像画像に収まるような構図等を決定する。
【０１０４】
また、図１に示すように、位置関係取得部は、相対的な位置関係情報として、第１の距離情報と第２の距離情報を取得する距離情報取得部１６３を含んでもよい。そして、取得した距離情報に基づいてズーム倍率を制御してもよい。
【０１０５】
ここで、第１の距離情報とは、被写体の第１の画像領域の基準位置と、撮像画像の測定基準位置との距離を表す情報であり、第２の距離情報とは、被写体の第２の画像領域の基準位置と、撮像画像の測定基準位置との距離を表す情報である。
【０１０６】
これにより、相対的な位置関係情報として、第１の距離情報及び第２の距離情報を取得し、第１、第２の距離情報に基づいてズーム倍率を制御することが可能になる。距離を表す距離情報という測定（算出）が容易な情報を、ズーム倍率制御の基準とすることで、構図決定における処理を簡単化することができる。
【０１０７】
また、倍率制御部は、距離情報取得部１６３が取得した第１の距離情報により表される距離が第１の閾値よりも小さい場合には、第１の画像領域全体が撮像画像に収まる倍率に、ズーム倍率を設定する制御を行う。同様に、第２の距離情報により表される距離が第２の閾値よりも小さい場合には、第２の画像領域全体が撮像画像に収まる倍率に、ズーム倍率を設定する制御を行う。
【０１０８】
ここで、第１の閾値とは、上述した式（３）におけるε１を表し、第２の閾値とは、上述した式（８）におけるε２を表す。具体的には、図６（Ａ）及び図６（Ｂ）のような例が考えられる。
【０１０９】
これにより、撮像画像の測定基準位置が第１の画像領域の基準位置に近い場合には、第１の画像領域全体が撮像画像に収まるような倍率が設定され、撮像画像の測定基準位置が第２の画像領域の基準位置に近い場合には、第２の画像領域全体が撮像画像に収まるような倍率が設定されることになる。よって、それぞれ、第１の画像領域、第２の画像領域を撮影するにあたって適切な構図（ズーム倍率）を設定することができる。
【０１１０】
また、被写体とは例えば人物であり、第１の画像領域とは人物の顔領域であってもよい。そして、撮像装置は、撮像画像において人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部１６４を含んでもよい。さらに、倍率制御部は、顔認識部１６４が認識した特定情報により特定される顔領域の基準位置及びサイズに基づいて、人物の顔領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行ってもよい。
【０１１１】
これにより、人物を撮影するにあたって、顔領域の基準位置とサイズを認識することが可能になる。そして、顔領域の基準位置とサイズに基づいて、顔領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行うことで、顔アップに好適な構図を設定することが可能になる。
【０１１２】
ここで、「顔領域全体が撮像画像に収まる」とは、例えば図７（Ａ）のように、撮像画像いっぱいに顔領域が表示されているケースでもよいし、図７（Ｂ）のように、顔領域全体を含みつつ、その他の領域（例えば首や肩等）を含んでもよい。また、顔領域とは必ずしも、頭頂部からあごの先までを含む領域である必要はない。例えば、顔領域として、額から口までの領域を設定しておけば、図７（Ｃ）に示したような撮像画像が得られる。つまり、顔領域とは顔に基づく領域であれば十分であり、本実施形態は図７（Ｃ）のようなケースも含みうる。
【０１１３】
また、被写体とは例えば人物であり、第１の画像領域とは人物の顔領域であるとともに、第２の画像領域は人物の全身領域であってもよい。そして、撮像装置は、撮像画像において人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部１６４と、顔認識部が認識した特定情報により特定される顔領域の基準位置及びサイズに基づいて、人物の全身領域の基準位置とサイズを推定する全身領域推定部１６６を含んでもよい。さらに、倍率制御部は、全身領域推定部１６６が推定した全身領域の基準位置及びサイズに基づいて、人物の全身領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行ってもよい。
【０１１４】
これにより、人物を撮影するにあたって、全身領域の基準位置とサイズを認識することが可能になる。そして、全身領域の基準位置とサイズに基づいて、全身領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行うことで、全身ショットに好適な構図を設定することが可能になる。
【０１１５】
ここで、「全身領域全体が撮像画像に収まる」とは、上述した顔領域の例と同様、様々なケースが考えられる。図８（Ａ）のように、撮像画像いっぱいに全身（頭頂部から足先まで）が表示されていてもよいし、図８（Ｂ）のように、余白（背景）にあたる領域があってもよい。また、全身領域とは、頭頂部から足先までではなく、例えば膝上までの領域であってもよく、その場合は図８（Ｃ）のように表示される。顔領域と同様、本実施形態においては、全身領域とは全身に基づく領域であれば十分である。
【０１１６】
４．顔領域の追跡
本実施形態では、基本的に顔検出技術にのみに基づいた処理を対象として説明しているので、例えば、顔アップの構図から、ユーザがカメラ中心を上下左右のどちらかにシフトもしくはチルトさせて移動させた場合などに、顔を見失ってしまわないような機構が必要となる。
【０１１７】
そのため、顔検出が可能なように、顔検出枠が、画像内に収まる範囲内でズーム倍率を定める機構を備えている。すなわち、倍率決定部１６８において、画像中心が顔の中心から遠ざかっているか否かをＤ１（ｔ）＜Ｄ１（ｔ＋１）によって判定し、遠ざかっていると判定した場合には、顔が画像内に収まるようズーム光学系の倍率を決定する。以下この処理について具体的に説明する。
【０１１８】
今、時刻ｔと時刻ｔ＋１において、画像中心と顔中心の距離がＤ１（ｔ）およびＤ１（ｔ＋１）であり、下式（１０）を満たすとき、すなわち、画像中心から顔中心が離れたと判断された場合に対処すればよい。
【０１１９】
Ｄ１（ｔ＋１）＞Ｄ１（ｔ）  ・・・・・（１０）
このとき、離れていく速度が一定、すなわち、加速度０を仮定すると、画像中心と顔中心の距離をＤ（ｔ＋２）とするとき、下式（１１）が成り立つ。
【０１２０】
Ｄ１（ｔ＋２）−Ｄ１（ｔ＋１）＝Ｄ１（ｔ＋１）−Ｄ１（ｔ）  ・・・・・（１１）
時刻ｔ＋２での画像上での顔の大きさをＦ（ｔ＋２）とし、Ｍ×Ｎの画像の中に、顔が収まるためには、図９を参照すると、下式（１２）を満たす必要がある。
【０１２１】
Ｄ１（ｔ＋２）＋Ｆ（ｔ＋２）／２≦ｍｉｎ（Ｍ，Ｎ）／２  ・・・・・（１２）
上記の２式からＤ１（ｔ＋２）を消去すると下式（１３）を得る。
Ｆ（ｔ＋２）≦ｍｉｎ（Ｍ，Ｎ）＋４×Ｄ１（ｔ＋１）−２×Ｄ１（ｔ）・・・（１３）
すなわち、時刻ｔ＋２において、上式（１３）を満たすような顔の大きさＦ（ｔ＋２）となるようズーム倍率を決定すれば、画像内に顔が収まることになる。
【０１２２】
以上の本実施形態では、倍率制御部は、人物の顔領域の基準位置が、撮像画像の測定基準位置から遠ざかっていると判定された場合には、図９に示したように、顔領域全体が撮像画像に収まる倍率にズーム倍率を下げる制御を行う。
【０１２３】
ここで、顔領域の基準位置が撮像画像の測定基準位置から遠ざかっているとは、上述した式（１０）が成り立つ場合であり、その場合には上述した式（１３）で決められる顔の大きさＦ（ｔ＋２）が撮像画像に収まるようにズーム倍率を設定する制御を行う。
【０１２４】
これにより、時刻ｔ＋１の段階において、時刻ｔ＋２での顔領域の移動を予測し、時刻ｔ＋２において、顔領域全体が撮像画像に収まるような倍率にズーム倍率を設定する制御を行うことが可能になる。よって、顔領域を追跡することができるため、顔アップの構図を決定することが可能になるし、また、全身領域の基準位置とサイズを推定し、全身ショットの構図を決定することも可能になる。
【０１２５】
５．フローチャート
次に、処理の流れについて図１０を用いて説明する。画像取得部１２５において、Ｓ１０１で、撮影時のスルー画像を取得する。次に、顔認識部１６４において、Ｓ１０２で、画像中に顔があるか否かの判定を行い、顔がある場合には、顔の中心、大きさを求める。
【０１２６】
続いて、距離情報取得部１６３において、Ｓ１０３で、画像中心と顔の中心との時刻ｔでの距離Ｄ１（ｔ）を求める。倍率決定部１６８において、Ｓ１０４で、Ｄ１（ｔ）が所定の閾値ε１より小さいか否かを判定し、ε１より小さいと判定した場合には、Ｓ１０５で、顔アップの構図に好適となるようズーム光学系の倍率を定める。
【０１２７】
さらに、倍率決定部１６８において、Ｓ１０６で、画像中心が顔の中心から遠ざかっているか否かをＤ１（ｔ）＜Ｄ１（ｔ＋１）によって判定し、遠ざかっていると判定した場合には、Ｓ１０７で、顔が画像内に収まるようズーム光学系の倍率を決定する。
【０１２８】
続いて、全身領域推定部１６６において、Ｓ１０８で、顔の中心・大きさ・上下の向き、頭身比の情報から、全身の中心と大きさを推定する。次に、距離情報取得部１６３において、Ｓ１０９で、顔の中心と全身の中心の時刻ｔでの距離Ｄ２（ｔ）を算出する。倍率決定部１６８において、Ｓ１１０で、Ｄ２（ｔ）が所定の閾値ε２より小さいか否かを判定し、ε２より小さいと判定した場合には、Ｓ１１１で、全身撮影の構図に好適なズーム光学系の倍率を決定する。倍率制御部において、Ｓ１１２で、オートズームの終了命令がなければ、Ｓ１０１の画像入力に戻る一方、終了命令があれば、オートズームを終了する。
【０１２９】
６．変形例
このように、カメラを顔や全身の中心に向けるだけで、顔アップと全身撮影に好適なズーム倍率に自動設定される。なお、構図は顔アップと全身ショットの２つに限定されるものではない。顔アップと全身撮影の中間として、例えば、バストショットの構図を定義しておき、この構図にオートズームできるようにしても良い。
【０１３０】
また、これまで、顔や全身の中心を基準にして説明してきたが、基準が必ずしも顔や全身の領域中心である必要はなく、例えば、顔や全身の領域中心からずれた基準位置をユーザに指定してもらい、その基準位置と画像中心を比較するようにしてもよい。また、撮像画像の基準位置も画像中心である必要はなく、画像中心からずれた位置を測定基準位置としてユーザに指定してもらうようにしても構わない。
【０１３１】
また、全身サイズの推定では、Ｒを一定とした（全ての人物をＲ等身とした）が、これに限定されるものではない。人物の顔領域の情報から、年齢や性別を推定し、推定した年齢、性別に基づいて等身を決定してもよい。具体的には例えば、幼い子供は等身が低く設定され、大人は等身が高く設定される。また、高齢者は場合によっては等身を低くしてもよい。
【０１３２】
また、顔認識部１６４で認識した顔情報を用いて、個人認証を行ってもよい。記憶部１５０は、人物データベースを保持しておき、人物の顔領域の特徴量を記憶する。そして、被写体が特定の人物であると判定された場合には、その人物に関連づけられた等身情報を用いて全身サイズを推定する。もしくは、全身サイズ情報そのものを記憶しておいてもよい。この際、人物に関連づけられた等身情報もしくは全身サイズ情報は、予めユーザにより入力されたものでもよいし、過去の撮影の際に用いた値を記憶しておいてもよい。
【０１３３】
また、全身領域推定部１６６における推定には、姿勢検出の手法を併用してもよい。つまり、被写体が直立しているのか、いすに座っているのか、床にしゃがんでいるのか等を認識した上で、等身を推定してもよい。この場合、直立に比べていすに座っている場合の方が等身は低く、いすに座っている場合に比べて床にしゃがんでいる方がさらに等身が低い。また、姿勢検出及び全身検出の精度が高いことが期待されるのであれば、等身情報ではなく、直接全身サイズ情報を求めてもよい。
【０１３４】
また、本実施形態では、ズーム手法は光学ズームでもよいし、デジタルズームでもよいものとして説明したがこれに限定されるものではない。光学ズームのみを用いてズームを行ってもよいし、デジタルズームのみを用いてズームを行ってもよい。
【０１３５】
また、被写体が動いている場合には、倍率を保ったまま追尾しようとしている可能性が高いため、ここで提案したオートズームは、被写体が静止している場合を検知して働くことが望ましい。被写体の静止状態の判定には、現状のデジタルカメラの被写体ブレ検知機能などを用いれば良い。
【０１３６】
以上の本実施形態においては、顔認識部１６４は人物の顔領域の画素の特徴量に基づいて、人物の年齢及び性別の少なくとも一方の情報を認識し、全身領域推定部１６６は、年齢及び性別の少なくとも一方の情報と、人物の顔領域のサイズとに基づいて、人物の全身領域の基準位置及びサイズを推定してもよい。
【０１３７】
これにより、上述したように、年齢や性別に基づいて、等身を変化させることが可能になり、より全身領域の基準位置及びサイズの推定を正確にすることができる。
【０１３８】
また、撮像部１１５は、ズーム光学系１１０を含み、倍率制御部は、位置関係取得部１６２が取得した位置関係情報に基づいて、ズーム光学系１１０におけるズーム倍率を制御してもよい。
【０１３９】
これにより、光学ズームのみに基づいて、顔アップや全身ショット等の構図に適したズーム倍率を設定する制御を行うことが可能になる。よって、画質を劣化させることなくズームを行うことができる。
【０１４０】
（第２の実施形態）
図１１〜図１６を用いて、第２の実施形態について説明する。本実施形態も、前掲の実施形態と同様に、ユーザが、被写体のどの部分を画像の中心に置こうとしているかを、カメラ等の撮像装置が自動的に判定し、ユーザが望む顔アップや全身ショット等の構図に合うように、光学系のズーム倍率を自動的に制御する。但し、本実施形態では、部位検出部と、全体検出部と、構図決定部と、ズーム倍率演算部を備えるズーム倍率決定部と、がさらに設けられ、正確なオートズーム制御が可能である。
【０１４１】
図１１は、第２の実施形態の撮像装置の構成例を示す図である。全体構成は、図１に示される撮像装置と同様である。但し、本実施形態では、所定部位検出部１６５と、全体検出部１６７と、構図決定部１７１と、ズーム倍率演算部１６９を備えるズーム倍率決定部（倍率決定部）１６８と、が設けられている。
【０１４２】
所定部位検出部１６５は、第１画像領域としての、被写体の所定部位領域の基準位置と大きさを検出する。また、全体検出部１６７は、第２画像領域としての、被写体の全体領域の基準位置と大きさを検出する。
【０１４３】
ここで、被写体の所定部位は、被写体の全体の一部であり、例えば、人の顔や胸が、被写体の所定部位となり得る。また、被写体の全体とは、撮像画像に含まれる被写体の全体（全部）であり、全体の中身は問わない。例えば、被写体の全体は、例えば人の全身であり、また、例えば、人の体の一部が欠けている場合（例えば、足首以下が欠けているような場合）であっても、被写体の全体ということができる。
【０１４４】
また、構図決定部１７１は、被写体の所定部位領域を中心とする構図とするか、あるいは被写体の全体領域を中心とする構図とするかを決定する。
【０１４５】
また、ズーム倍率決定部１６８に含まれるズーム倍率演算部１６９は、決定された構図に含まれる被写体の所定部位領域または被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、被写体の所定部位領域の大きさ、または被写体の全体領域の大きさに基づく演算によって求める。
【０１４６】
図１３（Ａ）は全身領域を撮像する際の構図、図１３（Ｂ）は顔領域を撮像する際の構図を示す図である。被写体が人であるとき、例えば人の全身を撮影するときは、図１３（Ａ）に示されるように、全身が写っている構図が採用される。また、人の顔をアップで撮影する場合には、図１３（Ｂ）に示されるように、顔アップで写っている構図が採用される。このような構図の決定は、人の全身領域（人の全体領域）ならびに人の顔領域（所定部位領域）の大きさや、各領域の基準位置の位置関係等に基づいて、カメラ内で自動的に行われる。以下、具体的に説明する。
【０１４７】
図１２は、第２実施形態の処理を説明するためのフローチャートである。図１２の処理において、被写体の所定部位は、人の顔であり、被写体の全体は、人の全身（あるいは略全身であってもよい）としている。但し、これは一例であり、この例に限定されるものではなく、例えば、被写体が植物である場合もあり得る。
【０１４８】
図１２の処理において、撮像部１１５によって撮像された画像が入力されると（ステップＳ２０１）、全体検出部１６７は、被写体である人の全身を検出する（ステップＳ２０２）。次に、所定部位検出部１６５は、被写体である人の顔を検出する（ステップＳ２０３）。
【０１４９】
構図決定部１７１は、人の顔（人の顔領域）を中心とする構図とするか、あるいは人の全身（人の全身領域）を中心とする構図とするかを決定する処理を実行する（ステップＳ２０４〜ステップＳ２０８）。構図決定部１７１による構図決定の処理は、顔および全身の有無によって、４つの場合（第１のケース〜第４のケース）に場合分けされる（ステップＳ２０４）。
【０１５０】
第１のケースは、顔無し、全身無しの場合であり（ステップＳ２０５）、第２のケースは、顔あり、全身無しの場合であり（ステップＳ２０６）、第３のケースは、顔あり、全身ありの場合であり（ステップＳ２０７）、第４のケースは、顔なし、全身ありの場合である（ステップＳ２０８）。
【０１５１】
第１のケース（顔無し、全身無しの場合）は、現在のズーム倍率の設定が適切ではないことが原因と考えられることから、ズーム倍率決定部（倍率決定部）１６８は、ズーム倍率の再設定処理を実行する。すなわち、ズーム倍率決定部（倍率決定部）１６８は、ズーム倍率が広角端に対応するズーム倍率でないかを確認し（Ｓ２０９）、広角端に対応するズーム倍率であれば、オートズーム終了命令によってオートズーム制御を終了する（ステップＳ２１８）。
【０１５２】
広角端に対応するズーム倍率でないときは、より低い倍率のズーム倍率を再設定する（ステップＳ２０９）。この場合、全体検出部１６７は、ズーム倍率が再設定される毎に、人の全身の検出処理を実行し（ステップＳ２０２）、また、所定部位検出部１６５は、ズーム倍率が再設定される毎に、顔の検出処理を実行する（ステップＳ２０３）。また、構図決定部１７１は、ズーム倍率が再設定される毎に、人の顔（人の顔領域）を中心とする構図とするか、あるいは人の全身（人の全身領域）を中心とする構図とするかを決定する処理を実行する（ステップＳ２０４〜Ｓ２０８）。このような処理が、第１のケース（顔無し、全身無しの場合）が生じなくなるまで繰り返し実行される。この処理によって、オートズームに成功する可能性が高まる。
【０１５３】
また、人の顔は検出されたが、人の全身の検出ができなったときには（第３のケース：ステップＳ２０７）、ユーザは、顔アップの構図による撮像を望んでいると推定できる。よって、構図決定部１７１は、顔を中心とする構図を採用する。すなわち、顔アップの構図への移行を開始する（ステップＳ２１４）。
【０１５４】
また、人の顔を検出できず、人の全身は検出できたときには（第４のケース：ステップＳ２０８）、構図決定部１７１は、人の全身を中心とする構図を採用する。第４のケースが生じる場合としては、例えば、以下の場合がある。すなわち、顔の検出には、例えば、所定サイズ以上、例えば、２０画素×２０画素が必要である。人の全身が、１０画素相当の横幅、８０画素相当の縦幅のサイズで検出できたとき、顔のサイズは、八頭身では、縦幅、横幅は共に、１０画素程度の幅となってしまう。したがって、この場合は、全身は検出できるが、顔のサイズは小さすぎることから、顔の検出はできないことになる。
【０１５５】
構図決定部１７１は、このような場合、全身を中心とする構図を採用する。すなわち、全身ショットの構図への移行を開始する（ステップＳ２１６）。このような処理によって、顔の検出ならびに全身の検出の結果に基づいて、スムーズかつ迅速に、構図の決定ならびに構図の移行を行える。
【０１５６】
また、顔あり、全身ありの場合（第３のケース：ステップＳ２０７）、構図決定部１７１は、顔中心の構図とするか、全身中心の構図とするかを、位置関係取得部１６２に含まれる距離情報取得部１６３によって取得される距離情報（第１の距離情報、第２の距離情報）に基づいて決定する（ステップＳ２１１〜Ｓ２１３）。
【０１５７】
すなわち、位置関係取得部１６２に含まれる距離情報取得部１６３は、顔および全身の双方が検出されたときには、撮像画像の中心（画像中心）を原点とする２次元座標系における、顔の基準位置（顔中心）の座標である第１座標と、全身の基準位置（全身中心）の座標である第２座標とを求める。ここで、第１座標を（ｘａ，ｙａ）とし、第２座標を、（Ｘｃ，Ｙｃ）とする。ステップＳ２１１では、第２座標（ｘｃ，ｙｃ）の頭身方向成分である縦座標値の絶対値（｜ｙｃ｜）の情報が取得される。ステップＳ２１２では、第１座標（ｘa，ｙa）の頭身方向成分である縦座標値の絶対値（｜ｙa｜）の情報が取得される。ここで、縦座標値の絶対値を求めるのは、「座標値」は負の極性となることもあるが、「距離」は常に正の極性であるからである。つまり、第１座標や第２座標における縦座標値の絶対値は、測定基準点からの距離を表している。
【０１５８】
第１座標（ｘａ，ｙａ）における縦座標値の絶対値（｜ｙa｜）は、顔の基準位置（顔中心）と、その顔の基準位置（顔中心）を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離（第１の距離情報）を示している。同様に、第２座標（ｘｃ，ｙｃ）における縦座標値の絶対値（｜ｙｃ｜）は、全身の基準位置（全身中心）を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離（第２の距離情報）を示している。
【０１５９】
構図決定部１７１は、第１座標（ｘａ，ｙａ）についての距離（縦座標値の絶対値（｜ｙa｜））と、第２座標（ｘｃ，ｙｃ）についての距離（縦座標値の絶対値（｜ｙｃ｜））を比較し、小さい方に対応する構図を採用する（ステップＳ２１３）。
【０１６０】
例えば、第１座標の距離（縦座標値の絶対値（｜ｙa｜））の方が小さいときは、ユーザは、顔を画像の中心に置こうとしていると推定できることから、構図決定部１７１は、顔を中心とする構図を採用し、顔アップの構図への移行を開始する（ステップＳ２１４）。また、第２座標（ｘｃ，ｙｃ）の距離（縦座標値の絶対値（｜ｙｃ｜））の方が小さいときは、構図決定部１７１は、全身を中心とする構図を採用し、全身ショットの構図への移行を開始する（ステップＳ２１６）。
【０１６１】
また、構図の移行に際して、被写体（人）の欠けを防止する必要があることから、ズーム倍率決定部（倍率決定部）１６８に備わっているズーム倍率演算部１６９は、決定された構図に含まれる人の顔または全身が、所望の画像枠内に収まるという条件を満足するズーム倍率を、顔（顔領域）の大きさ、または全身（全身領域）の大きさに基づく演算によって求める。
【０１６２】
すなわち、顔アップの構図への移行が開始されると（ステップＳ２１４）、ズーム倍率演算部１６９は、例えば、顔が所望の画像枠内に収まるという条件を満足する、許容される最大のズーム倍率（許容倍率）を求める。ズーム倍率決定部（倍率決定部）１６８は、ズーム倍率演算部１６９によって求められズーム倍率に基づいて、ズーム倍率を制御する。すなわち、ズーム倍率決定部（倍率決定部）１６８は、許容される最大倍率（許容倍率）の範囲でズーム倍率を変更する。例えば、顔が欠けない倍率までズーム倍率を増大させる（ステップＳ２１５）。
【０１６３】
また、全身ショットの構図への移行が開始されると（ステップＳ２１６）、ズーム倍率演算部１６９は、例えば、全身が所望の画像枠内に収まるという条件を満足する、許容される最大のズーム倍率（許容倍率）を求める。ズーム倍率決定部（倍率決定部）１６８は、ズーム倍率演算部１６９によって求められズーム倍率に基づいて、ズーム倍率を制御する。すなわち、ズーム倍率決定部（倍率決定部）１６８は、許容される最大倍率（許容倍率）の範囲でズーム倍率を変更する。例えば、全身が欠けない倍率までズーム倍率を減少させる（ステップＳ２１７）。
【０１６４】
以上の動作は、オートズーム終了命令によって終了する（ステップＳ２１８）。オートズーム終了命令は、例えば、ズーム倍率決定部１６９が出力する。
【０１６５】
このように、ユーザが、例えば人物を撮影する場合に、人の所定部位（例えば顔）の中心を画像中心に置こうとするか、人の全体（例えば全身）の中心を画像中心の方に置こうとするかをカメラの内部で判定し、顔アップ、全身ショットなどの構図に合うように、光学系のズーム倍率を制御することができる。ズーム倍率が自動で制御されるため、ユーザの操作負担が軽減され、また、構図のよい画像を容易に撮影すること等が可能となる。
【０１６６】
次に、図１４〜図１６を参照して、構図決定処理ならびに許容される最大のズーム倍率の演算処理、ズーム倍率の決定処理について、具体的に説明する。
【０１６７】
図１４は、２次元座標系における顔の大きさと、顔の中心位置と、顔の中心位置と測定基準位置との間の距離について説明するための図である。上述のとおり、位置関係取得部１６２に含まれる距離情報取得部１６３は、顔および全身の双方が検出されたときには、撮像画像の中心（画像中心）を原点とする２次元座標系における、顔の基準位置（顔中心）の座標である第１座標と、全身の基準位置（全身中心）の座標である第２座標とを求める。図１４では、説明の便宜上、２次元座標系には顔のみを記載している。なお、撮像画像に顔と全身が共に含まれる例については、図１５および図１６を用いて後述する。
【０１６８】
図１４において、撮像画像（以下、単に画像という）は、所望の画像枠Ｇ内に表示される。ここで、カメラの画像中心（Ａｘ，Ａｙ）を、２次元座標系の原点（０，０）とする。そして、この原点（０，０）を通り、かつ互いに直交する横座標軸（Ｘ軸）と縦座標軸（Ｙ軸）とによって、２次元座標系（すなわち、ｘ，ｙ座標系）が規定（定義）される。また、画像枠Ｇの横幅をＭとし、画像枠の高さ（縦の長さ）をＮとする。例えば、入力される画像が、撮像部１１５で撮像されたスルー画像である場合、画像枠Ｇは、Ｍ＝６４０、Ｎ＝４８０のＶＧＡサイズとすることができる。
【０１６９】
上述したとおり、全体検出部１６７は、入力された画像に含まれる被写体（人）の顔の大きさと、顔の基準位置（顔中心）とを求める。図１４に示される例では、顔のサイズは、太線で囲まれる四角形の面積で示される。すなわち、図１４の例では、顔の横幅はＷａであり、顔の高さ（縦幅）はｈａである。また、顔の基準位置（顔中心）の座標（第１座標）を（ｘａ１，ｙａ１）とする。第１座標の、頭身方向成分である縦座標軸（ｙ軸）の値の絶対値（｜ｙａ１｜）は、測定基準位置Ｑ（三角形で示される）と、第１座標（ｘａ１，ｙａ１）との間の距離Ｌ１を示している。
【０１７０】
ここで、頭身方向とは、頭と足を結ぶ方向であり、図１４の例では、縦座標軸（ｙ軸）方向に一致する。尚、縦位置での撮影も考慮して、全身検出を３方向に対して適応してもよい。
【０１７１】
また、測定基準位置Ｑは、第１座標（ｘａ１，ｙａ１）を通る、頭身方向の直線が、横座標軸（Ｘ軸）と交わる点に位置する。第１実施形態では、画像中心（Ａｘ，Ａｙ）を測定基準位置としていたが、第２実施形態では、点Ｑを、測定基準位置としている。ユーザが、顔アップの構図や全身ショットの構図を採用するとき、光学系の光軸の位置は、ｙ軸方向に沿ってシフトされるのが通常である。この点に着目して、第１座標（ｘａ１，ｙａ１）と同じｘ座標を有し、かつ、第１座標を、ｙ軸方向に沿ってシフトさせたときにｙ軸と交わる点であるＱ点（ｘａ１，０）を、本実施形態では測定基準位置とする。
【０１７２】
図１５は、画像に顔、上半身ならびに全身が含まれるときにおける、構図決定方法について説明するための図である。図１５に示されるように、画像枠Ｇ内の画像には、顔領域（広義には第１部位領域）と、上半身領域（広義には第２部位領域）と、全身領域（広義には全体領域）と、が含まれる。顔領域（第１部位領域）の大きさを示す枠がｋ１であり、上半身領域（第１部位領域）の大きさを示す枠がｋ２であり、全身領域（全体領域）の大きさを示す枠がｋ３である。
【０１７３】
また、顔中心（広義には、第１部位の基準位置）を（ｘａ１，ｙａ１）とし、上半身中心（広義には、第２部位の基準位置）を（ｘｂ１，ｙｂ１）とし、全身中心（広義には、全体領域の基準位置）を（ｘｂ１，ｙｂ１）とする。顔中心、上半身中心ならびに全身中心の各々は、頭身方向（すなわちｙ軸方向）に沿って直線状に配置されている。
【０１７４】
測定基準位置Ｑと、顔中心（ｘａ１，ｙａ１）との間の距離（つまり、顔中心の頭身方向成分の絶対値｜ｙａ１｜）をＬ１とする。また、測定基準位置Ｑと、上半身中心（ｘｂ１，ｙｂ１）との間の距離（つまり、上半身中心の頭身方向成分の絶対値｜ｙｂ１｜）をＬ２とする。また、測定基準位置Ｑと、全身中心（ｘｃ１，ｙｃ１）との間の距離（つまり、全身中心の頭身方向成分の絶対値｜ｙｃ１｜）をＬ３とする。｜ｙａ１｜＞｜ｙｂ１｜＞｜ｙｃ１｜である。つまり、Ｌ３＞Ｌ２＞Ｌ１である。このような場合、ユーザは、画像の中心に、全身を置こうとしていると推定することができる。
【０１７５】
そこで、構図決定部１７１は、各座標の頭身方向成分の絶対値を比較して、小さい方に対応する構図を採用する。すなわち、構図決定部１７１は、まず、｜ｙａ１｜と｜ｙｂ１｜とを比較する。｜ｙａ１｜＞｜ｙｂ１｜であることから、｜ｙｂ１｜が選ばれる。次に、｜ｙｂ１｜と｜ｙｃ１｜とを比較する。｜ｙｂ１｜＞｜ｙｃ１｜であることから、｜ｙｃ１｜が選ばれる。そして、｜ｙｃ１｜に対応する構図は、全身中心の構図（広義には、全体領域を中心とする構図）である。よって、構図決定部１７１は、全身中心の構図（全体領域を中心とする構図）を採用する（図１２におけるステップＳ２１３，Ｓ２１６）。
【０１７６】
次に、図１６（Ａ）および図１６（Ｂ）を参照する。図１６（Ａ）および図１６（Ｂ）は、構図移行に伴うズーム倍率決定方法の一例を説明するための図である。先に示した図１５の例では、測定基準位置Ｑと全身中心（ｘｃ１，ｙｃ１）との間の距離Ｌ３（｜ｙｃ１｜）が最も小さかった。これに対して、図１６（Ａ）の例では、測定基準位置Ｑと顔中心（ｘａ１，ｙａ１）との間の距離Ｌ１（｜ｙａ１｜）が最も小さくなっている。これは、ユーザが、顔アップの構図とするために、光学系の光軸を、ｙ軸に沿って移動させたためである。
【０１７７】
図１６（Ａ）の例では、構図決定部１７１は、距離Ｌ１（｜ｙａ１｜）が最も小さいと判定し、顔アップの構図への移行処理を実行する（図１２のステップＳ２１３，Ｓ２１４）。この結果、図１６（Ｂ）に示されるように、画像枠Ｇ内の画像は、図１６（Ａ）の全身中心の構図の画像から、図１６（Ｂ）の顔アップの構図の画像へとシフトする。但し、この構図移行に際して、被写体の一部が欠けないように、適切なズーム倍率を設定することが必要となる。
【０１７８】
そこで、先に図１２を用いて説明したように、ズーム倍率決定部（倍率決定部）１６８に備わっているズーム倍率演算部１６９は、構図決定部１７１によって決定された構図に含まれる人の顔または全身が、所望の画像枠Ｇ内に収まるという条件を満足するズーム倍率（許容される最大の倍率）を、顔（顔領域）の大きさ、または全身（全身領域）の大きさに基づく演算によって求め、ズーム倍率決定部（倍率決定部）１６８は、求められた許容される最大の倍率を超えない範囲で、ズーム倍率を設定する（ステップＳ２１５，Ｓ２１７）。
【０１７９】
ズーム倍率演算部１６９は、例えば、下記の式（１）から式（４）を満たし、かつ、下記の式（１）から式（４）のうちの少なくとも一つの等号を満たす、全身または顔の検出枠の中心（ｘＩ，ｙＩ）と、枠の横幅ｗＩと、枠の高さｗＩとを求め、求められた結果に基づいて、許容される最大の倍率を求める。
【０１８０】
【数４】
2012039591.tif 000006
【０１８１】
この点について、図１６（Ｂ）を参照して説明する。なお、画像枠Ｇの右端部のｘ軸値は、Ｍ／２であり、画像枠Ｇの左端部のｘ軸値は、−Ｍ／２である。また、画像枠Ｇの上端部のｙ軸値は、Ｎ／２であり、画像枠Ｇの下端部のｙ軸値は、−Ｎ／２である。
【０１８２】
まず、顔アップ画像の中心（顔中心）の座標を決定する。例えば、図１６（Ｂ）に示される例では、顔アップ画像における顔中心の座標は、（ｘａ１，ｙｄ１）である。つまり、顔アップ画像における顔中心の座標（ｘａ１，ｙｄ１）は、図１６（Ａ）における、構図移行前の顔中心の座標（ｘａ１，ｙａ１）と、ｘ座標が同じで、ｙ座標が異なる座標である。なお、これは一例であり、構図移行後の顔中心の座標は、自由に設定することができる。例えば、原点（０，０）を、構図移行後の顔中心の座標としてもよい。
【０１８３】
次に、構図移行後の顔中心（ｘａ１，ｙｄ１）を基準として、顔の大きさを示す枠ｋ１の横幅Ｗａと高さｈａとの比を同じに維持しつつ、枠ｋ１を拡大していく。ここで、拡大された枠をｋ１’とし、この拡大された枠ｋ１’の横幅をｗＩとし、高さをｈＩとする。すると、まず、上述の式（１）における等号が満足される状態となる。これが、図１６（Ｂ）に示される状態である。枠ｋ１’をこれ以上、拡大すると、顔の一部は、所望の画像枠Ｇから逸脱してしまうことから、図１６に示される状態における拡大された枠ｋ１’が、顔アップの構図における最大の顔サイズを示していることになる。つまり、上述の式（１）から式（４）を満たし、かつ、上述の式（１）から式（４）のうちの少なくとも一つ（ここでは、式（１））の等号を満たす、全身または顔の検出枠の中心（ｘＩ，ｙＩ）と、枠ｋ１’の横幅ｗＩと、枠ｋ１’の高さｗＩとが求められたことになる。
【０１８４】
ここで、図１６（Ａ）に示される、構図移行前の顔の大きさを示す枠ｋ１と、図１６（Ｂ）に示される拡大された枠ｋ１’との比較（つまり、横幅または高さの比較）から、許容される最大の倍率が求まる。ズーム倍率演算部１６９は、このようにして、許容される最大の倍率を求める。
【０１８５】
ズーム倍率決定部（倍率決定部）１６８は、許容される最大の倍率を超えない範囲で、ズーム倍率を設定する。例えば、許容される最大の倍率を、そのまま実際のズーム倍率として採用することができる。なお、画角（表示されている画像の範囲）と、設定されるズーム倍率とは、１：１に対応する。このようなズーム倍率制御によって、被写体の欠けを確実に防止しつつ、適切なズーム倍率を設定することができる。
【０１８６】
このように、本実施形態によれば、ユーザは、撮影したい関心領域である顔や全身の中心にカメラを向ければ、それに応じてカメラ側で、光学ズームが自動制御されるので、ユーザのカメラ操作の負担を軽減できるという効果が得られる。また、光学ズームの自動制御により撮影されるため、デジタルズーム（画像中の領域切り出し）のような画質劣化がないという効果が得られる。
【０１８７】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１８８】
１００  撮像装置、１１０  撮影レンズ、１１５  撮像部、１２０  撮像素子、
１２５  画像取得部、１３０  画像処理部、１３２  電子ズーム処理部、
１４０  Ｉ／Ｆ部、１５０  記憶部、１６０  処理部、１６２  位置関係取得部、
１６３  距離情報取得部、１６４  顔認識部、１６６  全身領域推定部、
１６８  倍率決定部、１７０  レンズ駆動モータ、１８０  光学ズーム制御部、
１９０  画像表示部
【図１】
2012039591.tif 000008
【図２】
2012039591.tif 000009
【図３】
2012039591.tif 000010
【図４】
2012039591.tif 000011
【図５】
2012039591.tif 000012
【図６】
2012039591.tif 000013
【図７】
2012039591.tif 000014
【図８】
2012039591.tif 000015
【図９】
2012039591.tif 000016
【図１０】
2012039591.tif 000017
【図１１】
2012039591.tif 000018
【図１２】
2012039591.tif 000019
【図１３】
2012039591.tif 000020
【図１４】
2012039591.tif 000021
【図１５】
2012039591.tif 000022
【図１６】
2012039591.tif 000023