(57)【要約】【課題】  撮影者の意図通りに撮像倍率を決定し易い撮像装置を提供する。【解決手段】  撮像装置１００は、被写体を撮像して第１の画像情報を取得する撮像部１０と、撮影者を表す第２の画像情報及びモーションセンサからのセンサ情報の少なくとも一方に基づき撮影倍率情報を検出する第１の検出部４１と、撮像装置１００の動きを表す動き情報を検出する第２の検出部４４と、動き情報の大きさ毎に分割された複数のゾーン（ｚ１〜ｚ２，Ｚ１〜Ｚ３）に対応して複数の閾値（ｔ１〜ｔ２，Ｔ１〜Ｔ３）が設定され、動き情報が属する複数のゾーンの一つに設定された複数の閾値の一つと動き情報との大きさを比較して判定する判定部４６と、動き情報が複数の閾値の一つを越える時に、撮影倍率情報に基づき撮像倍率を決定する決定部４８と、を含む。【選択図】  図１
2011259212.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して第１の画像情報を取得する撮像部と、
撮影者を表す第２の画像情報及びモーションセンサからのセンサ情報の少なくとも一方に基づき撮影倍率情報を検出する第１の検出部と、
撮像装置の動きを表す動き情報を検出する第２の検出部と、
前記動き情報の大きさ毎に分割された複数のゾーンに対応して複数の閾値が設定され、前記動き情報が属する前記複数のゾーンの一つに設定された前記複数の閾値の一つと前記動き情報との大きさを比較して判定する判定部と、
前記動き情報が前記複数の閾値の一つを越える時に、前記撮影倍率情報に基づき撮像倍率を決定する決定部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記判定部は、前記動き情報が第１の基準値よりも小さい時の第１のゾーンと、前記動き情報が前記第１の基準値以上第２の基準値以下である時の第２のゾーンと、前記動き情報が前記第２の基準値よりも大きい時の第３のゾーンと、を含む少なくとも３つのゾーンのいずれに前記動き情報が属するかを判定し、前記少なくとも一つの閾値として、前記第３のゾーンに設定された第１の閾値と、前記第１のゾーンに設定され、前記第１の閾値よりも大きい第２閾値と、前記第２のゾーンに設定され、前記第１の閾値と前記第２の閾値との間の第３の閾値とを含み、
前記動き情報が前記第３のゾーンに属する場合、前記決定部は、前記動き情報が前記第１の閾値を超える時に前記撮像倍率の決定を実行し、
前記動き情報が前記第２のゾーンに属する場合、前記決定部は、前記動き情報が前記第３の閾値を超える時に前記撮像倍率の決定を実行し、
前記動き情報が前記第１のゾーンに属する場合、前記決定部は、前記動き情報が前記第２の閾値を超える時に前記撮像倍率の決定を実行することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記第３の閾値は、前記第２のゾーン内での前記動き情報の大きさに対応して、前記第１の閾値と前記第２の閾値との間の範囲で変化する値であることを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記撮影倍率情報は、前記撮影者と前記撮像装置との間の距離であることを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記第２の検出部は、前記第２の画像情報及び前記センサ情報の少なくとも一方に基づき前記動き情報を検出することを特徴とする撮像装置。
【請求項６】
請求項２において、
前記第２の検出部は、前記動き情報として、前記撮影倍率情報の変化率を検出することを特徴とする撮像装置。
【請求項７】
請求項６において、
前記撮影倍率情報の履歴を記憶する記憶部を、
さらに含み、
前記第２の検出部は、前記履歴のフィッティング曲線を求め、前記撮影倍率情報の変化率として、所与の時刻における前記フィッティング曲線の傾きを得ることを特徴とする撮像装置。
【請求項８】
請求項７において、
前記フィッティング曲線は、最小２乗法による２次関数で表され、
前記２次関数の２次の項の係数の標準誤差が所与の値よりも大きい場合、前記決定部は、前記傾きが前記第２の閾値を超える時に前記撮像倍率の決定を実行することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等に関する。
【背景技術】
【０００２】
被写体を所望の倍率で撮像する撮像装置の範囲は、電子スチルカメラ、電子ビデオカメラ等を含む。撮像装置がズームレバー、ズーム釦等の操作部を含む場合、撮影者自ら、操作部を操作して撮像倍率を決定することができる。撮像倍率を決定するには、撮影者自らが操作部を操作する必要がある。従って、操作部を確認するのに手間取ったり、間違って逆方向に誤操作したり等、操作部の操作が煩雑であるという問題があった。
【０００３】
このような操作部を使用しない撮像装置として、撮影者の直感的な意思に従う撮像装置は、例えば特許文献１、特許文献２で提案されている。特許文献１では、撮像装置がモーションセンサを含み、撮像装置を光軸方向に移動させることで撮像倍率を決定する。特許文献２では、撮影者の顔画像を解析し、撮影者が撮像装置に近づくか又は撮像装置から離れるかを判断して、撮像倍率を決定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２１１４５８号公報
【特許文献２】特開２００９−２９４７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影者と撮像装置との間の距離に応じて撮像倍率を決定するだけでは、例えば、撮像装置が移動していない場合でも、例えば撮影者の表情が変化する画像情報を解析すると、撮像装置が移動したという誤判定が生じることもある。また、風景が変化する画像情報を解析したり、モーションセンサからのセンサ情報を解析しても、同様の問題が生じることがある。つまり、撮影者が撮影倍率の変更を意図しない場合でも、撮影倍率が意に反して変更されてしまう不具合が生じかねない。このように、本発明者は、撮影者と撮像装置との間の距離に応じて撮像倍率を決定するだけでは、撮影者の直感的な意思に正確に従うことは難しいことを認識した。
【０００６】
本発明の幾つかの態様によれば、撮影者の意図通りに撮像倍率を決定し易い撮像装置を提供することができる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、被写体を撮像して第１の画像情報を取得する撮像部と、
撮影者を表す第２の画像情報及びモーションセンサからのセンサ情報の少なくとも一方に基づき撮影倍率情報を検出する第１の検出部と、
撮像装置の動きを表す動き情報を検出する第２の検出部と、
前記動き情報の大きさ毎に分割された複数のゾーンに対応して複数の閾値が設定され、前記動き情報が属する前記複数のゾーンの一つに設定された前記複数の閾値の一つと前記動き情報との大きさを比較して判定する判定部と、
前記動き情報が前記複数の閾値の一つを越える時に、前記撮影倍率情報に基づき撮像倍率を決定する決定部と、
を含むことを特徴とする撮像装置に関係する。
【０００８】
本発明の一態様によれば、第２の検出部で、撮像装置の動きを表す動き情報を検出することができる。また、判定部では、撮像装置の動きを、閾値の異なる複数のゾーンに仕分け、各ゾーン毎に設定された閾値を動き情報が超えた場合に撮影倍率を設定し、そうでない場合には撮影倍率を変更しないようにすることができる。つまり、撮影倍率の変更を意図する撮像装置の動きである場合には閾値を低くし、手振れのように撮影倍率の変更を意図しない撮像装置の動きである場合には閾値を高くすることができる。従って、撮影倍率情報だけでなく、対応するゾーン毎に設定された閾値を動き情報が超えたか否かも考慮して、撮影倍率を変更するか否かを決定できる。こうして、動き情報が閾値を超えた場合に撮像倍率を決定することが可能となり、撮影者の意図に沿ったズーム操作を実現することができる。
【０００９】
また、本発明の一態様では、前記判定部は、前記動き情報が第１の基準値よりも小さい時の第１のゾーンと、前記動き情報が前記第１の基準値以上第２の基準値以下である時の第２のゾーンと、前記動き情報が前記第２の基準値よりも大きい時の第３のゾーンと、を含む少なくとも３つのゾーンのいずれに前記動き情報が属するかを判定し、前記少なくとも一つの閾値として、前記第３のゾーンに設定された第１の閾値と、前記第１のゾーンに設定され、前記第１の閾値よりも大きい第２閾値と、前記第２のゾーンに設定され、前記第１の閾値と前記第２の閾値との間の第３の閾値とを含むことができ、
前記動き情報が前記第３のゾーンに属する場合、前記決定部は、前記動き情報が前記第１の閾値を超える時に前記撮像倍率の決定を実行してもよく、
前記動き情報が前記第２のゾーンに属する場合、前記決定部は、前記動き情報が前記第３の閾値を超える時に前記撮像倍率の決定を実行してもよく、
前記動き情報が前記第１のゾーンに属する場合、前記決定部は、前記動き情報が前記第２の閾値を超える時に前記撮像倍率の決定を実行してもよい。
【００１０】
本発明の一態様によれば、少なくとも３つにゾーンして、撮影倍率の変更を意図しないと想定される第１のゾーンでは比較的高い第２の閾値とし、撮影倍率の変更を意図すると想定される第３のゾーンでは比較的低い第１の閾値とし、第１，第３ゾーン間にグレーゾーンである第２のゾーンを設けている。そして、第１，第２の閾値間の第３の閾値を第２のゾーンに設定することにより、撮影者による撮影倍率変更の意図を的確に判断できるようになる。従って、例えば撮像装置が移動していない時や撮像装置が僅かに移動する時は、撮像倍率の変更を困難として、撮影者の意図に合致しない不要なズーム操作を抑制することができる。
【００１１】
本発明の一態様によれば、前記第３の閾値は、前記第２のゾーン内での前記動き情報の大きさに対応して、前記第１の閾値と前記第２の閾値との間の範囲で変化する値とすることができる。第３の閾値は、連続的に変化させても、段階的に変化させ（つまり４以上のゾーン分割と等価）ても良い。こうすると、グレーゾーンである第２のゾーンにおいて、撮影者による撮影倍率変更の意図をより的確に判断できるようになる。
【００１２】
また、本発明の一態様では、前記撮影倍率情報は、前記撮影者と前記撮像装置との間の距離であってもよい。
【００１３】
本発明の一態様によれば、撮影倍率情報として、撮影者と撮像装置との間の距離を利用することができる。
【００１４】
また、本発明の一態様では、前記第２の検出部は、前記第２の画像情報及び前記センサ情報の少なくとも一方に基づき前記動き情報を検出してもよい。
【００１５】
本発明の一態様によれば、例えば第２の画像情報に基づき動き情報及び撮影倍率情報を検出することができる。或いは、センサ情報に基づき動き情報及び撮影倍率情報を検出することができる。第２の画像情報に基づき動き情報を検出し、センサ情報に基づき撮影倍率情報を検出することができる。
【００１６】
また、本発明の一態様では、前記第２の検出部は、前記動き情報として、前記撮影倍率情報の変化率を検出してもよい。
【００１７】
本発明の一態様によれば、動き情報として、撮影倍率情報の変化率を利用することができる。
【００１８】
また、本発明の一態様では、撮像装置は、前記撮影倍率情報の履歴を記憶する記憶部を、
さらに含んでもよく、
前記第２の検出部は、前記履歴のフィッティング曲線を求め、前記撮影倍率情報の前記変化率として、所与の時刻における前記フィッティング曲線の傾きを得てもよい。
【００１９】
本発明の一態様によれば、撮影倍率情報（狭義には撮影者と撮像装置との間の距離、より狭義には例えば撮影者の顔の大きさ）の履歴のフィッティング曲線を求めることができる。第２の検出部は、撮影倍率情報の変化率（動き情報）として、例えば現在の時刻におけるフィッティング曲線の傾き（狭義には撮像装置の移動速度）を得ることができる。
【００２０】
また、本発明の一態様では、前記フィッティング曲線は、最小２乗法による２次関数で表されてもよく、
前記２次関数の２次の項の係数の標準誤差が所与の値よりも大きい場合、前記決定部は、前記傾きが前記第２の閾値を超える時に前記撮像倍率の決定を実行してもよい。
【００２１】
例えば撮影者の意図に無関係に撮像装置が移動する時は、フィッティング精度も劣り得る。従って、フィッティング精度として、フィッティング曲線（２次関数）の２次の項の係数の標準誤差が所与の値よりも大きい場合、撮像倍率の決定を実行し難く設定することができる。これにより、撮影者の意図に合致しない不要なズーム操作を抑制することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態の撮像装置の構成例。
【図２】本実施形態の撮像装置の他の構成例。
【図３】図３（Ａ）、図３（Ｂ）は、複数のゾーンの設定例。
【図４】図１の撮像装置の動作例を説明するフローチャート。
【図５】図５（Ａ）、図５（Ｂ）、図５（Ｃ）は、撮影者の顔の大きさの変化例。
【図６】本実施形態の撮像装置の具体的な構成例。
【図７】図６の処理部の概略構成例。
【図８】図６の撮像装置の動作例の一部を説明するフローチャート。
【図９】図６の撮像装置の動作例の他の一部を説明するフローチャート。
【図１０】フィッティング曲線の算出例。
【図１１】撮影者の顔の大きさの変動に対する閾値の設定例。
【図１２】図６の撮像装置の変形例。
【図１３】図１２の撮像装置の動作例の一部を説明するフローチャート。
【図１４】図１２の撮像装置の動作例の他の一部を説明するフローチャート。
【図１５】撮像装置の移動距離の変動に対する閾値の設定例。
【発明を実施するための形態】
【００２３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２４】
１．概要
１．１．基本構成
図１は、本実施形態の撮像装置の構成例を示す。図１に示すように、撮像装置１００は、撮像部（第１の撮像部）１０と、第１の検出部４１と、第２の検出部４４と、判定部４６と、決定部４８とを含む。図１の例では、撮像装置１００は、例えば第２の撮像部４９を含むことができ、第１の検出部４１は、第２の撮像部４９からの画像情報（撮影者）で撮影倍率情報を検出することができる。なお、第１の検出部４１は、撮像部（第１の撮像部）１０からの画像情報（撮影者）で撮影倍率情報を検出してもよい。
【００２５】
図２は、本実施形態の撮像装置の他の構成例を示す。図２に示すように、撮像装置１００は、第２の撮像部４９の代わりに、例えばモーションセンサ４７を含むことができる。図２の例では、第１の検出部４１は、モーションセンサ４７からのセンサ情報で撮影倍率情報を検出することができる。
【００２６】
なお、図１の例を変形して、第１の検出部４１が図２のモーションセンサ４７のようなモーションセンサで撮影倍率情報を検出する一方、第２の検出部４４が第２の撮像部４９からの画像情報を利用し続けてもよい。また、図２の例を変形して、第１の検出部４１が図１の第２の撮像部４９のような撮像部からの画像情報で撮影倍率情報を検出する一方、第２の検出部４４がモーションセンサ４７からのセンサ情報を利用し続けてもよい。さらに、図１の例を変形して、第１の検出部４１は、第２の撮像部４９及びモーションセンサを利用して、撮像倍率情報を検出してもよい。このように、第１の検出部４１は、画像情報及びセンサ情報の少なくとも一方に基づき撮影倍率情報を検出してもよい。
【００２７】
図１の例や図２の例では、第２の検出部４４は、画像情報（例えば、第２の撮像部４９）又はセンサ情報（例えば、モーションセンサ４７）を利用し、撮像装置１００の動きを表す動き情報を検出する。なお、第２の検出部４４は、画像情報及びセンサ情報の双方を利用してもよい。本実施形態は、第１の検出部４１によって検出された撮影倍率情報に従って撮影倍率を変更するか否かを、第２の検出部４４によって検出された撮像装置１００の動き情報の大きさによって判断するものである。
【００２８】
撮像部１０は、例えば撮像素子を有することができる。図１の例や図２の例では、第１の検出部４１、第２の検出部４４、判定部４６及び決定部４８は、処理部４０として表され、処理部４０は、ＡＳＩＣ、ＤＳＰ等のＩＣを有することができる。なお、撮像装置１００の構成は、図１や図２によって限定されるものではない。
【００２９】
図２の例では、撮像装置１００は、モーションセンサ４７を含むが、モーションセンサ４７は、撮像装置１００と分離してもよい。この場合、撮像装置１００は、モーションセンサ４７からのセンサ情報を無線又は有線で受け取ってもよい。撮像装置１００は、図示しない記憶部を含むことができる。撮像装置１００は、典型的には、電子スチルカメラや電子ビデオカメラであって、光学的な画像情報を例えば撮像素子（広義には撮像部１０）で電気信号に変換し、変換後の画像情報を例えば処理部４０内の記憶部（ワーク領域）や図示しない記憶部に、電子的に記録することができる。なお、撮像装置１００は、デジタルカメラのように携帯可能であってもよい。また、撮像装置１００は、内視鏡や顕微鏡等のように撮像部分と操作部分が分離してもよい。さらに、携帯型情報端末、携帯電話機、携帯型ゲーム機等の電子機器に、撮像装置１００（撮像部１０）が組み込まれてもよく、処理部４０の全部又は一部の機能を電子機器のＭＰＵ、ＣＰＵ等の処理部で実現してもよい。
【００３０】
図１の例や図２の例では、撮像部１０は、被写体を撮像して画像情報（第１の画像情報）を取得する。なお、撮像部１０の撮像倍率は、決定部４８で決定することができる。撮像倍率は、光学的な倍率だけでもよく、光学的な倍率及び電子的な倍率の双方（組み合わせ）でもよい。光学的な倍率は、撮像部１０のレンズ系を調整することで決定することができ、電子的な倍率は、処理部４０で画像データ内の画素間の補完又は間引きを行うことで電子的に画像データを拡大又は縮小することができる。なお、撮像倍率は、電子的な倍率だけでもよい。
【００３１】
第１の画像情報は被写体を表し、第１の検出部４１は、撮影者（ユーザ）を表す画像情報（第２の画像情報）を利用することができる。図１の例では、第２の撮像部４９で第２の画像情報を撮像するが、撮像部１０（第１の撮像部）で第２の画像情報を撮像してもよい。撮像部１０が例えば全方位（３６０°）レンズ系や魚眼レンズ系を採用する場合、撮像部１０は、撮影者の意図する被写体を表す第１の画像情報と撮影者を表す第２の画像情報とを同時に取得することができる。
【００３２】
第１の検出部４１は、撮影者を表す第２の画像情報及びモーションセンサ４７からのセンサ情報の少なくとも一方に基づき撮影者と撮像装置１００との間の距離（広義には撮影倍率情報）を検出する。撮像装置１００が第１の検出部４１を含むことにより、決定部４８は、撮影者と撮像装置１００との間の距離に応じて撮像倍率（ズーム倍率）を決定することができる。例えば特許文献２と同様に、撮像装置１００を押し出す又は手前に引くという直感的な動作で、撮像倍率変更（ズーム操作）を実現できる。なお、直感的な動作でズーム操作を実現できれば、第１の検出部４１は、撮影者と撮像装置１００との間の距離以外の情報（撮影倍率情報）を検出してもよい。
【００３３】
第２の検出部４４は、撮像装置１００の動きを表す動き情報を検出する。第２の検出部４４は、撮影者を表す第２の画像情報及びモーションセンサ４７からのセンサ情報の少なくとも一方を利用することができる。第１の検出部４１及び第２の検出部４４の双方が同じ情報（例えば第２の画像情報）を利用する場合、撮像装置１００の構成を簡素化することができる。
【００３４】
判定部４６は、動き情報が複数のゾーン、例えば３つのゾーンのうちのどのゾーンに属するのかを判定する。決定部４８は、撮影倍率情報及び判定部４６の判定結果に基づき撮像倍率を決定する。撮像装置１００が第２の検出部４４及び判定部４６を含むことにより、決定部４８は、撮影者と撮像装置１００との間の距離（広義には撮影倍率情報）だけでなく、対応するゾーンに仕分けられた撮像装置の動きに応じて撮像倍率（ズーム倍率）を決定することができる。決定部４８は、撮影倍率情報だけでなく、撮像装置の動き（ゾーン）も考慮して、撮像倍率を決定するので、撮影者の意図に合致しない不要なズーム操作を抑制することが可能になる。
【００３５】
撮像装置１００を押し出す又は手前に引くという直感的な動作は、第１の検出部４１で検出することができる。特許文献１や特許文献２では、このような撮像倍率変更（ズーム操作）が万能であることを前提としている。しかしながら、例えば撮像装置１００が移動していない場合でも、例えば撮影者の表情が変化する画像情報（第２の画像情報）を解析すると、撮影者と撮像装置１００との間の距離の変化を検出することもある。例えば撮像装置１００が移動していない状態を第１のゾーンに設定し、通常の直感的な動作を第３のゾーンに設定することができる。また、第１のゾーンと第３のゾーンとの間に第２のゾーンを設定することができる。このような３つのゾーンの設定により、例えば、撮影者の意図に合致しない不要なズーム操作を抑制するとともに、通常の直感的な動作を担保し、且つ第２の直感的な動作（例えばきめ細やかなズーム操作）も担保することができる。これにより、特許文献１や特許文献２と比べて、撮影者の意図に沿ったズーム操作を実施することができる。
【００３６】
図３（Ａ）は２つのゾーンｚ１，ｚ２を示し、図３（Ｂ）は第１〜第３のゾーンＺ１，Ｚ２，Ｚ３の設定例を示す。図３（Ａ）（Ｂ）の例では、動き情報（撮像装置１００の動き）として、撮影者と撮像装置１００との間の距離（広義には、撮影倍率情報）の変化率を採用する。撮像装置１００の動きが速くなる程、撮影者と撮像装置１００との間の距離（広義には、撮影倍率情報）の変化率は大きくなり、撮像装置１００の動きに応じて、複数のゾーンとして、２つのゾーンｚ１，ｚ２（図３（Ａ）の場合）または少なくとも３つの第１〜第３のゾーンＺ１，Ｚ２，Ｚ３（図３（Ｂ）の場合）を設定する。図３（Ａ）では、撮像装置１００の動きが速いゾーンｚ２では閾値ｔ１が小さく、撮像装置１００の動きが遅いゾーンｚ１では閾値ｔ２が大きく設定される（ｔ１＜ｔ２）。また、図３（Ｂ）の例として、第１のゾーンＺ１では、第２の閾値Ｔ２を高く設定して撮像倍率の変更を最も実行し難く設定し、第３のゾーンＺ３では、第１の閾値Ｔ１を低く設定して撮像倍率の変更を最も実行し易く設定することができる。第２のゾーンＺ２では、第１の閾値Ｔ１と第２の閾値Ｔ２の間の第３の閾値Ｔ３を有する中間的なゾーンに設定することができる。このような設定により、撮像装置１００の動きが遅くなる程、撮像倍率の変更を実行し難くなる。従って、例えば撮像装置が移動していない時や撮像装置が僅かに移動する時（ゾーンｚ１，Ｚ１）は、撮像倍率が変更し難くなり、撮影者の意図に合致しない不要なズーム操作を抑制することができる。ゾーンｚ２，Ｚ３では、通常のズーム操作を実行することができる。図３（Ｂ）においては、第２のゾーンＺ２では、第１，第２の閾値の中間的な閾値（第３の閾値Ｔ３）によりグレーゾーン内での撮影倍率変更の意図を判断して、ズーム操作を実行することができる。
【００３７】
１．２．基本動作
図４は、図１の撮像装置１００の動作例を説明するフローチャートを示す。図４のステップＳ１０９の例では、第１の検出部４１（広義には処理部４０）は、第２の撮像部４９からの画像情報（第２の画像情報）に基づき、撮影者の顔を検出する。撮影者の顔の大きさは、撮影者と撮像装置１００との間の距離に依存するので、第１の検出部４１は、撮影者の顔の大きさに基づき撮影者と撮像装置１００との間の距離（広義には撮影倍率情報）を検出することができる。
【００３８】
第２の検出部４４（広義には処理部４０）は、第１の検出部４１と同様に、第２の画像情報に基づき撮影者の顔を検出してもよいが、第２の検出部４４は、第１の検出部４１の検出結果を利用することが好ましい。言い換えれば、第２の検出部４４は、第１の検出部４１で検出された撮影者の顔の大きさ（広義には第２の画像情報）に基づき、撮像装置１００の動きを表す動き情報を検出することが好ましい。図４の例では、動き情報として、撮影者の顔の大きさの変化率を採用する（ステップＳ１１３）。また、撮影者の顔の大きさの変化率を求めるために、ステップＳ１１１を実施する。
【００３９】
図４のステップＳ１１１の例では、第２の検出部４４（広義には処理部４０）は、撮影者の顔の大きさの履歴を記憶する。撮影者の顔の大きさの履歴を記憶することで、撮影者の顔の大きさが変化する様子を把握することができる。次に、図４のステップＳ１１３の例では、第２の検出部４４（広義には処理部４０）は、撮影者の顔の大きさの履歴に基づき、撮影者の顔の大きさの変化率を検出（算出）する。
【００４０】
図５（Ａ）、図５（Ｂ）、図５（Ｃ）は、撮影者の顔の大きさの変化例を示す。撮影者の顔の大きさの変化率は、多様に変化するが、図５（Ａ）の例は、例えば撮影者の手ぶれの影響により、顔の大きさの変化率は小さく、顔の大きさが増減する方向も区々である。図５（Ｂ）の例は、例えば撮影者がゆっくりと撮像装置１００を移動させたことにより、顔の大きさの変化率は、図５（Ａ）の例と比べて大きい。図５（Ｃ）の例は、例えば撮影者が素早く撮像装置１００を移動させたことにより、顔の大きさの変化率は、図５（Ｂ）の例と比べて大きい。
【００４１】
なお、図５（Ａ）、図５（Ｂ）、図５（Ｃ）に示すような典型的な変化例を例えば第１〜第３の変化パターンとして予め記憶し、実際に測定した顔の大きさの変化がどの変化パターンに近いのかを判断して、撮影者の顔の大きさの変化率を検出してもよい。
【００４２】
図４のステップＳ１１３の例では、判定部４６（広義には処理部４０）は、第２の検出部４４で検出された撮影者の顔の大きさの変化率に基づき、ゾーン判定を実施する。撮影者の顔の大きさの変化率は、撮影者と撮像装置１００との間の距離の変化率に依存するので、判定部４６は、撮影者の顔の大きさの変化率が例えば図３（Ａ）に示すような２つのゾーンｚ１，ｚ２または図３（Ｂ）に示すような３つのゾーンＺ１，Ｚ２，Ｚ３のうちのどのゾーンに属するのかを判定する。
【００４３】
図４のステップＳ１２０の例では、決定部４８（広義には処理部４０）は、撮影倍率情報（撮影者と撮像装置１００との距離）及び判定部４６の判定結果（ゾーン）に基づき撮像倍率を決定する。決定部４８は、撮影者の顔の大きさの変化率（広義には撮像装置１００の動きの変化率、狭義には撮像装置１００の移動速度）に応じて設定された閾値（図３（Ａ）では閾値ｔ１，ｔ２、図３（Ｂ）では閾値Ｔ１，Ｔ２，Ｔ３）との比較結果に基づいて、例えば撮像倍率の変更を許可するか否かを判定し、その後、変更後の撮像倍率を決定することができる。なお、図１の撮像装置１００の動作は、図４によって限定されるものではない。
【００４４】
なお、図２の撮像装置１００も、図４と同様な動作を実施することができる。例えば、図４のステップＳ１０９を変形して、第１の検出部４１は、例えば加速度を検出することができる。第１の検出部４１は、加速度を例えば２回積分して、撮影者と撮像装置１００との間の距離を検出することができる。図４のステップＳ１１１〜Ｓ１１３を変形して、第２の検出部４４は、撮影者と撮像装置１００との間の距離の履歴を記憶し、撮影者と撮像装置１００との間の距離の変化率を検出することができる。
【００４５】
２．具体例
２．１．構成
図６は、本実施形態の撮像装置の具体的な構成例を示し、図１の撮像装置１００の具体例又は変形例と呼ぶこともできる。なお、撮像装置１００の構成は、図６によって限定されるものではなく、図６の撮像装置１００の一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。図６の例では、撮像装置１００は、撮像部１０として、光学素子１１及び撮像素子１３（例えばＣＣＤ或いはＣＭＯＳイメージセンサ等）を含む。撮像装置１００は、撮像素子１３からの画像情報（第１の画像情報）を処理する画像処理部３０を含むことができる。光学素子１１は、撮像素子１３の撮像面上に被写体像を形成する。図６の例では、撮像素子１３は、ＣＤＳ（Correlated Double Sampling）、Ａ／Ｄ変換等の処理ブロックを有してデジタル形式の画像信号（広義には画像情報）を出力することができる。
【００４６】
光学素子１１は、例えば３つのレンズ１１ａ、１１ｂ、１１ｄと、絞り機構１１ｃと、を含む。図６の例では、レンズ１１ｂは、焦点距離を変更可能なズームレンズであり、レンズ１１ｄは、フォーカスレンズである。光学素子１１は、図示しないレンズ鏡筒に収納することができる。
【００４７】
図６の例では、撮像装置１００は、制御部２０として、レンズ１１ｂ（ズームレンズ）の駆動を制御する光学ズーム制御部１７を含むこができる。また、撮像装置１０（狭義には制御部２０）は、絞り機構１１ｃの駆動を制御するＡＥ（Automatic Exposure）制御部１９を含むこができる。さらに、撮像装置１００は、レンズ１１ｄ（フォーカスレンズ）の駆動を制御するＡＦ（Automatic Focus）制御部２１を含むことができる。なお、ＡＥ制御部１９は、撮影者自らの操作によって絞り機構１１ｃの駆動を手動で制御する制御部であってもよい。また、ＡＦ制御部２１は、撮影者自らの操作によってレンズ１１ｄの駆動を手動で制御する制御部であってもよい。加えて、撮像装置１００は、撮像素子１３を駆動する撮像素子駆動部２３を含むことができる。
【００４８】
光学ズーム制御部１７は、レンズ１１ｂを光軸方向に搬送するための電気機械的機構を含むことができる。ＡＥ制御部１９は、絞り機構１１ｃを光軸方向と垂直な方向に移動させるための電気機械的機構を含むことができる。ＡＦ制御部２１は、レンズ１１ｄを光軸方向と垂直な方向に移動させるための電気機械的機構を含むことができる。光学ズーム制御部１７、ＡＥ制御部１９及びＡＦ制御部２１は、それぞれ、例えば処理部４０からの指令に応じてレンズ１１ｂ、レンズ１１ｄ及び絞り機構１１ｃの位置を制御することができる。
【００４９】
図６の例では、撮像装置１００は、ユーザが種々の操作を行うための操作部２５を含むことができる。また、撮像装置１００は、画像処理部３０のために一時的に画像データ（画像情報）を格納するバッファメモリ５７（ワーク領域）を含むことができる。さらに、撮像装置１００は、撮像素子１３を介して取得している画像情報を連続的に表すスルー画像情報（動画）や、撮像素子１３を介して取得した１つの画像情報を表す撮像画像情報（静止画）を表示部２９に表示するための表示制御部３９を含むことできる。
【００５０】
表示部２９は、例えば液晶ディスプレイや、有機ＥＬなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。なお、表示部２９をタッチパネルディスプレイ（タッチスクリーン）により構成し、操作部２５の全部又は一部の機能を有してもよい。
【００５１】
図６の例では、撮像装置１００は、操作部２５として、シャッター釦２５ａ、ズームレバー２５ｂ及びモード選択部２５ｃを含むことができる。モード選択部２５ｃは、例えば、ズームレバー２５ｂの操作量だけによって撮像倍率を決定する第１のモードを設定することができる。また、モード選択部２５ｃは、例えば、撮像装置１００の移動量だけによって撮像倍率を決定する第２のモードを設定することができる。さらに、モード選択部２５ｃは、例えば、ズームレバー２５ｂを第２の撮像部４９よりも優先させる第３のモードを設定できる。操作部２５は、各種の操作を可能にする図示しない機能を実現するスイッチ、釦、レバー等を有してもよい。
【００５２】
図６の例では、撮像装置１００は、画像処理部３０として、前処理部３１、解像度調整部３３、画素数変換部３５及び画像圧縮部３７を含むことができる。また、撮像装置１００は、メモリインタフェース４３及び処理部４０を含むことができる。画像処理部３０や処理部４０は、ＡＳＩＣ、ＤＳＰ等のＩＣで構成することができる。処理部４０の具体的な構成は、例えば図１等で示され、図１等で示されない機能（例えば、制御部２０への指示等）を実現することができる。
【００５３】
前処理部３１は、撮像素子１３からのデジタル形式の画像信号（画像データ、画像情報）を受け、ホワイトバランス補正、ガンマ補正、キズ補正等の前処理を行うことができる。解像度調整部３３は、前処理された後の画像情報内のＲＧＢ信号をＹＣ信号に変換する処理を行いことができ、また、アパーチャ補正等の解像度を調整するための処理を行うことができる。画素数変換部３５は、画像信号の画素数を変換するための信号処理を行うことができる。画素数変換部３５は、画素間の補完又は間引きを行うことで電子的に画像情報を拡大又は縮小することができ、これにより電子的な撮像倍率の変更（電子ズーム機能）を実現することができる。
【００５４】
画像圧縮部３７は、例えばＪＰＥＧ方式に従って画像情報を圧縮することができる。画像情報は、ＪＰＥＧ方式に限られず、ＴＩＦＦ等の他の方式に従って圧縮されてもよい。画像圧縮部３７により圧縮された画像情報は、記録媒体５５に格納することができる。表示制御部３９は液晶表示素子上での画像表示を制御する。記録媒体５５の範囲は、メモリやＨＤＤ（ハードディスクドライブ）等を含む。メモリは、例えば、フラッシュメモリ等の不揮発性メモリであり、ＲＡＭや書き換え可能なＲＯＭ等で構成することができる。また、記録媒体５５は、例えば、ＳＤカード（登録商標）、コンパクトフラッシュ（登録商標）等のように、撮像装置１００に着脱自在な携帯型の記録媒体であってもよい。
【００５５】
なお、画像処理部３０は、記録媒体５５をワーク領域として使用してもよく、処理部４０等のワーク領域として、バッファメモリ５７、記録媒体５５等の記憶部５０を使用してもよい。記録媒体５５は、コンピュータ（狭義には画像処理部３０や処理部４０）により読み取り可能な媒体であり、記録媒体５５等の記憶部５０は、プログラムやデータ等を格納することができ、書き換え可能な光ディスク（ＣＤ、ＤＶＤ）であってもよい。画像処理部３０や処理部４０（広義には撮像装置１００）は、記録媒体５５等の記憶部５０に格納されるプログラム（データ）に基づいて種々の処理を行ってもよい。即ち記録媒体５５には、コンピュータ（例えば、画像処理部３０、処理部４０及び記憶部５０を含む装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶されてもよい。
【００５６】
図６の例では、前処理部３１、解像度調整部３３、画素数変換部３５、画像圧縮部３７及び表示制御部３９は、メモリインタフェース４３を介してバッファメモリ５７にアクセスし、各処理前のデータの読み出し、各処理後のデータの書き込みを適宜行うことができる。処理部４０は、前処理部３１、解像度調整部３３、画素数変換部３５、画像圧縮部３７及び表示制御部３９を制御し、画像信号処理等の指示を行うことができる。さらに、処理部４０は、光学ズーム制御部１７、ＡＥ制御部１９及びＡＦ制御部２１の制御を統括して光学系の動作を制御することができる。処理部４０は、撮像素子駆動部２３の制御を管理して、撮像素子１３の出力信号（画像情報）を全画素読出し又は間引き読出し等の制御を実行することができる。
【００５７】
図６の例では、撮像装置１００は、第２の撮像部４９を含むことができる。撮影者と撮像装置１００との間の距離を検出するために、第２の撮像部４９は、撮影者（例えば顔）を表す画像情報（第２の画像情報）を取得することができる。処理部４０（例えば、図１の第１の検出部４１）は、撮影者を表す第２の画像情報を用いて例えば顔検出を行い、顔の大きさから、撮影者と撮像装置１００との間の距離を検出（換算）することができる。
【００５８】
なお、第２の撮像部４９の詳細な構成の説明は、省略するが、撮像部１０及び画像処理部３０の全部又は一部の構成と同じ又は類似する構成を備えることができる。また、撮像装置１００又は第２の撮像部４９は、制御部２０の全部又は一部の構成と同じ又は類似する構成を備えることができる。
【００５９】
図６の例では、撮像装置１００を前後方向（光軸方向）に移動すると撮影者と撮像装置１００との間の距離が変化し、処理部４０（例えば、図１の決定部４８）は、撮影者と撮像装置１００との間の距離に基づき撮像倍率を決定してもよい。光学ズーム制御部１７及び画素数変換部３５の少なくとも一方を用いて、撮像倍率変更（ズーム操作）を実現することできる。しかしながら、処理部４０（例えば、図１の決定部４８）が撮影者と撮像装置１００との間の距離に応じて撮像倍率を決定するだけでは、撮影者の直感的な意思に正確に従うことは難しい。そこで、図６の例では、撮像装置１００は、処理部４０で、例えば図１の第２の検出部４４及び判定部４６の機能を実施し、撮影者の意図に沿ったズーム操作を実現することができる。
【００６０】
図６の例では、処理部４０（例えば、図１の第２の検出部４４）は、例えば顔検出の結果を利用し、顔の大きさの変化率を検出（算出）することができる。次に、処理部４０（例えば、図１の判定部４６）は、顔の大きさの変化率が少なくとも３つのゾーンのうちのどのゾーンに属するのかを判定する。次に、処理部４０（例えば、図１の決定部４８）は、判定結果（ゾーン）を考慮しながら、撮影者と撮像装置１００との間の距離に応じて撮像倍率を決定し、例えば撮影者の意図に合致しない不要なズーム操作を抑制することができる。
【００６１】
図７は、図６の処理部４０の概略構成例を示す。図７に示す処理部４０は、様々な処理を行うことができ、図７は、代表的な処理を実現する概略構成例を示す。また、上述した構成例と同一の構成については同じ符号を付し、一致点の説明を省略し、以下に相違点について説明する。図７の例では、処理部４０（広義には撮像装置１００）は、操作部２５（例えば、図６のズームレバー２５ｂ）の操作量（広義には撮影倍率情報）を検出する第３の検出部５１を含む。決定部４８は、操作部２５の操作量に基づき撮像倍率を決定することができる。また、決定部４８は、操作部２５の操作量を無視し、第２の撮像部４９からの第２の画像情報（広義には撮影倍率情報）に基づき撮像倍率を決定することができる。さらに、決定部４８は、操作部２５による撮像倍率の変更（ズーム操作）を優先させることができる。なお、第２の検出部４４は、第１の検出部４１の顔検出の結果（例えば、撮影者の顔の大きさ）を利用することができる。
【００６２】
２．２．動作
図８、図９は、図６の撮像装置１００の動作例を例えば図３（Ｂ）のゾーン分割に従って説明するフローチャートを示す。各図は、フローチャートの一部を表している。以下に、撮像倍率の変更（ズーム操作）について説明する。
【００６３】
例えば撮像装置１００の電源が立ち上がる時に、撮像装置１００（例えば、処理部４０）は、撮像倍率の初期値を設定する（ステップＳ１０１）。初期値は、例えば撮像部１０の最大広角値に設定できる。なお、初期値は、撮影者が事前に設定した値に設定してもよい。初期値は、例えば記憶部５０に保存することができる。
【００６４】
図８の例では、処理部４０（例えば、図７の第３の検出部５１）は、撮影者がズームレバー２５ｂを操作しているか否か検出する。ズームレバー２５ｂからの操作信号が第１の基準を満たせば、撮像倍率を上げるように、画角は、例えば望遠（Ｔｅｌｅ）側に調整することができる。また、ズームレバー２５ｂからの操作信号が第２の基準を満たせば、撮像倍率を下げるように、画角は、例えば広角（Ｗｉｄｅ）側に調整することができる。
【００６５】
撮影者がズームレバー２５ｂを操作している場合、処理部４０（例えば、図７の第３の検出部５１）は、ズームレバー２５ｂからの操作量を検出し、処理部４０（例えば、図７の決定部４８）は、検出した操作量（第３の撮影倍率情報）に基づき撮像倍率を決定（算出）する（ステップＳ３０１）。
【００６６】
図８のステップＳ３０１の例では、撮像倍率の決定方法として、撮像倍率の変化量を算出する。撮像倍率の変化量は、撮像倍率を相対的に決定することができ、設定されている倍率（例えば、初期値として設定される最大広角値）を基準として、撮像倍率を決定（変更）することができる。なお、撮像倍率の決定方法として、撮像倍率の目標値を算出してもよい。撮像倍率の目標値は、撮像倍率を絶対的に決定してもよく、ズームレバー２５ｂからの操作位置に応じて、撮像倍率を決定（変更）してもよい。
【００６７】
図８のステップＳ３０３の例では、処理部４０（例えば、図７の決定部４８）は、算出した撮像倍率の変化量（広義には、決定した撮像倍率）に従って、ズーム処理を実行する。具体的には、決定部４８は、光学的な倍率及び電子的な倍率の少なくとも一方で撮像倍率を決定する。決定部４８は、光学的な倍率の変更を例えば図７の制御部２０（狭義には、図６の光学ズーム制御部１７）に指示することができる。また、電子的な倍率の変更を例えば図７の画像処理部３０（狭義には、図６の画素数変換部３５）に指示することができる。
【００６８】
図８のステップＳ３０５の例では、処理部４０（例えば、図７の第３の検出部５１）は、撮影者がズームレバー２５ｂを操作しているか否か検出する。例えば、ズームレバー２５ｂが望遠（Ｔｅｌｅ）側に設定され続けられている間、処理部４０は、撮像倍率を上げ続けるように制御部２０及び画像処理部３０の少なくとも１つを制御する（ステップＳ３０１〜ステップＳ３０５）。
【００６９】
図８のステップＳ１０９の例では、処理部４０（例えば、図７の第１の検出部４１）は、撮影者の顔を検出する。さらに、図８のステップＳ１１０の例では、処理部４０（例えば、図７の第１の検出部４１）は、基準値以上の大きさの顔が検出できたか否かを判定する。基準値以上の大きさの顔が検出できた場合、ステップＳ１１１等を実行することができる。加えて、第１の検出部４１は、例えば図９のステップＳ５０８で、撮影者の顔の大きさに基づき撮影装置１００の移動距離（広義には撮影倍率情報）を検出することができる。
【００７０】
図８のステップＳ１１１の例では、処理部４０（例えば、図７の第２の検出部４４）は、撮影者の顔の大きさの履歴を例えばバッファメモリ５７（広義には記憶部５０）に記憶する。撮影者の顔の大きさを記憶する際、例えばその大きさに対応する元の画像情報（撮影者を表す第２の画像情報）を撮像した時刻と関連付けることができる。なお、図８のステップＳ１１０で、基準値以上の大きさの顔が検出できなかった場合、撮影者の顔の大きさを記憶することを省略することができる。但し、基準値以上の大きさの顔が検出できなかった場合であっても、図８のステップＳ１１０及びステップＳ１１１を変形して、撮影者の顔の大きさを例えばゼロとして記憶してもよい。
【００７１】
図８のステップＳ１１２の例では、処理部４０（例えば、図７の第２の検出部４４）は、記憶部５０に記憶された撮影者の顔の大きさの履歴を参照する。この時、第２の検出部４４は、履歴のすべてを参照してもよいが、履歴の一部（所与の期間τ、所与のサンプル数ｎ）だけを参照してもよい。第２の検出部４４は、例えば第１の時刻（例えば第２の画像情報の最新の撮像時刻ｔｎから所与の期間τだけ戻った撮影時刻ｔ１）から第２の時刻（例えば第２の画像情報の最新の撮像時刻ｔｎ）までの顔の大きさを参照（取得）する。なお、第２の検出部４４は、例えば最新の１１個（所与のサンプル数ｎ＝１１）の顔の大きさを参照（取得）してもよい。記憶部５０に記憶された撮影者の顔の大きさの履歴を参照することで、撮影者の顔の大きさの変化率を求めることができる（図９のステップＳ５０４）。
【００７２】
図９のステップＳ５０１の例では、処理部４０（例えば、図７の第２の検出部４４）は、記憶部５０に記憶された撮影者の顔の大きさの履歴のフィッティング曲線を求める。例えば所与の期間τにおける撮影者の顔の大きさの変化は、フィッティング曲線で近似することができる。このようなフィッティング処理は、例えば最小２乗法で実施することができ、フィッティング曲線は、例えば２次関数で表される。フィッティング曲線の縦軸をｙとし、横軸をｘとする場合、フィッティング曲線は、ｙ＝ａ・ｘ２＋ｂ・ｘ＋ｃで表すことができる。ここで、ａは、２次の項の係数を表し、ｂは、１次の項の係数を表し、ｃは、切片（フィッティング曲線が縦軸と交わる点のｙ座標）を表す。
【００７３】
図１０は、フィッティング曲線の算出例を示す。図１０の例では、点線で示されたフィッティング曲線は、撮影者の顔の大きさの履歴を最小２乗法で表された２次関数である。図１０の例では、現在の時刻ｔｎを含む所与の期間τにおける１１個のサンプルを採用する。図１０の例では、フィッティング曲線は、１１個のサンプルを精度良く表されている。
【００７４】
しかしながら、撮影者の顔の大きさが激しく変動する場合、フィッティングの精度は悪くなる。このような状況は、例えば、所与の期間τにおいて撮影者の顔が検出された回数が少ない時に該当する。言い換えれば、このような状況は、例えば撮影者が撮像装置１００（第２の撮像部４９）を見ていない時に該当し、撮影者の顔の大きさの履歴が有効でない。このような状況であっても、フィッティング曲線を求めることができるので、図９のステップＳ５０２及びステップＳ５０３で、撮影者の意図に合致しない不要なズーム操作を抑制することができる。
【００７５】
一方、フィッティングの精度が良い場合、図９のステップＳ５０４等で、撮影者の顔の大きさの変化の履歴に基づき、ゾーン判定を実施することができる。ゾーン判定の結果、フィッティングの精度が良い場合であっても、図９のステップＳ５０４及びステップＳ５０３で、撮影者の意図に合致しない不要なズーム操作を抑制することができる。
【００７６】
図９のステップＳ５０２の例では、処理部４０（例えば、図７の判定部４６）は、図１０に示されるような曲線のフィッティングの精度が悪いか否かを判定することができる。具体的には、判定部４６は、フィッティング曲線を示す２次関数の２次の項の係数ａの標準誤差が所与の値よりも大きいか否かを判定する。フィッティング曲線を求める際に、ａの標準誤差も求めることができ、所与の値は、例えば以下に示されるＥに設定することができる。
【００７７】
Ｅ＝（Ａ２−Ａ１）／２      ・・・  （式１）
Ａ１＝ｅ／τ      ・・・  （式２）
Ａ２＝ｂ／τ      ・・・  （式３）
ここで、ｅは、例えば顔検出の精度を表し、撮像装置１００及び撮影者の双方が動いていなくとも、例えば顔の表情の変化に伴って変化し得る顔の大きさ［ｐｉｘｅｌ］である。また、ｂは、所与の期間τ（サンプリング期間）において、境界（例えば撮影者が素早く撮像装置１００を移動させた時と例えば撮影者がゆっくりと撮像装置１００を移動させた時との境界）の速度で撮像装置１００を移動させた時の顔の大きさの変化量［ｐｉｘｅｌ］である。
【００７８】
フィッティング曲線を示す２次関数の２次の項の係数ａの標準誤差が例えば式１で示されるＥよりも大きい場合、フィッティングの精度が悪いとみなすことができる。即ち、処理部４０（例えば、図７の判定部４６）は、撮影者の顔の動き（撮像装置の動き）が常に第１のゾーンに属することを示す判定結果を生成することができる。また、フィッティング曲線を示す２次関数の２次の項の係数ａの標準誤差が例えば式１で示されるＥ以下である場合、フィッティングの精度が良いとみなすことができる。その後、図９のステップＳ５０４を実施し、処理部４０（例えば、図７の判定部４６）は、撮影者の顔の動き（撮像装置の動き）が第１〜第３のゾーンのうちのどのゾーンに属するのかを示す判定結果を生成することができる。
【００７９】
図９のステップＳ５０３の例では、処理部４０（例えば、図７の決定部４８）は、判定結果（第１のゾーン）に応じて、閾値Ｔを最大値Ｔ２（広義には第２の閾値）に設定することができる。閾値Ｔは、撮像倍率の変更（決定）の許可又は不許可を示す指標である。閾値Ｔが大きい程、撮像倍率が変化し難くなる。最大値Ｔ２は、例えば以下のように設定できる。
Ｔ２＝Ａ２      ・・・  （式４）
【００８０】
図９のステップＳ５０４の例では、処理部４０（例えば、図７の第２の検出部４４及び判定部４６）は、フィッティング曲線を評価する。具体的には、第２の検出部４４は、顔の大きさの変化率として、最新の撮像時刻ｔｎ（広義には所与の時刻）におけるフィッティング曲線の傾きを検出（算出）する。フィッティング曲線の傾きは、例えば図１０で示されるような接線（最新の撮像時刻ｔｎでフィッティング曲線に接する接線）の傾きである。
【００８１】
接線の傾きＡの絶対値が式２で示されるＡ１（広義には第１の基準値）よりも小さい場合、判定部４６は、撮影者の顔の動き（撮像装置の動き）が第１のゾーンに属することを示す判定結果を生成することができる（ステップＳ５０４）。このような状況は、例えば、顔の大きさ変化に目立った傾向が見られない時に該当する。言い換えれば、このような状況は、例えば顔の検出精度を僅かに超えた時や手振れの状態で撮影している時に該当する。図９のステップＳ５０４及びステップＳ５０３で、このような不要なズーム操作を抑制することができる。
【００８２】
接線の傾きＡの絶対値がＡ１以上であり、且つ、式３で示されるＡ２（広義には第２の基準値）以下である場合、判定部４６は、撮影者の顔の動き（撮像装置の動き）が第２のゾーンに属することを示す判定結果を生成することができる（ステップＳ５０４）。このような状況は、例えば、撮影者が撮像装置１００をゆっくりと移動させている時に該当する。図９のステップＳ５０５の例では、処理部４０（例えば、図７の決定部４８）は、判定結果（第２のゾーン）に応じて、閾値Ｔを例えば以下の式で算出した値に設定することができる。
Ｔ＝（Ｔ２−Ｔ１）ｃｏｓ［π（｜Ａ｜−Ａ１）／２（Ａ２−Ａ１）］＋Ｔ１      ・・・  （式５）
ここで、Ｔ１は、閾値の最小値（広義には第１の閾値）であり、例えば以下のように設定できる。
Ｔ１＝０      ・・・  （式６）
【００８３】
接線の傾きＡの絶対値がＡ２よりも大きい場合、判定部４６は、撮影者の顔の動き（撮像装置の動き）が第３のゾーンに属することを示す判定結果を生成することができる（ステップＳ５０４）。このような状況は、例えば、撮影者が撮像装置１００を素早く移動させている時に該当する。図９のステップＳ５０６の例では、処理部４０（例えば、図７の決定部４８）は、判定結果（第３のゾーン）に応じて、最小値Ｔ１に設定することができる。閾値Ｔが小さい程、撮像倍率が変化し易くなる。
【００８４】
処理部４０（例えば、図７の決定部４８）は、ステップＳ５０７で判定部４６の判定結果（広義には撮像装置１００の動き）を考慮し、ステップＳ５０８で、顔の移動距離（撮影者と撮像装置１００との距離）を考慮することができる。
【００８５】
図９のステップＳ５０７の例では、決定部４８は、撮影者の顔の大きさの変動がステップＳ５０３、ステップＳ５０５、又はステップＳ５０６の何れかで設定された閾値Ｔ以上であったか否かを判定する。顔の大きさの変動は、例えば最新の撮像時刻ｔｎにおける顔の大きさと、１つ前の撮像時刻ｔｎにおける顔の大きさとの差に設定することができる。撮影者の顔の大きさの変動が閾値Ｔ以上であった場合、ステップＳ５０８及びステップＳ５０９を実施する。
【００８６】
図９のステップＳ５０８の例では、決定部４８は、顔の移動距離から撮像倍率の変化量を算出する。次に、ステップＳ５０９では、決定部４８は、ステップＳ３０３同様にズーム処理を行う。なお、顔の大きさは、公知の技術で、顔の移動距離（又は撮影者と撮像装置１００との距離）に換算することができる。ステップＳ１３０で撮像装置１００の電源がＯＦＦされたり、操作部２５でズーム操作機能がＯＦＦされると、ズーム操作を終了することができる。
【００８７】
図１１は、撮影者の顔の大きさの変動に対する閾値の設定例を示す。なお、図１１の例では、フィッティング曲線に関する接線の傾きＡの絶対値ではなく、フィッティング曲線に関する接線の傾きＡそのもので、第１〜第６のゾーンを設定することができる。フィッティング曲線に関する接線の傾きＡの絶対値でゾーン判定を行う場合、第４〜第６のゾーンは、それぞれ、第１〜第３のゾーンに変更することができる。また、フィッティングの精度が悪い場合、第１のゾーン又は第４のゾーンと同様に、閾値ＴをＴ２に設定することができる。
【００８８】
図１１に示す閾値Ｔの設定例では、撮影者の顔の大きさの変化率（狭義には傾きＡ、広義には動き情報）が第３のゾーン（又は第６のゾーン）に属する場合、決定部４８は、撮影者の顔の大きさ（広義には撮影倍率情報）の変動が閾値の最小値Ｔ１（広義には第１の閾値）を超える時に撮像倍率の決定を実行する。また、動き情報が第２のゾーン（又は第５のゾーン）に属する場合、決定部４８は、撮影倍率情報の変動が第１の閾値（Ｔ１）と第２の閾値（Ｔ２）との間の第３の閾値（Ｔ３）を超える時に撮像倍率の決定を実行する。さらに、動き情報が第１のゾーン（又は第４のゾーン）に属する場合、決定部４８は、撮影倍率情報の変動が第２の閾値（Ｔ２）を超える時に撮像倍率の決定を実行する。加えて、フィッティング曲線を表す２次関数の２次の項の係数ａの標準誤差が所与の値（Ｅ）よりも大きい場合、決定部４８は、撮影倍率情報の変動が第２の閾値（Ｔ２）を超える時に撮像倍率の決定を実行する。
【００８９】
２．３．変形例
図１２は、図６の撮像装置の変形例を示す。また、上述した構成例と同一の構成については同じ符号を付し、一致点の説明を省略し、以下に相違点について説明する。図１２の例では、撮像装置１００は、第２の撮像部４９の代わりに、モーションセンサ４７を含むことができる。また、処理部４０のワーク領域として、メモリ５９（広義には記憶部５０）が表されている。
【００９０】
モーションセンサ４７は、例えば加速度センサで構成することができ、加速度データを出力することができる。処理部４０（例えば、図２の第１の検出部４１）は、このデータを受け取り、撮像装置１００の移動方向、移動量を算出し、撮影者と撮像装置１００との間の距離を検出（換算）することができる。
【００９１】
モーションセンサ４７は、加速度センサ及びジャイロセンサの組み合わせでもよい。また、モーションセンサ４７は、加速度センサ、ジャイロセンサ、地磁気センサ、圧力センサ（例えば気圧センサ、水圧センサ等）、アクティブセンサ（例えば、赤外線測距センサ、超音波測距センサ等）及び位置検出センサ（例えば、ＧＰＳや携帯電話網やＲＦＩＤ等の無線ネットワークセンサ）の少なくとも１つでもよい。なお、モーションセンサ４７は、撮影者の手首等に取り付けてもよい。
【００９２】
図１３、図１４は、図１２の撮像装置の動作例を説明するフローチャートを示す。また、上述した構成例と同一の構成については同じ符号を付し、一致点の説明を省略し、以下に相違点について説明する。
【００９３】
処理部４０（例えば、図２の第１の検出部４１）は、モーションセンサ４７からの加速度データ（狭義には、撮像装置１００又は撮像部１０の光軸方向の加速度データ、広義には、センサ情報）に基づき撮像装置１００の移動距離（撮影者と撮像装置１００との間の距離）を算出することができる（図１３のステップＳ２０９、Ｓ２１０）。例えば、加速度を積分することで撮像装置１００の移動距離を算出することができる。処理部４０（例えば、図２の第２の検出部４４）は、所与の期間τにおける撮像装置１００の移動距離の履歴をメモリ５９（広義には記憶部５０）に記憶し、その履歴を参照しながら、撮像装置１００の移動距離の変化率を算出することができる（図１３のステップＳ２１１、Ｓ２１２）。
【００９４】
処理部４０（例えば、図２の第２の検出部４４）が図１４のステップＳ５０１を実施すると、図９のステップＳ５０２を省略して、図１４のステップ４０３を実施することができる。図１４のステップＳ４０４で閾値ＴをＴ２に設定する場合、Ｔ２は、例えば式４及び式７を利用することができる。
Ｔ２＝Ａ２      ・・・  （式４）
Ａ２＝ｂ’／τ      ・・・  （式７）
ここで、ｂ’は、所与の期間τ（サンプリング期間）において、境界（例えば撮影者が素早く撮像装置１００を移動させた時と例えば撮影者がゆっくりと撮像装置１００を移動させた時との境界）の速度で撮像装置１００を移動させた時の撮像装置１００の移動距離の変化量［ｍｍ］である。
【００９５】
図１４のステップＳ４０６で閾値ＴをＴ１に設定する場合、Ｔ１は、例えば式８及び式９を利用することができる。
Ｔ１＝Ａ１      ・・・  （式８）
Ａ１＝ｅ’／τ      ・・・  （式９）
ここで、ｅ’は、例えば位置検出の精度を表し、撮像装置１００及び撮影者の双方が動いていなくとも、例えば加速度データの揺らぎに伴って変化し得る撮像装置１００の移動距離［ｍｍ］である。
【００９６】
図１４のステップＳ４０５で閾値Ｔを例えば式５で算出した値に設定することができるが、Ｔ２及びＴ１は、式４及び式８を採用する。
Ｔ＝（Ｔ２−Ｔ１）ｃｏｓ［π（｜Ａ｜−Ａ１）／２（Ａ２−Ａ１）］＋Ｔ１      ・・・  （式５）
【００９７】
図１４のステップＳ４０７〜Ｓ４０９は、撮像装置１００の移動距離を用いて実施する。なお、撮像装置１００の移動距離が変化しても、撮影者の顔の移動距離が変化しても、撮影者と撮像装置１００との間の距離は、変化する。
【００９８】
図１５は、撮像装置の移動距離の変動に対する閾値の設定例を示す。図１５の例では、式８で、Ｔ１がゼロに設定されていないので、図１１の例と比べて、第３のゾーン（又は第６のゾーン）において撮像倍率の変化がし難い。但し、図１５の例を変化して、Ｔ１をゼロに設定してもよい。また、図１１の例を変化して、Ｔ１を所与の値に設定してもよい。加えて、図１４の例を変化（図９のステップＳ５０２のような判定を追加）して、フィッティング精度が悪い場合、閾値ＴをＴ２に設定してもよい。また、図９の例を変化（図９のステップＳ５０２を省略）してもよい。
【００９９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１００】
１０  撮像部（第１の撮像部）、１１  光学素子、１１ａ，１１ｂ，１１ｄ  レンズ、
１１ｃ  絞り機構、１３  撮像素子、１７  光学ズーム制御部、１９  ＡＥ制御部、
２０  制御部、２１  ＡＦ制御部、２３  撮像素子駆動部、２５  操作部、
２５ａ  シャッター釦、２５ｂ  ズームレバー、２５ｃ  モード選択部、２９  表示部、
３０  画像処理部、３１  前処理部、３３  解像度調整部、３５  画素数変換部、
３７  画像圧縮部、３９  表示制御部、４０  処理部、４１  第１の検出部、
４３  メモリインタフェース、４４  第２の検出部、４６  判定部、４８  決定部、
４９  第２の撮像部、５０  記憶部、５１  第３の検出部、５５  記録媒体、
５７  バッファメモリ、５９  メモリ、１００  撮像装置
【図１】
2011259212.tif 000003
【図２】
2011259212.tif 000004
【図３】
2011259212.tif 000005
【図４】
2011259212.tif 000006
【図５】
2011259212.tif 000007
【図６】
2011259212.tif 000008
【図７】
2011259212.tif 000009
【図８】
2011259212.tif 000010
【図９】
2011259212.tif 000011
【図１０】
2011259212.tif 000012
【図１１】
2011259212.tif 000013
【図１２】
2011259212.tif 000014
【図１３】
2011259212.tif 000015
【図１４】
2011259212.tif 000016
【図１５】
2011259212.tif 000017