(57)【要約】【課題】  カルマンフィルタアルゴリズムにおける誤差共分散、もしくは、ユーザの操作や撮影環境に関する情報に応じて、カルマンフィルタ処理に用いるセンサ情報を選択することで、ズーム量を決定する物理量を高精度に求める撮像装置を提供すること。【解決手段】  撮像装置は、光学系１１で結像した被写体の像を撮像することで画像情報を出力する撮像部１０と、撮影者がズーム操作した操作状態を表す第１〜第Ｎ（Ｎは３以上の整数）の状態パラメータをそれぞれ検出する第１〜第Ｎの状態検出部４１Ａ，４７Ａ，４７Ｂと、第１〜第Ｎの状態パラメータのうち検出信頼性が高い少なくとも２つを入力値として、撮像部におけるズーム量を決定するための物理量を求めるフィルタ処理部５０と、を含む。【選択図】      図２
2012029138.tif 000002
【特許請求の範囲】
【請求項１】
光学系で結像した被写体の像を撮像することで画像情報を出力する撮像部と、
撮影者がズーム操作した操作状態を表す第１〜第Ｎ（Ｎは３以上の整数）の状態パラメータをそれぞれ検出する第１〜第Ｎの状態検出部と、
前記第１〜第Ｎの前記状態パラメータのうち検出信頼性が高い少なくとも２つを入力値として、前記撮像部におけるズーム量を決定するための物理量を求めるフィルタ処理部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記フィルタ処理部は、
カルマンフィルタにより実現され、前記カルマンフィルタの観測値及び予測値を、前記入力値とすることを特徴とする撮像装置。
【請求項３】
請求項２において、
前記第１〜第Ｎの状態検出部は、
前記撮像装置と前記撮影者との間の距離情報を検出する距離検出部と、
前記撮像装置の加速度情報を検出する加速度センサと、
前記撮像装置の角速度情報を検出する角速度センサと、
を含むことを特徴とする撮像装置。
【請求項４】
請求項２において、
前記フィルタ処理部は、
前記カルマンフィルタのアルゴリズムにおける誤差共分散の値に基づいて、前記検出信頼性が他の状態パラメータに比べて高い前記状態パラメータを選択することを特徴とする撮像装置。
【請求項５】
請求項２または３において、
前記フィルタ処理部は、前記第１〜第Ｎの状態パラメータの取得過程または取得結果から得られる評価パラメータをそれぞれ取得し、前記第１〜第Ｎの状態パラメータの各々の前記検出信頼性を、前記評価パラメータを閾値と比較することで判断することを特徴とする撮像装置。
【請求項６】
請求項３において、
距離検出部は、前記撮像部とは異なる第２撮像部で撮像した撮影者画像から、前記撮影者の顔領域の特徴量を検出し、前記顔領域の大きさに基づいて、前記撮像装置と前記撮影者との間の前記距離情報を検出し、
前記フィルタ処理部は、
前記撮影者画像における輝度情報により表される明るさを取得し、前記明るさが、所与の閾値よりも大きいと判断された場合には、前記距離検出部で検出した前記距離情報の前記検出信頼性が、前記加速度情報及び前記角速度情報に比べて高いと判断することを特徴とする撮像装置。
【請求項７】
請求項６において、
前記フィルタ処理部は、
前記距離検出部から得られる前記距離情報に基づいて、前記撮像装置の移動距離を取得し、前記移動距離が所与の閾値よりも小さいと判断された場合には、前記加速度センサにより検出された前記加速度情報に比べて、前記角速度センサにより検出された前記角速度情報の前記検出信頼性が高いと判断することを特徴とする撮像装置。
【請求項８】
請求項６において、
前記フィルタ処理部は、
前記角速度センサにより検出された角速度情報の分散の値を取得し、前記分散の値が、所与の閾値よりも小さいと判断された場合には、前記加速度センサにより検出された前記加速度情報に比べて、前記角速度センサにより検出された前記角速度情報の前記検出信頼性が高いと判断することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等に関する。
【背景技術】
【０００２】
従来より、被写体を所望の倍率で撮像して画像を表示する撮像装置としてデジタルカメラ、ビデオカメラ等があるが、この種の装置では、ユーザ自らが、ズームボタン等により画像の倍率を変更して撮像することが通常である。
【０００３】
また、特許文献１のように直感的な操作を目的としてズームボタンの代わりにカメラにモーションセンサを内蔵させて、カメラ本体を光軸方向に移動させることでズーム操作を行う提案がなされている。また、特許文献２のように撮影者情報を使うインターフェースの実現手段として撮影者側にカメラを設けて姿勢検出を行う提案がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２１１４５８号公報
【特許文献２】特表２００９−５４２０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ズームレバーを使わず、撮像装置を移動させて操作コマンドを実行することはユーザの直感的な操作が可能となる利点がある。
【０００６】
しかし、加速度センサのみを使ってカメラの移動を検出しようとすると、加速度の小さい動き（ゆっくりした動き）の場合にはノイズやドリフトの影響で検出精度が落ちてしまう。
【０００７】
また、ユーザの顔画像から撮像装置までの距離を検出しようとすると、暗い環境や逆光の環境において検出精度が落ちてしまう。
【０００８】
本発明の幾つかの態様によれば、様々な条件の変化に対応してズーム操作に関するユーザの動きを最適に検出する撮像装置を提供できる。
【０００９】
また、本発明の幾つかの態様によれば、カルマンフィルタアルゴリズムにおける誤差共分散、もしくは、ユーザの操作や撮影環境に関する情報（評価パラメータ）に応じて、カルマンフィルタ処理に用いるセンサ情報を選択することで、ズーム量を決定する物理量を高精度に求める撮像装置を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、光学系で結像した被写体の像を撮像することで画像情報を出力する撮像部と、撮影者がズーム操作した操作状態を表す第１〜第Ｎ（Ｎは３以上の整数）の状態パラメータをそれぞれ検出する第１〜第Ｎの状態検出部と、前記第１〜第Ｎの前記状態パラメータのうち検出信頼性が高い少なくとも２つを入力値として、前記撮像部におけるズーム量を決定するための物理量を求めるフィルタ処理部と、を含む撮像装置に関係する。
【００１１】
本発明の一態様では、状態検出部が検出した状態パラメータのうち、検出信頼性の高い少なくとも２つを入力値として、フィルタ処理を行うことができる。よって、フィルタ処理を行う効果及び検出信頼性の高い状態パラメータを用いる効果により、ズーム量を決定する物理量を精度よく求めることが可能になる。
【００１２】
また、本発明の一態様では、前記フィルタ処理部は、カルマンフィルタにより実現され、前記カルマンフィルタの観測値及び予測値を、前記入力値としてもよい。
【００１３】
これにより、カルマンフィルタを用いたフィルタ処理を行うことが可能になる。
【００１４】
また、本発明の一態様では、前記第１〜第Ｎの状態検出部は、前記撮像装置と前記撮影者との間の距離情報を検出する距離検出部と、前記撮像装置の加速度情報を検出する加速度センサと、前記撮像装置の角速度情報を検出する角速度センサと、を含んでもよい。
【００１５】
これにより、距離（撮像装置と撮影者との間の距離）検出部、加速度センサ及び角速度センサを状態検出部として用いることが可能になる。
【００１６】
また、本発明の一態様では、前記フィルタ処理部は、前記カルマンフィルタのアルゴリズムにおける誤差共分散の値に基づいて、前記検出信頼性が他の状態パラメータに比べて高い前記状態パラメータを選択してもよい。
【００１７】
これにより、カルマンフィルタのアルゴリズムにおける誤差共分散の値を用いて、状態パラメータの検出信頼性を求めることが可能になる。
【００１８】
また、本発明の一態様では、前記フィルタ処理部は、前記第１〜第Ｎの状態パラメータの取得過程または取得結果から得られる評価パラメータをそれぞれ取得し、前記第１〜第Ｎの状態パラメータの各々の前記検出信頼性を、前記評価パラメータを閾値と比較して判断してもよい。
【００１９】
これにより、状態パラメータの取得過程また取得結果から得られる評価パラメータに基づいて、状態パラメータの検出信頼性を求めることが可能になる。
【００２０】
また、本発明の一態様では、距離検出部は、前記撮像部とは異なる第２撮像部で撮像した撮影者画像から、前記撮影者の顔領域の特徴量を検出し、前記顔領域の大きさに基づいて、前記撮像装置と前記撮影者との間の前記距離情報を検出し、前記フィルタ処理部は、前記撮影者画像における輝度情報により表される明るさを取得し、前記明るさが、所与の閾値よりも大きいと判断された場合には、前記距離検出部で検出した前記距離情報の前記検出信頼性が、前記加速度情報及び前記角速度情報に比べて高いと判断してもよい。
【００２１】
これにより、撮影者画像における撮影者の顔領域のサイズから距離情報を検出するとともに、撮影者画像の輝度情報を用いて、検出した距離情報の検出信頼性を求めることが可能になる。
【００２２】
また、本発明の一態様では、前記フィルタ処理部は、前記距離検出部から得られる前記距離情報に基づいて、前記撮像装置の移動距離を取得し、前記移動距離が所与の閾値よりも小さいと判断された場合には、前記加速度センサにより検出された前記加速度情報に比べて、前記角速度センサにより検出された前記角速度情報の前記検出信頼性が高いと判断してもよい。
【００２３】
これにより、距離検出部から得られる距離情報に基づいて撮像装置の移動距離を取得し、移動距離に基づいて加速度情報の検出信頼性を求めることが可能になる。
【００２４】
また、本発明の一態様では、前記フィルタ処理部は、前記角速度センサにより検出された角速度情報の分散の値を取得し、前記分散の値が、所与の閾値よりも小さいと判断された場合には、前記加速度センサにより検出された前記加速度情報に比べて、前記角速度センサにより検出された前記角速度情報の前記検出信頼性が高いと判断してもよい。
【００２５】
これにより、角速度センサにより検出された角速度情報の分散値に基づいて、角速度情報の検出信頼性を求めることが可能になる。
【図面の簡単な説明】
【００２６】
【図１】撮像装置と撮影者との間の距離とズーム倍率の関係を説明する図。
【図２】本実施形態に係る撮像装置の構成例。
【図３】第１の実施形態の処理を説明するためのフローチャート。
【図４】フィルタ処理部の入力値として用いられるセンサの組み合わせの例。
【図５】第２の実施形態の処理を説明するためのフローチャート。
【発明を実施するための形態】
【００２７】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２８】
以下に説明する撮像装置は光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置であって、例えばデジタルスチルカメラがこれに含まれる。
【００２９】
１．本実施形態の手法
【００３０】
まず、本実施形態の手法について説明する。本実施形態における撮像装置は、図１に示したように、撮像装置と撮影者との間の距離に応じてズーム操作を行う（以下このズーム操作をスマートズームとも表記する）。図１の例で言えば、撮像装置が撮影者に近い場合は広角に対応し、その位置から撮像装置を遠ざける（撮像装置を前に押し出す）ことで、ズーム倍率を望遠に設定する。
【００３１】
スマートズームを用いる撮像装置では、撮像装置と撮影者との間の距離を取得するために、何らかのセンサを用いることになる。センサとは例えば加速度情報を取得する加速度センサである。加速度センサからの加速度情報を２回積分することで、移動距離情報が算出できるため、相対的な距離情報を求めることができる。また、センサは角速度センサであってもよいし、撮像センサであってもよい。撮像センサを用いる場合は、センサ情報として画像情報を取得する。これは例えば、撮影者を撮影した撮影者画像情報であり、撮影者画像情報内の撮影者の顔領域の大きさから、撮像装置と撮影者との間の距離を求めることができる。
【００３２】
しかし、これらのセンサを用いる際には、問題が生じうる。例えば、加速度センサを用いる場合には、撮像装置の移動がゆっくりである（加速度が小さい動きである）と、ノイズやドリフトの影響を受けてしまい、検出精度が落ちてしまう。角速度センサを用いる場合にも同様である。また、撮像センサにより撮影者の顔領域の大きさを検出する場合には、周囲が暗い環境であったり、逆光での撮影であったりすると、顔領域の認識をスムーズに行えず検出精度が落ちる。
【００３３】
そこで本出願人は以下の手法を提案する。まず、センサから得られたセンサ情報を適切に重み付けして距離情報を求めるために、フィルタ処理部例えばカルマンフィルタを利用する。ここでセンサ情報の重み付けとは、例えば、センサＡから得られた距離情報の８０％とセンサＢから得られた距離情報の２０％を足しあわせるような処理のことである。
【００３４】
さらに、単純にカルマンフィルタを用いるだけでなく、カルマンフィルタの入力値として、検出信頼性の高いものを優先する処理を行う。後述するように、カルマンフィルタに対しては、予測値として１つ、観測値として１つの計２つのセンサ情報を入力する。この際、入力するセンサ情報はランダムに決めるのではなく、検出信頼性が高い（つまり撮影者による操作をより正確に反映している）センサからのセンサ情報を優先して入力するようにする。さらに言えば、予測値に入力するセンサ情報よりも、観測値に入力するセンサ情報の方が、検出信頼性が高いことが望ましい。
【００３５】
このようにすることで、Ｎ（Ｎは３以上の整数）個のセンサのうち、検出信頼性の高い２つのセンサからのセンサ情報を採用するとともに、採用した２つのセンサ情報をカルマンフィルタ処理にかけるため、より精度よく、撮像装置と撮影者との間の距離を求めることが可能となる。
【００３６】
以下、カルマンフィルタの基本的事項について述べ、その後に、実施形態について述べる。第１の実施形態においては、検出信頼性を求めるにあたって、カルマンフィルタのアルゴリズムで求められる誤差共分散Ｐを利用する手法について説明する。また、第２の実施形態においては、センサ情報や周囲の環境情報等（評価パラメータ）に基づいて、他のセンサ情報に比べて検出信頼性の高いセンサ情報を決定する手法について説明する。
【００３７】
２．カルマンフィルタの基本的事項
【００３８】
次に、カルマンフィルタの基本的事項について説明する。カルマンフィルタとは、あるシステムの状態に対して、測定値にもシステムの状態変数にもノイズがのっているという条件下において、直前までのデータと、新たに取得したデータとに基づいてシステムの最適な状態を推定する手法である。カルマンフィルタのアルゴリズムを下式（１）〜（８）に示す。
【数１】
2012029138.tif 000003
【数２】
2012029138.tif 000004
【数３】
2012029138.tif 000005
【数４】
2012029138.tif 000006
【数５】
2012029138.tif 000007
【数６】
2012029138.tif 000008
【数７】
2012029138.tif 000009
【数８】
2012029138.tif 000010
【００３９】
上式(１)（２）は、時間更新アルゴリズムと呼ばれるものであり、時刻ｔにおける情報から時刻ｔ＋１の状態を推定する式である。上式（１）はシステムの状態変数の予測値ｘに関する一般的な状態方程式であり、ｕにセンサ情報が入力される。Ｆ，Ｇは物理法則等から決定される。上式（２）は時刻ｔでの情報に基づく、時刻ｔ＋１における誤差共分散Ｐを求める式であり、Ｑはユーザにより決定される。
【００４０】
また、上式（３）〜（８）は、観測更新アルゴリズムと呼ばれるものであり、上式（１）（２）で求めた情報及び時刻ｔ＋１における観測値ｚ（ｔ＋１）（ｚにはｕとは異なるセンサ情報が入力される）に基づいて、ｔ＋１時点の情報に基づくｘの推定値（式（７）の左辺）及び誤差共分散行列の推定値（式（８）の左辺）を求めるための式である。
【００４１】
上式（５）は、式（１）で求めた予測値と観測値の次元をあわせるための式であり、Ｈはそのための行列である。Ｈが決定されると、上式（３）からＳが求められ（ただし、Ｒはユーザにより決定される）、Ｓが求められると、上式（４）からカルマンゲインＷが求められる。
【００４２】
Ｓ，Ｗ及び上式（６）で求められる観測値と予測値の差に基づいて、上式（７）（８）により、推定値ｘ及び推定誤差共分散Ｐが求められる。ここで、推定誤差共分散Ｐは、推定の誤差を表すものであり、Ｐが小さいほど推定の精度が高いことになる。
【００４３】
本実施形態においては、上式（７）により得られた推定値ｘから、距離情報を求めることになる。
【００４４】
３．第１の実施形態
【００４５】
以下、第１の実施形態を図２〜図４を用いて説明する。図２は、本実施形態に係る撮像装置（例えばデジタルスチルカメラ等）の概略的構成を説明するブロック図である。
【００４６】
撮像装置１００は、光学系１１と撮像素子１３とを含む撮像部１０と、撮像素子１３からの画像信号処理を含む撮像装置１００全体の処理を制御する制御回路１５とを含む。
【００４７】
光学系１１は、ＣＣＤあるいはＣＭＯＳイメージセンサで構成される撮像素子１３の撮像面上に被写体像を形成する焦点距離可変のズームレンズである。
【００４８】
本明細書中では、撮像素子１３は内部にＣＤＳ、Ａ／Ｄ変換等の処理ブロックを有してデジタルの画像信号を出力可能なＣＭＯＳイメージセンサであるものとして説明をする。
【００４９】
光学系１１は３つのレンズ１１ａ、１１ｂ、１１ｄ、と絞り機構１１ｃを含み、レンズ１１ｂはズームレンズであり、レンズ１１ｄはフォーカスレンズである。光学系１１はレンズ鏡筒に収納されている。
【００５０】
さらに、撮像装置１００は、ズームレンズ１１ｂを駆動する光学ズーム制御部１７と、絞り機構１１ｃを駆動するＡＥ制御部１９と、フォーカスレンズ１１ｄを駆動するＡＦ制御部２１と、撮像素子１３を駆動する撮像素子駆動部２３とを含む。光学ズーム制御部１７はズームレンズ１１ｂを光軸方向に搬送するための電気機械的機構を含む。ＡＥ制御部１９は絞り機構１１ｃを光軸方向と垂直な方向に移動させるための電気機械的機構を含む。ＡＦ制御部２１は、フォーカスレンズ１１ｄを光軸方向に移動させるための電気機械的機構を含む。これらの制御部１７、１９、２１は制御回路１５からの指令に応じてそれぞれのレンズ１１ｂ、１１ｄ、絞り機構１１ｃの位置を制御する。
【００５１】
また、撮像装置１００は、ユーザが種々の操作を行う操作部２５と、画像処理のために一時的に画像データを格納するバッファメモリ２７と、撮像素子１３に撮像された画像をそのまま表示したスルー画像や撮像した静止画を表示する表示部例えば液晶表示素子（ＬＣＤ）２９とを含む。操作部２５は、シャッター等の各種操作スイッチ２５ａと、ズームレバー２５ｂと、ズームレバー２５ｂでズームを操作するか撮像装置１００を移動することでズームを操作するかを切替えるモード切替スイッチ２５ｃを含む。
【００５２】
制御回路１５は、前処理部３１と、解像度調整部３３と、画素数変換部３５と、画像圧縮部３７と、表示制御部３９と、メモリインタフェース４３と、制御部４１とを含む。制御回路１５は半導体集積回路で構成することができる。
【００５３】
前処理部３１は、撮像素子１３からのデジタル画像信号を受け、ホワイトバランス補正、ガンマ補正、キズ補正等の前処理を行う。解像度調整部３３は、前処理された後のＲＧＢ信号をＹＣ信号に変換する処理を行い、さらに、アパーチャ補正等の解像度を調整するための処理を行う。
【００５４】
画素数変換部３５は画像信号の画素数を変換するための信号処理を行う。画素数変換部３５は、画素間の補完、間引きを行うことで電子的に画像の拡大、縮小を行い、これにより電子ズーム機能を実現する。
【００５５】
画像圧縮部３７はＪＰＥＧによる画像圧縮を行う。画像圧縮の方法はＪＰＥＧに限られない。画像圧縮部３７により圧縮された画像は最終的に記録媒体４５に格納される。表示制御部３９は液晶表示素子２９上での画像表示を制御する。記録媒体４５には、ＳＤカード（登録商標）、コンパクトフラッシュ（登録商標）等のフラッシュメモリを使用した半導体記憶装置やハードディスクが含まれる。
【００５６】
前処理部３１、解像度調整部３３、画素数変換部３５、画像圧縮部３７及び表示制御部３９は、メモリインタフェース４３を介してバッファメモリ２７にアクセスし、各処理前のデータの読み出し、各処理後のデータの書き込みを適宜行う。
【００５７】
制御部４１は、前処理部３１、解像度調整部３３、画素数変換部３５、画像圧縮部３７及び表示制御部３９を制御し、画像信号処理を行う。さらに、制御部４１は、光学ズーム制御部１７、ＡＥ制御部１９、ＡＦ制御部２１を制御して光学系の動作を制御し、撮像素子駆動部２３を制御して撮像素子１３の出力信号を全素子読出しあるいは間引き読出しあるいは部分読み出し等を制御する。
【００５８】
モーションセンサ４７は、加速度センサ４７Ａと角速度センサ４７Ｂで構成されており、加速度や角速度のデータを出力して制御部４１で撮像装置１００の向き、移動方向、移動量を算出する。
【００５９】
撮像装置１００を前後に移動すると加速度センサ４７Ａによって前後の動きに対応した加速度が検出され、それを２階積分して距離に換算してズーム倍率を算出し、ズームを変更する。また、加速度の大きさおよび方向および時系列パターンによってズーム倍率を算出し、ズームを変更してもよい。
【００６０】
撮像装置１００を前後に移動すると角速度センサ４７Ｂによって前後の動きに伴う振動に対応した角速度が検出され、角速度の大きさおよび方向および時系列パターンによってズーム倍率を算出し、ズームを変更する。
【００６１】
第２撮像部４９はユーザの顔画像を撮像する撮像系で、ユーザの顔を撮像する。ユーザ画像を制御部４１に送り、制御部４１で顔検出を行う。制御部４１は距離検出部４１Ａを含む。この距離検出部４１Ａは、顔の大きさに基づいてユーザから撮像装置１００までの距離（顔距離とも言う）を換算する。
【００６２】
撮像装置１００を前後に移動すると顔の大きさが変わり、それを距離に換算してズーム倍率を算出し、ズームを変更する。
【００６３】
フィルタ処理部５０は、カルマンフィルタ部５１と、検出信頼性判定部５３とを含む。
【００６４】
カルマンフィルタ部５１は観測値とあらかじめ定義された数理モデルに基づく予測値から現在の推定値を算出し、その推定値によってズーム倍率を算出し、ズームを変更する。
【００６５】
検出信頼性判定部５３はユーザが撮影を行う際の撮影条件に応じて、加速度センサ４７Ａ、角速度センサ４７Ｂ、顔画像の３つのパラメータの中から観測値と予測値の算出に用いるパラメータおよび数理モデルを選択する。本実施形態においては、具体的には、予測をする際の中間パラメータである共分散行列Ｐを評価関数として、推定値の算出に用いるパラメータおよび数理モデルを選択する。
【００６６】
次に、第１の実施形態におけるズーム倍率算出のシーケンスについて図３を用いて説明する。
【００６７】
Ｓ１０１で電源がＯＮされると、ズーム倍率があらかじめ設定された初期値に設定される。初期値は最大広角でもいいし、ユーザがあらかじめ設定した値でも良い。
【００６８】
Ｓ１０２で加速度センサ４７Ａ、角速度センサ４７Ｂ、顔距離（撮像センサ）による撮像装置１００本体の動き検出を開始する。
【００６９】
Ｓ１０３ではカルマンフィルタに用いるパラメータの設定として、予測値パラメータにセンサＡを、観測値パラメータにセンサＢを設定する。ここで、センサＡとセンサＢの組み合わせは、図４に示すようにパターン１〜パターン４の４つがあるものとする。パターン１〜パターン４の４つのうち、どれか１つのセンサの組み合わせが決定されたら、Ｓ１０４で予測モデルにより推定値を算出する。ここで、まずパターン１（予測値に加速度センサが入力され、観測値に顔距離が入力される）が選択されたとすると、モデルは下式（９）になる。
【数９】
2012029138.tif 000011
【００７０】
上式（９）は上述した式（１）に対応するものであり、状態変数の予測値ｘ、行列Ｆ，Ｇの具体例を示している。そして、ｕ（ｔ）に加速度センサ４７Ａの出力を入力する。なお、式（９）におけるＦ，Ｇは入力するセンサ情報が加速度センサ４７Ａにおける設定のものであり、他のセンサを用いる場合にはＦ，Ｇも異なるものになる可能性がある点に注意を要する。
【００７１】
また、観測値ｚには、顔距離（撮像センサからのセンサ情報）が入力される。そして、加速度センサ４７Ａ及び顔距離からの情報に基づいて、移動距離情報の推定値及び誤差共分散Ｐが求められる。求められた推定値及び誤差共分散Ｐは、記憶部（例えば図２におけるバッファメモリ２７や記録媒体４５等）に記憶される。
【００７２】
次に、Ｓ１０５でセンサＡ，Ｂの全ての組み合わせを入力したかの判定が行われ、入力されていない場合にはＳ１０６でＡ，Ｂを更新して、Ｓ１０４で再度カルマンフィルタによる推定値の算出及び記憶が行われる。つまり、全ての組み合わせ（ここでは、図４に示したパターン１〜パターン４）について、カルマンフィルタによる推定値の算出及び記憶が行われることになる。
【００７３】
なお、パターン２（予測値に角速度センサ、観測値に顔距離）の場合のＳ１０４における処理は、下式（１０）のようになる。
【数１０】
2012029138.tif 000012
【００７４】
上式（１０）は（９）とほぼ同様であり、センサ入力ｕが角速度センサ４７Ｂのセンサ値（ωＤＩＳ）に変更されている点のみ異なる。上述したように、Ｆ，Ｇはセンサにより異なる可能性があるが、ここでは同じものを利用する。そして、パターン１と同様に観測値ｚには顔距離が入力される。
【００７５】
また、パターン３（予測値に加速度センサ、観測値に角速度センサ）の場合のＳ１０４における処理は、予測値についてはパターン１と同様である。ｕに加速度センサ４７Ａのセンサ情報ａｍｏｔｉｏｎを入力すればよい。そして、観測値ｚに角速度センサ４７Ｂのセンサ値ωＤＩＳを入力する。
【００７６】
また、パターン４（予測値に角速度センサ、観測値に加速度センサ）の場合のＳ１０４における処理は、予測値についてはパターン２と同様である。ｕに角速度センサ４７Ｂのセンサ情報ωＤＩＳを入力すればよい。そして、観測値ｚに加速度センサ４７Ａのセンサ値ａｍｏｔｉｏｎを入力する。
【００７７】
全てのセンサＡ，Ｂの組み合わせに対して推定値及び誤差共分散Ｐを求めたら、Ｓ１０７でＰが最小となる（つまり、推定の精度が最も高いと考えられる）推定値を選択し、求めるべき距離情報とする。
【００７８】
そしてＳ１０８で、パワーがＯＦＦにされたかの判定を行い、ＯＦＦにされた場合には処理を終了し、そうでない場合にはＳ１０３に戻り処理を続ける。
【００７９】
このような処理により、カルマンフィルタアルゴリズムにおける誤差共分散に応じて、カルマンフィルタ処理に用いるセンサ情報を選択することができ、撮像装置１００と撮影者との間の距離を高精度に求めることが可能になる。
【００８０】
以上の本実施形態において、撮像装置１００は、光学系で結像した被写体の像を撮像することで画像情報を出力する撮像部１０と、第１〜第Ｎ（Ｎは３以上の整数）の状態パラメータをそれぞれ検出する第１〜第Ｎの状態検出部（図２におけるモーションセンサ４７や距離検出部４１Ａ等に相当）と、状態パラメータのうち検出信頼性が高い少なくとも２つを入力値として、撮像部１０におけるズーム量を決めるための物理量を求めるフィルタ処理部５０とを含む。
【００８１】
ここで、状態パラメータとは、撮影者がズーム操作を行ったときに操作状態を表すパラメータであり、具体的には例えば、センサによるセンサ情報（加速度センサ４７Ａであれば加速度情報）等である。
【００８２】
これにより、状態検出部（具体的には例えばセンサ等）が検出した状態パラメータのうち、少なくとも２つを入力値としてフィルタ処理を行うことが可能となる。フィルタ処理とは例えば２つのセンサ情報の重み付け等に対応する。よって、状態パラメータ１つを単純に用いる場合等に比べて、高精度で必要な物理量（本実施形態においては、ズーム倍率を決定するための撮像装置１００と撮影者との間の距離）を求めることができる。
【００８３】
さらに、フィルタ処理部５０に対して入力する状態パラメータは、検出信頼性の高いものを選択することが可能となる。よって、例えばランダムに入力する状態パラメータを選択する場合等に比べて、高精度でフィルタ処理を行うことが可能となる。
【００８４】
また、フィルタ処理部５０は、カルマンフィルタにより実現され、カルマンフィルタの観測値及び予測値を、フィルタ処理の入力値としてもよい。
【００８５】
これにより、カルマンフィルタを用いたフィルタ処理が可能になる。カルマンフィルタの基本的事項については上述したとおりである。
【００８６】
また、第１〜第Ｎの状態検出部は、距離検出部４１Ａと、加速度センサ４７Ａと、角速度センサ４７Ｂとを含んでもよい。
【００８７】
これにより、具体的な状態検出部として、距離検出部４１Ａ、加速度センサ４７Ａ及び角速度センサ４７Ｂを利用して、ズーム量を決めるための物理量として、撮像装置１００と撮影者との間の距離情報を取得することが可能になる。
【００８８】
また、フィルタ処理部５０（具体的にはフィルタ処理部５０の検出信頼性判定部５３）は、カルマンフィルタのアルゴリズムにおける誤差共分散の値に基づいて、検出信頼性が他の状態パラメータに比べて高い状態パラメータを選択してもよい。
【００８９】
これにより、カルマンフィルタにおける誤差共分散Ｐを用いて検出信頼性の大小を判断することが可能になる。カルマンフィルタ処理を行う上で誤差共分散Ｐは必ず求めるものであるから、新しい処理を追加することなく、検出信頼性の大小の判断ができる。
【００９０】
４．第２の実施形態
【００９１】
次に、第２の実施形態について図５を用いて説明する。本実施形態においては、カルマンフィルタアルゴリズムでの誤差共分散Ｐを用いるのではなく、撮像装置１００の動き情報や環境情報（評価パラメータ）に基づいて、検出信頼性の高いセンサを選択する。
【００９２】
本実施形態では、状態検出部として加速度センサ４７Ａ、角速度センサ４７Ｂ及び距離検出部４１Ａを用いる例について説明するが、これら状態検出部間には基本的な検出信頼性の大小関係が存在するものとしている。つまり、絶対的な距離情報を求めることが可能な顔距離の検出信頼性が最も高く、次いで加速度センサ及び角速度センサとなっている。そして、処理の流れとしては、まず、検出信頼性の最も高い顔距離による情報を用いることが適切かどうかの判断を行う。適切ならば顔距離を優先して用いるし、適切でないなら顔距離を用いない。次に加速度センサ、もしくは、角速度センサについてセンサ情報を用いることが適切かどうかの判定を行う。適切ならば加速度センサ、角速度センサのうち適切と判断された方を優先して用い、適切でないなら他方を用いる。以下、具体的なズーム倍率算出のシーケンスについて図５を用いて説明する。
【００９３】
Ｓ２０１で電源がＯＮされると、ズーム倍率があらかじめ設定された初期値に設定される。初期値は最大広角でもいいし、ユーザがあらかじめ設定した値でも良い。
【００９４】
Ｓ２０２で加速度センサ４７Ａ、角速度センサ４７Ｂ、距離検出部４１Ａによる撮像装置１００本体の動き検出を開始する。
【００９５】
Ｓ２０３では第２撮像部４９センサ情報（画像情報）から周辺の輝度を検出し、あらかじめ設定された閾値未満であるか判定を行う。つまり、顔距離（撮像センサ）を用いることが適切か否かについて、画像情報の輝度から判断する。輝度が大きい場合は顔距離を用いることが適切であると判断し、輝度が小さい場合は、画像が暗く顔認識が難しいため、顔距離を用いることは適切ではないと判断する。
【００９６】
Ｓ２０３でＹｅｓと判定された場合（顔距離を用いないと判定された場合）はＳ２０４で、角速度センサ４７Ｂの出力の分散値があらかじめ設定された閾値未満であるか判定を行う。つまり、角速度センサ４７Ｂを用いることが適切か否かについて、角速度の分散値から判断する。角速度の分散値が所与の閾値未満である場合には、角速度の値のばらつきが少なく、角速度情報の検出信頼性が高いと判断できる。
【００９７】
Ｓ２０４でＹｅｓと判定された場合（角速度センサ４７Ｂを用いると判定された場合）はＳ２０６で、予測値に加速度センサ４７Ａ、観測値に角速度センサ４７Ｂを選択して予測モデルを設定する。これは、観測値により検出信頼性の高いセンサ情報を入力することが望ましいという、カルマンフィルタの性質による。また、Ｓ２０４でＮｏと判定された場合はＳ２０５で、予測値に角速度センサ４７Ｂ、観測値に加速度センサ４７Ａを選択して予測モデルを設定する。
【００９８】
Ｓ２０７では、設定された予測モデルから、カルマンフィルタによる推定値算出を行い、Ｓ２１２に移行する。
【００９９】
Ｓ２０３でＮｏと判定された場合（顔距離を用いると判定された場合）はＳ２０８で顔距離に基づいて移動量を求め、求めた移動量があらかじめ設定された閾値未満であるか判定を行う。これは、加速度センサ４７Ａのセンサ情報を用いることが適切か否かについての判定に相当する。つまり、移動量が小さい（加速度の値も小さいことが想定される）場合には、ノイズやドリフトの影響から加速度センサの情報には誤差が大きく含まれ、信頼性に書くことが想定される。
【０１００】
Ｓ２０８でＹｅｓと判定された場合（加速度センサ４７Ａを用いないと判定された場合）はＳ２１０で、予測値に角速度センサ４７Ｂ、観測値に顔距離（距離検出部４１Ａ）を選択して予測モデルを設定する。Ｓ２０８でＮｏと判定された場合はＳ２０９で、予測値に加速度センサ４７Ａ、観測値に顔距離（距離検出部４１Ａ）を選択して予測モデルを設定する。
【０１０１】
Ｓ２１１では、設定された予測モデルから、カルマンフィルタによる推定値算出を行い、Ｓ２１２に移行する。
【０１０２】
Ｓ２１２では、パワーがＯＦＦにされたかの判定を行い、ＯＦＦにされた場合は処理を終了し、そうでない場合にはＳ２０３に戻る。
【０１０３】
以上の本実施形態において、フィルタ処理部５０（具体的には検出信頼性判定部５３）は、状態パラメータの取得過程又は取得結果から評価パラメータを取得する。そして、評価パラメータと所与の閾値との比較に基づいて、各状態パラメータの検出信頼性を判断する。
【０１０４】
ここで、取得過程から得られる評価パラメータとは例えば、顔距離の状態パラメータを求める際に用いる画像情報における輝度情報等である。また、取得結果から得られる評価パラメータとは、顔距離の状態パラメータ（撮影者と撮像装置１００との間の距離情報）を取得することで得られた撮像装置１００の移動量情報や、角速度センサ４７Ｂが検出した角速度情報の分散値等である。
【０１０５】
これにより、状態パラメータの取得過程又は取得結果から得られた評価パラメータに基づいて、状態パラメータの検出信頼性を判断することが可能になる。評価パラメータとは、上述したように輝度情報や、移動量情報、角速度の分散値等である。輝度情報からは顔距離の検出信頼性が求められ、移動量情報からは、加速度情報の検出信頼性が求められる。また、角速度の分散値からは、角速度情報の検出信頼性を求めることができる。
【０１０６】
また、距離検出部４１Ａは、第２撮像部４９で撮像した撮影者画像から、撮影者の顔領域の大きさを検出し、撮像装置１００と撮影者との間の距離情報を検出する。そして、フィルタ処理部５０（具体的には検出信頼性判定部５３）は、撮影者画像における輝度情報により表される明るさを取得し、明るさが所与の閾値よりも大きいと判断された場合には、距離検出部４１Ａが検出した距離情報の検出信頼性が、加速度情報・角速度情報に比べて高いと判断する。
【０１０７】
これにより、撮影者画像の明るさ（輝度情報）から、距離検出部４１Ａにより検出された距離情報の検出信頼性を求めることが可能になる。具体的には図５のＳ２０３における判断に相当し、輝度が所定値より大きい場合には、距離検出部４１Ａによる距離情報を入力値（観測値）として採用する（Ｓ２０９，Ｓ２１０）。
【０１０８】
また、フィルタ処理部５０（具体的には検出信頼性判定部５３）は、距離検出部４１Ａが検出した距離情報に基づいて、撮像装置１００の移動距離を取得し、移動距離が所与の閾値よりも小さいと判断された場合には、加速度情報の検出信頼性よりも、角速度情報の検出信頼性が高いと判断する。
【０１０９】
これにより、移動距離から加速度情報の検出信頼性を求めることが可能になる。具体的には図５のＳ２０８に相当し、移動量が一定未満の場合は角速度情報を入力値とし、そうでない場合には加速度情報を入力値とする。
【０１１０】
また、フィルタ処理部５０（具体的には検出信頼性判定部５３）は、角速度センサが検出した角速度情報の分散値を取得し、分散値が所与の閾値よりも小さいと判断された場合には、加速度情報の検出信頼性よりも、角速度情報の検出信頼性が高いと判断する。
【０１１１】
これにより、角速度情報の分散値から、角速度情報の検出信頼性を求めることが可能になる。具体的には図５のＳ２０４に相当し、分散値が一定値未満の場合は角速度情報を入力値とし、そうでない場合には加速度情報を入力値とする。
【０１１２】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また光学式検出装置、表示装置、電子機器の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１１３】
１０  撮像部、１１  光学系、１１ａ  レンズ、１１ｂ  ズームレンズ、
１１ｃ  絞り機構、１１ｄ  フォーカスレンズ、１３  撮像素子、１５  制御回路、
１７  光学ズーム制御部、１９  ＡＥ制御部、２１  ＡＦ制御部、
２３  撮像素子駆動部、２５  操作部、２５ａ  各種操作スイッチ、
２５ｂ  ズームレバー、２５ｃ  モード切替スイッチ、２７  バッファメモリ、
２９  液晶表示素子、３１  前処理部、３３  解像度調整部、３５  画素数変換部、
３７  画像圧縮部、３９  表示制御部、４１  制御部、４１Ａ  距離検出部、
４３  メモリインタフェース、４５  記録媒体、４７  モーションセンサ、
４７Ａ  加速度センサ、４７Ｂ  角速度センサ、４９  撮像部、５０  フィルタ処理部、
５１  カルマンフィルタ部、５３  検出信頼性判定部、１００  撮像装置
【図２】
2012029138.tif 000013
【図３】
2012029138.tif 000014
【図４】
2012029138.tif 000015
【図５】
2012029138.tif 000016
【図１】
2012029138.tif 000017