(57)【要約】【課題】  被写体の探索時間を短縮した探索装置を提供するものである。【解決手段】  そこで、本発明では、エリア毎に算出された被写体の重要度レベルに基づいて、撮影画像の画角の中心位置を変更する変更手段を用いて被写体を探索する撮影画像の画角の中心位置を変更する探索装置とした。【選択図】  図２
2018050146.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を原点においた空間座標における角度領域毎のエリアを分割する分割手段と、前記分割されたエリア毎に前記被写体の重要度レベルを算出する算出手段と、を有する探索装置であって、
前記エリア毎に算出された被写体の重要度レベルに基づいて、撮影画像の画角の中心位置を変更する変更手段を用いて前記被写体を探索する前記撮影画像の画角の中心位置を変更することを特徴とする探索装置。
【請求項２】
前記探索装置は、前記複数のエリアの中で、最も被写体の重要度レベルが大きいエリアへ前記画角の中心位置を変更する請求項１に記載の探索装置。
【請求項３】
前記探索装置は、前記複数のエリアの中で、前記最も被写体の重要度レベルが大きいエリア及び前記最も被写体の重要度レベルが大きいエリアに接するエリアの被写体の重要度レベルに基いて重心位置を算出し、前記重心位置へ前記画角の中心位置を変更する請求項２に記載の探索装置。
【請求項４】
前記探索装置は、前記複数のエリアの全ての被写体の重要度レベルが所定閾値よりも小さい場合、前記変更手段による撮影画像の前記画角の中心位置の変更を行わないことを特徴とする請求項１乃至３の何れか一項に記載の探索装置。
【請求項５】
前記算出手段は、被写体の情報を用いて前記分割されたエリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至４の何れか一項に記載の探索装置。
【請求項６】
前記算出手段は、顔の信頼度、顔の表情の検出情報、個人認証の登録情報、の少なくとも１つ以上の被写体の情報を用いて前記エリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至５の何れか一項に記載の探索装置。
【請求項７】
前記算出手段は、前記被写体の情報として予め登録された物体認識を用いて前記エリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至６の何れか一項に記載の探索装置。
【請求項８】
前記算出手段は、前記被写体の色情報や前記被写体の輝度情報を用いてシーンを検出するシーン検出手段の検出結果を用いて前記エリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至７の何れか一項に記載の探索装置。
【請求項９】
前記算出手段は、前記被写体の動きベクトルを検出できる動き検出手段にて検出された動きベクトルを用いて前記エリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至８の何れか一項に記載の探索装置。
【請求項１０】
前記算出手段は、音声方向及び音声レベル及び音声認識の少なくとも１つ以上の被写体の情報を用いて前記エリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至９の何れか一項に記載の探索装置。
【請求項１１】
前記算出手段は、過去の撮影枚数、予め設定された個人認証の登録被写体の過去の撮影枚数、予め設定された物体認識情報の過去の撮影枚数、予め設定されたシーンの過去の撮影枚数の少なくとも１つ以上の過去の撮影枚数の情報を用いて前記エリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至１０の何れか一項に記載の探索装置。
【請求項１２】
前記算出手段は、前記エリアが最後に探索されたときからの経過時間を用いて前記エリア毎に前記被写体の重要度レベルを算出することを特徴とする請求項１乃至１１の何れか一項に記載の探索装置。
【請求項１３】
前記算出手段は、撮像装置の振動状態を検出する振動検出手段にて検出された前記振動状態を用いて前記エリア毎に設定された前記被写体の重要度レベルの重みを変更することを特徴とする請求項１乃至１２の何れか一項に記載の探索装置。
【請求項１４】
前記変更手段は、撮像装置の光軸と垂直な軸を回転軸として前記撮像装置の光軸をメカ的に回転させて、前記撮影画像の前記画角の中心位置を変更することを特徴とする請求項１乃至１３の何れか一項に記載の探索装置。
【請求項１５】
前記探索装置は、撮像光学系のズームレンズを駆動して光学的な変倍を行うズーム手段を有し、
前記変更手段は、前記ズームレンズの位置に応じた撮影画角によって、前記分割手段にて分割されたエリアの大きさを変更することを特徴とする請求項１乃至１４の何れか一項に記載の探索装置。
【請求項１６】
前記変更手段は、撮影画像の特定部分を切り出して、前記撮影画像の画角の中心位置を変更することを特徴とする請求項１乃至１５の何れか一項に記載の探索装置。
【請求項１７】
前記探索装置は、全方位の撮影可能な撮像光学系を有し、前記変更手段は、全方位画像から撮影画像の特定部分を切り出すことを特徴とする請求項１乃至１６の何れか一項に記載の探索装置。
【請求項１８】
前記探索装置は、撮像装置の振動を検出する振動検出手段の振れ量から前記撮像装置の絶対角度を算出する絶対角度算出手段を備え、
前記分割手段は、前記絶対角度を用いて、絶対空間座標における角度領域毎のエリアを分割する請求項１乃至１７の何れか一項に記載の探索装置。
【請求項１９】
前記探索装置は、前記絶対角度の信頼性を判定する判定手段を備え、
前記判定手段にて前記絶対角度の信頼性が所定値よりも低いと判定された場合、前記分割手段の分割結果を初期化し、前記角度領域毎のエリアを再計算することを特徴とする請求項１８に記載の探索装置。
【請求項２０】
請求項１乃至１９の何れか一項に記載の探索装置と、撮像素子と、を有する撮像装置。
【請求項２１】
撮像装置を原点においた空間座標における角度領域毎のエリアを分割する分割工程と、前記分割されたエリア毎に前記被写体の重要度レベルを算出する算出工程と、を有する探索方法であって、
前記エリア毎に算出された被写体の重要度レベルに基づいて、撮影画像の画角の中心位置を変更する変更手段を用いて前記被写体を探索する前記撮影画像の画角の中心位置を変更することを特徴とする探索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ、等の撮像装置の撮影画像の画角位置を探索する探索装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、露出決定やピント合わせやといった、撮影上の重要な作業が全自動化されている。
【０００３】
また、被写体探索などのためにカメラのパン方向やチルト方向に回転駆動する制御装置も提案されている。
【０００４】
そして、被写体に含まれる人物の顔や人体を検出する顔検出機能や人体検出機能で人物を検出し、検出した人物の情報に応じて、合焦制御や露出制御やパン・チルト回転による被写体追尾を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
特許文献１は、自動追尾装置として、カメラをモーター駆動によりパン・チルトさせることで撮影方向を自動で変更し、移動する被写体を自動追尾する装置である。
【０００６】
また、画像認識についは、ニューラルネットワークの中でも、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ（以下ＣＮＮと略記する）とよばれる演算方法は認識対象の変動に対して頑健なパターン認識を可能にする方法として知られている。このような顔認識や物体認識に対してＣＮＮを適用した例として、特許文献２のような技術が提案されている。
【特許文献１】特開２００１−２６８４２５号公報
【特許文献２】特開２００４−１２８９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、被写体の位置に応じて、カメラをパン・チルトすることで被写体を追尾する撮像システムにおいて、以下の問題がある。
【０００８】
＜電力への影響＞
パン・チルトを回転駆動する場合、モーター駆動のための電力を消費してしまう問題がある。
【０００９】
監視システムのような常に電力供給できる場合は良いが、電池駆動で使用するようなトータル電力容量が限られている場合においては、常にパン・チルトを駆動させ続けながら長時間システムを動かすことは困難である。
【００１０】
＜自動撮影における被写体の探索時間の問題＞
パン・チルト駆動で被写体を探索しながら、自動撮影を行うカメラの場合、常に同じ被写体を追尾してしまうと、同じ被写体しか撮影することができない。
【００１１】
自動撮影を行う場合においては、いろいろな異なる被写体を探し、被写体を変更しながら自動撮影を行う。ここで、常にカメラを大きくパン・チルトし続けながら被写体探索を行うと、被写体を探索するまでの時間が大きくかかってしまう。
【００１２】
（発明の目的）
本発明の目的は、被写体の探索時間短縮と駆動のための電力を低減する被写体の探索装置を提供するものである。
【課題を解決するための手段】
【００１３】
上記課題を解決するために本発明に係わる探索装置は、撮像装置を原点においた空間座標における角度領域毎のエリアを分割する分割手段と、前記分割されたエリア毎に前記被写体の重要度レベルを算出する算出手段と、を有する探索装置であって、
前記エリア毎に算出された被写体の重要度レベルに基づいて、撮影画像の画角の中心位置を変更する変更手段を用いて前記被写体を探索する前記撮影画像の画角の中心位置を変更することを特徴とするとするものである。
【発明の効果】
【００１４】
本発明の被写体探索装置によれば、特徴的な被写体がいない場合や、すでに撮影された被写体に対して、被写体探索動作による駆動を行う必要が少なくなるので、すばやい被写体探索や省電力効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る撮像装置を模式的に示す図である。
【図２】本実施形態に係る撮像装置の構成を示す図である。
【図３】実施例１における制御を説明するフローチャートである。
【図４】実施例１における絶対角度算出及び像振れ補正量算出部の機能ブロック図である。
【図５】実施例１における撮像装置の方向を説明する図である。
【図６】実施例１の撮像装置の空間座標おける角度領域毎のエリア分割を説明するための図である。
【図７】実施例１における撮影画像内のエリア分割を説明するための図である。
【図８】実施例１における撮影画像内のエリア分割を説明するための図である。
【図９】実施例１における撮影画像内のエリア毎の人物検出を説明するための図である。
【図１０】実施例１における撮影画像内のエリア毎の物体検出を説明するための図である
【図１１】実施例１における撮影画像内のエリア毎のシーン検出を説明するための図である
【図１２】実施例１における音声検出を説明するためのフローチャートである。
【図１３】実施例１における撮影画像内の動き検出を説明するための図である。
【図１４】実施例１におけるエリア毎の撮影枚数管理を説明するための図である。
【図１５】実施例１における個人認証登録の被写体毎の撮影枚数管理を説明するための図である。
【図１６】実施例１における物体認識登録の被写体毎の撮影枚数管理を説明するための図である。
【図１７】実施例１におけるシーン毎の撮影枚数管理を説明するための図である。
【図１８】実施例１における探索経過時間による演算を説明するためのフローチャートである。
【図１９】実施例１におけるシーン毎の探索目標角度の演算を説明するための図である。
【図２０】実施例２の撮像装置の空間座標おける角度領域毎のエリア分割を説明するための図である。
【図２１】実施例３における撮像装置の撮影画像を説明する図である。
【図２２】実施例３の撮像装置の空間座標おける角度領域毎のエリア分割を説明するための図である。
【発明を実施するための形態】
【００１６】
本発明を実施するための最良の形態は、以下の実施例１乃至３に示す通りである。
【００１７】
［実施例１］
（カメラ操作の説明）
図１は、実施例１の撮像装置としてのカメラを模式的に示す図である。
図１（ａ）に示すカメラ１０１は、電源スイッチのカメラ操作を行うことができる操作部材などが設けられている。
【００１８】
撮像を行う撮像光学系としての撮影レンズ群や撮像素子を含む鏡筒１０２は、カメラ１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる機構を設けている。
【００１９】
１０４は鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構（チルト回転ユニット）を持ち、１０５は鏡筒１０２をヨー方向に回転できるモーター駆動機構（パン回転ユニット）を持つ。
【００２０】
図１（ｂ）は、固定部１０３位置での軸定義である。角速度計１０６と加速度計１０７はともに、カメラ１０１の固定部１０３に実装される。
【００２１】
（撮像装置のブロック図の説明）
図２は本発明の実施例に係る自動被写体探索機能を有する撮像装置の構成を示すブロック図である。
図２において、２０１はズームユニットであり、光学的に変倍を行うズームレンズを含む。２０２はズーム駆動制御部であり、ズームユニット２０１を駆動制御する。
【００２２】
２０３はフォーカスユニットであり、ピント調整を行うレンズを含む。２０４はフォーカス駆動制御部であり、フォーカスユニット２０３を駆動制御する。
【００２３】
撮像部２０５では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０６に出力する。
【００２４】
画像処理部２０６はＡ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。
【００２５】
画像処理部２０６から出力されたデジタル画像データは、ＪＰＥＧ形式等の記録用フォーマットに変換し、画像記録部２０７で不揮発性メモリなどの記録媒体に記録する。
【００２６】
２１２は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動するための鏡筒回転駆動部であり、鏡筒１０２をチルト方向とパン方向にメカ的に駆動させる。
【００２７】
２０８は、装置揺れ検出部であり、例えば、撮像装置の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６である。
【００２８】
また、撮像装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載され、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。
【００２９】
２０９は、装置移動検出部であり、ＧＰＳ（Ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）の位置情報や加速度センサなど移動検出手段を用いて装置の移動が検出される。
【００３０】
ＧＰＳは装置本体１０１設けられていてもよいし、外部ＧＰＳ検出装置で検出した位置情報を装置１０１に通信して情報通知してもよい。
【００３１】
装置揺れ検出部２０８でも装置のシフト量を検出しているが、加速度センサの特性上大きな移動を検出することは難しいので、小さな範囲での移動は装置揺れ検出部２０８で検出し、大きな移動の検出は装置移動検出部２０９で行う。
【００３２】
２１０は音声入力部であり装置にもうけられたマイクから音声信号を取得する。
【００３３】
２１１はシステムを操作するための操作部であり、電源ボタンやカメラの設定を変更できるボタンがもうけられており、電源ボタンが操作されると、システム全体に用途に応じて電源が供給され、カメラが起動される。
【００３４】
２１２はシステム全体を制御する制御部である。
【００３５】
（撮像装置の動作のフローチャートの説明）
図３は、本実施系における撮像装置の動作の例を説明するフローチャートである。
【００３６】
図３に示す自動被写体探索機能を有した撮像装置は、カメラ１０１の主電源オンでスタートされ、自動被写体探索や自動撮影が実行される。
【００３７】
操作部２１１にて電源ボタンが操作されると、まずステップＳ３０１において、制御部２１２が、各種初期設定（撮像／自動探索など）を行う。
自動探索の初期化では、後に説明する被写体の重要度レベルの初期化などの処理が行われる。
【００３８】
初期設定が終了し、撮像素子からの画像情報を取得可能になると、ステップＳ３０２に進む。ステップＳ３０２では、撮像部２０５で取り込まれた信号を画像処理部２０６で被写体検出用に画像処理された画像が生成される。
【００３９】
生成された画像によって人物や物体検出などの被写体検出が行わる。
【００４０】
人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。
【００４１】
また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。
物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。
【００４２】
また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。
撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。
例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。
【００４３】
認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。
【００４４】
以上の方法で、撮像情報から各被写体情報を得ることができる。
【００４５】
ステップＳ３０２で被写体検出情報などの撮像情報が取り込まれるとステップＳ３０３に進む。
【００４６】
ステップＳ３０３では装置揺れ検出部２０８内の角速度情報が取得され、ステップＳ３０４に進む。
【００４７】
ステップＳ３０４では、装置揺れ検出部２０８内の加速度情報が取得され、ステップＳ３０５に進む。ステップＳ３０５では、検出された加速度情報と角速度情報からカメラ絶対角度の算出が行われ、ステップＳ３０６に進む。
【００４８】
ステップＳ３０６では、カメラ１０１が手持ち状態や人の体にウェアラブル装着された状態において生じる画像ブレを抑えるための像振れ補正量が算出される。
【００４９】
ステップＳ３０５のカメラ絶対角度の算出、ステップＳ３０６の像振れ補正量の算出の方法は、図４と図５に示すブロック図を基に説明する。
【００５０】
図１（ａ）に示すように、角速度計１０６と加速度計１０７はともに、カメラ１０１の固定部１０３に実装される。
【００５１】
よって、角速度や加速度は固定部１０３位置の情報が出力されるので、その情報を基に算出するカメラ絶対角度も１０３位置での絶対角度が算出されることになる。
【００５２】
また、鏡筒１０２の回転ブレ（撮像素子のブレ）を補正するには、固定部１０３位置での角速度情報を基に、補正角度用を演算することで像振れ補正量を算出する。
【００５３】
そして、像振れ補正量に基づき、チルト回転ユニット１０４、パン回転ユニット１０５を駆動することにより、鏡筒１０２を回転させることで振れ補正が可能である。
【００５４】
（カメラ絶対角度算出と像振れ補正量算出のブロック図の説明）
図４にカメラ絶対角度算出と像振れ補正量算出のブロック図を示す。
【００５５】
カメラ絶対角度の算出方法について、説明する。
角速度計１０６の出力（ピッチ、ヨー、ロール）と、加速度計１０７の出力（Ｘ軸、Ｙ軸、Ｚ軸）がピッチ絶対角度算出部４０１、ヨー絶対角度算出部４０２、ロール絶対角度算出部４０３にそれぞれ入力される。
そして、ピッチ方向、ヨー方向、ロール方向それぞれの絶対角度がそれぞれ算出することで、角速度計１０６と加速度計１０７位置の絶対角度、即ちカメラ固定部１０３の絶対角度を算出する。
【００５６】
まず、加速度計１０７の各軸の出力の関係から、ロール方向、ピッチ方向、ヨー方向のカメラ絶対角度を算出することができ、加速度演算ピッチ絶対角度と加速度演算ヨー絶対角度とロール演算絶対角度をそれぞれ算出される。
【００５７】
しかし、装置が静止している状態で外部からの加速度の影響を受けない場合、即ち加速度計が検出する加速度は重力加速度が支配的である場合でしか精度よく傾き角度を算出できない。
【００５８】
例えば、撮影者が手持ちで歩行しながらの撮影や、体の一部にカメラを固定装着しての撮影や、車やバイクなどの乗り物にカメラを取り付けての撮影などを考える。
【００５９】
その場合、重力加速度以外の加速度の影響（ここでは振動加速度と呼ぶ）が大きくなり、正確な絶対角度演算を行うことは困難である。
【００６０】
また、角速度計１０６のみでカメラ角度を推定する場合においても、角速度出力の積分演算により姿勢角度を推定可能であるが、積分による誤差も蓄積されてしまい、これもまた正確な絶対角度演算を行うことは困難である。
【００６１】
そこで、角速度計１０６と加速度計１０７のそれぞれに苦手とするノイズ領域を除去し、センサフュージョンにより信号合成して絶対角度演算を行う。
センサフュージョンは、カルマンフィルタや相補フィルタなどを用いて演算され、角速度計１０６の積分誤差に最も影響する低周波ノイズを除去し、加速度計１０７の外乱による演算誤差に最も影響する高周波ノイズを除去する。
【００６２】
そして、信号を合成することで、ノイズを除去した正確な絶対角度演算が可能になる。
【００６３】
よって、角速度計１０６からのジャイロピッチ角速度と加速度演算ピッチ絶対角度とのセンサフュージョンによるピッチ絶対角度算出４０１が行われ、ピッチ絶対角度が演算される。
【００６４】
また、角速度計１０６からのジャイロヨー角速度と加速度演算ヨー絶対角度とのセンサフュージョンによるヨー絶対角度算出４０２が行われる。
【００６５】
そして、ヨー絶対角度が演算され、角速度計１０６からのジャイロロール角速度と加速度演算ロール絶対角度とのセンサフュージョンによるロール絶対角度算出４０３が行われ、ロール絶対角度が演算される。
【００６６】
また、加速度計１０７からのカメラ絶対角度が算出不可能な軸（例えば、図５（ｂ）のＹ方向が重力方向と完全一致している場合の、Ｙ軸周りの回転時軸であるヨー回転軸）では、角速度計１０６のみで絶対角度演算が行われる。
【００６７】
カメラ角度変化により、絶対角度が算出可能だと判定されていた最後の絶対角度をスタートにして、絶対角度が算出不可能な期間は、角速度積分による絶対角度演算がされることになる。
【００６８】
以上の方法により、カメラ絶対角度が算出可能である。
【００６９】
（像振れ補正量算出方法の説明）
次に、像振れ補正量算出方法について説明する。
【００７０】
先に説明したカメラ絶対角度の算出方法によって、カメラ絶対角度が算出可能であるので、その信号に基づいて、チルト回転ユニット１０４、パン回転ユニット１０５を回転駆動すれば、振れ補正が可能である。
【００７１】
しかし、カメラ絶対角度に基づいて防振制御した場合、同じ姿勢を維持し続ける制御を行うことになるので、撮影者が移動しながら撮影する場合に構図が変更されない影響や、夫々のユニットの可動端を超えての防振制御が不可能になる問題が生じる。
【００７２】
よって、低周波成分の振れ補正は行わないで、高周波成分のみを防振制御した方がよい。
【００７３】
像振れ補正量算出においては、低周波成分の振れ補正制御は行わないので、角速度計１０６のみを用いて補正量を算出する。
【００７４】
角速度計１０６出力をＨＰＦ（ハイパスフィルタ或いは高域透過フィルタ）でＤＣ成分をカットされた後に積分され、角度信号に変換することで、防振角度を算出する。
【００７５】
角速度計１０６は、カメラ固定部１０３に実装されており、パン回転ユニット１０５の回転軸に対する角速度計１０６のヨー方向の回転軸は一致している。
【００７６】
よって、パン防振角度算出部４０５では、角速度計１０６出力のヨー角速度をＨＰＦと積分で角度変換することで、パン方向（ヨー方向）の防振角度を算出し、パン回転ユニット１０５をメカ的に回転駆動することで、パン方向の振れ補正を行う。
【００７７】
チルト方向については、角速度計１０６がカメラ固定部１０３に実装されているので、パン回転ユニット１０５の回転角度によって、チルト方向の振れ補正を行うための制御が変化する。
【００７８】
角速度計１０６の位置、即ちカメラ固定部１０３の位置で、図４（ｂ）のように定義される軸方向の角速度を検出できるとする。
【００７９】
パン回転が正位置（図６（ａ）、Ｘ軸が光軸に対して常に垂直方向に位置するとき）の場合は、ピッチ防振角度算出部４０６で算出したピッチ防振角度をそのままチルト防振角度として算出する。
【００８０】
パン回転角度が正位置から９０度回転（図６（ｂ）、Ｚ軸が光軸に対して常に垂直方向に位置するとき）の場合は、ロール防振角度算出部４０７で算出したロール防振角度をそのままチルト防振角度として算出する。
【００８１】
その間は、パン回転角度に基づいて、ピッチ防振角度とロール防振角度とから、パン角度回転位置でのチルト防振角度を算出するので、パン角度回転位置に応じたチルト防振角度は式（１）で算出できる。
【００８２】
θｔｌ＝θｐｉ×ｃｏｓθａｐ＋θｒｉ×ｓｉｎθａｐ・・・（１）
（θｔｌ：チルト防振角度、θｐｉ：ピッチ防振角度、θｒｉ：ロール防振角度、θａｐ：パン回転角度）
以上のように、チルト防振角度算出部４０４で、パン回転位置に応じて、チルト防振角度が算出される。
【００８３】
式（１）はピッチ角度とロール角度を変換し、チルト防振角度を算出した。
【００８４】
但し、角速度計１０６からのピッチ角速度とロール角速度と、パン回転角度から、チルト角速度を算出し、チルト角速度をＨＰＦと積分処理で角度変換する方法でも、チルト防振角度を算出可能である。
【００８５】
以上の方法で、パン防振角度とチルト防振角度をそれぞれ算出可能であり、それぞれの防振角度（像振れ補正量）に応じて、チルト回転ユニット１０４、パン回転ユニット１０５を回転駆動すれば、振れ補正が可能である。
【００８６】
また、上記求めたカメラ絶対角度と、チルト回転ユニット１０４、パン回転ユニット１０５の回転位置から鏡筒１０２の絶対角度も算出することができる。
【００８７】
具体的には、ヨー絶対角度算出部４０２出力のヨー絶対角度から、パン回転ユニット１０５の回転角度を減算することで、ヨー方向の光軸基準カメラ角度（鏡筒１０２ヨー絶対角度）を算出できる。
【００８８】
また、パン回転ユニット１０５の回転位置とチルト回転ユニット１０４の回転位置とから、固定部１０３位置に変換したピッチ方向の鏡筒回転角度とロール方向の鏡筒回転角度が算出可能である。
【００８９】
よって、ピッチ絶対角度算出部４０１出力のピッチ絶対角度からピッチ方向の鏡筒回転角度を減算することで、ピッチ方向の光軸基準カメラ角度（鏡筒１０２ピッチ絶対角度）を算出できる、
そして、ロール絶対角度算出部４０３出力のロール絶対角度から、ロール方向の鏡筒回転角度を減算することで、ロール方向の光軸基準カメラ角度（鏡筒１０２ロール絶対角度）を算出できる。
【００９０】
以上のように、光軸基準のカメラ角度が求めることができれば、例えば、カメラ起動時の角度を基準として、現在の鏡筒（カメラ光軸）がどの角度方向を向いているかを判定可能である。
【００９１】
以上の方法で、カメラ絶対角度と像振れ補正量が算出されると、ステップＳ３０７に進みカメラ移動検出が行われる。
【００９２】
装置移動検出部２０９内のＧＰＳ位置情報や加速度情報によりカメラ１０１が大きく移動したかどうかを検出する。
【００９３】
もしくはＧＰＳ位置情報を取得できる外部デバイスを有し、カメラ１０１と外部デバイスとが相互通信可能な構成で、ＧＰＳ位置情報の変化があった場合に外部デバイスからカメラ１０１へ移動情報を通知することで移動したかどうかを検出してもよい。
【００９４】
ステップＳ３０８ではカメラ状態判定を行う。
【００９５】
角速度情報や加速度情報やＧＰＳ位置情報などで検出したカメラ角度やカメラ移動量などにより、現在カメラがどのような振動／動き状態なのかを判定する。
【００９６】
例えば、車にカメラ１０１を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。
【００９７】
そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。
【００９８】
また、カメラ角度の変化が大きいか否かを判定し、カメラ１０１が揺れ角度がほとんどない「置き撮り状態」であるのかを判定する。
「置き撮り状態」である場合は、カメラ１０１自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。
【００９９】
また、比較的カメラ角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。
【０１００】
各状態での被写体探索方法については、後程説明する。
【０１０１】
ステップＳ３０９では、ステップＳ３０５で検出されたカメラ角度が正確に算出されているか否かを判定し、カメラ絶対角度検出が難しい状態の場合に検出不可と判定する。
【０１０２】
そして、ステップＳ３１０に進み、ステップＳ３１０で自動探索処理の初期化が行われ、後に説明する被写体の重要度レベルの初期化などの処理が行われる。
【０１０３】
カメラ絶対角度が検出な状態可能であれば、ステップＳ３１１に進む。
【０１０４】
カメラ絶対角度が検出不可能な状態とは、カメラ衝撃が非常に大きく、加速度計出力からのカメラ角度算出に不具合が生じてしまう場合である。
【０１０５】
また、カメラ角速度が非常に大きく、角速度計が検出できる範囲をオーバーしてしまう場合などで、上記のような状態が検出されると、カメラ絶対角度の検出が不可能であると判定されることになる。
【０１０６】
ステップＳ３１１では、ステップＳ３０１での初期設定時や、ステップＳ３１０での自動被写体探索の初期化時におけるカメラ１０１の絶対角度を基準としたエリア分割が行われる。
【０１０７】
そして、現在、カメラ１０１が取得している画像をエリア分割に基づいて、ブロック分割される。
【０１０８】
（エリア分割方法の説明）
図６を用いて、エリア分割を説明する。
図６（ａ）のようにカメラ（原点Ｏがカメラ位置とする。）位置を中心として、全周囲でエリア分割を行う。
図６（ａ）の例においては、チルト方向、パン方向それぞれ２２．５度で分割している。
図６（ａ）のように分割すると、カメラチルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。
よって、図６（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。
図６（ｃ）、（ｄ）に撮影画角内でのエリア分割された例を示す。
【０１０９】
軸６０１は初期化時のカメラ１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。
【０１１０】
６０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図６（ｄ）に示す。画角に写し出されている画像内ではエリア分割に基づいて、図６（ｄ）の６０３〜６１８のように画像分割される。
【０１１１】
（撮影画角内におけるエリア分割の説明）
図７（ａ）、（ｂ）、（ｃ）にカメラのパン方向が、が初期化時の方向６０１を向いているときの、撮影画角内におけるエリア分割を示す。
【０１１２】
自動被写体探索の初期化時におけるカメラ１０１の絶対角度を基準としたエリア領域であり、チルト角度が０度の場合の、カメラ撮影画角を７０１に、画角中心を７０２に示し、そのときの撮影画像を図７（ｂ）に示す。
【０１１３】
チルト角度が５５度の場合の、カメラ撮影画角を７０３に、画角中心を７０４に示し、そのときの撮影画像を図７（ｃ）に示す。
【０１１４】
チルト角度が０度の場合は、横（水平）方向の角度範囲がそれほど大きく変わらないので、エリアの大きさの差も小さいが、チルト角度が５５度の場合は、横方向の角度範囲が角度によって大きく変わってしまう。
【０１１５】
そこで、チルト角度が４５度以上の場合は、水平方向のエリア範囲を２２．５度よりも大きくとることで、チルト角度が大きくなるにつれてエリア範囲が小さくなりすぎることを防いでいる。
【０１１６】
図８（ａ）、（ｂ）は、カメラ初期位置からパン方向に１１．２５度回転させたときのエリア領域であり、チルト角度が０度の場合の、カメラ撮影画角を８０１に、画角中心を８０２に示し、そのときの撮影画像を図８（ｂ）に示す。
【０１１７】
図８（ａ）に示すように、水平方向は、１１．２５度を中心として、エリア領域が設定される。
【０１１８】
上記の撮影画角内でのエリア分割領域は以下の式（２）、（３）で求められ、画角内で存在する分割領域をすべて算出し、図７（ｂ）（ｃ）や図８（ｂ）のように、画像内でエリア分割される。
θａｙ＝θｙ＋θｙ’・・・（２）
θａｘ＝θｘ’×ｃｏｓθａｙ・・・（３）
θｘ：パン角度（カメラ初期位置を基準）
θｙ：チルト角度（カメラ初期位置を基準）
θｘ’：パン角度位置（画像水平中心）からエリア分割角度までの角度
θｙ’：チルト角度位置（画像垂直中心）からエリア分割角度までの角度
θａｘ：画像内での水平中心から水平方向エリア分割角度までの水平方向角度の長さ
θａｙ：画像内での垂直中心から垂直方向エリア分割角度までの垂直方向角度の長さ
カメラ初期位置を０度基準とする。
【０１１９】
エリア分割角度は２２．５度毎に設定されるが、垂直方向４５度〜６７．５度の範囲は、水平方向エリア分割は４５度に設定される。垂直方向６７．５度〜９０度の範囲は水平方向の分割は行わず１つのエリアとして設定される。
【０１２０】
このように、ステップＳ３１１で、エリア分割が行われると、ステップＳ３１２に進み、被写体の重要度レベルの算出が行われる。
【０１２１】
以下、図６（ｄ）のような取得画像内の被写体情報等に基づいて、エリア別に被写体の重要度レベルが算出される。
【０１２２】
図６（ｄ）の６０３、６０４、６０５、６０６、６０７、６１０、６１１、６１４、６１５、６１６、６１７、６１８のように、画角に対して写っている領域が小さいのときは、被写体重要度の判定や更新は行われない。
【０１２３】
例えば、エリアの大きさ１００％としたときに画像内でエリアが写っている領域が５０％以下のときは、被写体重要度の判定や更新は行われない。
【０１２４】
上記設定したエリア毎に被写体の重要度レベルがさまざまな条件で設定される。被写体の重要度レベルは、例えば以下の項目から算出される。
【０１２５】
本実施例では、エリア毎に算出された被写体の重要度レベルに基づいて、撮影画像の画角の中心位置を変更する変更手段を用いて被写体を探索する撮影画像の画角の中心位置を変更している。
【０１２６】
＜人物情報に応じた重要度レベル設定＞
画角内の各エリア位置での人物情報に応じた重要度レベル設定を行う。
【０１２７】
顔検出の公知の技術には、例えば、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。
【０１２８】
また、検出精度向上のために複数の顔検出方法を組み合わせて顔検出を行うのが一般的である。
【０１２９】
顔検出からは、顔の大きさや顔向き、また顔としての確からしさを示す信頼度などが算出される。
【０１３０】
また、顔の各器官検出情報から顔の表情を検出する技術も知られており、目の開き度合を検出したり、笑顔度を検出したりすることができる。
【０１３１】
具体的には、顔を構成する器官（目、鼻、及び口など）の輪郭、並びに目頭、目尻、小鼻、口角及び唇の位置等から表情検出に必要な特徴量を取得する。
【０１３２】
特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる方法や、顔構成部品の多数のサンプル画像を用いた学習アルゴリズムによる方法などがある。
【０１３３】
検出した特徴量に基づいて、笑顔度や目つむり、ウインクや表情推定（喜び／驚き／怒り／悲しみ／真顔）などを検出可能である。
【０１３４】
また、予め個別の顔データを登録しておき、検出した顔から特定の個人であるかを更に検出する個人顔認証も行うことができる。
【０１３５】
予めデータベースに登録されている対象との状態が一致するか否か、またはその一致度を判定する。
【０１３６】
検出された被写体の画像データから、その被写体領域と被認証対象として識別するための特徴情報を抽出する。そして抽出した特徴情報と予めデータベースに登録されている被写体の画像の登録情報である特徴情報とを比較する。
【０１３７】
この比較による類似度を示す認証評価値に基づき、被認証対象がどの登録対象であるか、または該当する登録対象がいないかの認証を行う。
【０１３８】
例えば、認証評価値に対して所定の閾値を設け、所定の閾値以上の場合に、被認証対象がデータベースに登録されている該当対象であると判定することができる。
【０１３９】
Ｋｒは、顔信頼性によってレベル付された（例えば、信頼性小→大でＫｒが大きくなるような）値であり、顔の大きさや顔向き、顔の確からしさなどよって信頼性が判定される。
【０１４０】
Ｋａは、個人顔認証情報によってレベル付された値であり、登録された個人顔毎の重要度（予め重要度を登録などしておく）や、後程説明する過去撮影情報に基づいて、顔毎に設定されている。
【０１４１】
Ｋｓは、顔表情によってレベル付けされた値であり、予め設定された表情に応じたレベル付（例えば、笑顔／喜び／驚きなどは高いレベルに設定され、怒り／悲しみ／真顔／目つむりなどは低いレベルに設定されている）に基づいて、顔毎にレベル付けされる。
【０１４２】
ここで、各表情で表情の度合い、例えば笑顔であれば笑顔度合いに応じてレベルを可変させるような構成にしてもよい。
【０１４３】
以上、求めたＫｒ、Ｋａ、Ｋｓより、人物表情に応じたレベルＦｌｖｌは、式（４）で求められる。
【０１４４】
Ｆｌｖｌ＝Ｋｒ×Ｋａ×Ｋｓ・・・（４）
図９を用いて、人物情報に応じたレベル設定の説明を行う。
【０１４５】
上記説明したとおりエリア９０１、９０４、９０５、９０８のように、画像に写っている領域が小さい場合は、探索していないものとして判定されない。
【０１４６】
ここで、３人の人物（９０９、９１０、９１１）が画角内に写っている場合を例に説明する。被写体９０９は個人顔認証登録（登録情報）されていない被写体であり、表情に笑顔がない被写体とする。被写体９１０は個人顔認証登録されていない被写体であり、表情に笑顔がある被写体とする。
【０１４７】
被写体９１１は個人顔認証登録されている被写体であり、表情に笑顔がある被写体とする。
【０１４８】
エリア９０２と９０６に人物９０９が写っているので、両方のエリアに９０９の人物情報に応じたレベル設定を行う。
【０１４９】
９０９は、個人認証登録されていないのでゲインＫａは１、笑顔でないのでゲインＫｓは１となり、９０９のレベルは、Ｋｒとなり、顔信頼性によって被写体９０９の重要度レベルが決まる。
【０１５０】
エリア９０３と９０７に人物９１０と９１１が写っているので、両方のエリアに９１０と９１１の人物情報に応じたレベル設定を行う。
【０１５１】
９１０は、個人顔認証登録されていないのでゲインＫａは１、笑顔がある被写体なのでゲインＫｓは１以上の値に設定されている。
【０１５２】
９１１は、個人顔認証登録されているのでゲインＫａは１以上に、笑顔がある被写体なのでゲインＫｓは１以上の値に設定されている。
【０１５３】
よって、顔信頼性が９０９と９１０と９１１とで同じ信頼度の場合、各被写体の重量度レベルの大きさは、９１１＞９１０＞９０９となる。
【０１５４】
また、顔が写っている割合によって、レベル分けを行う。顔割合が大きいエリアには、上記求めたレベルをそのまま設定し、顔割合が小さいエリアには顔割合によってレベルを変更する。
【０１５５】
例えば、エリア９０３とエリア９０７の人物顔の写っている割合が８：２の場合、レベルを１０：２．５に設定される。
【０１５６】
以上のように、人物情報に基づいて、エリア毎に人物レベルが設定される。
【０１５７】
＜物体認識情報に応じた重要度レベル設定＞
予め登録されている被写体を検出したら、物体認識情報に基づいた重要度レベル設定を行う。
【０１５８】
例えば、「犬」や「猫」など一般的な物体カテゴリー認識を行ったり、事前に登録された被写体画像との一致度から、被写体認識による重要度レベル設定を行う。
【０１５９】
物体認識については、ニューラルネットに代表される学習アルゴリズムにより「犬」、「猫」などの識別器を構成する方法などがある。
【０１６０】
図１０を用いて、予め登録されている物体認識情報に応じたレベル設定を説明する。ここで、画面上に３つの被写体（１００９、１０１０、１０１１）が画角内に写っている場合を例に説明する。
【０１６１】
被写体１００９は物体認識により犬と判定され、被写体１０１０は猫と判定される。被写体１０１１は人物であり、人物は＜人物情報に応じた重要レベル設定＞で判定されているので、物体認識情報に応じたレベル設定からは対象外の被写体となる。
【０１６２】
「犬」を認識した場合のレベルと、「猫」を認識した場合のレベルはそれぞれ登録されており、例えば犬を重要被写体である。「猫」は重要被写体でないと設定され散る場合は、「犬」検出したエリア１００７の方が「猫」を検出したエリアよりもレベルが高く設定される。
【０１６３】
また、物体認識の信頼度を求め、検出の信頼度に応じてレベルを変更してもよい。
【０１６４】
ここでも、被写体が写っている割合によって、レベル分けを行う。被写体割合が最も大きいエリアには、上記求めた重要度レベルをそのまま設定し、被写体割合が小さいエリアにはその割合によってレベルを変更する。
【０１６５】
＜撮影シーンに応じた重要度レベル設定＞
画像データを解析することで、「青空シーン」、「事前の緑が多いシーン」、「夕景シーン」等を判定し、シーン判定情報に基づいたレベル設定を行う。
【０１６６】
なお、空にかかわるシーン判定については、カメラの絶対角度情報から、カメラが傾き情報が分かるので、重力方向と垂直な方向よりも、上方向領域の画像に置いて、「青空シーン」や「夕景シーン」のような空の判定が行われる。
【０１６７】
まず、撮影された１フレームの１２ビットＲＡＷデータをｎ×ｍ（ｎ、ｍは整数）の領域にブロック分割し、分割された各領域内のＲ、Ｇ、Ｂ各色の画素の平均値を算出する。各ブロックのＲ，Ｇ、Ｂ平均値に対して、ホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。
【０１６８】
「青空シーン」の判定は、画面内上方向領域における青空ブロックの割合を算出することで行われる。青空ブロックかどうかの判定はＵＶ色空間上で青空判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。
【０１６９】
「夕景シーン」の判定は、画面内上方向領域における夕景ブロックの割合を算出することで行われる。
【０１７０】
夕景ブロックかどうかの判定はＵＶ色空間上で夕景判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。
【０１７１】
「自然の緑シーン」の判定は、画面内全ブロックに占める自然の緑ブロックの割合を検出することで行われる。
【０１７２】
自然の緑ブロックかどうかの判定はＵＶ色空間上で自然の緑判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。
【０１７３】
図１１を用いて、シーン検出情報に応じた重要度レベル設定の説明を行う。
【０１７４】
画面内の右上範囲に青空が写っており、画面内の左範囲に建物が写っており、画面内の右下範囲に自然の緑が写っているシーンであるとする。
【０１７５】
画面内のシーン判定より、「青空シーン」と「自然の緑シーン」を検出し、エリア１１０３は青空領域認識に応じたレベルが設定され、エリア１１０７は自然の緑領域認識に応じたレベルが設定される。
【０１７６】
エリア１１０２はエリアに対する青空領域が４０％程度なので、青空領域認識に応じたレベルの４０％が設定される。エリア１１０６はエリアに対する自然の緑領域が３０％程度なので、青空領域認識に応じたレベルの３０％が設定される。
【０１７７】
上記、色空間情報によるシーン判定方法を説明したが、輝度値によってシーンを判定する方法もあり、「夜景シーン」の判定を例に説明する。
【０１７８】
夜景シーンの場合、画面全体のヒストグラムから極端に輝度情報としての輝度の高いレベルと極端に輝度の低いレベルのみで分布されている場合夜景として判定する。
【０１７９】
また、画像の輝度信号の高周波成分に基づいてコントラスト評価により点光源を判定し、輝度分布と点光源検出結果とを用いて「夜景シーン」を判定してもよい。
【０１８０】
「青空シーン」、「夕景シーン」、「自然の緑のシーン」、「夜景シーン」それぞれにおける重要度レベルはそれぞれ登録されており、それぞれの登録されている重要度レベルに応じて、エリア毎にシーンに応じた重要度レベル設定を行う。
【０１８１】
上記のように、被写体の色情報や前記被写体の輝度情報を用いてシーンを検出するシーン検出手段の検出結果を用いてエリア毎に被写体の重要度レベルを算出している。
【０１８２】
＜音声情報に応じた重要度レベル設定＞
音声情報データを解析することで、「音声方向」、「音レベル」、「音声認識」等を判定し、音声情報に基づいた重要度レベル設定を行う。
【０１８３】
図１２のフローチャートを用いて、音声情報に応じた重要度レベル設定の説明を行う。
【０１８４】
ステップＳ１２０１で、音声取得部が、外部で発声した音声を取得したか否かを判定する。音声を取得した場合は、ステップＳ１２０２に進む。音声を取得しなかった場合は、ステップＳ１２０１へ戻る。
【０１８５】
ステップＳ１２０２で、音声方向検知部が、取得した音声の発生方向を検知する。ステップＳ１２０３で、音レベルを検知する。
【０１８６】
ステップＳ１２０４で、音声認識部が、取得した音声を認識する。音声認識するための特定の音声コマンドか否かをステップＳ１２０５で判定し、音声コマンドの場合はＳ１２０６に進み、音声認識レベルＳｃをＡｃ１に設定する。
【０１８７】
音声コマンドでない場合はＳ１２０７に進み、音声認識コマンドレベルＳｃを０に設定する。次にステップＳ１２０８で、検出した音レベルが所定値以上であるかを判定し、所定値以上であれば、ステップＳ１２０９に進み、音声レベルＳｓをＡｃ２に設定する。
【０１８８】
音レベルが所定値より小さければ、ステップＳ１２１０に進み、音レベルＳｓを０に設定する。次にステップＳ１２１１に進み、ステップＳ１２０２で検出した音方向から図６に対応する音方向エリアを算出する。
【０１８９】
例えば、音声方向認識誤差を考えて、判定された方向の角度から±４５度の範囲すべてを音方向エリアとする。
【０１９０】
次に、ステップＳ１２１２で、音声認識レベルＳｃと音声レベルＳｓを加算し、トータル音レベルＳｌを算出し、ステップＳ１２１３に進む。
【０１９１】
ステップＳ１２１３では、Ｓｌが前回サンプリングでのＳｌに対して、大きくなる方へ変化したかどうかを判定する。
【０１９２】
大きくなる方に変化した場合、ステップＳ１２１４に進み、所定時間パラメータＴａに時間カウントＸｔを設定し、ステップＳ１２１５に進む。
【０１９３】
ステップＳ１２１５ではステップＳ１２１１で設定したエリアにレベルＳｌを設定し、ステップＳ１２０１へ戻る。
【０１９４】
ステップＳ１２１３でＳｌが前回サンプリングでのＳｌに対して、同じか小さくなる方に変化した場合は、ステップＳ１２１６に進み、所定時間パラメータＴａをデクリメントし、ステップＳ１２１７に進む。
【０１９５】
ステップＳ１２１７で時間Ｔａが０以下かを判定し、０以下（Ｓｌが大きくなる方へ変化してからＴａ経過した場合）であれば、ステップＳ１２１８で、レベルＳｌを０に設定しステップＳ１２１１で設定したエリアを０に設定する。
【０１９６】
ステップＳ１２１７で時間Ｔａが０より大きい場合ステップＳ１２１５へ進み、これまでで演算されたＳｌを音声方向のエリアに音声情報に応じた重要度レベルを設定する。
【０１９７】
＜画像動き情報に応じた重要度レベル設定＞
図６のようにエリア分割された各エリアにおいて動き被写体が存在するか否かを判定し、画像動き情報に応じた重要度レベル設定を行う。
【０１９８】
エリア毎にフレーム間の差分検出やフレーム間の動きベクトル検出等を行う。
【０１９９】
動きベクトルの検出方法としては、画面を複数の領域に分割し、予め記憶されている１フレーム前の画像と現在の画像（連続する２つの画像）を比較することで、画像の相対的なズレ情報から画像動き量を算出する。
【０２００】
ここで、カメラ絶対角度とチルト回転ユニット１０４、パン回転ユニット１０５の回転位置との差分により、鏡筒（撮像面光軸方向）の角度が分かるので、フレーム間の鏡筒角度の差分より、カメラ角度変化影響による像振れの動きベクトル値は検出できる。
【０２０１】
図１３（ａ）のようにエリアの中でも更に分割された領域でフレーム間の移動ピクセルを検出し、検出した移動ピクセルからカメラ角度変化影響による動きベクトル値を減算したベクトル信号から、度数分布処理を行う。
【０２０２】
なお、低コントラストなどのベクトル検出が難しい場合は、検出不可ブロックのベクトル情報は度数分布処理には反映されない。
【０２０３】
度数分布例を図１３（ｂ）と（ｃ）に示す。図１３（ｂ）はあるエリアに動き被写体がいない場合の、あるフレームでの度数分布例を示す。
【０２０４】
閾値１３０２の範囲はベクトル値が小さく、ほとんど動きがないベクトル範囲であるため、閾値１３０２範囲内のベクトル情報は使用しない。
【０２０５】
閾値１３０２以外の移動量が度数閾値１３０３を超えている場合、エリア内に動き被写体がいると判定するが、図１３（ｂ）においては閾値１３０３を超えていないので動き被写体ないと判定される。
【０２０６】
図１３（ｃ）はエリアに動き被写体がいる場合のあるフレームでの度数分布例を示す。閾値１２０２範囲外におけるベクトル移動量が度数閾値１３０３を超えているので、このエリアに動き被写体がいると判定される。
【０２０７】
過去数フレームの間、動き被写体が連続していると判定されると、動き被写体ありの重要度レベルが設定される。
【０２０８】
＜過去の撮影情報に応じたレベル設定＞
過去に撮影された情報から重要度レベル設定を行う。
【０２０９】
カメラは、後に説明する方法で、パン・チルトを駆動し、被写体自動探索を行う。
【０２１０】
探索中の画像情報から、カメラが自動撮影トリガーを検出すると、自動撮影が行われる。自動撮影トリガーは、例えば、人物の笑顔などの表情検出であったり、後に説明する最終的な被写体の重要度レベルの大きさであったりする。
【０２１１】
また、撮影者がカメラに設けられたレリーズＳＷなどにより、手動で撮影されることもある。
カメラは撮影すると、過去撮影情報が記憶管理される。
まず、エリア毎の過去撮影情報に応じたレベル設定について説明する。
【０２１２】
図６のようにエリア分割された各エリアにおいて、各エリアでの撮影枚数が記憶管理される。
【０２１３】
エリア毎の過去管理の方法を図１４に示し、縦軸がエリア毎に、横軸が時間毎に、撮影枚数が管理されている。
【０２１４】
図１４のようなエリア毎の過去情報から、エリア毎の重要度レベル設定を行う。「今〜Ｔ１時間」は現在から過去Ｔ１時間前までの撮影枚数であり、この重み係数を例えば１とする。
【０２１５】
「Ｔ１時間〜Ｔ２時間」は過去Ｔ１時間から過去Ｔ２時間までの間の撮影枚数であり、この重み係数を例えば０．８とする。
「Ｔ２時間〜Ｔ３時間」は、過去Ｔ２時間から過去Ｔ３時間までの間の撮影枚数であり、この重み係数を例えば０．５とする。
「Ｔ３時間〜Ｔ４時間」は過去Ｔ３時間から過去Ｔ４時間までの間の撮影枚数であり、この重み係数を例えば０．２とする。
【０２１６】
それぞれの重み係数と撮影枚数を乗算し、各時間の計算結果を加算することで、重みありのトータル撮影枚数をエリア毎に算出する。
【０２１７】
Ａｒｅａ１のトータル撮影枚数は、０×１＋０×０．８＋０×０．５＋２×０．２＝０．４枚となり、Ａｒｅａ３のトータル撮影枚数は、３×１＋４×０．８＋２×０．５＋０×０．２＝７．２枚となる。
【０２１８】
各エリアのトータル撮影枚数にレベル係数（係数はマイナスの値であり、撮影枚数が多くなるにつれて重要度レベルが下がっていくようにしている）を乗算して、エリア毎の過去撮影情報に応じたレベル設定を行う。
【０２１９】
また、過去撮影情報は、＜人物情報に応じた重要度レベル設定＞や＜物体認識情報に応じた重要度レベル設定＞や＜シーンに応じた重要度レベル設定＞などにもフィードバックされ、各レベル設定にも影響するようにしている。
【０２２０】
図１５は、＜人物情報に応じた重要度レベル設定＞にフィードバックするための過去撮影情報を管理した表である。
【０２２１】
個人登録されている被写体毎（Ａｓａｎ、Ｂｓａｎ，Ｃｓａｎ、Ｄｓａｎ・・・）の過去撮影枚数がそれぞれ記憶管理されている。
【０２２２】
図１４で説明した方法と同様に、各時間で重み係数が設定されており、登録被写体毎にそれぞれトータル撮影枚数が算出される。
【０２２３】
トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、ゲインＫａに加算することで、＜人物情報に応じたレベル設定＞に過去撮影情報をフィードバックする。      
【０２２４】
係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている。なお、Ｋａは０以下にはならないように設定される。
【０２２５】
図１６は、＜物体認識情報に応じた重要度レベル設定＞にフィードバックするための過去撮影情報を管理した表である。登録されている被写体毎（犬、猫・・・）の過去撮影枚数がそれぞれ記憶管理されている。
【０２２６】
図１４で説明した方法と同様に、各時間で重み係数が設定されている。
【０２２７】
登録被写体毎にそれぞれトータル撮影枚数が算出され、トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、各被写体に応じたレベル設定に加算することで、＜物体認識情報に応じたレベル設定＞に過去撮影情報をフィードバックする。
【０２２８】
係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている。なお、各被写体に応じた重要度レベル０は以下にはならないように設定される。
【０２２９】
図１７は、＜シーンに応じた重要度レベル設定＞にフィードバックするための過去撮影情報を管理した表である。
【０２３０】
シーン毎（青空、夕景、自然の緑、夜景・・・）の過去撮影枚数がそれぞれ記憶管理されている。
【０２３１】
図１４で説明した方法と同様に、各時間で重み係数が設定されている。
【０２３２】
登録被写体毎にそれぞれトータル撮影枚数が算出され、トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、各シーンに応じたレベル設定に加算することで、＜シーンに応じたレベル設定＞に過去撮影情報をフィードバックする。
【０２３３】
係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている。なお、各シーンンに応じた重要度レベルは０以下にはならないように設定される。
【０２３４】
＜未探索時間による重要度レベル設定＞
図６のように分割された各エリア位置での最後に探索されたときからの経過時間に応じた重要度レベル設定を行う。
【０２３５】
処理のフローチャートを図１８に示す。処理がスタートすると、ステップＳ１８０１で現在のパン・チルト位置を取得し、ステップＳ１８０２に進む。
【０２３６】
ステップＳ１８０２では図６で説明した方法で算出されたカメラ絶対角度を取得し、ステップＳ１８０３に進む。
【０２３７】
ステップＳ１８０３では、ステップＳ１８０１で取得したパン・チルト位置とステップＳ１８０２で取得したカメラ絶対角度とから鏡筒１０２の絶対角度を算出し、ステップＳ１８０３に進む。
【０２３８】
ステップＳ１８０４では、ループ演算のための変数であるＡｒｅａに１を代入し、ステップＳ１８０５に進む。
【０２３９】
ステップＳ１８０５では鏡筒１０２の絶対角度を微分処理して算出した絶対角速度が所定速度以内であるかを判定し、また図６のように分けられたエリア毎に各エリア番号が定義されており、変数Ａｒｅａが画角内に写っているエリア番号かどうかを判定する。
【０２４０】
Ａｒｅａが画角内にいる場合且つ、鏡筒絶対角速度がそれぞれ被写体検出できる程度の速度（撮像遅れ、検出時間遅れを加味して、画像から被写体検出するまでの遅れ時間が所定値以内の角速度であること）であれば、ステップＳ１８０６に進む。
【０２４１】
ステップＳ１８０６では、現在のＡｒｅａの未探索時間に応じた重要レベルを０に設定し、ステップＳ１８０８に進む。
【０２４２】
ステップＳ１８０５で、現在のＡｒｅａが画角内にいない或いは、鏡筒絶対角速度が所定角速度よりも大きければ、ステップＳ１８０７に進む。
【０２４３】
そして、現在のＡｒｅａの時間レベルをインクリメントし、ステップＳ１８０８に進む。ステップＳ１８０８ではＡｒｅａをインクリメントし、ステップＳ１８０９に進み、Ａｒｅａがトータルエリアの数より大きいかを判定し、大きければ処理を終了する。
【０２４４】
Ａｒｅａがトータルエリアの数よりも小さければステップＳ１８０５に戻り、ステップＳ１８０５〜１８０９の処理を繰り返す。
【０２４５】
以上の方法により、エリア毎に未探索時間に応じた重要レベルが設定されている。
【０２４６】
エリアが最後に被写体探索されてからの経過時間（エリアの未探索時間）によって、各エリアの時間レベルが大きくなっていくことで、長時間探索されていないエリアがあれば、重要度レベルが上がりパン・チルトによりそのエリアの探索を行う仕様になる。
【０２４７】
＜カメラの振動状態による重要度レベル設定＞
振動検出手段を有する撮像装置としてのカメラの振動状態に応じて重要度レベル設定を行う。
【０２４８】
ステップＳ３０８で算出したカメラ状態の判定結果から、カメラの振動状態（乗り物検出状態、置き撮り状態、手持ち状態）が判定される。
【０２４９】
カメラ振動状態が「置き撮り状態」の場合、カメラ絶対角度演算を間違うことはなく、各エリアの重要度レベルの演算の信頼性は高いので、これまでで演算された各エリアの被写体の重要度レベルをそのまま使用して後の探索制御を行う。
【０２５０】
振動検出手段にて検出されたカメラ振動状態が「乗り物検出状態」の場合は、移動速度が速いので、乗り物に乗っている人のエリアの変化はほとんどないが、風景などの被写体は刻々と変化する。
【０２５１】
よって、乗り物状態の場合は、＜人物情報に応じた重要度レベル設定＞はそのまま重要レベルを使用するが、＜画像動き情報に応じた重要度レベル設定＞の重要度レベルは使用しない。
【０２５２】
また、＜シーンに応じた重要度レベル設定＞や＜物体認識情報に応じた重要度レベル設定＞はすぐに変化する可能性が高いので、重要レベルを下げる。
【０２５３】
但し、自動撮影においては検出したらすぐ撮影を行うなどの工夫もする。）＜音声情報に応じた重要度レベル設定＞や＜過去撮影情報に応じたレベル設定＞はそのまま重要度レベルを使用する。
【０２５４】
また、カメラの進行方向を検出して、速い速度で移動している進行方向を加速度センサなどで検出し、進行方向のエリアの重要度レベルを上げておくなどの演算も行われる。
【０２５５】
カメラの振動状態が「手持ち状態」（ブレ振動が大きい状態）の場合は、撮影者がカメラの方向を操作する可能性が高い。
【０２５６】
そこで、カメラ正位置（チルト角度、パンチルト角度が０度）から±４５度の範囲のエリアは重要度レベルを大きくする。
【０２５７】
そして、±４５度〜±９０度の範囲のエリアは重要度レベルを小さくし、±９０度よりも離れた範囲では重要度レベルを更に小さくなるように、各エリアの重要度レベルを設定する。
【０２５８】
エリア毎に重要度レベルを加算する方法でもよいし、エリア毎に算出された重要度レベルに範囲に応じて重みをかける方法でもよい。
【０２５９】
±４５度の範囲のエリアは重み係数１、±４５度〜±９０度の範囲のエリアは重み係数を１以下、±９０度よりも離れた範囲では重み係数を更に小さくしておく。
【０２６０】
以上の方法により、カメラの振動状態により、各重要度レベル演算を変更し、各振動状態にあった被写体探索が行われるようにしている。
【０２６１】
撮像装置の振動状態を検出する振動検出手段にて検出された前記振動状態を用いて前記エリア毎に設定された前記被写体の重要度レベルの重みを変更している。
【０２６２】
上記の方法で求めた各エリアにおける重要度レベルを加算する。
【０２６３】
人物情報に応じた重要度レベル、物体認識情報に応じた重要度レベル、シーンに応じた重要度レベル、音声情報に応じた重要度レベル、画像動き情報に応じた重要度レベル、過去撮影情報に応じたレベル、未探索時間による重要度レベルを加算する。
【０２６４】
その加算結果を用いて、被写体の重要度レベルを算出し、ステップＳ３１３に進む。
【０２６５】
ステップＳ３１３では、エリア毎の被写体の重要度レベルから、パン・チルト探索の目標角度を算出し、ステップＳ３１４に進む。パン・チルト探索目標角度は以下の方法で算出される。
【０２６６】
まず、各エリアで隣接するエリアの被写体の重要度レベルから、探索用最終レベルを算出する。
【０２６７】
図１９（ａ）の１９０１のエリアにおける探索用最終レベルはエリア１９０１と周辺のエリア（１９０２、１９０３、１９０４、１９０５、１９０６、１９０７、１９０８、１９０９）との情報を用いて演算される。
【０２６８】
そして、１９０１の重み係数を１として、その他の重み係数を１以下（例えば０．５）として、各エリアの被写体の重要度レベルに各重み係数を乗算し、すべてのエリアでもとめた計算値を加算することで探索用最終レベルが算出される。
【０２６９】
この演算をすべてのエリアで行い、各エリアでの探索用最終レベルを算出する。
【０２７０】
次に探索用最終レベルが最も大きいエリアを探索目標エリアと設定する。
【０２７１】
探索目標エリアが図１９の１９０１だった場合、１９０１〜１９０９の探索用最終レベルと１９０１〜１９０９の各エリアの中心角度とからパン・チルト探索目標角度を式（２）により演算する。
【０２７２】
【数１】
2018050146.tif 000003
ｎは１９０１〜１９０９のエリアの数（９）であり、ｉは１９０１〜１９０９を１〜９に定義した変数である。
【０２７３】
ｂは各エリアの中心角度、ａは各エリアの探索用最終レベルである。
【０２７４】
このように演算されたエリア１９０１〜１９０９間の探索用最終レベルに基づいた角度の重心位置ｙを演算する（ｙは、チルト方向、パン方向それぞれで演算される。）ことで、パン・チルト探索目標角度ｙを算出する。
【０２７５】
なお、各エリアの探索用最終レベルすべての値が所定閾値以下の場合は、探索してもその時点での重要な被写体はいないと判定され、パン・チルト駆動はしないようにする。
【０２７６】
このとき、＜過去撮影情報に応じたレベル設定＞を除外した条件で算出した被写体重要度に基づいて目標角度を演算する。
【０２７７】
そして、目標角度にパン・チルト駆動した後は、各エリアの探索用最終レベルのいずれかが所定閾値より大きくなるまで、その角度位置に保持される。
【０２７８】
以上のようにして、パン・チルト探索目標角度を算出し、ステップＳ３１４に進む。
【０２７９】
ステップＳ３１４では、ステップＳ３０６で求めた像振れ補正量とステップＳ３１３までで求めたパン・チルト探索目標角度から、パン・チルト駆動量が算出する。
【０２８０】
像振れ補正量とパン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出（パンの駆動角度、チルトの駆動角度それぞれを算出）し、ステップＳ３１５に進む。
【０２８１】
ステップＳ３１５でパン・チルトそれぞれ駆動角度に応じて、鏡筒回転駆動部２１２によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御し、ステップＳ３１６に進む。
【０２８２】
Ｓ３１５では、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御して被写体を探索する前記撮影画像の画角の中心位置を変更した。
【０２８３】
別の変更手段として、撮影画像の特定部分を切り出して、前記撮影画像の画角の中心位置を変更しても良い、
ステップＳ３１６では、操作部２１１の操作による手動による撮影指示があったがどうかを判定し、撮影指示があった場合、ステップＳ３１９に進む。
【０２８４】
そして、撮影を開始し静止画像の取得を行い、撮影画像を画像記録部２０７に記録する。ステップＳ３１６で、手動撮影指示がなかった場合、ステップＳ３１７に進み、自動撮影判定処理を行う。
【０２８５】
ステップＳ３１７の自動撮影判定では、Ｓ３１５までで、得られたエリア別の重要度レベルから、被写体の重要度レベルが所定値を超えている場合、自動的に撮影動作ＯＮと判定される。
【０２８６】
または、被写体の重要度レベルが所定値を超えていない場合でも、検出した顔の笑顔度合から自動撮影判定を行ったり、検出した複数顔の距離の近さから自動撮影判定を行ったりする。
【０２８７】
また、過去に撮影していない物体（例えば、犬や猫など）やシーン（例えば、青空や夕景や夜景や自然の緑など）を検出したら自動撮影判定を行ったりする。ステップＳ３１７で自動撮影判定が行われると、ステップＳ３１８に進む。
【０２８８】
ステップＳ３１８で、自動撮影判定結果が自動撮影ＯＮだった場合、ステップＳ３１９に進み、静止画撮影が行われる。
【０２８９】
ステップＳ３１８で自動撮影ＯＦＦだった場合、ステップＳ３０２に戻り、自動被写体探索、自動撮影処理を繰り返す。
【０２９０】
ステップＳ３１９で静止画撮影が行われたらステップＳ３２０に進み、ステップＳ３１０で撮影された時点の被写体情報や撮影画角内のエリア情報より、自動被写体探索を行うためのパラメータを変更する。
【０２９１】
過去撮影情報の管理は図１３〜図１６を用いて説明した通り、撮影画像の解析や、撮影されたときのエリア情報などが時間に応じて管理されることになる。
【０２９２】
静止画像の撮影を例に説明したが、動画の撮影を行う場合においても同様の方法で、自動撮影や過去撮影情報の管理が行われる。
【０２９３】
動画の場合は、動画撮影中の被写体検出や撮影エリアなどの撮影情報から、過去撮影情報の管理が行われる。
【０２９４】
ステップＳ３２０で過去撮影情報が更新されると、ステップＳ３０２に戻り、自動被写体探索、自動撮影処理を繰り返す。
【０２９５】
以上の第１実施例による方法で、自動被写体探索と自動撮影が繰り返し動作される。
【０２９６】
このとき、カメラを原点においた空間座標における角度領域毎のエリアに分割し、分割されたエリア領域毎に被写体の重要度レベルを算出する。
【０２９７】
本実施例では、エリア毎に算出された被写体の重要度レベルに基づいて、撮影画像の画角の中心位置を変更する変更手段を用いて被写体を探索する撮影画像の画角の中心位置を変更している。
【０２９８】
よって、被写体の重要度レベルが高いエリアを重点的に探索することができるので、常にパン・チルトを大きく振りながら探索する必要がなくなる。
【０２９９】
また、撮影情報（撮影された被写体の顔認識や物体認識やシーンなど）を被写体の重要度レベル算出にフィードバックすることで、網羅的に自動撮影を行うことができる。
【０３００】
よって、無駄な動作が少ない自動被写体探索及び自動撮影が可能となり、素早い被写体探索効果や省電力効果が得られる。
【０３０１】
［実施例２］
実施例１（図６）では、エリアを２２．５度で分割する例で説明したが、カメラ焦点距離が大きく、撮影画角が狭い場合を考える。
【０３０２】
その場合、エリア分割角度が大きすぎると、エリア範囲に対して撮影画像から判断できる領域が狭くなり、画像内情報から被写体探索を行うことが難しくなってしまう。
【０３０３】
焦点距離が大きくなったということは、撮影する被写体距離が遠くなる場合がほとんどである。
【０３０４】
そこで、焦点距離に応じて、エリアの大きさを変更する。例えば、エリアの大きさ（角度範囲）が垂直画角の１／２になるように設定する。
【０３０５】
垂直画角が４５度の場合は２２．５度でエリア分割し（図２０（ａ））、垂直画角が２２度の場合は、エリアの大きさを１１度でエリア分割する（図２０（ｂ））。
【０３０６】
垂直画角が１０度の場合は、エリアの大きさを５度でエリア分割することで、撮影されている画角内でのエリア判定をし易くしている。
【０３０７】
使い方としては、例えば、まず、広角側での大まかな被写体探索のために、図２０（ａ）のようにエリア分割を行う（垂直画角４５度、エリアの大きさ２２．５度）。
【０３０８】
このとき、被写体探索範囲は制限せずに、±１８０度の範囲で、被写体探索を行う。このとき適切な被写体をみつけると、自動撮影や追尾動作を行う。
【０３０９】
自動探索したエリアでの被写体距離が遠く、適切な被写体を撮影するためには焦点距離を大きくした方がよいと判定されると、ズームアップで焦点距離を大きくし、再度被写体探索を行わせる。
【０３１０】
このとき、同時にエリアの大きさを小さくし（垂直画角２２度、エリアの大きさ１１．５度）、且つ探索範囲を制限する。
【０３１１】
例えば、大まかな探索を行った時の画角を探索範囲とする。図２１の例では広角側で被写体探索して設定した角度２００１を中心として、±２２．５度の範囲とする。
【０３１２】
探索範囲制限後に再度小さくしたエリアで被写体探索を行い、小さくしたエリアで被写体の重要度レベルを同様の方法で算出し、被写体の重要度レベルに基づいて、目標角度にパン・チルトをメカ的に駆動し、被写体探索を行い、自動撮影や追尾動作などを行う。
【０３１３】
以上のように実施例２による方法では、焦点距離変化に伴う撮影画角の大きさに基づいて、エリア分割の大きさを変更することで、撮影画角に応じた適切な自動被写体探索を行うことができる。
【０３１４】
［実施例３］
広角なレンズを複数使用して全方位を一度に撮影する撮像システム（以下、全方位カメラ）にも適用できる。
【０３１５】
全方位カメラにおいても、カメラを原点においた絶対空間座標における角度領域毎にエリア分割し、エリア分割された領域毎に被写体の重要度レベルを算出する。
【０３１６】
そして、各エリアの被写体の重要度レベルに応じて、画像内で被写体検出をするための画像処理を行うエリアを設定することで、画像処理短縮による消費電力の低減や高速な被写体探索が可能となる。
【０３１７】
被写体探索装置は、撮像装置の振動を検出する振動検出手段の振れ量から撮像装置の絶対角度を算出する絶対角度算出手段を備えている。
【０３１８】
分割手段は、絶対角度を用いて、絶対空間座標における角度領域毎のエリアを分割している。
【０３１９】
被写体探索装置は、絶対角度の信頼性を判定する判定手段を備えている。
【０３２０】
判定手段にて絶対角度の信頼性が所定値よりも低いと判定された場合、分割手段の分割結果を初期化し、絶対空間座標における角度領域毎のエリアを再計算している。
【０３２１】
（歪補正及び射影変換の説明）
全方位カメラは、各レンズ光学系により撮像された各画像に対して、所定の射影モデルに基づいて、歪補正及び射影変換を行う。
【０３２２】
そして、各画像の重複部分に基づいて画像をつなぎ合わせ、１枚の全方位画像とする処理が行われる。撮影された全方位画像（図２１（ａ））から一部の画像領域（図２１（ｂ））を抜き出すことで、被写体をズームアップした画像を取得することもできる。
【０３２３】
ここで、全方位カメラを用いた被写体の検出情報から自動撮影を行うシステムにおける被写体探索方法を説明する。
【０３２４】
全方位カメラの全画角（３６０度）撮影された画像は、例えば正距円図法（エクイレクタングラー）形式で生成され、図２２（ａ）のようになる。
【０３２５】
ここで、被写体検出処理のために入力画像のリサイズを行う。
【０３２６】
被写体検出などの処理は、例えば入力画像が４０００×３０００画素の場合、すべての画素に対して処理を行うと膨大な処理量が必要となる。
【０３２７】
被写体検出処理では、画像の特徴を捉えるだけの解像度に縮小し、縮小した画像に対して処理を行うことで、全体の処理量を低減する。
【０３２８】
ここでは、縮小アルゴリズムや縮小解像度は特に規定しないが、例えばＶＧＡサイズ（６４０×４８０画素）に縮小すると効果的である。
【０３２９】
しかし、全方位カメラにおいては画角が非常に大きく、（例えば顔などの）被写体の大きさが小さくなってしまうことが多く、画角全体で被写体検出処理を行ってしまうと、精度よく（例えば顔などの）被写体を検出することが難しい。
【０３３０】
そこで、エリア範囲を分割し、分割されたエリア毎に被写体検出処理を行う。
【０３３１】
まず、６４０×４８０画素での図２２（ａ）で大まかな被写体検出やシーン判別などを行う。
【０３３２】
図２２（ａ）のように、画面上範囲に青空が写っているので、青空シーンだと判定され、図２２（ｂ）で細かく設定されたエリア毎にも青空シーンの被写体の重要度レベル設定が設定される。
【０３３３】
また、２２０１や２２０２のような顔（被写体）が検出できるほどの画素がある大きさの顔（被写体）であれば、顔が写っている図２２（ｂ）の中のエリアに顔被写体レベル設定を行う。
【０３３４】
同様の方法で、自然の緑のシーン検出や、物体検出など、実施例１で説明した方法で、図２２（ａ）での被写体判定が行われる。
【０３３５】
次に、図２２（ａ）で判定された図２２（ｂ）のエリア毎の被写体の重要度レベルから、撮像の一部領域を（６４０×４８０画素で）読みだして被写体検出用途としての画像が取得される。
【０３３６】
このとき、コントラストがほとんどない２２０３や２２０４のような領域については、撮像の一部領域を読みだして細かく被写体検出をしても特徴的な被写体は見つかる可能性はないと判定されている。
【０３３７】
よって、２２０３や２２０４のような領域を読みだして、再度エリア毎の被写体の重要度レベルの演算が行われることはない。
【０３３８】
２２０５のように、すでに顔などの重要被写体が検出されている領域や、２２０６のように色・輝度の分散が大きく何らかの被写体が検出される可能性がある領域は、撮像の一部領域を読みだして細かく被写体検出を再度行う。
【０３３９】
例えば、２２０５領域で再度被写体検出処理を行い、人物２２０２が個人顔認証登録されている被写体であれば、そのエリアの被写体の重要度レベルが上げられる。
【０３４０】
最終的に、被写体の重要度レベルが最も大きい領域が２２０５だと判断されると、撮影待機状態になり、領域２２０５付近の領域の画像で被写体検出を逐次行う。
【０３４１】
そして、人物の表情変化（例えば笑顔度合い）などの大きさによって自動撮影を行い、実施例１と同様の方法で、自動撮影結果を各エリアの被写体の重要度レベル演算にフィードバックする。
【０３４２】
そして、更新された各エリアの被写体の重要度レベルに基づいて、被写体検出処理を行う領域を設定し、その撮像の一部領域を読みだして細かく被写体検出を行って、被写体探索と自動撮影を行うことを繰り返す。
【０３４３】
以上の方法で、全方位カメラにおいても、カメラを原点においた空間座標における角度領域毎にエリア分割し、エリア分割された領域毎に被写体の重要度レベルを算出する。
【０３４４】
被写体探索装置は、全方位撮影可能な撮像光学系を有し、変更手段は、全方位画像から撮影画像の特定部分を切り出している。
【０３４５】
そして、各エリアの被写体の重要度レベルに応じて、画像内で被写体検出をするための画像処理を行うエリアを設定することで、画像処理による消費電力の低減や高速な被写体探索が可能となる。
【０３４６】
［その他の実施例］
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０３４７】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０３４８】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０３４９】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０３５０】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【０３５１】
また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【０３５２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【産業上の利用可能性】
【０３５３】
本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮像装置にも搭載できる。
【符号の説明】
【０３５４】
１０１  カメラ
１０２  鏡筒
１０３  パン回転ユニット
１０４  チルト回転ユニット
【図１】
2018050146.tif 000004
【図２】
2018050146.tif 000005
【図３】
2018050146.tif 000006
【図４】
2018050146.tif 000007
【図５】
2018050146.tif 000008
【図６】
2018050146.tif 000009
【図７】
2018050146.tif 000010
【図８】
2018050146.tif 000011
【図９】
2018050146.tif 000012
【図１０】
2018050146.tif 000013
【図１１】
2018050146.tif 000014
【図１２】
2018050146.tif 000015
【図１３】
2018050146.tif 000016
【図１４】
2018050146.tif 000017
【図１５】
2018050146.tif 000018
【図１６】
2018050146.tif 000019
【図１７】
2018050146.tif 000020
【図１８】
2018050146.tif 000021
【図１９】
2018050146.tif 000022
【図２０】
2018050146.tif 000023
【図２１】
2018050146.tif 000024
【図２２】
2018050146.tif 000025