(57)【要約】      （修正有）【課題】被写体の自動探索においてユーザ意図を反映した自動探索を可能にする撮像装置における自動撮影技術を提供する。【解決手段】撮像装置は、被写体像を撮像する撮像部と、撮像部により撮像された画像データから被写体を探索する領域を決定する決定部と、撮像部の撮影画角を変更するためのズーム部と、決定部により被写体を探索する領域を決定する場合に、ズーム部により撮像部の撮影画角を広角側に変更するように制御する制御部とを備える。【選択図】図９Ｂ
2020092354.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像手段と、
前記撮像手段により撮像された画像データから被写体を探索する領域を決定する決定手段と、
前記撮像手段の撮影画角を変更するためのズーム手段と、
前記決定手段により前記被写体を探索する領域を決定する場合に、前記ズーム手段により前記撮像手段の撮影画角を広角側に変更するように制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記撮像手段の撮影画角を複数の領域に分割し、該複数の領域の重要度レベルを算出する算出手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記複数の領域の重要度レベルに基づいて、前記重要度レベルの高い領域を前記被写体を探索する領域として決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記算出手段による前記重要度レベルの算出が初回である場合、あるいは前記重要度レベルの前回の算出から所定の時間が経過している場合に、前記ズーム手段により前記撮影画角を広角側に変更するように制御することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記制御手段は、前記撮像手段が手動によりパン動作された場合に、前記ズーム手段により前記撮影画角を広角側に変更することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記制御手段は、前記撮像手段が手動によりパン動作された場合の動作量に基づいて、前記ズーム手段により前記撮影画角を広角側に変更する量を制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記撮像手段が手動によりパン動作された場合の動作量が所定量以上である場合に、前記ズーム手段により前記撮影画角を広角側に移動させることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像手段の撮影画角を複数の領域に分割し、該複数の領域の重要度レベルを算出する算出手段をさらに備え、前記制御手段は、前記撮像手段が手動によりパン動作された場合の動作量が所定量以上である場合に、以前に記憶されている前記重要度レベルを消去することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記制御手段は、前記撮像手段が手動によりパン動作された場合の動作量が所定量より少ない場合に、前記ズーム手段により前記撮影画角を広角端の手前の所定の広角位置に移動させることを特徴とする請求項６または７に記載の撮像装置。
【請求項１０】
前記撮像手段の撮影画角を複数の領域に分割し、該複数の領域の重要度レベルを算出する算出手段をさらに備え、前記制御手段は、前記撮像手段が手動によりパン動作された場合の動作量が所定量より少ない場合に、以前に記憶されている前記重要度レベルを保持することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御手段は、前記撮像手段が手動によりパン動作された場合に、前記撮像手段をチルト方向について水平位置に移動させることを特徴とする請求項５乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段により撮像された画像データから被写体を探索する領域を決定する決定工程と、
前記撮像手段の撮影画角を変更するためのズーム工程と、
前記決定工程において前記被写体を探索する領域を決定する場合に、前記ズーム工程により前記撮像手段の撮影画角を広角側に変更するように制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１３】
請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における自動撮影技術に関するものである。
【背景技術】
【０００２】
ユーザが撮影指示を与えることなく定期的および継続的に撮影を行うライフログカメラが知られている（特許文献１）。ライフログカメラは、ストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録するものである。ライフログカメラによる撮影は、ユーザがシャッターを切るなどの意図したタイミングで撮影するのではなく、一定の時間間隔で自動的に撮影を行うため、普段撮影しないような不意な瞬間を映像として残すことができる。
【０００３】
また、特許文献２には、撮像方向を変更可能なように構成された撮像装置において、自動的に被写体を探索し、撮影する技術が開示されている。自動撮影においても、検出した被写体に基づいて撮影する構図を決めることによって、ユーザにとって好ましい画像を記録できる可能性を向上させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１６−５３６８６８号公報
【特許文献２】特許第０５４５３９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ライフログを目的とした撮影では、ユーザにとっては面白みに欠ける画像が記録される可能性も高い。そこで、自動でカメラがパン・チルト回転し、周辺の被写体を探索し、検出した被写体を含む画角で撮影することにより、ユーザにとって好ましい画像を記録できる可能性を向上させることができる。
【０００６】
しかしながら、カメラが自動で探索して検出した被写体が最も撮影に適した被写体ではない場合もある。例えば、被写体の探索時にカメラの方に向いていない人物は重要被写体とみなすことができず、撮影対象にならない場合がある。また、光学ズーム機構を用いて被写体を拡大して捉えている場合には、新たに近づいてきた被写体を見つけることができない場合がある。つまり、カメラが自動で被写体を探索する処理には限界があり、ユーザの意図とは異なる被写体を捉えてしまうという問題が発生する。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体の自動探索においてユーザ意図を反映した自動探索を可能にすることである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段により撮像された画像データから被写体を探索する領域を決定する決定手段と、前記撮像手段の撮影画角を変更するためのズーム手段と、前記決定手段により前記被写体を探索する領域を決定する場合に、前記ズーム手段により前記撮像手段の撮影画角を広角側に変更するように制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体の自動探索においてユーザ意図を反映した自動探索が可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の一実施形態であるカメラの外観を模式的に示す図。
【図２】一実施形態のカメラの全体構成を示すブロック図。
【図３】カメラと外部装置との無線通信システムの構成例を示す図。
【図４】外部装置の構成を示す図。
【図５】カメラと外部装置の構成を示す図。
【図６】外部装置の構成を示す図。
【図７】第１制御部の動作を説明するフローチャート。
【図８】第２制御部の動作を説明するフローチャート。
【図９Ａ】撮影モード処理の動作を説明するフローチャート。
【図９Ｂ】エリア毎の重要度レベルを求める際のズーム制御動作を示すフローチャート。
【図１０】撮影画像内のエリア分割を説明するための図。
【図１１】ニューラルネットワークを説明する図。
【図１２】外部装置で画像を閲覧している様子を示す図。
【図１３】学習モード判定を説明するフローチャート。
【図１４】学習処理を説明するフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
【００１２】
＜カメラの構成＞
図１は、本発明の撮像装置の一実施形態であるカメラの外観を模式的に示す図である。図１（ａ）に示すカメラ１０１には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。被写体像の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒１０２は、カメラ１０１の固定部１０３に対して移動可能に取り付けられている。具体的には、鏡筒１０２は、固定部１０３に対して回転駆動できる機構であるチルト回転ユニット１０４とパン回転ユニット１０５とを介して固定部１０３に取り付けられている。
【００１３】
チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転駆動することができるモーター駆動機構を備え、パン回転ユニット１０５は、鏡筒１０２を図１（ｂ）に示すヨー方向に回転駆動することができるモーター駆動機構を備える。すなわちカメラ１０１は、鏡筒１０２を２軸方向に回転駆動する機構を有する。図１（ｂ）に示す各軸は、固定部１０３の位置に対してそれぞれ定義されている。角速度計１０６及び加速度計１０７は、カメラ１０１の固定部１０３に配置されている。そして、角速度計１０６や加速度計１０７の出力信号に基づいて、カメラ１０１の振動を検出し、チルト回転ユニット１０４とパン回転ユニット１０５を回転駆動することにより、鏡筒１０２の振れを補正したり、傾きを補正したりすることができる。また、角速度計１０６や加速度計１０７は、一定の期間の計測結果に基づいて、カメラの移動検出も行う。
【００１４】
図２は本実施形態のカメラ１０１の全体構成を示すブロック図である。図２において、第１制御部２２３は、例えばＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などを備える。そして、不揮発性メモリ（ＥＥＰＲＯＭ）２１６に記憶されたプログラムに従って、各種処理を実行してカメラ１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ２１６は、電気的に消去・記録可能なメモリであり、上記のように第１制御部２２３の動作用の定数、プログラム等が記憶される。
【００１５】
図２において、ズームユニット２０１は、変倍（結像された被写体像の拡大・縮小）を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御するとともに、そのときの焦点距離を検出する。フォーカスユニット２０３は、ピント調整（焦点調節）を行うフォーカスレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。撮像部２０６は撮像素子を備え、各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として画像処理部２０７に出力する。なお、ズームユニット２０１、フォーカスユニット２０３、撮像部２０６は、鏡筒１０２内に配置されている。
【００１６】
画像処理部２０７はアナログ画像信号をＡ／Ｄ変換して得られたデジタル画像データに対して、歪曲補正、ホワイトバランス調整、色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換され、メモリ２１５に記憶されたり後述する映像出力部２１７に送信される。
【００１７】
鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動し、鏡筒１０２をチルト方向とパン方向に回動させる。装置揺れ検出部２０９は、カメラ１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、カメラ１０１の３軸方向の加速度を検出する加速度計（加速度センサ）１０７を備える。そして、それらのセンサにより検出された信号に基づいて、装置の回転角度や装置のシフト量などが算出される。
【００１８】
音声入力部２１３は、カメラ１０１に設けられたマイクによりカメラ１０１の周辺の音声信号を取得し、デジタル音声信号に変換して音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７、音声処理部２１４により得られた画像信号及び音声信号を一時的に記憶する。
【００１９】
画像処理部２０７及び音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。
【００２０】
記録再生部２２０は、記録媒体２２１に対して画像処理部２０７及び音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。
【００２１】
記録媒体２２１は、カメラ１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、カメラ１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができる。一般的には、記録媒体２２１には不揮発性メモリ２１６よりも大容量な媒体が使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
【００２２】
記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして、第１制御部２２３は、読み出された圧縮画像信号、圧縮音声信号を、画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７に送信する。
【００２３】
音声入力部２１３には複数のマイクが配置されており、音声処理部２１４は複数のマイクが設置された平面に対する音の方向を検出することができ、後述する被写体の探索や自動撮影に用いられる。さらに、音声処理部２１４では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データに基づいて機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されており、特定音シーンや特定音声コマンドを検出する。音声処理部２１４が特定音シーンや特定音声コマンドを検出すると、第１制御部２２３や第２制御部２１１に、検出トリガー信号を出力する。
【００２４】
カメラ１０１のメインシステム全体を制御する第１制御部２２３とは別に、この第１制御部２２３の供給電源を制御する第２制御部２１１が設けられている。第１電源部２１０と第２電源部２１２は、第１制御部２２３と第２制御部２１１を動作させるための電力をそれぞれ供給する。カメラ１０１に設けられた電源ボタンの押下により、まず第１制御部２２３と第２制御部２１１の両方に電源が供給されるが、後述するように、第１制御部２２３は、第１電源部２１０へ自らの電源供給をＯＦＦする制御も行う。第１制御部２２３が動作していない間も、第２制御部２１１は動作しており、装置揺れ検出部２０９や音声処理部２１４からの情報が入力される。第２制御部２１１は、各種入力情報に基づいて、第１制御部２２３を起動するか否かの判定を行い、起動することが判定されると、第１電源部２１０に第１制御部２２３へ電力を供給するように指示する。
【００２５】
音声出力部２１８は、例えば撮影時などにカメラ１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。ＬＥＤ制御部２２４は、例えば撮影時などに、カメラ１０１に設けられたＬＥＤを、予め設定された点灯パターンや点滅パターンに基づいて点灯させる。映像出力部２１７は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を出力する。また、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。
【００２６】
通信部２２２は、カメラ１０１と外部装置との間で通信を行う部分であり、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了のコマンド、パン・チルト、ズーム駆動等の撮影にかかわる制御信号を受信して、外部装置の指示に基づいてカメラ１０１を駆動する。また、カメラ１０１と外部装置との間で、後述する学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ（登録商標）、ＧＰＳ受信機等の無線通信モジュールを備える。
【００２７】
環境センサ２２６は、所定の周期でカメラ１０１の周辺の環境の状態を検出する。環境センサ２２６は、カメラ１０１周辺の温度を検出する温度センサ、カメラ１０１周辺の気圧の変化を検出する気圧センサ、カメラ１０１周辺の明るさを検出する照度センサを有する。さらに、カメラ１０１周辺の湿度を検出する湿度センサ、カメラ１０１周辺の紫外線量を検出するＵＶセンサ等も有する。検出した温度情報や気圧情報や明るさ情報や湿度情報やＵＶ情報に加え、検出した各種情報から所定時間間隔での変化率を算出した温度変化量や気圧変化量や明るさ変化量や湿度変化量や紫外線変化量などを後述する自動撮影などの判定に使用する。
【００２８】
＜外部装置との通信＞
図３は、カメラ１０１と外部装置３０１との無線通信システムの構成例を示す図である。カメラ１０１は撮影機能を有するデジタルカメラであり、外部装置３０１はＢｌｕｅｔｏｏｔｈ通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。
【００２９】
カメラ１０１と外部装置３０１は、例えばＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる第１の通信３０２と、例えばＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ）などの、制御局と従属局などの主従関係を有する第２の通信３０３とによって通信可能である。なお、無線ＬＡＮ及びＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、無線ＬＡＮなどの第１の通信３０２は、ＢＬＥなどの第２の通信３０３より高速な通信が可能であり、また、第２の通信３０３は、第１の通信３０２よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。
【００３０】
外部装置３０１の構成を図４を用いて説明する。外部装置３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、及び、ＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆無線制御部４０６を有する。また、外部装置３０１は、パケット送受信部４０３をさらに有する。無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバ処理や無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバ処理やＢＬＥによる通信に関するプロトコル処理を行う。公衆無線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバ処理や公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本実施形態では、外部装置３０１は、通信においてパケットの送信と受信の少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。
【００３１】
外部装置３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、音声入力音声処理部４０９、電源部４１０をさらに有する。制御部４１１は、例えば、記憶部４０４に記憶された制御プログラムを実行することにより、外部装置３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。
【００３２】
電源部４１０は、外部装置３０１に電力を供給する。表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによる外部装置３０１の操作を受け付けるボタン等を含む。なお、表示部４０７及び操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されていてもよい。
【００３３】
音声入力音声処理部４０９は、例えば外部装置３０１に内蔵された汎用的なマイクにより、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を識別する構成にしてもよい。また、外部装置３０１内の専用のアプリケーションを用いて、ユーザの発音により音声コマンドを取得し、無線ＬＡＮによる第１の通信３０２を介して、カメラ１０１の音声処理部２１４に認識させるための特定音声コマンドとして登録することもできる。
【００３４】
ＧＰＳ（Ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）受信部４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、外部装置３０１の現在位置（経度・緯度情報）を推定する。もしくは、ＷＰＳ（Ｗｉ−Ｆｉ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、外部装置３０１の現在位置を推定するようにしてもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（検出位置を中心といて所定半径の範囲以内）に位置している場合や、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御部４０２を介してカメラ１０１へ移動情報を通知する。そして、後述する自動撮影や自動編集のためのパラメータとして使用する。
【００３５】
上記のようにカメラ１０１と外部装置３０１は、無線ＬＡＮ制御部４０１、及び、ＢＬＥ制御部４０２を用いた通信により、データのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部装置３０１からカメラ１０１への撮影指示などの送信、音声コマンド登録データの送信、ＧＰＳ位置情報に基づいた所定位置検出通知の送信、場所移動通知の送信等を行う。また、外部装置３０１内の専用のアプリケーションを用いての学習用データの送受信も行う。
【００３６】
＜アクセサリ類の構成＞
図５は、カメラ１０１と通信可能である外部装置５０１の構成例を示す図である。カメラ１０１は撮影機能を有するデジタルカメラであり、外部装置５０１は、例えばＢｌｕｅｔｏｏｔｈ通信モジュールなどによりカメラ１０１と通信可能である各種センシング部を含むウエアラブルデバイスである。
【００３７】
外部装置５０１は、例えばユーザの腕などに装着できるように構成されており、所定の周期でユーザの脈拍、心拍、血流等の生体情報を検出するセンサやユーザの運動状態を検出できる加速度センサ等が搭載されている。
【００３８】
生体情報検出部６０２は、例えば、脈拍を検出する脈拍センサ、心拍を検出する心拍センサ、血流を検出する血流センサ、導電性高分子を用いた皮膚の接触によって電位の変化を検出するセンサを含む。本実施形態では、生体情報検出部６０２として心拍センサを用いて説明する。心拍センサは、例えばＬＥＤ等を用いて皮膚に赤外光を照射し、体組織を透過した赤外光を受光センサで検出して信号処理することによりユーザの心拍を検出する。生体情報検出部６０２は、検出した生体情報を信号として制御部６０７（図６参照）へ出力する。
【００３９】
ユーザの運動状態を検出する揺れ検出部６０３は、例えば、加速度センサやジャイロセンサを備えており、加速度の情報に基づきユーザが移動しているか、腕を振り回してアクションをしているかなどのモーションを検出することができる。また、ユーザによる外部装置５０１の操作を受け付ける操作部６０５や、ＬＣＤやＬＥＤのように視覚で認知可能な情報を出力するモニタなどの表示部６０４が搭載されている。
【００４０】
図６は、外部装置５０１の構成を示す図である。上述したように、外部装置５０１は、例えば、制御部６０７、通信部６０１、生体情報検出部６０２、揺れ検出部６０３、表示部６０４、操作部６０５、電源部６０６、記憶部６０８を有する。
【００４１】
制御部６０７は、例えば、記憶部６０８に記憶された制御プログラムを実行することにより、外部装置５０１全体を制御する。記憶部６０８は、例えば制御部６０７が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶している。後述する各種動作は、例えば記憶部６０８に記憶された制御プログラムを制御部６０７が実行することにより、実現される。
【００４２】
電源部６０６は、外部装置５０１に電力を供給する。表示部６０４は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力部、又はスピーカー等の音出力が可能な出力部を有し、各種情報の表示を行う。操作部６０５は、例えばユーザによる外部装置５０１の操作を受け付けるボタン等を備える。なお、表示部６０４及び操作部６０５は、例えばタッチパネルなどの共通する部材によって構成されていてもよい。また、操作部６０５は、例えば外部装置５０１に内蔵された汎用的なマイクによりユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を識別するように構成されていてもよい。
【００４３】
生体情報検出部６０２や揺れ検出部６０３により取得され制御部６０７で処理された各種検出情報は、通信部６０１により、カメラ１０１へ送信される。例えば、ユーザの心拍の変化を検出したタイミングで検出情報をカメラ１０１に送信したり、歩行移動／走行移動／立ち止まりなどの移動状態の変化のタイミングで検出情報を送信したりすることができる。また、予め設定された腕ふりのモーションを検出したタイミングで検出情報を送信したり、予め設定された距離の移動を検出したタイミングで検出情報を送信したりすることもできる。
【００４４】
＜カメラの動作シーケンス＞
図７は、本実施形態におけるカメラ１０１の第１制御部２２３が受け持つ動作の例を説明するフローチャートである。
【００４５】
ユーザがカメラ１０１に設けられた電源ボタンを操作すると、第１電源部２１０から第１制御部２２３及びカメラ１０１の各ブロックに電力が供給される。また、同様に、第２電源部２１２から第２制御部２１１に電力が供給される。第２制御部２１１の動作の詳細については、図８のフローチャートを用いて後述する。
【００４６】
電力が供給されると、図７の処理がスタートする。ステップＳ７０１では、起動条件の読み込みが行われる。本実施形態においては、電源が起動される条件には以下の３つの場合がある。
（１）電源ボタンが手動で押下されて電源が起動される
（２）外部装置（例えば外部装置３０１）から外部通信（例えばＢＬＥ通信）により起動指示が送られ、電源が起動される
（３）第２制御部２１１の指示により、電源が起動される
ここで、（３）の第２制御部２１１の指示により電源が起動される場合は、第２制御部２１１内で演算された起動条件が読み込まれることになるが、詳細は図８を用いて後述する。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の１つのパラメータ要素として用いられるが、それについても後述する。起動条件読み込みが終了するとステップＳ７０２に進む。
【００４７】
ステップＳ７０２では、各種センサの検出信号の読み込みが行われる。ここで読み込まれるセンサの信号は、１つは、装置揺れ検出部２０９におけるジャイロセンサや加速度センサなどの振動を検出するセンサの信号である。また、チルト回転ユニット１０４やパン回転ユニット１０５の回転位置の信号である。さらには、音声処理部２１４で検出される音声信号、特定音声認識の検出トリガー信号、音方向検出信号、環境センサ２２６で検出される環境情報の検出信号などである。ステップＳ７０２で各種センサの検出信号の読み込みが行われると、ステップＳ７０３に進む。
【００４８】
ステップＳ７０３では、外部装置から通信指示が送信されているかを検出し、通信指示があった場合、外部装置との通信を行う。例えば、外部装置３０１からの、無線ＬＡＮやＢＬＥを介したリモート操作、音声信号、画像信号、圧縮音声信号、圧縮画像信号などの送受信、外部装置３０１からの撮影などの操作指示、音声コマンド登録データの送信、ＧＰＳ位置情報に基づいた所定位置検出通知、場所移動通知、学習用データの送受信等の読み込みを行う。また、外部装置５０１から、ユーザの運動情報、腕のアクション情報、心拍などの生体情報の更新がある場合、ＢＬＥを介した情報の読み込みを行う。なお、上述した環境センサ２２６は、カメラ１０１に搭載されていてもよいが、外部装置３０１或いは外部装置５０１に搭載されていてもよい。その場合、ステップＳ７０３では、ＢＬＥを介した環境情報の読み込みも行う。ステップＳ７０３で外部装置からの通信読み込みが行われると、ステップＳ７０４に進む。
【００４９】
ステップＳ７０４では、モード設定判定が行われ、ステップＳ７０５に進む。ステップＳ７０５ではステップＳ７０４で動作モードが低消費電力モードに設定されているか否かを判定する。後述する「自動撮影モード」、「自動編集モード」、「画像自動転送モード」、「学習モード」、「ファイル自動削除モード」、の何れのモードでもない場合は、低消費電力モードになるように判定される。ステップＳ７０５で、低消費電力モードであると判定されると、ステップＳ７０６に進む。
【００５０】
ステップＳ７０６では、第２制御部２１１（ＳｕｂＣＰＵ）へ、第２制御部２１１内で判定する起動要因に係る各種パラメータ（揺れ検出判定用パラメータ、音検出用パラメータ、時間経過検出パラメータ）を通知する。各種パラメータは後述する学習処理で学習されることによって値が変化する。ステップＳ７０６の処理を終了すると、ステップＳ７０７に進み、第１制御部２２３（ＭａｉｎＣＰＵ）の電源をＯＦＦして、処理を終了する。
【００５１】
ステップＳ７０５で、低消費電力モードでないと判定されると、ステップＳ７０９において、ステップＳ７０４におけるモード設定が自動撮影モードか否かを判定する。ここで、ステップＳ７０４でのモード設定判定の処理について説明する。判定されるモードは、以下の中から選択される。
【００５２】
（１）自動撮影モード
＜モード判定条件＞
学習設定された各検出情報（画像、音、時間、振動、場所、身体の変化、環境変化）、自動撮影モードに移行してからの経過時間、過去の撮影情報・撮影枚数などの情報から、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
【００５３】
＜モード内処理＞
自動撮影モード処理（ステップＳ７１０）では、各検出情報（画像、音、時間、振動、場所、体の変化、環境変化）に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、撮影者の好みの撮影が行えるタイミングであると判定されると自動で撮影が行われる。
【００５４】
（２）自動編集モード
＜モード判定条件＞
前回自動編集を行ってからの経過時間、過去の撮影画像情報から、自動編集を行うべきと判定されると、自動編集モードに設定される。
【００５５】
＜モード内処理＞
自動編集モード処理（ステップＳ７１２）では、学習に基づいた静止画像や動画像の選抜処理を行い、学習に基づいて、画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。
【００５６】
（３）画像転送モード
＜モード判定条件＞
外部装置３０１内の専用のアプリケーションを用いた指示により、画像自動転送モードに設定されている場合、前回画像転送を行ってからの経過時間と過去の撮影画像情報から、自動転送を行うべきと判定されると、自動画像転送モードに設定される。
【００５７】
＜モード内処理＞
画像自動転送モード処理（ステップＳ７１４）では、カメラ１０１は、ユーザの好みに合うであろう画像を自動で抽出し、外部装置３０１にユーザの好みと思われる画像を自動で転送する。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアにより行われる。
【００５８】
（４）学習モード
＜モード判定条件＞
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に一体となった情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習送モードに設定される。または、外部装置３０１からの通信を介して学習モードが設定されるように指示があった場合もこのモードに設定される。
【００５９】
＜モード内処理＞
学習モード処理（ステップＳ７１６）では、外部装置３０１での各操作情報（カメラからの画像取得情報、専用アプリケーションを介して手動編集した情報、カメラ内の画像に対してユーザが入力した判定値情報）、外部装置３０１からの学習情報の通知などに基づいて、ニューラルネットワークを用いて、ユーザの好みに合わせた学習を行う。また、個人認証の登録、音声登録、音シーン登録、一般物体認識登録などの、検出に関する学習や、上述した低消費電力モードの条件などの学習も同時に行われる。
【００６０】
（５）ファイル自動削除モード
＜モード判定条件＞
前回ファイル自動削除を行ってからの経過時間と、画像を記録している不揮発性メモリ２１６の残容量とに基づいて、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。
【００６１】
＜モード内処理＞
ファイル自動削除モード処理（ステップＳ７１８）では、不揮発性メモリ２１６内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるべきファイルを指定し削除する。
【００６２】
以上の各モードにおける処理の詳細については、後述する。
【００６３】
図７の説明に戻り、ステップＳ７０５で低消費電力モードでないと判定されると、ステップＳ７０９に進み、モード設定が自動撮影モードであるか否かを判定する。判定の結果、自動撮影モードであればステップＳ７１０に進み、自動撮影モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７０９で、自動撮影モードでないと判定されると、ステップＳ７１１に進む。
【００６４】
ステップＳ７１１では、モード設定が自動編集モードであるか否かを判定し、自動編集モードであればステップＳ７１２に進み、自動編集モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１１で、自動編集モードでないと判定されると、ステップＳ７１３に進む。なお、自動編集モードは、本発明の主旨に直接関係しないため、詳細な説明は省略する。
【００６５】
ステップＳ７１３では、モード設定が画像自動転送モードであるか否かを判定し、画像自動転送モードであればステップＳ７１４に進み、画像自動転送モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１３で、画像自動転送モードでないと判定されると、ステップＳ７１５に進む。なお、画像自動転送モードは、本発明の主旨に直接関係しないため、詳細な説明は省略する。
【００６６】
ステップＳ７１５では、モード設定が学習モードであるか否かを判定し、学習モードであればステップＳ７１６に進み、学習モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１５で、学習モードでないと判定されると、ステップＳ７１７に進む。
【００６７】
ステップＳ７１７では、モード設定がファイル自動削除モードであるか否かを判定し、ファイル自動削除モードであればステップＳ７１８に進み、ファイル自動削除モード処理が行われる。処理が終了すると、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７１７で、ファイル自動削除モードでないと判定されると、ステップＳ７０２に戻り、処理を繰り返す。なお、ファイル自動削除モードは、本発明の主旨に直接関係しないため、詳細な説明は省略する。
【００６８】
図８は、本実施形態におけるカメラ１０１の第２制御部２１１が受け持つ動作の例を説明するフローチャートである。
【００６９】
ユーザがカメラ１０１に設けられた電源ボタンを操作すると、第１電源部２１０から第１制御部２２３及びカメラ１０１の各ブロックに電力が供給される。また、同様に、第２電源部２１２から第２制御部２１１に電力が供給される。
【００７０】
電力が供給されると、第２制御部（ＳｕｂＣＰＵ）２１１が起動され、図８の処理がスタートする。ステップＳ８０１では、所定サンプリング周期が経過したか否かを判定する。所定サンプリング周期は、例えば１０ｍｓｅｃに設定され、１０ｍｓｅｃ周期で、ステップＳ８０２に進む。所定サンプリング周期が経過していないと判定されると、第２制御部２１１はそのまま待機する。
【００７１】
ステップＳ８０２では、学習情報の読み込みが行われる。学習情報は、図７のステップＳ７０６での第２制御部２１１へ情報を通信する際に転送された情報であり、例えば以下の情報が含まれる。
（１）特定揺れ検出の判定（後述するステップＳ８０４で用いる）
（２）特定音検出の判定（後述するステップＳ８０５で用いる）
（３）時間経過の判定（後述するステップＳ８０７で用いる）
ステップＳ８０２で学習情報が読み込まれると、ステップＳ８０３に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部２０９におけるジャイロセンサや加速度センサなどの出力値である。
【００７２】
ステップＳ８０３で揺れ検出値が取得されると、ステップＳ８０４に進み、予め設定された特定の揺れ状態の検出処理を行う。ここでは、ステップＳ８０２で読み込まれた学習情報によって、判定処理を変更する。いくつかの例について説明する。
【００７３】
＜タップ検出＞
ユーザがカメラ１０１を例えば指先などで叩いた状態（タップ状態）を、カメラ１０１に取り付けられた加速度センサ１０７の出力値から検出することが可能である。３軸の加速度センサ１０７の出力を、所定サンプリング周期で、特定の周波数領域に設定したバンドパスフィルタ（ＢＰＦ）に通すことで、タップによる加速度変化の信号領域を抽出することができる。ＢＰＦに通した後の加速度信号が、所定時間ＴｉｍｅＡの間に、所定閾値ＴｈｒｅｓｈＡを超えた回数が、所定回数ＣｏｕｎｔＡであるか否かにより、タップ検出を行う。ダブルタップの場合は、ＣｏｕｎｔＡは２に設定され、トリプルタップの場合は、ＣｏｕｎｔＡは３に設定される。また、ＴｉｍｅＡやＴｈｒｅｓｈＡについても、学習情報によって変化させることができる。
【００７４】
＜揺れ状態の検出＞
カメラ１０１の揺れ状態を、カメラ１０１に取り付けられたジャイロセンサ１０６や加速度センサ１０７の出力値から検出することが可能である。ジャイロセンサ１０６や加速度センサ１０７の出力の高周波成分をハイパスフィルタ（ＨＰＦ）でカットし、低周波成分をローパスフィルタ（ＬＰＦ）でカットした後、絶対値変換を行う。算出した絶対値が、所定時間ＴｉｍｅＢの間に、所定閾値ＴｈｒｅｓｈＢを超えた回数が、所定回数ＣｏｕｎｔＢ以上であるか否かにより、振動検出を行う。これにより、例えばカメラ１０１を机などに置いたような揺れが小さい状態か、カメラ１０１をウエアラブルカメラとして体に装着して歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数設けることにより、揺れレベルに応じた細かい揺れ状態を検出することも可能である。ＴｉｍｅＢやＴｈｒｅｓｈＢやＣｏｕｎｔＢについても、学習情報によって変化させることができる。
【００７５】
上記では、揺れ検出センサの検出値を判定することにより、特定の揺れ状態を検出する方法について説明した。しかし、所定時間内でサンプリングされた揺れ検出センサのデータから、ニューラルネットワークを用いた揺れ状態判定器に入力することで、学習させたニューラルネットワークにより、事前に登録しておいた特定の揺れ状態を検出することも可能である。その場合、ステップＳ８０２での学習情報読み込みはニューラルネットワークの重みパラメータとなる。
【００７６】
ステップＳ８０４で特定の揺れ状態の検出処理が行われると、ステップＳ８０５に進み、予め設定された特定の音の検出処理を行う。ここでは、ステップＳ８０２で読み込まれた学習情報によって、検出判定処理を変更する。いくつかの例について説明する。
【００７７】
＜特定音声コマンド検出＞
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる。
【００７８】
＜特定音シーン認識＞
予め大量の音声データに基づいて、機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。検出するシーンは学習によって変化する。
【００７９】
＜音レベル判定＞
音声レベルの大きさが所定時間の間、所定の大きさを超えているかを判定することよって、音レベルの検出を行う。所定時間や所定の大きさなどが学習によって変化する。
【００８０】
＜音方向判定＞
平面上に配置された複数のマイクにより、所定の大きさの音について、音の方向を検出する。
【００８１】
音声処理部２１４内で上記の判定処理が行われ、事前に学習された各設定により、特定の音の検出がされたかをステップＳ８０５で判定する。
【００８２】
ステップＳ８０５で特定の音の検出処理が行われると、ステップＳ８０６に進み、第１制御部２２３の電源がＯＦＦ状態であるか否かを判定する。第１制御部２２３（ＭａｉｎＣＰＵ）がＯＦＦ状態であれば、ステップＳ８０７に進み、予め設定された時間の経過検出処理を行う。ここでは、ステップＳ８０２で読み込まれた学習情報によって、検出判定処理を変更する。学習情報は、図７で説明したステップＳ７０６での第２制御部２１１へ情報を通信する際に転送された情報である。第１制御部２２３がＯＮからＯＦＦへ遷移したときからの経過時間が計測され、経過時間が所定の時間ＴｉｍｅＣ以上であれば、時間が経過したと判定し、ＴｉｍｅＣより短かければ、時間が経過していないと判定される。ＴｉｍｅＣは、学習情報によって変化するパラメータである。
【００８３】
ステップＳ８０７で時間経過検出処理が行われると、ステップＳ８０８に進み、低消費電力モードを解除する条件が成立したか否かを判定する。低消費電力モード解除は以下の条件によって判定される。
（１）特定の揺れが検出されたこと
（２）特定の音が検出されたこと
（３）所定の時間が経過したこと
（１）については、ステップＳ８０４での特定揺れ状態検出処理により、特定の揺れが検出されたか否かが判定されている。（２）については、ステップＳ８０５での特定音検出処理により、特定の音が検出されたか否かが判定されている。（３）については、ステップＳ８０７での時間経過検出処理により、所定の時間が経過したか否かが判定されている。（１）〜（３）の少なくとも１つが成立すれば、低消費電力モード解除を行うように判定される。
【００８４】
ステップＳ８０８で低消費電力モードの解除が判定されると、ステップＳ８０９に進み第１制御部２２３の電源をＯＮし、ステップＳ８１０で、低消費電力モードの解除が判定された条件（揺れ、音、時間のいずれか）を第１制御部２２３に通知する。そして、ステップＳ８０１に戻り処理をループする。ステップＳ８０８で何れの解除条件にも当てはまらず、低消費電力モード解除の条件ではないと判定されると、ステップＳ８０１に戻り処理をループする。
【００８５】
一方、ステップＳ８０６で、第１制御部２２３がＯＮ状態であると判定された場合、ステップＳ８１１に進み、ステップＳ８０３〜Ｓ８０５までで取得した情報を第１制御部２２３に通知し、ステップＳ８０１に戻り処理をループする。
【００８６】
本実施形態においては、第１制御部２２３がＯＮ状態である場合でも、揺れ検出や特定音の検出を第２制御部２１１で行い、検出結果を第１制御部２２３に通知する構成にしている。しかし、第１制御部２２３がＯＮの場合は、ステップＳ８０３〜Ｓ８０５の処理を行わず、第１制御部２２３内の処理（図７のステップＳ７０２）で揺れ検出や特定音の検出を行う構成にしてもよい。
【００８７】
上述したように、図７のステップＳ７０４〜Ｓ７０７や、図８の処理を行うことにより、低消費電力モードに移行する条件や低消費電力モードを解除する条件が、ユーザの操作に基づいて学習される。そして、カメラ１０１を所有するユーザの使い勝手に合わせたカメラ動作を行うことが可能となる。学習の方法については後述する。
【００８８】
なお、上記において、揺れ検出や音検出や時間経過により低消費電力モードを解除する方法について詳しく説明したが、環境情報により低消費電力モードの解除を行ってもよい。環境情報は、温度、気圧、明るさ、湿度、紫外線量の絶対量や変化量が所定閾値を超えたか否かにより判定することができ、後述する学習により閾値を変化させることもできる。
【００８９】
また、揺れ検出や音検出や時間経過の検出情報や、各環境情報の絶対値や変化量をニューラルネットワークに基づいて判断し、低消費電力モードを解除する判定をしてもよい。この判定処理は、後述する学習によって、判定条件を変更することができる。
【００９０】
＜自動撮影モード処理＞
図９Ａを用いて、自動撮影モード処理について説明する。まず、ステップＳ９０１において、撮像部２０６により取り込まれた信号に対して、画像処理部２０７で画像処理を行い、被写体検出用の画像を生成する。生成された画像に対して、人物や物体などを検出する被写体検出処理が行われる。
【００９１】
人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内においてそのパターンに一致する箇所を、人物の顔領域として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出する。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致程度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。
【００９２】
また、撮像された画像内の色相や彩度等のヒストグラムを用いて特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けされ、同一の区間の組み合わせに属する領域において撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法で、撮像情報から各被写体情報を得ることができる。
【００９３】
ステップＳ９０２では、像ブレ補正量の算出を行う。具体的には、まず、装置揺れ検出部２０９において取得した角速度および加速度情報に基づいてカメラの揺れの絶対角度を算出する。そして、その絶対角度を打ち消す角度方向にチルト回転ユニット１０４およびパン回転ユニット１０５を動かして像ブレを補正する角度を求め、像ブレ補正量とする。なお、ここでの像ブレ補正量算出処理は、後述する学習処理によって、算出方法を変更することが出来る。
【００９４】
ステップＳ９０３では、カメラの状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報などで検出したカメラ角度やカメラ移動量などにより、現在カメラがどのような振動／動き状態なのかを判定する。例えば、車にカメラ１０１を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用する。また、カメラの角度の変化が大きいか否かを判定し、カメラ１０１の揺れがほとんどない「置き撮り状態」であるのかを判定する。「置き撮り状態」である場合は、カメラ１０１自体の位置変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。また、比較的カメラの角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。
【００９５】
ステップＳ９０４では、被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
（１）エリア分割
（２）エリア毎の重要度レベルの算出
（３）探索対象エリアの決定
以下、各処理について順次説明する。
【００９６】
（１）エリア分割
図１０を用いて、エリア分割について説明する。図１０（ａ）のようにカメラ（原点Ｏがカメラ位置とする）位置を中心として、全周囲でエリア分割を行う。図１０（ａ）の例においては、チルト方向、パン方向をそれぞれ２２．５度ごとに分割している。図１０（ａ）のように分割すると、チルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図１０（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲を２２．５度よりも大きく設定している。
【００９７】
図１０（ｃ）、１０（ｄ）に撮影画角内でのエリア分割された領域の例を示す。軸１３０１は初期化時のカメラ１０１の向きであり、この方向を基準位置としてエリア分割が行われる。１３０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図１０（ｄ）に示す。撮像されている画角の画像内では、エリア分割に基づいて、図１０（ｄ）で符号１３０３〜１３１８で示されるように画像が分割される。
【００９８】
（２）エリア毎の重要度レベルの算出
上記のように分割した各エリアについて、エリア内に存在する被写体の状況やシーンの状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果等に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等に基づいて算出される。
【００９９】
また、図９Ａのカメラ状態判定（ステップＳ９０３）で、カメラの振動が検出されている場合、振動状態に応じても重要度レベルが変化するようにすることもできる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体（例えばカメラの所有者）を中心に被写体探索が行われるように判定される。また、後述する自動撮影も例えばカメラの所有者の顔を優先して行われる。これにより、カメラの所有者がカメラを身に着けて持ち歩き撮影を行っている時間が多くても、カメラを取り外して机の上などに置くことで、所有者が写った画像も多く残すことができる。このときパン・チルトにより顔の探索が可能であることから、カメラの置き角度などを考えなくても、適当に設置するだけで所有者が写った画像やたくさんの顔が写った集合写真などを残すことができる。
【０１００】
なお、上記の条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するステップＳ９１０において撮影を行ったエリアでは、所定時間の間重要度レベルを下げてもよい。
【０１０１】
さらに、カメラの所有者がカメラを身に着ける場合や、車などに装着した場合など、カメラが移動しているときには、パン・チルトして周辺の被写体探索をしても、撮影するときには既に被写体が見えなくなっている場合がある。あるいは、遠ざかって小さくなり過ぎてしまい、被写体探索がムダになってしまうことがある。そのため、ステップＳ９０３で検出したカメラの角速度情報、加速度情報、ＧＰＳ位置情報、さらには撮影画像中から座標ごとに算出した動きベクトルなどから、カメラの移動方向や移動速度を算出する。そして、それらに基づいて、進行方向から遠いエリアは最初から被写体は無いものとしてもよいし、逆に重要被写体を撮り逃さないために、高速移動中は被写体探索時間間隔を短くするなど、探索時間間隔を移動速度に応じて変化させてもよい。
【０１０２】
ここで、エリア毎の重要度レベルを求める際のズーム位置について補足する。エリア毎の重要度レベルの初回算出時や、重要度レベルを算出してから所定時間経過した場合は、ズームユニット２０１を広角側に駆動した状態でエリア毎の重要度の算出を実行する。これは、重量度レベルの初回算出時や、重要度レベルを算出してから所定時間経過した場合は、重要な被写体がどこに存在するか分からないため、広い領域を探索する必要がある。広い領域を探索するためには広角側に制御して重要度レベルを求めたほうが探索に要する時間を短くすることができるためである。被写体対象エリアが決定した後は後述するＳ９０６によるズーム駆動を用いて被写体を追跡するが、被写体を追跡している状態ではズームユニット２０１によって被写体の大きさや背景とのバランスが適切になるように画角の制御を行う。しかし、被写体の追跡を解除して再び被写体の探索を行う場合には、ズームを広角側に駆動してから、エリア毎の重要度レベルの算出を行うものとする。
【０１０３】
なお、パン回転ユニット１０５はモーターによる回転駆動だけでなく手動で位置を動かすことのできる機構を備えており、手動で位置を決めることも可能である。手動でパン動作されたことはパン回転ユニットを駆動するときに用いるパルスセンサーによって検出することが可能である。エリア毎の重要度レベルを算出しているときに、この機構を利用して手動でパン動作された場合は、手動で指示されたエリアが最も重要であるとみなして、そのエリアの重要度を非常に高い値に設定することにより、ユーザ意図を反映した探索対象エリアの決定が可能である。また、被写体の追跡を行っている状態において、手動でパン動作された場合には、速やかにズームを広角側に制御したうえで、エリア毎の重要度レベルの算出をやり直すことにより、やはりユーザ意図を反映した探索対象エリアの決定を可能にする。
【０１０４】
このとき、手動でパン動作された際の手動制御量に応じて広角側へ動かすズーム制御量を変えてもよい。つまり、手動で大きくパン動作された際にはズームを広角側の端まで制御し、エリア毎の重要度レベルを消去する。一方、小さくパン動作された際には少しだけ広角側にし、このときはエリア毎の重要度レベルを保持することで、被写体を正しく捉える可能性を上げることに役立つ。
【０１０５】
また、チルト駆動について補足しておくと、被写体探索を行う際には、まず水平位置からエリア探索を行う。特に手動でパン動作された場合には、地面に対して水平になるようにチルト駆動して被写体探索し、その次には、手動パン動作される前のチルト方向に戻って被写体探索を行うことで、より早く重要被写体を見つけることができる。
【０１０６】
図９Ｂは、上記で概略を説明したエリア毎の重要度レベルを求める際のズーム制御動作を示すフローチャートである。
【０１０７】
エリア毎の重要度レベルを求める動作が開始されると、ステップＳ９３１では、現在被写体を追跡中であるか否かが判定される。カメラが被写体を追跡中であれば、ステップＳ９３４に進み、追跡中でなければ、ステップＳ９３２に進む。
【０１０８】
ステップＳ９３２では、エリア毎の重要度レベルの算出が初回であるか否かが判定される。重要度レベルの算出が初回であれば、ステップＳ９３４に進み、初回でなければ、ステップＳ９３３に進む。
【０１０９】
ステップＳ９３３では、エリア毎の重要度レベルの前回の算出から所定時間が経過しているか否かが判定される。所定時間が経過している場合には、再度重要度レベルを算出する必要があるので、ステップＳ９３４に進む。所定時間が経過していない場合には、現在のズーム位置（画角）を保持したまま、このフローチャートの動作を終了する。
【０１１０】
ステップＳ９３４では、手動でパン動作が行われたか否かが判定される。手動でパン動作が行われた場合は、ステップＳ９３５に進み、パン動作が行われなかった場合は、ステップＳ９４１に進む。
【０１１１】
ステップＳ９３５では、手動により行われたパン動作の動作量が所定量以上であるか否かが判定される。動作量が所定量以上である場合は、ユーザが意図的に向けた方向のエリアが最重要と考えられるので、ステップＳ９３６に進み、ズームを広角側へ駆動する。このとき、ステップＳ９３５で確認したパン動作の移動量に応じてズーム側への制御量を調節することで、ユーザが意図した被写体を捉えることができる。その上で、エリア毎の重要度レベルの算出をやり直すために、ステップＳ９３７に進む。
【０１１２】
ステップＳ９３７では、以前に記憶されている重要度レベルを消去し、ステップＳ９３８に進む。ステップＳ９３８では、画角が水平になるようにチルト駆動し、ステップＳ９３９において、重要度レベルの再算出を行う。
【０１１３】
一方、ステップＳ９３４、Ｓ９３５において、手動でパン動作が行われなかった場合、あるいは手動でパン動作が行われてもその動作量が小さかった場合には、ステップＳ９４１において、広角端より少し手前の所定の広角位置へズームアウトを行う。そして、ステップＳ９４２では、記憶されている重要度レベルを保持する。あるいは、重要度レベルの算出が初回である場合には、重要度レベルを算出する。
【０１１４】
以上のように、エリア毎の重要度レベルを算出する場合に、上記のようなズーム制御を行うことにより、より早く重要被写体を見つけることが可能となる。
【０１１５】
（３）探索対象エリアの決定
上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
【０１１６】
図９Ａの説明に戻って、ステップＳ９０５では、パン・チルト駆動を行う。具体的には、制御サンプリング周波数での、像ブレ補正量と、パン・チルト探索目標角度に基づいた駆動角度とを加算することにより、パン・チルト駆動量を算出する。そして、鏡筒回転駆動部２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。
【０１１７】
ステップＳ９０６ではズームユニット２０１を制御し、ズーム駆動を行う。具体的には、ステップＳ９０４で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔である場合、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出が出来ず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体やカメラ自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことが出来る。
【０１１８】
ステップＳ９０７では、手動による撮影指示があったか否かを判定し、手動撮影指示があった場合、ステップＳ９１０に進む。この時、手動による撮影指示は、シャッターボタン押下によるもの、カメラ筺体を指等で軽く叩くこと（タップ）によるもの、音声コマンド入力によるもの、外部装置からの指示によるものなどのいずれでもよい。タップ操作をトリガーとする撮影指示は、ユーザがカメラ筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知することにより判定される。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理部２１４で音声を認識し、撮影のトリガーとする撮影指示方法である。外部装置からの指示は、例えばカメラとＢｌｕｅＴｏｏｔｈ接続したスマートフォン等から、専用のアプリケーションを用いて送信されたシャッター指示信号をトリガーとする撮影指示方法である。
【０１１９】
ステップＳ９０７で手動による撮影指示がなかった場合には、ステップＳ９０８に進み、自動撮影判定を行う。自動撮影判定では、自動撮影を行うか否かの判定と、撮影方法の判定（静止画撮影、動画撮影、連写、パノラマ撮影などの内どれを実行するかの判定）を行う。
【０１２０】
＜自動撮影を行うか否かの判定＞
自動撮影を行うか否かの判定は以下のように行われる。具体的には、以下の２つの場合に、自動撮影を実行すると判定する。１つは、ステップＳ９０４において得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施すると判定する。２つめは、ニューラルネットワークに基づく判定である。
【０１２１】
ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図１１に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。図１１の１２０１およびその縦に並ぶ丸は入力層のニューロンを示し、１２０３およびその縦に並ぶ丸は中間層のニューロンを示し、１２０４は出力層のニューロンを示す。１２０２で示すような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンやカメラの状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴としては、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度、目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か、振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用する。更に、外部装置５０１からの情報通知がある場合、通知情報（ユーザの運動情報、腕のアクション情報、心拍などの生体情報など）も特徴として使用する。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。
【０１２２】
なお、このニューラルネットワークに基づく判断は、後述する学習処理で各ニューロン間の結合重みを変化させることによって、出力値を変化させることができ、判断の結果を学習結果に適応させることが出来る。
【０１２３】
また、図７のステップＳ７０２で読み込んだ第１制御部２２３の起動条件によって、自動撮影の判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合は、ユーザが現在撮影してほしいための操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定される。
【０１２４】
＜撮影方法の判定＞
撮影方法の判定では、ステップＳ９０１〜Ｓ９０４において検出した、カメラの状態や周辺の被写体の状態に基づいて、静止画撮影、動画撮影、連写撮影、パノラマ撮影などの内どれを実行するかを判定する。例えば、被写体（人物）が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写撮影を実行する。また、被写体がカメラを取り囲むように複数存在している場合や、前述したＧＰＳ情報に基づいて景勝地であるということが判断出来ている場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。なお、＜自動撮影を行うか否かの判定＞での判定方法と同様に、撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、撮影方法を決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。
【０１２５】
図９Ａの説明に戻って、ステップＳ９０９では、ステップＳ９０８の自動撮影判定により自動撮影する判定が下された場合、ステップＳ９１０に進み、自動撮影する判定が下されなかった場合、自動撮影モード処理を終了する。
【０１２６】
ステップＳ９１０では、自動撮影を開始する。この時、ステップＳ９０８において判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理が行われ、画像が生成される。
【０１２７】
なお、この撮影の際に、所定の条件を満たした場合、カメラが撮影対象となる人物に対し撮影を行う旨を報知した上で撮影するようにしてもよい。報知の方法として、例えば、音声出力部２１８からの発音やＬＥＤ制御部２２４によるＬＥＤ点灯等を使用してもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度、目瞑り度、被写体人物の視線角度や顔角度、顔認証ＩＤ番号、個人認証登録されている人物の数、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否か、振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等である。これらの条件に基づいて報知撮影を行うことによって、重要性が高いシーンにおいて好ましいカメラ目線の画像を残すことが出来る。
【０１２８】
このような撮影前の報知についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、報知の方法やタイミングを決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。
【０１２９】
ステップＳ９１１では、ステップＳ９１０において生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果処理、ボケ効果処理、色変換フィルタ効果処理などである。画像加工では、ステップＳ９１０において生成した画像に基づいて、上記の処理の組み合わせによって複数の加工画像を生成し、ステップＳ９１０において生成した画像とは別に保存するようにしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。ステップＳ９１１での編集についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、画像加工の方法を決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。
【０１３０】
ステップＳ９１２では、撮影画像の学習情報生成処理を行う。ここでは、後述する学習処理に使用する情報を生成し、記録する。具体的には、今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数、顔の笑顔度、目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否か、振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）、動画撮影時間、手動撮影指示によるものか否か、等である。更にユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアも演算する。これらの情報を生成し、撮影画像ファイルへタグ情報として記録する。あるいは、不揮発性メモリ２１６へ書き込むか、記録媒体２２１内に、所謂カタログデータとして各々の撮影画像の情報をリスト化した形式で保存するようにしてもよい。
【０１３１】
ステップＳ９１３では過去の撮影情報の更新を行う。具体的には、ステップＳ９０８で説明したエリア毎の撮影枚数、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。
【０１３２】
＜学習処理＞
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。本実施形態では、図１１に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理部２１９においてユーザの好みに合わせた学習を行う。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や自動編集、被写体探索に対して、ユーザの好みに合わせた学習を行う。また、ニューラルネットワークに入力する特徴データともなる被写体情報（顔認証や一般物体認識などの結果）の登録や、撮影報知制御や低消費電力モード制御やファイル自動削除を学習により変更する動作も行う。
【０１３３】
本実施形態において、学習処理が適用される動作は、以下の動作である。
（１）自動撮影
（２）自動編集
（３）被写体探索
（４）被写体登録
（５）撮影報知制御
（６）低消費電力モード制御
（７）ファイル自動削除
（８）像ブレ補正
（９）画像自動転送
なお、上記の学習処理が適用される動作のうち、自動編集、ファイル自動削除、画像自動転送については、本発明の主旨と直接関係しないので、説明を省略する。
【０１３４】
＜自動撮影＞
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図９Ａのフローチャートを用いて説明したように、撮影後（ステップＳ９１０の後）に学習用情報生成処理（ステップＳ９１２）が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報に基づいて、ニューラルネットワークの重みを変化させることにより学習を行わせる。
【０１３５】
学習は、自動撮影タイミングの判定を行うニューラルネットワークの変更と、撮影方法（静止画撮影、動画撮影、連写、パノラマ撮影など）の判定を行うニューラルネットワークの変更により行われる。
【０１３６】
＜被写体探索＞
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動的に行うための学習を行う。図９Ａのフローチャートを用いて説明したように、被写体探索処理（ステップＳ９０４）において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行う。学習は撮影画像や探索中の検出情報に基づいて行われ、ニューラルネットワークの重みを変化させることで学習結果として反映される。探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの判定を行うことにより、学習を反映した被写体探索を行う。また、重要度レベルの算出以外にも、例えば、パン・チルト探索方法（速度、動かす頻度）の制御や、カメラの移動速度に応じた被写体探索領域の制御も行う。
【０１３７】
＜被写体登録＞
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動的に行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。人と物体に対する認証登録を行い、画像の取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク付けの設定を行う。登録された情報は、各ニューラルネットワークを用いた判定のための入力として登録されることになる。
【０１３８】
＜撮影報知制御＞
撮影報知に対する学習について説明する。図９ＡのステップＳ９１０で説明したように、撮影直前に、所定の条件を満たしたとき、カメラが撮影対象となる人物に対して撮影を行う旨を報知した上で撮影することを行う。例えば、パン・チルトを駆動することにより視覚的に被写体の視線を誘導したり、音声出力部２１８から発するスピーカー音や、ＬＥＤ制御部２２４によるＬＥＤ点灯光を使用して被写体の注意を誘導したりする。上記の報知の直後に、被写体の検出情報（例えば、笑顔度、目線検出、ジェスチャー）が得られたか否かに基づいて、検出情報を学習に使用するかを判定し、ニューラルネットワークの重みを変化させることで学習する。
【０１３９】
撮影直前の各検出情報をニューラルネットワークに入力し、報知を行うか否かの判定や、各動作（音（音レベル／音の種類／タイミング）、光（点灯時間、スピード）、カメラの向き（パン・チルトモーション））の判定を行う。
【０１４０】
＜低消費電力モード制御＞
図７、図８を用いて、説明したようにＭａｉｎＣＰＵ（第１制御部２２３）への電源供給をＯＮ／ＯＦＦする制御を行うが、低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習も行う。低消費電力モードを解除する条件の学習について説明する。
【０１４１】
＜タップ検出＞
上述したとおり、所定時間ＴｉｍｅＡや所定閾値ＴｈｒｅｓｈＡを学習により変化させる。上記のタップ検出の閾値を下げた状態での仮タップ検出も行っており、タップ検出前に仮タップ検出が判定されていたか否かにより、ＴｉｍｅＡやＴｈｒｅｓｈＡのパラメータを検出し易いように設定する。また、タップ検出後のカメラ検出情報から、起動要因ではなかったと判定された場合、ＴｉｍｅＡやＴｈｒｅｓｈＡのパラメータをタップ検出し難いように設定する。
【０１４２】
＜揺れ状態検出＞
上述したとおり、所定時間ＴｉｍｅＢ、所定閾値ＴｈｒｅｓｈＢ、所定回数ＣｏｕｎｔＢなどを学習により変化させる。揺れ状態の判定結果が起動条件に入った場合、起動を行うが、起動後所定時間の間のカメラ検出情報から、起動要因ではなかったと判定されると、揺れ状態判定により起動し難いように学習する。また、揺れが大きい状態での撮影頻度が高いと判定されると、揺れ状態判定により起動し難いように設定する。
【０１４３】
＜音検出＞
ユーザが特定音声や検出したい特定音シーンや特定音レベルを、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。また、複数の検出方法を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させ、画像に含まれる前後音情報を学習し、起動要因とする音判定（特定音コマンドや、「歓声」、「拍手」などの音シーン）を設定することで学習することもできる。
【０１４４】
＜環境情報検出＞
ユーザが起動条件としたい環境情報変化を、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。例えば、温度、気圧、明るさ、湿度、紫外線量の絶対量や変化量等の特定条件によって起動させることができる。各環境情報に基づく判定閾値を学習することもできる。環境情報による起動後のカメラ検出情報から、起動要因ではなかったと判定されると、各判定閾値のパラメータを環境変化を検出し難いように設定する。
【０１４５】
また、上記の各パラメータは、電池の残容量によっても変化する。例えば、電池残量が少ないときは各種判定に入り難くなり、電池残量が多いときは各種判定に入り易くなる。具体的には、ユーザが必ずカメラを起動してほしい要因ではない揺れ状態検出結果や、音シーン検出結果でも、電池残量が多い場合には、カメラを起動すると判定されてしまう場合もある。
【０１４６】
また、低消費電力モード解除条件の判定は、揺れ検出、音検出、時間経過検出の情報、各環境情報、電池残量等からニューラルネットワークに基づいて行うこともできる。その場合、後述する方法により学習させる画像を選択させ、画像に含まれる学習情報に基づいて、ニューラルネットワークの重みを変化させることにより学習する。
【０１４７】
次に、低消費電力状態への遷移条件の学習について説明する。図７に示したとおり、ステップＳ７０４のモード設定判定において、「自動撮影モード」「自動編集モード」「画像自動転送モード」「学習モード」「ファイル自動削除モード」の何れでもないと判定されると、低消費電力モードに入る。各モードの判定条件については、上述したとおりであるが、各モードが判定される条件についても学習によって変化する。
【０１４８】
＜自動撮影モード＞
上述したとおり、エリア毎の重要度レベルを判定し、パン・チルトで被写体探索をしながら自動撮影を行うが、撮影される被写体が存在しないと判定されると、自動撮影モードが解除される。例えば、すべのエリアの重要度レベルや、各エリアの重要度レベルを加算した値が、所定閾値以下になったとき、自動撮影モードを解除する。このとき、自動撮影モードに遷移してからの経過時間によって所定閾値を下げていくことも行われる。自動撮影モードに遷移してからの経過時間が長くなるにつれて低消費電力モードへ移行し易くしている。
【０１４９】
また、電池の残容量によって所定閾値を変化させることにより、電池もちを考慮した低消費電力モード制御を行うことができる。例えば、電池残量が少ないときは閾値を大きくして低消費電力モードに移行しやすくし、電池残量が多いときは閾値を小さくして低消費電力モードに移行し難くする。ここで、前回自動撮影モードに遷移してからの経過時間と撮影枚数によって、第２制御部２１１（ＳｕｂＣＰＵ）に対して、次回の低消費電力モード解除条件のパラメータ（経過時間閾値ＴｉｍｅＣ）を設定する。上記の各閾値は学習によって変化する。学習は、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で撮影頻度や起動頻度などを設定することで行われる。
【０１５０】
また、カメラ１０１の電源ボタンをＯＮしてから、電源ボタンをＯＦＦするまでの経過時間の平均値や時間帯ごとの分布データを蓄積し、各パラメータを学習する構成にしてもよい。その場合、電源ＯＮからＯＦＦまでの時間が短いユーザに対しては低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、電源ＯＮからＯＦＦまでの時間が長いユーザに対しては間隔が長くなるように学習される。
【０１５１】
また、探索中の検出情報によっても学習される。学習によって設定された重要となる被写体が多いと判断されている間は、低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、重要となる被写体が少ない間は、間隔が長くなるように学習される。
【０１５２】
＜像ブレ補正＞
像ブレ補正に対する学習について説明する。像ブレ補正は、図９ＡのステップＳ９０２で補正量を算出し、補正量に基づいてステップＳ９０５でパン・チルトを駆動することにより行われる。像ブレ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習を行う。撮影画像に対して、例えば、ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を用いることにより、ブレの方向及び大きさを推定することが可能である。図９ＡのステップＳ９１２の学習用情報生成では、推定したブレの方向と大きさが、情報として画像に付加される。
【０１５３】
図７のステップＳ７１６での学習モード処理内で、推定したブレの方向と大きさを出力として、撮影時の各検出情報（撮影前所定時間における画像の動きベクトル情報、検出した被写体（人や物体）の動き情報、振動情報（ジャイロ出力、加速度出力、カメラ状態）を入力として、像ブレ補正用のニューラルネットワークの重みを学習させる。他にも、環境情報（温度、気圧、照度、湿度）、音情報（音シーン判定、特定音声検出、音レベル変化）、時間情報（起動からの経過時間、前回撮影時からの経過時間）、場所情報（ＧＰＳ位置情報、位置移動変化量）なども入力に加えて判定してもよい。
【０１５４】
ステップＳ９０２での像ブレ補正量の算出時において、上記各検出情報をニューラルネットワークに入力することにより、その瞬間撮影したときのブレの大きさを推定することができる。そして、推定したブレの大きさが大きいときは、シャッター速度を速くするなどの制御が可能となる。また、推定したブレの大きさが大きいときはブレ画像になってしまうので撮影を禁止するなどの方法もとることができる。
【０１５５】
また、パン・チルト駆動角度には制限があるため、駆動端に到達してしまうとそれ以上補正を行うことができないが、撮影時のブレの大きさと方向を推定することにより、露光中の像ブレを補正するためのパン・チルト駆動に必要な範囲を推定することができる。露光中の可動範囲の余裕がない場合は、像ブレ補正量を算出するフィルタのカットオフ周波数を大きくして、可動範囲を超えないように設定することにより、大きなブレを抑制することもできる。また、可動範囲を超えそうな場合は、露光直前にパン・チルトの角度を可動範囲を超えそうな方向とは逆の方向に回転してから露光開始することにより、可動範囲を確保してブレのない撮影を行うこともできる。これにより、ユーザの撮影時の特徴や使い方に合わせて像ブレ補正を学習することができるので、撮影画像がブレてしまうことを防止できる。
【０１５６】
また、上述した＜撮影方法の判定＞において、動いている被写体はブレがなく、動いていない背景が流れる撮影を行う、流し撮り撮影を行うか否かを判定してもよい。その場合、撮影前までの検出情報から、被写体をブレなく撮影するためのパン・チルト駆動速度を推定して、被写体ブレ補正を行ってもよい。この時、上記各検出情報を既に学習させているニューラルネットワークに入力することにより、駆動速度を推定することができる。学習は、画像を各ブロックに分割して、各ブロックのＰＳＦを推定することにより、主被写体が位置するブロックでのブレの方向及び大きさを推定し、その情報に基づいて行われる。
【０１５７】
また、ユーザが選択した画像の情報から、背景流し量を学習することもできる。その場合、主被写体が位置しないブロックでのブレの大きさを推定し、その情報に基づいてユーザの好みを学習することができる。学習した好みの背景流し量に基づいて、撮影時のシャッター速度を設定することにより、ユーザの好みにあった流し撮り効果が得られる撮影を自動で行うことができる。
【０１５８】
次に、学習方法について説明する。学習方法としては、「カメラ内の学習」と「通信機器との連携による学習」がある。
【０１５９】
カメラ内学習の方法について、以下説明する。本実施形態におけるカメラ内学習には、以下の方法がある。
（１）手動撮影時の検出情報による学習
（２）被写体探索時の検出情報による学習
＜手動撮影時の検出情報による学習＞
図９ＡのステップＳ９０７〜ステップＳ９１３で説明したとおり、本実施形態においては、カメラ１０１は、手動撮影と自動撮影の２つの撮影を行うことができる。ステップＳ９０７で手動撮影指示があった場合には、ステップＳ９１２において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、ステップＳ９０９において自動撮影ＯＮと判定されて撮影された場合においては、ステップＳ９１２において、撮影画像は自動で撮影された画像であると情報が付加される。
【０１６０】
ここで、手動撮影される場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔に基づいて撮影された可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習情報を基にした学習が行われるようにする。また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習を行う。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、近くの人や物体の重要度を変更するような学習を行う。
【０１６１】
＜被写体探索時の検出情報による学習＞
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を算出しておく。例えば、個人認証登録被写体の人物Ａが、個人認証登録被写体の人物Ｂと同時に写っている時間比率を計算する。そして、人物Ａと人物Ｂが画角内に入る場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理（ステップＳ７１６）で学習する。
【０１６２】
他の例では、個人認証登録被写体の人物Ａが、一般物体認識により判定された被写体「猫」と同時に写っている時間比率を計算する。そして、人物Ａと「猫」が画角内に入る場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理（ステップＳ７１６）で学習する。
【０１６３】
また、個人認証登録被写体の人物Ａの高い笑顔度を検出した場合や、「喜び」「驚き」などの表情が検出された場合に、同時に写っている被写体は重要であると学習される。あるいは、「怒り」「真顔」などの表情が検出された場合に、同時に写っている被写体は重要である可能性が低いので学習することはしないなどの処理が行われる。
【０１６４】
次に、本実施形態における外部装置との連携による学習について説明する。本実施形態における外部装置との連携による学習には、以下の方法がある。
（１）外部装置で画像を取得したことによる学習
（２）外部装置を介して画像に判定値を入力することによる学習
（３）外部装置内の保存されている画像を解析することによる学習
（４）外部装置でＳＮＳのサーバにアップロードされた情報からの学習
（５）外部装置でカメラパラメータを変更することによる学習
（６）外部装置で画像が手動編集された情報からの学習
＜外部装置で画像を取得したことによる学習＞
図３で説明したとおり、カメラ１０１と外部装置３０１は、第１及び第２の通信３０２，３０３を行う通信手段を有している。そして、主に第１の通信３０２によって画像の送受信が行われ、外部装置３０１内の専用のアプリケーションを介して、カメラ１０１内の画像を外部装置３０１に送信することができる。また、カメラ１０１内の保存されている画像データのサムネイル画像を外部装置３０１内の専用のアプリケーションを用いて、閲覧可能である。ユーザは、このサムネイル画像の中から、自分が気に入った画像を選んで、画像確認し、画像取得指示を操作することで外部装置３０１に画像を送信させることができる。
【０１６５】
このとき、ユーザが画像を選んで取得しているので、取得された画像はユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定し、取得された画像の学習情報に基づいて学習することにより、ユーザの好みの各種学習を行うことができる。
【０１６６】
ここで、操作例について説明する。外部装置３０１の専用のアプリケーションを用いて、カメラ１０１内の画像を閲覧している例を図１２に示す。表示部４０７にカメラ内に保存されている画像データのサムネイル画像（１６０４〜１６０９）が表示されており、ユーザは自分が気に入った画像を選択し取得することができる。このとき、表示方法を変更する表示方法変更部を構成するボタン１６０１，１６０２，１６０３が設けられている。
【０１６７】
ボタン１６０１を押下すると日時優先表示モードに変更され、カメラ１０１内の画像の撮影日時の順番で表示部４０７に画像が表示される。例えば、１６０４で示される位置には日時が新しい画像が表示され、１６０９で示される位置には日時が古い画像が表示される。
【０１６８】
ボタン１６０２を押下すると、おすすめ画像優先表示モードに変更される。図９ＡのステップＳ９１２で演算した各画像に対するユーザの好みを判定したスコアに基づいて、カメラ１０１内の画像が、スコアの高い順番で表示部４０７に表示される。例えば、１６０４で示される位置にはスコアが高い画像が表示され、１６０９で示される位置にはスコアが低い画像が表示される。
【０１６９】
ボタン１６０３を押下すると、人物や物体被写体を指定でき、続いて特定の人物や物体被写体を指定すると特定の被写体のみを表示することもできる。ボタン１６０１〜１６０３は同時に設定をＯＮすることもできる。例えばすべての設定がＯＮされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先され、表示されることになる。このように、撮影画像に対してもユーザの好みを学習しているため、撮影された大量の画像の中から簡単な確認作業でユーザの好みの画像のみを抽出することが可能である。
【０１７０】
＜外部装置を介して画像に判定値を入力することによる学習＞
上記で説明したとおり、カメラ１０１と外部装置３０１は、通信手段を有しており、カメラ１０１内に保存されている画像を外部装置３０１内の専用のアプリケーションを用いて、閲覧可能である。ここで、ユーザは、各画像に対して点数付けを行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数（例えば５点）を付けたり、好みでないと思った画像に対して低い点数（例えば１点）を付けることができ、ユーザの操作によって、カメラが学習していくような構成にする。各画像の点数は、カメラ内で学習情報と共に再学習に使用される。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
【０１７１】
本実施形態では、外部装置３０１を介して、撮影済み画像にユーザが判定値を入力する構成にしたが、カメラ１０１を操作して、直接、画像に判定値を入力する構成にしてもよい。その場合、例えば、カメラ１０１にタッチパネルディスプレイを設け、タッチパネルディスプレイの画面表示部に表示されたＧＵＩボタンをユーザが押下して、撮影済み画像を表示するモードに設定する。そして、ユーザは撮影済み画像を確認しながら、各画像に判定値を入力するなどの方法により、同様の学習を行うことができる。
【０１７２】
＜外部装置内の保存されている画像を解析することによる学習＞
外部装置３０１は、記憶部４０４を有し、記憶部４０４にはカメラ１０１で撮影された画像以外の画像も記録される構成とする。このとき、外部装置３０１内に保存されている画像は、ユーザが閲覧し易く、公衆無線制御部４０６を介して、共有サーバに画像をアップロードすることも容易なため、ユーザの好みの画像が多く含まれる可能性が非常に高い。
【０１７３】
外部装置３０１の制御部４１１は、専用のアプリケーションを用いて、記憶部４０４に保存されている画像を、カメラ１０１内の学習処理部２１９と同等の能力で処理可能に構成される。そして、処理された学習用データをカメラ１０１に通信することにより、学習を行う。あるいは、カメラ１０１に学習させたい画像やデータを送信して、カメラ１０１内で学習するような構成にしてもよい。また、専用のアプリケーションを用いて、記録部４０４に保存されている画像の中から、学習させたい画像をユーザが選択して学習する構成にすることもできる。
【０１７４】
＜外部装置でＳＮＳのサーバにアップロードされた情報からの学習＞
次に、人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス（ＳＮＳ）における情報を学習に使用する方法について説明する。画像をＳＮＳにアップロードする際に、外部装置３０１から画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いを入力する技術もあり、他のユーザがアップロードした画像が、外部装置３０１を所有するユーザの好みの写真であるかも判定できる。
【０１７５】
外部装置３０１内にダウンロードされた専用のＳＮＳアプリケーションで、上記のようにユーザが自らアップロードした画像と画像についての情報を取得することができる。また、ユーザが他のユーザがアップロードした画像に対して好きか否かを入力することにより、ユーザの好みの画像やタグ情報を取得することもできる。それらの画像やタグ情報を解析し、カメラ１０１内で学習できるようにする。
【０１７６】
外部装置３０１の制御部４１１は、上記のようにユーザがアップロードした画像や、ユーザが好きと判定した画像を取得し、カメラ１０１内の学習処理部２１９と同等の能力で処理可能に構成される。そして、処理された学習用データをカメラ１０１に通信することで、学習を行う。あるいは、カメラ１０１に学習させたい画像を送信して、カメラ１０１内で学習するような構成にしてもよい。
【０１７７】
また、タグ情報に設定された被写体情報（例えば、犬、猫などの被写体物体情報、ビーチなどのシーン情報、スマイルなどの表情情報など）から、ユーザが好みであろう被写体情報を推定する。そして、ニューラルネットワークに入力する検出すべき被写体として登録することによる学習を行う。
【０１７８】
また、上記ＳＮＳでのタグ情報（画像フィルタ情報や被写体情報）の統計値から、世の中で今現在流行っている画像情報を推定し、カメラ１０１内で学習できる構成にすることもできる。
【０１７９】
＜外部装置でカメラパラメータを変更することによる学習＞
上記で説明したとおり、カメラ１０１と外部装置３０１は、通信手段を有している。そして、カメラ１０１内に現在設定されている学習パラメータ（ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択など）を外部装置３０１に通信し、外部装置３０１の記憶部４０４に保存することができる。また、外部装置３０１内の専用のアプリケーションを用いて、専用のサーバにセットされた学習パラメータを公衆無線制御部４０６を介して取得し、カメラ１０１内の学習パラメータに設定することもできる。これにより、ある時点でのパラメータを外部装置３０１に保存しておいて、カメラ１０１に設定することで、学習パラメータを戻すこともできる。また、他のユーザが持つ学習パラメータを、専用のサーバを介して取得し、自身のカメラ１０１に設定することもできる。
【０１８０】
また、外部装置３０１の専用のアプリケーションを用いて、ユーザが登録した音声コマンドや認証登録、ジェスチャーを登録できるようにしてもよいし、重要な場所を登録してもよい。これらの情報は、自動撮影モード処理（図９Ａ）で説明した撮影トリガーや自動撮影判定の入力データとして扱われる。また、撮影頻度や起動間隔、静止画と動画の割合や好みの画像などを設定することができる構成とし、＜低消費電力モード制御＞で説明した起動間隔などの設定を行ってもよい。
【０１８１】
＜外部装置で画像が手動編集された情報からの学習＞
外部装置３０１の専用のアプリケーションにユーザの操作により手動で編集できる機能を持たせ、編集作業の内容を学習にフィードバックすることもできる。例えば、画像効果付与（トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、ＢＧＭ）の編集が可能である。そして、画像の学習情報に対して、手動で編集した画像効果付与が判定されるように、自動編集のニューラルネットワークを学習させる。
【０１８２】
次に、学習処理シーケンスについて説明する。図７のステップＳ７０４のモード設定判定において、学習処理を行うべきか否かを判定し、学習処理を行うべきと判定された場合、ステップＳ７１６の学習モード処理を行う。
【０１８３】
学習モードの判定条件について説明する。学習モードに移行するか否かは、前回学習処理を行ってからの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理指示があったかなどから判定される。ステップＳ７０４のモード設定判定処理内で判定される、学習モードに移行すべきか否かの判定処理フローを図１３に示す。
【０１８４】
ステップＳ７０４のモード設定判定処理内で学習モード判定が開始指示されると、図１３の処理がスタートする。ステップＳ１４０１では、外部装置３０１からの登録指示があるか否かを判定する。ここでの登録は、上記で説明した＜外部装置で画像を取得したことによる学習＞や、＜外部装置を介して画像に判定値を入力することによる学習＞や、＜外部装置内の保存されている画像を解析することによる学習＞などの、学習するための登録指示があったか否かの判定である。
【０１８５】
ステップＳ１４０１で、外部装置３０１からの登録指示があった場合、ステップＳ１４０８に進み、学習モード判定をＴＲＵＥにして、ステップＳ７１６の処理を行うように設定し、学習モード判定処理を終了する。ステップＳ１４０１で外部装置からの登録指示がない場合、ステップＳ１４０２に進む。
【０１８６】
ステップＳ１４０２では外部装置からの学習指示があるか否かを判定する。ここでの学習指示は＜外部装置でカメラパラメータを変更することによる学習＞のように、学習パラメータをセットする指示があったか否かの判定である。ステップＳ１４０２で、外部装置からの学習指示があった場合、ステップＳ１４０８に進み、学習モード判定をＴＲＵＥにして、ステップＳ７１６の処理を行うように設定し、学習モード判定処理を終了する。ステップＳ１４０２で外部装置からの学習指示がない場合、ステップＳ１４０３に進む。
【０１８７】
ステップＳ１４０３では、前回の学習処理（ニューラルネットワークの重みの再計算）が行われてからの経過時間ＴｉｍｅＮを取得し、ステップＳ１４０４に進む。ステップＳ１４０４では、学習する新規のデータ数ＤＮ（前回の学習処理が行われてからの経過時間ＴｉｍｅＮの間で、学習するように指定された画像の数）を取得し、ステップＳ１４０５に進む。ステップＳ１４０５では、経過時間ＴｉｍｅＮから学習モードに入るか否かを判定する閾値ＤＴを演算する。閾値ＤＴの値が小さいほど学習モードに入りやすく設定されている。例えば、ＴｉｍｅＮが所定値よりも小さい場合の閾値ＤＴの値であるＤＴａが、ＴｉｍｅＮが所定値よりも大きい場合の閾値ＤＴの値であるＤＴｂよりも大きく設定されており、時間の経過とともに、閾値が小さくなるように設定されている。これにより、学習データが少ない場合においても、時間経過が大きいと学習モードに入りやすくして、再度学習することで、使用時間に応じてカメラが学習変化し易いようにされている。
【０１８８】
ステップＳ１４０５で閾値ＤＴを演算すると、ステップＳ１４０６に進み、学習するデータ数ＤＮが、閾値ＤＴよりも大きいか否かを判定する。データ数ＤＮが、閾値ＤＴよりも大きい場合、ステップＳ１４０７に進み、ＤＮを０に設定する。その後、ステップＳ１４０８に進み、学習モード判定をＴＲＵＥにして、ステップＳ７１６（図７）の処理を行うように設定し、学習モード判定処理を終了する。
【０１８９】
ステップＳ１４０６でＤＮが閾値ＤＴ以下の場合、ステップＳ１４０９に進む。外部装置からの登録指示も、外部装置からの学習指示もなく、且つ学習データ数も所定値以下であるので、学習モード判定をＦＡＬＳＥにし、ステップＳ７１６の処理は行わないように設定し、学習モード判定処理を終了する。
【０１９０】
次に、学習モード処理（ステップＳ７１６）内の処理について説明する。学習モード処理の動作を示す詳細なフローチャートを図１４に示す。
【０１９１】
図７のステップＳ７１５で学習モードと判定され、ステップＳ７１６に進むと、図１４の処理がスタートする。ステップＳ１５０１では、外部装置３０１からの登録指示があるか否かを判定する。ステップＳ１５０１で、外部装置３０１からの登録指示があった場合、ステップＳ１５０２に進む。ステップＳ１５０２では、各種登録処理を行う。
【０１９２】
各種登録は、ニューラルネットワークに入力する特徴の登録であり、例えば顔認証の登録や、一般物体認識の登録や、音情報の登録や、場所情報の登録などである。登録処理を終了すると、ステップＳ１５０３に進み、ステップＳ１５０２で登録された情報から、ニューラルネットワークへ入力する要素を変更する。ステップＳ１５０３の処理を終了すると、ステップＳ１５０７に進む。
【０１９３】
ステップＳ１５０１で外部装置３０１からの登録指示がない場合、ステップＳ１５０４に進み、外部装置３０１からの学習指示があるか否かを判定する。外部装置３０１からの学習指示があった場合、ステップＳ１５０５に進み、外部装置３０１から通信された学習パラメータを各判定器（ニューラルネットワークの重みなど）に設定し、ステップＳ１５０７に進む。
【０１９４】
ステップＳ１５０４で外部装置３０１からの学習指示がない場合、ステップＳ１５０６で学習（ニューラルネットワークの重みの再計算）を行う。ステップＳ１５０６の処理に入るのは、図１３を用いて説明したように、学習するデータ数ＤＮが閾値ＤＴを超えて、各判定器の再学習を行う場合である。誤差逆伝搬法或いは、勾配降下法などの方法を使って再学習させ、ニューラルネットワークの重みを再計算して、各判定器のパラメータを変更する。学習パラメータが設定されると、ステップＳ１５０７に進む。
【０１９５】
ステップＳ１５０７では、ファイル内の画像を再スコア付けする。本実施形態においては、学習結果に基づいてファイル（記録媒体２２１）内に保存されている全ての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成となっている。よって、再学習や外部装置からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアも更新を行う必要がある。よって、ステップＳ１５０７では、ファイル内に保存されている撮影画像に対して新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。
【０１９６】
本実施形態においては、カメラ１０１内で学習する構成について説明した。しかし、外部装置３０１側に学習機能を持ち、学習に必要なデータを外部装置３０１に通信し、外部装置側でのみ学習を実行する構成でも同様の学習効果を実現可能である。その場合、上記の＜外部装置でカメラパラメータを変更することによる学習＞で説明したように、外部装置側で学習したニューラルネットワークの重みなどのパラメータをカメラ１０１に通信により設定することで学習を行う構成にしてもよい。
【０１９７】
また、カメラ１０１内と、外部装置３０１内の両方に、それぞれ学習機能を持つ構成にし、例えばカメラ１０１内で学習モード処理（ステップＳ７１６）が行われるタイミングで外部装置３０１が持つ学習情報をカメラ１０１に通信し、学習パラメータをマージすることで学習を行う構成にしてもよい。
【０１９８】
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【符号の説明】
【０１９９】
１０１：カメラ、３０１：スマートデバイス、５０１：ウエアラブルデバイス、１０４：チルト回転ユニット、１０５：パン回転ユニット
【図１】
2020092354.tif 000003
【図２】
2020092354.tif 000004
【図３】
2020092354.tif 000005
【図４】
2020092354.tif 000006
【図５】
2020092354.tif 000007
【図６】
2020092354.tif 000008
【図７】
2020092354.tif 000009
【図８】
2020092354.tif 000010
【図９Ａ】
2020092354.tif 000011
【図９Ｂ】
2020092354.tif 000012
【図１０】
2020092354.tif 000013
【図１１】
2020092354.tif 000014
【図１２】
2020092354.tif 000015
【図１３】
2020092354.tif 000016
【図１４】
2020092354.tif 000017