(57)【要約】【課題】  効率的にシーン変化を検出することのできる撮像装置およびその制御方法を提供する。【解決手段】  画像を撮像する撮像手段と、前記撮像手段により撮像する方向を変えながら撮像された複数の画像に基づいて、画像を合成し、個々の画像の撮像範囲より広範囲のパノラマ画像を生成する生成手段と、前記生成手段により生成されたパノラマ画像を記憶する記憶手段と、前記撮像手段により撮像された画像と、前記記憶されたパノラマ画像とを比較し、比較結果に基づいてシーンの変化を検知する検知手段と、を有する。【選択図】  図９
2019212967.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段により撮像する方向を変えながら撮像された複数の画像に基づいて、画像を合成し、個々の画像の撮像範囲より広範囲のパノラマ画像を生成する生成手段と、
前記生成手段により生成されたパノラマ画像を記憶する記憶手段と、
前記撮像手段により撮像された画像と、前記記憶されたパノラマ画像とを比較し、比較結果に基づいてシーンの変化を検知する検知手段と、を有することを特徴とする撮像装置。
【請求項２】
前記検知手段は、前記撮像手段により撮像された画像と、前記記憶されたパノラマ画像とを比較し、画像間の差分が所定閾値よりも大きい場合にシーンが変化したとみなすことを特徴とする請求項１に記載の撮像装置。
【請求項３】
消費電力を抑えた低消費電力モードと、前記低消費電力モードよりも速やかに画像を撮像できる撮影待機モードを有する撮像装置であって、
画像を撮像する撮像手段と、
前記撮像手段により撮像する方向を変えながら撮像された複数の画像に基づいて、画像を合成し、個々の画像の撮像範囲より広範囲のパノラマ画像を生成する生成手段と、
前記生成手段により生成されたパノラマ画像を記憶する記憶手段と、
前記低消費電力モード中に、前記撮像手段により撮像された画像と、前記撮影待機モードから前記低消費電力モードへと移行する際に前記撮像手段により撮像する方向を変えながら撮像された複数の画像から生成されたパノラマ画像とを比較し、比較結果に基づいて、前記低消費電力モードを解除するか否かの制御を行う制御手段とを有することを特徴とする撮像装置。
【請求項４】
前記制御手段は、前記撮像手段により撮像された画像と、前記撮影待機モードから前記低消費電力モードへと移行する際に前記撮像手段により撮像する方向を変えながら撮像された複数の画像から生成されたパノラマ画像とを比較し、画像間の差分が所定閾値よりも大きい場合に、前記低消費電力モードを解除することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記撮像手段により撮像された画像と、前記撮影待機モードから前記低消費電力モードへと移行する際に前記撮像手段により撮像する方向を変えながら撮像された複数の画像から生成されたパノラマ画像との間の差分情報と、前記低消費電力モードが解除された後に撮影が行われたか否かの情報とに基づいて学習を行い、学習結果に応じて前記所定閾値を変更することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記記憶されたパノラマ画像に存在する特徴的な被写体の方向を記憶し、記憶した特徴的な被写体の方向に基づいて前記撮像手段により画像を撮像する方向を決定する決定手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
消費電力を抑えた低消費電力モードと、前記低消費電力モードよりも速やかに画像を撮像できる撮影待機モードを有する撮像装置であって、
画像を撮像する撮像手段と、
前記低消費電力モード中に、前記撮像手段による撮像された画像と、前記撮影待機モードから前記低消費電力モードへと移行する際に前記撮像手段により撮像する方向を変えながら撮像された複数の画像とを比較し、比較結果に基づいて、前記低消費電力モードを解除するか否かの制御を行う制御手段とを有することを特徴とする撮像装置。
【請求項８】
前記制御手段は、画像間の差分が所定閾値より大きい場合はシーンが変化したとみなして前記低消費電力モードを解除し、前記画像間の差分が所定閾値以下の場合は前記低消費電力モードを維持し続けることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記制御手段は、前記複数の画像を合成してパノラマ画像としてから、画像の比較を行うことを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
前記複数の画像は撮像装置の周辺を撮像した画像であり、
前記制御手段は、前記撮像手段により撮像された画像と前記複数の画像とを比較する際、撮像の際の方位情報に基づいて、前記撮像手段により撮像された画像と前記複数の画像の対応する部分とを比較することを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記複数の画像の撮像の際に撮像装置の周辺に存在する特徴的な被写体の方向を記憶し、記憶した特徴的な被写体の方向と現在の撮像装置が向いている方向に基づき、前記低消費電力モード中に前記撮像手段により画像を撮像する方向を決定することを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
画像を撮像する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮像する方向を変えながら撮像された複数の画像に基づいて、画像を合成し、個々の画像の撮像範囲より広範囲のパノラマ画像を生成する生成ステップと、
前記生成ステップにより生成されたパノラマ画像を記憶する記憶ステップと、
前記撮像手段により撮像された画像と、前記記憶されたパノラマ画像とを比較し、比較結果に基づいてシーンの変化を検知する検知ステップと、を有することを特徴とする制御方法。
【請求項１３】
消費電力を抑えた低消費電力モードと前記低消費電力モードよりも速やかに撮影を行うことができる撮影待機モードとを備え、画像を撮像する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮像する方向を変えながら撮像された複数の画像に基づいて、画像を合成し、個々の画像の撮像範囲より広範囲のパノラマ画像を生成する生成ステップと、
前記生成ステップにより生成されたパノラマ画像を記憶する記憶ステップと、
前記低消費電力モード中に、前記撮像手段により撮像された画像と、前記撮影待機モードから前記低消費電力モードへと移行する際に前記撮像手段により撮像する方向を変えながら撮像された複数の画像から生成されたパノラマ画像とを比較し、比較結果に基づいて、前記低消費電力モードを解除するか否かの制御を行う制御ステップとを有することを特徴とする制御方法。
【請求項１４】
消費電力を抑えた低消費電力モードと前記低消費電力モードよりも速やかに撮影を行うことができる撮影待機モードとを備え、画像を撮像する撮像手段を有する撮像装置の制御方法であって、
前記低消費電力モード中に、前記撮像手段による撮像された画像と、前記撮影待機モードから前記低消費電力モードへと移行する際に前記撮像手段により撮像する方向を変えながら撮像された複数の画像とを比較し、比較結果に基づいて、前記低消費電力モードを解除するか否かの制御を行う制御ステップを有することを特徴とする制御方法。
【請求項１５】
コンピュータにより請求項１２乃至１４のいずれか１項に記載の制御方法を実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法置に関する。
【背景技術】
【０００２】
従来から、撮像装置におけるシーン変化の検出方法として、連続して撮影された隣接する画像間（フレーム間）の特徴変化を所定の閾値と比較し、閾値を超える場合にシーンが変化したとして検出する方法が知られている。例えば、特許文献１には、画像を所定の動きパターンにパターン分類し、各パターン分類に応じて画像間の画像変化を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７６５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、連続して撮影された画像間を比較する場合しか考慮されていない。よって、例えば、速やかに撮影を行うことができる撮影待機モードと、低消費電力モードとを適応的に切り替えるシステムにおいて、低消費電力モードから撮影待機モードに復帰する際に効率的にシーン変化を検出することができなかった。
【０００５】
従って、本発明は、効率的にシーン変化を検出することのできる撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の技術的特徴として、撮像する方向を変えながら複数の画像を撮像する撮像手段を有する撮像装置の制御方法であって、前記複数の画像に基づいて、画像を合成し、個々の画像の撮像範囲より広範囲のパノラマ画像を生成する生成ステップと、撮像タイミングの異なる第１、第２のパノラマ画像を比較し、比較結果に基づいてシーンの変化を検知する検知ステップと、を有することを特徴とする。また、別の技術的特徴として、消費電力を抑えた低消費電力モードと前記低消費電力モードよりも速やかに撮影を行うことができる撮影待機モードとを備え、撮像する方向を変えながら複数の画像を撮像する撮像手段を有する撮像装置の制御方法であって、前記画像に基づいてシーンの変化を判別する判別ステップと、前記シーンの判別結果に応じて自動撮影を行うように制御する制御ステップとを有し、前記判別ステップでは、前記撮影待機モードから前記低消費電力モードへと移行する際に撮像された第１の複数の画像と、前記低消費電力モードを解除する際に撮像された第２の複数の画像との比較結果に基づいて、前記低消費電力モードを解除するか否かを判別することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、効率的にシーン変化を検出することのできる撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置を模式的に示す図である。
【図２】撮像装置の構成を示す図である。
【図３】撮像装置と外部機器との構成を示す図である。
【図４】外部機器の構成を示す図である。
【図５】撮像装置と外部機器との構成を示す図である。
【図６】外部機器の構成を示す図である。
【図７】第１制御部を説明するフローチャートである。
【図８】第２制御部を説明するフローチャートである。
【図９】低消費電力モード解除アルゴリズムのフローチャートである。
【図１０】低消費電力モード移行時の撮影画像に関する図である。
【図１１】低消費電力モード解除判定時の撮影画像に関する図である。
【図１２】撮影モード処理を説明するフローチャートである。
【図１３】自動編集モード判定を説明するフローチャートである。
【図１４】自動編集処理を説明するフローチャートである。
【図１５】ニューラルネットワークを説明する図である。
【図１６】撮影画像内のエリア分割を説明するための図である。
【図１７】学習モード判定を説明するフローチャートである。
【図１８】学習処理を説明するフローチャートである。
【図１９】表示処理を説明する図である。
【図２０】シーン変化検出処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１０】
＜撮像装置の構成＞
図１は、撮像装置を模式的に示す図である。
【００１１】
図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構を設けている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３位置での軸定義である。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。
【００１２】
図２は、本実施形態の撮像装置の構成を示すブロック図である。
【００１３】
図２において、第１制御部２２３は、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１６は、電気的に消去・記録可能なメモリであり、第１制御部２２３の動作用の定数、プログラム等が記憶される。
【００１４】
図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。
【００１５】
撮像部２０６では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０７に出力する。画像処理部２０７はＡ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換し、メモリ２１５や後述する映像出力部２１７に送信される。
【００１６】
鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。
【００１７】
装置揺れ検出部２０９は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出部２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。
【００１８】
音声入力部２１３は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７、音声処理部２１４により得られた画像信号及び音声信号を一時的に記憶する。
【００１９】
画像処理部２０７及び音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。
【００２０】
記録再生部２２０は、記録媒体２２１に対して画像処理部２０７及び音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。
【００２１】
記録媒体２２１は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２２１は、撮像装置１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１６よりも大容量な媒体が一般的に使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
【００２２】
記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、第１制御部２２３は画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７、音声出力部２１８に送信する。
【００２３】
音声入力部２１３は複数のマイクが撮像装置１０１に搭載されており、音声処理部２１４は複数のマイクが設置された平面上の音の方向を検出することができ、後述する探索や自動撮影に用いられる。さらに、音声処理部２１４では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、第１制御部２２３や第２制御部２１１に、検出トリガー信号を出力する構成になっている。
【００２４】
撮像装置１０１のメインシステム全体を制御する第１制御部２２３はとは別に設けられた、第２制御部２１１が第１制御部２２３の供給電源を制御する。
【００２５】
第１電源部２１０と第２電源部２１２は、第１制御部２２３と第２制御部２１１を動作させるための、電源をそれぞれ供給する。撮像装置１０１に設けられた電源ボタンの押下により、まず第１制御部２２３と第２制御部２１１の両方に電源が供給されるが、後述するように、第１制御部２２３は、第１電源部２１０へ自らの電源供給をＯＦＦするように制御される。第１制御部２２３が動作していない間も、第２制御部２１１は動作しており、装置揺れ検出部２０９や音声処理部２１４からの情報が入力される。第２制御部は各種入力情報を基にして、第１制御部２２３を起動するか否かの判定処理を行い、起動判定されると第１電源部に電源供給指示をする構成になっている。
【００２６】
音声出力部２１８は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。
【００２７】
ＬＥＤ制御部２２４は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンを制御する。
【００２８】
映像出力部２１７は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。
【００２９】
通信部２２２は、撮像装置１０１と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示から撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、後述する学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。
【００３０】
＜外部通信機器との構成＞
図３は、撮像装置１０１と外部装置３０１との無線通信システムの構成例を示す図である。撮像装置１０１は撮影機能を有するデジタルカメラであり、外部装置３０１はＢｌｕｅｔｏｏｔｈ通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。
【００３１】
撮像装置１０１とスマートデバイス３０１は、例えばＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信３０２と、例えばＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ。）ＢＬＥなどの、制御局と従属局などの主従関係を有する通信３０３とによって通信可能である。なお、無線ＬＡＮ及びＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、一般性を失うことなく、無線ＬＡＮなどの第１の通信は、ＢＬＥなどの第２の通信より高速な通信が可能であり、また、第２の通信は、第１の通信よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。
【００３２】
スマートデバイス３０１の構成を、図４を用いて説明する。
【００３３】
スマートデバイス３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、及び、ＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆回線制御部４０６を有する。また、スマートデバイス３０１は、パケット送受信部４０３をさらに有する。無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆回線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、スマートデバイス３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。
【００３４】
スマートデバイス３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、音声入力音声処理部４０９、電源部４１０をさらに有する。制御部４１１は、例えば、記憶部４０４に記憶される制御プログラムを実行することにより、スマートデバイス３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。
【００３５】
電源部４１０はスマートデバイス３０１に電源を供給する。表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによるスマートデバイス３０１の操作を受け付けるボタン等である。なお、表示部４０７及び操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。
【００３６】
音声入力音声処理部４０９は、例えばスマートデバイス３０１に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。
【００３７】
また、スマートデバイス内の専用のアプリケーションを介して、ユーザの発音により音声コマンドを取得する。そして、無線ＬＡＮによる通信３０２を介して、撮像装置１０１の音声処理部２１４に特定音声コマンド認識させるための特定音声コマンドとして登録することもできる。
【００３８】
ＧＰＳ（Ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、スマートデバイス３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ−Ｆｉ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、スマートデバイス３０１の現在位置を推定するようにしてもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（所定半径の範囲以内）に位置している場合に、ＢＬＥ制御部４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。また、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御部４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。
【００３９】
上記のように撮像装置１０１とスマートデバイス３０１は、無線ＬＡＮ制御部４０１、及び、ＢＬＥ制御部４０２を用いた通信により、撮像装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、スマートデバイスから撮像装置１０１の撮影などの操作指示であったり、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知を行う。また、スマートデバイス内の専用のアプリケーションを介しての学習用データの送受信も行う。なお、外部装置３０１はスマートデバイス３０１に限定されない。例えば、表示部４０７や操作部４０８などを省き、音声入力に特化した装置であってもよい。この装置では、前述したマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得し、撮像装置１０１へ通知する。このほかに、この装置では、音声認識と、クラウドとの通信機能、スピーカーを利用したニュースの読み上げ機能を有してもよい。また、検索エンジンを用いた調べものの音出力や、対話システムの機能を有してもよい。
【００４０】
＜アクセサリ類の構成＞
図５は、撮像装置１０１と通信可能である外部装置５０１との構成例を示す図である。撮像装置１０１は撮影機能を有するデジタルカメラであり、外部装置５０１は、例えばＢｌｕｅｔｏｏｔｈ通信モジュールなどにより撮像装置１０１と通信可能である各種センシング部を含むウエアラブルデバイスである。
【００４１】
ウエアラブルデバイス５０１において、例えばユーザの腕などに装着できるような構成なっており、所定の周期でユーザの脈拍、心拍、血流等の生体情報を検出するセンサやユーザの運動状態を検出できる加速度センサ等が搭載されている。
【００４２】
生体情報検出部５０２は、例えば、脈拍を検出する脈拍センサ、心拍を検出する心拍センサ、血流を検出する血流センサ、導電性高分子による皮膚の接触によって電位の変化を検出したことを検知するセンサを含む。本実施形態では、生体情報検出部５０２として心拍センサを用いて説明する。心拍センサは、例えばＬＥＤ等を用いて皮膚に赤外光を照射し、体組織を透過した赤外光を受光センサで検出して信号処理することによりユーザの心拍を検出する。生体情報検出部５０２は、検出した生体情報を信号として、後述する制御部６０７へ出力する。
【００４３】
ユーザの運動状態を検出する揺れ検出部５０３は、例えば、加速度センサやジャイロセンサが搭載しており、加速度の情報に基づきユーザが移動しているかどうかや、腕を振り回してアクションをしているかどうかなどのモーションを検出することができる。
【００４４】
また、ユーザによるウエアラブルデバイス５０１の操作を受け付ける操作部５０５や、ＬＣＤやＬＥＤのように視覚で認知可能な情報を出力する表示部５０４が搭載される。
【００４５】
ウエアラブルデバイス５０１の構成を、図６を用いて説明する。
【００４６】
ウエアラブルデバイス５０１は、例えば、制御部６０７、通信部６０１、生体情報検出部５０２、揺れ検出部５０３、表示部５０４、操作部５０５、電源部６０６、記憶部６０８を有する。
【００４７】
制御部６０７は、例えば、記憶部６０８に記憶される制御プログラムを実行することにより、ウエアラブルデバイス５０１全体を制御する。記憶部６０８は、例えば制御部６０７が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、例えば記憶部６０８に記憶された制御プログラムを制御部６０７が実行することにより、実現される。
【００４８】
電源部６０６はウエアラブルデバイス５０１に電源を供給する。表示部５０４は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部５０５は、例えばユーザによるウエアラブルデバイス５０１の操作を受け付けるボタン等である。なお、表示部５０４及び操作部５０５は、例えばタッチパネルなどの共通する部材によって構成されてもよい。
【００４９】
また、操作部は、例えばウエアラブルデバイス５０１に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声処理によりユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。
【００５０】
生体情報検出部５０２や揺れ検出部５０３から制御部６０７で処理された各種検出情報は、通信部６０１により、撮像装置１０１へ検出情報を送信する。
【００５１】
例えば、ユーザの心拍の変化を検出したタイミングで検出情報を撮像装置１０１に送信したり、歩行移動／走行移動／立ち止まりなどの移動状態の変化のタイミングで検出情報を送信したりする。また、例えば、予め設定された腕ふりのモーションを検出したタイミングで検出情報を送信したり、予め設定された距離の移動を検出したタイミングで検出情報を送信したりする。
【００５２】
＜撮像動作のシーケンス＞
図７は、本実施形態における撮像装置１０１の第１制御部２２３が受け持つ動作の例を説明するフローチャートである。
【００５３】
ユーザが撮像装置１０１に設けられた電源ボタンを操作すると、第１電源部２１０により電源供給部から、第１制御部２２３及び撮像装置１０１の各ブロックに電源を供給させる。
【００５４】
また、同様に第２制御部２１１においても第２電源部２１２により電源供給部から、第２制御部に電源を供給されるが、第２制御部の動作の詳細については後述する図８のフローチャートを用いて説明する。
【００５５】
電源が供給されると、図７の処理がスタートする。ステップ７０１では、起動条件の読み込みが行われる。本実施形態においては、起動条件は以下である。
（１）電源ボタンが手動で押下されて電源起動
（２）外部機器（例えば３０１）から外部通信（例えばＢＬＥ通信）からの指示で電源起動
（３）Ｓｕｂプロセッサ（第２制御部２１１）から、電源起動
【００５６】
ここで、（３）のＳｕｂプロセッサから電源起動の場合は、Ｓｕｂプロセッサ内で演算された起動条件が読み込まれることになるが、詳細は後述する図８で説明する。
【００５７】
また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の１つのパラメータ要素として用いられるが、後述して説明する。起動条件読み込みが終了するとステップ７０２に進む。
【００５８】
ステップ７０２では、各種センサの読み込みが行われる。ここで読み込まれるセンサは、装置揺れ検出部２０９からのジャイロセンサや加速度センサなどの振動検出するセンサであったり、チルト回転ユニット１０４やパン回転ユニット１０５の回転位置であったりする。また、音声処理部２１４にて検出される音声レベルや特定音声認識の検出トリガーや音方向検出だったりする。
【００５９】
また、図１乃至図６には図示しないが、環境情報を検出するセンサでも情報を取得する。
【００６０】
例えば、所定の周期で撮像装置１０１の周辺の温度を検出する温度センサや、撮像装置１０１の周辺の気圧の変化を検出する気圧センサがある。また、撮像装置１０１の周辺の明るさを検出する照度センサや、撮像装置１０１の周辺の湿度を検出する湿度センサや、撮像装置１０１の周辺の紫外線量を検出するＵＶセンサ等を備えてもよい。検出した温度情報や気圧情報や明るさ情報や湿度情報やＵＶ情報に加え、検出した各種情報から所定時間間隔での変化率を算出した温度変化量や気圧変化量や明るさ変化量や湿度変化量や紫外線変化量などを後述する自動撮影などの判定に使用する。
【００６１】
ステップ７０２で各種センサ読み込みが行われるとステップ７０３に進む。
【００６２】
ステップ７０３では、外部機器からの通信が指示されているかを検出し、通信指示があった場合、外部機器との通信を行う。
【００６３】
例えば、スマートデバイス３０１から、無線ＬＡＮやＢＬＥを介した、リモート操作であったり、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、スマートデバイス３０１からの撮像装置１０１の撮影などの操作指示や、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知や学習用データの送受信の指示があるかどうかの読み込みを行う。
【００６４】
また、例えば、ウエアラブルデバイス５０１から、ユーザの運動情報、腕のアクション情報、心拍などの生体情報の更新がある場合、ＢＬＥを介した情報の読み込みを行う。また、上述した環境情報を検出する各種センサは、撮像装置１０１に搭載してもよいが、スマートデバイス３０１或いはウエアラブルデバイス５０１に搭載していてもよく、その場合、ＢＬＥを介した環境情報の読み込みも行う。ステップ７０３で外部機器からの通信読み込みが行われると、ステップＳ７０４に進む。
【００６５】
ステップ７０４では、モード設定判定が行われる。後述する「自動撮影モード」、「自動編集モード」、「画像自動転送モード」、「学習モード」、「ファイル自動削除モード」、の何れかのモード条件に合致するかどうかを判定する。これらのモードでは比較的、速やかに画像を撮像できることから撮影待機モードともいう。尚、上記すべてのモードの判定条件とも合致しない場合は、低消費電力モードになるように判定される。なお、低消費電力モード中には、消費電力を抑えているため、速やかに画像を撮像することはできない。ステップ７０５において、前記ステップ７０４の判定結果が低消費電力モードであった場合、ステップ７０６に進み、それ以外の判定結果であった場合はステップ７０９へと進む。
【００６６】
ステップ７０６では、Ｓｕｂプロセッサ（第２制御部２１１）へ、Ｓｕｂプロセッサ内で判定する起動要因に係る各種パラメータを（揺れ検出判定用パラメータ、音検出用パラメータ、時間経過検出パラメータ）を通知する。各種パラメータは後述する学習処理にて、学習されることによって値が変化する。続いてステップ７０７では、低消費電力モードに入る前に、撮像装置の周辺画像Ａを撮影し、メモリに保存する。保存した周辺画像Ａは後述する低消費電力モードからの復帰アルゴリズムにおいて使用するものとする。
【００６７】
ステップ７０７の処理が終了すると、ステップ７０８に進み、Ｍａｉｎプロセッサ（第１制御部２２３）の電源をＯＦＦして、処理を終了する。
【００６８】
続いて、前述のステップ７０４でのモード設定判定の処理について詳細を説明する。判定されるモードは、以下の内から設定される。
【００６９】
（１）自動撮影モード
［モード判定条件］
後述する学習により設定された各検出情報（画像、音、時間、振動、場所、身体の変化、環境変化）や、自動撮影モードに移行してからの経過時間や、過去の撮影情報などから、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
【００７０】
［モード内処理］
自動撮影モード処理（ステップ７１０）では、各検出情報（画像、音、時間、振動、場所、体の変化、環境変化）に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると、静止画一枚撮影、静止画連続撮影、動画撮影、パノラマ撮影、タイムラプス撮影など様々な撮影方法の中から、撮影方法の判定処理が行われ、自動で撮影が行われる。
【００７１】
（２）自動編集モード
［モード判定条件］
前回自動編集を行ってからの経過時間と、過去の撮影画像情報から、自動編集を行うべきと判定されると、自動編集モードに設定される。
【００７２】
［モード内処理］
自動編集モード処理（ステップ７１２）では、学習に基づいた静止画像や動画像の選抜処理を行い、学習に基づいて画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。
【００７３】
（３）画像転送モード
［モード判定条件］
スマートデバイス内の専用のアプリケーションを介した指示により、画像自動転送モードに設定されている場合、前回画像転送を行ってからの経過時間と過去の撮影画像情報から画像自動を行うべきと判定されると、自動画像転送モードに設定される。
【００７４】
［モード内処理］
画像自動転送モード処理（ステップ７１４）では、撮像装置１０１は、ユーザの好みであろう画像を自動で抽出し、スマートデバイス３０１にユーザの好みの画像を自動で抽出し、画像転送が行われる。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアにより行う。
【００７５】
（４）学習モード
［モード判定条件］
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に対応付けられた情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習モードに設定される。または、スマートデバイス３０１からの通信を介して学習データが設定されるように指示があった場合も本モードに設定される。
【００７６】
［モード内処理］
自動学習モード処理（ステップ７１６）では、ユーザの好みに合わせた学習を行う。スマートデバイス３０１での各操作、スマートデバイス３０１からの学習情報通知などの情報を基にニューラルネットワークを用いて、ユーザの好みに合わせた学習が行われる。スマートデバイス３０１での各操作の情報としては、例えば、撮像装置からの画像取得情報、専用アプリケーションを介して手動による編集指示がされた情報、撮像装置内の画像に対してユーザが入力した判定値情報がある。
【００７７】
また、個人認証の登録や音声登録、音シーン登録、一般物体認識登録などの、検出に関する学習や、上述した低消費電力モードの条件などの学習も同時に行われる。
【００７８】
（５）ファイル自動削除モード
［モード判定条件］
前回ファイル自動削除を行ってからの経過時間と、画像を記録している不揮発性メモリ２１６の残容量とから、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。
【００７９】
［モード内処理］
ファイル自動削除モード処理（ステップ７１８）では、不揮発性メモリ２１６内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるファイルを指定し（三択処理）削除する。
【００８０】
なお、自動撮影モード処理、自動編集モード処理、学習モード処理についての詳細は、後述する。
【００８１】
ステップ７０５で低消費電力モードでないと判定されると、ステップ７０９に進み、モード設定が自動撮影モードであるか否かを判定し、自動撮影モードであればステップ７１０に進み、自動撮影モード処理が行われる。処理が終了すると、ステップ７０２に戻り、処理を繰り返す。ステップ７０９で、自動撮影モードでないと判定されると、ステップ７１１に進む。
【００８２】
ステップ７１１では、モード設定が自動編集モードであるか否かを判定し、自動編集モードであればステップ７１２に進み、自動編集モード処理が行われる。処理が終了すると、ステップ７０２に戻り、処理を繰り返す。ステップ７１１で、自動編集モードでないと判定されると、ステップ７１３に進む。
【００８３】
ステップ７１３では、モード設定が画像自動転送モードであるか否かを判定し、画像自動転送モードであればステップ７１４に進み、画像自動転送モード処理が行われる。処理が終了すると、ステップ７０２に戻り、処理を繰り返す。ステップ７１３で、画像自動転送モードでないと判定されると、ステップ７１５に進む。
【００８４】
ステップ７１５では、モード設定が学習モードであるか否かを判定し、学習モードであればステップ７１６に進み、学習モード処理が行われる。処理が終了すると、ステップ７０２に戻り、処理を繰り返す。ステップ７１５で、学習モードでないと判定されると、ステップ７１７に進む。
【００８５】
ステップ７１７では、モード設定がファイル自動削除モードであるか否かを判定し、ファイル自動削除モードであればステップ７１８に進み、ファイル自動削除モード処理が行われる。処理が終了すると、ステップ７０２に戻り、処理を繰り返す。ステップ７１７で、学習モードでないと判定されると、ステップ７０２に戻り、処理を繰り返す。
【００８６】
図８は、本実施形態における撮像装置１０１の第２制御部２１１が受け持つ動作の例を説明するフローチャートである。
【００８７】
ユーザが撮像装置１０１に設けられた電源ボタンを操作すると、第１電源部２１０により電源供給部から第１制御部２２３へ電源が供給されるのと同様に第２制御部２１１においても第２電源部２１２により電源供給部から第２制御部２１１に電源が供給される。電源が供給されると、Ｓｕｂプロセッサ（第２制御部２１１）が起動され、図８の処理がスタートする。
【００８８】
ステップ８０１では、サンプリングの周期となる所定期間が経過したか否かを判定する。例えば１０ｍｓｅｃに設定された場合、１０ｍｓｅｃ周期で、ステップ８０２に進む。所定期間が経過していないと判定されると、Ｓｕｂプロセッサは何も処理をせずにステップ８０１に戻って所定期間が経過するのをまつ。
【００８９】
ステップ８０２では、学習情報の読み込みが行われる。学習情報は、図７のステップ７０６でのＳｕｂプロセッサへ情報通信する際に、転送された情報であり、例えば以下の情報が読み込まれる。
（１）特定揺れ検出の判定条件
（２）特定音検出の判定条件
（３）時間経過判定の判定条件
【００９０】
ステップ８０２で学習情報が読み込まれると、ステップ８０３に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部２０９からのジャイロセンサや加速度センサなどの振動検出するセンサからの出力値である。
【００９１】
ステップ８０３で揺れ検出値が取得されると、ステップ８０４に進み、予め設定された揺れ状態検出の処理を行う。ここでは、ステップ８０２で読み込まれた学習情報によって、判定処理を変更する。いくつかの例を説明する。
【００９２】
（１）タップ検出
ユーザが撮像装置１０１を例えば指先などで叩いた状態（タップ状態）を、撮像装置１０１に取り付けられた加速度センサの出力値より検出することが可能である。３軸の加速度センサの出力を所定サンプリングで特定の周波数領域に設定したバンドパスフィルタ（ＢＰＦ）に通すことで、タップによる加速度変化の信号領域を抽出することができる。ＢＰＦ後の加速度信号を所定時間ＴｉｍｅＡ間に、所定閾値ＴｈｒｅｓｈＡを超えた回数が、所定回数ＣｏｕｎｔＡであるか否かにより、タップ検出を行う。ダブルタップの場合は、ＣｏｕｎｔＡは２に設定され、トリプルタップの場合は、ＣｏｕｎｔＡは３に設定される。また、ＴｉｍｅＡやＴｈｒｅｓｈＡについても、学習情報によって変化させることができる。
【００９３】
（２）揺れ状態の検出
撮像装置１０１の揺れ状態を、撮像装置１０１に取り付けられたジャイロセンサや加速度センサの出力値より検出することが可能である。ジャイロセンサや加速度センサの出力をＨＰＦで高周波成分をカットし、ＬＰＦで低周波成分をカットした後、絶対値変換を行う。算出した絶対値が所定時間ＴｉｍｅＢ間に、所定閾値ＴｈｒｅｓｈＢを超えた回数が、所定回数ＣｏｕｎｔＢ以上であるか否かにより、振動検出を行う。例えば撮像装置１０１を机などに置いたような揺れが小さい状態か、ウエアラブルで撮像装置１０１を装着し歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数もつことで、揺れレベルに応じた細かい揺れ状態を検出することも可能である。
【００９４】
ＴｉｍｅＢやＴｈｒｅｓｈＢやＣｏｕｎｔＢについても、学習情報によって変化させることができる。
【００９５】
上記は揺れ検出センサの条件判定による特定揺れ状態検出の方法を説明した。しかしながら、所定時間内でサンプリングされた揺れ検出センサのデータから、ニューラスネットワークを用いた揺れ状態判定器に入力することで、学習させたニューラルネットワークにより、事前に登録しておいた特定揺れ状態を検出することも可能である。その場合、ステップ８０２での学習情報読み込みはニューラルネットワークの重みパラメータとなる。
【００９６】
ステップ８０４で特定揺れ状態検出処理が行われると、ステップ８０５に進み、予め設定された特定音検出処理を行う。ここでは、ステップ８０２で読み込まれた学習情報によって、検出判定処理を変更する。いくつかの例を説明する。
【００９７】
（１）特定音声コマンド検出
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる。
【００９８】
（２）特定音シーン認識
予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。検出するシーンは学習によって変化する。
【００９９】
（３）音レベル判定
所定時間の間で、音レベルの大きさがレベル所定値を超えている時間を加算するなどの方法によって、音レベル判定による検出を行う。所定時間やレベル所定値の大きさなどが学習によって変化する。
【０１００】
（４）音方向判定
複数のマイクが設置された平面上の音の方向を検出することができ、所定大きさの音レベルに対して、音の方向を検出する。
【０１０１】
音声処理部２１４内で上記の判定処理が行われており、事前に学習された各設定により、特定音検出がされたかをステップ８０５で判定する。
【０１０２】
ステップ８０５で特定音検出処理が行われると、ステップ８０６に進む。ステップ８０６では、Ｍａｉｎプロセッサ（第１制御部２２３）はＯＦＦ状態であるか否かを判定し、ＭａｉｎプロセッサがＯＦＦ状態であれば、ステップ８０７に進み、予め設定された時間経過検出処理を行う。ここでは、ステップ８０２で読み込まれた学習情報によって、検出判定処理を変更する。学習情報は、図７で説明したステップ７０６でのＳｕｂプロセッサ（第２制御部２１１）へ情報通信する際に、転送された情報である。ＭａｉｎプロセッサがＯＮからＯＦＦへ遷移したときからの経過時間が計測されており、経過時間がパラメータＴｉｍｅＣ以上であれば、時間経過と判定され、ＴｉｍｅＣより小さければ、時間経過とは判定されない。ＴｉｍｅＣは、学習情報によって変化するパラメータである。
【０１０３】
ステップ８０７で時間経過検出処理が行われると、ステップ８０８に進み、低消費電力モード解除判定がされたかを判定する。
【０１０４】
以下に低消費電力モードの解除判定アルゴリズムの詳細について、図９、図１０、図１１を用いて説明する。
【０１０５】
まず、低消費電力モードの解除のトリガとなりうるのは、以下の３条件であり、それぞれ、図８のステップ８０４での特定揺れ状態検出処理、ステップ８０５での特定音検出処理、ステップ８０７での時間経過検出処理、によって判定される。
（１）特定揺れ検出の判定条件
（２）特定音検出の判定条件
（３）時間経過判定の判定条件
【０１０６】
図９のステップ９０１において、上記３条件のうち何れかの条件を満たすと、図９のステップ９０２の周辺画像Ｂの撮影に進む。ステップ９０２では、一時的にＭａｉｎプロセッサの電源を入れ、撮像装置の周辺画像Ｂの撮影を行う。
【０１０７】
そして、ステップ９０３において、前述の図７のステップ７０７で保存しておいた、低消費電力モードに移行した際の撮像装置の周辺画像Ａと、前述の周辺画像Ｂの画像比較を行う。
【０１０８】
ここで、周辺画像Ａは、図１０のように、光学系をパン方向に回転させながら撮影した複数の画像を、オーバーラップ部分を使って位置合わせしながら連続的に合成した３６０°のパノラマ画像としてメモリに保持されている。ここで、パノラマ画像は、個々の画像の撮像範囲より広範囲の画像である。また低消費電力モードに移行した際に撮像装置が向いていた方位やチルト角度などの情報を付帯情報として周辺画像Ａと共に保存しておき、後述の画像比較の際に利用しても良い。
【０１０９】
ステップ９０２で周辺画像Ｂを撮影すると、前述の周辺画像Ａの付帯情報と現在光学系が向いている方位情報を用いて、図１１のｉ）に示すように、周辺画像Ｂの撮影画角に対応する周辺画像Ａの対応位置を計算する。そして、周辺画像Ａの該当箇所と周辺画像Ｂの差分和を求める計算をステップ９０３において行う。画像間の差分情報に含まれる差分和が所定の閾値を超える場合は、ステップ９０４において低消費電力モードに移行した時の周辺環境と、現在の周辺環境が大きく異なると判断し、ステップ９０５の低消費電力モード解除処理へと進む。
【０１１０】
一方で、画像間の差分和が所定の閾値を超えない場合、低消費電力モードに移行した時と現在の周辺環境に大きな差分がないものと判断し、ステップ９０６において再びＳｕｂプロセッサの電源をＯＦＦにして、低消費電力モードを維持するものとする。
【０１１１】
尚、周辺画像Ｂの撮影は１回に限定されず、図１１のｉｉ）のように離散的に複数の画角で確認を行って、それぞれの画角における周辺画像Ａとの差分の総和で判断しても良い。また、図１１のｉｉｉ）のように低消費電力モードに移行する際に、周辺画像Ａ内に含まれる被写体のうち、特徴的な被写体の方位を記憶しておき、復帰判定時の周辺画像Ｂの撮影方位にフィードバックしても良い。このように周辺画像Ａをパノラマ画像として記憶することにより、保持するメモリの量を抑えながら、撮像タイミングの異なる周辺画像Ｂとの照合を速やかに行うことが可能である。
【０１１２】
図８のステップ８０８で解除条件判定されると、ステップ８０９に進みＭａｉｎプロセッサの電源をＯＮする。そして、ステップ８１０で、低消費電力モード解除と判定された条件（揺れ、音、時間）をＭａｉｎプロセッサに通知し、ステップ８０１に戻り処理をループする。
【０１１３】
ステップ８０６で、ＭａｉｎプロセッサがＯＮ状態であると判定されている場合、ステップ８０３乃至８０５までで取得した情報をＭａｉｎプロセッサに通知するし、ステップ８０１に戻り処理をループする。
【０１１４】
本実施形態においては、ＭａｉｎプロセッサがＯＮ状態においても揺れ検出や特定音検出をＳｕｂプロセッサで行い、検出結果をＭａｉｎプロセッサに通知する構成にしている。しかしながら、ＭａｉｎプロセッサがＯＮの場合は、ステップ８０３乃至８０５の処理を行わず、Ｍａｉｎプロセッサ内の処理（図７のステップ７０２）で揺れ検出や特定音検出を検出する構成にしてもよい。
【０１１５】
上記のように図７のステップ７０４乃至ステップ７０７や、図８の処理を行うことで、低消費電力モードに移行する条件や低消費電力モードを解除する条件が、ユーザの操作に基づいて学習される。そして、撮像装置１０１を所有するユーザの使い勝手に合わせたカメラ動作を行うことができる。学習の方法については後述する。
【０１１６】
＜自動撮影モード処理＞
図１２を用いて、撮影モード処理を説明する。
【０１１７】
Ｓ１２０１にて、撮像部２０６で取り込まれた信号を画像処理部２０７で被写体検出用に画像処理された画像を生成する。生成された画像からは、人物や物体検出などの被写体検出が行わる。人物を検出する場合、被写体の顔や人体を検出する。
【０１１８】
顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。
【０１１９】
また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。
【０１２０】
例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法で、撮像情報から各被写体情報を得ることができる。
【０１２１】
Ｓ１２０２では、像揺れ補正量の算出を行う。具体的には、まず、装置揺れ検出部２０９において取得した角速度および加速度情報に基づいてカメラ絶対角度の算出を行う。そして、絶対角度を打ち消す角度方向にチルト回転ユニット１０４およびパン回転ユニット１０５を動かす防振角度を求め、像揺れ補正量とする。なお、ここでの像揺れ補正量算出処理は、後述する学習処理によって、演算方法を変更することが出来る。
【０１２２】
Ｓ１２０３では、カメラ状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報などで検出したカメラ角度やカメラ移動量などにより、現在カメラがどのような振動／動き状態なのかを判定する。
【０１２３】
例えば、車に撮像装置１０１を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。
【０１２４】
また、カメラ角度の変化が大きいか否かを判定し、撮像装置１０１が揺れ角度がほとんどない「置き撮り状態」であるのかを判定する。「置き撮り状態」である場合は、撮像装置１０１自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。
【０１２５】
また、比較的カメラ角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。
【０１２６】
Ｓ１２０４では、被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
【０１２７】
（１）エリア分割
図１６を用いて、エリア分割を説明する。図１６（ａ）のようにカメラ（原点Ｏがカメラ位置とする。）位置を中心として、全周囲でエリア分割を行う。図１６（ａ）の例においては、チルト方向、パン方向それぞれ２２．５度で分割している。図１６（ａ）のように分割すると、カメラチルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図１６（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。図１６（ｃ）、（ｄ）に撮影画角内でのエリア分割された例を示す。軸１６０１は初期化時の撮像装置１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。１６０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図１６（ｄ）に示す。画角に写し出されている画像内ではエリア分割に基づいて、図１６（ｄ）の１１６０３〜１６１８のように画像分割される。
【０１２８】
（２）エリア毎の重要度レベルの算出
前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。また、前記カメラ状態判定（Ｓ１２０３）で、カメラの振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにもすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体（例えばカメラの所有者である）を中心に被写体探索が行われるように判定される。また、後述する自動撮影も上記顔を優先して行われる。これにより、カメラ所有がカメラを身に着けて持ち歩き撮影を行っている時間が多くても、カメラを取り外して机の上などに置くことで、所有者が写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、カメラの置き角度などを考えなくても、適当に設置するだけで所有者が写った画像やたくさんの顔が写った集合写真などを残すことができる。なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ１２１０にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。
【０１２９】
（３）探索対象エリアの決定
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
【０１３０】
Ｓ１２０５では、パン・チルト駆動を行う。具体的には、像振れ補正量とパン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出し、鏡筒回転駆動部２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。
【０１３１】
Ｓ１２０６ではズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ１２０４で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出が出来ず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体やカメラ自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことができる。
【０１３２】
尚、上述したＳ１２０１〜Ｓ１２０６の動作中に並行させて、所定時間ごとに取得された異なるタイミングの画像を比較し、比較結果に基づいて、シーン変化を検出し、シーンが変化したエリアに光学系を向けることも可能である。
【０１３３】
例えば、まず、Ｓ１２０１のタイミングにて、撮像部２０６で撮像装置の周辺画像Ａの撮影を行う（Ｓ２００１）。そして、所定時間の経過といった条件を満たす（Ｓ２００２）と、図２０のステップＳ２００３の周辺画像Ｂの撮影に進む。ステップＳ２００３では、撮像装置の周辺画像Ｂの撮影を行う。
【０１３４】
そして、ステップＳ２００４において、前述のステップＳ２００１で保存しておいた、撮像装置の周辺画像Ａと、前述の周辺画像Ｂの画像比較を行う。
【０１３５】
ここで、周辺画像Ａは、図１０のように、光学系をパン方向に回転させながら撮影した複数の画像を、オーバーラップ部分を使って位置合わせしながら連続的に合成した３６０°のパノラマ画像としてメモリに保持されている。また、撮像装置が向いていた方位やチルト角度などの情報を付帯情報として周辺画像Ａと共に保存しておき、後述の画像比較の際に利用しても良い。
【０１３６】
ステップＳ２００３で周辺画像Ｂを撮影すると、前述の周辺画像Ａの付帯情報と現在光学系が向いている方位情報を用いて、図１１のｉ）に示すように、周辺画像Ｂの撮影画角に対応する周辺画像Ａの対応位置を計算する。そして、周辺画像Ａの該当箇所と周辺画像Ｂの差分和を求める計算をステップＳ２００４において行う。画像間の差分和が所定の閾値を超える場合は、ステップＳ２００５において、Ｓ１２０１のタイミングでの周辺環境と、現在の周辺環境が大きく異なりシーンが変化したと判断する。そして、Ｓ１２０１〜Ｓ１２０６の被写体探索処理を中断させて、差分が見つかったエリアに光学系を向ける。
【０１３７】
一方で、画像間の差分和が所定の閾値を超えない場合は、Ｓ１２０１時と現在の周辺環境に大きな差分がないものと判断し、Ｓ１２０１〜Ｓ１２０６に示したエリアごとの重要度に基づく被写体探索処理を継続する。
【０１３８】
以上に述べたアルゴリズムによって、従来は現在撮像装置が向いている方向のシーン変化を判断することしかできなかったが、撮像装置の周辺のシーン変化を効率的に判断することが可能であり、撮りたいシーンの撮り逃しを防ぐことができる。
【０１３９】
次に、Ｓ１２０７では、手動による撮影指示があったがどうかを判定し、撮影指示があった場合、Ｓ１２１０に進む。この時、手動による撮影指示は、シャッターボタン押下によるものや、カメラ筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部機器からの指示などによってもよい。タップ操作による撮影指示は、ユーザがカメラ筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知し、撮影のトリガーとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理部２１４で音声を認識し、撮影のトリガーとする撮影指示方法である。外部機器からの指示は、例えばカメラとＢｌｕｅＴｏｏｔｈ接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガーとする撮影指示方法である。
【０１４０】
Ｓ１２０８では、自動撮影判定を行う。自動撮影判定では、自動撮影を行うかどうかの判定と、撮影方法の判定（静止画撮影、動画撮影、連写、パノラマ撮影などの内どれを実行するかの判定）を行う。
【０１４１】
＜自動撮影を行うかどうかの判定＞
自動撮影を行うかどうかの判定は以下の２つの判定に基づいて行う。１つは、Ｓ１２０４にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。２つめは、ニューラルネットワークに基づく判定である。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図１５に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。図１５の１５０１およびその縦に並ぶ丸は入力層のニューロンであり、１５０３およびその縦に並ぶ丸は中間層のニューロンであり、１５０４は出力層のニューロンである。１５０２のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンやカメラの状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度を使用してよい。更に、シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否かを使用してもよい。更に、振動情報（加速度情報、前記カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用する。更に、ウエアラブルデバイス５０１からの情報通知がある場合、通知情報（ユーザの運動情報、腕のアクション情報、心拍などの生体情報など）も特徴として使用する。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。
【０１４２】
なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることができる。
【０１４３】
また、図７のステップ７０２で読み込んだＭａｉｎプロセッサの起動条件によって、自動撮影される判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合は、ユーザが現在撮影してほしいための操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定されるようになる。
【０１４４】
＜撮影方法の判定＞
撮影方法の判定では、Ｓ１２０１乃至Ｓ１２０４において検出した、カメラの状態や周辺の被写体の状態に基づいて、静止画撮影、動画撮影、連写、パノラマ撮影などの内どれを実行するかの判定を行う。例えば、被写体（人物）が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。また、被写体がカメラを取り囲むように複数存在している場合は、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。また、前述したＧＰＳ情報に基づいて景勝地であるということが判断出来ている場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。なお、＜自動撮影を行うかどうかの判定＞での判定方法と同様に、撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、撮影方法を判定することもできるし、この判定処理は、後述する学習処理によって、判定条件を変更することが出来る。
【０１４５】
Ｓ１２０９では、Ｓ１２０８の自動撮影判定により撮影する判定が下された場合、Ｓ１２１０に進み、下されなかった場合、撮影モード処理終了へと進む。
【０１４６】
Ｓ１２１０では、自動撮影を開始する。この時、Ｓ１２０８にて判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理を行い、画像を生成する。なお、この撮影の際に、所定の条件を満たした時、カメラが撮影対象となる人物に対し撮影を行う旨を報知した上で撮影する手段を取ってもよい。報知の方法は、例えば、音声出力部２１８からの音声やＬＥＤ制御部２２４によるＬＥＤ点灯光を使用してもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度・目瞑り度、被写体人物の視線角度や顔角度、顔認証ＩＤ番号、個人認証登録されている人物の数がある。また、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否かがある。また、振動情報（加速度情報、前記カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等である。これらの条件に基づき報知撮影を行うことによって、重要性が高いシーンにおいてカメラ目線の好ましい画像を残すことが出来る。このような撮影前の報知についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、報知の方法やタイミングを判定することもできる。また、この判定処理は、後述する学習処理によって、判定条件を変更することができる。
【０１４７】
Ｓ１２１１では、Ｓ１２１０にて生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などである。画像加工は、Ｓ１２１０にて生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記Ｓ１２１０にて生成した画像とは別に保存するとしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。Ｓ１２１１での編集についても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づく判断によって、画像加工の方法を判定することもできるし、この判定処理は、後述する学習処理によって、判定条件を変更することができる。
【０１４８】
Ｓ１２１２では撮影画像の学習情報生成処理を行う。ここでは、後述する学習処理に使用する情報を生成し、記録する。具体的には、今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数がある。また、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果がある。また、前回撮影時からの経過時間、撮影時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否かがある。また、振動情報（加速度情報、前記カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）、動画撮影時間、手動撮影指示によるものか否か、がある。更にユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアも演算する。
【０１４９】
これらの情報を生成し、撮影画像ファイルへタグ情報として記録する。あるいは、不揮発性メモリ２１６へ書き込むか、記録媒体２２１内に、所謂カタログデータとして各々の撮影画像の情報をリスト化した形式で保存する、としてもよい。
【０１５０】
Ｓ１２１３では過去撮影情報の更新を行う。具体的には、Ｓ１２０８の説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。
【０１５１】
＜自動編集処理（ハイライト動画）＞
次に、本実施形態における自動編集処理（ハイライト動画）について説明する。図７のステップ７０４のモード設定判定にて、自動編集処理（ハイライト動画）を行うか否かを判定し、自動編集処理を行う場合、ステップ７１２の自動編集モード処理を行う。
【０１５２】
自動編集モードの判定条件を説明する。自動編集モードに移行するか否かは、前回編集処理を行ってからの経過時間や、前回編集処理を行った時点以降で撮影された各画像の学習情報やスコアなどに基づいて判定される。ステップ７０４のモード設定判定処理内で判定される、自動編集モードに移行すべきか否かの判定処理フローを図１３に示す。
【０１５３】
ステップ７０４のモード設定判定処理内で自動編集モード判定が開始指示されると、図１３の処理がスタートする。ステップ１３０１では、前回自動編集処理が行われてからの経過時間ＴｉｍｅＤを取得し、ステップ１３０２に進む。ステップ１３０２では、前回編集処理を行った時点以降で撮影された各画像に対応した学習情報やスコアなどを取得し、ステップ１３０３に進む。ステップ１３０３では、ステップ１３０２で取得した各データから自動編集を行うべきかどうかを判定するための評価値ＤＢを演算する。評価値の演算方法は、例えば、各画像情報から画像の特徴を抽出し、特徴の種類が多い場合は点数が高くなるようにする。また、上記自動撮影で説明したとおり各画像には、ユーザの好みを判定されたスコアが演算されており、スコアが高い画像が多い場合も点数が高くなるようにする。また、撮影された数が多くても点数は高くなるように計算する。これにより評価値はスコアの点数の高さに依存し、画像の数に依存し、特徴の種類にも異存することになる。ステップ１３０４に進む。ステップ１３０４では、ＴｉｍｅＤから閾値ＤＡを演算する。例えば、ＴｉｍｅＤが所定値よりも小さい場合の閾値ＤＡａが、所定値よりも大きい場合の閾値ＤＡｂよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定してある。これにより、撮影データが少ない場合においても、時間経過が大きいと自動編集処理を行うようにすることで、使用時間に応じてカメラが自動的にハイライト動画を作成してくれるようにしてある。
【０１５４】
ステップ１３０４の処理を終了すると、ステップ１３０５に進み、評価値ＤＢが、閾値ＤＡより大きい場合、ステップ１３０６に進む。前回自動編集を行った時点から、自動編集すべきデータを得ることができた、或いは時間経過が大きく、自動編集を行うべきだと判定された場合であるので、自動編集モードをＴＲＵＥにして、自動編集モード判定を終了する。ステップ１３０５で、評価値ＤＢが閾値ＤＡ以下である場合は、自動編集すべきデータが揃っていないと判定され、自動編集処理は行わないように自動編集モード判定をＦＡＬＳＥにし、自動編集モード判定処理を終了する。
【０１５５】
次に自動編集モード処理（ステップ７１１）内の処理について説明する。自動編集モード処理の詳細なフローを図１４に示す。
【０１５６】
Ｓ１４０１にて、記録媒体２２１に保存された静止画像、動画像の選抜処理を第一制御部２２３で実施し編集に使用する画像を選抜し、Ｓ１４０２へ進む。
【０１５７】
ここでいう画像選抜処理とは、撮影された静止画像、動画像の中の顔の数、顔のサイズ、色群などのメタデータを画像毎に抽出を行い、評価値に換算し定めた閾値以上のものを列挙する事とする。後述する学習により、静止画像及び動画像の選抜比率を決定し、ユーザの設定、撮影頻度、各設定を顧みて優先的に選抜を行うようにする。
【０１５８】
Ｓ１４０２にて、Ｓ１４０１で選抜された画像に対して第一制御部２２３、画像処理部２０７で画像効果付与を行いＳ１４０３に進む。
【０１５９】
ここでいう画像効果付与とは、静止画像において、人物の顔や合焦位置の中心でのトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、スライド、ズーム、フェードの特殊効果処理、色フィルタ効果などとする。
【０１６０】
動画像においても同様に色フィルタ付与を行う。
【０１６１】
Ｓ１４０３にて、第一制御部２２３にて画像再生時間の設定を行いＳ１４０４に進む。Ｓ１４０１にて選抜された画像を用いて、Ｓ１４０５で説明するハイライト動画を作成のため、後述する学習に基づいて適切な画像の再生時間を設定する。
【０１６２】
Ｓ１４０４にて、第一制御部２２３にてＳ１４０５で説明するハイライト動画に付与する音楽（ＢＧＭ）の設定を行いＳ１４０５に進む。音楽（ＢＧＭ）の設定についても後述する学習した結果よりユーザへ提供する最も適切なものを設定する事とする。
【０１６３】
Ｓ１４０５にて、第一制御部２２３にてＳ１４０１からＳ１４０４で行った結果を用いて一連のハイライト動画作成を行う。作成したハイライト動画は、記録媒体２２１に保存する。
【０１６４】
なお、上記説明した画像の選抜や、画像効果付与や、再生時間やＢＧＭは、各画像に付与されている撮影画像の情報、或いは撮影前に検出した各種情報から、ニューラルネットワークに基づく判断によって、判定することができる。また、この判定処理は、後述する学習処理によって、判定条件を変更することが出来る。
【０１６５】
＜学習処理＞
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。
【０１６６】
本実施形態では、図１５に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理部２１９にてユーザの好みに合わせた学習を行う。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や自動編集、被写体探索に対して、ユーザの好みに合わせた学習を行う。
【０１６７】
また、ニューラルネットワークに入力する特徴データともなる被写体登録（顔認証や一般物体認識など）を登録したり、撮影報知制御や低消費電力モード制御やファイル自動削除を学習によって変更することも行う。
【０１６８】
本実施形態において、学習処理により、学習される要素は以下である。
（１）自動撮影
（２）自動編集
（３）被写体探索
（４）被写体登録
（５）撮影報知制御
（６）低消費電力モード制御
（７）ファイル自動削除
（８）像揺れ補正
（９）画像自動転送
【０１６９】
＜自動撮影＞
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図１２のフローを用いた説明で上述したように、撮影後（ステップＳ１２１２）に学習情報生成処理が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。
【０１７０】
学習は、自動撮影タイミングの判定を行うニューラルネットワークの変更と、撮影方法（静止画撮影、動画撮影、連写、パノラマ撮影など）の判定をニューラルネットワークの変更で行われる。
【０１７１】
＜自動編集＞
自動編集に対する学習について説明する。自動編集は、図１２のステップ１２１１での撮影直後の編集と、図１３で説明したハイライト動画の編集のそれぞれに対して学習が行われる。
【０１７２】
撮影直後の編集について説明する。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。撮影或いは撮影直前の情報により得られた各種検出情報をニューラルネットワークに入力し、編集方法（トリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果など）の判定を行う。
【０１７３】
ハイライト動画の編集について説明する。ハイライト動画は、ユーザの好みに合ったアルバム動画作成を自動で行うための学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。撮影或いは撮影直前の情報により得られた各種検出情報をニューラルネットワークに入力し、画像効果付与（トリミング処理、回転処理、ＨＤＲ効果、ボケ効果、スライド、ズーム、フェード、色変換フィルタ効果、ＢＧＭ、時間、静止画動画比率）の判定を行う。
【０１７４】
＜被写体探索＞
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動で行うための学習を行う。図１２のフローを用いた説明で上述したように、被写体探索処理（ステップＳ１２０４）において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行っている。学習は撮影画像や探索中の検出情報によって学習され、ニューラルネットワークの重みを変化させることで学習する。
【０１７５】
探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの判定を行うことで、学習を反映した被写体探索を行う。また、重要度レベルの算出以外にも、例えば、パン・チルト探索方法（速度、動かす頻度）も行う。
【０１７６】
＜被写体登録＞
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動で行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。認証登録は人と物体に対する認証登録を行い、画像取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク設定を行う。登録された情報は、各ニューラルネットワークを用いた判定の入力として登録されることになる。
【０１７７】
＜撮影報知制御＞
撮影報知に対する学習について説明する。図１２のＳ１２１０で説明したように、撮影直前に、所定の条件を満たしたとき、カメラが撮影対象となる人物に対して撮影を行う旨を報知した上で撮影することも行う。例えば、パン・チルトを駆動することにより視覚的に被写体の視線を誘導するモーションや、音声出力部２１８から発するスピーカー音や、ＬＥＤ制御部２２４によるＬＥＤ点灯光を使用する。
【０１７８】
上記報知の直後に被写体の検出情報（例えば、笑顔度、目線検出、ジェスチャー）が得られたか否かで、検出情報を学習に使用するかを判定し、ニューラルネットワークの重みを変化させることで学習する。
【０１７９】
撮影直前の各検出情報をニューラルネットワークに入力し、報知を行うか否かの判定や、各動作（音（音レベル／音の種類／タイミング）、光（点灯時間、スピード）、パン・チルトモーション）の判定を行う。
【０１８０】
＜低消費電力モード制御＞
図７、図８を用いて、説明したようにＭａｉｎプロセッサ（制御部２２３）の供給電源をＯＮ／ＯＦＦする制御を行うが、低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習も行う。
【０１８１】
低消費電力モードを解除する条件の学習について説明する。
【０１８２】
（１）タップ検出
上述したとおり、所定時間ＴｉｍｅＡや所定閾値ＴｈｒｅｓｈＡを学習により変化させる。上記のタップ検出の閾値を下げた状態での仮タップ検出も行っており、タップ検出前に仮タップ検出が判定されていたか否かで、ＴｉｍｅＡやＴｈｒｅｓｈＡのパラメータを検出し易いように設定する。
【０１８３】
また、タップ検出後のカメラ検出情報から、起動要因ではなかったと判定されると、ＴｉｍｅＡやＴｈｒｅｓｈＡのパラメータを検出し難いように設定する。
【０１８４】
（２）揺れ状態検出
上述したとおり、所定時間ＴｉｍｅＢや所定閾値ＴｈｒｅｓｈＢや所定回数ＣｏｕｎｔＢなど学習により変化させる。揺れ状態により起動条件に入った場合、起動を行うが、起動後所定時間間のカメラ検出情報から、起動要因ではなかったと判定されると、揺れ状態判定により起動し易いように学習する。また、揺れが大きい状態での撮影頻度が高いと判定されると、揺れ状態判定により起動し難いように設定する。
【０１８５】
（３）音検出
ユーザが特定音声や検出したい特定音シーンや特定音レベルを、例えば外部機器３０１の専用アプリケーションと通信を介して、手動で設定することでの学習ができる。
【０１８６】
また、複数の検出を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させ、画像に含まれる撮影される前後音情報を学習し、起動要因とする音判定（特定音コマンドや、「歓声」「拍手」などの音シーン）を設定する方法でも学習する。
【０１８７】
（４）画像差分検出
前述のように、低消費電力モードへ移行した時の周辺画像Ａと解除判定時に撮影した周辺画像Ｂの画像差分が大きければ、撮影シーンが変更されたと判断し、低消費電力モードを解除する。この時の画像差分に対する閾値や、画像差分を撮る被写体の位置などを学習により変化させる。例えば画像差分が大きいと判断して低消費電力モードを解除したが、その後自動撮影に値する撮影が行われなかった場合は、画像差分に対する閾値を大きくして、低消費電力モードから抜け難いように設定する。あるいは低消費電力モードを解除している時間が長く、消費電力が高すぎると判断した場合は、画像差分に対する閾値を大きくして、低消費電力モードから抜け難いように設定する。
【０１８８】
（５）環境情報検出
ユーザが起動したい環境情報変化の条件を、例えば外部機器３０１の専用アプリケーションと通信を介して、手動で設定することでの学習ができる。例えば、温度や気圧や明るさや湿度や紫外線量の絶対量や変化量の特定条件によって起動させることができる。
【０１８９】
各環境情報に基づく、判定閾値を学習することもできる。環境情報による起動後後のカメラ検出情報から、起動要因ではなかったと判定されると、各判定閾値のパラメータを検出し難いように設定したりする。
【０１９０】
また、上記各パラメータは、電池の残容量によっても変化する。例えば、電池残量が少ないときは各種判定に入り難くなり、電池残量が多いときは各種判定に入り易くなる。具体的には、ユーザが必ずカメラを起動してほしい要因でない条件である揺れ状態検出結果や、音検出の音シーン検出は、電池残量によって各検出判定のし易さが変化することになる。
【０１９１】
また、低消費電力モード解除条件の判定は、揺れ検出や音検出や時間経過の検出情報や各環境情報や電池残量をニューラルネットワークに基づく判断によって、判定することもできる。その場合、後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。
【０１９２】
低消費電力状態への遷移条件の学習について説明する。図７に示したとおり、モード設定判定７０４で、「自動撮影モード」「自動編集モード」「画像自動転送モード」「学習モード」「ファイル自動削除モード」の何れでもないと判定されると、低消費電力モードに入る。各モードの判定条件については、上述したとおりであるが、各モードを判定される条件についても学習によって変化する。
【０１９３】
（１）自動撮影モード
上述したとおり、エリア毎の重要度レベルを判定し、パン・チルトで被写体探索をしながら自動撮影を行うが、撮影される被写体がいないと判定されると、自動撮影モードを解除する。例えば、すべのエリアの重要度レベルや、各エリアの重要度レベルを加算した値が、所定閾値以下になったとき、自動撮影モードを解除する。このとき、自動撮影モードに遷移してからの経過時間によって所定閾値を下げていくことも行われる。自動撮影モードに遷移してから経過時間が大きくなるにつれて低消費電力モードへ移行し易くしている。
【０１９４】
また、電池の残容量によって所定閾値を変化させることで、電池もちを考慮した低消費電力モード制御を行うことができる。例えば、電池残量が少ないときは閾値が大きくなり、電池残量が多いときは閾値が小さくなる。ここで、前回自動撮影モードに遷移してからの経過時間と撮影枚数によって、Ｓｕｂプロセッサに対して、次回低消費電力モード解除条件のパラメータ（経過時間閾値ＴｉｍｅＣ）を設定する。
【０１９５】
上記の各閾値は学習によって変化する。
【０１９６】
学習は、例えば外部機器３０１の専用アプリケーションと通信を介して、手動で撮影頻度や起動頻度などを設定することで、学習ができる。
【０１９７】
また、撮像装置１０１電源ボタンをＯＮしてから、電源ボタンをＯＦＦするまでの経過時間の平均値や時間帯ごとの分布データを蓄積し、各パラメータを学習する構成にしてもよい。その場合、電源ＯＮからＯＦＦまでの時間が短いユーザに対しては低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、電源ＯＮからＯＦＦまでの時間が長いユーザに対しては間隔が長くなるように学習される。
【０１９８】
また、探索中の検出情報によっても学習される。学習によって設定された重要となる被写体が多いと判断されている間は、低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が短くなり、重要となる被写体が少ない間は、間隔が長くなるように学習される。
【０１９９】
＜ファイル自動削除＞
ファイル自動削除に対する学習について説明する。ファイル自動削除では、ファイルの空き容量や優先して削除する画像の選択などについて学習を行う。後述する学習方法で、ユーザが外部機器３０１に取得された画像の撮影日時や、取得された自動編集（ハイライト動画）によって作成された動画の編集内容によって学習する。例えば、取得されたハイライト動画が、短い時間間隔で撮影された画像が多い場合、撮影された日時が古いファイルが優先的に削除されるが、長い時間間隔で撮影された画像を含む場合、日時が古くてもスコアの高いファイルは削除しないように学習される。
【０２００】
他の例では、撮影頻度が多くなるように学習されている場合は、ファイルの空き領域を多くとるようにファイルが自動削除され、撮影頻度が少なくなるように学習されている場合は、ファイルの空き領域は少なくていいようにファイルの自動削除が行われる。
【０２０１】
他の例では、動画の撮影頻度が多くなるように学習されている場合は、ファイルの空き領域を多くとるようにファイルが自動削除される。静止画の撮影頻度が多くなるように学習されている場合は、ファイルの空き領域は少なくていいようにファイルの自動削除が行われる。
【０２０２】
＜像揺れ補正＞
像揺れ補正に対する学習について説明する。像揺れ補正は、図１２のＳ１２０２で補正量を算出し、補正量に基づいてＳ１２０５でパン・チルトを駆動することにより、像揺れ補正を行う。像揺れ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習を行う。
【０２０３】
撮影画像に対して、例えば、ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を推定することにより、ブレの方向及び大きさを推定することが可能である。図１２のＳ１２１２の学習用情報生成では、推定したブレの方向と大きさが、情報として画像に付加されている。
【０２０４】
図７のステップ７１６での学習モード処理内で、推定したブレの方向と大きさを出力として、撮影時の各検出情報（撮影前所定時間における画像の動きベクトル情報を学習させる。また、検出した被写体（人や物体）の動き情報、振動情報（ジャイロ出力、加速度出力、前記カメラ状態）を入力として、揺れ補正用のニューラルネットワークの重みを学習させる。他にも、環境情報（温度、気圧、照度、湿度）、音情報（音シーン判定、特定音声検出、音レベル変化）、時間情報（起動からの経過時間、前回撮影時からの経過時間）、場所情報（ＧＰＳ位置情報、位置移動変化量）なども入力に加えて判定してもよい。
【０２０５】
Ｓ１２０２での補正量算出時において、上記各検出情報をニューラルネットワークに入力することで、その瞬間撮影したときのブレの大きさを推定することができ、推定したブレの大きさが大きいときは、シャッター速度を短くするなどの制御が可能となる。また、推定したブレの大きさが大きいときはブレ画像になってしまうので撮影を禁止するなどの方法もとれる。
【０２０６】
また、パン・チルト駆動角度には制限があるため、駆動端に到達してしまうとそれ以上補正を行うことができないが、撮影時のブレの大きさと方向を推定することで、露光中揺れ補正するためのパン・チルト駆動に必要な範囲を推定できる。露光中可動範囲の余裕がない場合は、揺れ補正量を算出するフィルタのカットオフ周波数を大きくして、可動範囲を超えないように設定することで、大きなブレを抑制することもできる。また、可動範囲を超えそうな場合は、露光直前にパン・チルトの角度を可動範囲を超えそうな方向とは逆の方向に回転してから、露光開始することで、可動範囲を確保してブレない撮影を行うこともできる。
【０２０７】
これにより、ユーザの撮影時の特徴や使い方に合わせて揺れ補正を学習することができるので、撮影画像がブレてしまうことを防止できる。
【０２０８】
また、上述した＜撮影方法の判定＞において、動いている被写体はブレがなく、動いていない背景が流れる撮影を行う、流し撮り撮影を行うか否かを判定し、撮影前までの検出情報から、被写体ブレ補正を行ってもよい。このとき、撮影前までの検出情報から、被写体がブレなく撮影するためのパン・チルト駆動速度を推定して、被写体ブレ補正を行う。その場合、上記各検出情報を学習させてあるニューラルネットワークに入力することで、駆動速度を推定する。
【０２０９】
学習は、画像を各ブロックで分割して、各ブロックのＰＳＦを推定することで、主被写体が位置するブロックでのブレの方向及び大きさを推定し、その情報を基に学習することができる。
【０２１０】
また、ユーザが選択した画像の情報から、背景流し量を学習することもできる。その場合、主被写体が位置しないブロックでのブレの大きさを推定し、その情報を基にユーザの好みを学習することができる。学習した好みの背景流し量に基づいて、撮影時のシャッター速度を設定することで、ユーザの好みにあった流し撮り効果が得られる撮影を自動で行うことができる。
【０２１１】
＜画像自動転送＞
画像自動転送に対する学習について説明する。画像自動転送では、記録媒体２２１に記録された画像の中から、優先して転送する画像の選択や転送頻度などについて学習を行う。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習することができる。また、上述したように、上記自動撮影で説明したとおり各画像には、ユーザの好みを判定されたスコアが演算されており、スコアが高い画像が優先して画像転送する。
【０２１２】
また、過去に画像転送した画像に対応した学習情報も画像転送判定に使われるし、学習によって変化する。後述する方法で学習させる画像を選択し、画像に含まれる学習情報（特徴量）の何を重要視するかを設定し、過去に画像転送した画像が同じような特徴量を含むものが多い場合、別の特徴量を含み且つスコアの高い画像を転送するように設定する。
【０２１３】
また、カメラの各状態に応じて、画像転送頻度も変化する。
【０２１４】
電池の残容量によって変化する。例えば、電池残量が少ないときは、画像転送され難く、電池残量が多いときは、画像転送しやすくなるように設定される。具体的に例えば、前回自動転送された時からの経過時間と、その経過時間の間で撮影された画像の中で最も高いスコアとを乗算し、乗算した値が閾値を超えた時に画像転送するようにしておき、閾値を電池残量によって変化するような構成をとっても実現できる。
【０２１５】
他の例では、撮像装置１０１が設定された撮影頻度に応じて、画像自動転送の頻度を変更する。撮影頻度が多くなるように学習されている場合は、画像自動転送の頻度も多くなるように設定され、撮影頻度が少なくなるように学習されている場合は、画像自動転送の頻度も少なくなるように設定される。このとき撮影頻度によって上記閾値を変化させることで撮影頻度設定に応じた画像転送頻度を変更できる。
【０２１６】
他の例では、ファイル（記録媒体２２１）の空き容量に応じて、画像自動転送の頻度を変更することも行われる。ファイルの空き容量が多い場合は、画像自動転送の頻度は少なく、ファイルの空き容量が少ない場合は、画像自動転頻度が多くなるように設定される。このときファイル空き容量によって上記閾値を変化させることでファイル空き容量に応じた画像転送頻度を変更できる。
【０２１７】
次に、学習方法について説明する。学習方法としては、「カメラ内の学習」と「通信機器との連携による学習」がある。
【０２１８】
カメラ内学習の方法について、以下説明する。本実施形態におけるカメラ内学習は、以下方法がある。
（１）手動撮影時の検出情報による学習
（２）被写体探索時の検出情報による学習
【０２１９】
＜手動撮影時の検出情報による学習＞
図１２のステップＳ１２０７乃至Ｓ１２１３で説明したとおり、本実施形態においては、撮像装置１０１は、手動撮影と自動撮影の２つの撮影を行うことができる。ステップＳ１２０７で手動撮影指示（上記説明したとおり、３つの判定に基づいて行う。）があった場合は、ステップＳ１２１２において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、ステップＳ１２０９にて自動撮影ＯＮと判定されて撮影された場合においては、ステップＳ１２１２において、撮影画像は自動で撮影された画像であると情報が付加される。
【０２２０】
ここで手動撮影される場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔を基に撮影された可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習情報を基とした学習が行われるようにする。
【０２２１】
また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習を行う。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、近くの人や物体の重要度を変更するような学習を行う。
【０２２２】
＜被写体探索時の検出情報による学習＞
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を演算しておく。
【０２２３】
例えば、個人認証登録被写体の人物Ａが、個人認証登録被写体の人物Ｂと同時に写っている時間比率を計算する。そして、人物Ａと人物Ｂが画角内にはいる場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理７１６で学習する。
【０２２４】
他の例では、個人認証登録被写体の人物Ａが、一般物体認識により判定された被写体「猫」と同時に写っている時間比率を計算する。そして、人物Ａと「猫」が画角内にはいる場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理７１６で学習する。
【０２２５】
また、個人認証登録被写体の人物Ａの笑顔度を検出したり、表情を検出により「喜び」「驚き」などが検出されたとき、同時に写っている被写体は重要であるように学習される。また、表情が「怒り」「真顔」などが検出されたときの、同時に写っている被写体は重要である可能性が低いので学習することはしないなどの処理が行われる。
【０２２６】
次に、本実施形態における外部通信機器との連携による学習を説明する。本実施形態における外部通信機器との連携による学習には、以下の方法がある。
（１）外部通信機器で画像を取得したことによる学習
（２）外部通信機器を介して、画像に判定値を入力することによる学習
（３）外部通信機器内の保存されている画像を解析することによる学習
（４）外部通信機器で、ＳＮＳのサーバにアップロードされた情報からの学習
（５）外部通信機器で、カメラパラメータを変更することによる学習
（６）外部通信機器で、画像を手動編集された情報からの学習
【０２２７】
＜外部通信機器で画像を取得したことによる学習＞
図３で説明したとおり、撮像装置１０１と外部機器３０１は、通信３０２、３０３の通信手段を有している。そして、主に通信３０２によって画像の送受信が行われ、外部機器３０１内の専用のアプリケーションを介して、撮像装置１０１内の画像を外部機器３０１に通信取得することができる。また、撮像装置１０１内の保存されている画像データのサムネイル画像を外部機器３０１内の専用のアプリケーションを介して、閲覧可能な構成である。ユーザはサムネイル画像の中から、自分が気に入った画像を選んで、画像確認し、画像取得指示を操作することで外部機器３０１に画像取得できる。
【０２２８】
このとき、ユーザが画像を選んで取得しているので、取得された画像はユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定し、取得された画像の学習情報を基に学習することでユーザの好みの各種学習を行うことができる。
【０２２９】
操作例を説明する。
【０２３０】
スマートデバイスである外部機器３０１の専用のアプリケーションを介して、撮像装置１０１内の画像を閲覧している例を図１９に示す。表示部４０７にカメラ内に保存されている画像データのサムネイル画像（１９０４乃至１９０９）を表示してあり、ユーザは自分が気に入った画像を選択し画像取得を行える。このとき、表示方法を変更する表示方法変更部（１９０１、１９０２、１９０３）が設けられている。１９０１を押下すると日時優先表示モードに変更され、撮像装置１０１内画像の撮影日時の順番で表示部４０７に画像が表示される。（例えば、１９０４は日時が新しく、１９０９が日時は古いように表示される。）１９０２を押下するとおすすめ画像優先表示モードに変更される。図１２ステップＳ１２１２で演算した各画像に対してユーザの好みを判定したスコアに基づいて、撮像装置１０１内画像のスコアの高い順番で表示部４０７に画像が表示される。（例えば、１９０４はスコアが高く、１９０９がスコアは低いように表示される。）１９０３を押下すると人物や物体被写体を指定でき、続いて特定の人物や物体被写体を指定すると特定の被写体のみを表示することもできる。
【０２３１】
１９０１乃至１９０３は同時に設定をＯＮすることもでき、例えばすべての設定がＯＮされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先され、表示されることになる。
【０２３２】
このように、撮影画像に対してもユーザの好みを学習しているため、撮影された大量の画像の中から簡単な確認作業でユーザの好みの画像のみを簡単に抽出することが可能である。
【０２３３】
＜外部通信機器を介して、画像に判定値を入力することによる学習＞
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有しており、撮像装置１０１内の保存されている画像を外部機器３０１内の専用のアプリケーションを介して、閲覧可能な構成である。ここで、ユーザは、各画像に対して点数付を行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数（例えば５点）を付けたり、好みでないと思った画像に対して低い点数（例えば１点）を付けることができ、ユーザの操作によって、カメラが学習していくような構成にする。各画像の点数は、カメラ内で学習情報と共に再学習に使用する。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
【０２３４】
本実施例では、通信機器３０１を介して、撮影済み画像にユーザが判定値を入力する構成にしたが、撮像装置１０１を操作して、直接、画像に判定値を入力する構成にしてもよい。その場合、例えば、撮像装置１０１にタッチパネルディスプレイを設け、タッチパネルディスプレイ画面表示部に表示されたＧＵＩボタンをユーザが押下して、撮影済み画像を表示するモードに設定する。ユーザは撮影済み画像を確認しながら、各画像に判定値を入力するなどの方法により、同様の学習を行うことができる。
【０２３５】
＜外部通信機器内の保存されている画像を解析することによる学習＞
外部機器３０１は、記憶部４０４を有し、記憶部４０４には撮像装置１０１で撮影された画像以外の画像も記録される構成とする。このとき、外部機器３０１内に保存されている画像は、ユーザが閲覧し易く、公衆回線制御部４０６を介して、共有サーバに画像をアップロードすることも容易なため、ユーザの好みの画像が多く含まれる可能性が非常に高い。
【０２３６】
外部機器３０１は専用のアプリケーションを介して、記憶部４０４に保存されている画像を、撮像装置１０１内での学習処理部２１９と同等の学習処理を制御部４１１により処理可能な構成にする。そして、処理された学習用データを撮像装置１０１に通信することで、学習する構成にしてもよいし、撮像装置１０１に学習させたい画像やデータを送信して、撮像装置１０１内で学習するような構成にしてもよい。
【０２３７】
また、専用のアプリケーションを介して、記憶部４０４に保存されている画像の中から、学習させたい画像をユーザが選択して、学習する構成にすることもできる。
【０２３８】
＜外部通信機器で、ＳＮＳのサーバにアップロードされた情報からの学習＞
人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス（ＳＮＳ）における情報を学習に使用する方法について説明する。画像をＳＮＳにアップロードする際に、スマートデバイスから画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いを入力する技術もあり、他のユーザがアップロードした画像が、外部機器３０１を所有するユーザの好みの写真であるかも判定できる。
【０２３９】
外部機器３０１内にダウンロードされた専用のＳＮＳアプリケーションで、上記のようにユーザが自らアップロードした画像と画像についての情報を取得することができる。また、ユーザが他のユーザがアップロードした画像に対して好きかどうかを入力することにより、ユーザの好みの画像やタグ情報を取得することもできる。それらの画像やタグ情報を解析し、撮像装置１０１内で学習セットできるようにする構成にする。
【０２４０】
上記のようにユーザがアップロードした画像や、ユーザが好きと判定した画像を取得し、撮像装置１０１内での学習処理部２１９と同等の学習処理を制御部４１１により処理可能な構成にしてある。処理された学習用データを撮像装置１０１に通信することで、学習する構成にすることもできる。もしくは、撮像装置１０１に学習させたい画像を送信して、撮像装置１０１内で学習するような構成にしてもよい。
【０２４１】
また、タグ情報から、ＳＮＳ内に設けられた画像フィルタから、図７の自動編集モード処理７１２や図１２の編集Ｓ１２１１の、色変換フィルタ効果が変化するように学習する。
【０２４２】
或いは、タグ情報に設定された被写体情報（例えば、犬、猫など被写体物体情報や、ビーチなどのシーン情報や、スマイルなどの表情情報など）から、ユーザが好みであろう被写体情報を推定する。そして、ニューラルネットワークに入力する検出すべき被写体として登録することによる学習を行う。
【０２４３】
また、上記ＳＮＳでのタグ情報（画像フィルタ情報や被写体情報）の統計値から、世の中で今現在流行っている画像情報を推定し、撮像装置１０１内で学習セットできるようにする構成にすることもできる。
【０２４４】
＜外部通信機器で、カメラパラメータを変更することによる学習＞
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有している。撮像装置１０１内に現在設定されている学習パラメータ（ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択など）を外部機器３０１に通信し、外部機器３０１の記憶部４０４に保存することができる。また、外部機器３０１内の専用のアプリケーションを介して、専用のサーバにセットされた学習パラメータを公衆回線制御部４０６を介して取得して、撮像装置１０１内の学習パラメータに設定することもできる構成とする。これにより、ある時点でのパラメータを外部機器３０１に保存しておいて、撮像装置１０１に設定することで、学習パラメータを戻すことができる。また、他のユーザが持つ学習パラメータを、専用のサーバを介して取得し、自身の撮像装置１０１に設定することもできる。
【０２４５】
また、外部機器３０１の専用のアプリケーションを介して、ユーザが登録した音声コマンドや認証登録、ジェスチャーを登録できるようにしてもよいし、重要な場所を登録してもよい。これらの情報は、自動撮影モード処理（図１２）で説明した撮影トリガーが自動撮影判定の入力データとして扱われる。
【０２４６】
また、撮影頻度や起動間隔、静止画動画割合や好みの画像など設定することができる構成にし、＜低消費電力モード制御＞で説明した起動間隔や、＜自動編集＞で説明した静止画動画割合などの設定を行ってもよい。
【０２４７】
＜外部通信機器で、画像を手動編集された情報からの学習＞
外部機器３０１の専用のアプリケーションにユーザの操作により手動で編集できる機能を持たせ、編集作業の内容を学習にフィードバックすることもできる。
【０２４８】
例えば、画像効果付与（トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、ＢＧＭ）の編集が可能である。画像の学習情報に対して、手動で編集した画像効果付与が判定されるように、自動編集のニューラルネットワークを学習させる。
【０２４９】
次に、学習処理シーケンスについて説明する。
【０２５０】
図７のステップ７０４のモード設定判定にて、学習処理を行うべきか否かを判定し、学習処理を行う場合、学習モードであると判定され、ステップ７１６の学習モード処理を行う。
【０２５１】
学習モードの判定条件を説明する。学習モードに移行するか否かは、前回学習処理を行ってからの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理指示があったかなどから判定される。ステップ７０４のモード設定判定処理内で判定される、学習モードに移行すべきか否かの判定処理フローを図１７に示す。
【０２５２】
ステップ７０４のモード設定判定処理内で学習モード判定が開始指示されると、図１７の処理がスタートする。ステップ１７０１では、外部機器３０１からの登録指示があるかどうかを判定する。ここでの登録は、上記説明した＜通信機器で画像取得された画像情報による学習＞や、＜通信機器を介して、画像に判定値を入力することによる学習＞などの学習するための登録指示があったかどうかの判定である。また、＜通信機器内の保存されている画像を解析することによる学習＞や、＜通信機器内の保存されている画像を解析することによる学習＞などの学習するための登録指示があったかどうかの判定である。ステップ１７０１で、外部機器からの登録指示があった場合、ステップＳ１７０８に進み、学習モード判定をＴＲＵＥにして、ステップ７１６の処理を行うように設定する。ステップＳ１７０１で外部機器からの登録指示がない場合、ステップ１７０２に進む。ステップ１７０２では外部機器からの学習指示があるかどうかを判定する。ここでの学習指示は＜通信機器で、カメラパラメータを変更することによる学習＞のように、学習パラメータをセットする指示があったかどうかの判定である。ステップ１７０２で、外部機器からの学習指示があった場合、ステップＳ１７０８に進み、学習モード判定をＴＲＵＥにして、ステップ７１６の処理を行うように設定し、学習モード判定処理を終了する。ステップ１７０２で外部機器からの学習指示がない場合、ステップ１７０３に進む。
【０２５３】
ステップ１７０３では、前回学習処理（ニューラルネットワークの重みの再計算）が行われてからの経過時間ＴｉｍｅＮを取得し、ステップＳ１７０４に進む。ステップ１７０４では、学習する新規のデータ数ＤＮ（前回学習処理が行われてからの経過時間ＴｉｍｅＮの間で、学習するように指定された画像の数）を取得し、ステップ１７０５に進む。ステップ１７０５では、ＴｉｍｅＮから閾値ＤＴを演算する。例えば、ＴｉｍｅＮが所定値よりも小さい場合の閾値ＤＴａが、所定値よりも大きい場合の閾値ＤＴｂよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定してある。これにより、学習データが少ない場合においても、時間経過が大きいと再度学習するようにすることで、使用時間に応じてカメラが学習変化し易いようにしてある。
【０２５４】
ステップ１７０５で閾値ＤＴを演算すると、ステップ１７０６に進み、学習するデータ数ＤＮが、閾値ＤＴよりも大きいか否かを判定する。ＤＮが、閾値ＤＴよりも大きい場合、ステップ１７０７に進み、ＤＮを０に設定した後、ステップ１７０８に進み、学習モード判定をＴＲＵＥにして、ステップ７１６の処理を行うように設定し、学習モード判定処理を終了する。
【０２５５】
ステップ１７０６でＤＮが、閾値ＤＴ以下の場合、ステップ１７０９に進む。外部機器からの登録指示も、外部機器からの学習指示もなく、且つ学習データ数も所定値以下であるので、学習モード判定をＦＡＬＳＥにし、ステップ７１６の処理は行わないように設定し、学習モード判定処理を終了する。
【０２５６】
次に、学習モード処理（ステップ７１６）内の処理について説明する。学習モード処理の詳細なフローを図１８に示す。
【０２５７】
図７のステップ７１５での学習モードと判定され、ステップ７１６に進むと、図１８の処理がスタートする。ステップ１８０１では、外部機器３０１からの登録指示があるかどうかを判定する。ステップ１８０１で、外部機器からの登録指示があった場合、ステップ１８０２に進む。ステップ１８０２では、各種登録処理を行う。
【０２５８】
各種登録は、ニューラルネットワークに入力する特徴の登録であり、例えば顔認証の登録や、一般物体認識の登録や、音情報の登録や、場所情報の登録などである。
【０２５９】
登録処理を終了すると、ステップ１８０３に進み、ステップ１８０２で登録された情報から、ニューラルネットワークへ入力する要素を変更する。
【０２６０】
ステップ１８０３の処理を終了すると、ステップ１８０７に進む。ステップ１８０１で外部機器３０１からの登録指示がない場合、ステップ１８０４に進み、外部機器３０１からの学習指示があるかどうかを判定する。外部機器からの学習指示があった場合、ステップ１８０５に進み、外部機器から通信された学習パラメータを各判定器（ニューラルネットワークの重みなど）に設定し、ステップ１８０７に進む。
【０２６１】
ステップ１８０４で外部機器からの学習指示がない場合、ステップ１８０６で学習（ニューラルネットワークの重みの再計算）を行う。ステップ１８０６の処理に入るのは、図１７を用いて説明したように、学習するデータ数ＤＮが閾値を超えて、各判定器の再学習を行える条件である。誤差逆伝搬法或いは、勾配降下法などの方法を使って再学習させ、ニューラルネットワークの重みを再計算して、各判定器のパラメータを変更する。学習パラメータが設定されると、ステップ１８０７に進む。
【０２６２】
ステップ１８０７では、ファイル内の画像を再スコア付する。本実施形態においては、学習結果に基づいてファイル（記録媒体２２１）内に保存されているすべての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成となっている。よって、再学習や外部機器からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアも更新を行う必要がある。よって、ステップ１８０７では、ファイル内に保存されている撮影画像に対して新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。
【０２６３】
本実施形態においては、ユーザが好んでいると思われるシーンを抽出し、その特徴を学習し、自動撮影や自動編集といったカメラ動作に反映させることにより、ユーザの好みの映像を提案する方法を説明したが、本発明はこの用途に限定されない。例えば、あえてユーザ自身の好みとは異なる映像を提案する用途に用いることもできる。その実現方法の例としては、以下のとおりである。
【０２６４】
＜好みを学習させたニューラルネットワークを用いる方法＞
学習については、上記説明したとおりユーザの好みの学習を実施する。そして、＜自動撮影＞のＳ１２０８において、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値であるときに自動撮影する。例えば、ユーザが好んだ画像を教師画像とし、教師画像と類似する特徴を示すときに高い値が出力されように学習をさせた場合は、逆に出力値が所定以上低いことを条件として自動撮影を行う。また、同様に被写体探索処理や自動編集処理においても、ニューラルネットワークの出力値が、教師データであるユーザの好みとは異なることを示す値となる処理を実行する。
【０２６５】
＜好みとは異なるシチュエーションを学習させたニューラルネットワークを用いる方法＞
この方法では、学習処理の時点で、ユーザの好みとは異なるシチュエーションを教師データとして学習を実行する。例えば、手動で撮影した画像はユーザが好んで撮影したシーンであるとして、これを教師データとする学習方法を上述した。しかしながら、本実施例では逆に手動撮影した画像は教師データとして使用せず、所定時間以上手動撮影が行われなかったシーンを教師データとして追加する。あるいは、教師データの中に手動撮影した画像と特徴が類似するシーンがあれば、教師データから削除してもよい。また、外部通信機器で画像取得した画像と特徴が異なる画像を教師データに加えるか、画像取得した画像と特徴が似た画像を教師データから削除してもよい。このようにすることで、教師データには、ユーザの好みと異なるデータが集まり、学習の結果、ニューラルネットワークは、ユーザの好みと異なるシチュエーションを判別することができるようになる。そして、自動撮影ではそのニューラルネットワークの出力値に応じて撮影を行うことで、ユーザの好みとは異なるシーンを撮影できる。また、自動編集では、同様にユーザの好みとは異なる編集画像の提案が可能となる。
【０２６６】
上記説明したとおり、あえてユーザ自身の好みとは異なる映像を提案することにより、ユーザが手動で撮影をしそびれてしまうシーンにおいて撮影を行う。これにより、撮り逃しを減少させる効果が期待できる。また、ユーザ自身の発想にないシーンでの撮影や編集効果を提案することで、ユーザに気付きを与えたり、嗜好の幅を広げたりといった効果が期待できる。
【０２６７】
また、上記の手段を組み合わせることで、ユーザの好みと多少似ているが一部違うシチュエーションの提案というように、ユーザの好みに対する適合度合いを調節することも容易である。ユーザの好みに対する適合度合いは、モード設定や、前記各種センサの状態、前記検出情報の状態に応じて変更してもよい。
【０２６８】
本実施形態においては、撮像装置１０１内で、学習する構成を基に説明したが、外部機器３０１側に学習処理をもち、学習に必要なデータを外部機器３０１に通信し、外部機器側でのみ学習を実行する構成でも同様の学習効果を実現可能である。その場合、上記＜通信機器で、カメラパラメータを変更することによる学習＞で説明したように、外部機器側で学習したニューラルネットワークの重みなどのパラメータを撮像装置１０１に通信により設定することで学習を行う構成にしてもよい。
【０２６９】
また、撮像装置１０１内と、外部機器３０１内の両方に、それぞれ学習処理をもつ構成にしてもよい。例えば撮像装置１０１内で学習モード処理７１６が行われるタイミングで外部機器３０１が持つ学習情報を撮像装置１０１に通信し、学習パラメータをマージすることで学習を行う構成にしてもよい。
【０２７０】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【産業上の利用可能性】
【０２７１】
本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮影装置にも搭載できる。
【符号の説明】
【０２７２】
１０１  カメラ
３０１  スマートデバイス
５０１  ウエアラブル機器
１０４  チルト回転ユニット
１０５  パン回転ユニット
【図１】
2019212967.tif 000003
【図２】
2019212967.tif 000004
【図３】
2019212967.tif 000005
【図４】
2019212967.tif 000006
【図５】
2019212967.tif 000007
【図６】
2019212967.tif 000008
【図７】
2019212967.tif 000009
【図８】
2019212967.tif 000010
【図９】
2019212967.tif 000011
【図１０】
2019212967.tif 000012
【図１１】
2019212967.tif 000013
【図１２】
2019212967.tif 000014
【図１３】
2019212967.tif 000015
【図１４】
2019212967.tif 000016
【図１５】
2019212967.tif 000017
【図１６】
2019212967.tif 000018
【図１７】
2019212967.tif 000019
【図１８】
2019212967.tif 000020
【図１９】
2019212967.tif 000021
【図２０】
2019212967.tif 000022