(57)【要約】【課題】適切に撮影支援情報を提示する情報処理装置を提供する。【解決手段】情報処理装置１０１は、撮像部１０９と、撮影を支援するための撮影支援情報を記憶する記憶部２１１と、現在時刻を取得するセンサ１０６と、所定の時点から現在時刻までの経過時間及び前記所定の時点から現在時刻までに撮像部１０９が撮像を行っているか否かに応じて、撮影支援情報を撮影者に提示するか否かを判定する提示判定部２０８と、撮影支援情報を提示する場合に、撮影支援情報を記憶部２１１から抽出する抽出部２１０と、抽出した撮影支援情報を出力部１０８により提示する提示部２１２と、を備える。【選択図】図２
2016208119.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
撮影を支援するための撮影支援情報を記憶する記憶手段と、
現在時刻を取得する計時部と、
所定の時点から現在時刻までの経過時間及び前記所定の時点から現在時刻までに前記撮像手段による撮像を行っているか否かに応じて、前記撮影支援情報を撮影者に提示するか否かを判定する提示判定手段と、
前記提示判定手段が前記撮影支援情報の提示を決定する場合に、前記撮影支援情報を前記記憶手段から抽出する抽出手段と、
前記抽出手段で抽出した前記撮影支援情報を所定の出力手段により提示する提示手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
前記記憶手段は、複数の種類の前記撮影支援情報を記憶しており、
前記抽出手段は、１以上の種類の前記撮影支援情報を抽出し、
前記提示手段は、抽出された１以上の種類の前記撮影支援情報を提示することを特徴とする、
請求項１記載の情報処理装置。
【請求項３】
前記情報処理装置の状態を検知する検知手段と、
前記検知手段の検知結果に基づいて、情報処理装置の状況及び撮影者の行動の少なくとも一方を表す撮影状況を検出する撮影状況検出手段と、
前記撮影状況の変化頻度を算出する変化頻度算出手段と、
前記変化頻度に応じて、提示する撮影支援情報の種類を決定する種類決定手段と、を備え、
前記抽出手段は、前記種類決定手段で決定した種類の撮影支援情報を抽出することを特徴とする、
請求項２記載の情報処理装置。
【請求項４】
前記提示判定手段は、前記変化頻度に応じて前記撮影支援情報を前記撮影者に提示するか否かを判定することを特徴とする、
請求項３記載の情報処理装置。
【請求項５】
過去に撮像手段で撮像した映像に含まれる被写体の特徴を表す第１の被写体情報及び該映像の撮像時の第１の撮影状況を保持する保持手段と、
前記撮像手段が撮影者の操作に関係無く撮像した映像に含まれる被写体の特徴を表す第２の被写体情報と、前記第１の被写体情報とを比較して一致しているか否かを判定する被写体判定手段と、
前記撮影状況検出手段が検出している現在の第２の撮影状況と、前記第１の撮影状況とを比較して一致しているか否かを判定する状況差異判定手段と、をさらに備え、
前記種類決定手段は、前記被写体判定手段の判定結果及び前記状況差異判定手段の判定結果に基づいて、提示する撮影支援情報の種類を決定することを特徴とする、
請求項３又は４記載の情報処理装置。
【請求項６】
前記撮影状況検出手段は、前記情報処理装置の姿勢、前記情報処理装置の向いている方位、前記情報処理装置の位置、前記撮影者の移動、前記撮影者の移動距離、前記撮影者の姿勢、前記撮影者の移動手段、前記撮影者の移動方向、前記撮影者の昇降状態、及び前記撮影者の昇降手段の少なくとも一つを検出することを特徴とする、
請求項３〜５のいずれか１項記載の情報処理装置。
【請求項７】
前記検知手段は、前記情報処理装置に作用する地磁気データ、加速度データ、及び角速度データの少なくとも一つを検知し、
前記撮影状況検出手段は、検知された前記地磁気データ、前記加速度データ、及び前記角速度データの少なくとも一つにより、前記情報処理装置の姿勢、前記情報処理装置の向いている方位、及び前記撮影者の移動方向の少なくとも一つを検出することを特徴とする、
請求項６記載の情報処理装置。
【請求項８】
前記検知手段は、前記情報処理装置に作用する加速度データ、角速度データ、及び前記情報処理装置が受信するＧＰＳ信号の少なくとも一つを検知し、
前記撮影状況検出手段は、検知された前記加速度データ、前記角速度データ、及びＧＰＳ信号の少なくとも一つにより、前記情報処理装置の位置を検出することを特徴とする、
請求項６記載の情報処理装置。
【請求項９】
前記検知手段は、前記情報処理装置に作用する加速度データ、気圧データ、及び前記情報処理装置が受信するＧＰＳ信号の少なくとも一つを検知し、
前記撮影状況検出手段は、検知された前記加速度データ、前記気圧データ、及びＧＰＳ信号の少なくとも一つにより、前記情報処理装置の位置を検出することを特徴とする、
請求項６記載の情報処理装置。
【請求項１０】
前記検知手段は、前記情報処理装置に作用する加速度データを検知し、
前記撮影状況検出手段は、検知された前記加速度データにより、前記撮影者の移動距離及び前記撮影者の移動手段の少なくとも一方を検出することを特徴とする、
請求項６記載の情報処理装置。
【請求項１１】
前記検知手段は、前記情報処理装置に作用する加速度データ、気圧データ、及び前記情報処理装置が受信するＧＰＳ信号の少なくとも一つを検知し、
前記撮影状況検出手段は、検知された前記加速度データ、前記気圧データ、及びＧＰＳ信号の少なくとも一つにより、前記撮影者の昇降状態及び前記撮影者の昇降手段の少なくとも一方を検出することを特徴とする、
請求項６記載の情報処理装置。
【請求項１２】
撮像手段、撮影を支援するための撮影支援情報を記憶する記憶手段、及び現在時刻を取得する計時部を備える情報処理装置により実行される方法であって、
所定の時点から現在時刻までの経過時間及び前記所定の時点から現在時刻までに前記撮像手段による撮像を行っているか否かに応じて、前記撮影支援情報を撮影者に提示するか否かを判定し、
前記撮影支援情報を提示する場合に、前記撮影支援情報を前記記憶手段から抽出して所定の出力手段により提示することを特徴とする、
情報処理方法。
【請求項１３】
撮像手段及び現在時刻を取得する計時部を備えるコンピュータを、
撮影を支援するための撮影支援情報を記憶する記憶手段、
所定の時点から現在時刻までの経過時間及び前記所定の時点から現在時刻までに前記撮像手段による撮像を行っているか否かに応じて、前記撮影支援情報を撮影者に提示するか否かを判定する提示判定手段、
前記提示判定手段が前記撮影支援情報の提示を決定する場合に、前記撮影支援情報を前記記憶手段から抽出する抽出手段、
前記抽出手段で抽出した前記撮影支援情報を所定の出力手段により提示する提示手段、
として機能させるためのコンピュータプログラム。
【請求項１４】
請求項１３記載のコンピュータプログラムをコンピュータが読み取り可能に記憶する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影者に対して、撮影を支援するための撮影支援情報を提示する情報処理装置に関する。
【背景技術】
【０００２】
撮像装置や、撮像機能を備えるスマートフォン、タブレット端末等の情報処理装置により、撮影を行う機会が増えている。構成や色合いの良い写真の撮影には、より良い構図の決定や、より良い撮像条件の設定が不可欠である。撮像条件は、絞り値、露出補正値、シャッタスピード等の、撮像時に撮像装置や情報処理装置に設定される条件である。適切な撮像条件の設定は、撮影者の経験や慣れが必要になる。同様に、適切な構図の決定も、経験や慣れが必要である。そのために、初心者が構図や撮像条件を適切に決めることは困難である。また、良い写真の撮影には、よい被写体の存在する場所を知っておくことも重要である。
【０００３】
良い写真の撮影を支援するために、撮影者に、撮影支援情報を提供する技術が提案されている。撮影支援情報は、構図、撮像条件、撮影場所の決定を簡便にして、撮影者の撮影を支援するための情報である。例えば特許文献１は、撮影者による指示やＧＰＳ（Global Positioning System）等の検知結果に応じて、撮像装置がサーバから撮影支援情報を取得して提示するシステムを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影者の指示に応じて撮影支援情報を提示する場合、撮影者が構図の決定に集中する等の理由で指示の入力を行わない可能性がある。ＧＰＳ等の検知結果に応じて自動的に撮影支援情報を提示する場合、撮影者が希望しないタイミングでも撮影支援情報が提示されるために、撮影者が撮影支援情報の提示を煩わしいと感じてしまう。また、適切な撮影支援情報が提示されない場合、撮影者は、撮影支援情報の提示自体を煩わしく感じる可能性がある。
【０００６】
本発明は、上記の問題を解決するために、適切に撮影支援情報を提示する情報処理装置を提供することを主たる課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の情報処理装置は、撮像手段と、撮影を支援するための撮影支援情報を記憶する記憶手段と、現在時刻を取得する計時部と、所定の時点から現在時刻までの経過時間及び前記所定の時点から現在時刻までに前記撮像手段による撮像を行っているか否かに応じて、前記撮影支援情報を撮影者に提示するか否かを判定する提示判定手段と、前記提示判定手段が前記撮影支援情報の提示を決定する場合に、前記撮影支援情報を前記記憶手段から抽出する抽出手段と、前記抽出手段で抽出した前記撮影支援情報を所定の出力手段により提示する提示手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、経過時間中に撮像を行っているか否かにより撮影者が撮影支援情報を必要としているか否かを判定することで、適切なタイミングで適切な撮影支援情報の提示を実現している。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置のハードウェア構成図。
【図２】情報処理装置の機能ブロック図。
【図３】撮影支援情報を提示する処理を表すフローチャート。
【図４】（ａ）、（ｂ）は撮影支援情報を提示する処理を表すフローチャート。
【図５】提示判定処理を表すフローチャート。
【図６】情報処理装置の機能ブロック図。
【図７】種類決定処理を表すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１１】
（構成）
図１は、撮像機能を備える情報処理装置１０１のハードウェア構成図である。情報処理装置１０１は、携帯電話、スマートフォン、タブレット端末、カメラのような撮像装置等により実現可能である。情報処理装置１０１は、撮影モードを含む１以上の動作モードの設定が可能である。情報処理装置１０１は、撮影モードが設定されているときに、撮像が可能である。情報処理装置１０１は、ＣＰＵ１０２、ＲＡＭ１０３、ＲＯＭ１０４、ストレージ１０５、センサ１０６、入力部１０７、出力部１０８、及び撮像部１０９を備える。各構成要素は、バスＢを介して通信可能に接続される。
【００１２】
ＣＰＵ（Central Processing Unit）１０２は、情報処理装置１０１全体の動作を制御する。ＣＰＵ１０２は、ＲＯＭ（Read Only Memory）１０４から起動プログラムを読み込み、ＲＡＭ（Random Access Memory）１０３を作業領域に用いて実行することで、情報処理装置１０１の起動処理を行う。また、ＣＰＵ１０２は、ＲＯＭ１０４及びストレージ１０５の少なくとも一方からコンピュータプログラムを読み込み、ＲＡＭ１０３を作業領域に用いて実行することで、情報処理装置１０１による各種処理を行う。本実施形態では、ＣＰＵ１０２は、撮影支援情報の提示処理を行う。
【００１３】
ストレージ１０５は、コンピュータプログラムの他に、処理に必要な各種データや、撮像により取得する静止画や動画の映像データを記憶する大容量記憶装置である。ストレージ１０５は、情報処理装置１０１に内蔵する他に、外部記憶装置として情報処理装置１０１に備えられてもよい。外部記憶装置は、例えばメディア（記録媒体）と、当該メディアからデータを読み出し、またデータを書き込むための外部記憶ドライブとにより実現することができる。メディアは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等である。また、外部記憶装置は、ネットワークを介して接続されたサーバ装置等であってもよい。
【００１４】
本実施形態では、ストレージ１０５が撮影支援情報を記憶する。「撮影支援情報」は、撮像時の構図に関する情報である「参考構図情報」、撮像時の撮像条件に関する情報である「参考撮像条件情報」、撮影場所に関する情報である「参考場所情報」等の複数の種類を有する。各種類の撮影支援情報は、例えば、場所情報、撮像条件情報、撮影状況情報等を含み、画像や文章によりこれらの情報が提示されるようになっている。「場所情報」は、例えば、緯度や経度、住所、地名、建物の名称やフロア階数等で表される場所に関する情報である。「撮像条件情報」は、例えば、絞り値、露出補正値、シャッタスピード等の撮像時に情報処理装置１０１に設定される撮像条件を表す情報である。「撮影状況情報」は、例えば、情報処理装置１０１の状況や撮影者の行動を表す情報である。また、撮影状況情報は、日時に関する情報を含んでもよい。日時に関する情報は、例えば、日付、時刻、時間帯、季節、期間等である。
【００１５】
センサ１０６は、情報処理装置１０１の動き、位置、環境情報（気圧や照度等）等の情報処理装置１０１の状態を検知する。そのためにセンサ１０６は、例えば地磁気センサ、加速度センサ、ジャイロセンサ、気圧センサ、照度センサ等を搭載するＭＥＭＳ（Micro Electro Mechanical Systems）やＧＰＳ受信部を備える。センサ１０６は、ＭＥＭＳやＧＰＳ受信部により、情報処理装置１０１に作用する地磁気データ、加速度データ、角速度データ、気圧データ、照度データ、位置データ（緯度、経度）の少なくとも一つを検知する。センサ１０６は、各種検知結果をＣＰＵ１０２に入力する。ＧＰＳ（Global Positioning System）受信部がＧＰＳ衛星から受信するＧＰＳ信号は、時刻データも含まれる。つまりセンサ１０６は、現在時刻を取得する計時部としても機能する。そのために、ＣＰＵ１０２は、ＧＰＳ信号により現在の時刻を表す現在時刻データを取得することができる。
【００１６】
入力部１０７は、シャッタボタン、操作ボタン、タッチパネル等の撮影者の操作に応じた指示を受け付ける入力装置である。入力部１０７は、受け付けた指示を表す指示データをＣＰＵ１０２に入力する。出力部１０８は、表示画面を備える出力装置である。出力部１０８は、ＣＰＵ１０２の制御により、表示画面に画像を表示する。
【００１７】
撮像部１０９は、レンズ及び受光部を備えており、レンズを介して受光部で受け付けた光学像を電気信号に変換して映像データを生成する。撮像部１０９は、生成した映像データをＣＰＵ１０２に入力する。撮像部１０９は、シャッタボタンの操作に応じたＣＰＵ１０２の制御により、撮像を行う。
【００１８】
図２は、情報処理装置１０１の機能ブロック図である。各機能ブロックは、ＣＰＵ１０２が後述するフローチャートに対応するコンピュータプログラムを実行することで実現される。なお、ハードウェアによりこれらの機能を実現してもよい。
【００１９】
制御部２０１は、各機能ブロックの処理を制御することで、情報処理装置１０１全体の動作制御を行う。例えば制御部２０１は、入力部１０７で受け付けた指示データに応じて各機能ブロックの処理を制御する。
【００２０】
撮像制御部２０２は、撮像部１０９の動作を制御する。例えば、情報処理装置１０１の動作モードが撮影モードに設定されているときに入力部１０７が撮像の指示を受け付ける場合、制御部２０１は、この指示に応じて、撮像制御部２０２に撮像を指示するための撮像制御信号を送信する。撮像制御信号は、絞り値、露出補正値、シャッタスピード等の撮像条件を含む。撮像制御部２０２は、撮像制御信号に含まれる撮像条件に応じて、撮像部１０９により撮像を行う。撮像制御部２０２は、撮像部１０９で撮像により生成される映像データを取得して、制御部２０１に送信する。制御部２０１は、映像データを受信して、ストレージ１０５に記憶する。シャッタボタンが押下されることで、情報処理装置１０１に対して、撮像画像をストレージ１０５に記憶することが指示される。この指示に応じて行われる撮像画像の記憶には、いわゆるライブビュー表示と呼ばれるような、リアルタイム映像を表示画面に表示させるために、一時記憶手段に撮像部１０９から得た撮像画像の情報を記憶することは含まない。なお、ライブビュー表示を行う機能は公知であるため、詳細な説明は省略する。通常、撮影者は、表示画面に表示されたライブビュー画像を確認しながら、撮像したい画像の構図や撮像条件の設定を行う。
【００２１】
検知結果取得部２０３は、センサ１０６から各種検知結果を取得して、制御部２０１に送信する。保持部２０６は、ＲＡＭ１０３により形成され、検知結果取得部２０３で取得された各種検知結果が、制御部２０１により保存される。保持部２０６が保持する各種検知結果は、例えば、地磁気データ、加速度データ、角速度データ、気圧データ、照度データ、位置データ、現在時刻データである。なお、現在時刻データは、本実施形態では、ＧＰＳ信号により取得することとしているが、情報処理装置１０１内に計時部としてタイマを設け、これにより取得するようにしてもよい。また、ネットワーク経由で、外部装置から現在時刻データを取得するようにしてもよい。
【００２２】
撮影状況検出部２０４は、装置状況検出部２０４１及び撮影者行動検出部２０４２の少なくとも一方を備える。撮影状況検出部２０４は、検知結果取得部２０３が取得した各種検知結果に基づいて、情報処理装置１０１の状況及び撮影者の行動の少なくとも一方を、撮影状況として検出する。装置状況検出部２０４１は、情報処理装置１０１の状況を検出する。情報処理装置１０１の状況は、例えば、情報処理装置１０１の筐体の、姿勢、向いている方位、位置（緯度、経度、高度）等で表される。撮影者行動検出部２０４２は、撮影者の行動を検出する。撮影者の行動は、例えば、撮影者の、姿勢、移動状態（移動距離、移動方向）、移動手段、昇降状態、昇降手段等で表される。撮影者の姿勢は、具体的には、立っている、座っている、中腰である、等である。移動状態は、具体的には、移動中、静止している等である。移動手段は、自動車、バス、電車、飛行機、徒歩等である。昇降状態は、具体的には、昇っている、降りている、昇降していない等である。昇降手段は、具体的には、階段、エスカレータ、エレベータ等である。
【００２３】
変化頻度算出部２０５は、撮影状況検出部２０４で検出した撮影状況が変化する頻度を算出する。変化頻度算出部２０５は、所定時間内に撮影状況が変化した回数をカウントすることで、撮影状況の変化頻度を算出する。
【００２４】
経過時間判定部２０７は、制御部２０１が検知結果取得部２０３から取得する現在時刻データに基づいて、所定の時点からの経過時間が所定時間以上であるか否かの判定を行う。提示判定部２０８は、経過時間判定部２０７の判定結果に基づいて、撮影支援情報を撮影者に提示するか否かの判定を行う。種類決定部２０９は、変化頻度算出部２０５による変化頻度の算出結果に基づいて、提示する撮影支援情報の種類を決定する。抽出部２１０は、種類決定部２０９の決定に基づいて、記憶部２１１から撮影支援情報を抽出する。記憶部２１１は、ストレージ１０５により形成され、１以上の撮影支援情報を記憶する。
【００２５】
提示部２１２は、抽出部２１０で抽出された撮影支援情報を出力部１０８により撮影者に提示する。提示部２１２は、撮影支援情報をそのまま提示する他に、提示可能な撮影支援情報があることを報知し、入力部１０７からの撮影者の指示に応じて撮影支援情報を提示するようにしてもよい。
【００２６】
（運用形態）
以上のような構成の情報処理装置１０１は、撮影者に対して、適切な撮影支援情報を適切なタイミングで提示する。図３及び図４は、撮影支援情報を提示する処理を表すフローチャートである。この処理は、情報処理装置１０１の起動により実行される。
【００２７】
情報処理装置１０１が起動されると、制御部２０１は、検知結果取得部２０３から取得する現在時刻データで表される現在時刻を、撮影開始時刻に設定して保持部２０６に保持する（Ｓ３０１）。制御部２０１は、情報処理装置１０１に設定されている動作モードが撮影モードであるか否かを確認する（Ｓ３０２）。動作モードを表す情報は、通常、ＲＡＭ１０３に記憶されるため、制御部２０１は、ＲＡＭ１０３を参照して動作モードの確認を行う。また、撮影モードが開始された時点で、ライブビュー表示が開始され、撮影者は、表示画面で撮像可能な画像をリアルタイムに確認しながら、諸設定を行うことができる。
【００２８】
動作モードが撮影モードである場合（Ｓ３０２：Y）、制御部２０１は、センサ１０６による検知結果を検知結果取得部２０３により取得する。制御部２０１は、取得した検知結果を保持部２０６に保存する。撮影状況検出部２０４は、保持部２０６に保持された検知結果により、撮影状況を検出する（Ｓ３０３）。撮影状況検出部２０４は、例えば情報処理装置１０１の姿勢や撮影者の移動方向を、地磁気データ、加速度データ、角速度データ、位置データ等により検出する。
【００２９】
制御部２０１は、提示判定部２０８により、撮影支援情報を提示するか否かの判定を行う（Ｓ３０４）。撮影支援情報の提示の判定処理の詳細は後述する。撮影支援情報を提示する場合、制御部２０１は、種類決定部２０９により、提示する撮影支援情報の種類を決定する（Ｓ３０５）。種類の決定処理の詳細は後述する。
【００３０】
制御部２０１は、抽出部２１０により、決定した種類に対応する撮影支援情報を記憶部２１１から抽出する（Ｓ３０６）。このとき抽出部２１０は、該当する撮影支援情報の他に、現在の場所や日時に関する情報、情報処理装置１０１の撮像条件に対応する撮影支援情報を、記憶部２１１から抽出してもよい。制御部２０１は、抽出部２１０が抽出した撮影支援情報を、提示部２１２により撮影者に提示する（Ｓ３０７）。
【００３１】
提示部２１２は、抽出部２１０が複数の種類の撮影支援情報を抽出した場合、１以上の撮影支援情報を提示してもよく、また、提示可能な撮影支援情報が存在することを報知してもよい。提示可能な撮影支援情報が存在することを報知する場合、入力部１０７からの指示に応じて、制御部２０１の制御により、提示部２１２は提示可能な撮影支援情報を少なくとも一つ提示する。提示部２１２は、提示可能な撮影支援情報の存在を、例えば、音声、光源、情報処理装置１０１の振動、表示画面への文章や画像によるメッセージ、の少なくとも一つにより報知する。また、提示部２１２は、情報処理装置１０１以外の他の機器により、撮影支援情報の提示や提示可能な撮影支援情報の存在の報知を行ってもよい。
【００３２】
撮影支援情報の提示後、或いは情報処理装置１０１の動作モードが撮影モードではない場合（Ｓ３０２：N）、制御部２０１は、情報処理装置１０１の動作を終了させる指示の入力を判定する（Ｓ３０８）。情報処理装置１０１の動作を終了させる指示の入力が無い場合（Ｓ３０８：N）、制御部２０１は、Ｓ３０２以降の処理を繰り返し行う。情報処理装置１０１の動作を終了させる指示が入力される場合（Ｓ３０８：Y）、制御部２０１は、情報処理装置１０１の動作を終了して、電源をオフにする。
【００３３】
図４（ａ）は、Ｓ３０４の提示判定処理を表すフローチャートである。
制御部２０１は、提示判定処理を開始すると、経過時間判定部２０７により撮影開始時刻から所定時間経過したか否かを判定する（Ｓ３０４１）。経過時間判定部２０７は、制御部２０１から取得する現在時刻データが表す現在時刻と、Ｓ３０１で保持部２０６に保持された撮影開始時刻とから、撮影開始時刻からの経過時間を算出する。経過時間判定部２０７は、算出した経過時間が所定時間以上であるか否かにより、撮影開始時刻から所定時間経過したか否かを判定する。
【００３４】
所定時間経過している場合（Ｓ３０４１：Y）、制御部２０１は、撮影開始時刻から現在時刻までの間に、映像データをストレージ１０５に記憶したか否かを判定する（Ｓ３０４２）。制御部２０１は、例えば、撮影開始時刻以降に撮像の指示を受け付けたか否か、或いはストレージ１０５に記憶する映像データのタイムスタンプの確認により、この判定を行う。
【００３５】
映像データを記憶していない場合（Ｓ３０４２：N）、提示判定部２０８は、撮影者が、構図や撮像条件等が決定しない等の理由で撮影を迷っていると判定して、撮影支援が必要と見なす。そのために提示判定部２０８は、撮影者への撮影支援情報の提示を決定する（Ｓ３０４３）。映像データを記憶している場合（Ｓ３０４２：Y）、制御部２０１は、保持部２０６が保持する撮影開始時刻を現在時刻に更新する（Ｓ３０４４）。撮影開始時刻の更新後、或いは撮影開始時刻から所定時間経過していない場合（Ｓ３０４１：N）、提示判定部２０８は、撮影者に撮影支援情報を提示しないことを決定する（Ｓ３０４５）。撮影支援情報を提示しないことを決定すると、制御部２０１は、情報処理装置１０１の動作を終了させる指示の入力を判定するＳ３０８の処理を行う。
【００３６】
以上のように情報処理装置１０１は、撮影開始時刻からの経過時間及び撮像を行ったか否かにより、撮影者が撮影を迷っているか否かを判定する。撮影者が撮影を迷っている場合に、情報処理装置１０１は、撮影者に撮影支援情報を提示することを決定する。
【００３７】
図４（ｂ）は、Ｓ３０５の、提示する撮影支援情報の種類決定処理を表すフローチャートである。撮影支援情報の提示が決定すると、制御部２０１は、変化頻度算出部２０５により、撮影状況検出部２０４で検出された撮影状況の変化頻度を算出する。種類決定部２０９は、撮影状況の変化頻度に応じて、提示する撮影支援情報の種類を決定する。
【００３８】
例えば変化頻度算出部２０５は、情報処理装置１０１の姿勢の変化頻度が、所定の閾値以上であるか否かを判定する（Ｓ３０５１）。変化頻度算出部２０５は、所定の時間間隔で装置状況検出部２０４１により検出される情報処理装置１０１の姿勢を定量的に表す値の差が所定値以上であれば、情報処理装置１０１の姿勢が変化したと判定する。変化頻度算出部２０５は、情報処理装置１０１の姿勢が変化したと判定する時点を変化点とする。変化頻度算出部２０５は、所定時間内に変化点を検出した回数により、情報処理装置１０１の姿勢の変化頻度を算出する。
情報処理装置１０１の姿勢の変化頻度が所定の閾値以上である場合（Ｓ３０５１：Y）、種類決定部２０９は、撮影者が構図に迷っていると判定する。この場合、種類決定部２０９は、提示する撮影支援情報の種類を参考構図情報に決定する（Ｓ３０５２）。
【００３９】
情報処理装置１０１の姿勢の変化頻度が所定の閾値未満である場合（Ｓ３０５１：N）、変化頻度算出部２０５は、撮影者の移動方向の変化頻度が、所定の閾値以上であるか否かを判定する（Ｓ３０５３）。Ｓ３０５１の閾値とＳ３０５３の閾値とは、各々独立に設定される値である。変化頻度算出部２０５は、所定の時間間隔で撮影者行動検出部２０４２により検出される撮影者の移動方向を示す値の差が所定値以上であれば、撮影者の移動方向が変化したと判定する。変化頻度算出部２０５は、撮影者の移動方向が変化したと判定する時点を変化点とする。変化頻度算出部２０５は、所定時間内に変化点を検出した回数により、撮影者の移動方向の変化頻度を算出する。
撮影者の移動方向の変化頻度が所定の閾値以上である場合（Ｓ３０５３：Y）、種類決定部２０９は、撮影者が目的地が定まっておらず、撮影場所や被写体を探していると判定する。この場合、種類決定部２０９は、提示する撮影支援情報の種類を参考場所情報に決定する（Ｓ３０５４）。
【００４０】
撮影者の移動方向の変化頻度が、所定の閾値未満である場合（Ｓ３０５３：N）、種類決定部２０９は、撮影者が構図も撮影場所も決定しているが、撮像条件に迷っていると判定する。この場合、種類決定部２０９は、提示する撮影支援情報の種類を参考撮像条件情報に決定する（Ｓ３０５５）。
【００４１】
なお、図３のＳ３０４の処理で撮影支援情報を提示することに決定した後に、情報処理装置１０１は、Ｓ３０５の撮影支援情報の種類の決定処理を行わずに、所定の撮影支援情報を抽出して提示してもよい。
【００４２】
以上のような情報処理装置１０１は、撮影開始時点或いは前回の撮影からの経過時間に応じて、撮影支援情報を提示するか否かを判定する。また、情報処理装置１０１は、情報処理装置１０１の状況及び撮影者の状況の少なくとも一方に応じて提示する撮影支援情報の種類を決定する。これにより情報処理装置１０１は、撮影者が撮影支援情報を必要としているか否かを判定して、適切なタイミングで適切な撮影支援情報を提示することができる。
【００４３】
以上の説明では、情報処理装置１０１の姿勢の変化頻度及び撮影者の移動方向の変化頻度に応じて、撮影支援情報の種類を決定しているが、決定要因は、他の撮影状況に基づくものであってもよい。以下にいくつか例を示す。
【００４４】
情報処理装置１０１は、撮影者の移動が所定範囲内であるか否かにより、撮影支援情報の種類を決定してもよい。例えば、所定範囲が０．５メートル以上３メートル未満であり、撮影者の移動距離が１メートルであるとき、情報処理装置１０１は、撮影者が被写体を決めているが、構図に迷って適当な撮影位置を探すために移動しているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考構図情報に決定する。なお、情報処理装置１０１は、移動距離を、例えば、任意の２つの時点での緯度や経度に基づいて算出する。情報処理装置１０１は、加速度センサを用いて撮影者の歩数を検出し、歩数と１歩あたりの移動距離を積算して移動距離を算出してもよい。情報処理装置１０１は、所定範囲を距離ではなく歩数で指定してもよい。
【００４５】
情報処理装置１０１は、撮影者の移動距離が所定値以上であるか否かにより、撮影支援情報の種類を決定してもよい。例えば、所定閾値を３メートルとし、撮影者が５メートル移動した場合、情報処理装置１０１は、撮影者が被写体を決めておらず、適当な被写体や撮影場所を探すために移動しているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考場所情報に決定する。
【００４６】
情報処理装置１０１は、撮影者の姿勢の変更回数が所定回数以上であるか否かにより、撮影支援情報の種類を決定してもよい。例えば、所定回数が２回であり、情報処理装置１０１は、撮影者の姿勢が、時刻ｔ１で立っている、時刻ｔ２で座っている、時刻ｔ３で立っている、と検出したとする。撮影者の姿勢の変更回数が２回であるために、情報処理装置１０１は、撮影者が所定回数以上姿勢を変更したと判定する。このとき、情報処理装置１０１は、撮影者が被写体を決めているが、構図に迷っており適当な姿勢を決めるために姿勢変更を繰り返しているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考構図情報に決定する。
【００４７】
撮影者の姿勢の検出は、例えば、加速度センサやジャイロセンサ、気圧センサ等を１つ以上用いて行われる。情報処理装置１０１は、立つ、座る等の撮影者の行動を検出し、検出した行動に応じて現在の撮影者の姿勢を推定してもよい。情報処理装置１０１は、撮影者の行動を検出し、歩行等の立っていなければ出来ない行動をしているか否かを判定し、撮影者の姿勢を検出してもよい。撮影者の行動の検出は、例えば加速度センサやジャイロセンサ等を１つ以上用いて行われる。情報処理装置１０１は、気圧データに基づいて地面や床からの情報処理装置１０１の位置の高さを算出し、算出した高さから、撮影者が立っているのか、或いは座っているのかを判定することで、撮影者の姿勢を検出してもよい。
【００４８】
情報処理装置１０１は、同じ施設内で、昇降を所定回数以上行っているか否かにより、撮影支援情報の種類を決定してもよい。例えば、所定回数を２回とし、撮影者が同じ施設の１階で情報処理装置１０１を構えた後に上昇して２階で情報処理装置１０１を構え、再び上昇して３階で情報処理装置１０１を構えたとする。その場合、情報処理装置１０１は、撮影者が被写体を決めているが、構図や障害物の存在により適当な撮影場所を探すための昇降を行っているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考場所情報に決定する。なお、撮影者の昇降の検出は、例えば、加速度センサやジャイロセンサ、気圧センサ、ＧＰＳ受信部を１つ以上用いて行われる。情報処理装置１０１は、エレベータで移動している、エスカレータで移動している、階段で移動している等の昇降状態や昇降手段を検出してもよい。情報処理装置１０１は、ＧＰＳ信号や気圧データを用いて、単位時間当たりの高度や気圧データの変化量が所定値以上であるか否かを判定し、所定値以上であれば昇降を検出したと判定してもよい。
【００４９】
情報処理装置１０１は、情報処理装置１０１が向いている方位の変更回数が所定回数以上であるか否かにより、撮影支援情報の種類を決定してもよい。例えば、所定回数を２回とし、情報処理装置１０１が向いている方位の変更回数が２回であるとき、情報処理装置１０１は、撮影者が被写体を決めているが、構図に迷っており適当な構図を決定するために方位を変更しているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考構図情報に決定する。
【００５０】
情報処理装置１０１は、徒歩、バス、電車、自動車、飛行機等の撮影者の移動手段に応じて、撮影支援情報の種類を決定してもよい。例えば、撮影者の移動手段がバス、電車、自動車、飛行機のいずれかであり、かつ、撮影シーンが風景である場合、情報処理装置１０１は、撮影者が窓越しに被写体を撮像することを考えているとみなす。窓越しでの撮影では、情報処理装置１０１の向いている方位や情報処理装置１０１の姿勢を変更して構図を変更することは難しい。また、バス、電車、自動車、飛行機のいずれかで移動している最中に、近くに適当な撮影場所があると提示されても、撮影者が行き先を急に変えることは難しい。そのために情報処理装置１０１は、撮影支援情報の種類を参考撮像条件情報に決定する。情報処理装置１０１は、例えば加速度センサ、ジャイロセンサ、気圧センサ等のセンサを１つ以上用いて、移動手段が徒歩・バス、電車、自動車、飛行機等のいずれかであるかを検出する。
【００５１】
情報処理装置１０１は、情報処理装置１０１の状況である姿勢や方位、撮影者の行動である撮影者の姿勢や移動状態、移動距離、移動方向、昇降状態、昇降手段の１以上を検出し、検出した状況を組み合わせて、撮影支援情報の種類を決定してもよい。
例えば情報処理装置１０１が向いている方位の変更回数が所定回数未満で、かつ、情報処理装置１０１の姿勢の変更回数が所定回数以上である場合、情報処理装置１０１は、撮影者が被写体を決めているが構図に迷っているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考構図情報に決定する。
情報処理装置１０１が向いている方位の変更回数が所定回数未満、情報処理装置１０１の姿勢の変更回数が所定閾値未満、かつ、撮影者の移動距離が所定範囲内である場合、情報処理装置１０１は、撮影者が被写体は決めているが構図に迷っているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考構図情報に決定する。
【００５２】
情報処理装置１０１は、同じ施設内で撮影者が昇降を所定回数以上行い、かつ、昇降後に昇降前と同じ方位に情報処理装置１０１を向けているか否かにより撮影支援情報の種類を決定してもよい。例えば所定回数を２回とし、撮影者が同じ施設の１階で西向きカメラを構えた後、上昇して２階で西向きにカメラを構えた後、再び上昇して３階で西向きカメラを構えたとする。その場合、情報処理装置１０１は、撮影者が被写体を決めているが、構図や障害物の存在に悩んでおり適当な撮影場所を探すために昇降を行っているとみなす。そのために情報処理装置１０１は、撮影支援情報の種類を参考場所情報に決定する。
【００５３】
［変形例１］
図４（ａ）に示す撮影支援情報を提示するか否かの判定は、撮影開始時刻からの経過時間及び経過時間内に撮像を行ったか否かにより行っている。情報処理装置１０１は、更に撮影状況を考慮して撮影支援情報を提示するか否かの判定を行い、撮影支援情報の提示を更に適切なものにすることも可能である。
図５は、図３のＳ３０４の提示判定処理を表すフローチャートの変形例である。図４（ａ）のフローチャートと同様の処理には、同じステップ番号を付してある。
【００５４】
制御部２０１は、撮影開始時刻から所定時間が経過し（Ｓ３０４１：Y）、かつ、映像データがストレージ１０５に記憶されていない場合（Ｓ３０４２：N）、変化頻度算出部２０５に撮影状況の変化頻度を算出させる。変化頻度算出部２０５は、保持部２０６から撮影状況を取得して、撮影状況の変化頻度を算出する。ここでは、撮影者の姿勢を撮影状況とする。変化頻度算出部２０５は、撮影者の姿勢の変化頻度が、所定の閾値以上であるか否かを判定する（Ｓ５０１）。
【００５５】
撮影者の姿勢の変化頻度が閾値以上である場合（Ｓ５０１：Y）、提示判定部２０８は、撮影者が撮影を迷っているために姿勢が頻繁に変化していると判定して、撮影者への撮影支援情報の提示を決定する（Ｓ３０４３）。撮影者の姿勢の変化頻度が閾値未満である場合（Ｓ５０１：N）、提示判定部２０８は、撮影者に撮影支援情報を提示しないことを決定する（Ｓ３０４５）。
【００５６】
変化頻度算出部２０５が算出する変化頻度は、撮影者の姿勢の他に、検知結果取得部２０３が取得するセンサ１０６の各種検知結果を用いることができる。検知結果から得られる撮影状況の変化頻度に応じて、情報処理装置１０１は、撮影支援情報を提示するか否かを判定する。
変形例１では、撮影者の姿勢の変化が少ない場合に撮影支援情報を提示しないようにする。これにより、撮影者が情報処理装置１０１を放置している間に、不要な撮影支援情報が提示されることが防止される。
【００５７】
［変形例２］
撮影者が情報処理装置１０１により同一の被写体を過去に撮影している場合、情報処理装置１０１は、過去の撮影状況を用いて撮影支援情報の種類を決定することができる。図６は、このような処理を行うための情報処理装置１１０の機能ブロック図である。なお、情報処理装置１１０のハードウェア構成は、図１に示す情報処理装置１０１のハードウェア構成と同様であるために説明を省略する。
【００５８】
情報処理装置１１０は、図２の情報処理装置１０１の機能ブロックに、被写体判定部６０１及び状況差異判定部６０２を追加した構成である。なお、保持部２０６は、検知結果取得部２０３で取得された各種検知結果の他に、撮像時の被写体情報及び撮像時の撮影状況を保持する。
被写体判定部６０１は、過去の撮像した映像データに含まれる被写体と、現在の被写体が同一の被写体であるか否かを判定する。被写体判定部６０１は、例えば撮像された画像から被写体の特徴を抽出し、これを比較することで同一の被写体であるか否かの判定を行う。これは、例えば汎用の顔認識等のオブジェクト認識技術を用いて実現することができる。状況差異判定部６０２は、過去の撮影状況と現在の撮影状況が異なっているか否かを判定する。
【００５９】
情報処理装置１１０の撮影支援情報を提示する処理は、図３に示す処理と同様であるが、Ｓ３０５の提示する撮影支援情報の種類決定処理が異なる。図７は、情報処理装置１１０による、提示する撮影支援情報の種類決定処理を表すフローチャートである。情報処理装置１１０は、動作モードが撮影モードのときに、撮影者の操作に関係無く撮像部１０９が撮像を行い、映像データを制御部２０１へ送信している。
【００６０】
撮影支援情報の提示が決定すると、制御部２０１は、映像データをストレージ１０５に記憶しているか否かを判定する（Ｓ７０１）。制御部２０１は、図３のＳ３０４で撮影支援情報を提示することを決定した後の所定時間内に、映像データがストレージ１０５に記憶されたか否かを判定する。
【００６１】
ストレージ１０５が映像データを記憶している場合（Ｓ７０１：Y）、制御部２０１は、被写体判定部６０１により当該映像データに含まれる被写体の特徴を表す被写体情報を抽出する。制御部２０１は、抽出した被写体情報を当該映像データの撮像時の撮影状況に関連付けて、保持部２０６に保持する（Ｓ７０２）。ストレージ１０５が複数の映像データを記憶する場合、制御部２０１は、各映像データの撮影状況と被写体情報を関連付けて保持部２０６に保持する。なお、ストレージ１０５が映像データを記憶していない場合（Ｓ７０１：N）、情報処理装置１１０は、図４（ｂ）のＳ３０５１以降の処理を行い、現在の撮影状況に基づいて撮影支援情報の種類を決定してもよい。
【００６２】
撮影状況及び被写体情報の保持後に被写体判定部６０１は、現在、撮影者の操作に関係無く撮像部１０９が取得している映像データに含まれる被写体の被写体情報を抽出し、保持部２０６に保持された被写体情報と比較する。被写体判定部６０１は、比較することで、現在、撮像部１０９が取得している映像データに含まれる被写体が、過去に撮像された映像データに含まれる被写体と一致するか否かを判定する（Ｓ７０３）。
【００６３】
現在、撮像部１０９が取得している映像データに含まれる被写体が、過去に撮像された映像データに含まれる被写体と一致する場合（Ｓ７０３：Y）、状況差異判定部６０２は、現在の撮影状況と、保持部２０６に保持された撮影状況とを比較する。現在の撮影状況は、検知結果取得部２０３がセンサ１０６から取得する検知結果に基づいて、撮影状況検出部２０４により検出される。状況差異判定部６０２は、撮影状況を比較することで、現在の撮影状況が、過去に映像データを撮像したときの撮影状況と異なる否かを判定する（Ｓ７０４）。ここでは、状況差異判定部６０２は、情報処理装置１１０の姿勢が異なるか否かを判定する。なお、被写体が一致しない場合（Ｓ７０３：N）、制御部２０１は、情報処理装置１１０の動作を終了させる指示の入力を判定する図３のＳ３０８の処理を行う。また、情報処理装置１１０は、この場合、図４（ｂ）のＳ３０５１以降の処理を行い、現在の撮影状況に基づいて撮影支援情報の種類を決定してもよい。
【００６４】
情報処理装置１１０の姿勢が異なる場合（Ｓ７０４：Y）、種類決定部２０９は、撮影者が情報処理装置１１０の姿勢に迷っていると判定する。この場合、種類決定部２０９は、提示する撮影支援情報の種類を参考構図情報に決定する（Ｓ７０５）。情報処理装置１１０の姿勢が同じである場合（Ｓ７０４：N）、種類決定部２０９は、撮影者が構図を決定しているが、撮像条件に迷っていると判定する。この場合、種類決定部２０９は、提示する撮影支援情報の種類を参考撮像条件情報に決定する（Ｓ７０６）。
【００６５】
被写体判定部６０１は、被写体の認識をオブジェクト認識技術の他に、映像データに含まれるメタデータを用いて行ってもよい。映像データには、通常、撮像した場所、撮影日時等のメタデータが含まれる。被写体判定部６０１は、メタデータとセンサ１０６の検知結果とから、場所や撮影シーンが同じであれば被写体が一致すると判定してもよい。
状況差異判定部６０２は、撮影状況の判定に、情報処理装置１１０の姿勢の他に、撮影状況検出部２０４で検出される情報処理装置１１０及び撮影者の各々の撮影状況を用いることができる。
【００６６】
以上のように情報処理装置１１０は、過去の撮像時の被写体や撮影状況と、現在の被写体や撮像状況とが一致するか否かを判定し、その判定結果に応じて、提示する撮影支援情報の種類を決定する。撮影支援情報を提示するか否かの判定は、上記の通りである。これにより情報処理装置１１０は、より適切な種類の撮影支援情報を撮影者に提示することができるようになる。
【００６７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2016208119.tif 000003
【図２】
2016208119.tif 000004
【図３】
2016208119.tif 000005
【図４】
2016208119.tif 000006
【図５】
2016208119.tif 000007
【図６】
2016208119.tif 000008
【図７】
2016208119.tif 000009