(57)【要約】【課題】被写体、撮影者及びその他関係者にとって有益な写真を効率的に撮影する技術を提供する。【解決手段】撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得手段と、前記累積情報取得手段で取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、前記決定手段で決定された被写体の撮影を指示する指示情報を提示する提示手段と、を有することによって課題を解決する。【選択図】図４
2015070505.tif 000002
【特許請求の範囲】
【請求項１】
撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得手段と、
前記累積情報取得手段で取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、
前記決定手段で決定された被写体の撮影を指示する指示情報を提示する提示手段と、
を有する撮影装置。
【請求項２】
前記撮影された被写体の写り具合に係る構図に基づいて前記スコアを算出するスコア算出手段を更に有し、
前記累積情報取得手段は、前記スコア算出手段で算出されたスコアを撮影毎に累積させた累積値を算出し、前記算出した累積値を示す累積情報を取得する請求項１記載の撮影装置。
【請求項３】
前記決定手段は、前記複数の被写体のうち前記累積情報が示す累積値が最も低い被写体を撮影対象の複数の被写体のうち優先して撮影する被写体として決定する請求項１又は２記載の撮影装置。
【請求項４】
被写体同士の関係を示す関係情報を、サーバ装置から取得する関係情報取得手段を更に有し、
前記決定手段は、前記累積情報に基づいて撮影対象の複数の被写体のうち優先して撮影する被写体を決定し、かつ、前記関係情報取得手段で取得された関係情報に基づいて前記被写体と共に撮影する被写体を決定する請求項１乃至３何れか１項記載の撮影装置。
【請求項５】
撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得手段と、
前記累積情報取得手段で取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、
前記決定手段で決定された被写体を撮影するように自装置を制御する撮影制御手段と、を有する撮影装置。
【請求項６】
撮影された被写体間の関心対象を示す関心情報を撮影データから生成する関心情報生成手段を更に有し、
前記決定手段は、前記累積情報と、前記関心情報生成手段で生成された関心情報とに基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する請求項５記載の撮影装置。
【請求項７】
前記関心情報生成手段で生成された関心情報に基づいて、前記複数の被写体のうち主被写体とする被写体を決定する主被写体決定手段と、
前記複数の被写体のうち前記主被写体決定手段で決定された被写体に重み付けをして前記スコアを算出するスコア算出手段と、
を更に有し、
前記累積情報取得手段は、前記スコア算出手段で算出されたスコアを撮影毎に累積させた累積値を算出し、前記算出した累積値を示す累積情報を取得する請求項６記載の撮影装置。
【請求項８】
前記決定手段は、前記複数の被写体のうち前記累積情報が示す累積値が最も低い被写体を撮影対象の複数の被写体のうち優先して撮影する被写体として決定する請求項６又は７記載の撮影装置。
【請求項９】
前記関心情報生成手段は、前記累積情報が示す累積値に基づいて補正した前記関心情報を生成し、
前記決定手段は、前記補正された関心情報に基づいて特定される前記累積値と、関心対象に係る度合を示す関心値との積が最も高い被写体を撮影対象の複数の被写体のうち優先して撮影する被写体として決定する請求項６記載の撮影装置。
【請求項１０】
前記撮影制御手段は、前記決定手段で決定された被写体を撮影するように自装置のパンチルト駆動に係る制御又は自装置の移動に係る制御を行う請求項５乃至９何れか１項記載の撮影装置。
【請求項１１】
撮影装置と、サーバ装置とを含むシステムであって、
前記撮影装置は、
撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する取得手段と、
被写体同士の関係を示す関係情報を、サーバ装置から受信する受信手段と、
前記取得手段で取得された累積情報と、前記受信手段で受信された関係情報とに基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、
前記決定手段で決定された被写体の撮影を指示する指示情報を提示する提示手段と、
を有し、
前記サーバ装置は、
前記撮影装置からの要求に応じて、前記関係情報を前記撮影装置に送信する送信手段を有するシステム。
【請求項１２】
撮影装置が実行する情報処理方法であって、
撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得ステップと、
前記累積情報取得ステップで取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定ステップと、
前記決定ステップで決定された被写体の撮影を指示する指示情報を提示する提示ステップと、
を含む情報処理方法。
【請求項１３】
撮影装置が実行する情報処理方法であって、
撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得ステップと、
前記累積情報取得ステップで取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定ステップと、
前記決定ステップで決定された被写体を撮影するように自装置を制御する撮影制御ステップと、
を含む情報処理方法。
【請求項１４】
撮影装置と、サーバ装置とを含むシステムにおける情報処理方法であって、
前記撮影装置が、撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する取得ステップと、
前記サーバ装置が、前記撮影装置からの要求に応じて、被写体同士の関係を示す関係情報を前記撮影装置に送信する送信ステップと、
前記撮影装置が、前記関係情報を、サーバ装置から受信する受信ステップと、
前記撮影装置が、前記取得ステップで取得された累積情報と、前記受信ステップで受信された関係情報とに基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定ステップと、
前記撮影装置が、前記決定ステップで決定された被写体の撮影を指示する指示情報を提示する提示ステップと、
を含む情報処理方法。
【請求項１５】
コンピュータに、
撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得ステップと、
前記累積情報取得ステップで取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定ステップと、
前記決定ステップで決定された被写体の撮影を指示する指示情報を提示する提示ステップと、
を実行させるためのプログラム。
【請求項１６】
コンピュータに、
撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得ステップと、
前記累積情報取得ステップで取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定ステップと、
前記決定ステップで決定された被写体を撮影するように自装置を制御する撮影制御ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
自動撮影に対する需要が高まっている。しかし、ただ人物を見つけて撮影するだけの自動撮影機器では、撮影した写真に、自動撮影機器のユーザ、被写体等及び関係者の意図しない偏り等が発生する場合がある。例えば被写体間における被撮影枚数のバラつきやその場にいるにも関わらず撮影されていない撮影漏れ等が発生する場合がある。そこで、イベントへの参加者を予め登録しておき、撮影された写真を分析することによって、これまでに誰が撮影されたか、まだ撮影されていない人物は誰か、誰を撮影するべきかを判定する技術が提案されている。
例えば、特許文献１では、パ−ティー会場等で自動的に撮影を行う撮影装置において、予め人物リストを作成し、そのリスト内の人物に関して撮影有無を判定し、撮影漏れを防ぐ技術が開示されている。
また、特許文献２では、撮影者に撮影傾向を通知し、複数の人物をバランスよく撮影することができる技術（撮影アシスト方法）が開示されている。
また、特許文献３では、人間関係を分析して関係性が高い人同士を自動的に撮影する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０２４４号公報
【特許文献２】特開２０１１−２１１６９５号公報
【特許文献３】特開２０１１−８２９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１で開示されている技術は、予め登録した顔画像と、撮影した写真に含まれる顔画像とを照合して撮影の抜け漏れを防ぐだけの技術である。また、特許文献２で開示されている技術は、人物毎の撮影枚数を集計して撮影傾向を通知することによって撮影を支援するだけの技術である。そのため、特許文献１及び特許文献２で開示されている技術では、被写体によって写り具合が大きく異なってしまう可能性がある。例えば、ある人物は写真の中心に大きく写っているが、ある人物は写真の端の方に小さく写っているだけという場合が考えられる。また、ある人物が写った写真全てにおいて、目をつぶっているという場合も考えられる。
また、特許文献３で開示されている技術では、人間関係を分析して関係性が高い人同士を自動的に撮影することによって仲のよい人が一緒に写っている画像を得ることができるが、シーンによっては、そのシーンの主役となる人物を撮影したい場合がある。
本発明は、被写体、撮影者及びその他関係者にとって有益な写真を効率的に撮影する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
そこで、本発明の撮影装置は、撮影された被写体の写り具合に応じたスコアを撮影毎に累積させた累積値を示す累積情報を取得する累積情報取得手段と、前記累積情報取得手段で取得された累積情報に基づいて、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する決定手段と、前記決定手段で決定された被写体の撮影を指示する指示情報を提示する提示手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、被写体、撮影者及びその他関係者にとって有益な写真を効率的に撮影する技術を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】撮影装置のハードウェア構成の一例を示す図である。
【図２】実施形態１における撮影装置の機能構成等の一例を示す図である。
【図３】実施形態１における撮影装置の一例を示す図である。
【図４】実施形態１における処理の一例を示すフローチャートである。
【図５】実施形態１における撮影シーンの一例を示す図である。
【図６】撮影データの一例を示す図（その１）である。
【図７】撮影データの一例を示す図（その２）である。
【図８】撮影データの一例を示す図（その３）である。
【図９】被写体スコア結果の一例を示す図（その１）である。
【図１０】人物の顔と、名前とを対応付けた一覧の一例を示す図である。
【図１１】累積被写体結果の一例を示す図（その１）である。
【図１２】ソーシャルインタレストデータの一例を示す図（その１）である。
【図１３】撮影優先度の一例を示す図（その１）である。
【図１４】撮影データの一例を示す図（その４）である。
【図１５】実施形態２における撮影装置の機能構成等の一例を示す図である。
【図１６】実施形態２における撮影装置の一例を示す図である。
【図１７】実施形態２における処理の一例を示すフローチャートである。
【図１８】実施形態２における撮影シーンの一例を示す図である。
【図１９】撮影データの一例を示す図（その５）である。
【図２０】撮影データの一例を示す図（その６）である。
【図２１】ソーシャルインタレストデータの一例を示す図（その２）である。
【図２２】撮影データの一例を示す図（その７）である。
【図２３】被写体スコア結果の一例を示す図（その２）である。
【図２４】累積被写体結果の一例を示す図（その２）である。
【図２５】撮影優先度の一例を示す図（その２）である。
【図２６】実施形態３における撮影装置の機能構成等の一例を示す図である。
【図２７】実施形態３における撮影装置の一例を示す図である。
【図２８】実施形態３における処理の一例を示すフローチャートである。
【図２９】実施形態３における撮影シーンの一例を示す図である。
【図３０】撮影データの一例を示す図（その８）である。
【図３１】ソーシャルインタレストデータの一例を示す図（その３）である。
【図３２】累積被写体結果の一例を示す図（その３）である。
【図３３】ソーシャルインタレストデータの一例を示す図（その４）である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
＜実施形態１＞
図１は、撮影（撮像）装置１０００のハードウェア構成の一例を示す図ある。
撮影装置１０００は、ＣＰＵ１００１、ＲＡＭ１００２、ＲＯＭ１００３、ＨＤ１００４、表示部１００５、撮影部１００６、入力部１００７及びネットワークＩ／Ｆ１００８を有する。なお、撮影装置１０００がパンチルト駆動可能なカメラ、自律移動可能なカメラ等である場合は、自装置を駆動させる駆動装置等を有していてもよい。
ＣＰＵ１００１は、撮影装置１０００全体を制御する。ＣＰＵ１００１がＨＤ１００４等に格納されているプログラムを実行することにより、後述する撮影装置１０００の機能構成及びフローチャートに係る処理（情報処理）が実現される。
ＲＡＭ１００２は、ＣＰＵ１００１のワークエリア等として機能する。
ＲＯＭ１００３及びＨＤ１００４の記憶領域には、ＣＰＵ１００１が処理を実行する際に要する各種のプログラムや予め定められた値や数式に関するデータ等を含む各種のデータが記憶されている。
表示部１００５は、撮影装置１０００の情報を表示するディスプレイ等である。なお、表示部１００５は、後述する入力部１００７と一体となっているタッチパネルのようなものであってもよい。
撮影部１００６は、撮影対象を撮影する。ここでいう撮影には、動画の撮影と、静止画の撮影との両方が含まれるものとする。
入力部１００７は、操作者の入力操作を受け付けるキーやボタン等を有する。
ネットワークＩ／Ｆ１００８は、ネットワークを介して通信可能な機器と通信を行う。例えば、ネットワークＩ／Ｆ１００８は、入力部１００７を介して指定されたサーバ装置等と通信することができる。
【０００９】
図２は、撮影装置１０００の機能構成等の一例を示す図である。
撮影部１００６は、撮影対象を撮影する。撮影部１００６により撮影された撮影データは、後述する撮影優先度設定部Ａ１２００６が撮影優先度（撮影順位）を設定する際等に用いられる。
計算部Ａ１２０００は、撮影処理における各種の計算を実行する。計算部Ａ１２０００が有する各機能は、ＣＰＵ１００１がＨＤ１００４等に格納されているプログラムを実行することにより実現される機能である。計算部Ａ１２０００は、審美性評価部Ａ１２００１、被写体検出部Ａ１２００２、被写体スコア算出部Ａ１２００３、累積被写体スコア算出部Ａ１２００４、ソーシャルインタレストデータ取得部Ａ１２００５及び撮影優先度設定部Ａ１２００６を有する。また、計算部Ａ１２０００は、記憶領域として、審美性評価結果保持部Ａ１２０１０、被写体スコア保持部Ａ１２０３０、累積被写体スコア保持部Ａ１２０４０、ソーシャルインタレストデータ保持部Ａ１２０５０及び撮影優先度保持部Ａ１２０６０を有する。
【００１０】
審美性評価部Ａ１２００１は、撮影部１００６で取得された撮影データの審美性を評価し、審美性評価結果に関するデータ（以下、単に審美性評価結果という）を出力する。審美性評価部Ａ１２００１による処理の詳細については、図４等を用いて後述する。審美性評価結果保持部Ａ１２０１０は、審美性評価部Ａ１２００１によって評価された審美性評価結果を保持し、要求に応じて出力する。
被写体検出部Ａ１２００２は、撮影部１００６で取得された撮影データから被写体を検出し、被写体リストを出力する。被写体検出部Ａ１２００２による処理の詳細については、図４等を用いて後述する。
被写体スコア算出部Ａ１２００３は、被写体検出部Ａ１２００２で検出された各被写体の写り具合に関するデータ（以下、単に写り具合という）と、審美性評価結果保持部Ａ１２０１０に保持された審美性評価結果とから各被写体の被写体スコアを算出する。そして、被写体スコア算出部Ａ１２００３は、算出した被写体スコアに関するデータ（以下、単に被写体スコアという）を出力する。被写体スコア算出部Ａ１２００３による処理の詳細については、図４等を用いて後述する。被写体スコア保持部Ａ１２０３０は、被写体スコア算出部Ａ１２００３によって算出された被写体スコアを保持し、要求に応じて出力する。
【００１１】
累積被写体スコア算出部Ａ１２００４は、被写体スコア保持部Ａ１２０３０に保持される各被写体の撮影毎の被写体スコアと、累積被写体スコア保持部Ａ１２０４０に保持される累積被写体スコアに関するデータとに基づいて算出処理を行う。なお、以降の説明において、累積被写体スコアに関するデータを単に累積被写体スコアという。より具体的にいうと、累積被写体スコア算出部Ａ１２００４は、前記被写体スコアと、前記累積被写体スコアとから、各被写体について過去に撮影された撮影データを横断的に評価した累積被写体スコア（累積値）を算出する。そして、累積被写体スコア算出部Ａ１２００４は、算出した累積被写体スコアを累積被写体スコア保持部Ａ１２０４０に保持する。累積被写体スコア算出部Ａ１２００４による処理の詳細については、図４等を用いて後述する。なお、累積被写体スコアは、累積情報の一例である。また、累積被写体スコア算出部Ａ１２００４による処理は、累積情報取得処理の一例である。累積被写体スコア保持部Ａ１２０４０は、累積被写体スコア算出部Ａ１２００４によって算出された累積被写体スコアを保持し、要求に応じて出力する。
ソーシャルインタレストデータ取得部Ａ１２００５は、ソーシャルインタレストデータを、ソーシャルネットワーキングサービスを提供するサーバ装置等（以下、単にソーシャルネットワーキングサービスという）から取得（受信）する。なお、ソーシャルネットワーキングサービスは、要求に応じてソーシャルインタレストデータを送信する。そして、ソーシャルインタレストデータ取得部Ａ１２００５は、取得したソーシャルインタレストデータをソーシャルインタレストデータ保持部Ａ１２０５０に保持する。ソーシャルインタレストデータ取得部Ａ１２００５による処理の詳細については、図４等を用いて後述する。ここでいうソーシャルインタレストデータとは、被写体やその場にいる人物（ユーザ）の人間関係を表す関係情報や、各ユーザの興味関心の対象や度合等を表す関心情報等に関するデータである。また、ソーシャルネットワーキングサービスとは、社会的ネットワークをインターネット上で構築するサービスのことである。ソーシャルインタレストデータ保持部Ａ１２０５０は、ソーシャルインタレストデータ取得部Ａ１２００５で取得されたソーシャルインタレストデータを保持し、要求に応じて出力する。
【００１２】
撮影優先度設定部Ａ１２００６は、累積被写体スコア保持部Ａ１２０４０に保持される累積被写体スコアから、今後どの被写体を優先的に撮影するかに関する撮影優先度を算出する。そして、撮影優先度設定部Ａ１２００６は、算出した撮影優先度に関するデータ（以下、単に撮影優先度という）を撮影優先度保持部Ａ１２０６０に保持する。撮影優先度設定部Ａ１２００６による処理の詳細については、図４等を用いて後述する。撮影優先度保持部Ａ１２０６０は、各被写体に対する撮影優先度を保持し、要求に応じて出力する。
撮影優先度提示部Ａ１３０００は、撮影優先度保持部Ａ１２０６０に保持される各被写体に対する撮影優先度を取得し、表示部１００５を介してユーザに提示する。また、撮影優先度提示部Ａ１３０００は、ソーシャルインタレストデータ保持部Ａ１２０５０に保持されるソーシャルインタレストデータに基づいて、被写体の選択に関するアドバイスを、表示部１００５を介してユーザに提示する。撮影優先度提示部Ａ１３０００が表示部１００５を介してユーザに提示する情報は、被写体の撮影に係る指示情報の一例である。撮影優先度提示部Ａ１３０００の機能は、ＣＰＵ１００１がＨＤ１００４等に格納されているプログラムを実行することにより実現される機能である。撮影優先度提示部Ａ１３０００による処理の詳細については、図４等を用いて後述する。
【００１３】
図３は、本実施形態における撮影装置１０００の一例を示す図である。本実施形態では、撮影装置１０００の一例として図３に示すデジタルカメラ２０００を用いて説明する。
本実施形態では、上述した撮影部１００６、計算部Ａ１２０００、撮影優先度提示部Ａ１３０００を有するデジタルカメラ２０００を用いる。デジタルカメラ２０００は、撮影した写真について審美性を評価し、被写体を検出し、各被写体の被写体スコアを算出する。そして、デジタルカメラ２０００は、各被写体の被写体スコアから各被写体の累積被写体スコアを計算し、ソーシャルインタレストデータを取得することによって撮影優先度を設定する。更に、デジタルカメラ２０００は、表示部１００５に相当するディスプレイ２００１に撮影優先度を提示する。
また、上述したように、デジタルカメラ２０００は、審美性評価結果保持部Ａ１２０１０、被写体スコア保持部Ａ１２０３０及び累積被写体スコア保持部Ａ１２０４０として利用することができるメモリを搭載している。更に、デジタルカメラ２０００は、ソーシャルインタレストデータ保持部Ａ１２０５０及び撮影優先度保持部Ａ１２０６０として利用することができるメモリを搭載している。
以上が、本実施形態におけるデジタルカメラ２０００の構成例である。
【００１４】
本実施形態の処理フローを、図４を用いて説明する。
図４は、本実施形態における処理の一例を示すフローチャートである。
Ｓ３１００で、審美性評価部Ａ１２００１は、撮影部１００６で撮影された撮影データを取得し、審美性の評価を行い、審美性評価結果保持部Ａ１２０１０に保持する。
Ｓ３２００で、被写体検出部Ａ１２００２は、撮影部１００６で撮影された撮影データから被写体を検出する。そして、被写体スコア算出部Ａ１２００３は、撮影部１００６で撮影された撮影データと、審美性評価結果保持部Ａ１２０１０に保持される審美性評価結果とを取得し、被写体検出部Ａ１２００２で検出された各被写体の被写体スコアを算出する。更に、被写体スコア算出部Ａ１２００３は、算出した被写体スコアを被写体別に被写体スコア保持部Ａ１２０３０に保持する。
Ｓ３３００で、累積被写体スコア算出部Ａ１２００４は、被写体スコア保持部Ａ１２０３０に保持される被写体スコアより、累積被写体スコア保持部Ａ１２０４０に保持される被写体別の累積被写体スコアを更新する。そして、累積被写体スコア算出部Ａ１２００４は、更新した累積被写体スコアを累積被写体スコア保持部Ａ１２０４０に保持する。
【００１５】
Ｓ３４００で、ソーシャルインタレストデータ取得部Ａ１２００５は、ソーシャルネットワーキングサービスからソーシャルインタレストデータを取得し、ソーシャルインタレストデータ保持部Ａ１２０５０に保持する。
Ｓ３５００で、撮影優先度設定部Ａ１２００６は、累積被写体スコア保持部Ａ１２０４０に保持される累積被写体スコアから、撮影優先度を設定する。
Ｓ３６００で、撮影優先度提示部Ａ１３０００は、撮影優先度保持部Ａ１２０６０から撮影優先度を取得し、撮影者に撮影優先度を提示する。また、撮影優先度提示部Ａ１３０００は、ソーシャルインタレストデータ保持部Ａ１２０５０に保持されるソーシャルインタレストデータから、被写体の選択に関するアドバイスを提示する。
以上の処理が終了すると、デジタルカメラ２０００は、図４の処理で撮影優先度を決定するために用いた撮影データを記憶領域から削除する。これにより、ユーザは、デジタルカメラ２０００の記憶領域を有効活用することができる。
以上が、本実施形態における撮影装置１０００の処理フローである。
【００１６】
以下、図４の処理についてより具体的な例を用いて説明する。
図５は、パーティ会場で、撮影者４０００が手持ちのデジタルカメラ２０００で複数の被写体４００１から被写体４００４までを撮影する撮影シーンの一例を示す図である。
本実施形態では、撮影者４０００が手持ちのデジタルカメラ２０００で撮影を行う際、デジタルカメラ２０００がディスプレイ２００１を介して撮影者４０００に撮影優先度を提示する。より具体的にいうと、デジタルカメラ２０００は、被写体４００１から被写体４００４までのうち何れの被写体を優先して撮影するかに関する撮影優先度を、ディスプレイ２００１を介して撮影者４０００に提示する。これにより、撮影者４０００は、撮影者４０００及び被写体４００１から被写体４００４にとって有益な写真を効率よく撮影することができるようになる。そして、撮影者４０００は、デジタルカメラ２０００を利用して被写体を撮影する。
【００１７】
図６は、デジタルカメラ２０００が取得した撮影データ５０００の一例を示す図である。
デジタルカメラ２０００は、図３に示すフローに従って撮影データ５０００を処理する。
Ｓ３１００で、審美性評価部Ａ１２００１は、撮影データ５０００を対象に審美性の評価を行う。本実施形態において、審美性評価部Ａ１２００１は、被写体の写り具合に関する構図を用いて撮影データ５０００の審美性を評価する。例えば、審美性評価部Ａ１２００１は、構図の評価に三分割法等を利用する。三分割法とは、図７のように写真を縦横に三分割する線を引き、それらの線が交差するところに、主要な被写体（人物写真では、通常は顔）を配置する方法である。審美性評価部Ａ１２００１は、三分割法で評価するために、撮影データ５０００の中から顔領域を検出し、位置を特定する。
図８は、審美性評価部Ａ１２００１が撮影データ５０００に対して顔検出処理を行い、縦横に三分割する線を引いた撮影データの一例を示す図である。
四角形７００２で囲まれる領域が被写体４００２の顔領域であり、四角形７００３で囲まれる領域が被写体４００３の顔領域である。本実施形態において、審美性評価部Ａ１２００１は、予め記憶領域に記憶されている既知の顔特有の画像特徴パターン領域を撮影データ５０００から検出することで顔を検出する。審美性評価部Ａ１２００１は、検出した顔が一つの場合、その顔と、三分割する線の交点との距離を求める。また、審美性評価部Ａ１２００１は、検出した顔が二つの場合、それぞれの距離を求め平均を求める。また、審美性評価部Ａ１２００１は、検出した顔が三つ以上の場合、何れかの交点に最も近い顔と、その次に近い二つの顔とのそれぞれにおいて最寄りの交点からの距離を求め、その平均距離をスコアとして利用する。
【００１８】
審美性評価部Ａ１２００１は、以下の式（１）を用いてスコアＣを算出する。
【数１】
2015070505.tif 000003
ここで、Ａは、顔と、写真を縦横に三分割する線の交点との距離である。Ｂは、撮影データの対角線の長さである。Ｃは、審美性スコアである。検出された顔が写真を縦横に三分割する線の交点と重なっていればスコアは１００となり、検出された顔が撮影データの隅にあるとすればスコアは０となる。以降、本実施形態では、審美性評価部Ａ１２００１が撮影データ５０００に対して求めたスコアが６０であったものとして説明を行う。
【００１９】
上記のようにして算出された審美性評価結果は、審美性評価結果保持部Ａ１２０１０に保持される。構図を評価する方法は、顔の位置に基づく評価方法に限る必要はなく、例えば被写体の目を検出して、目から三分割する線の交点までの距離に基づいて構図を評価する方法でもよい。また、本実施形態では三分割法を基準に構図を判定するものとしたが、審美性評価部Ａ１２００１は、他の構図を利用して構図の善し悪しを評価してもよい。また、審美性評価部Ａ１２００１は、必ずしも予め定められたスコアよりもよいとされるスコアの構図を基準に構図の善し悪しを判定する必要はない。例えば、審美性評価部Ａ１２００１は、インターネット等を利用して、撮影データの構図に類似する構図の写真（画像データ）を検索し、その画像に対して付されている評価等を基準も構図の善し悪しを判定するようにしてもよい。また、本実施形態では、３つ以上の顔が検出された場合であっても写真を縦横に三分割する線の交点に近い２つの顔を用いて構図の評価を行うものとしたが、審美性評価部Ａ１２００１は、３つ以上の顔を用いて構図の評価を行ってもよい。また、スコアの算出方法も上述した方法に限る必要はない。また、本実施形態では審美性を評価する方法として構図を利用したが、審美性評価部Ａ１２００１は、色味を利用する方法や、インターネットを利用して類似画像を検索し、その画像に対する評価を基準にして審美性を評価する方法等により審美性を評価してもよい。
【００２０】
図４の説明に戻る。
Ｓ３２００で、被写体検出部Ａ１２００２は、撮影データ５０００から被写体を検出する。そして、被写体スコア算出部Ａ１２００３は、検出された各被写体について、写りの善し悪しを定量的に示す値である被写体スコアを算出する。まず、被写体検出部Ａ１２００２は、撮影データから顔領域を検出することで被写体を検出する。そして、被写体検出部Ａ１２００２は、画像中に占める対象人物のサイズ、画像中に存在する人物の数、笑顔の有無、顔の向き、目つむりの有無等に関する情報（以下、被写体情報という）を認識する。被写体スコア算出部Ａ１２００３は、被写体検出部Ａ１２００２が認識した被写体情報と、審美性評価結果保持部Ａ１２０１０に保持される審美性評価結果とから、各被写体のスコアを算出し被写体スコア保持部Ａ１２０２０に保持する。
【００２１】
本実施形態において、被写体スコア算出部Ａ１２００３は、以下の式を用いて被写体スコアＪを算出する。
【数２】
2015070505.tif 000004
ここで、Ｄは、画像中に占める被写体の顔の面積の割合で０．０から１．０までの値を取り、大きく写っているほど被写体スコアは高くなる。Ｅは、画像中に存在する人物の数であり、少人数で写っている写真ほど被写体スコアは高くなる。撮影データ５０００の場合、写真中の人物数は体の一部が写っている人物を含めれば４人であるが、顔の有無により人物検出する検出器の検出結果によれば、図８に示す通り２つの顔が検出されることになるので、人物数は２とカウントされる。Ｆは、笑顔であるか否かを示す値であり、笑顔の場合は２、笑顔が検出されなかった場合は１とする。本実施形態のデジタルカメラ２０００は、笑顔の判定をするために、笑顔画像から笑顔検出用の辞書データ（以下、単に辞書という）を作成する。Ｇは、顔の向きであり、正面を向いている場合は２、それ以外の場合は１とする。本実施形態のデジタルカメラ２０００は、顔の向きを検出するために、様々な方向の顔画像から顔の向き毎に辞書を作成し、それを用いる検出器を利用して検出する。前記検出器は、様々な方向の顔画像から作成された辞書を用いて検出処理を行うことによって、該当する顔の向きに対応した辞書で顔を検出することができるので、顔の向きを判定することができる。Ｈは、目つむりであるか否かを示す値であり、被写体が目をつむっている場合は１、目を開けている場合は２とする。本実施形態のデジタルカメラ２０００は、目をつむっている場合と、開けている場合との辞書を作成し、他のパラメータと同様に検出処理を行う。Ｉは、審美性評価結果保持部Ａ１２０１０に保持される審美性評価結果である。
【００２２】
式（２）の算出処理に用いられるパラメータは、上記のパラメータに限る必要はない。例えば、被写体に対するピント合掌有無等のパラメータを用いてもよい。また、状況に応じて適したパラメータを利用することが望ましい。例えば、笑顔がふさわしくないシーンにおいて検出器が笑顔を検出した場合、被写体スコア算出部Ａ１２００３は、笑顔でない場合よりも低い評価を付与するようにしてもよい。また、被写体スコア算出部Ａ１２００３は、インターネットを利用して顔部分に関する類似画像を検索し、その画像に対する評価を基準として被写体の写り具合を評価してもよい。図９は、本実施形態において被写体スコア算出部Ａ１２００３が算出した被写体スコアの結果の一例を示す図である。
本実施形態における被写体スコア算出部Ａ１２００３は、被写体検出部Ａ１２００２で検出した各被写体の顔領域をクエリとして人物名を検出し、被写体スコア算出部Ａ１２００３で算出した被写体スコアと紐付けて被写体スコア保持部Ａ１２０３０に保持する。
【００２３】
デジタルカメラ２０００は、入力部１００７等を介して受け付けた撮影者の指示により、過去に撮影した写真の被写体に対して人物名をタグ付けして図１０のように保持しておく。これにより、デジタルカメラ２０００は、類似した顔を検索し、人物名を取得することができる。図１０は、人物の顔と、名前とを対応付けた一覧の一例を示す図である。
同一人物であるか否かを判定する方法としては、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形等を特徴として利用し、一致する特徴のある画像を検索する方法等がある。主なアルゴリズムとしては、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル等があるが、どのような方法を利用してもよい。また、本装置内で人物認識処理を行う必要はなく、クラウド上にある顔認識サービスを利用してもよい。過去に撮影した写真は撮影者本人が撮影した写真である必要はなく、何らかのデータベースを利用してもよく、顔と、名前とを一致させることができればよい。また、一致させる情報は被写体の名前である必要はなく、ソーシャルネットワーキングサービス等のアカウントと紐づけてもよい。被写体検出部Ａ１２００２が顔から被写体名や、ソーシャルネットワーキングサービスのアカウント等、人物に関する情報を特定することができない場合、人物を識別できる被写体固有のＩＤを付与して被写体を識別してもよい。更に、被写体検出部Ａ１２００２は、顔情報を使用せずに、名札やＲＦＩＤタグ等、顔以外の情報を利用して人物を識別してもよい。
【００２４】
図４の説明に戻る。
Ｓ３３００で、累積被写体スコア算出部Ａ１２００４は、既に累積被写体スコア保持部Ａ１２０４０に保持されている被写体別の累積被写体スコアに、被写体スコア保持部Ａ１２０３０に保持される新しい撮影データに関する被写体スコアを加える。これにより、累積被写体スコア算出部Ａ１２００４は、累積被写体スコアを更新する。そして、累積被写体スコア算出部Ａ１２００４は、更新した新しい累積被写体スコアを累積被写体スコア保持部Ａ１２０４０に保持する。累積被写体スコア算出部Ａ１２００４は、累積被写体スコア保持部Ａ１２０４０に保持される累積被写体スコアのリストを取得し、新たに得た撮影データ５０００の被写体４００２及び被写体４００３が既にリストに含まれているか否かを判定する。
本実施形態における累積被写体スコアのリストは、図１１に示すように各被写体の名前と、累積被写体スコアとを含む。図１１は、累積被写体スコ結果の一例を示す図である。
累積被写体スコア算出部Ａ１２００４は、被写体スコアが算出された被写体４００２及び被写体４００３が既にリストに存在すれば、その被写体の累積スコアに新しい被写体スコアを加算して累積被写体リストを更新する。一方、累積被写体スコア算出部Ａ１２００４は、被写体４００２及び被写体４００３がリストに存在しない場合は、新しい被写体としてリストに追加する。本実施形態において、累積被写体スコア算出部Ａ１２００４は、同じ被写体の名前をユニークなＩＤとしてリストを作成している。しかし、累積被写体スコア算出部Ａ１２００４は、同じ被写体をまとめずに、過去に算出した被写体スコアを個別に保持して、必要な際に同じ被写体の被写体スコアを加算して使用してもよい。このように、スコアの保持方法を限定する必要はない。また、本実施形態において、累積被写体スコア算出部Ａ１２００４は、取得された撮影データ内の被写体が、累積被写体スコア保持部Ａ１２０４０が保持するリストに存在するのであれば、単純に加算してリストを更新している。しかし、累積被写体スコア算出部Ａ１２００４は、被写体が撮影されている写真の枚数等に応じて重み付けをして加算するようにしてもよい。
【００２５】
図４の説明に戻る。
Ｓ３４００で、ソーシャルインタレストデータ取得部Ａ１２００５は、ソーシャルインタレストデータを取得し、ソーシャルインタレストデータ保持部Ａ１２０５０に保持する。本実施形態では各被写体間の共通の友人の数の情報（以下、単に各被写体間の共通の友人の数という）を利用して、ソーシャルインタレストデータが構築されるものとする。本実施形態では、ソーシャルインタレストデータ取得部Ａ１２００５は、各被写体の共通の友人の数を外部のソーシャルネットワークサービスから取得する。なお、各被写体間の共通の友人の数のような被写体同士の関係を表すソーシャルインタレスデータは、関係情報の一例である。また、S3400の処理は、関係情報取得処理の一例である。
図１２は、各被写体間の共通の友人の数の一例を示す図である。
図１２は、被写体４００１と、被写体４００２とには共通の友人が１人、被写体４００１と、被写体４００３とには共通の友人が３２人いることを示しており、重みつきの無向グラフとして考えることができる。一般的に、共通の友人が少ないよりも、多いほうが、その被写体同士が親密であると考えられ、被写体４００１は被写体４００２よりも被写体４００３と親密であると推測される。ソーシャルインタレストデータ取得部Ａ１２００５は、上記のようにして取得し構築したソーシャルインタレストデータを、ソーシャルインタレストデータ保持部Ａ１２０５０に保持する。
【００２６】
本実施形態において、ソーシャルインタレストデータ取得部Ａ１２００５は、被写体間の親密度を共通の友人の数から推定するようにした。しかし、ソーシャルインタレストデータ取得部Ａ１２００５は、他のパラメータを利用して親密度を推定するようにしてもよい。例えば、ソーシャルインタレストデータ取得部Ａ１２００５は、出身地域や大学が一緒であるか、勤務先が一緒であるか、といった情報を利用して親密度を推定するようにしてもよい。また、ソーシャルインタレストデータ取得部Ａ１２００５は、ソーシャルインタレストデータを必ずしも外部のソーシャルネットワーキングサービスから取得する必要はない。例えばソーシャルインタレストデータ取得部Ａ１２００５は、一緒に会話をしているとか、予め定められた距離よりも近くにいるといった情報から、被写体間の関係を推定してもよい。また、ソーシャルインタレストデータ取得部Ａ１２００５は、必ずしも過去や現在の交友情報からソーシャルインタレストデータを推定する必要はない。例えば、ソーシャルインタレストデータ取得部Ａ１２００５は、興味を持つ対象が類似しているために被写体同士が親密になりそうであるといった推定をし、ソーシャルインタレストデータを生成してもよい。また、本実施形態において、ソーシャルインタレストデータ取得部Ａ１２００５は、被写体の名前をクエリとしてソーシャルネットワークサービスから交友関係を取得したが、顔写真をクエリにしてユーザ情報を返すソーシャルネットワークサービスを利用してもよい。また、ソーシャルインタレストデータ取得部Ａ１２００５は、自動的にソーシャルインタレストデータを取得したり生成したりする必要はない。例えば、デジタルカメラ２０００等は、入力部１００７等を介して受け付けたユーザの操作（指示）等に基づいて、ソーシャルインタレストデータを生成するようにしてもよい。
【００２７】
図４の説明に戻る。
Ｓ３５００で、撮影優先度設定部Ａ１２００６は、被写体に対する撮影優先度を設定する。本実施形態において、撮影優先度設定部Ａ１２００６は、累積被写体スコアが低い被写体ほどの撮影優先度を高く設定する。例えば、図１１に示す累積被写体スコアの場合、被写体４００２の累積被写体スコアが最も低くなっているため、撮影優先度設定部Ａ１２００６は、被写体４００２の撮影優先度を最も高く設定する。
図１３は、撮影優先度設定部Ａ１２００６が設定した被写体毎の撮影優先度の一例を示す図である。
図１３の例の場合、撮影優先度設定部Ａ１２００６は、累積被写体スコアが最も低い方から順に、撮影優先度が高くなるように番号を１から順に割り振っている。ここでは、撮影優先度が最も高い番号が１、次に撮影優先度が高い番号を２といったように、番号が小さいほど撮影優先度が高いものとする。本実施形態において、撮影優先度設定部Ａ１２００６は、累積被写体スコアが存在しない被写体の撮影優先度が最も高くなるように設定するが、累積被写体スコアが存在しない被写体に対しては全ての撮影優先度の平均値を設定するようにしてもよい。また、撮影優先度設定部Ａ１２００６は、累積被写体スコアが存在しない被写体の撮影優先度を設定しない等、状況に応じて設定するようにしてもよい。また、撮影優先度設定部Ａ１２００６は、撮影優先度を累積被写体スコアの差に関わらず上述した順番で設定したが、累積被写体スコアの差の大きさに応じて撮影優先度を設定してもよい。また、撮影者は、入力部１００７を介して、自身の好みに応じて撮影優先度を修正してもよい。
【００２８】
図４の説明に戻る。
Ｓ３６００で、撮影優先度提示部Ａ１３０００は、撮影者４０００に対して撮影優先度が最も高い被写体を提示する。本実施形態において、撮影優先度提示部Ａ１３０００は、デジタルカメラ２０００のディスプレイ２００１に表示する。より具体的にいうと、撮影優先度提示部Ａ１３０００は、図１４の枠１３００２のように被写体４００２に四角い枠を重ねて表示することによって、どの被写体を優先的に撮影すべきであるかを撮影者に提示する。図１４は、撮影優先度が提示された撮影データの一例を示す図である。また、被写体４００２の隣に、被写体４００１と、被写体４００３とが存在するが、画角の問題から被写体４００２に加えて、被写体４００１又は被写体４００３のどちらか一人しか一緒に撮影できないものとする。その場合、撮影優先度提示部Ａ１３０００は、ソーシャルインタレストデータ保持部Ａ１２０５０に保持されるソーシャルインタレストデータが示す被写体間の交友関係に基づいて、どの被写体と一緒に被写体４００２を撮影したほうが喜ばれるかを判定する。
図１２に示すソーシャルインタレストデータによれば、被写体４００２と、被写体４０００１との共通の友人は１人であり、被写体４００２と、被写体４００３との共通の友人は８０人である。即ち、被写体４００２は、被写体４００１よりも被写体４００３の方が共通の友人が多い。そのため、被写体４００２と、被写体４００３とを一緒に撮影したほうが喜ばれる可能性が高いと考えられる。そこで、撮影優先度提示部Ａ１３０００は、枠１３００３のように撮影すべき被写体４００３に丸い枠を重ねて表示することによって、どちらの被写体をファインダーに収めるべきかを撮影者に提示する。このように、撮影優先度提示部Ａ１３０００は、優先して撮影する撮影被写体を決定して提示する。これにより、撮影者４０００は、被写体にとって喜ばれる写真を撮影することができる。
【００２９】
撮影優先度提示部Ａ１３０００が撮影者４０００に対して被写体の撮影優先度を提示する方法は、必ずしも四角い枠を重ねて表示する方法である必要はなく、矢印や数字、文字、記号等で指示する方法でもよい。これは、一緒に撮影すべき被写体を指示する場合も同様である。また、撮影優先度提示部Ａ１３０００は、ディスプレイ２００１に撮影優先度が最も高い被写体の顔写真を表示することによって、撮影者４０００に被写体を探させるようにしてもよい。また、撮影優先度提示部Ａ１３０００は、被写体の撮影優先度だけでなく、構図等に関するアドバイスを併せて提示してもよい。
また、本実施形態において、撮影優先度提示部Ａ１３０００は、ソーシャルインタレストデータ保持部Ａ１２０５０に保持されるソーシャルインタレストデータのみに基づいて一緒に撮影する被写体を選択しているが、他の判定基準を基に被写体を選択してもよい。例えば過去に被写体４００１と、被写体４００２とが同時に撮影された写真が予め定められた枚数よりも多くあるとする。この場合、撮影優先度提示部Ａ１３０００が被写体４００２と、被写体４００３とを撮影するように選択することで、被写体４００２と一緒に写る被写体に多様性をもたせることができる。
本実施形態における撮影装置１０００は、手で持って撮影するデジタルカメラだけでなく、遠隔制御を行うデジタルカメラや、環境内に設置された自律でパンチルト駆動可能なカメラ、自律移動可能なカメラ等であってもよい。また、撮影装置１０００の大きさ、形状、方式等は特に限定する必要はなく、また、被写体、シーン等に関しても限定する必要はない。
【００３０】
以上、本実施形態によれば、撮影装置１０００は、撮影データに対して審美性と、各被写体の写り具合とを評価し、過去の撮影データから横断的に累積被写体スコアを算出して、累積被写体スコアの最も低い被写体を優先的に撮影するように撮影者に提示する。このようにすることで、撮影装置１０００は、各被写体の写り具合を平均化することができるようになる。即ち、撮影者は、撮影装置１０００を用いて、参加者、その他の関係者から喜ばれる写真を効率的に撮影することができるようになる。
【００３１】
＜実施形態２＞
本実施形態と、実施形態１との主な差異は、手持ちのデジタルカメラではなく自律的にパンチルト駆動可能な撮影装置を利用して撮影を行う点である。また、撮影装置がソーシャルネットワーキングサービスからソーシャルインタレストデータを取得するのではなく、撮影データから被写体のソーシャルインタレストデータを生成する点も異なる。更に、撮影装置が生成したソーシャルインタレストデータを使用して主被写体を設定し、審美性評価を行う点及び撮影優先度を設定する際に、ソーシャルインタレストデータを使用する点も異なる。
【００３２】
図１５は、撮影装置１０００の機能構成等の一例を示す図である。
上述したように、本実施形態における撮影装置１０００は、自律的にパンチルト駆動可能な撮影装置である。
撮影部１００６は、実施形態１で説明した通りである。
計算部Ａ１４２０００は、撮影処理における各種の計算を実行する。計算部Ａ１４２０００が有する各機能は、ＣＰＵ１００１がＨＤ１００４等に格納されているプログラムを実行することにより実現される機能である。計算部Ａ１４２０００は、ソーシャルインタレストデータ生成部Ａ１４２００１、主被写体設定部Ａ１４２００２、審美性評価部Ａ１４２００３及び被写体検出部Ａ１４２００４を有する。更に、計算部Ａ１４２０００は、被写体スコア算出部Ａ１４２００５、累積被写体スコア算出部Ａ１４２００６、撮影優先度設定部Ａ１４２００７及び撮影制御部Ａ１４２００８を有する。また、計算部Ａ１４２０００は、記憶領域としてソーシャルインタレストデータ保持部Ａ１４２０１０、審美性評価結果保持部Ａ１４２０３０、被写体スコア保持部Ａ１４２０５０、累積被写体スコア保持部Ａ１２０４０及び撮影優先度保持部Ａ１４２０７０を有する。
【００３３】
ソーシャルインタレストデータ生成部Ａ１４２００１は、撮影部１００６で取得された撮影データからユーザ間のつながりや各ユーザの興味関心を推定し、ソーシャルインタレストデータを生成し、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持する。ソーシャルインタレストデータ生成部Ａ１４２００１による処理の詳細については、図１７等を用いて後述する。ソーシャルインタレストデータ保持部Ａ１４２０１０は、ソーシャルインタレストデータ生成部Ａ１４２００１で生成したソーシャルインタレストデータを保持し、要求に応じて出力する。
主被写体設定部Ａ１４２００２は、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持されるソーシャルインタレストデータを取得し、取得したソーシャルインタレストデータの構造から撮影画像における主被写体を設定し、出力する。主被写体設定部Ａ１４２００２による処理の詳細については、図１７等を用いて後述する。
審美性評価部Ａ１４２００３は、主被写体設定部Ａ１４２００２で設定された主被写体を考慮して、撮影部１００６で取得された撮影データの審美性を評価し、審美性評価結果を出力する。審美性評価部Ａ１４２００３による処理の詳細については、図１７等を用いて後述する。審美性評価結果保持部Ａ１４２０３０は、審美性評価部Ａ１４２００３によって評価された審美性評価結果を保持し、要求に応じて出力する。
【００３４】
被写体検出部Ａ１４２００４は、撮影部１００６で取得された撮影データから被写体を検出し、被写体リストを出力する。
被写体スコア算出部Ａ１４２００５は、撮影部１００６で取得された撮影データと、審美性評価結果保持部Ａ１４２０３０に保持される審美性評価結果と、被写体検出部Ａ１４２００４で検出された各被写体の写り具合とから各被写体の被写体スコアを算出する。そして、被写体スコア算出部Ａ１４２００５は、算出した各被写体の被写体スコアを出力し、被写体スコア保持部Ａ１４２０５０に保持する。被写体スコア算出部Ａ１４２００５による処理の詳細については、図１７等を用いて後述する。被写体スコア保持部Ａ１４２０５０は、被写体スコア算出部Ａ１４２００５によって算出された被写体スコアを保持し、要求に応じて出力する。
累積被写体スコア算出部Ａ１４２００６は、被写体スコア保持部Ａ１４２０５０に保持される各被写体の撮影毎の被写体スコアと、累積被写体スコア保持部Ａ１４２０６０に保持される累積被写体スコアとに基づいて算出処理を行う。より具体的にいうと、累積被写体スコア算出部Ａ１４２００６は、前記被写体スコアと、前記累積被写体スコアとから、各被写体について過去に撮影された撮影データを横断的に評価した累積被写体スコアを算出し、累積被写体スコア保持部Ａ１４２０６０に保持する。なお、累積被写体スコア算出部Ａ１４２００６による処理は、累積情報取得処理の一例である。累積被写体スコア算出部Ａ１４２００６による処理の詳細については、図１７等を用いて後述する。累積被写体スコア保持部Ａ１４２０６０は、累積被写体スコア算出部Ａ１４２００６により算出された累積被写体スコアを保持し、要求に応じて出力する。
【００３５】
撮影優先度設定部Ａ１４２００７は、累積被写体スコア保持部Ａ１４２０６０に保持される累積被写体スコアと、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持されるソーシャルインタレストデータとから、撮影優先度を算出する。そして、撮影優先度設定部Ａ１４２００７は、算出した撮影優先度を撮影優先度保持部Ａ１４２０７０に保持する。撮影優先度設定部Ａ１４２００７による処理の詳細については、図１７等を用いて後述する。撮影優先度保持部Ａ１４２０７０は、各被写体に対する撮影優先度を保持し、要求に応じて出力する。
撮影制御部Ａ１４２００８は、撮影優先度保持部Ａ１４２０７０に保持される各被写体に対する撮影優先度を取得し、取得した撮影優先度に基づいて撮影部１００６を制御する。
【００３６】
図１６は、本実施形態における撮影装置１０００の一例を示す図である。本実施形態では、撮影装置１０００の一例として図１６に示す自律的にパンチルト駆動可能な撮影装置１５０００を用いて説明する。
撮影装置１５０００は、撮影部１００６で撮影した写真からソーシャルインタレストデータを生成し、主被写体を設定し、審美性の評価を行い、被写体を検出し、各被写体の被写体スコアを計算する。更に、撮影装置１５０００は、各被写体の被写体スコアから累積被写体スコアを計算し、撮影優先度を設定し、撮影部１００６を制御する。
また、撮影装置１５０００は、ソーシャルインタレストデータ保持部Ａ１４２０１０、主被写体保持部Ａ１４２０２０及び審美性評価結果保持部Ａ１４２０３０として利用することができるメモリを搭載している。更に、撮影装置１５０００は、被写体スコア保持部Ａ１４２０５０、累積被写体スコア保持部Ａ１４２０６０及び撮影優先度保持部Ａ１４２０７０として利用することができるメモリを搭載している。
以上が、本実施形態における撮影装置１５０００の構成例である。
【００３７】
本実施形態の処理フローを、図１７を用いて説明する。
図１７は、本実施形態における処理の一例を示すフローチャートである。
Ｓ１６１００で、ソーシャルインタレストデータ生成部Ａ１４２００１は、撮影データから被写体間の交友関係や興味関心を推定し、ソーシャルインタレストデータを生成し、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持する。
Ｓ１６２００で、主被写体設定部Ａ１４２００２は、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持されるソーシャルインタレストデータから被写体間の交友関係や興味関心に関する情報を取得する。そして、主被写体設定部Ａ１４２００２は、前記取得した情報に基づいて主被写体を設定し、主被写体の設定に関する情報（以下、単に主被写体という）を主被写体保持部Ａ１４２０２０に保持する。なお、Ｓ１６２００の処理は、主被写体決定処理の一例である。
Ｓ１６３００で、審美性評価部Ａ１４２００３は、撮影部１００６で撮影された撮影データと、主被写体保持部Ａ１４２０２０に保持される主被写体とを取得し、審美性の評価を行い、審美性評価結果保持部Ａ１４２０３０に保持する。
【００３８】
Ｓ１６４００で、被写体検出部Ａ１４２００４は、撮影部１００６で撮影された撮影データから被写体を検出する。そして、被写体スコア算出部Ａ１４２００５は、撮影部１００６で撮影された撮影データと、審美性評価結果保持部Ａ１４２０３０に保持される審美性評価結果とを取得し、被写体検出部Ａ１４２００４で検出された被写体スコアを算出する。更に、被写体スコア算出部Ａ１４２００５は、算出した被写体スコアを被写体スコア保持部Ａ１４２０５０に保持する。
Ｓ１６５００で、累積被写体スコア算出部Ａ１４２００６は、被写体スコア保持部Ａ１４２０５０に保持される被写体スコアより、累積被写体スコア保持部Ａ１２０４０に保持される累積被写体スコアを更新し、累積被写体スコア保持部Ａ１２０４０に保持する。
Ｓ１６６００で、撮影優先度設定部Ａ１４２００７は、累積被写体スコア保持部Ａ１４２０６０に保持される累積被写体スコアと、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持されるソーシャルインタレストデータとから、撮影優先度を設定する。そして、撮影優先度設定部Ａ１４２００７は、設定した撮影優先度を撮影優先度保持部Ａ１４２０７０に保持する。
Ｓ１６７００で、撮影制御部Ａ１４２００８は、撮影優先度保持部Ａ１４２０７０から撮影優先度を取得し、撮影部１００６を制御する。
以上の処理が終了すると、撮影装置１５０００は、図１７の処理で撮影優先度を決定するために用いた撮影データを記憶領域から削除する。これにより、ユーザは、撮影装置１５０００の記憶領域を有効活用することができる。
以上が、本実施形態における撮影装置１５０００の処理フローである。
【００３９】
以下、図１７の処理についてより具体的な例を用いて説明する。
図１８は、パーティ会場で、自律的にパンチルト駆動可能な撮影装置１５０００が複数の被写体１７００１から被写体１７００４までを撮影する撮影シーンの一例を示す図である。
本実施形態における撮影装置１５０００は、撮影を行う際、各被写体に対して撮影優先度を設定することによって被写体や撮影装置１５０００の操作者、その他関係者にとって有益な写真を効率よく撮影する。
図１９は、撮影装置１５０００が撮影した撮影データ１８０００の一例を示す図である。
撮影装置１５０００は、図１７に示すフローに従って撮影データ１８０００を処理する。
Ｓ１６１００で、ソーシャルインタレストデータ生成部Ａ１４２００１は、撮影データ１８０００からソーシャルインタレストデータを生成する。本実施形態において、ソーシャルインタレストデータ生成部Ａ１４２００１は、各被写体の顔の向きを用いてソーシャルインタレストデータを生成する。ソーシャルインタレストデータ生成部Ａ１４２００１は、予め記憶領域に記憶されている既知の顔特有の画像特徴パターン領域を検出することで顔を検出し、検出した顔について向きを判定する。ソーシャルインタレストデータ生成部Ａ１４２００１は、顔の向きを検出するために、様々な方向の顔画像から顔の向き毎に辞書を作成し、それを用いる検出器を利用して検出する。
【００４０】
図２０は、被写体間の関心対象を示す撮影データの一例を示す図である。
図２０に示されるように、撮影データ１８０００では、被写体１７００２と、被写体１７００４とが被写体１７００３の方向を向いている。そのため、被写体１７００２と、被写体１７００４とが被写体１７００３に対して興味関心をもっていると考えられる。
図２１は、上述の被写体間の興味関心に関するソーシャルインタレストデータの一例を示す図である。
図２１では、特別な興味関心をもってないニュートラルな状態を１、興味関心を持っている状態を２として表現している。図２１によれば、被写体１７００２と、被写体１７００４とが被写体１７００３に対して興味関心をもっていることがわかる。ソーシャルインタレストデータ生成部Ａ１４２００１は、このように生成したソーシャルインタレストデータをソーシャルインタレストデータ保持部Ａ１４２０１０に保持する。なお、被写体間の興味関心を表すソーシャルインタレスデータは、関心情報の一例である。また、S１６１００の処理は、関心情報生成処理の一例である。
【００４１】
ソーシャルインタレストデータの生成方法は、必ずしも上記の方法に限る必要はない。ソーシャルインタレストデータ生成部Ａ１４２００１は、ソーシャルインタレストデータを生成するために被写体の顔の向きではなく、視線の方向を利用してもよい。また、ソーシャルインタレストデータ生成部Ａ１４２００１は、単一の静止画から判定するのではなく動画や複数枚の静止画から顔が特定の方向を向いている時間を考慮して興味関心の有無や度合いを推定してもよい。また、ソーシャルインタレストデータ生成部Ａ１４２００１は、顔の方向や視線の他、表情や体の向き、被写体同士の距離を組み合わせて推定してもよい。また、ソーシャルインタレストデータ生成部Ａ１４２００１は、ソーシャルインタレストデータの表現方法として、各被写体の興味や関心度合い等を数値で重み付けする表現方法や、有向グラフ等による表現方法を利用してもよい。また、ソーシャルインタレストデータ生成部Ａ１４２００１は、単一の撮影データからソーシャルインタレストデータを生成しているが、これに限る必要はない。例えばソーシャルインタレストデータ生成部Ａ１４２００１は、以前に撮影した撮影データや以前に生成したソーシャルインタレストデータ、ソーシャルネットワーキングサービス等を利用して外部から取得したデータ等を組み合わせて生成してもよい。
【００４２】
図１７の説明に戻る。
Ｓ１６２００で、主被写体設定部Ａ１４２００２は、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持されるソーシャルインタレストデータを基に撮影データ１８０００における主被写体を設定する。本実施形態において、主被写体設定部Ａ１４２００２は、被写体が多く興味関心を寄せている被写体を主被写体として設定する。ソーシャルインタレストデータ保持部Ａ１４２０１０に保持されるソーシャルインタレストデータは、図２１に示す通りである。図２１によれば、被写体１７００２と、被写体１７００４とが被写体１７００３に対して関心を持っている。このため、主被写体設定部Ａ１４２００２は、撮影データ１８０００における被写体１７００３を主被写体として設定する。ただし、主被写体は２人以上存在してもよい。また、主被写体の設定方法としては、顔の方向だけでなく、シーンに応じた固有の知識（データ）を利用する設定方法を用いてもよい。例えば、主被写体設定部Ａ１４２００２は、演劇の舞台ではスポットライトがあたっている対象を認識して主被写体としてもよいし、パーティ会場ではマイクを持っている被写体を認識して主被写体としてもよい。また、主被写体設定部Ａ１４２００２は、結婚式ではウェディングドレスを着用している被写体を認識して主被写体としてもよい。また、主被写体設定部Ａ１４２００２は、撮影データだけでなくセンサやその他の方法を利用して主被写体を決定してもよく、被写体からのジェスチャ等のアピールを受けて主被写体として設定してもよい。また、主被写体設定部Ａ１４２００２は、こうした様々な主被写体設定方法と、各被写体の興味関心度合いとを組み合わせて主被写体を設定してもよい。
【００４３】
図１７の説明に戻る。
Ｓ１６３００で、審美性評価部Ａ１４２００３は、撮影データ１８０００の審美性を評価する。審美性評価部Ａ１４２００３による審美性の評価方法は実施形態１と同様であるが、撮影データから検出された全ての顔ではなく、主被写体を用いる点が異なる。より具体的にいうと、審美性評価部Ａ１４２００３は、図２２のように撮影データ１８０００を縦横に３分割する線を引き、それらの線が交差するところと、主被写体の顔領域との距離によって審美性を評価する。審美性評価部Ａ１４２００３は、このようにして算出した審美性評価結果を、審美性評価結果保持部Ａ１４２０３０に保持する。なお、図２２は、審美性評価に関する撮影データの一例を示す図である。
図１７の説明に戻る。
Ｓ１６４００の処理は、実施形態１におけるＳ３２００の処理と同様であるが、被写体スコアの算出に用いられる数式が異なる。本実施形態における被写体スコア算出部Ａ１４２００５は、以下の式（３）を用いて被写体スコアＪを算出する。
【数３】
2015070505.tif 000005
ここで、Ｋは対象の被写体が主被写体かどうかによって決定される値である。例えば、主被写体の場合は１、それ以外の場合は０．５とする。即ち、被写体スコア算出部Ａ１４２００５は、被写体が主被写体か否かに応じた重み付けをして被写体スコアを算出する。
【００４４】
図２３は、被写体スコア算出部Ａ１４２００５が算出した被写体スコアの一例を示す図である。
なお、被写体スコアの算出方法には、本実施形態で述べた式やパラメータを必ずしも利用しなければならないわけではなく、他の数式やパラメータを用いてもよい。
図１７の説明に戻る。
Ｓ１６５００の処理は、実施形態１におけるＳ３３００の処理と同様である。累積被写体スコア算出部Ａ１４２００６は、既に累積被写体スコア保持部Ａ１２０４０に保持されている累積被写体スコアに、被写体スコア保持部Ａ１４２０５０に保持される新しい撮影データに関する被写体スコアを加えて累積被写体スコアを更新する。そして、累積被写体スコア算出部Ａ１４２００６は、更新した新しい累積被写体スコアを累積被写体スコア保持部Ａ１４２０６０に保持する。図２４は、累積被写体スコア算出部Ａ１４２００６が求めた累積被写体スコアの一例を示す図である。
【００４５】
図１７の説明に戻る。
Ｓ１６６００の処理は、実施形態１におけるＳ３５００の処理と同様であるが、ソーシャルインタレストデータ保持部Ａ１４２０１０に保持されるソーシャルインタレストデータの結果を考慮する点が異なる。より具体的にいうと、撮影優先度設定部Ａ１４２００７は、他の人から注目されている被写体に関しては、優先して撮影するように撮影優先度を設定する。本実施形態において、撮影優先度設定部Ａ１４２００７は、ｎ人から注目される毎に（ｎ＋１）倍の累積被写体スコアであることを許容する。即ち、撮影優先度設定部Ａ１４２００７は、多くの人から注目されている人は累積被写体スコアが高くても、撮影を行うべき被写体であると判定する。
例えば、図２４によれば、被写体１７００３は４人の被写体の中で累積被写体スコアが２番目に高い。ここで、図２４は、累積被写体スコア結果の一例を示す図である。また、ソーシャルインタレストデータ生成部Ａ１４２００１で生成された上述の図２１に示されるソーシャルインタレストデータによれば、被写体１７００３は２人の被写体から興味関心の対象となっていることがわかる。このため、被写体１７００３は３倍まで累積被写体スコアが高くなることが許容される。即ち、本実施形態において撮影優先度設定部Ａ１４２００７は、被写体１７００３の累積被写体スコアを（１／３）倍して撮影優先度を求める。したがって、撮影優先度設定部Ａ１４２００７は、注目度を考慮せずに算出した累積被写体スコアが図２４に示される通りであるとするならば、注目度を考慮した場合、被写体１７００３の累積被写体スコアを２６０／３＝８６．６６６６、即ち、８７とみなす。この場合、被写体１７００３の累積被写体スコアは、４人の被写体の中で３番目の大きさになる。
【００４６】
図２５は、撮影優先度の一例を示す図である。
撮影優先度設定部Ａ１４２００７は、上述した通りに撮影優先度を設定するため、撮影優先度は図２５に示す通りとなる。撮影優先度設定部Ａ１４２００７は、図２５のように設定した撮影優先度を撮影優先度保持部Ａ１４２０７０に保持する。このように、本実施形態では撮影優先度設定部Ａ１４２００７が、被写体が何人の被写体から興味関心を寄せられているかに基づいて、累積被写体スコアにバイアス（重み付け）をかけて撮影優先度を算出したが、撮影優先度の算出方法はこれに限る必要はない。例えば、撮影優先度設定部Ａ１４２００７は、最も興味関心を抱かれている被写体から順に重み付けするようにしてもよいし、最も多くの人から興味関心を抱かれている人が興味関心を抱いている人の累積被写体スコアに最も大きな重み付けをするようにしてもよい。
【００４７】
Ｓ１６７００で、撮影制御部Ａ１４２００８は、撮影優先度保持部Ａ１４２０７０に保持された撮影優先度の最も高い被写体を探索し、撮影に関する制御を行う。撮影制御部Ａ１４２００８は、撮影装置１５０００のライブビュー映像に対して常時人物検出及び人物識別を行いながらランダムにパンチルト駆動を行い、撮影優先度の最も高い被写体を探索する。
撮影制御部Ａ１４２００８は、パンチルト駆動可能な全ての角度に撮影装置１５０００を駆動させても被写体を発見することができなかった場合は、次（２番目）に撮影優先度の高い被写体の探索を行う。この際、撮影制御部Ａ１４２００８は、撮影装置１５０００をランダムに動かすのではなく予め定められた方法で動かしてもよい。また、撮影制御部Ａ１４２００８は、予め定められた回数連続で最も撮影優先度が高い被写体を見つけることができなかった場合は、次の探索へスキップするようにしてもよい。また、撮影制御部Ａ１４２００８は、ランダムにパンチルト駆動を行い、予め定められた時間が経過しても探索対象の被写体を見つけることができなかった場合は、次に撮影優先度の高い被写体を探索するようにしてもよい。また、被写体を探索する方法として、被写体にアクティブＲＦＩＤタグを付与しておき、撮影制御部Ａ１４２００８が撮影する際にスキャンすることによって被写体の空間内での位置を把握し、被写体が撮影可能なようにパンチルト駆動を行う方法を用いてもよい。更に、被写体を探索する方法として、被写体探索用のカメラで撮影対象者を探索し、撮影用カメラに撮影対象者の位置を通知するような方法を用いてもよい。
【００４８】
撮影制御部Ａ１４２００８は、累積被写体スコアが存在しない被写体を検出した場合、最優先で撮影を行うように制御してもよい。本実施形態において、撮影制御部Ａ１４２００８は、撮影優先度保持部Ａ１４２０７０に保持された撮影優先度が最も高い被写体を優先的に撮影するが、状況に応じて撮影優先度によらずに撮影を行うようにしてもよい。例えば、撮影制御部Ａ１４２００８は、被写体がジェスチャ等によって撮影を求めた際にはその被写体を撮影してもよい。また、撮影制御部Ａ１４２００８は、撮影優先度の最も高い被写体を発見したものの、オクルージョン等によりうまく撮影できないと予想される場合には、他の被写体を優先して撮影するようにしてもよい。
また、本実施形態における撮影装置１５０００は、パンチルト駆動だけを行うものではなく移動機能を併せもつものでもよい。また、撮影装置１５０００は、手に持って使用されるデジタルカメラが撮影者に対して移動指示を出すものであってもよい。また、撮影装置１５０００の大きさ、形状、方式等は特に限定する必要はなく、また、被写体、シーン等に関しても限定する必要はない。
【００４９】
以上、本実施形態によれば、撮影装置１５０００は、撮影データから被写体感の興味関心を推定することにより主被写体を設定し、その主被写体を考慮して審美性と、各被写体の写り具合とを評価し、過去の撮影データから横断的に累積被写体スコアを算出する。また、撮影装置１５０００は、ソーシャルインタレストデータと、累積被写体スコアとにより撮影優先度を算出し、算出した撮影優先度に基づいて撮影を行う。これにより、撮影装置１５０００は、被写体が興味関心を抱いている対象を中心に撮影することができるようになる。即ち、撮影者は、撮影装置１５０００を用いて、被写体、参加者、その他の関係者から喜ばれる写真を効率的に撮影することができるようになる。
【００５０】
＜実施形態３＞
本実施形態と、実施形態１及び実施形態２との主な差異は、自律移動式の撮影装置を使用して撮影を行う点である。また、撮影装置が画像データからソーシャルインタレストデータを生成し、生成したソーシャルインタレストデータに基づいて、累積被写体スコアが最も高い被写体が注目している被写体の撮影優先度を補正して設定する点も異なる。
図２６は、撮影装置１０００の機能構成等の一例を示す図である。
上述したように、本実施形態における撮影装置１０００は、自律移動式撮影装置である。
撮影部１００６は、実施形態１で説明した通りである。
計算部Ａ２５２０００は、撮影処理における各種の計算を実行する。計算部Ａ２５２０００が有する各機能は、ＣＰＵ１００１がＨＤ１００４等に格納されているプログラムを実行することにより実現される機能である。計算部Ａ２５２０００は、審美性評価部Ａ２５２００１、被写体検出部Ａ２５２００２及び被写体スコア算出部Ａ２５２００３を有する。更に、計算部Ａ２５２０００は、累積被写体スコア算出部Ａ２５２００４、ソーシャルインタレストデータ生成部Ａ２５２００５及び撮影優先度設定部Ａ２５２００６を有する。また、計算部Ａ２５２０００は、記憶領域として、審美性評価結果保持部Ａ２５２０１０、被写体スコア保持部Ａ２５２０３０を有する。更に、計算部Ａ２５２０００は、記憶領域として、累積被写体スコア保持部Ａ２５２０４０、ソーシャルインタレストデータ保持部Ａ２５２０５０及び撮影優先度保持部Ａ２５２０６０を有する。
【００５１】
審美性評価部Ａ２５２００１は、撮影部１００６で取得された撮影データの審美性を評価し、審美性評価結果を出力する。審美性評価部Ａ２５２００１による処理の詳細については、図２８等を用いて後述する。審美性評価結果保持部Ａ２５２０１０は、審美性評価部Ａ２５２００１によって評価された審美性評価結果を保持し、要求に応じて出力する。
被写体検出部Ａ２５２００２は、撮影部１００６で取得された撮影データから被写体を検出し、被写体リストを出力する。被写体検出部Ａ２５２００２による処理の詳細については、図２８等を用いて後述する。
被写体スコア算出部Ａ２５２００３は、被写体検出部Ａ２５２００２で検出された各被写体に対して、審美性評価結果保持部Ａ２５２０１０に保持される審美性評価結果と、各被写体の写り具合とから被写体スコアを算出し、出力する。被写体スコア算出部Ａ２５２００３による処理の詳細については、図２８等を用いて後述する。被写体スコア保持部Ａ２５２０３０は、被写体スコア算出部Ａ２５２００３によって算出された被写体スコアを保持し、要求に応じて出力する。
【００５２】
累積被写体スコア算出部Ａ２５２００４は、被写体スコア保持部Ａ２５２０３０に保持される撮影毎の各被写体の被写体スコアと、累積被写体スコア保持部Ａ２５２０４０に保持される累積被写体スコアとに基づいて算出処理を行う。より具体的にいうと、累積被写体スコア算出部Ａ２５２００４は、前記被写体スコアと、前記累積被写体スコアとから、各被写体について過去に撮影された撮影データを横断的に評価した累積被写体スコアを算出し、累積被写体スコア保持部Ａ２５２０４０に保持する。なお、累積被写体スコア算出部Ａ２５２００４による処理は、累積情報取得処理の一例である。累積被写体スコア算出部Ａ２５２００４による処理の詳細については、図２８等を用いて後述する。累積被写体スコア保持部Ａ２５２０４０は、累積被写体スコア算出部Ａ２５２００４によって算出された累積被写体スコアを保持し、要求に応じて出力する。
ソーシャルインタレストデータ生成部Ａ２５２００５は、撮影部１００６で取得された撮影データと、累積被写体スコア保持部Ａ２５２０４０に保持される各被写体の累積被写体スコアとから、ソーシャルインタレストデータを生成する。そして、ソーシャルインタレストデータ生成部Ａ２５２００５は、生成したソーシャルインタレストデータをソーシャルインタレストデータ保持部Ａ２５２０５０に保持する。ソーシャルインタレストデータ生成部Ａ２５２００５による処理の詳細については、図２８等を用いて後述する。ソーシャルインタレストデータ保持部Ａ２５２０５０は、ソーシャルインタレストデータ生成部Ａ２５２００５で生成されたソーシャルインタレストデータを保持し、要求に応じて出力する。
【００５３】
撮影優先度設定部Ａ２５２００６は、ソーシャルインタレストデータ保持部Ａ２５２０５０に保持されるソーシャルインタレストデータから、今後どの被写体を優先的に撮影するかに関する撮影優先度を算出し、撮影優先度保持部Ａ２５２０６０に保持する。撮影優先度設定部Ａ２５２００６による処理の詳細については、図２８等を用いて後述する。撮影優先度保持部Ａ２５２０６０は、各被写体に対する撮影優先度を保持し、要求に応じて出力する。
撮影制御部Ａ２５２００７は、撮影優先度保持部Ａ２５２０６０に保持される各被写体に対する撮影優先度を取得し、撮影部１００６を制御する。撮影制御部Ａ２５２００７による処理の詳細については、図２８等を用いて後述する。
【００５４】
図２７は、本実施形態における撮影装置１０００の一例を示す図である。なお、本実施形態では、撮影装置１０００の一例として図２７に示す自律移動式撮影装置２６０００を用いて説明する。
本実施形態では、上述した撮影部１００６及び計算部Ａ２５２０００を有する自律移動式撮影装置２６０００を用いる。自律移動式撮影装置２６０００は、撮影部１００６で撮影した写真について審美性の評価を行い、被写体を検出し、各被写体の被写体スコアを計算する。そして、自律移動式撮影装置２６０００は、各被写体の被写体スコアから累積被写体スコアを計算する。更に、自律移動式撮影装置２６０００は、撮影データと、累積被写体スコアとからソーシャルインタレストデータを生成し、撮影優先度を設定し、撮影部１００６を制御する。
また、上述したように、撮影装置１５０００は、審美性評価結果保持部Ａ２５２０１０、被写体スコア保持部Ａ２５２０３０及び累積被写体スコア保持部Ａ２５２０４０として利用することができるメモリを搭載している。更に、撮影装置１５０００は、ソーシャルインタレストデータ保持部Ａ２５２０５０及び撮影優先度保持部Ａ２５２０６０として利用することができるメモリを搭載している。
以上が、本実施形態における自律移動式撮影装置２６０００の構成例である。
【００５５】
図２８は、本実施形態における処理の一例を示すフローチャートである。
Ｓ２７１００で、審美性評価部Ａ２５２００１は、撮影部１００６で撮影された撮影データを取得し、審美性の評価を行い、審美性評価結果保持部Ａ２５２０１０に保持する。
Ｓ２７２００で、被写体検出部Ａ２５２００２は、撮影部１００６で撮影された撮影データから被写体を検出する。そして、被写体スコア算出部Ａ２５２００３は、撮影部１００６で撮影された撮影データと、審美性評価結果保持部Ａ２５２０１０に保持される審美性評価結果とを取得し、検出された各被写体の被写体スコアを算出する。被写体スコア算出部Ａ２５２００３は、算出した被写体スコアを被写体スコア保持部Ａ２５２０３０に保持する。
Ｓ２７３００で、累積被写体スコア算出部Ａ２５２００４は、被写体スコア保持部Ａ２５２０３０に保持される被写体スコアより、累積被写体スコア保持部Ａ２５２０４０に保持される累積被写体スコアを更新し、累積被写体スコア保持部Ａ１２０４０に保持する。
【００５６】
Ｓ２７４００で、ソーシャルインタレストデータ生成部A２５２００５は、撮影データから取得した被写体間の交友関係や興味関心に関する情報と、累積被写体スコアとから、ソーシャルインタレストデータを算出して取得する。そして、ソーシャルインタレストデータ生成部A２５２００５は、取得したソーシャルインタレストデータをソーシャルインタレストデータ保持部Ａ２５２０５０に保持する。
Ｓ２７５００で、撮影優先度設定部Ａ２５２００６は、ソーシャルインタレストデータ保持部Ａ２５２０５０に保持されるソーシャルインタレストデータから、撮影優先度を設定する。
Ｓ２７６００で、撮影制御部Ａ２５２００７は、撮影優先度保持部Ａ２５２０６０から撮影優先度を取得し撮影部１００６を制御する。
以上の処理が終了すると、自律移動式撮影装置２６０００は、図２８の処理で撮影優先度を決定するために用いた撮影データを記憶領域から削除する。これにより、ユーザは、自律移動式撮影装置２６０００の記憶領域を有効活用することができる。
以上が、本実施形態における自律移動式撮影装置２６０００の処理フローである。
【００５７】
以下、図２８の処理についてより具体的な例を用いて説明する。
図２９は、パーティ会場で、自律移動式撮影装置２６０００が複数の被写体２８００１から被写体２８００４までを撮影する撮影シーンの一例を示す図である。
本実施形態では、自律移動式撮影装置２６０００が撮影を行う際、各被写体に対して撮影優先度を設定して撮影を行う。これにより、自律移動式撮影装置２６０００は、操作者、被写体、その他関係者にとって有益な写真を効率よく撮影することができる。
図３０は、自律移動式撮影装置２６０００が撮影した撮影データの一例を示す図である。
自律移動式撮影装置２６０００は、撮影データ２９０００を図２８に示すフローに従って処理する。
【００５８】
図２８の説明に戻る。
Ｓ２７１００の処理は、実施形態１におけるＳ３１００の処理と同様である。
Ｓ２７２００の処理は、実施形態１におけるＳ３２００の処理と同様である。
Ｓ２７３００の処理は、実施形態１におけるＳ３３００の処理と同様である。
Ｓ２７４００で、ソーシャルインタレストデータ生成部Ａ２５２００５は、撮影データ２９０００からソーシャルインタレストデータを生成する。まず、ソーシャルインタレストデータ生成部Ａ２５２００５は、実施形態２におけるＳ１６１００の処理と同様に各被写体の顔の向きを用いてソーシャルインタレストデータを生成する。ここでは、ソーシャルインタレストデータ生成部Ａ２５２００５は、図３１に示すソーシャルインタレストデータを得ることができたものとする。図３１は、本実施形態におけるソーシャルインタレストデータの一例を示す図である。次に、ソーシャルインタレストデータ生成部Ａ２５２００５は、累積被写体スコア保持部Ａ２５２０４０に保持される累積被写体スコアを取得する。ここでは、ソーシャルインタレストデータ生成部Ａ２５２００５は、図３２に示す累積被写体スコアを得ることができたものとする。図３２は、累積被写体スコアの結果の一例を示す図である。
【００５９】
ソーシャルインタレストデータ生成部Ａ２５２００５は、取得した累積被写体スコアを用いて、生成して取得したソーシャルインタレストデータに補正をかける。即ち、ソーシャルインタレストデータ生成部Ａ２５２００５は、各被写体の累積被写体スコアと、各被写体への関心度合いを示す値（関心値）とを掛け合わせる。この補正により、累積被写体スコアの最も高い被写体から関心を持たれている被写体は、補正前よりも関心値が高くなり、補正前よりも多くの関心を持たれているものとみなされる。
図３３は、上述の方法により補正をかけたソーシャルインタレストデータの一例を示す図である。
ソーシャルインタレストデータ生成部Ａ２５２００５は、補正して取得した図３３に示すソーシャルインタレストデータを、ソーシャルインタレストデータ保持部Ａ２５２０５０に保持する。
なお、ソーシャルインタレストデータの補正方法は、必ずしも累積被写体スコアと、ソーシャルインタレストデータの関心値とを掛け合わせる方法に限る必要はなく、他の計算方法を用いてもよい。また、ソーシャルインタレストデータ生成部Ａ２５２００５は、過去のソーシャルインタレストデータを保持しておき、データを更新して利用するようにしてもよい。
【００６０】
図２８の説明に戻る。
Ｓ２７５００の処理は、実施形態１におけるＳ３５００の処理と同様である。ただし、撮影優先度設定部Ａ２５２００６が、ソーシャルインタレストデータ保持部Ａ２５２０５０に保持されるソーシャルインタレストデータから撮影優先度を設定する点が異なる。図３３によれば、被写体２８００３が他の被写体から最も多くの関心を集めていることがわかる。このため、撮影優先度設定部Ａ２５２００６は、被写体２８００３を優先的に撮影するように撮影優先度を設定する。なお、本実施形態における撮影優先度設定部Ａ２５２００６は、被写体が他の被写体からどれだけ興味関心を寄せられているかに基づいて、撮影優先度を算出した。しかし、撮影優先度の算出方法は、この方法に限る必要はない。例えば、撮影優先度設定部Ａ２５２００６は、ソーシャルインタレストデータにおいて興味関心を寄せられている合計のスコアではなく、興味関心を寄せている人数を考慮してもよいし、単純に合計するのではなく傾斜をつけてもよい。
【００６１】
Ｓ２７６００で、撮影制御部Ａ２５２００７は、撮影優先度保持部Ａ２５２０６０に保持される被写体を探索し、撮影を行う。探索の方法については上述したため、説明を省略する。本実施形態において撮影制御部Ａ２５２００７は、撮影優先度保持部Ａ２５２０６０に保持された撮影優先度が最も高い被写体を優先的に撮影するが、上述したように状況に応じて撮影優先度にとらわれずに撮影を行なってもよい。
なお、本実施形態における自律移動式撮影装置２６０００は、移動機能を有さずにパンチルト駆動だけを行うものでもよい。また、移動方式としては、手に持って使用されるデジタルカメラが撮影者に対して移動指示を出すような方式であってもよい。また、自律移動式撮影装置２６０００の大きさ、形状、方式等は特に限定する必要はなく、また、被写体、シーン等に関しても限定する必要はない。
【００６２】
以上、本実施形態によれば、自律移動式撮影装置２６０００は、撮影データに対して、審美性と、各被写体の写り具合とを評価し、過去の撮影データから横断的に累積被写体スコアを算出する。そして、自律移動式撮影装置２６０００は、累積被写体スコアと、撮影データとからソーシャルインタレストデータを生成する。更に、自律移動式撮影装置２６０００、生成したソーシャルインタレストデータを基に撮影優先度を算出し、撮影優先度の低い被写体を優先的に撮影する。これにより、自律移動式撮影装置２６０００は、被写体がそのシーンにおいて興味関心を抱いている対象を中心に撮影をすることができるようになり、被写体、参加者及びその他の関係者から喜ばれる写真を効率的に撮影することができるようになる。
【００６３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６４】
以上、上述した各実施形態によれば、被写体、撮影者及びその他関係者にとって有益な写真を効率的に撮影する技術を提供することができる。
【００６５】
以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図１】
2015070505.tif 000006
【図２】
2015070505.tif 000007
【図３】
2015070505.tif 000008
【図４】
2015070505.tif 000009
【図５】
2015070505.tif 000010
【図６】
2015070505.tif 000011
【図７】
2015070505.tif 000012
【図８】
2015070505.tif 000013
【図９】
2015070505.tif 000014
【図１０】
2015070505.tif 000015
【図１１】
2015070505.tif 000016
【図１２】
2015070505.tif 000017
【図１３】
2015070505.tif 000018
【図１４】
2015070505.tif 000019
【図１５】
2015070505.tif 000020
【図１６】
2015070505.tif 000021
【図１７】
2015070505.tif 000022
【図１８】
2015070505.tif 000023
【図１９】
2015070505.tif 000024
【図２０】
2015070505.tif 000025
【図２１】
2015070505.tif 000026
【図２２】
2015070505.tif 000027
【図２３】
2015070505.tif 000028
【図２４】
2015070505.tif 000029
【図２５】
2015070505.tif 000030
【図２６】
2015070505.tif 000031
【図２７】
2015070505.tif 000032
【図２８】
2015070505.tif 000033
【図２９】
2015070505.tif 000034
【図３０】
2015070505.tif 000035
【図３１】
2015070505.tif 000036
【図３２】
2015070505.tif 000037
【図３３】
2015070505.tif 000038