(57)【要約】【課題】  アルバム用に適した写真をより多く撮影できるような撮影支援を行う。【解決手段】  撮影対象の組合せや重要度、撮影時刻の重要度などを考慮した撮影装置が捉えたフレームに対してポイント値を導出し、撮影者に提示する。好適な撮影対象の組合せの写真や、撮影対象の撮影時刻に偏りが少ないアルバムに適した写真を撮影できるよう支援する。【選択図】  図１
2012023502.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置における撮影を支援するための撮影支援システムであって、
撮影フレーム内の撮影対象を識別する識別手段と、
識別された前記撮影フレーム内の撮影対象毎の評価条件に基づき、前記撮影フレーム全体を評価する評価手段と、
前記評価手段における評価結果を支援情報として撮影者に対して提示する提示手段
とを有することを特徴とする撮影支援システム。
【請求項２】
前記評価条件は、撮影対象の組み合わせに応じた条件を含むことを特徴とする請求項１に記載の撮影支援システム。
【請求項３】
前記評価条件は、撮影対象が属するグループに関する条件を含み、
前記評価手段は、前記撮影フレーム内に同一グループと設定された撮影対象の組み合わせが含まれる場合は、前記撮影フレーム内に同一グループと設定された撮影対象の組み合わせを含まない場合に比べて前記撮影フレームを低く評価することを特徴とする請求項１又は２に記載の撮影支援システム。
【請求項４】
前記評価条件は、撮影対象が属するグループに関する条件であり、
前記評価手段は、同一グループ同士の撮影対象の組み合わせを、他グループ同士の撮影対象の組み合わせよりも高く評価することを特徴とする請求項１乃至３の何れか１項に記載の撮影支援システム。
【請求項５】
前記提示手段は、前記撮影フレーム内に含まれる撮影対象のグループに関するグループ情報をさらに提示することを特徴とする請求項１乃至４の何れか１項に記載の撮影支援システム。
【請求項６】
前記提示手段は、前記撮影フレーム内に含まれる複数の撮影対象のうち異なるグループの撮影対象が含まれている場合、異なるグループの撮影対象を識別可能にする情報を提示することを特徴とする請求項１乃至５の何れか１項に記載の撮影支援システム。
【請求項７】
前記評価手段は、撮影済みである撮影対象又は撮影済みである撮影対象の組み合わせは、撮影済みでない撮影対象又は撮影対象の組み合わせに比べて低く評価されることを特徴とする請求項１記載の撮影支援システム。
【請求項８】
前記評価条件は、撮影対象の重要度を含むことを特徴とする請求項１乃至７何れか１項に記載の撮影支援システム。
【請求項９】
前記評価条件は、撮影時刻に応じた条件を含むことを特徴とする請求項１乃至８何れか１項に記載の撮影支援システム。
【請求項１０】
前記評価条件は、撮影対象を撮影してからの経過時間に基づく評価を行うための情報を含むことを特徴とする請求項１乃至９の何れか１項に記載の撮影支援システム。
【請求項１１】
前記評価条件は、撮影対象を撮影すべき時刻を示す条件を含むことを特徴とする請求項１乃至１０の何れか１項に記載の撮影支援システム。
【請求項１２】
撮影対象を撮影すべき時刻に、撮影すべき撮影対象が前記撮影フレームに含まれていない場合は、撮影者に対して警告を行う警告手段をさらに有することを特徴とする請求項１１に記載の撮影支援システム。
【請求項１３】
前記評価条件は、前記撮影フレームの構図に応じた条件を含むことを特徴とする請求項１乃至１２の何れか１項に記載の撮影支援システム。
【請求項１４】
前記評価手段は、識別された前記撮影フレーム内の撮影対象毎の前記評価条件に基づき、前記撮影フレーム全体に対するポイントを導出して前記撮影フレーム全体を評価することを特徴とする請求項１乃至１３の何れか１項に記載の撮影支援システム。
【請求項１５】
前記撮影対象および前記評価条件を登録する登録手段とをさらに有することを特徴とする請求項１乃至１４の何れか１項に記載の撮影支援システム。
【請求項１６】
撮影装置における撮影を支援するための撮影支援方法であって、
撮影フレーム内の撮影対象を識別する識別工程と、
識別された前記撮影フレーム内の撮影対象毎の評価条件に基づき、前記撮影フレーム全体を評価する評価工程と、
前記評価工程における評価結果を支援情報として撮影者に対して提示する提示工程
とを有することを特徴とする撮影支援システム。
【請求項１７】
撮影装置における撮影を支援するための支援情報を撮影装置に出力するサーバであって、
撮影フレームを取得する取得手段と、
取得した前記撮影フレーム内の撮影対象を識別する識別手段と、
識別された前記撮影フレーム内の撮影対象毎の評価条件に基づき、前記撮影フレーム全体を評価する評価手段と、
前記評価手段における評価結果を支援情報として撮影装置に対して出力する出力手段とを有することを特徴とするサーバ。
【請求項１８】
撮影装置における撮影を支援するための支援情報を情報処理装置に生成させるためのプログラムであって、
撮影フレーム内の撮影対象毎の評価条件に基づき、前記撮影フレーム全体を評価する評価ステップと、
前記評価に基づく支援情報を生成する生成ステップとを情報処理装置に実行させるためのプログラム。
【請求項１９】
撮影を支援するための情報を撮影者に対して提示する撮影装置であって、
撮影フレーム内の撮影対象を識別する識別手段と、
識別された前記撮影フレーム内の撮影対象毎の評価条件に基づき、前記撮影フレーム全体を評価する評価手段と、
前記評価手段における評価結果を支援情報として撮影者に対して提示する提示手段とを有することを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影者に対する撮影支援に関する。
【背景技術】
【０００２】
撮影者にアルバム作成のための撮影を支援する従来技術として、撮影順序と撮影すべき各画像の構図や画像中の被写体の状態等を示した撮影指示画像を撮影装置に表示するものがある（特許文献１）。この従来技術では、撮影者は、撮影指示画像を参照することにより、予めどのような写真が撮影されるべきかが決められている撮影内容について把握することが出来る。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５２４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、アルバムに収める画像として、必ずしも撮影指示画像で示すような予め決められている撮影内容ばかりが適切ではない。例えば、結婚式などのイベントの参加者にアルバムを贈呈するため、参加者も含めて撮影する場合を考える。イベントの参加者向けのアルバムに用いる写真としては例えば、仲のよい同じグループの参加者同士で写っている写真が好ましい。参加者としては、アルバムに見知らぬ人との写真が収められているより同じグループ同士の写真が収められている方が望ましい。一方、修学旅行などの参加者の多くが顔見知りの場合は、特定の参加者同士の組み合わせの写真ばかりでなく、様々な参加者との組み合わせの写真が収められている方がより思い出深いアルバムとなる。
【０００５】
従来技術では、撮影者は、撮影指示画像により、撮影すべき構図やシーンを認識できるものの、現在捉えているフレーム中の撮影対象が同一グループであるかを知ることはできない。つまり、イベント参加者それぞれにおける撮影支援としては適してはいない。
【０００６】
また、イベントの参加者を撮影する場合、参加者ごとに撮影時刻の偏りがないように撮影を行うことが望ましい。例えば、結婚式、披露宴、２次会等当日に様々なイベントがある場合、撮影者はそれぞれのイベントで参加者を満遍なく撮影を行い、それぞれで撮影された写真をアルバムに用いることが望まれる。
【０００７】
しかしながら、従来技術では、事前に撮影順序と撮影指示画像を用意する必要があるが、撮影対象であるイベント参加者全ての撮影時刻を考慮した撮影指示画像を生成することは現実的ではない。また、参加者全ての撮影時刻を考慮した撮影指示画像を生成できたとしても、参加者が大人数である場合、撮影者は多量の撮影指示画像を参照しながらの撮影に煩わしさを感じてしまう恐れがある。
【０００８】
以上のように、アルバムを作成する際の撮影支援として、刻一刻と変化する撮影装置が捉えているフレームに含まれる撮影対象を撮影するべきかの評価を提示する撮影支援が望まれている。
【課題を解決するための手段】
【０００９】
本発明は上述した課題に鑑みて成されたものであり、課題を解決するための手段として、撮影フレーム内の撮影対象を識別する識別手段と、識別された前記撮影フレーム内の撮影対象毎の評価条件に基づき、前記撮影フレーム全体を評価する評価手段と、前記評価手段における評価結果を支援情報として撮影者に対して提示する提示手段とを有することを特徴とする撮影支援システムを提供することにある。
【発明の効果】
【００１０】
本発明によれば、撮影者は提示された支援情報によって撮影を行うべきかを容易に判断することが出来る。
【図面の簡単な説明】
【００１１】
【図１】撮影支援システムのブロック図である。
【図２】撮影支援データ提示処理を説明するフローチャートである。
【図３】撮影対象条件の組合せに関する条件のデータの例を示す図である。
【図４】撮影時刻条件の撮影時刻の経過時間に関する条件のデータの例を示す図である。
【図５】撮対象条件および撮影時刻条件の重要度の例を示す図である。
【図６】撮影支援データの提示例を示す図である。
【図７】写真に写る人物の顔の位置を示す模式図である。
【図８】警告撮影支援データの提示例を示す図である。
【図９】フレームのポイント値に対応する表示情報のデータの一例を示す図である。
【図１０】条件登録に係る設定画面の一例を示す図である。
【図１１】様々な組み合わせでの撮影支援を行う際の撮影対象組み合わせテーブルデータを示す図である。
【図１２】実施形態４における撮影支援データ提示処理を説明するフローチャートである。
【図１３】実施形態４における撮影支援データ提示の一例である。
【図１４】撮影支援を実行する撮影装置の機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
＜実施形態１＞
実施形態１では、現在フレームに捉えている撮影対象の組み合わせに基づいて、フレームを撮影するべきかを支援する情報を撮影者に対して提示する。図１は本実施形態に係る撮影支援システムの構成を示すブロック図である。本実施形態では図１に示すように撮影支援システムは撮影装置、サーバ、条件登録装置、データベースから構成される。
【００１４】
１０１は撮影装置であり、例えばカメラのような、画像を撮影できる装置である。なお、撮影装置１０１の各部はＣＰＵなどの制御装置が不図示の記憶装置に記憶されている制御プログラムに基づき、ハードの制御や情報の処理、演算を行うことで実現される。
【００１５】
１１１はデータ送信部、１１２はデータ受信部であり、無線ＬＡＮ等の通信装置等により構成される。データ送信部１１１は画像データなどをサーバへ送信する。データ受信部１１２は、サーバから後述する撮影支援データ（支援情報）などを受信する。１１３は表示部であり、後述する撮影部１１４が取得した画像データ等を撮影装置に設置されたＬＣＤ等の表示装置に表示する処理を行う。また、表示部１１３がＬＣＤ等の表示画面上に、データ受信部１１２が受信した撮影支援データ（支援情報）も表示することで、撮影者に対して提示を行う。
【００１６】
１１４は撮影部であり、レンズを通した光を受け、電気信号に変換するＣＣＤ等の撮像素子、さらに撮像素子が得た電気信号をディジタル信号に変換するＡ／Ｄ変換装置等から構成される。１１５は画像データ取得部であり、撮影部１１４からのディジタル信号を画像データに変換する処理を行う。撮影部１１４が取得した被写体光を画像データに変換する処理は撮影装置の電源が入っている間ごく短時間の周期で繰り返し行われる。そして、生成した画像データをＲＡＭ等の記憶装置に一時的に保存する。さらに、取得した画像データをデータ送信部１１１へ渡す。また、撮影処理実行時には、生成した画像データをメタデータ付加部１１６に渡す。
【００１７】
１１６は、メタデータ付加部であり、不図示のシャッターボタンの押下の検出により実行される撮影処理において、取得される画像データに撮影画像情報を付加する。付加する撮影画像情報とは、撮影時刻等の情報である。撮影部１１４、画像データ取得部１１５、データ送信部１１１、表示部１１３におけるそれぞれ相互の画像データのやりとりはシャッターボタンが押下されていない間も行われる。つまり、電源が入っている間はシャッターボタンの押下に関わらず、撮影装置１０１が得た画像データはリアルタイムにデータ送信部１１１を介してサーバ１０３へ送られる。
【００１８】
条件登録装置１０２は例えばコンピュータ等の情報処理装置であり、後述の各種条件をデータベース１０４に登録する目的で利用される。条件登録装置１０２の各部はＣＰＵなどの制御装置が不図示の記憶装置に記憶されている制御プログラムに基づき、ハードの制御や情報の処理、演算を行うことで実現される。
【００１９】
１２１は登録データ入力部であり、登録データを利用者に入力させるためのＵＩや入力内容を表示する表示装置と利用者が登録データの入力に用いるマウスやキーボード等の入力装置とから構成される。登録データ入力部１２１は、利用者が入力した登録データをＲＡＭ等の記憶装置に記憶する。１２２は条件登録部であり、登録データ入力部１２１から入力データを読み出し、後述するグループ情報および撮影対象組み合わせテーブルデータ等の撮影フレーム全体を評価するための評価条件である条件登録データを作成し、データベース１０４へ出力し登録する。
【００２０】
サーバ１０３は、例えばコンピュータ等の情報処理装置により構成される。サーバ１０３は、撮影装置１０１と通信して、撮影支援データ（支援情報）の提供を行う。なお、サーバ１０３の各部はＣＰＵなどの制御装置が不図示の記憶装置に記憶されている制御プログラムに基づき、ハードの制御や情報の処理、演算を行うことで実現される。また、後述する図２や図１２に示すフローチャートにおけるサーバ１０３で行われる処理は不図示の記憶装置に記憶されている制御プログラムに基づきＣＰＵなどの制御装置がハードの制御や情報の処理、演算を行うことで実現される。
【００２１】
１３１はデータ送信部、１３２はデータ受信部であり、無線ＬＡＮ等の通信装置等により構成される。１３１はデータ送信部であり、後述する作成した撮影支援データ（支援情報）を撮影装置１０１へ送信する。１３２はデータ受信部であり、撮影装置１０１から画像データなどを受信する。１３３は画像解析部であり、データ受信部１３２から取得した画像データが表す画像（撮影フレーム）から顔検出や顔認識処理により、撮影フレーム内の撮影対象の識別を行う。また、検出した顔領域の位置や大きさの取得、表情検出、顔の向きの検出等の画像解析処理を実行する。
【００２２】
１３４は撮影支援データ作成部であり、各種条件値と画像解析結果を基に撮影支援データ（支援情報）を作成する処理を行う。撮影支援データ（支援情報）とはポイント値や、文字列、イメージなどによる撮影を支援するための情報である。撮影支援データ作成部１３４は、評価条件データ処理部から処理結果値を得る。また、画像解析部から解析結果値を得る。これらの結果値の中から必要な値を組み合わせて、撮影支援データを生成する。１３５は撮影情報処理部であり、撮影装置によって撮影された写真の画像データ、撮影時刻、撮影枚数やサーバ１０３が生成した画像解析結果などの情報をデータベースに保存する。
【００２３】
１３６は評価条件データ処理部であり、撮影対象の組合せ、重要度、顔の向き、表情等の評価条件に応じて撮影フレーム全体の評価を行う。つまり、グループ条件、時刻条件等データベース１０４に登録された各種撮影対象に応じた評価条件に基づきポイントを導出することで評価を行う。撮影支援データ作成部１３４からの問い合わせに応じてデータベースから該当する条件値を読み出してポイント値を導出し、撮影支援データ作成部１３４がポイント値を参照可能にする。
【００２４】
データベース１０４は、ＨＤＤ等の記憶装置であり、条件登録装置１０２およびサーバ１０３によって制御され、評価条件となる登録された各種評価条件値、撮影された写真画像、撮影枚数などのデータの記憶が可能である。
【００２５】
以上説明した撮影支援システムの構成を用いた、本実施形態における動作例について説明する。まず、本実施形態における撮影支援データ提示処理を図２に示すフローチャートに基づき説明する。
【００２６】
図２のＳ０１０１において、条件登録装置１０２は、利用者に撮影対象となる人物全員のリファレンスとなる顔写真画像と共に撮影対象条件を登録させるよう、ＵＩの表示を行う。撮影対象条件とは撮影対象に関するポイント値を導出するための条件である。
【００２７】
撮影対象条件の登録手順について説明する。例えばこれから撮影しようとする人物全員がＡ〜Ｌの１２人である場合を例にする。条件登録装置１０２の登録データ入力部１２１は、撮影対象となる人物の名称を登録させるようＵＩを表示する。そして、登録データ入力部１２１は利用者の入力によりＡ〜Ｌの名称や顔画像等の撮影対象の識別情報を得る。また、登録データ入力部１２１は、それらのうち一緒に写真に写っている方がよいグループのメンバーを選出させ、グループ名称も併せて登録させる。
【００２８】
例えば、利用者は登録データ入力部１２１の指示に基づき、選出したグループに結婚式の場合は「新郎友人」、「新婦家族」等のグループ名称を登録する。登録データ入力部１２１は利用者に、設定したグループに対する撮影重要度を設定させるよう表示を行う。撮影重要度とは、そのグループ（又は個人）に対して撮影が積極的に行われるべきかを示す度合いである。本システムは、撮影重要度が増すほどそのグループ（又は個人）に対して積極的に撮影を行うよう撮影者に支援を行う。登録データ入力部１２１は、利用者に対して、ＵＩ上にプルダウンメニューを設け、撮影重要度を選択させる。なお、重要度は１〜３等の数値を選択させればよい。このように、撮影対象毎に評価条件となるグループを設定する。
【００２９】
以上の利用者の入力により登録データ入力部１２１が取得した登録データから、条件登録部１２２はグループ情報および撮影対象組み合わせテーブルデータを生成する。
【００３０】
撮影対象組み合わせテーブルデータおよびグループ情報の例を図３に示す。図３（ａ）は撮影対象組み合わせテーブルデータの例である。３０１は「撮影対象組合せ」であり、登録された撮影対象一つ一つの組合せを示している。３０２は、撮影装置１０１が捉えたフレーム中に撮影対象組み合わせ３０１に示す組み合わせが写っている場合の撮影支援情報となるポイント値を示す。
【００３１】
また、図３（ｂ）は、グループ情報の例であり、３０３は利用者の入力により設定されたグループ名称、３０４は設定されたグループ名称３０３毎のグループを構成する撮影対象の名称を示している。撮影対象である人物全員がＡ〜Ｌ、そのうちＡ、Ｂ、Ｃ、Ｄが同じグループであり、グループ名称３０３は「新郎友人」と設定されている。同様にＥ、Ｆ、Ｇ、Ｈが同じグループであり、グループ名称３０３は「新婦友人」と設定されている。Ｉ、Ｊ、Ｋ、Ｌにはグループの設定が行われていない。
【００３２】
図３（ａ）に示すＴＣ０１は、同一グループ同士（Ａ〜Ｄ）の撮影対象組合せのポイント値を示している。このグループに対するポイント値は、利用者が登録したグループに対する撮影重要度値に応じて条件登録部１２２がポイント値を設定する。同一グループ同士（Ａ〜Ｄ）の撮影対象組合せのポイント値を「１０」として設定しているが、撮影重要度に応じて可変に設定できる。なお、このポイント値を利用者に直接設定させるように構成されていてもよい。また、条件登録部１２２は他グループ同士（又はグループ設定されていない人物）との組合せの場合はマイナスのポイント値を設定する。
【００３３】
以上のように、条件登録部１２２は、登録されたリファレンスとなる顔写真画像と共に、生成した撮影対象組み合わせテーブルデータおよびグループ条件を規定する撮影対象条件データをデータベース１０４に記憶する。
【００３４】
図２に戻り、Ｓ０１０２では、撮影装置１０１において、撮像装置の電源が入っているか否かが判断される。Ｓ０１０２において電源が入っていると判断されると、Ｓ０１０３において、画像データ取得部１１５は撮影装置１０１の撮影部１１４がレンズを通して得た被写体光を画像データとして生成する。そして、データ送信部１１１は、生成した画像データをサーバ１０３へ送信する。この処理は撮影装置のシャッターを押す前、つまり写真撮影処理が実行される前の状態で行われる。
【００３５】
サーバ１０３側では、常に撮影装置１０１からの通信を待機している状態にある。Ｓ０１０４において、サーバ１０３のデータ受信部１３２が、撮影装置１０１からの画像データ（フレーム）を受信すると以降の処理が実行される。
【００３６】
Ｓ０１０４において、サーバ１０３は画像データを受信したと判断された場合は、Ｓ０１０５において、画像解析部１３３は受信した画像データについて、顔検出、顔認識処理を行い、撮影フレーム内の撮影対象を識別する。画像解析部１３３はデータベース１０４のリファレンス顔画像を用いて画像データ上に写っている人物を特定し、不図示のＲＡＭ等の記憶装置に特定された人物の識別情報と画像データ上の位置とを記憶する。登録された撮影対象以外の人物が検出された場合も同様に、撮影対象以外の人が検出された旨と撮影対象以外の人物の画像データ上の位置とを記録する。
【００３７】
Ｓ０１０６において、評価条件データ処理部１３６は、画像データ上に写っている人物が誰であるかの識別情報を取得し、評価条件である撮影対象条件に基づくポイント値の導出処理を行う。撮影対象条件に基づくポイント値の導出処理は、取得した画像データ上に写っている撮影対象の組み合わせに基づき、フレームを撮影すべきかの評価結果であるポイント値（以下、フレームのポイント値）を導出する処理である。
【００３８】
フレームの撮影対象条件によるポイント値は、画像データに写っている人物における夫々の撮影対象組合せに対応するポイント値の合計値である。例えば画像データにＡ、Ｂ、Ｃが写っていた時のポイント値は、撮影対象組合せが（Ａ／Ｂ）、（Ａ／Ｃ）、（Ｂ／Ｃ）３つ組み合わせのポイント値の合計となる。図３（ａ）の撮影対象組み合わせテーブルを用いると、（Ａ／Ｂ）、（Ａ／Ｃ）、（Ｂ／Ｃ）は同一グループ同士の組み合わせと設定されているため、それぞれのポイント値は１０である。つまり、Ａ、Ｂ、Ｃが写っている画像のフレームのポイント値は３つのポイント値の合計値である３０（＝１０＋１０＋１０）となる。
【００３９】
また例えば画像データにＡ、Ｂ、Ｅが写っていた時のポイント値は、同様に（Ａ／Ｂ）は同一グループ同士であるため１０、（Ａ／Ｅ）、（Ｂ／Ｅ）は他グループ同士と設定されているためそれぞれ−１である。つまり、Ａ、Ｂ、Ｅが写っている画像のフレームのポイント値は３つのポイント値の合計値である８（＝１０−１−１）となる。このように撮影フレーム内の撮影対象全てに関連付けられたポイント値をもとに、フレームに対して一つのポイント値つまりフレームのポイント値を導出する。換言すると、フレームを評価する。
【００４０】
また、評価条件データ処理部１３６は、登録されていない人物と撮影対象の組み合わせポイント値は、撮影対象同士の他グループ同士である組み合わせに対するマイナスのポイント値より大きなマイナス値を設定する。撮影者に、撮影対象を積極的に撮影するように支援するためである。
【００４１】
以上のように、評価条件データ処理部１３６は画像データ上に写っている人物が誰であるかの識別情報と撮影対象組み合わせテーブルに基づき、ポイント値を導出する。
【００４２】
そして、Ｓ０１０７では、撮影支援データ作成部１３４は、導出された撮影対象の組み合わせに基づいたフレームの評価結果であるポイント値を用いて撮影支援データ（支援情報）を生成する。撮影支援データとは、撮影者に対して、撮影すべき撮影対象、構図等の支援に用いるフレームのポイント値を含むデータである。撮影支援データ作成部１３４は、フレームのポイント値、登録データから撮像装置上で表示可能である撮影支援データを生成する。さらに、データ送信部１１１は作成された撮影支援データを撮影装置１０１に出力する。
【００４３】
撮影装置１０１では、Ｓ０１０８において、データ受信部１１２が撮影支援データを受信したかを判断している。データ受信部１１２が撮影支援データを受信すると、Ｓ０１０９では、表示部１１３が、取得した撮影支援データを表示装置上に表示し、撮影者に対して提示する。ここで、撮影支援データの提示の例を図６に示す。図６では、撮影装置１０１が備える表示装置において、撮影部１１４が取得した画像上に重畳して撮影支援データを提示する例を示す。図６（ａ）では被写体Ａ〜Ｃがフレームに入っている状態での表示例で、領域ＰＶ０１にそのフレームのポイント値が表示される。このように撮影者はポイントを参照し、ポイントが高ければ同一グループである撮影対象がフレーム中に多く含まれているかを認識でき、撮影すべきかの判断が容易となる。
【００４４】
また、撮影支援データ提示のその他の例を図６（ｂ）に示す。この例では、撮影装置１０１に一時保存ボタンＭが設けられている。Ｍの入力をＣＰＵが検知すると、ＣＰＵはそのタイミングに撮影部１１４が取得した画像データにおけるフレームのポイント値Ｘ１をＲＡＭ等の記憶装置に保存する。そして、現在捉えているフレームのポイント値Ｘ２と保存したポイント値Ｘ１を同時に提示する。なお、画像データを表示する画面上のポイント表示位置とは別の表示装置に保存したポイント値を表示する構成であっても良い。
【００４５】
図６（ｂ）において、例えば、撮影者がフレームに被写体Ａ〜Ｃが含まれている状態で撮影装置のＭを押し、そのフレームのポイント値Ｘ１が、ＰＶ０２に示す領域に表示される。続いて、フレームに被写体Ｄ〜Ｆ捉えた場合であっても、ＰＶ０２にはポイント値Ｘ１が表示され続ける。一方、その被写体Ｄ〜Ｆが含まれている現在のフレームのポイント値Ｘ２は別の領域ＰＶ０１に表示される。したがって、撮影者はポイント値Ｘ１とＸ２を比較できる。このようにしてより高いポイント値のフレームを探しやすくすることができるため、より撮影すべきフレームの選定が容易になり、撮影作業の効率化が図れる支援を行うことが出来る。
【００４６】
また、その他の撮影支援データ提示の例を図６（ｃ）に示す。図６（ｃ）において、被写体Ｃ〜Ｅがフレームに入っている状態での表示例である。被写体ＣとＤは同一グループ同士と設定され、被写体Ｅは被写体ＣとＤとは他グループ同士と設定されている。
【００４７】
６０１と６０２は、被写体ＣとＤそれぞれの顔枠であり、同じグループであることを撮影者に識別可能にならしめるよう同一の色もしくはスタイルの顔枠を用いて表示している。６０３は被写体Ｅの顔枠であり、被写体ＣとＤとは別のグループであることを撮影者に識別可能にならしめるよう６０１および６０２とは別の色もしくはスタイルの顔枠を用いて表示している。
【００４８】
６０４、６０５は、それぞれフレーム中の被写体のグループ名称であり、６０４は、被写体ＣとＤのグループ名称を表している。６０４と６０１、６０２はそれぞれ同じ色もしくはスタイルの枠を用いている。同様に６０５は、被写体Ｅのグループ名称を示し、６０３と同じ色もしくはスタイルの枠を用いている。６０７と６０８は、フレーム中の撮影対象が設定されているグループの残りのメンバーの顔写真である。図６（ｃ）においては、フレーム中に最も多い人数が写っているグループの残りのメンバーを表示している。つまり、６０７と６０８はＣとＤが設定されているグループの残りのメンバーである。６０７、６０８と６０１、６０２、６０４はそれぞれ同一の色もしくはスタイルの枠により形成されている。
【００４９】
したがって、撮影者は撮影支援データを参照することで同じグループの撮影対象およびグループ名称を識別できる。つまり、例えばフレーム中に他のグループの撮影対象が写っている場合、支援情報によりその撮影対象を識別可能となる。したがって、構図を変え同一グループの撮影対象のみの撮影を行わせる等の支援が可能になる。また、撮影フレーム内の撮影対象者と同じグループの残りのメンバーを支援情報として提示しているため、フレームに含まれない同じグループの撮影対象が近くにいる場合は、そのメンバーをフレームに含める等の構図の変更を促すことができる。
【００５０】
なお、図６において示した、撮影支援データの提示は撮影部１１４が取得した画像上に重畳して表示するものに限られない。例えば撮影装置が備える表示装置にポイント値やグループ情報のみを提示させる構成であっても良い。
【００５１】
これまでに述べた撮影支援データの提示は、撮影装置１０１が様々な撮影対象を画像として捉えるたびに、フレームの評価結果であるフレームのポイント値が更新されて表示される。撮影者は、提示された撮影支援データを参照しながら撮影対象の組み合わせを考慮して、撮影するフレームを決定することが可能となる。以上のように、撮影支援データ作成部１３４が生成した撮影支援データを撮影装置で表示する。
【００５２】
そして、図２に戻り、Ｓ０１１０において、撮影装置１０１は、不図示のシャッターボタンが押されたと判断すると、Ｓ０１１１において、撮影処理を行う。撮影処理では、メタデータ付加部１１６は、画像データ取得部１１５が取得した、撮影した画像データに撮影画像情報を付加する。撮影画像情報とは、撮影時間、絞り、シャッタースピード等の撮影条件等の情報である。つまり、メタデータ付加部１１６は、撮影時刻などをメタデータとして画像データに付加する。なお、取得した撮影支援データから、フレーム中の撮影対象の情報である識別情報等を抽出して、メタデータとして付与する構成としても良い。そして、Ｓ０１０３において、データ送信部１１１は撮影画像データとメタデータをサーバ１０３へ出力し、送信する。
【００５３】
サーバ１０３で撮影処理によって生成された画像データを受け取ると、撮影前の画像データと同様に、前述したＳ０１０５からＳ０１０７に示す、ポイント導出などの処理を行う。なお、撮影処理によって生成された画像データの処理の際はＳ０１０７で行われる撮影支援データの送信を行わない構成としても良い。この場合、撮影装置１０１でのＳ０１０８以降の処理も行わないようにする。重複する処理を省くためである。
【００５４】
Ｓ０１１２において、サーバ１０３の撮影支援データ作成部１３４は、画像データが撮影された画像であるかどうかを、前述のメタデータの有無により判断する。撮影画像データと判断された場合、Ｓ０１１３において、撮影情報処理部１３５は、画像データ、メタデータ、撮影支援情報、撮影画像に写る人物の識別情報等を取得し、これらのデータを関連させてデータベース１０４に記憶する。
【００５５】
なお、本実施形態において、撮影対象を人物として設定したが、これに限られるものではない。例えば、披露宴において撮影対象としてウェディングケーキを登録したとする。この場合、条件登録装置１０２において、ウェディングケーキを識別するためのリファレンスデータを登録する。そして、事前に、ウェディングケーキとの撮影を希望する撮影対象をウェディングケーキと同じグループとして設定を条件登録装置１０２において行う。そして、希望者とウェディングケーキが同じ撮影フレームに写った際にはポイント値により撮影を行うよう撮影者に対して支援を行うことが可能となる。このように、記念撮影の撮り忘れを予防する支援を行うことも可能である。
【００５６】
以上のような撮影対象の組み合わせを考慮した撮影支援情報提示処理により、撮影者は、画面に表示されるポイント値を参考に、より多くの同一グループの撮影対象を含むフレームを探すことができる。したがって、撮影者はポイントが高ければ、より多くの同一グループの撮影対象がフレーム中に含まれていることを認識し、アルバムに用いるための写真を効率よく撮影することが可能になる。
【００５７】
本実施形態では、グループを設定して、同じグループの撮影対象が同じフレーム内に存在する撮影が行われるように、撮影者に支援を行う構成について説明した。しかし、これに限定されるものではなく、撮影対象を他の撮影対象と様々な組み合わせで撮影を行うような支援を行うことも可能である。撮影対象を他の撮影対象と様々な組み合わせでの撮影支援を行う際の撮影対象組み合わせテーブルデータを図１１に示す。
【００５８】
図１１（ａ）は、撮影前の撮影対象組み合わせテーブルデータであり、全ての撮影対象の組み合わせに同一のポイントを割り当てる。例えば画像データにＡ、Ｂ、Ｃが写っていた時のポイント値は、撮影対象組合せが（Ａ／Ｂ）、（Ａ／Ｃ）、（Ｂ／Ｃ）３つ組み合わせのポイント値の合計の３０点（＝１０＋１０＋１０）である。そして、撮影が行われた場合、撮影情報処理部１３５は画像データ等をデータベース１０４に記録し、撮影対象組み合わせテーブルデータを撮影された画像中の撮影対象の組み合わせに基づき更新する。図１１（ｂ）は、Ａ、Ｂ、Ｃが写った写真を撮影した後に更新された撮影対象組み合わせテーブルデータである。撮影された画像中の組み合わせである（Ａ／Ｂ）、（Ａ／Ｃ）、（Ｂ／Ｃ）についてはポイント値を０と設定する。
【００５９】
このように、撮影済みの撮影対象の組み合わせにはポイント値を割り当てないので、既出の撮影対象の組み合わせが含まれているフレームのポイント値は小さく算出される。したがって、撮影者は、画面に表示されるポイント値を参考に、撮影対象を他の撮影対象と様々な組み合わせでの撮影を行うことが可能となる。なお、撮影された画像中の組み合わせについてはポイント値を０と設定する構成としたが、例えば５のように段階的に引き下げる構成としてもよい。このように構成することで、撮影済みの組み合わせに対して支援を行わなくなることが低減され、撮影枚数の応じた支援が出来る。
【００６０】
また、撮影情報処理部１３５は、ある撮影対象において一定以上の他の撮影対象との組み合わせが撮影された場合は、撮影済みの組み合わせのポイント値を再び１０に設定する構成としてもよい。このように再びポイント値を付与する構成にすることで、例えば常に決まったメンバーで行動している撮影対象であっても、再び撮影を行うように支援をすることが出来る。
【００６１】
以上のように、撮影対象を他の撮影対象と様々な組み合わせで撮影されるよう支援するので、撮影者はポイントを参照することで、事前に撮影済みの組み合わせであるか判断することが出来る。例えば修学旅行などのアルバムを、様々な参加者との組み合わせの写真を用いて作成することが出来る。
【００６２】
＜実施形態２＞
実施形態１では、撮影対象の組み合わせに対する撮影支援を行い、アルバムの作成に適した写真の撮影を行うよう支援した。本実施形態では、撮影時刻の偏りを低減ならしめる撮影支援を行うことでアルバムの作成に適した写真の撮影の支援を行う。つまり、本実施形態では評価条件データ処理部１３６は、撮影からの経過時間による評価条件に応じてポイント値を導出する。実施形態１と異なる点について詳細に説明する。
【００６３】
本実施形態における図２のＳ０１０１に示す条件登録処理では、ポイント条件である撮影時刻条件の登録も併せて行う。条件登録装置１０２では、実施形態１と同様に、撮影対象の人物全員の名称等を利用者の入力に基づき取得する。そして撮影対象毎に、最後の撮影時刻からのどれだけ時間が経ったかを示す経過時間に応じたポイント値を利用者の入力に基づき設定する。なお、システムで予め最後の撮影時刻からの経過時間に応じたポイント値を割り当てる構成としても良い。条件登録部１２２では、設定したポイント値に基づき、撮影時刻条件のテーブルデータを生成しデータベース１０４に保存する。つまり、撮影時刻に基づく撮影対象に応じたフレームの評価条件を登録する。
【００６４】
本実施形態の撮影支援システムでは、撮影対象毎に最終撮影時刻を管理している。また、条件登録処理において登録される撮影時刻条件のテーブルデータの例を図４に示す。ここで、例示として人物Ａの撮影時刻条件のテーブルデータとして説明を行う。人物Ａが撮影された後、０分から１５分未満のポイント数は０で、１５分以上経過した時はポイント値を付与する。Ａが一度も撮影されていない場合は、２０ポイント与える。
【００６５】
Ｓ０１０６におけるポイント導出処理では、評価条件データ処理部１３６は、撮影支援データ作成部１３４の指示に応じて、ポイント条件である撮影時刻条件に基づくポイント値を導出する。評価条件データ処理部１３６は、画像データに写っている人の識別情報を取得する。そして、画像データに写っている人の最後に行われた撮影時刻をデータベース１０４から取得し、前述した撮影時刻条件のテーブルと撮影経過時刻に基づき、画像データに写っている撮影対象ごとにポイント値を導出する。フレームの撮影時刻条件によるポイント数は、画像データに写っている人物それぞれの、撮影時刻からの経過時間に対応するポイント値の合計値である。つまり、フレームに含まれる撮影対象の撮影時刻に関する評価条件に基づき、撮影フレーム全体を評価する。
【００６６】
例えば、撮影対象全員が図４のように条件設定されている場合、画像データにＡ、Ｂ、Ｃが写っていて、全員が過去に撮影されていないとき、ポイント値は６０（＝２０＋２０＋２０）である。Ａ、Ｂ、Ｃについて上記の条件で撮影を行った場合、最終撮影時刻が撮影情報処理部１３５によりデータベース１０４に記憶される。また、Ａ、Ｂ、Ｃの撮影から１５分が経過した場合のＡ、Ｂ、Ｄが写っているフレームのポイント値を例示する。Ａ、Ｂについては最終撮影時刻から１５分が経過しているため、例えば図４の評価条件を用いるとより１０ポイントがそれぞれ付与される。Ｄについては未だ撮影が行われていないため２０ポイントが付与される。したがって、この撮影フレーム全体の評価結果である撮影時刻条件によるポイント値は４０（＝１０＋１０＋２０）である。
【００６７】
このように最後の撮影時からの経過時間が短い間はポイント値を低く設定し、一定時間経過したのちにポイント値を付与する。したがって、撮影者はポイントを参照することによって、フレーム中の人物の撮影経過時間に基づいて、撮影を行うべきかの判断ができる。つまり、撮影時刻の偏りを防ぐように支援を行うことが可能となり、また、経過時間が短い同じような構図や背景の写真の撮影が低減され、アルバムに用いる写真の撮影を効率的に行わせることができる。また、各人物に応じてポイント値を設定できるので、より撮影を行いたい主賓等に対しては、経過時間が短くてもポイント値を低く設定しなければ撮影を行うべく支援を行うことが可能となる。以上のように導出されたポイント値は、撮影装置１０１に送信され、撮像装置の表示部１１３において提示される。
【００６８】
なお、最後の撮影時刻から一定の時間以上経過していない撮影対象がフレームに含まれている場合警告を行う構成としても良い。例えば撮影支援データ作成部１３４は、Ｓ０１０７において、撮影支援データを作成する際、一定の時間以上経過していない撮影対象がフレームに含まれているか否かを判断する。そして、撮影支援データ作成部１３４は、一定の時間以上経過していない撮影対象を識別可能にする情報を撮影支援データに付加する。例えば、その撮影対象に対して顔枠を表示させるようにする情報を撮影支援データに付加する。このように構成することによって、撮影者は撮影経過時刻が一定の時間以上経過していない撮影対象を容易に判別することが可能となる。つまり、撮影者は撮影経過時刻が一定の時間以上経過していない撮影対象をフレームから外して撮影を行う等の判断が容易になるため、撮影時刻の偏りを低減する支援を行うことができる。
【００６９】
また、Ｓ０１１３において、撮影が行われた際は、撮影情報処理部１３５では、メタデータに記録された撮影時刻と、撮影された人物の情報とを対応付けてデータベース１０４に記憶する。この情報は、前述したように撮影時刻条件のポイント値を導出する際に利用される。
【００７０】
なお、アルバムの作成に適した写真以外の撮影が行われた場合には、経過時刻によるポイント値の低下が生じないようにしてもよい。アルバムの作成に適した写真としては、例えば撮影対象が笑顔で写っている写真が望ましい。
【００７１】
そこで、撮影画像中の撮対象者の笑顔度を測定し、笑顔度が基準値以上の写真の撮影時刻を撮影経過時間の起点とするように構成する。つまり、図２のＳ０１０６において、評価条件データ処理部１３６は、データベース１０４に記憶されている、識別された撮影対象の前回撮影時の笑顔度を参照する。そして、評価条件データ処理部１３６は笑顔度が基準値より低いか否かを判断する。基準値よりも低いと判断した場合には、さらに一つ前に撮影された写真の笑顔度に応じたポイント値を参照する。このようにして撮影経過時間の起点となる写真を特定する。そして、笑顔度が基準値以上である起点となる写真の撮影時刻を用いて、撮影対象各人の撮影時からの経過時間に応じたポイント値を導出するようにすればよい。
【００７２】
また、撮影画像に対して、Ｓ０１０５において、画像解析部１３３により、画像データ上の撮影対象各人を識別するとともに笑顔度を測定する。笑顔度の測定については、昨今様々な技術が実用化されているため詳細については省略する。そして、Ｓ０１１３において、撮影情報処理部１３５は撮影対象毎に笑顔度を撮影時刻と関連付けてデータベースに１０４に記憶する。
【００７３】
以上のように構成すれば、笑顔でない状態で撮影された時には、経過時刻によるポイント値の低下が生じない。したがって、アルバムに適する笑顔の撮影が行われるまでフレームのポイント値によりその撮影対象を撮影するべく支援を行うことが出来る。
【００７４】
なお、撮影対象の笑顔度の代わりに撮影対象の目がつぶっていないかどうかまたは撮影対象の顔の向きが正面を向いているかどうか等を条件としてもよい。この条件を用いて前述と同様に撮影支援を行えば、撮影対象の目がつぶった失敗写真によって経過時間に応じたフレームのポイント値の低下を防ぎ、さらなる撮影を支援できる。また、撮影対象が正面を向いた写真を多く撮影できる。なお、撮影対象の笑顔度の測定方法としては例えば特開２００９−１６３４２２公報を用いることが出来る。顔の向きの検出については、末永「人物像を読む−ヒューマンインターフェースのためのコンピュータビジョンー」電子情報通信学会誌，ｐｐ．８００−８０４，１９９５／８等に記載の方法を用いることができる。目がつぶっているかどうかは、特開２００９―２９６１６５号公報を用いることが出来る。
【００７５】
このようにアルバムに適した写真のみで、撮影時刻の偏りを低減することが出来る。したがって、アルバムの作成に必要な写真を効率的に撮影が行われるよう支援を行うことが出来る。
【００７６】
以上のように、本実施形態では撮影時刻の偏りを低減ならしめる撮影支援を行うので、現在捉えたフレームを撮影すべきかの評価結果を撮影者に提示することができる。また、例えば当日に様々なイベントがある場合、撮影者はそれぞれのイベントで参加者を満遍なく撮影を行うことが可能となる。また、イベントスケジュールに変更や遅れ等が生じた場合であっても、撮影経過時刻に応じて、撮影支援を行うので、イベント毎に満遍なく撮影を支援することが可能になる。したがって、撮影対象ごとに撮影時刻を考慮し各イベントでの登場枚数が平等なアルバムを容易に作成できる撮影を支援できる。
【００７７】
＜実施形態３＞
実施形態１では、撮影対象の組み合わせの重要度により、組み合わせポイント値を可変に設定する構成について説明した。本実施形態では、重要度を撮影対象個人に設定する。また、撮影するイベントのスケジュールに重要度を設定する。つまり、本実施形態では、評価条件データ処理部１３６は、撮影対象の重要度及び撮影対象に応じた撮影時刻の重要度に基づく評価条件により撮影フレーム全体の評価を行う。実施形態１と異なる点について詳細に説明する。
【００７８】
本実施形態における、図２のフローチャートのＳ０１０１に示す撮影対象条件登録処理について説明する。条件登録装置１０２は、撮影対象となる人物全員と、各人の重要度（１〜３）や各人ごとのタイムスケジュールやそのスケジュールの重要度を利用者に設定させる。そして、利用者の入力情報に基づき、登録データを生成する。図５は、本実施形態における登録データの例である。図５（ａ）は、撮影対象毎の重要度、図５（ｂ）は重要度に対応するポイント値である。重要度に対応するポイント値は、予め決められているものでもよいし、利用者の入力に基づいて設定されても良い。この重要度を大きく設定すれば、その人物が入ったフレームのポイント値が高くなる。したがって、例えば主賓等の重要人物の重要度を大きく設定し、フレーム中に重要人物が含まれている場合、撮影者に対して積極的な撮影の支援を行える。
【００７９】
図５（ｃ）はある撮影対象の撮影時刻条件データの例である。撮影対象となる人物の撮影すべき時刻（ＴＲ１１）、その内容（ＴＲ１３）、各タイミングに対するポイント値（ＴＲ１２）に関する情報が含まれている。利用者はあらかじめ決められたタイムスケジュールに沿って適当な時刻を登録する。例えば結婚式での撮影では、新郎を撮影すべき時刻としては、新郎新婦入場の場面等があげられる。新郎新婦入場のシーンはぜひ撮影した方がよいので、その時刻のポイント値を高く設定する。このように各人にとっての重要な撮影するべき時刻を登録する。このような図５（ｃ）に示す撮影対象毎に撮影時刻条件データが生成される。以上のように、撮影対象条件データおよび撮影時刻条件データが評価条件として撮影対象毎にデータベース１０４に登録される。
【００８０】
本実施形態における、撮影支援データ作成処理について説明する。図２に示すフローチャートのＳ０１０６において、評価条件データ処理部１３６は、識別されたフレーム中の人物の情報と図５（ａ）、（ｂ）に示す撮影対象の重要度に応じたポイント値の割り当て条件に基づき、ポイント値を導出する。また、撮影対象時刻条件データ処理部１３７は、フレーム中の撮影対象ごとの図５（ｃ）に示す撮影時刻条件データに基づき、ポイント値を導出する。また、撮影支援データ作成部１３４は撮影対象条件および撮影時刻条件のポイント値から、フレームのポイント値を導出する。フレームのポイント値は、（１）式に示すように、
フレームポイント数＝Σ（フレームに写る撮影対象ポイント数）      （１）
フレームに写っている人物全員分のポイント値の総和であり、また、各人のポイント値は（２）式により導出する。
【００８１】
【数１】
2012023502.tif 000003
【００８２】
ここでは、例示として撮影対象Ａのポイントを算出している。「撮影対象条件によるポイント数」は評価条件データ処理部１３６により導出される図５に示す撮影対象の重要度に応じたポイント値である。「撮影時刻条件によるポイント数」は撮影対象時刻条件データ処理部１３７により導出される図５（ｃ）に示す撮影対象ごとの撮影時刻の重要度に応じたポイント値である。（２）式中のｗ１、ｗ２は重み係数で、撮影対象の重要度と撮影時刻の重要度のどちらに重みを置くかによって決める数値である。この重み係数は、条件登録装置１０２における、条件登録処理の際に、ユーザに設定させることで決定する。この重み係数により、人物の重要度か撮影時刻の重要度を優先するかをユーザの趣向やイベントの内容によって決定し、場面に応じた適切な撮影支援を行うことが出来る。
【００８３】
フレームのポイント値の導出の例を説明する。図５に示す例を用いて、新郎である撮影対象Ａの、新郎上司挨拶を行っている時のフレームのポイント値を導出する。重み係数ｗ１＝ｗ２＝１とする。「撮影対象の条件の最大ポイント数」は図５（ｂ）の重要度３のポイント数である６０である。また、Ａの重要度は図５（ａ）に示す通り、３に設定されている。
【００８４】
撮影時刻の条件の最大ポイント値は図５（ｃ）に示す１３：０２分の「新郎新婦入場」において設定された５０であり、１３：０５からの新郎上司挨拶でのＡのスケジュールに関するポイント値は３０である。上記値を（２）式に当てはめると、１００×（６０／６０×１＋３０／５０×１）＝１６０となる。以上が撮影支援データ作成部１３４によって演算される。
【００８５】
また、この例は、撮影対象Ａの新郎だけがフレームに写っている時の計算である。しかし、例えばフレームには撮影対象Ｂである新婦も同時に写っている場合は、（１）式に示す通り、新婦のポイント値も同様に導出され、新郎と新婦のポイント値の合計値がフレームのポイント値となる。
【００８６】
このようにフレームに写っている全ての撮影対象のポイント値をあわせて、撮影フレーム全体の評価、つまりフレームに対する一つのポイント値が導出される。したがって、フレームのポイント値にはフレームに写っている全ての撮影対象に関する撮影すべき場面であるか、撮影すべき人物かであるかの情報が反映されている。つまり、撮影者はフレームのポイント値を参照するだけで、一見して現在の構図で撮影を行うべきか否かの判断を容易に行うことが出来る。
【００８７】
なお、撮影支援データ作成部１３４は、現在時刻と撮影時刻条件データに基づき、重要度が高いのにも関わらず撮影が行われていない撮影対象の情報を含めて撮影支援データを作成する構成としても良い。例えば、撮影支援データ作成部１３４は、撮影対象の撮影時刻条件データを参照し、一定以上の重要度となっている撮影対象と撮影時刻を把握しておく。一定以上の重要度は利用者の入力により定められても良いし、例えば重要度の最大値の半分以上等システムによって予め定められた値であってもよい。図５（ｃ）を例にすると、利用者は「新郎新婦入場」の際の新郎Ａの写真は是非欲しいため、警告が行われる一定の重要度を５０と設定する。そして、１３時０２分になっても新郎Ａに対して撮影が行われていない場合（または、フレームにＡがいない場合）は、撮影支援データ作成部１３４は、警告撮影支援データを作成する。警告撮影支援データとは、新郎Ａの名称、顔写真、撮影が行われていない旨等の情報である。そして、サーバ１０３は警告撮影支援データを撮影装置１０１に対して出力し、撮影装置１０１の表示部１１３は警告撮影支援データを提示する。警告撮影支援データを提示の例を図８に示す。
【００８８】
図８において、ＰＶ０１に示す領域には、現在捉えている被写体Ｃに関するフレームのポイント値を表示している。被写体Ｃの重要度は１、１３：０２分の時刻の重要度としては１０ポイントが設定されているとすると、フレームのポイント値は（２）式より「３７」である。８０１は重要度が高く設定されているのにも関わらず撮影が行われていない撮影対象の顔写真と名称である。この顔写真は、データベース１０４に記録されているリファレンス用顔画像である。８０２は、撮影が行われていない撮影対象の一定以上の重要度となっている時刻とその内容である。この内容はデータベース１０４に記憶されている図５（ｃ）に示す、撮影時刻条件データから取得する。また、撮影が行われていない旨を示す警告も含まれている。また、８０３は現在時刻を表示している。このように、１３：０２分において、時刻条件の最大ポイント数と設定されている撮影対象Ａフレームに含まれていないため撮影者に対して警告を提示する。したがって、重要なシーンの撮り忘れを低減させるように支援を行うことが出来る。
【００８９】
なお、撮影対象毎にスケジュールを登録させる構成としたが条件登録装置１０２においてグループ単位でスケジュールを登録させる構成としても良い。なぜなら、同一グループであれば、スケジュール及び時刻の重要度が重複している場合が多く、利用者が撮影対象毎にスケジュールを入力する手間を低減することができるためである。また、グループで重要度が高い時刻には、特に実施形態１で説明した同じグループのメンバー同士での撮影を支援するべきである。したがって、グループのスケジュールの重要度に基づき、時刻に応じて図３（ａ）に示す撮影対象組み合わせテーブルデータを更新する構成としてもよい。つまり、撮影情報処理部１３５において、グループにとって重要な時間帯には、そのグループでの組み合わせポイントを高く設定するように更新する。以上のような構成することでグループにとって重要な時間でのグループの撮影を支援する情報を提示することが出来る。
【００９０】
なお、図９（ｃ）に示すように、撮影対象各人のポイント値は撮影対象条件によるポイント数と撮影時刻条件によるポイント数を乗じて導出するように構成してもよい。つまり、重要な撮影対象の重要なシーンに対して、特にポイントが高く導出されるので、現在撮影装置が捉えているフレームの撮影を行うよう支援を行うことが出来る。
【００９１】
以上説明したように、本実施形態では、撮影対象と撮影時刻の重要度に基づいた撮影対象毎の評価条件により、フレーム全体の評価を行った。したがって、撮影者に対して撮影すべき人物、時刻を考慮した撮影を支援する情報の提示が可能になる。また、撮影対象に重要度を設定したので、例えば主賓等の撮影をより積極的に行うよう支援を行うことが出来る。また、撮影時刻に重要度を設定したので、撮影すべき時刻のシーンの撮影を行うよう支援することが出来る。
【００９２】
＜実施形態４＞
本実施形態では、上記実施形態で説明した撮影対象の組み合わせの支援や重要度に基づく支援を組み合わせて撮影支援を行う例について示す。また、上記実施形態では、評価結果であるフレームのポイント値は撮影対象ごとに足し合わせる構成とした。しかし、登録された撮影対象が大人数であれば、フレームに人数が多く含まれているほどポイントが高く導出されてしまい、適切な撮影支援が行われなくなる可能性がある。本実施形態では、フレームのポイントの最大値を定め、利用者に定量的に撮影の判断が行わせるようにする。
【００９３】
本実施形態における撮影支援データ提示処理を図１２に示すフローチャートに基づき説明する。図１２のＳ０２０１では、上述した各実施形態での図２におけるＳ０１０１で説明した撮影対象に応じた評価条件を登録する条件登録処理であるので詳細は省略する。撮影装置１０１において、Ｓ０２０２で電源が入っていると判断された場合、Ｓ０２０３では、縮小画像データをサーバ１０３へ送信する。縮小画像データとは、撮影処理により取得した画像と比べてサイズが小さい画像データをいう。縮小画像データは、画像データ取得部１１５において、取得した画像データに対して縮小処理を施すことにより生成される。縮小した撮影フレームである画像データをサーバ１０３に送信することにより、サーバ１０３での処理負荷の低減および通信トラフィックの低減を図ることが可能となる。すなわち、撮影装置１０１の撮影支援データのリアルタイムな取得に寄与する。
【００９４】
Ｓ０２０４、Ｓ０２０５においてサーバ１０３は撮影装置１０１から取得した画像データが撮影画像か否かを画像サイズにより判別する。Ｓ０２０６において、画像解析部１３３は受信した画像データ（フレーム）について、画像解析を行い、顔検出、顔認識等の処理を行い、撮影フレーム内の撮影対象を識別する。そして、Ｓ０２０７において、サーバ１０３は、画像解析部１３３の顔検出結果に基づき、被写体の人数を判断する。被写体の人数が複数であれば、Ｓ０２０８に進み、評価条件データ処理部１３６は撮影対象条件のグループ情報により撮影対象の組み合わせに関するポイント値を導出する。実施形態１と異なる点を詳細に説明する。
【００９５】
（３）式に本実施形態における組み合わせに基づいた組み合わせに基づいたフレームのポイント数を求める計算式について示す。
【００９６】
【数２】
2012023502.tif 000004
【００９７】
この（３）式によると、フレーム中に全て同じグループのメンバーのみが写っている場合のフレームのポイント数は１００であり、満点となる。したがって、撮影者は、フレームを撮影すべきかをポイントが１００に近いかとの定量的な数値に基づき、判断することが容易となる。例えば、０〜３０点は「撮影不要です」、３０〜６０点は「撮影はどちらでもよいです」、６０〜１００点は「撮影してください」というような撮影者に対して明示的な支援を行うことが出来る。ここで、図３（ｂ）のグループ情報に基づき、画像データにＡ、Ｂ、Ｅが写っていた時のポイント値を例示する。フレーム中の被写体人数は３人で、Ｎ＝３である。したがって、全組み合わせ数は、３Ｃ２で計算され、（Ａ／Ｂ）、（Ａ／Ｅ）、（Ｂ／Ｅ）の３通りである。また、同じグループの組み合わせ数は図３（ｂ）のグループ情報により、（Ａ／Ｂ）のみで１である。この場合グループ情報に基づくフレームのポイント値は、（４）により、３３（＝１／３×１００）である。したがって、ポイントを参照した撮影者はこのフレームを撮影すべきでないとの判断がつく。なぜなら、被写体３人中の一人は同一でないグループであるためＡとＥ、ＢとＥはそれぞれ互いに見知らぬ人同士である可能性があるためである。このような見知らぬ人同士である写真ばかりをアルバムに用いても、アルバムに対する需要は低減されてしまう。本実施形態の撮影支援システムを用いればアルバムに適した写真の撮影を支援することが出来る。以上のように、グループ情報に基づきフレームを評価する。
【００９８】
Ｓ０２０９に進み、重要度に基づきポイントを導出する。重要度によるフレームのポイント数は（４）式に示す計算式を用いる。
【００９９】
【数３】
2012023502.tif 000005
【０１００】
撮影対象ごとのポイントは（５）式に示す計算式を用いる。
【０１０１】
【数４】
2012023502.tif 000006
【０１０２】
また、（５）式に示す重み係数の求め方について説明する。
この重み係数によって、フレームのポイント数を導出する際にフレーム中のどの撮影対象に重みを置いてフレームのポイントを導出するかを決めることが出来る。重み係数の決定の例として、画像のより中心位置にいる人物に対してより重みをかけ、フレーム中の人物の図５（ａ）に示す撮影対象の重要度に応じて、重み係数を決定することができる。撮影対象の重要度に応じて重み係数を求める計算式の例として、（６）に示す計算式を用いる。
【０１０３】
【数５】
2012023502.tif 000007
【０１０４】
例えば、フレーム中に撮影対象１として重要度３の人物、撮影対象２として重要度２の人物、撮影対象３の人物として重要度１の３人が写っているとする。重要度３である撮影対象１の重み係数ｗ１は（６）式より３／５（３／（３＋２＋１）となる。同様に、重要度２である撮影対象２の重み係数ｗ２は２／５（２／（３＋２＋１）となる。重要度１である撮影対象３の重み係数ｗ３は１／５（１／（３＋２＋１）となる。このように撮影支援データ作成部１３４により各撮影対象の重み係数が演算される。以上のように、フレーム中の撮影対象ごとに重み係数を決定するので、より重要な人物のポイントを多くフレームのポイント値として反映させることが可能となる。
【０１０５】
以上のように撮影支援データ作成部１３４において、（６）式に示す重み係数が決定され、重要度に関するフレームのポイント数が導出され、フレームを評価する。このように、撮影者は、フレームを撮影すべきかを、ポイントが１００に近いかどうかといった定量的な基準に基づき判断できる。また、フレームのポイント値を中心位置または重要度の高い人物等の所望の人物のポイントをより反映させることができる。したがって、撮影者はポイントを参照することで、多くの撮影対象がフレーム中に含まれていても、重要な人物の重要なシーンであるかを容易に認識することが出来る。
【０１０６】
被写体が一人である場合のポイント値導出について説明する。Ｓ０２０７において、被写体が一人だと判断されるとＳ０２１０に進み、重要度に応じたポイント値を導出する。ポイント値は（５）式を用いて導出される。次に、Ｓ０２１１において、ポイント条件である写真画像条件に基づき、ポイント値を導出する。写真画像条件とは撮影しようとする写真の構図上における、アルバムに用いる写真として適切であるかの条件である。構図とは画像上の被写体の顔の位置、顔の向き、顔の大きさ、表情等やピント位置に関する画像の構成をいう。例えば、人物の写真を用いてアルバムを作成する際、顔が写真の中央付近にあるような構図の写真ばかりにならないようにするのが、構図にバリエーションを持たせるうえで望ましい。
【０１０７】
図７に人物写真の例を示す。写真Ｐ４に人物Ｐ３が写っている時、人物の顔の位置Ｐ２が写真の中央付近のエリアＰ１中に入っているような構図の写真の撮影枚数が多くなり過ぎないようにしたい。そこで撮影写真画像条件として、図７に示すエリアＰ１の領域情報であるＰｃ１を規定領域として登録する。また、撮影上限枚数Ｎｐ１を登録する。これらの値は利用者の入力に基づき登録してもよいし、あらかじめシステムが適切な値を用意してデータベースに登録するとしてもよい。
【０１０８】
Ｓ０２１１において、評価条件データ処理部１３６は画像解析部１３３から撮影対象の顔の位置を示す領域Ｐｆを取得する。そして、撮影対象の顔の領域Ｐｆが登録したエリアＰ１の規定領域Ｐｃ１中に入っているかどうかを判別する。規定領域Ｐｃ１中に領域Ｐｆが含まれる場合、データベース１０４に保存されている撮影対象が写っている撮影済画像データのうち顔領域が規定領域Ｐｃ１に含まれている画像データ数（撮影済枚数）をカウントする。本実施形態では、撮影対象毎に撮影済枚数とその撮影画像上のどの位置で撮影が行われたかの情報の管理を行う。そして、エリアＰ１の領域Ｐｃ１に含まれている撮影枚数に基づき、ポイント値を導出する。
【０１０９】
ここで、一定数までは規定領域内での撮影を支援し、上限値Ｎｐ１以降は規定領域以外での撮影を支援する際のポイントの算出について説明する。規定領域Ｐｃ１内に顔の領域Ｐｆがある場合は、撮影枚数がＮｐ１／２まではポイント値を１００とし、撮影の指示を行う。一方、規定領域Ｐｃ１外に顔の領域Ｐｆがある場合は撮影枚数がＮｐ１／２まではポイント値は０である。つまり、一定数までは規定領域Ｐｃ１内に顔が含まれる構図を支援することが出来る。そして、顔領域が規定領域Ｐｃ１に含まれている撮影枚数がＮｐ１／２を超えてＮｐ１までは、規定領域Ｐｃ１内に顔の領域Ｐｆがある場合のポイント数は、撮影枚数に応じて減少する。また、規定領域Ｐｃ１外に顔の領域Ｐｆがある場合のポイント数は、撮影枚数に応じて増加する。撮影枚数が上限値Ｎｐ１に達し、それ以降は規定領域Ｐｃ１内に顔の領域Ｐｆがある場合のポイント数は０、規定領域Ｐｃ１外に顔の領域Ｐｆがある場合のポイント数は１００とする。このようにすれば、撮影者はポイントが高くなる構図により撮影を行えば、構図の偏りが生じることなく撮影を行うことが出来る。したがって、アルバムを作成する際、構図にバリエーションを持たせることが可能となる。
【０１１０】
以上のように、過去の撮影情報等の撮影対象に応じた評価条件である写真画像条件に基づき、ポイントを導出し、評価を行う。なお、写真画像条件は、上述した例に限られるものではなく、例えば、規定領域Ｐｃ１と顔の領域Ｐｆとの距離に応じてポイントを導出するように構成してもよい。また、笑顔度や顔の向きや目をつぶっているかに応じて、ポイントを導出してもよい。撮影者は撮影対象の笑顔の状態や顔の向きを、ポイント値を参照することで容易に識別することが出来る。さらには、顔の画像に対する面積の割合やピントが合っているかに応じてポイントを求めても良い。
【０１１１】
Ｓ０２１２に進み、撮影支援データ作成部１３４は、撮影フレーム全体の評価結果であるフレームのポイント値を用いて撮像装置上で表示可能な撮影支援データを生成する。そして、データ送信部１３１は撮影支援データを撮影装置１０１に対して出力する。
【０１１２】
撮影装置１０１は、Ｓ０２１３において、撮影支援データを取得したかを判断し、取得した場合、次のＳ０２１４に進み、表示部１１３が、取得した撮影支援データを表示装置上に提示する。本実施形態の撮影支援データの提示の例を図１３に示す。図１３（ａ）は被写体Ａ、Ｂ、Ｅがフレームに入っている場合の表示例で、１３０１は重要度に関するポイント値、１３０２はグループ情報に基づくポイント値である。図１３（ｂ）は被写体Ａが一人で写っている場合の表示例で、１３０３は重要度に関するポイント値、１３０４は構図に基づくポイント値である。このように、被写体人数に応じて撮影支援情報を異ならせているので、状況に応じた撮影支援を行うことができる。
【０１１３】
そして、Ｓ２０１６において、撮影装置１０１は、シャッターボタンの押下を検知すると、撮影処理を実行する。撮影処理では、メタデータ付加部１１６は、画像データ取得部１１５が取得した撮影した画像データに撮影画像情報を付加する。また、受信した撮影支援データも併せてメタデータとして付加する。サーバ１０３が撮影画像に対して、ポイント値を再び導出しないようにして、処理負荷を低減するためである。
【０１１４】
Ｓ０２１７において、データ送信部１１１はメタデータが付加された撮影画像データをサーバ１０３へ送信する。サーバ１０３は、画像サイズやメタデータの有無により、撮影画像であると判断すると、Ｓ０２１８へ進み、撮影画像データ、メタデータを識別情報とを互いに関連させて記憶する。
【０１１５】
以上、説明したように本実施形態ではポイントを定量的に扱うことで撮影者に対してフレームを撮影すべきかを明示的に判断させること出来る。また、複数の観点からフレームを撮影すべきかを示す評価を別々に提示したので、撮影者は撮影意図に沿ってフレームを撮影すべきかの判断を行うことができるまた、被写体の人数によって支援データを異ならせたので状況に応じて適切な撮影支援を行うことが出来る。
【０１１６】
なお、本実施形態では、被写体が一人の場合に写真画像条件による撮影支援を行ったが、これに限らず、複数人であっても写真画像条件による支援を行う構成としても良い。例えば（２）、（５）に示す撮影対象毎のポイント数の導出の際に写真画像条件によるポイント数を加味して導出してもよい。
【０１１７】
また、撮影対象の組み合わせ、重要度、構図などを組み合わせての撮影支援を行ったが例えば、フレーム全体のポイント数は
【０１１８】
【数６】
2012023502.tif 000008
【０１１９】
のように一つのフレームのポイント値を導出する構成としても構わない。このように構成すると、複数の要因を加味した撮影支援をフレームのポイント値で示すことが出来るので撮影者はポイント値を参照することで一見してフレームに対して撮影を行うべきか否かの判断を容易に行わせることを支援することが出来る。
【０１２０】
＜実施形態５＞
これまでに述べた実施形態ではフレームのポイント値が撮影者に提示されるが、ポイント値そのものを表示するのではなく、本実施形態では、文章やマークなどを使ってより分かりやすく提示する例について説明する。
【０１２１】
例えば図９に示すようにフレームのポイント値に応じて３段階に分けて、表示する文字列を設定して、データベース１０４に記憶しておく。そして撮影支援データを作成する際に、撮影支援データ作成部１３４はフレームのポイント値に応じて、設定した文字列を撮影支援データとして生成する。この文字列が撮影装置１０１に送信され撮影装置上の表示装置に表示される。また、文字列に対応するマーク等を用いても良い。
【０１２２】
本実施形態では、撮影者に対してフレームの評価結果を文字列やマーク等で提示し、直感的に撮影を行うか否かの判断を行うように支援することができる。したがって、アルバムを作成するための写真を効率よく撮影を行うことが可能となる。
【０１２３】
＜実施形態６＞
実施形態６では、これまで述べた実施形態において、図２のＳ０１０１に示す撮影対象条件などの各種条件を登録する際に、利用者の目的に応じて、容易に設定項目を設定させる例について説明する。
【０１２４】
例えば実施形態１では、同じグループ同士の写真を撮影したい場合、実施形態３では重要度の高い人物、重要なタイミングの写真を撮影したい場合に利用する例等を示した。つまり、利用者は、「短時間に連続していない写真を撮影したい」「同じグループ同士の写真を撮影したい」「重要度の高い人物の写真を撮影したい」といった目的に対応するようなパラメータ値を利用者が設定画面上で設定しなくてはならない。
【０１２５】
そこで本実施の形態では、撮影の目的を一覧リストにしてあらかじめ用意しておく。条件登録装置１０２の表示装置に表示される設定画面の例を図１０に示す。１０１１は撮影目的設定画面であり、１０１１に示すようにその目的の一覧リストを表示している。利用者がその一覧から項目を選択すると、１０２０に示すその目的に対応した設定すべきパラメータ項目が設定画面上に表示される。さらに、各パラメータ項目のデフォルト値をシステム側で設定しておき、利用者が目的一覧から項目を選択するだけでデフォルト値が設定されるようにしてもよい。なお、ＵＩ上にプルダウンメニュー等を設け利用者に選択させるように構成しても良い。
【０１２６】
以上説明したように、利用者はどのような撮影支援を受けたいかを選択して選ぶだけで、より簡単に撮影支援システムを利用できる。
【０１２７】
また、撮影の目的を一覧として、その目的に応じたパラメータ設定を行う構成としたが、イベントなどの撮影場面を選択させ、各パラメータ項目を設定させるように構成してもよい。例えば、「結婚式」、「修学旅行」、「友人と旅行」等の撮影場面一覧を条件登録装置１０２の表示装置に表示し、利用者のマウス等の入力手段による入力により設定させる。例えば「結婚式」を選択した場合、新郎、新婦、新郎父、新郎会社上司などの撮影対象と考える撮影対象を登録させる。したがって、実施例１で説明したグループの登録を「新郎家族」「新婦家族」など利用者による入力がなくても、システム側で把握することが可能である。したがって、撮影者が撮影対象の顔が分からなくとも、家族が同じフレームにより多く登場するようシステム側で撮影支援を行うことが可能となる。
【０１２８】
＜その他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良い。
【０１２９】
また、各実施形態例で説明した撮影支援システムを撮影装置単体で行う構成としても良い。撮影装置単体で撮影支援を行う際の撮影装置のブロック図を図１４に示す。１４０１は撮影装置である。１４０２はデータベースであり、撮影装置に内蔵または着脱可能な記憶装置により実現される。また、サーバ１０３が行う処理である、支援データ作成処理は撮影装置のＣＰＵ等の制御装置と支援データを作成するためのプログラムにより実現される。図１４の撮影装置の動作説明として、撮影者は登録データ入力部１４０３である撮影装置の各種ボタン等の入力装置において、撮影対象や評価条件の入力を行う。そして、条件登録部１４０４はデータベース１４０４に撮影対象者のリファレンス画像や評価条件を登録する。そして、撮影部１４０５、画像データ取得部１４０６で取得した撮影フレームを画像解析部１４０８は画像解析を行う。撮影支援データ作成部１４０９では画像解析結果を評価条件データ処理部１４１０に渡し撮影フレームの評価を命ずる。評価条件データ処理部１４１０は評価条件と画像解析結果に基づき、撮影フレームの評価を行う。撮影支援データ作成部１４０９は撮影フレームの評価結果から撮影支援データを作成する。表示部１４１１は作成された撮影支援データを撮影フレームに重畳して表示し、撮影者に対して提示する。また、撮影処理が行われた際は、メタデータ付加部１４０７は撮影フレームに対してメタデータを付加する。そして、撮撮影情報処理部１４１２によって、撮影されたフレーム（撮影画像）はデータベース１４０２に記憶される。以上のように、各実施形態例で説明した撮影支援を撮影装置単体で実行することが可能である。
【０１３０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１３１】
１０１  撮影装置
１０２  条件登録装置
１０３  サーバ
１０４  データベース
１１１、１３１  データ送信部
１１２、１３２  データ受信部
１１３  表示部
１１４  撮影部
１１５  画像データ取得部
１１６  メタデータ付加部
１２１  登録データ入力部
１２２  条件登録部
１３３  画像解析部
１３４  撮影支援データ作成部
１３５  撮影情報処理部
１３６  評価条件データ処理部
【図１】
2012023502.tif 000009
【図２】
2012023502.tif 000010
【図３】
2012023502.tif 000011
【図４】
2012023502.tif 000012
【図５】
2012023502.tif 000013
【図６】
2012023502.tif 000014
【図７】
2012023502.tif 000015
【図８】
2012023502.tif 000016
【図９】
2012023502.tif 000017
【図１０】
2012023502.tif 000018
【図１１】
2012023502.tif 000019
【図１２】
2012023502.tif 000020
【図１３】
2012023502.tif 000021
【図１４】
2012023502.tif 000022