(57)【要約】      （修正有）【課題】撮影枚数が不十分場合でも良好な撮影が可能な画像処理装置を提供する。【解決手段】各撮影地点において使用される複数の撮影装置のそれぞれから画像を受信する画像処理装置であって、記憶手段は、撮影装置と、使用されている撮影地点との対応関係と、撮影が必要な画像の枚数とを記憶する。特定手段は、受信した前記画像中に写っている被写体ごとにタグ付けし、その被写体が撮影された画像の枚数を算出し、撮影された画像の枚数が不足している被写体を要撮影被写体として特定する。生成手段は、要撮影被写体が現在時刻後に通過する少なくとも１つの撮影地点を指示送信地点として特定し、要撮影被写体が指示送信地点に到達する時刻を算出し、要撮影被写体の被写体情報の少なくとも一部および算出された到達する時刻を少なくとも含む撮影指示を生成する。送信手段は、撮影指示を、指示送信地点において使用されている撮影装置に送信する。【選択図】図１
2015128259.tif 000002
【特許請求の範囲】
【請求項１】
複数の被写体が複数の撮影地点を所定の順序で通過するイベントを撮影するために各撮影地点において使用される複数の撮影装置のそれぞれから画像を受信する画像処理装置であって、
前記撮影装置と、前記撮影装置が使用されている前記撮影地点との対応関係と、撮影が必要な画像の枚数とを記憶する記憶手段と、
受信した前記画像中に写っている被写体ごとにタグ付けし、前記タグ付けされた被写体ごとに前記被写体が撮影された画像の枚数を算出し、前記撮影された画像の枚数が前記撮影が必要な画像の枚数に満たない被写体を要撮影被写体として特定する特定手段と、
前記要撮影被写体が現在時刻後に通過する少なくとも１つの前記撮影地点を指示送信地点として特定し、前記要撮影被写体が前記指示送信地点に到達する時刻を算出し、
前記要撮影被写体の被写体情報の少なくとも一部および
前記算出された時刻
を少なくとも含む撮影指示を生成する生成手段と、
前記撮影指示を、前記指示送信地点において使用されている前記撮影装置に送信する送信手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記記憶手段は、
少なくとも１つの画像評価基準と評価基準ごとの撮影が必要な画像の枚数をさらに記憶し、
前記特定手段は、
前記評価基準ごとに、前記評価基準を満たす画像の枚数を算出し、前記評価基準ごとの撮影が必要な画像の枚数に満たない被写体を要撮影被写体として特定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記要撮影被写体の画像を含む前記撮影指示を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記記憶手段は、
第１の撮影地点と、第２の撮影地点と、前記第１および第２の撮影地点から撮影可能なランドマークとの対応関係を記憶し、かつ
前記ランドマークが撮影されていることを必須条件とする第１の評価基準を前記評価基準の一部として記憶し、
前記特定手段は、
前記第１の撮影地点を通過したが、前記第１の評価基準を満たす画像が前記第１の評価基準における撮影が必要な枚数に満たない被写体を要撮影被写体として特定し、
前記生成手段は、
前記第１の評価基準を満たす画像が前記第１の評価基準における撮影が必要な枚数に満たない被写体の被写体情報を含み、かつ前記第２の撮影地点の撮影装置を送信先とする撮影指示を生成することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記被写体情報として前記要撮影被写体の特徴量を含む撮影指示を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
複数の被写体が複数の撮影地点を所定の順序で通過するイベントを撮影するために各撮影地点において使用される撮影装置であって、
被写体を撮影して映像信号を出力する撮影手段と、
撮影した画像を送信する送信手段と、
通過することが予測される要撮影被写体の特徴量を含む被写体情報、および前記被写体が通過すると予測される時刻を受信する受信手段と、
前記被写体情報および
前記通過すると予測される時刻または前記通過すると予測される時刻から現在時刻を減算して得られる時間
を表示する表示手段と
を有することを特徴とする撮影装置。
【請求項７】
前記受信した要撮影被写体の特徴量と、前記表示手段に表示されているライブ画像の中の被写体の特徴量とを比較することによって、前記ライブ画像の中の被写体から要撮影被写体を検出する被写体検出手段、
をさらに有することを特徴とする請求項６に記載の撮影装置。
【請求項８】
前記被写体検出手段によって検出された要撮影被写体に合焦するように、焦点調節を行う自動焦点調節手段、
をさらに有することを特徴とする請求項７に記載の撮影装置。
【請求項９】
前記被写体検出手段によって検出された要撮影被写体を含む所定の領域の輝度に基づいて、露出値を制御する自動露出制御手段、
をさらに有することを特徴とする請求項７または８に記載の撮影装置。
【請求項１０】
前記被写体検出手段によって検出された要撮影被写体に対するフレーミングを支援するフレーミング支援手段、
をさらに有することを特徴とする請求項７乃至９のいずれか１項に記載の撮影装置。
【請求項１１】
請求項１乃至５のいずれか１項に記載の画像処理装置と、請求項６乃至１０のいずれか１項に記載の撮影装置と、を備えることを特徴とする撮影システム。
【請求項１２】
複数の被写体が複数の撮影地点を所定の順序で通過するイベントを撮影するために各撮影地点において使用される複数の撮影装置のそれぞれから受信した画像を処理する画像処理方法であって、
前記撮影装置と、前記撮影装置が使用されている前記撮影地点との対応関係と、撮影が必要な画像の枚数とを予め記憶する記憶工程と、
受信した前記画像中に写っている被写体ごとにタグ付けし、前記タグ付けされた被写体ごとに前記被写体が撮影された画像の枚数を算出し、前記撮影された画像の枚数が前記撮影が必要な画像の枚数に満たない被写体を要撮影被写体として特定する特定工程と、
前記要撮影被写体が現在時刻後に通過する少なくとも１つの前記撮影地点を指示送信地点として特定し、前記要撮影被写体が前記指示送信地点に到達する時刻を算出し、
前記要撮影被写体の被写体情報の少なくとも一部および
前記算出された時刻
を少なくとも含む撮影指示を生成する生成工程と、
前記撮影指示を、前記指示送信地点において使用されている前記撮影装置に送信する送信工程と
を有することを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、競技大会などで写真から写っている人物（被写体）を同定し、配布・販売をする画像処理装置、撮影装置、撮影システム、画像処理方法、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
一般参加型のマラソン大会などで、撮影者が複数の撮影箇所で競技参加者を撮影し、競技大会終了後に参加者に参加者自身が写っている写真を販売するサービスが実施されている。そこで競技参加者の購買意欲を向上させる写りの良い写真、例えば参加者自身が写真中央に大きく写っている写真などを、十分な枚数撮影し、参加者にすばやく提示することが求められている。
【０００３】
例えば特許文献１では、競技大会で計測ポイントへの通過予測時間から、大会を撮影した動画像中に写っている参加者を検索し、参加者向けに映像編集を行う手法が提案されている。
しかし、参加者によっては写っている写真の枚数が少なかったり、あるいはブレやボケ、顔が隠れてしまっているなど、写りの良い写真が少なかったりといった状況が起きていた。従来より、撮影の必要な人物（被写体）を特定し、撮影するといった手法が提案されている。例えば特許文献１では、イベントなどで参加者を撮影し撮影時間や写りの大きさなどをポイントとして蓄積し、ポイントの少ない参加者を写すよう選択する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来の技術では、撮影可能な対象から人物（被写体）を選択するため、マラソン大会などの撮影ポイントを次々と通過していく場合では、十分な枚数を撮影することができない。
本発明は上記の課題に鑑みてなされたものであり、撮影枚数が不十分な参加者の被写体情報を、その参加者がこれから通過するポイントに配置された撮影装置に通知可能なシステム等を提供することを目的とする。撮影枚数が不十分な参加者の被写体情報とは、その参加者が着けているゼッケン番号やその参加者が到着すると予測される時刻等である。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために本発明に係る画像処理装置は、
複数の被写体が複数の撮影地点を所定の順序で通過するイベントを撮影するために各撮影地点において使用される複数の撮影装置のそれぞれから画像を受信する画像処理装置であって、
前記撮影装置と、前記撮影装置が使用されている前記撮影地点との対応関係と、撮影が必要な画像の枚数とを記憶する記憶手段と、
受信した前記画像中に写っている被写体ごとにタグ付けし、前記タグ付けされた被写体ごとに前記被写体が撮影された画像の枚数を算出し、前記撮影された画像の枚数が前記撮影が必要な画像の枚数に満たない被写体を要撮影被写体として特定する特定手段と、
前記要撮影被写体が現在時刻後に通過する少なくとも１つの前記撮影地点を指示送信地点として特定し、前記要撮影被写体が前記指示送信地点に到達する時刻を算出し、
前記要撮影被写体の被写体情報の少なくとも一部および
前記算出された時刻
を少なくとも含む撮影指示を生成する生成手段と、
前記撮影指示を、前記指示送信地点において使用されている前記撮影装置に送信する送信手段と、を有する。
【発明の効果】
【０００７】
競技大会中で、写真を撮影する際に、写真枚数の少ない参加者（被写体）がこれから通過する撮影地点の撮影装置に、この参加者の到着予測時刻などを通知し、この参加者を撮影するように促すことで、参加者ごとの写真枚数の偏りを減らすことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の画像処理装置および撮影装置を用いた撮影システムの構成の一例を示す図である。
【図２】図１の画像処理装置１００および撮影装置１１０の機能の構成例を示す機能ブロック図である。
【図３】撮影システムで扱うデータの構成例である。
【図４】被写体特定部における処理の例を示すフローチャートである。
【図５】図４中の顔・人物情報紐付け処理の例を示すフローチャートである。
【図６】被写体特定部において処理する画像およびデータ構成の例である。
【図７】顔・人物情報紐付け処理を実行した後の画像情報の例である。
【図８】顔・人物情報紐付け処理を実行した後の人物情報の例である。
【図９】図４中のゼッケン検出・認識処理の出力例である。
【図１０】被写体特定部における実行対象画像と実行後のデータ構成の例である。
【図１１】被写体特定部における実行対象画像と実行後のデータ構成の例である。
【図１２】被写体特定部における処理を実行した後の人物情報の例である。
【図１３】実施形態１における画像選択部で用いる画像評価基準の例である。
【図１４】実施形態１における画像選択部で生成されるフォトアルバムの例である。
【図１５】実施形態１における入力データを示す表である。
【図１６】実施形態１における処理を示すフロー図である。
【図１７】実施形態１または２における表示例を示す図である。
【図１８】実施形態２、３における入力データを示す表である。
【図１９】実施形態５における表示例を示す図である。
【図２０】実施形態５における処理を示すフロー図である。
【図２１】実施形態３における入力データを示す表である。
【発明を実施するための形態】
【０００９】
本発明は、複数の参加者が複数の撮影地点を所定の順序で通過するイベント（例えば、マラソン大会）を撮影するための撮影システムに関する。この撮影システムは、各撮影地点において使用される複数の撮影装置と、各撮影装置から画像を受信する画像処理装置を必要とする。
前記画像処理装置は、記憶手段、特定手段、および生成手段を有する。
前記記憶手段は、前記撮影装置と、前記撮影装置が使用されている前記撮影地点との対応関係と、撮影が必要な画像の枚数とを記憶する。
前記特定手段は、受信した前記画像中に写っている被写体ごとに人物ＩＤなどのタグを付け、タグ付けされた人物ごとに前記人物が撮影された画像の枚数を算出する。そして、前記撮影された画像の枚数が前記撮影が必要な画像の枚数に満たない人物を要撮影人物（要撮影被写体）として特定する。
【００１０】
前記生成手段は、前記要撮影人物が現在時刻後に通過する少なくとも１つの前記撮影地点を指示送信地点として特定し、前記要撮影人物が前記指示送信地点に到達する時刻を算出する。
例えば、要撮影人物が現在時刻にスタート地点から４ｋｍ離れた地点を既に通過し、スタート地点から８ｋｍ離れた地点に向かって走っている場合は、現在時刻後に通過する８ｋｍ地点を指示送信地点として特定する。そして、要撮影人物が８ｋｍ地点に到達する時刻を算出する。そして、前記要撮影人物の人物情報（被写体情報）の少なくとも一部（例えば、顔の特徴量）および前記算出された時刻を少なくとも含む撮影指示を、８ｋｍ地点において使用されている撮影装置Ｃに、送信する。
【００１１】
［実施形態１］
図１は本発明の画像処理装置および撮影装置を用いた撮影システムの構成の一例を示す図である。
画像処理装置１００は、ＣＰＵ１０１、メモリ１０２、ハードディスク１０３、およびネットワークＩ／Ｆ１０４から成る。ＣＰＵ１０１は、撮影画像の制御や認識処理を施すためのプログラムを実行する。メモリ１０２は、該プログラムを実行する際のワークメモリやデータの一時保存などに利用される。ハードディスク１０３は、該プログラムや撮影画像などのデータを格納する。ネットワークＩ／Ｆ１０４は、撮影装置１１０とデータの入出力を行う。
【００１２】
撮影装置１１０は、ＣＰＵ１１１、メモリ１１２、記録メディア１１３、カメラユニット１１４、ディスプレイ１１５、操作ユニット１１６、およびネットワークＩ／Ｆ１１７から成る。ＣＰＵ１１１は、撮影制御や画像符号化処理などを施すためのプログラムを実行する。メモリ１１２は、該プログラムや該プログラムを実行する際のワークメモリやデータの一時保存などに利用される。
記録メディア１１３は、撮影画像などのデータを格納する。カメラユニット１１４は、レンズを介して外光をデジタルデータに変換する。ディスプレイ１１５は、撮影のＵＩや画像を表示する。操作ユニット１１６は、シャッターなどの操作を検知する。ネットワークＩ／Ｆ１１７は、画像処理装置とデータの入出力を行う。
【００１３】
画像処理装置１００と撮影装置１１０はそれぞれネットワークＩ／Ｆ１０４、１１７を介してＬＡＮやインターネットなどの有線または無線のネットワーク１２０に接続されている。撮影装置１１０から撮影画像が送信され、画像処理装置１００で受信しハードディスク１０３に蓄積するなどが可能である。画像処理装置１００から撮影装置１１０へは撮影指示データが送信される。また撮影装置１１０は複数存在し、ネットワーク１２０へ無線通信によって接続されていることが好ましい。
【００１４】
図２は、図１の画像処理装置１００および撮影装置１１０の機能の構成例を示す機能ブロック図である。ここに示す構成はハードウェアとソフトウェアの組み合わせによって実現できるものであって、一つの機能ブロックが一つのハードウェアに対応するものではない。
撮影部２００、撮影制御部２０１、送信部２１１、受信部２１２、表示部２１３、被写体検出部２１４、自動焦点調節部２１５、自動露出制御部２１６、およびフレーミング支援部２１７は、撮影装置１１０内の機能ブロックである。
被写体特定部２０２、画像評価量算出部２０３、画像選択部２０４、撮影指示部２０５および記憶部２０６は、画像処理装置１００内の機能ブロックである。
撮影装置の撮影部２００によって競技大会の写真を撮影し画像を取得する。取得された画像は、送信部２１１から送信され、ネットワーク１２０を経由して画像処理装置１００の受信部２０７にて受信され、画像処理装置１００のハードディスクに格納される。
【００１５】
＜画像処理装置＞
画像処理装置１００の被写体特定部２０２は、撮影制御部２０１から得られた画像中に写っている人物を特定し、画像情報に対して人物情報(被写体情報)を付加する。１つの画像中に複数の人物が写っていれば、１つの画像情報に複数の人物情報を付加する（紐付ける）。
【００１６】
画像評価量算出部２０３は、撮影制御部２０１から得られた画像に対して、被写体特定部２０２から得られた人物情報（被写体情報）ごとに後述の得点計算手法により得点付けを行う。対象とする人物毎に、写っている位置、大きさなどが異なるため、同じ画像に写っていても、対象人物が異なれば同一の得点とはならない。
画像選択部２０４は、画像評価量算出部２０３によって得られた得点に基づいて、参加者に画像を提示する。この提示結果は写真販売等に利用することができる。
【００１７】
撮影指示部２０５は、被写体特定部２０２によって特定された人物情報（被写体情報）を元に、撮影が必要な人物を割り出し、撮影を指示する。撮影指示部２０５の処理は、撮影が必要な人物を割り出すために人物情報が付加された画像を所定の数以上、必要とする。その為、被写体特定部２０２によって、所定数以上処理が行われた時点で実施する。例えば、競技大会で先頭の参加者が中間地点を通過した後や、人物情報の数が全参加者分揃った時点で開始する。
撮影指示は、送信部２０８から送信され、撮影装置１１０の受信部２１２にて受信される。
撮影制御部２０１は受信した撮影指示の内容をディスプレイに表示したり、その撮影指示に従って撮影部２００を直接制御したりする。
被写体特定部２０２、画像評価量算出部２０３、画像選択部２０４、撮影指示部２０５の内部処理の詳細は後述する。
【００１８】
＜撮影装置＞
撮影装置は、複数の参加者が複数の撮影地点を所定の順序で通過するイベントを撮影するために各撮影地点において使用される。図２に示すように、撮影装置１１０は、撮影部２００、撮影制御部２０１、送信部２１１、受信部２１２、および表示部２１３を有する。また、撮影装置１１０は、被写体検出部２１４、自動焦点調節部２１５、自動露出制御部２１６、およびフレーミング支援部２１７を有することが好ましい。
撮影制御部２０１は、撮影部２００、送信部２１１、受信部２１２、表示部２１３等を制御する。
撮影部２００は、被写体を撮影して映像信号を出力する。
送信部２１１は、撮影した画像を送信する。
受信部２１２は、通過することが予測される要撮影人物（要撮影被写体）の特徴量を含む人物情報（被写体情報）、および前記人物が通過すると予測される時刻を受信する。
表示部２１３は、
前記人物情報および
前記通過すると予測される時刻または前記通過すると予測される時刻から現在時刻を減算して得られる時間、を表示する。
【００１９】
自動露出制御部２１６によって自動露出制御（ＡＥ）機能が実現される。自動露出制御部２１６は、被写体検出部２１４によって検出された要撮影人物を含む所定の領域の輝度に基づいて、露出値を制御する。撮影装置１１０は、自動露出制御機能として、絞り優先ＡＥモード、シャッタースピード優先ＡＥモード、プログラムＡＥモードを有するものとする。また、撮影感度を自動露出制御機能によって決定可能とするかどうかをユーザが設定可能であるものとする。
【００２０】
フレーミング支援部２１７によってフレーミング支援機能が実現される。光学ズーム機能および電子ズーム機能を使用することで遠くの被写体を大きく撮影することが可能であるが、被写体が動いていたり撮影者の手ブレが大きかったりする場合には被写体が画角外に外れやすくなってしまう。このような場合に被写体を再び画角内に入れるための機能をフレーミング支援機能と呼ぶ。
例えば、要撮影人物が画角外に外れた際に、所定量だけ広角側に光学ズームおよび／または電子ズームが駆動される。画角が広くなると、先程見失った要撮影人物が発見されやすくなる。要撮影人物が発見されたら、光学ズームおよび／または電子ズームが望遠側に駆動され、元の画角に戻る。
【００２１】
図１４（Ｂ）は本発明の撮影装置を用いた競技大会写真撮影システムによって自動生成されるフォトアルバムの一例である。
参加者（被写体）ごとに画面あるいは紙の上に、競技大会中の参加者が写った画像が複数枚レイアウトされたフォトアルバムとなっている。複数枚の画像は、ストーリーにそって配置されている。
このように本発明では、競技中に撮影した大量の画像群から特定の参加者が写った画像を抽出し、さらに、フォトアルバムのテンプレートの画像位置のそれぞれに最も好適な写真を選択し配置し、参加者に画像を提示することを目的とする。
【００２２】
図３は、本実施形態で処理するデータ構造の例である。
本データ構造は、画像処理装置１００のハードディスク１０３に保管される。データは木構造になっており、最上位にデータ自体の種類名、その下のブロックはそれぞれ属性名となっている。
図３（Ａ）は、画像情報の構造を示した図である。画像情報は撮影装置１１０によって撮影された撮影画像ごとに作成される。画像ＩＤ属性は画像情報ごとにユニークに設定されるＩＤである。
【００２３】
画像実体属性は画像情報のバイナリデータの保存場所を示すポインタ情報、あるいはバイナリデータそのものである。
被写人物属性は、画像に写っている人物ごとに可変複数個の人物属性を持つ。被写人物属性の個数で該当する画像に写っている人物の人数が判明する。人物属性以下に設定される属性とその値はまとめて被写体人物情報と称する。
撮影位置属性は、画像が撮影されたポイントの位置である。ここでは説明の簡略化のために競技大会のスタート地点からの道程とする。
撮影時刻属性は、撮影された時刻である。ここでは説明の簡略化のために競技大会のスタートからの経過時間の情報とする。
ランドマーク属性は、画像に含まれているランドマークの情報である。
【００２４】
人物属性以下に設定される被写体人物情報とは、人物ＩＤ属性、画像内で人物が写っている状態を示す顔位置属性、顔大きさ属性、表情属性、ブレ属性、ぼけ属性の６つの属性で構成される。
人物ＩＤ属性は後述の人物情報を紐付けるＩＤである。
顔位置属性は、画像の左上の頂点を原点として、顔の位置を矩形で表した時のその矩形の左上の頂点のＸ、Ｙ座標をそれぞれＸ属性、Ｙ属性として持つ。
顔大きさ属性は、顔の位置を矩形で表した時の矩形幅、矩形高さをそれぞれＷ属性、Ｈ属性として持つ。
表情属性は、人物が笑顔であるか、泣き顔であるかなどの状態である。ブレ属性は被写人物のブレの度合いである。ぼけ属性は被写人物への合焦の度合いである。
【００２５】
図３（Ｂ）は、人物情報の構造を示した図である。人物情報は競技参加者が画像から認識されるごとに作成され、画像情報とは多対多の関係となる。人物ＩＤ属性は、人物情報ごとにユニークに設定されるＩＤである。特徴量属性は、人物の顔や服装などの特徴を表す情報である。ゼッケン番号属性は、競技参加者のゼッケン番号である。画像属性は、該人物が写っている画像のＩＤを画像ＩＤ属性として複数持つ。
本データ構造は一例であり、それぞれの情報をキーとして検索・取得が可能であればその他の構造で保管されていてもよい。
【００２６】
以下、図２で示したブロック図の各処理部の詳細を説明する。
＜被写体特定部＞
図４は被写体特定部２０２の内部処理を説明したフローチャートである。
ステップＳ４０１では、撮影制御部２０１によって撮影された画像を取得する。
ステップＳ４０２では、画像中にある顔の特徴量と人物情報とを関連付ける（紐付ける）。
【００２７】
＜顔・人物情報紐付け処理＞
図５を用いてステップＳ４０２の顔・人物情報紐付け処理について詳細な説明を行う。また、具体例として、図６（Ａ）に示す画像が入力された場合を事例とする。ただし、本ステップでは１枚の画像情報を処理して次ステップへ遷移してもよいし、複数枚の画像情報を一括して処理してもよい。
ステップＳ５０１では、入力画像から顔が存在する領域を検出する。顔検出には公知技術を用いればよく、特開平８−０６３５９７号公報においては、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定するという方法が提案されている。図６（Ｂ）に示す画像中の顔検出結果６０１，６０２，６０３はステップＳ５０１にて顔検出をした結果の一例である
【００２８】
ステップＳ５０２では、人物情報群を取得する。図６（Ｃ）は取得した人物情報群の一例である。ここでは、ハードディスク１０３に蓄積されている２名分の人物情報を取得したとして説明を進める。
ステップＳ５０３以降は、ステップＳ５０１で検出した入力画像中の顔ごとに処理を実行する。
ステップＳ５０３は、入力画像中の顔の特徴量を算出する。ここはステップＳ５０１で用いた特徴量を流用してもよい。
【００２９】
ステップＳ５０４では、Ｓ５０２で取得した人物情報群の各人物情報から顔の特徴量を取得する。
ステップＳ５０５では、入力画像中から検出した顔の特徴量と人物情報から取得した顔の特徴量を比較し、２つの顔の特徴量の差が閾値以内かを判定する。
判定がＹＥＳ、すなわち、入力画像中から検出した顔の特徴量と人物情報から取得した顔の特徴量の差が閾値よりも小さいと判断された場合、ステップＳ５０７へ遷移し、両者を紐付ける。具体的には人物情報の画像ＩＤ属性に入力画像の画像ＩＤを追記する。
【００３０】
たとえば、画像ＩＤ：１０１の顔検出結果６０１の特徴量と、人物ＩＤ  Ａ１００の特徴量との差が閾値よりも小さいと判断された場合、人物ＩＤ：Ａ１００の人物情報の画像ＩＤにＩＤ１０１が追記される。
判定がＮＯ、すなわち、入力画像中から検出した顔の特徴量と人物情報から取得した顔の特徴量の差が大きいと判断された場合、ステップＳ５０４へ戻り、他の人物情報から顔の特徴量を取得する
【００３１】
ステップＳ５０６は、入力画像中から取得した顔の特徴量と一致する人物情報が１つも蓄積されていなかった場合に遷移し、入力画像中から取得した顔の特徴量から新規に人物情報を生成する。
たとえば、画像ＩＤ：１０１の顔検出結果６０３は、蓄積されている全ての人物情報の顔の特徴量と比較したが、いずれの特徴量とも一致しなかった（差が閾値よりも小さいと判断されなかった）ため、人物ＩＤ：Ａ３００として新規の人物情報が生成される。
【００３２】
図７はステップＳ４０２の顔・人物情報紐付け処理後の画像情報、図８は人物情報である。図３（Ａ）と比較し、項目が存在しない属性は属性値がない状態を意味している。この段階では、人物情報の顔の特徴量と画像ＩＤとが紐付けされているだけなので、個人の特定はされない。つまり、このデータからはゼッケン番号を用いて特定の競技者（被写体）が写っている画像を抽出することはできない。
以上がステップＳ４０２の顔・人物情報紐付け処理の詳細である。以降、図４に戻って被写体特定部の説明を続ける。
【００３３】
＜ゼッケン検出・認識処理＞
ステップＳ４０３以降は画像情報ごと、すなわち画像ＩＤごとに処理を実行する。
ステップＳ４０３は、入力画像からゼッケンが存在する領域、すなわち文字領域を抽出し、文字認識を実行する。
ゼッケン領域抽出（文字領域抽出）には、公知技術を用いればよく、例えば特開２００９−１２３２０５号公報に開示されている技術が挙げられる。
特開２００９−１２３２０５号公報では以下の方法で文字領域を抽出している。
【００３４】
入力画像からエッジ画像を生成し、エッジ画像から連結画素塊（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ。以後「ＣＣ」と呼ぶ）を生成する。ＣＣの大きさなどの特徴量から文字らしいと推定される候補ＣＣの座標位置をハフ変換した結果、直線に並ぶ候補ＣＣ群を文字領域と判定する。
以上の方法により抽出したゼッケン領域（文字領域）に対し、公知の文字認識技術を実行し、ゼッケン番号を取得する。
【００３５】
図９は入力画像に対し、ゼッケン検出・認識処理を実行した後に得られるゼッケン認識結果の一例である。
実際の競技中の画像では、ゼッケンが競技者（被写体）本人の腕や、他の競技者の体に遮られたり、競技者の体の動きでゼッケンが歪んだりしてゼッケン検出が成功しない場合もあり得る。たとえば、図９（Ａ）は、２人の競技者が写っているが、ゼッケンの検出数は１である。図９（Ｂ）は、３人の競技者が写っているが、ゼッケンの検出数は１である。
図９（Ｃ）は３人の競技者（被写体）が写っているがゼッケンの検出数は０である。競技者が写っている画像をゼッケンだけで検索してもこのような画像はヒットしない。そこで、先に生成した人物情報とゼッケンの認識結果を組み合わせて、画像に写っている被写体の個人を特定する。
図９（Ｄ）は、２人の競技者が写っているが、ゼッケンの検出数は１である。
【００３６】
ステップＳ４０４以降は、ステップＳ４０３で取得したゼッケン番号ごとに処理を実行する。
ステップＳ４０４は、画像情報に含まれる人物ＩＤごとに、入力画像中の顔の位置とゼッケン番号の位置を比較し、ゼッケンと顔が対応するかを判定する。
具体的には、ゼッケン領域の中心から顔領域の中心までの距離が閾値以下であって、かつゼッケン領域の中心より縦方向上部に顔領域の中心が位置するという条件を満たす顔領域が存在するか判定する。前記条件を満たす顔領域が複数あった場合は、ゼッケン領域により近いものを選択する。「ゼッケン領域により近い」は、ゼッケン領域の中心から顔領域の中心までの直線距離などに基づいて判断する。
【００３７】
判定がＹＥＳ、すなわち、対応する顔領域とゼッケン領域の組み合わせがあった場合、ステップＳ４０５へ遷移し、対応する顔領域に紐付けられた人物情報のゼッケン番号の項目に、対応するゼッケン領域から認識されたゼッケン番号を追記する。ステップＳ４０５の処理の後は入力画像中の他のゼッケン番号を取得し、さらに画像情報中の他の人物ＩＤを取得し、ステップＳ４０４へ遷移する。
判定がＮＯであった場合、画像情報に含まれる他の人物ＩＤを取得し、ステップＳ４０４へ遷移する。
【００３８】
ステップＳ４０４、Ｓ４０５の処理を図１０、図１１を具体例として再度説明する。処理の順番は画像ＩＤ：１００、画像ＩＤ：１０１とするが、処理の順番に特段の意図はない。
まず、画像ＩＤ：１００に対して処理を実行する。
図１０（Ａ）の１００３は画像ＩＤ：１００の画像を入力とし、ステップＳ４０３で抽出したゼッケン領域である。１００１、１００２は画像ＩＤ：１００の画像を入力とし、ステップＳ４０２で抽出した顔領域を表す。
【００３９】
ステップＳ４０４では、ゼッケン領域１００３と顔領域１００１、１００２の位置関係を比較する。
顔領域１００１はゼッケン領域１００３の上方にないため、対応しないと判定する。顔領域１００２はゼッケン領域１００３の上方かつ近接した位置にある（距離が閾値以下である）ため、ステップＳ４０５へ遷移する。
【００４０】
ステップＳ４０５では、図１０（Ｂ）に示す画像ＩＤ：１００の画像情報を参照し、顔領域１００２に該当する人物ＩＤを取得する。
図１０の事例では人物ＩＤ：Ａ１００が取得できる。次に、取得した人物ＩＤの人物情報を取得し、人物情報のゼッケン属性を追記する。
具体的には、図１０（Ｃ）に示す人物ＩＤ：Ａ１００の人物情報のゼッケン番号に画像ＩＤ：１００で認識したゼッケン番号Ｚ００１を追記する。
対応するゼッケンが検出されなかった人物ＩＤ：Ａ２００の人物情報のゼッケン番号の属性値の情報は追記されない。
次に、画像ＩＤ：１０１の処理を実行する。
【００４１】
図１１の１１０４は画像ＩＤ：１０１を入力とし、ステップＳ４０３で抽出したゼッケン領域である。１１０１、１１０２，１１０３は画像ＩＤ：１０１を入力とし、ステップＳ４０２で抽出した顔領域を表す。
ステップＳ４０４では、ゼッケン領域１１０４と顔領域１１０１、１１０２，１１０３の位置関係を比較する。顔領域１１０１はゼッケン領域１１０４の上方にないため、対応しないと判定する。顔領域１１０２、１１０３はともにゼッケン領域１１０４の上方にある。この場合、ゼッケン領域１１０４により近接した位置にある顔領域１１０２を対応する顔領域とし、ステップＳ４０５へ遷移する。
【００４２】
ステップＳ４０５では、図１１（Ｂ）に示す画像ＩＤ：１０１の画像情報を参照し、顔領域１１０２に該当する人物ＩＤを取得する。
図１１の事例では人物ＩＤ：Ａ２００が取得できる。次に、取得した人物ＩＤの人物情報を取得し、人物情報のゼッケン属性を追記する。
具体的には、図１１（Ｃ）に示す人物ＩＤ：Ａ２００の人物情報のゼッケン番号に画像ＩＤ：１０１で認識したゼッケン番号Ｚ２００を追記する。もし、ここで取得した人物情報にすでにゼッケン番号がある場合、上書きせずに順次ゼッケン番号を追記したリストを作り、ゼッケンの文字認識結果の信頼度を元にソートしてもよい。
図１１（Ｃ）は画像ＩＤ：１０１に含まれるゼッケン番号、人物ＩＤをステップＳ４０４，Ｓ４０５ですべて処理した後の人物情報である
【００４３】
図１２は画像ＩＤ：１００，１０１に対して実施した処理を画像ＩＤ：１０２，１０３に対しても実行した後の人物情報である。
図１２（Ａ）〜（Ｃ）いずれの人物情報にも、そのゼッケン属性に番号が入っている。したがって、まずゼッケン番号をキーにして人物情報を抽出し、次に人物情報の保持する画像ＩＤを参照することで、特定の人物が写った画像のみを抽出することが可能になる
。
以上、被写体特定部２０２の内部処理について説明した。
【００４４】
＜画像評価量算出部＞
画像評価量算出部２０３は、撮影制御部２０１から得られた画像に対して、画像評価量を算出する。
まず、１つの画像情報に対し、被写体人物情報である顔大きさ属性、表情属性、ブレ属性、ぼけ属性をそれぞれ算出し、算出値を格納する。各属性の算出には公知の技術を用いればよい。
【００４５】
また、画像に一緒に写り込んでいるランドマークの情報を画像情報のランドマーク属性の値に格納する。
ここでは、撮影位置属性値と、この撮影位置から撮影した場合に写り込みが予想されるランドマークとの関係を先にテーブルに用意しておき、こちらを参照することでランドマーク属性の値を決定する。そのほか、撮影するカメラの位置が競技中固定であるならば、特定の撮影カメラで撮った画像には特定のランドマークが写り込むものとして値を設定してもよい。
【００４６】
＜画像選択部＞
画像選択部２０４は、被写体特定部２０２で作成した人物情報を元に抽出した特定人物が写った画像群を対象とし、画像評価量算出部２０３で算出した画像評価量に基づき、前もって用意した画像評価基準に当てはめて画像を選択する。
図１３（Ａ）は、記憶部２０６に記憶されている画像評価基準の一例である。評価基準は大きく２つにわかれる。１つは重み付けする評価点である。これは顔の表情や顔の位置などの被写体人物情報に存在するパラメータに対し、どのパラメータを重視するかを重み付けする。もうひとつは必須条件で、ここで設定した条件を満たす画像のみ選択対象となる。
【００４７】
評価点は画像評価量算出部２０３で算出した被写体人物情報の属性値を直接用いてもよいし、さらに好適な画像選択のために被写体人物情報の属性値を元にした別のパラメータや条件を設定してもよい。たとえば、画像情報がもつ人物属性の数から、画像中に写っている人物の人数が分かるので、画像評価基準１３０１にはこの属性値を元にした被写人物の数１３０２に対する条件を追加している。
【００４８】
また、単に顔大きさ属性だけで重み付けすると、図１３（Ｂ）に示すように手前の人物１３０４の顔は十分大きく写っているため、図１３（Ｂ）に示す画像が人物１３０４にとって好適な画像として選択される可能性がある。しかし、人物１３０４は写真の端に位置しているので、人物１３０４が写っている画像群の中で図１３（Ｂ）に示す画像の評価は低いとも考えられる。よって、顔領域の中心から画像中央までの距離を別途算出し、この距離を「顔位置の中央からの距離」１３０３として画像評価基準に追加している。
画像評価基準はフォトアルバムのテンプレートにおける画像の配置位置ごとに切り替えられる。
【００４９】
図１４（Ａ）はフォトアルバムのテンプレートと画像評価基準の関係の一例である。配置位置１４０１では評価１に基づいて選出した画像を配置する。同じく、配置位置１４０８では、評価３に基づいて選出した画像を配置する。
テンプレートにおける配置位置ごとに評価基準を設定するのではなく、全ての配置位置について基本の評価基準は同じとして、配置位置ごとにさらに追加の評価基準を設けるとしてもよい。
【００５０】
たとえば、配置位置１４０２，１４０３，１４０７の画像評価基準は評価２としておく。評価２はランドマークの属性値があることが必須条件になっている。これに加えて、それぞれの配置ごとに写り込むランドマークを特定する。たとえば、配置位置１４０２ではランドマーク＝”○○橋”、配置位置１４０３ではランドマーク＝”丸の内ビル群”、配置位置１４０７ではランドマーク＝”××タワー”と追加の基準を設けておく。
また、配置位置１４０４，１４０５，１４０６の画像評価基準は評価４としておき、１４０４，１４０５，１４０６においては画像を時間順で並べるという追加の基準を設けておく。
【００５１】
以上の画像評価基準に基づき、特定人物が写った画像群を選択し、テンプレートに画像を配置した例が図１４（Ｂ）である。
この画像配置処理は多数の画像に対して得点付けを行い分類・選択を行うことが前提であるが、参加者によっては画像の提示を行うために十分な画像の量が存在しないことがある。以下、画像の参加者ごとの偏りをなくすための撮影指示部２０５の処理の詳細を説明する。
【００５２】
＜撮影指示部＞
図１５（Ａ）は、撮影装置と、その撮影装置に撮影指示を送信する際の送信先アドレスと、その撮影装置が配置された撮影地点のスタート地点からの距離の例を示したものである。図１５（Ｂ）は競技大会開始１時間３０分後の画像情報、人物情報の例を図示したものである。図１５（Ａ）および（Ｂ）に示す表は、記憶部２０６に記憶されている。
図１５（Ａ）の表１５０１に示す情報は、撮影装置とそのアドレス（例えば、ＩＰアドレス）その設置位置（配置位置）に関する情報である。これは競技大会前から予め有している静的な情報である。
撮影装置Ａがスタートから０ｋｍすなわちスタート地点、撮影装置Ｂが４ｋｍ地点、撮影装置Ｃが８ｋｍ地点、撮影装置Ｄが１２ｋｍ地点、撮影装置Ｅが１６ｋｍ、撮影装置Ｆが２０ｋｍ、撮影装置Ｚが４２．１９５ｋｍ地点であることを示している。撮影装置Ａにより撮影された画像情報は、撮影位置属性に０という値が入る。
【００５３】
図１５（Ｂ）の１５０２は、競技大会開始１時間３０分後の人物情報と該人物情報に紐付いた画像情報をまとめた表である。１行目は人物情報につけられた人物ＩＤ、２行目はゼッケン番号である。３行目には人物情報の画像属性の持つ画像ＩＤの数をカウントした数を画像枚数として記載している。４行目は、人物情報の画像属性の持つ画像ＩＤの中で、最も撮影時刻が新しい画像の画像ＩＤである。５行目は、最新の画像の撮影時刻である。本実施形態では競技大会の開始時刻を「０：０」とした場合の時刻（つまり、「開始時刻からの経過時間」）である。
【００５４】
６行目は、最新の画像の撮影位置である。本実施形態では競技大会のスタート地点からの道程の長さである。例えば、人物ＩＤがＺ０１である人物は、ゼッケン番号が０２番であり、画像枚数２５枚、最新画像ＩＤはＩ７７である。ＩＤがＩ７７の画像は、撮影時刻が競技開始後１時間２７分で、撮影位置はスタート地点から２０ｋｍである。本実施形態では説明の都合上、参加者を６名としているがもちろんこの数字に限られるものではない。本システムは数十人、数百人あるいはそれ以上の規模の競技大会の撮影を想定している。
以下、撮影指示部２０５の処理について、競技大会１時間３０分経過時点でのデータ（表１５０１、１５０２に示すデータ）を入力の例として説明する。
【００５５】
図１６は、撮影指示部２０５の処理を詳細に説明したフローチャートである。
ステップＳ１６０１乃至Ｓ１６０４を画像処理装置１００で実施し、ステップＳ１６０５およびＳ１６０６を撮影装置１１０で実施する。
ステップＳ１６０１では、撮影指示の対象となる人物を特定する。例えば、人物情報の持つ画像ＩＤの数、すなわち写っている写真の枚数、が最も少ない人物を撮影指示の対象となる人物として特定、その人物の人物情報を取得する。図１５（Ｂ）の入力例では、画像枚数が７枚のＺ０３の人物情報を処理対象として取得し、ステップＳ１６０２へ進む。本実施形態では説明のために最も少ない人物としているが、撮影画像枚数属性の値が所定値以下という条件で複数の人物情報を取得してもよい。その場合は、ステップＳ１６０２以降の処理を取得した人物情報の数だけ繰り返す。
【００５６】
ステップＳ１６０２では、ステップＳ１６０１で取得した人物情報の持つ画像ＩＤから画像情報を取得し、その中で最も撮影時刻が新しい画像情報を取得する。画像中から識別されて作成された人物情報に関しては、必ず１つ以上の画像情報が得られる。図１５（Ｂ）より、Ｚ０３の人物ＩＤに紐付けられた最新画像ＩＤはＩ５３である。画像Ｉ５３の撮影時刻として１時間１２分、撮影位置として１２ｋｍを取得し、ステップＳ１６０３へ進む。
【００５７】
ステップＳ１６０３では、現在位置（以下「現在地点」とも記載する）を予測する。具体的には、ステップＳ１６０２で取得した画像情報の撮影位置の情報を取得し、現在位置を予測する。
予測された現在位置から、撮影指示対象人物が次に通過する撮影地点（次の撮影地点）を特定する。
その後、次の撮影地点を通過する時刻、または次の撮影地点を通過する時刻は現在時刻から何分何秒後かを予測する。
本実施形態では、まず、最新画像の撮影位置（スタート地点からの距離）を最新画像の撮影時刻（競技開始時刻からの経過時間）で除算することで平均速度を取得する。
次に、取得した平均速度と、競技開始時刻から現在時刻までの経過時間とを乗算することで現在地点を予測する。
通過予測時間は、「スタート地点から撮影地点までの距離をステップＳ１６０３で得た平均時速で除算して得られる時間」から「競技開始時刻から現在時刻までに経過した時間」を減算することによって算出すればよい。  ステップＳ１６０２で取得した最新画像の撮影位置１２ｋｍを撮影時刻の１時間１２分（１．２時間）で除算してやることで、平均速度として時速１０ｋｍが得られる。そして、平均速度と現在時刻１時間３０分（１．５時間）とを乗算することによって、人物ＩＤがＺ０３の人物の現在位置は１５ｋｍ地点であると予測され、ステップＳ１６０４へ進む。
この手法は一例であって、例えば該人物の写る全画像情報の撮影位置、撮影時刻から２次元の座標上にマッピングを行い、曲線近似式を求め、次の撮影地点を予測するなどの手法を用いてもよい。
【００５８】
ステップＳ１６０４では、画像処理装置１００がステップＳ１６０３で求めた現在地点を元に、人物ＩＤがＺ０３の人物が次に通過する撮影地点の撮影装置（以下「次の撮影装置」とも記載する）を特定し、この撮影装置に人物情報を送信する。図１５（Ａ）の表１５０１に示すデータから、次の撮影装置は撮影地点１６ｋｍにある撮影装置Ｅであることがわかる。よって、人物ＩＤがＺ０３である人物の人物情報を１６ｋｍ地点の撮影装置Ｅに送信し、ステップＳ１６０５へ進む。また、次の撮影装置に限らず今後通過が予測される撮影装置全てに送信してもよい。
【００５９】
ステップＳ１６０５では、撮影装置ＥがステップＳ１６０４で送信された人物情報を受信し、ステップＳ１６０６へ進む。
ステップＳ１６０６では、撮影装置ＥがステップＳ１６０５で受信した人物情報をＵＩ（ユーザインタフェース）に表示することによって、撮影装置Ｅの撮影者へ人物ＩＤがＺ０３である人物を撮影するように促し、処理を完了する。
【００６０】
図１７は、撮影装置１１０のＵＩであるディスプレイ１１５への通知の表示例である。図１７（Ａ）の１７０１は、ステップＳ１６０５で受信したＺ０３の人物情報である。人物情報として、本例では、上からゼッケン番号の０３、現在の撮影枚数、撮影地点の通過予測時間を表示している。「通過予測時間」は、現在時刻から通過予測時刻までの時間を意味し、通過予測時刻は「Ｚ０３の人物が、Ｚ０３の人物の人物情報を受信した撮影装置が配置されている撮影地点を通過すると予測される時刻」を意味する。
通過予測時間は、通過予測時刻から現在時刻を減算することによって算出することができる。
【００６１】
１７０２は、人物情報に紐付いた画像から、対象人物を切り抜きした画像を表示している。このような画像情報をステップＳ１６０４およびＳ１６０５で人物情報に加えて送受信することで、撮影者に撮影対象の情報を視覚的に通知することが可能となる。撮影者はこれらの情報を元に参加者を探し、対象が見つかれば重点的に撮影を行うことができる。
以上説明した通り、実施形態１によれば、撮影枚数に偏りがあっても、撮影者にその旨を通知して撮影を促し、撮影者が通知内容に従って撮影することによって撮影枚数の偏りを減らし、ユーザに十分な枚数の画像を提示することが可能となる。
【００６２】
［実施形態２］
実施形態１では、ステップＳ１６０１において、撮影枚数の量の少ない人物を撮影指示対象としたが、画像評価量算出部２０３で算出した画像評価量を用いて撮影指示対象を選んでもよい。
例えば、ぼけのない、つまり参加者の顔に焦点があっており、カメラや参加者の動きによってブレが生じていない画像を、成功画像として枚数を計算し、成功画像の枚数が最も少ない参加者を撮影が必要な対象として選択する。
【００６３】
図１８（Ａ）に示す表１８０１は、１時間３０分時点のデータをまとめた図１５（Ｂ）の表に、画像評価量算出部２０３で算出した評価量を追加したものである。４行目に、成功画像の枚数が追加されている。表１８０１の場合、成功画像の枚数の最も少ない人物Ｚ０６を撮影指示対象として選択する。
撮影指示対象となる人物を特定した後のステップＳ１６０２乃至ステップＳ１６０６の処理は実施形態１と同様のため説明を省略する。
【００６４】
その他、ブレやぼけ以外の指標、例えば人物が十分な大きさで写っている枚数が最も少ない人物を指示対象者として選んでもよい。
図１８（Ａ）の表１８０１の５行目は、人物がアップ、つまり大写しで写っている枚数の情報である。大写しであるかどうかは、顔検出時の顔領域の大きさ情報（幅、高さ）に基づいて判断すればよい。表１８０１の場合では、人物ＩＤがＺ０４である人物がアップ画像の枚数が最も少ないため、撮影指示対象の人物として特定される。撮影指示対象の人物が特定された後は、実施形態１と同様にステップＳ１６０２乃至ステップＳ１６０６の処理を行う。
図１７（Ｂ）は、アップ画像の枚数が最も少ないために、人物ＩＤがＺ０４である人物が撮影指示対象の人物として特定された場合の指示ＵＩを図示したものである。領域１７１１に、大写しでの撮影を促す指示メッセージとして「アップで写して下さい」が表示されている。
以上説明した通り、実施形態２によれば、写りのよい写真や、大写しの写真などの枚数に不足・偏りがある場合に、撮影者にその旨を通知して不足している写真の撮影を促すことが可能となる。
【００６５】
［実施形態３］
実施形態１では、撮影された画像枚数の少ない人物を撮影指示対象とした。また実施形態２では所定の画像（アップ画像など）の枚数が少ない人物を撮影指示対象とした。しかし、画像の総枚数が多く、かつ所定の画像（アップ画像など）が所定枚数以上あったとしても、複数の評価基準の中の特定の評価基準を満たす画像枚数が少なくフォトアルバムのテンプレートの画像位置の一部に画像が配置できないこともある。
このため、ステップＳ１６０１において、複数の評価基準のいずれかについて必須条件を満たす画像の枚数が所定値より少ない人物を、撮影指示対象として特定するとしてもよい。
【００６６】
図２１（Ａ）に示す表２１０１は、１時間３０分時点のデータをまとめた図１８（Ａ）の表に、各評価の必須条件を満たす画像の枚数を追加したものである。
図２１（Ａ）の表２１０１の１０行目は評価１の必須条件を満たす画像の枚数、１１行目は評価２の必須条件を満たす画像の枚数、１２行目は評価３の必須条件を満たす画像の枚数、１３行目は評価４の必須条件を満たす画像の枚数をそれぞれ示す。
【００６７】
図２１（Ｂ）に示す表２１０２は画像評価基準の一例である。必須条件の４行目は必要枚数である。
表２１０１の場合、人物ＩＤがＺ０１である人物の評価４の必須条件を満たす画像の枚数は「２」であるから、評価４の必要枚数「３以上」を満たさない。このため人物ＩＤがＺ０１である人物は、ステップＳ１６０１において、撮影指示対象の人物として特定される。
撮影指示対象の人物が特定された後は、実施形態１と同様にステップＳ１６０２乃至ステップＳ１６０６の処理を行う。
【００６８】
これにより、図１４（Ａ）に示すようなテンプレートを用いて、図１４（Ｂ）に示すようなフォトアルバムを作成するために、様々な評価基準を満たす画像を参加者に提示する場合に、特定の評価基準を満たす画像が不足するという事態の発生を防ぐことができる。
以上説明した通り、実施形態３によれば、フォトアルバムのテンプレートの各画像位置に配置する画像が必要枚数未満となることを回避することができる。
【００６９】
［実施形態４］
実施形態１乃至実施形態３では、現在地点を割り出し、次に通過する撮影装置にて撮影指示を行ったが、不足する画像に対して、好適な撮影が可能な撮影装置に撮影指示をさせてもよい。
図１８（Ａ）の表１８０１の６行目は、ランドマークが写った画像の枚数の情報である。実施形態１および２におけるステップＳ１６０１の処理で、ランドマークが撮影された画像の枚数の最も少ない人物を撮影指示対象として選択する。
【００７０】
図１８（Ｂ）の表１８０２は、図１５（Ａ）の表１５０１の４行目にランドマーク情報を付加したものである。「○」はランドマークを撮影可能な撮影地点であることを示し、「×」はランドマークを撮影不可能な撮影地点であることを示す。ランドマークは撮影場所によって、写り込むか否かがわかるため、事前に撮影装置ごとに情報を持たせておくことで、撮影された画像がランドマークを含む画像かを判別することができる。もちろん、公知の画像オブジェクト認識技術などを用いて、ランドマークを認識して情報を付加してもよい。
【００７１】
表１８０１の例では、ランドマークが撮影された画像が最も少ない人物Ｚ０５が撮影指示対象として選択される。ステップＳ１６０２では、実施形態１と同様に人物Ｚ０５の画像を取得し、ステップＳ１６０３ではＺ０５と紐付けられた最も新しい画像Ｉ６５の撮影時刻、撮影位置から現在位置を予測する。計算の結果１時間３０分時点では、１４．４ｋｍ地点にいると予測される。
【００７２】
ステップＳ１６０４では、実施形態１と同様の方法で次の撮影装置を求めると撮影地点１６ｋｍにある撮影装置Ｅとなる。しかしＥ地点にはランドマークが存在しないため、ランドマーク撮影可能な次の撮影地点は撮影地点２０ｋｍにある撮影装置Ｆとなり、撮影装置Ｆに人物情報を送信する。
本実施形態で説明した評価は一例であり、その他の方法で得点付けされた画像の枚数に基づいて、好適な撮影可能な撮影装置へ撮影指示を行ってもよい。
以上説明した通り、実施形態４によれば、ランドマークなど特定の撮影装置でのみ撮影可能な画像を、適切な撮影装置にて通知することで撮影を促すことが可能となる。
【００７３】
［実施形態５］
実施形態１では撮影者にＵＩによって通知するのみであったが、人物情報のもつ特徴量を用いて、撮影装置１１０の被写体検出部２１４が自動で人物を検出・認識してもよい。
図１９は、競技大会中に撮影装置１１０にて、カメラユニット１１４が取得した画像をディスプレイ１１５に表示している例である。本実施形態ではカメラユニット１１４は、定期的に外光を取得し、ディスプレイ１１５上に表示されている。撮影者がディスプレイ１１５を確認しながら操作ユニット１１６でシャッター操作を行うと、ＣＰＵ１１１で画像符号化などの処理を行い、記録メディア１１３に保存する仕組みになっている。
【００７４】
図２０は、図１６のステップＳ１６０５および、その後の処理を示したフローチャートである。図１９（Ａ）の画像を入力例として、図２０のフローチャートを用いて処理の詳細を説明する。
ステップＳ１６０５で、撮影装置は撮影指示対象の人物情報を受信し、ステップＳ２００１へ進む。本実施形態では、人物ＩＤがＺ０６である人物が撮影指示対象であるとする。
【００７５】
ステップＳ２００１では、図１９（Ａ）の１１５のライブ画像が取得され、ステップＳ２００２へ進む。
ステップＳ２００２では、顔検出の処理を行い、ライブ画像１１５から結果として３つの顔領域１９０１、１９０２、１９０３を検出し、ステップＳ２００３へ進む
ステップＳ２００３では、被写体検出部２１４によって検出された顔領域ごとに処理を行う。顔領域１９０１、１９０２、１９０３の順に処理を行い、まず顔領域１９０１を処理対象として、顔領域１９０１の特徴量が撮影指示対象（人物ＩＤがＺ０６の人物）の人物情報の特徴量と一致するかを判断する。一致しなければ、次の顔領域１９０２を処理対象としてステップＳ２００３の処理を再度実行する。「特徴量が一致する」とは、２つの特徴量の差が所定の閾値以内であることを意味する。
２度目のステップＳ２００３では、顔領域１９０２の特徴量と、撮影指示対象（人物ＩＤがＺ０６の人物）の人物情報の特徴量が一致するため、ステップＳ２００４へ進む。
ステップＳ２００４では、ＵＩでの強調表示や撮影設定などを行い、ステップＳ２００１へ進み、次のタイミングの画像に対しても同様の処理を行う。
【００７６】
図１９（Ｂ）は、撮影指示対象であると判断された顔領域１９０２に、要撮影被写体であることを示す「要撮影者」という文字列をガイド１９１１と共に表示した例である。この様に自動で撮影指示対象の認識を行い、ガイドを表示することで、撮影者が撮影対象者を発見しやすくなるように支援することができる。
また、ガイド表示は一例であり、その他の処理を行ってもよい。
例えば、撮影指示対象を認識した際に、自動焦点調節部２１５によって撮影指示対象に合焦したり、自動露出制御部２１６によって露出合わせを行ったり、連写モードに変更することで失敗写真を減らしたり、撮影装置が自動で撮影を行ってもよい。
以上説明した通り、実施形態５によれば、撮影指示対象者が撮影可能なことを提示し、重点的に撮影をすることが容易にできる。
【００７７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７８】
１００  画像処理装置
１０１  ＣＰＵ
１０２  メモリ
１０３  ハードディスク
１０４  ネットワークＩ／Ｆ
１１０  撮影装置
１１１  ＣＰＵ
１１２  メモリ
１１３  記録メディア
１１４  カメラユニット
１１５  ディスプレイ
１１６  操作ユニット
１１７  ネットワークＩ／Ｆ
１２０  ネットワーク
２００  撮影部
２０１  撮影制御部
２０２  被写体特定部
２０３  画像評価量算出部
２０４  画像選択部
２０５  撮影指示部
２０６  記憶部
２１３  表示部
２１４  被写体検出部
２１５  自動焦点調節部
２１６  自動露出制御部
２１７  フレーミング支援部
【図１】
2015128259.tif 000003
【図２】
2015128259.tif 000004
【図３】
2015128259.tif 000005
【図４】
2015128259.tif 000006
【図５】
2015128259.tif 000007
【図６】
2015128259.tif 000008
【図７】
2015128259.tif 000009
【図８】
2015128259.tif 000010
【図９】
2015128259.tif 000011
【図１０】
2015128259.tif 000012
【図１１】
2015128259.tif 000013
【図１２】
2015128259.tif 000014
【図１３】
2015128259.tif 000015
【図１４】
2015128259.tif 000016
【図１５】
2015128259.tif 000017
【図１６】
2015128259.tif 000018
【図１７】
2015128259.tif 000019
【図１８】
2015128259.tif 000020
【図１９】
2015128259.tif 000021
【図２０】
2015128259.tif 000022
【図２１】
2015128259.tif 000023