(57)【要約】【課題】従来、単一の被写体に対して顔認識を行うことにより特定した個人に対してピントを合わせて撮影を行うため、複数の被写体を撮影した場合、被写体同士が重なる、あるいはピントが被写体に合わないという課題がある。【解決手段】情報処理装置は、被写体検出部が検出した被写体数と頭部検出部が検出した頭部数から、被写体の重なりを判断し、その後に被写体の頭部位置の隣接間隔を判断する。そして、情報処理装置は、被写体の進行方向に基づいた構図から焦点位置を設定する。撮影装置は、情報処理装置の指示に基づき撮影を行う。【選択図】図１
2018142944.tif 000002
【特許請求の範囲】
【請求項１】
静止画または動画から被写体の動きを検出する第１の検出範囲と、
前記静止画または前記動画から前記被写体の重なりを検出する第２の検出範囲と、を設定する検出範囲設定手段と、
前記静止画または前記動画を取得する画像取得手段と、
前記検出範囲設定手段によって設定された前記第１の検出範囲内において前記被写体の動きを検出し、当該検出した第１の被写体の数をカウントする第１の検出手段と、
前記検出範囲設定手段によって設定された前記第２の検出範囲内において前記被写体の重なりに基づき第２の被写体の数と位置を検出し、当該検出した前記第２の被写体の数をカウントする第２の検出手段と、
焦点位置を決定するための基準点を前記第２の検出手段が検出した複数の前記第２の被写体の位置に応じて算出する算出手段と、
前記被写体の進行方向と前記基準点に基づき、前記被写体を捉える構図から前記焦点位置を設定する焦点位置設定手段と、
前記第１の検出手段によって検出された前記第１の被写体の数と、前記第２の検出手段によって検出された前記第２の被写体の数とを比較し、所定の条件を満たすと判定した場合に画像の撮影または保存を制御する制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記検出範囲設定手段は、撮影装置の撮影領域外に前記第１の検出範囲を設定すること特徴とする請求項１に記載の情報処理装置。
【請求項３】
静止画または動画から被写体の動きを検出する第１の検出範囲と、
前記静止画または前記動画から前記被写体の重なりを検出する第２の検出範囲と、を設定する検出範囲設定ステップと、
前記静止画または前記動画を取得する画像取得ステップと、
前記検出範囲設定ステップにて設定した前記第１の検出範囲内において前記被写体の動きを検出し、当該検出した第１の被写体の数をカウントする第１の検出ステップと、
前記検出範囲設定ステップにて設定した前記第２の検出範囲内において前記被写体の重なりに基づき第２の被写体の数と位置を検出し、当該検出した前記第２の被写体の数をカウントする第２の検出ステップと、
焦点位置を決定するための基準点を前記第２の検出ステップで検出した複数の前記第２の被写体の位置に応じた算出する算出ステップと、
前記被写体の進行方向と前記基準点に基づき、被写体を捉える構図から前記焦点位置を設定する焦点位置設定ステップと、
前記第１の検出ステップによって検出された前記第１の被写体の数と、前記第２の検出ステップによって検出された前記第２の被写体の数とを比較し、所定の条件と満たすと判定した場合に画像の撮影または保存を制御する制御ステップと、
を備えることを特徴とする情報処理方法。
【請求項４】
請求項１または請求項２に記載の情報処理装置の各手段をコンピュータに機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツなどの場面において、動きがある被写体を撮影するための情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
マラソン大会等でランナーを撮影する場合、ベストショットの撮影方法がいくつか提案されている。なお、ベストショットとは、例えば、被写体が画角の中心に映っている（良いアングル）かつ、ピントが被写体にあっている写真のことである。
【０００３】
例えば、撮影時にフレーム内の画像の人物の顔を検出し、顔の特徴データを抽出して、顔認識テーブルの特徴データと比較し、類似度の最も大きな顔認識レコードに登録されている個人を検出された顔の人物として特定する。その後、その顔認識レコードに登録されている画質パラメータを撮影パラメータとして設定して撮影を実行することにより、特定された人物個人の属性（例えば、年代、性別、人種、国籍等）情報に応じた撮影を行なう方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７４２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、単一の被写体に対して顔認識により特定した個人にピントを合わせて撮影を行うため、複数の被写体を撮影した場合、被写体同士が重なる、あるいはピントが被写体に合わないという課題がある。
【０００６】
上記の課題に鑑みて、本発明は、顔認識ではなく、人物の向きや姿勢変動による形状変化や個人間の差異が少ない人物の肩から頭部にかけた形状の検出（以下、頭部検出）を行い、検出した被写体の数に基づき被写体の重なりを判断し、被写体の進行方向に基づいた構図から焦点位置を設定することで、被写体の重なりを低減しピントがあった撮影をすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１に記載の情報処理装置は、静止画または動画から被写体の動きを検出する第１の検出範囲と、前記静止画または前記動画から前記被写体の重なりを検出する第２の検出範囲と、を設定する検出範囲設定手段と、前記静止画または前記動画を取得する画像取得手段と、前記検出範囲設定手段によって設定された前記第１の検出範囲内において前記被写体の動きを検出し、当該検出した第１の被写体の数をカウントする第１の検出手段と、前記検出範囲設定手段によって設定された前記第２の検出範囲内において前記被写体の重なりに基づき第２の被写体の数と位置を検出し、当該検出した前記第２の被写体の数をカウントする第２の検出手段と、焦点位置を決定するための基準点を前記第２の検出手段が検出した複数の前記第２の被写体の位置に応じて算出する算出手段と、前記被写体の進行方向と前記基準点に基づき、前記被写体を捉える構図から前記焦点位置を設定する焦点位置設定手段と、前記第１の検出手段によって検出された前記第１の被写体の数と、前記第２の検出手段によって検出された前記第２の被写体の数とを比較し、所定の条件を満たすと判定した場合に画像の撮影または保存を制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被写体の頭部検出を行い、検出した被写体の数に基づき被写体の重なりを判断し、被写体の進行方向に基づいた構図から焦点位置を設定して撮影することで、被写体の重なりを低減しピントがあった撮影を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る撮影制御システムの一例の構成を概略的に示すブロック図である。
【図２】図１に示す被写体検出設定部１０１における撮影設定の一例を示す図である。
【図３】図１に示す被写体検出部１０２における被写体検出の一例を示す図である。
【図４】図１に示す頭部検出部１０３における頭部検出の一例を示す図である。
【図５】図１に示す焦点設定部１０５における焦点位置設定の一例を示す図である。
【図６】図１に示す撮影装置３００における撮影画像の一例を示す図である。
【図７】図１に示す撮影制御装置１００における被写体の検出および撮影制御指示について説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態による撮影制御システムの一例について図面を参照して説明する。
【００１１】
図１は、本発明の実施形態に係る撮影制御システムの一例の構成を概略的に示すブロック図である。
【００１２】
図示の撮影制御システムにおいては、撮影制御装置１００が通信インターフェース（例えば、ＵＳＢまたはＨＤＭＩ（登録商標））を介して動画像入力装置２００、撮影装置３００、およびシャッタ制御装置４００に接続されている。なお、通信インターフェースをＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）として説明するが、これに限定したものではなく、各装置が図示の構成のように接続できれば、ＵＳＢ以外の通信インターフェースでもよい。
【００１３】
＜撮影制御装置１００の構成＞
撮影制御装置１００は、例えば、パーソナルコンピュータ（ＰＣ）や携帯端末等の装置であって、ハードウェア構成として、ＣＰＵ１５１、入力部１５２、表示部１５３、メモリ１５４、通信Ｉ／Ｆ部１５５、記憶部１１０を備え、これらハードウェアは内部バスで相互に接続されている。
【００１４】
ＣＰＵ１５１は撮影制御装置１００の全体の制御を司る。入力部１５２は、例えば、キーボード、マウス、タッチパネルを備えている。表示部１５３として、例えば、液晶モニタが用いられる。メモリ１５４はＲＡＭおよびＲＯＭ等である。
【００１５】
通信Ｉ／Ｆ部１５５は、ＵＳＢに接続するためのインターフェースであって、インターフェースを介して動画像入力装置２００、撮影装置３００、シャッタ制御装置４００と接続される。
【００１６】
記憶部１１０には、ソフトウェアであるオペレーティングシステム（以下「ＯＳ」と呼ぶ：不図示）、被写体検出設定部１０１、被写体検出部１０２、頭部検出部１０３、動画像入力部１０４、焦点設定部１０５、およびシャッタ制御部１０６が記憶されるとともに、他の機能に係るソフトウェアが記憶されている。なお、これらソフトウェアはメモリ１５４に読み出されて、ＣＰＵ１５１の制御に従い動作する。
【００１７】
被写体検出設定部１０１は、入力部１５２を介した操作によって、後述する基準画像の設定、動画像入力装置２００の動体検出範囲と頭部検出範囲の設定を行う。基準画像とは、撮影装置３００で撮影した際の背景画像である。また、被写体検出設定部１０１の撮影設定画面２０５については図２を用いて後述する。
【００１８】
被写体検出部１０２は、後述する動画像入力部１０４からフレーム単位の静止画像を取得し、その静止画像内における被写体６００の数と進行方向の検出を行う。被写体６００の検出については図３を用いて後述する。
【００１９】
頭部検出部１０３は、後述する動画像入力部１０４からフレーム単位の静止画像を取得し、その静止画像内における被写体の肩から頭部にかけた形状の検出を行う。また、頭部検出部１０３は、検出した頭部の数から複数の被写体の重なりを判定する。被写体の頭部検出については図４を用いて後述する。
【００２０】
動画像入力部１０４は、動画像入力装置２００からフレーム単位の静止画を被写体検出部１０２と頭部検出部１０３へ入力する。なお、動画像入力部１０４は、動画像入力装置２００からの入力を動画として保存しておくこともできる。
【００２１】
焦点設定部１０５は、通信Ｉ／Ｆ部１５５を経由して撮影装置３００に焦点位置を設定する。なお、焦点とは、オートフォーカス機能を用いてピントを合わせるためのポイント、目印のことで、フォーカスポイントともいう。
【００２２】
シャッタ制御部１０６は、撮影装置３００のレリーズ操作または、シャッタを切る（シャッタを押す）操作と同様のコマンドを通信Ｉ／Ｆ部１５５を介してシャッタ制御装置４００に送信する
【００２３】
＜動画像入力装置２００の構成＞
動画像入力装置２００は、被写体数と頭部数をカウントするための動画像を取得するための装置であり、例えば、デジタルビデオカメラやＵＳＢカメラである。ハードウェア構成として、ＣＰＵ２５１、入力部２５２、表示部２５３、メモリ２５４、イメージセンサ２５５、通信Ｉ／Ｆ部２５６および記憶部２５７を備え、これらハードウェアは内部バスで相互に接続されている。記憶部２５７は、画像入力部２５８を備えている。なお、本実施形態では、動画像入力装置２００をデジタルビデオカメラとして説明する。
【００２４】
ＣＰＵ２５１は動画像入力装置２００全体の制御を司る。入力部２５２は、例えば、操作ボタンやタッチパネルを備えている。表示部２５３として、例えば、液晶モニタが用いられる。メモリ２５４はＲＡＭおよびＲＯＭ等である。イメージセンサ２５５は、ＣＭＯＳなどの撮像素子である。
【００２５】
通信Ｉ／Ｆ部２５６は、ＵＳＢに接続するためのインターフェースであって、撮影制御装置１００、撮影装置３００、および、シャッタ制御装置４００と接続するためのインターフェースである。
【００２６】
画像入力部２５８は、動画像入力装置２００（デジタルビデオカメラ）が備えるイメージセンサ２５５から連続した静止画像を生成する。
【００２７】
なお、動画像入力装置２００は、この通信Ｉ／Ｆ部２５６を介して、画像入力部２５８によって生成されたフレーム単位の静止画像を撮影制御装置１００に送信（入力）する。
【００２８】
＜撮影装置３００の構成＞
撮影装置３００は、例えば、静止画を記録するデジタルカメラであって、ハードウェア構成として、ＣＰＵ３５１、入力部３５２、表示部３５３、メモリ３５４、イメージセンサ３５５、通信Ｉ／Ｆ部３５６、リモコン端子Ｉ／Ｆ部３５７および記憶部３５０を備えている。さらに、ＡＦ制御部３０１、撮影制御部３０２および画像格納部３０３を備えている。
【００２９】
記憶部３５０には、ソフトウェアであるＯＳ（不図示）やＡＦ制御部３０１、撮影制御部３０２、画像格納部３０３が記憶されるとともに、他の機能に係るソフトウェアが記憶されている。なお、これらソフトウェアはメモリ３５４に読み出されて、ＣＰＵ３５１の制御に従い動作する。
【００３０】
ＣＰＵ３５１は撮影装置３００全体の制御を司る。入力部３５２は、例えば、操作ボタンを備えている。表示部３５３として、例えば、液晶モニタが用いられる。メモリ３５４はＲＡＭおよびＲＯＭ等である。イメージセンサ３５５は、ＣＭＯＳなどの撮像素子である。
【００３１】
通信Ｉ／Ｆ部３５６は、ＵＳＢに接続するためのインターフェースであって、撮影制御装置１００と接続される。撮影装置３００は、通信Ｉ／Ｆ部３５６を介して撮影制御装置１００と焦点位置に関する情報や撮影画像の送受信を行う。
【００３２】
リモコン端子Ｉ／Ｆ部３５７は、シャッタ制御装置４００と接続するためのインターフェースであって、シャッタ制御装置４００と接続される。さらに、リモコン端子Ｉ／Ｆ部３５７はリモコン端子（例：Ｎ３端子）のレリーズ信号回路（不図示）およびシャッタ切り信号回路（不図示）を有し、リモコン端子接続用ケーブルを介してシャッタ制御装置４００の汎用Ｉ／Ｏ部４０２と接続される。
【００３３】
ＡＦ制御部３０１は、被写体と撮影制御装置１００との間で設定される焦点位置に基づき、撮影装置３００の撮影領域内の焦点を制御する。
【００３４】
撮影制御部３０２は、イメージセンサ３５５から画素画像を取得し、撮影する。なお、撮影制御部３０２は、連続撮影された画像を取得してもよい。また、撮影制御部３０２は、撮影制御装置１００が動画像入力部１０４に保存した動画から、所定のフレームを静止画として切り出すことも可能である。
【００３５】
画像格納部３０３は、後述する撮影制御部３０２によって撮影または切り出された撮影画像を所定の画像フォーマット（例えば、ＪＰＥＧ形式など）で記録する。
【００３６】
＜シャッタ制御装置４００の構成＞
シャッタ制御装置４００は、例えば、リモコンのような遠隔操作によって離れた場所にある装置を操作・制御するための装置である。
【００３７】
通信Ｉ／Ｆ部４０１は、ＵＳＢに接続するためのインターフェースであって、撮影制御装置１００と接続される。シャッタ制御装置４００は、撮影制御装置１００との間で撮影装置３００のレリーズ操作およびシャッタ切り操作と同様のコマンドデータの送受信を行う。
【００３８】
汎用Ｉ／Ｏ部４０２は、撮影装置３００のリモコン端子Ｉ／Ｆ部３０４とインターフェースを介して接続され、リモコン端子Ｉ／Ｆ部３０４との間で行われるレリーズ信号およびシャッタ切り信号のデジタル信号を制御する。
【００３９】
＜被写体検出設定部１０１における撮影設定について＞
図２は、図１に示す被写体検出設定部１０１における撮影設定の一例を示す図である。なお、本実施形態では、被写体６００としてランナーが３人（被写体６００Ａ、被写体６００Ｂ、被写体６００Ｃ）いる場合について例示する。
【００４０】
図２に示す撮影設定画面２０５は、基準画像設定領域２１０、被写体検出設定領域２２０、頭部検出設定領域２３０、自動撮影開始ボタン２４１、自動撮影終了ボタン２４２、動画像領域２５０、基準画像領域２６０から構成される。また、図２は、入力部１５２を介して設定された被写体検出範囲２７０、頭部検出範囲２８０、被写体６００を表示しているものとして説明する。
【００４１】
基準画像設定領域２１０は、基準画像撮影ボタン２１１および測距点表示領域２１２から構成される。
【００４２】
基準画像撮影ボタン２１１は、撮影装置３００から撮影画像を取得し、その撮影画像を基準画像として基準画像領域２６０に設定するためのボタンである。なお、基準画像の設定については後述する。
【００４３】
測距点表示領域２１２は、測距点の表示を制御するトグルボタンやトグルスイッチである。なお、測距点表示の設定（ＯＮ／ＯＦＦ）ができれば、トグルボタンやトグルスイッチでなくてもよい。
【００４４】
被写体検出設定領域２２０は、被写体検出範囲領域２２１および被写体検出数領域２２２から構成される。
【００４５】
被写体検出範囲領域２２１は、入力部１５２を介して設定された被写体検出範囲２７０の各座標を表示する。なお、この各座標は、被写体検出範囲２７０の矩形の４点を示すものでもよいし、矩形枠の対角に位置する２点の座標のＸ座標とＹ座標それぞれを示すものでもよい。
【００４６】
被写体検出数領域２２２は、被写体検出範囲２７０に進入した被写体６００の数による判定値（閾値）を設定し、表示する。判定値（閾値）は、複数の被写体を対象とするため２以上となる。なお、図２の被写体検出数領域２２２は、閾値を３人から１０人として設定している場合の例示である。
【００４７】
頭部検出設定領域２３０は、頭部検出範囲領域２３１、頭部検出数領域２３２、および頭部間隔領域２３３から構成される。
【００４８】
頭部検出範囲領域２３１は、頭部検出範囲２８０の各座標を表示する。なお、この各座標は、頭部検出範囲２８０の矩形の４点を示すものである。また、この各座標は、頭部検出範囲２８０の矩形の４点を示すものでもよいし、矩形枠の対角に位置する２点の座標のＸ座標とＹ座標それぞれを示すものでもよい。
【００４９】
頭部検出数領域２３２は、被写体検出範囲２７０内で検出した被写体検出数と頭部検出範囲２８０内で検出した頭部検出数との差を閾値として表示する。なお、図２の頭部検出数領域２３２は、閾値を同数から＋１人として設定している場合の例示である。
【００５０】
頭部間隔領域２３３は、頭部検出範囲２８０内で検出した被写体６００の複数の頭部の隣接間隔を表示する。ここで隣接間隔とは、頭部検出範囲２８０内で水平方向に隣り合った被写体間の距離のことである。これにより、頭部検出部１０３が、ランナーが３人の場合、被写体６００Ａと被写体６００Ｂ、被写体６００Ｂと被写体６００Ｃの隣接間隔を判定する。なお、図２の頭部間隔領域２３３は、間隔を５０ピクセルから１００ピクセルとして設定している場合の例示である。
【００５１】
自動撮影開始ボタン２４１は、撮影装置３００に自動撮影を開始させるためのボタンであって、押下されることによって、撮影装置３００に撮影開始を要求する。
【００５２】
自動撮影終了ボタン２４２は、撮影装置３００に自動撮影を終了させるためのボタンであって、押下されることによって、撮影装置３００に撮影終了を要求する。
【００５３】
なお、自動撮影開始ボタン２４１の押下から自動撮影終了ボタン２４２の押下までの間、撮影領域内で被写体６００を検出した場合、撮影装置３００は、検出した被写体６００に対して図２で説明した撮影設定に従った制御に基づいた撮影を継続する。なお、撮影装置３００によって撮影を継続する期間を自動撮影期間という。
【００５４】
動画像領域２５０は、動画像入力装置２００から取得した動画像を表示する領域である。
【００５５】
基準画像領域２６０は、撮影装置３００から取得した撮影画像を基準画像として表示する領域である。
【００５６】
被写体検出範囲２７０は、入力部１５２を介して被写体６００の動きを検出するための範囲を設定し、表示されたものである。なお、被写体検出部１０２は、この被写体検出範囲２７０内において、被写体６００の動体検出を行う。本実施形態の動体検出は、被写体６００の動体を被写体検出範囲２７０として設定された範囲の動画像を撮影する動画像入力装置２００から動画像入力部１０４を介して連続したフレーム単位の画像を読み込み、背景差分画像から所定の動体領域を検出対象とし、被写体６００を検出することとして説明する。また、被写体検出範囲２７０を図３にて後述する撮影領域３１０外に設定してもよい。このとき、所定の動体領域を検出対象とすることで、沿道などにいる動きの少ない観客ではなく、動きの大きい撮影領域３１０に進入するランナーを被写体６００として特定することができる。
【００５７】
頭部検出範囲２８０は、入力部１５２を介して被写体６００の頭部を検出するための範囲を設定し、表示されたものである。なお、頭部検出部１０３は、この頭部検出範囲２８０内において、被写体６００の頭部検出を行う。
【００５８】
さらに、基準画像領域２６０、被写体検出範囲２７０、頭部検出範囲２８０は、各矩形の任意の位置（例えば、矩形枠）を操作することによって、矩形を上下左右に移動することや拡縮することができる。
【００５９】
ここからは、基準画像撮影ボタン２１１が押下された場合について説明する。基準画像設定領域２１０は、撮影制御装置１００または撮影装置３００の操作に応じて、被写体６００が通過する位置に焦点距離を定める。
【００６０】
撮影制御装置１００が備える被写体検出設定部１０１は、基準画像撮影ボタン２１１が押下された場合、シャッタ制御部１０６を介して基準画像を撮影装置３００に撮影させて、撮影装置３００から取得した撮影画像を基準画像として基準画像領域２６０に表示する。なお、基準画像とは、撮影装置３００で撮影した際の背景画像のことである。
【００６１】
続いて、撮影制御装置１００が備える被写体検出設定部１０１は、動画像入力装置２００からフレーム単位の静止画を取得し、基準画像領域２６０に表示した基準画像に対してオーバーラップした画像を動画像領域２５０に表示する。
【００６２】
なお、基準画像領域２６０の矩形枠を操作して上下、左右に移動してフレーム単位の静止画像と基準画像の背景が重なるように調節することができる。
【００６３】
続いて、被写体検出設定部１０１は、被写体検出範囲２７０の矩形枠を操作して上下、左右に移動して動体を捉える（通過する）検出範囲（第１の検出範囲）を設定し、被写体検出範囲領域２２１に被写体検出範囲２７０の各座標を表示する。
【００６４】
さらに、被写体検出設定部１０１は、被写体検出範囲２７０に占める被写体検出数を設定し、表示する。
【００６５】
続いて、被写体検出設定部１０１は、頭部検出範囲２８０の矩形枠を操作して上下、左右に移動して頭部を捉える（通過する）検出範囲（第２の検出範囲）を設定し、頭部検出範囲領域２３１に頭部検出範囲２８０の各座標を表示する。なお、頭部を捉える（通過する）検出範囲（第２の検出範囲）は、頭部を捉えることにより、被写体の重なりに基づき被写体のまとまりの数を検出する、あるいは被写体の肩から頭部にかけた形状を検出するための範囲である。
【００６６】
さらに、被写体検出設定部１０１は、被写体検出範囲２７０内で検出した被写体検出数と頭部検出範囲２８０内で検出した頭部数の閾値（被写体単位）を表示する。
【００６７】
さらに、被写体検出設定部１０１は、頭部検出範囲２８０内で検出した複数の頭部の隣接間隔（ピクセル単位）を表示する。
【００６８】
なお、被写体検出範囲２７０および頭部検出範囲２８０を矩形と説明したが、矩形に限らず、他の形状でもよい。
【００６９】
また、被写体検出範囲２７０、頭部検出範囲２８０は入力部１５２を介した操作によって、矩形枠を上下左右に移動することや拡縮することができると説明したが、被写体検出設定領域２２０、頭部検出設定領域２３０に数値を入力することで、被写体検出範囲２７０、頭部検出範囲２８０それぞれの設定や操作（矩形枠の移動や拡縮）を行ってもよい。
【００７０】
＜被写体検出部１０２における被写体検出について＞
図３は、図１に示す被写体検出部１０２における被写体検出の一例を示す図である。
【００７１】
なお、被写体検出範囲２７０（第１の検出範囲）、および、被写体６００は、図２を用いて説明したので、説明を省略する。
【００７２】
被写体検出部１０２は、被写体６００の動体を被写体検出範囲２７０で設定した範囲の動画像を撮影する動画像入力装置２００から動画像入力部１０４を介して連続したフレーム単位の画像を読み込み、背景差分画像から動体領域を検出対象とし、被写体６００を検出する。
【００７３】
被写体検出部１０２は、動体領域から被写体検出範囲２７０内に進入してきた移動体（被写体）の数をカウントする。また、被写体検出部１０２は、動体領域から被写体６００の進行方向も検出する。
【００７４】
被写体検出部１０２は、被写体検出数領域２２２で設定した範囲内の被写体６００をカウントした場合、その被写体６００の数を記憶する。本実施形態は、被写体６００を３名のランナーとしてそれぞれカウントし記憶することとして説明する。
【００７５】
被写体検出部１０２は、被写体検出数領域２２２で設定した範囲内の被写体６００を検出しなかった場合、動画像入力装置２００から動画像入力部１０４を介して次のフレーム単位の画像を読み込み、被写体検出処理を継続する。被写体検出部１０２は、被写体検出数領域２２２で設定した範囲内の被写体６００を検出した場合、被写体６００の頭部を検出するための頭部検出を行う。
【００７６】
なお、動画像入力装置２００を用いて、被写体６００の数を検出すると例示したが、動画像による被写体６００の検出ではなく、被写体検出範囲２７０に対応する位置にセンサー装置２５９などを設置し、センサー装置２５９によって進入した被写体６００を検出するようにしてもよい。
【００７７】
＜頭部検出部１０３における頭部検出について＞
撮影制御装置１００が備える頭部検出部１０３は、動画像入力装置２００から動画像入力部１０４を介してフレーム単位の画像を読み込み、頭部検出範囲２８０内で頭部検出を行い、前景領域と背景領域の境界線から頭部外輪郭形状（人物の肩から頭部にかけた形状のエッジパターン）を生成して個々の頭部を検出してカウントする。頭部検出を行うことで、複数の被写体６００の重なりを検出する。
【００７８】
頭部検出部１０３は、被写体検出数と頭部検出数との差が頭部検出数領域２３２で設定した範囲内（閾値）であるかを判断する。
【００７９】
続いて、頭部検出部１０３は、頭部検出位置が頭部間隔領域２３３で設定した隣接間隔であることを判断する。その頭部検出位置を記憶する。本実施形態は、頭部間隔領域２３３で設定した隣接間隔は５０ピクセルから１００ピクセルの範囲内のフレーム画像を選択して被写体６００Ａ、被写体６００Ｂ、被写体６００Ｃの頭部検出位置を記憶する。
【００８０】
頭部検出部１０３は、被写体検出数と頭部検出数の差が頭部検出数領域２３２で設定した閾値の範囲外の場合、動画像入力装置２００から入力部を介して次のフレーム単位の画像を読み込み、頭部検出処理を継続する。あるいは、被写体６００Ａと被写体６００Ｂ、または被写体６００Ｂと被写体６００Ｃの隣接間隔が頭部間隔領域２３３で設定した範囲外の場合、動画像入力装置２００から入力部を介して次のフレーム単位の画像を読み込み、頭部検出処理を継続する。
【００８１】
頭部検出部１０３は、被写体検出数と頭部検出数の差が頭部検出数領域２３２で設定した閾値の範囲内であって、被写体６００Ａと被写体６００Ｂ、かつ被写体６００Ｂと被写体６００Ｃの隣接間隔が頭部間隔領域２３３で設定した範囲内の場合、撮影装置３００へ焦点位置を設定するための焦点位置設定処理を行う。なお、頭部検出範囲２８０内に進行方向に向かって先頭で進入してきた被写体６００Ａと、後方の被写体６００Ｃとの間隔は、図２で説明した撮影設定画面２０５の各設定により撮影画像内に納まるよう設定・調整し、撮影が行われる。
【００８２】
また、頭部検出部１０３の頭部検出処理は、動画像入力装置２００および撮影装置３００に雲台装置（不図示）を装備して、被写体６００を追尾制御した上で、頭部検出処理を行ってもよい。雲台装置により追尾制御することで、被写体６００が重ならないタイミングで撮影することができる。
【００８３】
図４は、図１に示す頭部検出部１０３における頭部検出の一例を示す図である。図４（ａ）〜図４（ｃ）は、動画像入力部１０４を介してフレーム単位の画像（フレーム画像）を読み込み、撮影領域３１０内において被写体６００を捉えた図である。撮影領域３１０は、図２で説明した各領域に基づき撮影を行うための領域である。なお、撮影領域３１０は、その他の領域と重なっていてもよい。また、本実施形態は、閾値を同数から＋１人として設定している場合について説明する。このため、頭部検出の結果に基づき、被写体検出数と頭部検出数が閾値内（同数から＋１人）であることを判断する。
【００８４】
また、図２で説明した頭部検出範囲２８０は、説明を省略する。
【００８５】
頭部検出部１０３は、図４（ａ）に例示したフレーム画像１は、被写体６００Ｃは頭部形状を検出するが、被写体６００Ａと被写体６００Ｂが重なっているため、被写体６００Ａと被写体６００Ｂを一つのまとまりとして認識し頭部形状を検出できず、被写体検出数と比較して閾値の範囲外のため、次のフレーム画像２を読み込む。ここで、被写体のまとまりとは、複数の被写体の一部が重なることにより、複数の被写体を一つの集合として認識することをいう。
【００８６】
頭部検出部１０３は、図４（ｂ）に例示したフレーム画像２は、被写体６００Ａ、被写体６００Ｂ、被写体６００Ｃは頭部形状を検出する。一方、被写体６００Ａと被写体６００Ｂの頭部検出位置における２点間の距離が頭部間隔領域２３３で設定した隣接間隔（閾値）の範囲外のため、被写体が重なっている（一つのまとまり）と判断し、撮影ポイント外と認識するため、次のフレーム画像３を読み込む。
【００８７】
頭部検出部１０３は、図４（ｃ）に例示したフレーム画像３は、被写体６００Ａ、被写体６００Ｂ、被写体６００Ｃは頭部形状を検出するため、被写体検出数と頭部検出数とを比較して閾値の範囲内である。また、被写体６００Ａと被写体６００Ｂ、および、被写体６００Ｂと被写体６００Ｃの頭部検出位置における２点間の距離が頭部間隔領域２３３で設定した隣接間隔の範囲内のため、フレーム画像３を撮影ポイント（ベストショット）として選択して被写体６００Ａ、被写体６００Ｂ、被写体６００Ｃの頭部検出位置を記憶する。
【００８８】
以上が、頭部検出部１０３の役割である。なお、頭部検出以外の方法でも、被写体検出部１０２が検出した被写体数と、静止画像内における被写体の重なりから撮影の契機を判断し、焦点設定部１０５に焦点位置の設定を指示できればよい。
【００８９】
＜焦点設定部１０５における焦点位置設定について＞
焦点設定部１０５は、頭部検出部１０３による頭部検出処理において記録した複数の被写体６００の頭部検出位置から撮影領域３１０内において両端（右端と左端、または上端と下端）の頭部検出位置の中心位置である中心点５０１を求める。そして、焦点設定部１０５は、中心点５０１と被写体６００の進行方向に基づき、被写体６００を捉える構図から焦点位置を求め、撮影装置３００に焦点位置を設定する。例えば、撮影領域３１０内で、両端の被写体の頭部検出位置において、横方向（Ｘ軸方向）と縦方向（Ｙ軸方向）のそれぞれの中心位置が中心点となる。
【００９０】
図５は、図１に示す焦点設定部１０５における焦点位置設定の一例を示す図である。なお、撮影領域３１０は図４を用いて説明したので、説明を省略する。
【００９１】
図５（ａ）の焦点位置５００は、撮影領域３１０内を正面から向かってくる被写体６００を捉えた構図である。
【００９２】
焦点位置５００は、被写体６００の進行方向が撮影領域３１０内を正面から向かってくる構図のため、撮影装置３００が被写体６００にピントを合わせて撮影する間に被写体６００の上下左右の移動は少ない。したがって、焦点設定部１０５は、被写体検出部１０２が捉えた被写体６００の進行方向に基づき、頭部検出位置の中心点５０１を中央上部に配置した焦点位置５００を設定する。
【００９３】
図５（ｂ）の焦点位置５１０は、撮影領域３１０内を斜め方向に通過する被写体６００を捉えた構図である。
【００９４】
焦点位置５１０は、被写体６００の進行方向が撮影領域３１０内を斜め方向に通過する構図のため、撮影装置３００が被写体６００にピントを合わせて撮影する間に撮影領域３１０内において被写体６００が左上から右下に移動する。したがって、焦点設定部１０５は、被写体検出部１０２が捉えた被写体６００の進行方向に基づき、頭部検出位置の中心点５０１を左上部に配置し、中心点の右下に焦点位置５１０を設定する。
【００９５】
図５（ｃ）の焦点位置５２０は、撮影領域３１０内を横切る被写体６００を捉えた構図である。
【００９６】
焦点位置５２０は、被写体６００の進行方向が撮影領域３１０内を横切る構図のため、撮影装置３００が被写体６００にピントを合わせて撮影する間に撮影領域３１０内において被写体が左から右に移動する。したがって、焦点設定部１０５は、被写体検出部１０２が捉えた被写体６００の進行方向に基づき、頭部検出位置の中心点５０１を左中央に配置し、中心点５０１の右に焦点位置５２０を設定する。なお、焦点位置５２０の設定はこれに限定したものではない。
【００９７】
焦点設定部１０５は、撮影装置３００へ焦点位置設定を行った後、撮影装置３００へ撮影を指示するための制御を行う。
【００９８】
＜撮影画像について＞
図６は、図１に示す撮影装置３００における撮影画像の一例を示す図である。
【００９９】
図６（ａ）は、本実施形態を適用する前の撮影画像６１０を示している。撮影画像６１０は、顔検出位置４２０により被写体６００Ａを検出して被写体６００Ａに焦点位置５３０を設定して撮影を行う。被写体６００Ｂは被写体６００Ａに重なり、被写体６００Ｃにピントが合わない撮影画像になる。
【０１００】
図６（ｂ）は、本実施形態を適用した撮影画像６２０を示している。撮影画像６２０は、被写体６００の数と頭部検出数が閾値の範囲内であることを判断し、かつ、頭部形状の隣接間隔が範囲内であることを判断して、被写体６００の進行方向に基づき、被写体６００を捉える構図から焦点位置５２０を設定した撮影を行うため、複数の被写体６００Ａ、被写体６００Ｂ、被写体６００Ｃは他の被写体に重ならず、ピントが合った撮影画像になる。
【０１０１】
＜撮影制御装置１００の制御フローについて＞
図７は、撮影制御装置１００における被写体６００の検出および撮影装置３００に対する撮影制御の指示を説明するためのフローチャートである。
【０１０２】
はじめに、被写体検出設定部１０１は、入力部１５２を介したユーザ操作に応じて、図２で説明した被写体６００の被写体検出範囲２７０および被写体６００の頭部検出範囲２８０を設定する（ステップＳ７０１）。
【０１０３】
続いて、被写体検出設定部１０１は、入力部１５２を介したユーザ操作に応じて、図２で説明した被写体検出数領域２２２、頭部検出数領域２３２および頭部間隔領域２３３を設定する（ステップ７０２）。
【０１０４】
動画像入力部１０４は、ステップＳ７０１で設定された被写体検出範囲２７０に基づいて、動画像入力装置２００から連続したフレーム単位の画像を読み込む（ステップＳ７０３）
【０１０５】
被写体検出部１０２は、ステップＳ７０３で読み込んだフレーム単位の画像から、被写体検出範囲２７０内で被写体６００の数をカウントする（ステップＳ７０４）
【０１０６】
被写体検出部１０２は、動体検出範囲２７１内で被写体６００の動き（動体）をカウントできない場合（ステップＳ７０４でＮｏ）、ステップＳ７０３へ戻り、動画像入力装置２００から次のフレーム単位の画像を読み込み、被写体６００の検出処理を継続する。
【０１０７】
被写体検出部１０２は、動体検出範囲２７１内で被写体６００の動き（動体）を検出した場合（ステップＳ７０４でＹｅｓ）、動画像入力装置２００から連続したフレーム単位の画像を読み込む（ステップＳ７０５）
【０１０８】
頭部検出部１０３は、ステップＳ７０５で読み込んだフレーム単位の画像から、ステップＳ７０１で設定された被写体６００の頭部検出範囲２８０に基づいて、被写体６００の頭部数をカウントする（ステップＳ７０６）
【０１０９】
ステップＳ７０６において、頭部検出部１０３は、頭部検出範囲２８０内で被写体６００の頭部をカウントできなかった場合（ステップＳ７０６でＮｏ）、ステップＳ７０５へ戻り、動画像入力装置２００から次のフレーム単位の画像を読み込み、頭部検出処理を継続する。
【０１１０】
ステップＳ７０６において、頭部検出部１０３は、頭部検出範囲２８０内で被写体６００の頭部をカウントできた場合（ステップＳ７０６でＹｅｓ）、次に、ステップＳ７０５で読み込んだフレーム単位の画像から、ステップ７０４で検出された被写体６００の数に対する頭部検出数を比較する（ステップＳ７０７）
【０１１１】
ステップＳ７０７において、頭部検出部１０３は、ステップ７０４でカウントされた被写体６００の数に対する頭部検出数の差が閾値の範囲外の場合（ステップＳ７０７でＮｏ）、ステップＳ７０５へ戻り、動画像入力装置２００から次のフレーム単位の画像を読み込み、頭部検出処理を継続する。
【０１１２】
ステップＳ７０７において、頭部検出部１０３は、ステップ７０２で設定された被写体６００の数に対する頭部検出数の差が閾値の範囲内の場合（ステップＳ７０７でＹｅｓ）、次に、ステップＳ７０５で読み込んだフレーム単位の画像から、被写体６００の頭部の隣接間隔がステップ７０２で設定した頭部の隣接間隔の範囲内であることを判断する（ステップＳ７０８）
【０１１３】
ステップＳ７０８において、頭部検出部１０３は、ステップ７０２で設定した頭部の隣接間隔の範囲外である場合（ステップＳ７０８でＮｏ）、ステップＳ７０５へ戻り、動画像入力装置２００から次のフレーム単位の画像を読み込み、頭部検出処理を継続する。
【０１１４】
ステップＳ７０８において、頭部検出部１０３は、ステップ７０２で設定した頭部の隣接間隔の範囲内である場合（ステップＳ７０８でＹｅｓ）、図５を用いて説明したように、頭部の中心位置から被写体６００の進行方向に応じた焦点位置５００を撮影装置３００に通知して焦点を設定させる（ステップＳ７０９）
【０１１５】
シャッタ制御部１０６は、シャッタ制御装置４００を介して撮影装置３００に対して、撮影指示を送信する（ステップＳ７１０）。その後、本制御フローの処理を終了する。なお、このフローチャートは、被写体が２人以上いる場合に撮影制御装置１００が撮影制御を行うためのものである。被写体が１人の場合、被写体の重なりが発生しないため、その被写体の撮影を行う。
【０１１６】
上述のように、本発明の実施形態では、被写体検出部１０２が検出した被写体数と頭部検出部１０３が検出した頭部数から、被写体６００の重なりを判断し、その後に頭部位置の隣接間隔を判断する。そして、被写体の進行方向に基づいた構図から焦点位置を設定して撮影することで、被写体６００の重なりを低減しピントがあった撮影を行うことができる。
【０１１７】
なお、動画像入力装置２００を１台と例示したが、被写体数をカウントする動画像入力装置と頭部数をカウントする動画像入力装置を別々に設けてもよい。また、被写体数をカウントするための動画像を取得する役割と、頭部数をカウントするための動画像を取得する役割をそれぞれの装置で入れ替えることもできる。
【０１１８】
さらに、被写体６００の重なりの有無を判別するために頭部検出部１０３が頭部検出を行うと例示したが、頭部検出に限定したものではない。例えば、頭部検出のような人物の肩から頭部にかけた形状を検知するのではなく、顔検出など被写体６００の重なりの有無を判別できればよい。
【０１１９】
また、本実施形態では、被写体を人物と例示したが、これに限定するものではなく、自動車や動物などその他の被写体であってもよい。その際、頭部検出部１０３を、被写体の重なりがない状態を判定する機能部として動作させることで、その他の被写体にも適用することができる。
【０１２０】
加えて、動画像入力装置２００から入力される動画から、撮影制御装置１００の制御に基づき撮影を行うと例示したが、動画像入力装置２００からの入力を保存（録画）しておき、その後、被写体の重なりや進行方向を考慮して中心点５０１を決定し、後から動画内で焦点位置を調整する技術と組み合わせることで、動画から撮影画像として切り出してもよい。
【０１２１】
さらに、本発明によるアルゴリズムと、他アルゴリズムを複合的に組み合わせたり、選択することで、被写体が単独で写っていたり、被写体であるランナーの脚がよく開いていたり、着地時でなく疾走感があるよう宙に浮いているようなベストショットを撮影したり、選択できるようにしてもよい。また、被写体深度を調節することで、特定の被写体向けに画像処理を行い撮影画像とすることもできる。例えば、先頭（一番手前）のランナーである被写体６００だけに焦点を当て、後続の被写体６００をぼかすことで、先頭のランナー向けの撮影画像とすることができる。
【０１２２】
以上、本発明について上記の各実施形態に基づいて説明したが、本発明は、これらの実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２３】
撮影制御装置１００は通信インターフェース（例えば、ＵＳＢまたはＨＤＭＩ（登録商標））を介して動画像入力装置２００、撮影装置３００、およびシャッタ制御装置４００に接続されていると説明したが、これに限定されず、ＬＡＮやＷＡＮなどの有線回線または無線回線を介して接続されてもよい。
【０１２４】
撮影制御装置１００、動画像入力装置２００、撮影装置３００、およびシャッタ制御装置４００は、通信インターフェース、有線回線または無線回線を介して各々の装置と接続されてもよい。
【０１２５】
撮影制御装置１００、動画像入力装置２００、撮影装置３００およびシャッタ制御装置４００をそれぞれ別体で構成しているが、一体型または同一筐体内にケーシングしてもよい。
【０１２６】
動画像入力装置２００は、撮影装置３００、および／または、シャッタ制御装置４００と一体型または同一筐体内にケーシングしてもよい。
【０１２７】
シャッタ制御装置４００は、撮影装置３００と一体型または同一筐体内にケーシングしてもよい。
【０１２８】
撮影制御装置１００が携帯端末の場合、シャッタ制御装置４００もしくは、撮影装置３００を組み込んでもよい。撮影制御装置１００のソフトウェア部品（被写体検出設定部１０１〜シャッタ制御部１０６）をハードウェア部品で実現してもよい。
【０１２９】
例えば、上記の実施形態の機能の制御方法として、この制御方法をデバイス制御装置に実行させるようにすればよい。また、上述の実施形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムをデバイス制御装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１３０】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラムコード）を、ネットワークまたは各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。
【０１３１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータで読み取り可能な記憶媒体は本発明を構成することになる。
【０１３２】
また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されるように構成してもよい。
【０１３３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたあと、このプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を実行し、その処理に応じて上述した実施形態が実現される場合も含んでいる。
【０１３４】
なお、プログラムコードを供給するため、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤやＤＶＤに代表される光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等の記憶媒体を用いることができる。または、プログラムコードは、ネットワークを介してダウンロードしてもよい。
【符号の説明】
【０１３５】
１００：撮影制御装置
１０１：被写体検出設定部
１０２：被写体検出部
１０３：頭部検出部
１０４：動画像入力部
１０５：焦点設定部
１０６：シャッタ制御部
１１０：記憶部
１５１：ＣＰＵ
１５２：入力部
１５３：表示部
１５４：メモリ
１５５：通信Ｉ／Ｆ部
２００：動画像入力装置
２０１：画像入力部
２１０：記憶部
２５１：ＣＰＵ
２５２：入力部
２５３：表示部
２５４：メモリ
２５５：イメージセンサ
２５６：通信Ｉ／Ｆ部
３００：撮影制御装置
３０１：ＡＦ制御部
３０２：撮影制御部
３０３：画像格納部
３１０：記憶部
３５１：ＣＰＵ
３５２：入力部
３５３：表示部
３５４：メモリ
３５５：イメージセンサ
３５６：通信Ｉ／Ｆ部
３５７：リモコン端子Ｉ／Ｆ部
４００：シャッタ制御装置
４０１：通信Ｉ／Ｆ部
４０２：汎用Ｉ／Ｏ制御部
【図１】
2018142944.tif 000003
【図２】
2018142944.tif 000004
【図３】
2018142944.tif 000005
【図４】
2018142944.tif 000006
【図５】
2018142944.tif 000007
【図６】
2018142944.tif 000008
【図７】
2018142944.tif 000009