(57)【要約】【課題】最適な追尾対象のテンプレートを用いて追尾撮影を行うことができるようにする。【解決手段】位置推定部は、過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の追尾対象の位置を推定する。撮影制御部は、位置推定部により推定された追尾対象の位置に基づいて撮影を制御する。本開示は、例えば、撮影装置等に適用することができる。【選択図】図３
2014241505.tif 000002
【特許請求の範囲】
【請求項１】
過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置を推定する位置推定部と、
前記位置推定部により推定された前記位置に基づいて撮影を制御する撮影制御部と
を備える撮影装置。
【請求項２】
前記長期テンプレートは、生成に用いられた前記過去の撮影画像内の前記追尾対象と、その撮影画像より過去の撮影画像から生成された前記長期テンプレートおよび前記短期テンプレートとの類似度が第１の閾値より大きいときのテンプレートであり、
前記短期テンプレートは、前記類似度が前記第１の閾値以下であるときのテンプレートである
請求項１に記載の撮影装置。
【請求項３】
前記第１の閾値は、前記類似度の履歴に基づく値である
請求項２に記載の撮影装置。
【請求項４】
前記長期テンプレートは、前記類似度が前記第１の閾値より大きく、第２の閾値以下であるときのテンプレートである
請求項２に記載の撮影装置。
【請求項５】
前記第２の閾値は、前記類似度の履歴に基づく値である
請求項４に記載の撮影装置。
【請求項６】
前記位置推定部は、追尾開始時の撮影画像から生成される前記追尾対象のテンプレートである初期テンプレートを用いて、前記追尾対象の位置を推定する
請求項１に記載の撮影装置。
【請求項７】
撮影装置が、
過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置を推定する位置推定ステップと、
前記位置推定ステップの処理により推定された前記位置に基づいて撮影を制御する撮影制御ステップと
を含む撮影方法。
【請求項８】
コンピュータを、
過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置を推定する位置推定部と、
前記位置推定部により推定された前記位置に基づいて撮影を制御する撮影制御部と
して機能させるためのプログラム。
【請求項９】
撮影画像から追尾対象のテンプレートを生成するテンプレート生成部と、
前記テンプレート生成部により生成された前記テンプレートを、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類して保持する保持部と
を備えるテンプレート生成装置。
【請求項１０】
前記テンプレートの生成に用いられた前記撮影画像内の前記追尾対象と、その撮影画像より過去の撮影画像から生成された前記長期テンプレートおよび前記短期テンプレートとの類似度を算出する類似度算出部
をさらに備え、
前記保持部は、前記類似度が第１の閾値より大きい場合、前記テンプレートを前記長期テンプレートに分類して保持し、前記類似度が前記第１の閾値以下である場合、前記テンプレートを前記短期テンプレートに分類して保持する
請求項９に記載のテンプレート生成装置。
【請求項１１】
前記第１の閾値は、前記類似度の履歴に基づく値である
請求項１０に記載のテンプレート生成装置。
【請求項１２】
前記保持部は、前記類似度が前記第１の閾値より大きく、第２の閾値以下である場合、前記テンプレートを前記長期テンプレートに分類して保持する
請求項１０に記載のテンプレート生成装置。
【請求項１３】
前記第２の閾値は、前記類似度の履歴に基づく値である
請求項１２に記載のテンプレート生成装置。
【請求項１４】
前記保持部は、追尾開始時の前記撮影画像から生成される前記テンプレートを初期テンプレートに分類して保持する
請求項９に記載のテンプレート生成装置。
【請求項１５】
テンプレート生成装置が、
撮影画像から追尾対象のテンプレートを生成するテンプレート生成ステップと、
前記テンプレート生成ステップの処理により生成された前記テンプレートを、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類して保持する保持ステップと
を含むテンプレート生成方法。
【請求項１６】
コンピュータを、
撮影画像から追尾対象のテンプレートを生成するテンプレート生成部と、
前記テンプレート生成部により生成された前記テンプレートを、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類して保持させる保持制御部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮影装置および撮影方法、テンプレート生成装置およびテンプレート生成方法、並びにプログラムに関し、特に、最適な追尾対象のテンプレートを用いて追尾撮影を行うことができるようにした撮影装置および撮影方法、テンプレート生成装置およびテンプレート生成方法、並びにプログラムに関する。
【背景技術】
【０００２】
自動追尾カメラとは、自動または手動で選択された追尾対象の位置を推定し、追尾対象が撮影画像の中央に所定の範囲内のサイズで配置されるようにPTZ(Pan/Tilt/Zoom)制御を行う監視カメラ（PTZカメラ）である。
【０００３】
このような自動追尾カメラでは、追尾対象が常に撮影画像の中央に存在するため、監視者は不審者を探す必要がなく、監視者の負担は軽減される。また、追尾対象を追尾して撮影を行うことができるため、１台あたりの監視可能領域が広くなる。従って、設置するカメラの台数を削減し、コストを低減することができる。
【０００４】
自動追尾カメラにおいて追尾対象の位置を推定する手法としては、過去と現在の画像からオプティカルフローを求め、動きのある領域を追尾対象として追尾対象の位置を推定する第１の手法がある。また、過去の画像の背景画像と現在の画像の差分を求め、差分の大きい領域を追尾対象として追尾対象の位置を推定する手法第２の手法もある。
【０００５】
しかしながら、複数の動体が存在する場合、第１および第２の手法では追尾対象を特定することは困難である。そのため、追尾対象の色等の特徴を学習し、その特徴に基づいて追尾対象の位置を推定する第３の手法が考案されている。
【０００６】
ここで、最初の追尾対象の位置を監視者が指定する場合、最初の追尾対象のテンプレートは信頼度が高い情報である。しかしながら、追尾対象の特徴は、追尾対象の姿勢や明るさの変化などによって変化する。従って、第３の手法において、追尾対象の特徴はリアルタイムで学習される必要がある。
【０００７】
フレーム単位で追尾対象のテンプレートを更新して特徴を学習し、その特徴に基づいて追尾対象の位置を推定する手法は、例えば特許文献１に記載されている。特許文献１に記載の手法では、学習で算出された特徴に対してパーティクルフィルタが用いられ、これにより、追尾対象の位置と大きさが推定される。学習に用いられる追尾対象のテンプレート（サンプル）は、パーティクルの一部であり、背景画像のテンプレートは、その残りのパーティクルである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第5116605号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したように、特許文献１の手法では、フレーム単位で追尾対象のテンプレートを更新している。しかしながら、追尾対象の特徴の変化は一時的な変化で元の状態に戻る場合がある。例えば、追尾対象が人間である場合、人間の歩き方には規則性があるため、比較的遠い過去に同様の姿勢になっていた可能性は高い。そのため、直前の追尾対象のテンプレートだけでなく、比較的遠い過去の追尾対象のテンプレートも用いて、追尾対象の特徴の学習を行う方が好ましい。
【００１０】
本開示は、このような状況に鑑みてなされたものであり、最適な追尾対象のテンプレートを用いて追尾撮影を行うことができるようにするものである。
【課題を解決するための手段】
【００１１】
本開示の第１の側面の撮影装置は、過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置を推定する位置推定部と、前記位置推定部により推定された前記位置に基づいて撮影を制御する撮影制御部とを備える撮影装置である。
【００１２】
本開示の第１の側面の撮影方法およびプログラムは、本開示の第１の側面の撮影装置に対応する。
【００１３】
本開示の第１の側面においては、過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置が推定され、推定された前記位置に基づいて撮影が制御される。
【００１４】
本開示の第２の側面のテンプレート生成装置は、撮影画像から追尾対象のテンプレートを生成するテンプレート生成部と、前記テンプレート生成部により生成された前記テンプレートを、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類して保持する保持部とを備えるテンプレート生成装置である。
【００１５】
本開示の第２の側面のテンプレート生成方法およびプログラムは、本開示の第２の側面のテンプレート生成装置に対応する。
【００１６】
本開示の第２の側面においては、撮影画像から追尾対象のテンプレートが生成され、前記テンプレートが、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類されて保持される。
【００１７】
第１の側面の撮影装置と第２の側面のテンプレート生成装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１８】
本開示の第１の側面によれば、最適な追尾対象のテンプレートを用いて追尾撮影を行うことができる。
【００１９】
また、本開示の第２の側面によれば、最適な追尾対象のテンプレートを生成するができる。
【図面の簡単な説明】
【００２０】
【図１】本開示を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の撮影装置で行う追尾撮影の概要を説明する図である。
【図３】図１のCPUとRAMの構成例を示すブロック図である。
【図４】図３のテンプレート生成部によるテンプレートの分類を説明する図である。
【図５】撮影装置の追尾撮影処理を説明するフローチャートである。
【図６】図５のテンプレート更新処理の詳細を説明するフローチャートである。
【発明を実施するための形態】
【００２１】
＜一実施の形態＞
（撮影装置の一実施の形態の構成例）
図１は、本開示を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
【００２２】
図１の撮影装置１０は、カメラ部１２、DSP(Digital Signal Processing)１３、RAM（Random Access Memory）１４、通信部１５、CPU（Central Processing Unit）１６、モータ制御部１７、モータ部１８、およびズーム制御部１９により構成される。撮影装置１０は、追尾対象を追尾撮影する。
【００２３】
具体的には、カメラ部１２は、光学部１２Ａと撮像部１２Ｂにより構成される。カメラ部１２の光学部１２Ａは、ズームレンズ、ズームレンズを駆動する駆動部などからなる。光学部１２Ａの駆動部は、ズーム制御部１９から供給されるズームレンズを制御するズーム制御信号にしたがってズームレンズを駆動し、撮影画像の倍率を制御する。光学部１２Ａのズームレンズは、被写体の光学像を撮像部１２Ｂの撮影面に結像させる。
【００２４】
撮像部１２Ｂは、CCD (Charge Coupled Device)またはCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサなどにより構成される。撮像部１２Ｂは、光電変換などによって光学像に応じたデジタル信号を生成し、そのデジタル信号を撮影画像としてDSP１３に供給する。
【００２５】
DSP１３は、撮像部１２Ｂから供給される撮影画像に対してニー補正やガンマ補正、色補正などの種々の信号処理を行う。DSP１３は、信号処理後の撮影画像をRAM１４に供給して一時的に保持させるとともに、CPU１６に供給する。
【００２６】
通信部１５は、RAM１４に一時的に保持されている撮影画像を、ネットワークを介して外部の表示装置や記憶装置（いずれも図示せず）に送信する。
【００２７】
CPU１６は、記憶部２０に記憶されているプログラムにしたがって各種の処理を行う。具体的には、CPU１６は、DSP１３から供給される追尾撮影開始時のフレームの撮影画像から追尾対象を選択する。そして、CPU１６は、その撮影画像内の追尾対象の画像を追尾対象のテンプレートとして生成し、追尾対象の周辺の画像を背景画像のテンプレートとして生成する。そして、CPU１６は、生成された追尾対象のテンプレートと背景画像のテンプレートを、初期テンプレートとしてRAM１４に供給し、保持させる。
【００２８】
また、CPU１６は、RAM１４に保持されているテンプレートから追尾対象の色などの特徴を学習し、その特徴に基づいて撮影画像内の追尾対象の位置を推定する。
【００２９】
CPU１６は、推定された位置に基づいて、追尾対象が撮影画像の中央に位置するようにカメラ部１２の向きを決定し、その向きを表す向き情報をモータ制御部１７に供給する。また、CPU１６は、決定されたカメラ部１２の向きに基づいて、撮影画像内の追尾対象のサイズが所定の範囲内になるように撮影画像の倍率を決定し、その倍率を表すズーム倍率情報をズーム制御部１９に供給する。
【００３０】
さらに、CPU１６は、追尾撮影開始時のフレーム以外のフレームの撮影画像の追尾対象の位置の特徴と、その位置の推定に用いられた特徴の類似度を算出する。この類似度は、追尾対象らしさを表している。
【００３１】
CPU１６は、その類似度と追尾対象の位置とに基づいて、追尾撮影開始時のフレーム以外のフレームの撮影画像から追尾対象のテンプレートと背景画像のテンプレートを生成する。CPU１６は、生成された追尾対象のテンプレートと背景画像のテンプレートを、長期テンプレートまたは短期テンプレートに分類し、RAM１４に供給して保持させる。
【００３２】
なお、長期テンプレートとは、更新間隔の長いテンプレートであり、短期テンプレートとは、更新間隔の短いテンプレートである。
【００３３】
モータ制御部１７は、CPU１６から供給される向き情報に基づいて、その向き情報が表す向きにカメラ部１２の向きをするためのモータ制御信号を生成し、モータ部１８に供給する。
【００３４】
モータ部１８は、カメラ部１２を駆動する駆動部よりなる。モータ部１８は、モータ制御部１７から供給されるモータ制御信号にしたがってカメラ部１２をパン・チルトし、カメラ部１２の向きを変更する。
【００３５】
ズーム制御部１９は、CPU１６から供給されるズーム倍率情報に基づいて、そのズーム倍率情報が表す倍率で撮影を行うためのズーム制御信号を生成し、光学部１２Ａに供給する。
【００３６】
記憶部２０は、ハードディスクなどよりなり、CPU１６により実行されるプログラムなどを記憶する。このプログラムは、例えば、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１５により取得され、CPU１６を介して記憶部２０にインストールされる。
【００３７】
なお、CPU１６により実行されるプログラムは、例えば、パッケージメディア等に記録して提供され、記憶部２０にインストールされるようにすることもできる。また、プログラムは、記憶部２０に、あらかじめインストールしておくこともできる。
【００３８】
CPU１６が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００３９】
（追尾撮影の概要）
図２は、図１の撮影装置１０で行う追尾撮影の概要を説明する図である。
【００４０】
図２に示すように、追尾撮影では、まず、CPU１６が、撮影画像から追尾対象を選択する。次に、CPU１６は、選択された追尾対象のテンプレートを用いて追尾対象の特徴を学習し、その特徴に基づいて撮影画像から追尾対象の位置を推定する。そして、CPU１６は、推定された追尾対象の位置に基づいて、追尾対象が撮影画像の中央に所定の範囲内のサイズで位置するように、カメラ部１２の向きと撮影画像の倍率を制御する。これにより、追尾対象が常に撮影画像の中央に所定の範囲内のサイズで配置される。
【００４１】
（CPUとRAMの構成例）
図３は、図１のCPU１６とRAM１４の構成例を示すブロック図である。
【００４２】
図３のCPU１６は、位置推定部３０、撮影制御部３１、学習部３２、およびテンプレート制御部３３により構成される。
【００４３】
CPU１６の位置推定部３０は、学習部３２から供給される特徴に基づいて、図１のDSP１３から供給される撮影画像内の追尾対象の位置を推定する。具体的には、位置推定部３０は、パーティクルフィルタを用いて、各パーティクルに対して、学習された特徴における類似度を算出し、各パーティクルの類似度の重み付き平均に基づいて追尾対象の位置を推定する。位置推定部３０は、その位置を撮影制御部３１とテンプレート制御部３３に供給する。
【００４４】
撮影制御部３１は、位置推定部３０から供給される位置に基づいてカメラ部１２による撮影を制御する。具体的には、撮影制御部３１は、位置推定部３０から供給される位置に基づいて、追尾対象が撮影画像の中央に位置するようにカメラ部１２の向きを決定し、その向きを表す向き情報をモータ制御部１７（図１）に供給する。また、撮影制御部３１は、決定されたカメラ部１２の向きに基づいて、撮影画像内の追尾対象のサイズが所定の範囲内になるように撮影画像の倍率を決定し、その倍率を表すズーム倍率情報をズーム制御部１９に供給する。
【００４５】
テンプレート制御部３３は、テンプレート生成部５１と類似度算出部５２により構成される。
【００４６】
テンプレート制御部３３のテンプレート生成部５１は、DSP１３から供給される追尾撮影開始時のフレームの撮影画像から追尾対象を選択する。そして、テンプレート生成部５１は、追尾撮影開始時のフレームの撮影画像から、選択された追尾対象のテンプレートと背景画像のテンプレートを生成する。テンプレート生成部５１は、生成された追尾対象のテンプレートと背景画像のテンプレートを、初期テンプレートとしてRAM１４に供給するとともに、学習部３２に供給する。
【００４７】
また、テンプレート生成部５１は、類似度算出部５２から供給される類似度と、位置推定部３０から供給される位置とに基づいて、追尾撮影開始時のフレーム以外のフレームの撮影画像から追尾対象のテンプレートと背景画像のテンプレートを生成する。テンプレート生成部５１は、類似度に基づいて追尾対象のテンプレートと背景画像のテンプレートを、長期テンプレートまたは短期テンプレートに分類し、RAM１４に供給する。
【００４８】
さらに、テンプレート生成部５１は、RAM１４に保持されている初期テンプレート、短期テンプレート、および長期テンプレートを読み出し、学習部３２に供給する。
【００４９】
類似度算出部５２は、位置推定部３０から供給される位置に基づいて、DSP１３から供給される追尾撮影開始時のフレーム以外のフレームの撮影画像の追尾対象の位置の特徴と、学習部３２から供給される追尾対象の特徴の類似度を算出する。類似度算出部５２は、類似度をテンプレート生成部５１に供給する。
【００５０】
学習部３２は、テンプレート制御部３３のテンプレート生成部５１から供給されるテンプレートからブーステイング（Boosting）により追尾対象の色などの特徴を学習し、その特徴を位置推定部３０とテンプレート制御部３３に供給する。
【００５１】
RAM１４は、初期テンプレート保持部７１、短期テンプレート保持部７２、および長期テンプレート保持部７３により構成される。
【００５２】
RAM１４の初期テンプレート保持部７１は、テンプレート生成部５１から供給される初期テンプレートを保持する。短期テンプレート保持部７２は、テンプレート生成部５１から供給される短期テンプレートを用いて、保持している短期テンプレートを更新する。
【００５３】
具体的には、短期テンプレート保持部７２に空き領域が存在する場合、短期テンプレート保持部７２は、テンプレート生成部５１から供給される新たな短期テンプレートを保持する。一方、短期テンプレート保持部７２に空き領域が存在しない場合、短期テンプレート保持部７２は、最も古い短期テンプレートを削除し、その短期テンプレートの代わりに新たな短期テンプレートを保持する。
【００５４】
長期テンプレート保持部７３は、テンプレート生成部５１から供給される長期テンプレートを用いて、短期テンプレート保持部７２と同様に、保持している長期テンプレートを更新する。
【００５５】
(テンプレートの分類の説明)
図４は、図３のテンプレート生成部５１によるテンプレートの分類を説明する図である。
【００５６】
図４のグラフは、類似度の履歴の確率密度を表している。図４のグラフに示すように、類似度の変動は正規分布にしたがうと仮定することができる。
【００５７】
そこで、図４Ａに示すように、類似度算出部５２により算出された類似度と類似度の履歴の平均値μとの距離が、標準偏差σのβ倍(図４の例ではβは１)以下である場合、テンプレート生成部５１は、テンプレートを短期テンプレートに分類する。即ち、類似度が発生頻度の高い類似度である場合、テンプレートは、更新間隔の短い短期テンプレートに分類される。
【００５８】
これにより、短期テンプレート保持部７２には、類似度が通常の値となる、即ち追尾対象の特徴が大きく変化しないときの直近のテンプレートが保持される。追尾対象の特徴に大きな変化がない場合、追尾対象の特徴は、直近の追尾対象の特徴に近いため、短期テンプレートによって正確に追尾対象の位置を推定することができる。
【００５９】
一方、図４Ｂに示すように、類似度算出部５２により算出された類似度と平均値μとの距離が、標準偏差σのβ倍より大きく、標準偏差σのα倍(α＞β)（図４の例ではαは２)以下である場合、テンプレート生成部５１は、テンプレートを長期テンプレートに分類する。即ち、類似度が発生頻度の比較的低い類似度である場合、テンプレートは、更新間隔の長い長期テンプレートに分類される。
【００６０】
これにより、長期テンプレート保持部７３には、類似度が通常の値ではない、即ち追尾対象の特徴が大きく変化したときのテンプレートが代表的に保持される。追尾対象の特徴に大きな変化がある場合、追尾対象の特徴は、直近の追尾対象の特徴とは大きく異なり、短期テンプレートによっては正確に追尾対象を推定することができない。しかしながら、比較的遠い過去に同様の特徴が発生していた場合、長期テンプレートによって正確に追尾対象を推定することができる。
【００６１】
また、図４Ｃに示すように、類似度算出部５２により算出された類似度と平均値μの距離が、標準偏差σのα倍より大きい場合、テンプレート生成部５１は、現在のフレームのテンプレートを生成しない。即ち、類似度が発生頻度の極端に低い類似度である場合、追尾対象以外の画像(例えば背景画像など)の位置を追尾対象の位置と推定したと判断され、テンプレートは無効とされる。
【００６２】
以上のように、撮影装置１０は、テンプレートを短期テンプレートまたは長期テンプレートに分類し、別々に保持することにより、効率的にテンプレートを保持することができる。即ち、撮影装置１０は、追尾対象の特徴の変化が小さい場合に有用な直近のテンプレートと、追尾対象の特徴の変化が大きい場合に有用な比較的遠い過去の代表的なテンプレートのみを保持することができる。
【００６３】
これに対して、過去の全てのテンプレートが保持される場合、テンプレートを保持するために必要なメモリの記憶容量、および、テンプレートを用いた学習の処理量が多い。また、過去の全てのテンプレートが保持される場合、有用ではない多くのテンプレートが学習に用いられることにより、有用なテンプレートの学習における重みが低下し、学習の精度が劣化する。
【００６４】
（撮影装置の処理の説明）
図５は、撮影装置１０の追尾撮影処理を説明するフローチャートである。この追尾撮影処理は、例えば、カメラ部１２による撮影画像の取得中に、監視者により追尾対象が指定されたとき開始される。
【００６５】
ステップＳ１１において、撮影装置１０のテンプレート生成部５１(図３)は、図１のDSP１３から供給される処理対象のフレームの撮影画像から、監視者により指定された追尾対象を選択する。
【００６６】
ステップＳ１２において、テンプレート生成部５１は、処理対象のフレームの撮影画像から追尾対象のテンプレートと背景画像のテンプレートを生成し、初期テンプレートとしてRAM１４の初期テンプレート保持部７１に供給して保持させる。また、テンプレート生成部５１は、初期テンプレートを学習部３２に供給する。
【００６７】
ステップＳ１３において、学習部３２は、テンプレート生成部５１から供給される初期テンプレートから追尾対象の色などの特徴をブーステイングにより学習し、その特徴を位置推定部３０とテンプレート制御部３３に供給する。
【００６８】
ステップＳ１４において、位置推定部３０は、学習部３２から供給される特徴に基づいて、処理対象のフレームの撮影画像内の追尾対象の位置を推定し、その位置を撮影制御部３１とテンプレート制御部３３に供給する。
【００６９】
ステップＳ１５において、撮影装置１０は、処理対象のフレームが追尾撮影処理を開始してから最初の処理対象のフレームであるかどうかを判定する。ステップＳ１５で処理対象のフレームが追尾撮影処理を開始してから最初の処理対象のフレームであると判定された場合、処理はステップＳ１６乃至Ｓ１８をスキップしてステップＳ１９に進む。
【００７０】
一方、ステップＳ１５で処理対象のフレームが追尾撮影処理を開始してから最初の処理対象のフレームではないと判定された場合、処理はステップＳ１６に進む。
【００７１】
ステップＳ１６において、類似度算出部５２は、位置推定部３０から供給される位置に基づいて、処理対象のフレームの撮影画像の追尾対象の位置における特徴と、学習部３２から供給される追尾対象の特徴の類似度を算出する。類似度算出部５２は、類似度をテンプレート生成部５１に供給する。
【００７２】
ステップＳ１７において、テンプレート生成部５１は、処理対象のフレームの撮像画像を用いてRAM１４に保持されているテンプレートを更新するテンプレート更新処理を行う。このテンプレート更新処理の詳細は、後述する図６を参照して説明する。
【００７３】
ステップＳ１８において、学習部３２は、テンプレート生成部５１から供給される初期テンプレート、短期テンプレート、および長期テンプレートから追尾対象の色などの特徴をブーステイングにより学習する。学習部３２は、学習された特徴を位置推定部３０とテンプレート制御部３３に供給し、処理をステップＳ１９に進める。
【００７４】
ステップＳ１９において、撮影制御部３１は、位置推定部３０から供給される位置に基づいて、向き情報とズーム倍率情報を生成する。撮影制御部３１は、向き情報をモータ制御部１７に供給し、ズーム倍率情報をズーム制御部１９に供給する。
【００７５】
ステップＳ２０において、モータ制御部１７は、撮影制御部３１から供給される向き情報に基づいてモータ制御信号を生成し、モータ部１８に供給することにより、カメラ部１２の向きを制御する。
【００７６】
ステップＳ２１において、ズーム制御部１９は、撮影制御部３１から供給されるズーム倍率情報に基づいてズーム制御信号を生成し、光学部１２Ａに供給することにより、撮影画像の倍率を制御する。
【００７７】
ステップＳ２０およびＳ２１の処理により、追尾対象が中央に所定の範囲内のサイズで配置された撮影画像が、現在の処理対象のフレームの次のフレームの撮影画像としてカメラ部１２により取得される。
【００７８】
ステップＳ２２において、撮影装置１０は、追尾撮影処理を終了するかどうかを判定する。具体的には、撮影装置１０は、テンプレート更新処理においてテンプレートの更新が行われない状態が所定の回数以上連続した場合、追尾対象が撮影範囲外に所定時間以上存在すると判定し、追尾撮影処理を終了すると判定する。
【００７９】
一方、撮影装置１０は、テンプレート更新処理においてテンプレートの更新が行われない状態が所定の回数以上連続しない場合、追尾撮影処理を終了しないと判定する。
【００８０】
ステップＳ２２で追尾撮影処理を終了しないと判定された場合、処理はステップＳ１４に戻り、現在の処理対象のフレームの次のフレームを新たな処理対象のフレームとする。そして、追尾撮影を終了すると判定されるまで、ステップＳ１４乃至Ｓ２２の処理が繰り返される。
【００８１】
一方、ステップＳ２２で追尾撮影処理を終了すると判定された場合、処理は終了する。
【００８２】
図６は、図５のステップＳ１７のテンプレート更新処理の詳細を説明するフローチャートである。
【００８３】
図６のステップＳ４０において、テンプレート生成部５１は、保持している処理対象のフレームより前のフレームの類似度の平均値μと標準偏差σを求める。ステップＳ４１において、テンプレート生成部５１は、類似度算出部５２から供給される処理対象のフレームの類似度を保持する。
【００８４】
ステップＳ４２において、テンプレート生成部５１は、処理対象のフレームの類似度から平均値μを減算した値の絶対値(以下、類似度差分絶対値という)が、α倍の標準偏差σ以下であるかどうかを判定する。
【００８５】
ステップＳ４２で類似度差分絶対値が、α倍の標準偏差σ以下であると判定された場合、ステップＳ４３において、テンプレート生成部５１は、類似度差分絶対値がβ倍の標準偏差σ以下であるかどうかを判定する。
【００８６】
ステップＳ４３で類似度差分絶対値がβ倍の標準偏差σ以下であると判定された場合、処理はステップＳ４４に進む。ステップＳ４４において、テンプレート生成部５１は、追尾対象の位置に基づいて、処理対象のフレームの撮影画像から追尾対象のテンプレートと背景画像のテンプレートを生成し、短期テンプレートを更新する。
【００８７】
具体的には、テンプレート生成部５１は、追尾対象のテンプレートと背景画像のテンプレートを短期テンプレート保持部７２に供給し、保持させることにより、短期テンプレート保持部７２の短期テンプレートを更新する。そして、処理はステップＳ４６に進む。
【００８８】
一方、ステップＳ４３で類似度差分絶対値がβ倍の標準偏差σ以下ではないと判定された場合、即ち、類似度差分絶対値がβ倍の標準偏差σより大きくα倍の標準偏差σ以下である場合、処理はステップＳ４５に進む。
【００８９】
ステップＳ４５において、テンプレート生成部５１は、追尾対象の位置に基づいて、処理対象のフレームの撮影画像から追尾対象のテンプレートと背景画像のテンプレートを生成し、長期テンプレートを更新する。
【００９０】
具体的には、テンプレート生成部５１は、追尾対象のテンプレートと背景画像のテンプレートを長期テンプレート保持部７３に供給し、保持させることにより、長期テンプレート保持部７３の長期テンプレートを更新する。そして、処理はステップＳ４６に進む。
【００９１】
ステップＳ４６において、テンプレート生成部５１は、RAM１４に保持されている初期テンプレート、短期テンプレート、および長期テンプレートを読み出し、学習部３２に供給する。そして、処理は、図５のステップＳ１７に戻り、ステップＳ１８に進む。
【００９２】
また、ステップＳ４２で類似度差分絶対値がα倍の標準偏差σより大きいと判定された場合、テンプレートは生成されず、処理は図５のステップＳ１９に進む。
【００９３】
以上のように、撮影装置１０は、撮影画像から生成される追尾対象のテンプレートを長期テンプレートまたは短期テンプレートに分類して保持するので、最適な追尾対象のテンプレートを生成することができる。
【００９４】
また、撮影装置１０は、長期テンプレートと短期テンプレートを用いて撮影画像内の追尾対象の位置を推定し、その位置に基づいて撮影を制御するので、最適な追尾対象のテンプレートを用いて追尾撮影を行うことができる。その結果、姿勢や明るさの変化などが生じた追尾対象の位置を精度よく推定し、追尾撮影することができる。
【００９５】
なお、撮影装置１０は、複数の固定されたカメラ部を備え、追尾対象が撮影画像内の中央に配置されるように、撮影を行うカメラ部を選択するようにしてもよい。
【００９６】
また、短期テンプレート保持部７２および長期テンプレート保持部７３に保持可能なテンプレートの数は、追尾撮影の仕様、想定される撮影画像の内容、CPU１６の処理負荷の許容範囲等に応じて決定される。短期テンプレート保持部７２に保持可能なテンプレートの数と、長期テンプレート保持部７３に保持可能なテンプレートの数は、同一であってもよいし、異なっていてもよい。
【００９７】
さらに、１フレームの撮影画像から生成される追尾対象のテンプレートは、１つであってもよいし、複数であってもよい。背景画像のテンプレートの数についても同様である。
【００９８】
また、学習部３２は、初期テンプレート、短期テンプレート、および長期テンプレートを重み付けして学習に用いてもよい。また、学習部３２は、初期テンプレート、短期テンプレート、および長期テンプレートの全てを学習に用いる必要はない。
【００９９】
さらに、上述した説明では、背景画像のテンプレートが、追尾対象のテンプレートとともに、初期テンプレート、短期テンプレート、または長期テンプレートに分類されて保持されたが、追尾対象のテンプレートとは別に保持されるようにしてもよい。この場合、背景対象のテンプレートは、１フレームごとに更新されてもよいし、複数のフレームごとに更新されてもよい。
【０１００】
また、上述した説明では、撮影装置１０が、テンプレートの生成も行ったが、テンプレートの生成は別の装置が行うようにしてもよい。この場合、例えば、テンプレート制御部３３、初期テンプレート保持部７１、短期テンプレート保持部７２、および長期テンプレート保持部７３が、撮影装置１０ではなく、外部の装置に設けられる。
【０１０１】
さらに、上述した説明では、追尾撮影処理は、追尾対象が監視者により指定されたとき開始されるものとしたが、図示せぬセンサにより動体や異常が検知された場合開始されるようにしてもよい。この場合、追尾対象は、テンプレート生成部５１により所定の方法で選択される。
【０１０２】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０３】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１０４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１０５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１０６】
なお、本開示は、以下のような構成もとることができる。
【０１０７】
（１）
過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置を推定する位置推定部と、
前記位置推定部により推定された前記位置に基づいて撮影を制御する撮影制御部と
を備える撮影装置。
（２）
前記長期テンプレートは、生成に用いられた前記過去の撮影画像内の前記追尾対象と、その撮影画像より過去の撮影画像から生成された前記長期テンプレートおよび前記短期テンプレートとの類似度が第１の閾値より大きいときのテンプレートであり、
前記短期テンプレートは、前記類似度が前記第１の閾値以下であるときのテンプレートである
前記（１）に記載の撮影装置。
（３）
前記第１の閾値は、前記類似度の履歴に基づく値である
前記（２）に記載の撮影装置。
（４）
前記長期テンプレートは、前記類似度が前記第１の閾値より大きく、第２の閾値以下であるときのテンプレートである
前記（２）または（３）に記載の撮影装置。
（５）
前記第２の閾値は、前記類似度の履歴に基づく値である
前記（４）に記載の撮影装置。
（６）
前記位置推定部は、追尾開始時の撮影画像から生成される前記追尾対象のテンプレートである初期テンプレートを用いて、前記追尾対象の位置を推定する
前記（１）乃至（５）のいずれかに記載の撮影装置。
（７）
撮影装置が、
過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置を推定する位置推定ステップと、
前記位置推定ステップの処理により推定された前記位置に基づいて撮影を制御する撮影制御ステップと
を含む撮影方法。
（８）
コンピュータを、
過去の撮影画像から生成される更新間隔の長い追尾対象のテンプレートである長期テンプレートと、更新間隔の短い前記追尾対象のテンプレートである短期テンプレートとを用いて、現在の撮影画像内の前記追尾対象の位置を推定する位置推定部と、
前記位置推定部により推定された前記位置に基づいて撮影を制御する撮影制御部と
して機能させるためのプログラム。
（９）
撮影画像から追尾対象のテンプレートを生成するテンプレート生成部と、
前記テンプレート生成部により生成された前記テンプレートを、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類して保持する保持部と
を備えるテンプレート生成装置。
（１０）
前記テンプレートの生成に用いられた前記撮影画像内の前記追尾対象と、その撮影画像より過去の撮影画像から生成された前記長期テンプレートおよび前記短期テンプレートとの類似度を算出する類似度算出部
をさらに備え、
前記保持部は、前記類似度が第１の閾値より大きい場合、前記テンプレートを前記長期テンプレートに分類して保持し、前記類似度が前記第１の閾値以下である場合、前記テンプレートを前記短期テンプレートに分類して保持する
前記（９）に記載のテンプレート生成装置。
（１１）
前記第１の閾値は、前記類似度の履歴に基づく値である
前記（１０）に記載のテンプレート生成装置。
（１２）
前記保持部は、前記類似度が前記第１の閾値より大きく、第２の閾値以下である場合、前記テンプレートを前記長期テンプレートに分類して保持する
前記（１０）または（１１）に記載のテンプレート生成装置。
（１３）
前記第２の閾値は、前記類似度の履歴に基づく値である
前記（１２）に記載のテンプレート生成装置。
（１４）
前記保持部は、追尾開始時の前記撮影画像から生成される前記テンプレートを初期テンプレートに分類して保持する
前記（９）乃至（１３）のいずれかに記載のテンプレート生成装置。
（１５）
テンプレート生成装置が、
撮影画像から追尾対象のテンプレートを生成するテンプレート生成ステップと、
前記テンプレート生成ステップの処理により生成された前記テンプレートを、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類して保持する保持ステップと
を含むテンプレート生成方法。
（１６）
コンピュータを、
撮影画像から追尾対象のテンプレートを生成するテンプレート生成部と、
前記テンプレート生成部により生成された前記テンプレートを、更新間隔の長い長期テンプレート、または、更新間隔の短い短期テンプレートに分類して保持させる保持制御部と
して機能させるためのプログラム。
【符号の説明】
【０１０８】
１０  撮影装置，  ３０  位置推定部，  ３１  撮影制御部，  ５１  テンプレート生成部，  ５２  類似度算出部，  ７１  初期テンプレート保持部，  ７２  短期テンプレート保持部，  ７３  長期テンプレート保持部
【図１】
2014241505.tif 000003
【図２】
2014241505.tif 000004
【図３】
2014241505.tif 000005
【図４】
2014241505.tif 000006
【図５】
2014241505.tif 000007
【図６】
2014241505.tif 000008