(57)【要約】【課題】  被写体が画面外に出てしまうことにより追尾不能に陥ることを防止しつつ、状況に合わせた最適な追尾動作を行う自動追尾装置を提供すること。【解決手段】ズーム・チルト・パンの少なくともいずれか１つを動作させることで、追尾すべき被写体を自動追尾する自動追尾装置において、音声情報を取得する手段と、前記追尾すべき被写体の位置を検出する手段と、前記追尾すべき被写体の追尾動作を行わない追尾動作禁止領域を決定する手段と、前記被写体位置が前記追尾動作禁止領域内かを判別する手段と、前記被写体位置が前記追尾動作禁止領域内であった場合には追尾動作を行わず、追尾動作禁止領域外であった場合には追尾動作を行う制御手段とを有し、前記追尾動作禁止領域を、前記音声情報に応じて変化させることを特徴とする。【選択図】  図１
2013232822.tif 000002
【特許請求の範囲】
【請求項１】
ズーム・チルト・パンの少なくともいずれか１つを動作させることで、追尾すべき被写体を自動追尾する自動追尾装置において、
音声情報を取得する手段と、
前記追尾すべき被写体の位置を検出する手段と、
前記追尾すべき被写体の追尾動作を行わない追尾動作禁止領域を決定する手段と、
前記被写体位置が前記追尾動作禁止領域内かを判別する手段と、
前記被写体位置が前記追尾動作禁止領域内であった場合には追尾動作を行わず、追尾動作禁止領域外であった場合には追尾動作を行う制御手段とを有し、
前記追尾動作禁止領域を、前記音声情報に応じて変化させることを特徴とする自動追尾装置。
【請求項２】
前記音声情報とは音量レベルを表し、前記追尾動作禁止領域は、前記音量レベルが大きくなるほど広く、前記音量レベルが小さくなるほど狭くすることを特徴とする請求項１に記載の自動追尾装置。
【請求項３】
前記音声情報とは音量レベルを表し、前記追尾動作禁止領域は、前記音量レベルが大きくなるほど狭く、前記音量レベルが小さくなるほど広くすることを特徴とする請求項１に記載の自動追尾装置。
【請求項４】
前記自動追尾装置は、ズーム位置に関する情報を取得する手段を有し、前記追尾動作禁止領域を、前記音量レベルと前記ズーム位置に関する情報に応じて変化させることを特徴とする請求項１乃至請求項３の何れか１項に記載の自動追尾装置。
【請求項５】
前記音声情報とは複数の周波数に対応した音量レベルを表し、前記複数の周波数に対応した音量レベルから音の発生対象を認識し、認識結果に基づき前記追尾禁止領域を変化させることを特徴とする請求項１乃至請求項４の何れか１項に記載の自動追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動追尾装置に関し、特にカメラの撮影方向を自動で変化させて所望の被写体を自動追尾する自動追尾装置に関するものである。
【背景技術】
【０００２】
従来、テレビカメラを搭載した雲台をズーム・パン・チルトさせ、カメラの撮影方向や画角を変化させることによって、移動する被写体を自動で追尾する、自動追尾装置が知られている。この際、被写体がカメラの撮影範囲内を小刻みに動いた際にも、パン・チルトを追尾動作させてしまうと、画面がぶれたような映像になってしまう。これを防ぐ方法として、被写体がある領域内に留まっている場合には、雲台の追尾動作を行わない追尾動作禁止領域を設ける手法が知られている。ここで、追尾動作禁止領域を大きく設定しすぎると、追尾動作自体の精度を落とすことになり、被写体が高速で動作した場合などに画面外へ移動してしまい、追尾動作が不能になってしまうことがある。
【０００３】
そこで、特許文献１では画面内における被写体の位置に応じて追尾動作禁止領域（不感帯）の範囲を変更する例が開示されている。また、特許文献２では被写体の移動速度に応じて追尾動作禁止領域を変更する例が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４１８９５３４号公報
【特許文献２】特開２００２−１７１４３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、被写体が中心部から高速で移動した場合には、不感帯が大きいために画面外に出てしまい、被写体を見失ってしまう場合がある。一方、あらかじめ不感帯を小さく設定してしまうと、上述のように小刻みな動作を行う被写体であった場合に画面がぶれたような映像になってしまう現象を防止できなくなってしまう。また、上述の特許文献２に開示された従来技術では、速度が急激に変化するような被写体においては、被写体を見失ってしまう場合がある。
【０００６】
そこで、本発明の目的は、被写体が画面外に出てしまうことにより追尾不能に陥ることを防止しつつ、状況に合わせた最適な追尾動作を行う自動追尾装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、ズーム・チルト・パンの少なくともいずれか１つを動作させることで、追尾すべき被写体を自動追尾する自動追尾装置において、
音声情報を取得する手段と、
前記追尾すべき被写体の位置を検出する手段と、
前記追尾すべき被写体の追尾動作を行わない追尾動作禁止領域を決定する手段と、
前記被写体位置が前記追尾動作禁止領域内かを判別する手段と、
前記被写体位置が前記追尾動作禁止領域内であった場合には追尾動作を行わず、追尾動作禁止領域外であった場合には追尾動作を行う制御手段とを有し、
前記追尾動作禁止領域を、前記音声情報に応じて変化させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被写体が画面外に出てしまうことにより追尾不能に陥ることを防止しつつ、状況に合わせた最適な追尾動作を行う自動追尾装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１のブロック図である。
【図２】実施例１の映像処理プロセッサの処理のフローチャートである。
【図３】実施例１のテンプレート画像の例である。
【図４】実施例１の追尾すべき被写体が存在しない取得画像の例である。
【図５】実施例１の追尾すべき被写体が存在している取得画像の例である。
【図６】実施例１の被写体位置の例である。
【図７】実施例１の取得画像と音量レベルの例である。
【図８】実施例１の追尾動作禁止領域の例である。
【図９】実施例１のＣＰＵの処理のフローチャートである。
【図１０】実施例２のブロック図である。
【図１１】実施例２の取得画像と音量レベルの例である。
【図１２】実施例２の追尾動作禁止領域の例である。
【図１３】実施例３の映像処理プロセッサの処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
［実施例１］
以下、図１を参照して、本発明の第１の実施例による、構成について説明する。図１は、本発明の実施形態にかかわるブロック図である。
【００１２】
本実施例の自動追尾システムは、操作器１０、追尾処理装置２０、および雲台システム３０とから構成される。操作者は操作器１０を操作し、雲台システム３０を遠隔操作することで、所望の画角の映像を取得することができる。操作器１０と雲台システム３０は、追尾処理装置２０を介して接続されており、追尾動作停止中は操作器１０からの信号がそのまま雲台システム３０へ送信される。一方、自動追尾中は追尾処理装置２０が映像信号をもとに自動追尾のための処理を行い、適切な制御信号を雲台システム３０へ送ることで、被写体の自動追尾を行う。
【００１３】
雲台システム３０は、雲台３１、レンズ３２、カメラ３３、およびマイク３４から構成される。雲台３１は、レンズ３２およびカメラ３３をパン・チルト駆動させる手段と、操作器１０および追尾処理装置２０からの制御信号を受信し、その内容を判別する手段をもつ。受信した信号がパン・チルト制御信号であった場合には、それぞれのモータを制御することによってパン・チルト動作を行う。レンズまたはカメラの制御信号であった場合には、対応するレンズ３２またはカメラ３３へ制御信号を転送する。レンズ３２はズーム・フォーカスを調節する手段をもち、雲台３１からの制御信号を受信した際には、対応したズーム・フォーカスの動作を行う。カメラ３３も同様に、雲台３１から制御信号を受信した際には、対応した制御を行う。マイク３４は、雲台システム３０の周囲の音声を検出するためのものであり、検出された音声情報は、追尾処理装置２０に送られる。
【００１４】
追尾処理装置２０は、ＣＰＵ２１、映像処理プロセッサ２２、映像メモリ２３、テンプレートメモリ２４、画像処理部２５、音声処理部２６から構成される。画像処理部２５は、カメラ３３からの映像信号を受信し、１フレームごとの画像情報に変換し、映像メモリ２３に保存する。また、音声処理部２６も同様に、マイク３４からの音声情報を取得し、前述の画像情報と対応付けて映像メモリ２３に保存する。映像処理プロセッサ２２は、映像メモリ２３から、画像情報および音声情報を読み込んだ後、テンプレートメモリ２４に保存されているデータをもとに処理を行い、追尾すべき被写体の情報を抽出する。ＣＰＵ２１は、自動追尾動作停止中は、特別な処理を行わず、操作器１０からの制御信号をそのまま雲台システム３０へ送信する。一方、操作者が操作器１０において自動追尾を開始するための操作を行うと、操作器１０から追尾処理装置２０へ自動追尾開始命令が送信され、ＣＰＵ２１は自動追尾動作を開始する。自動追尾動作中は、前述の映像処理プロセッサ２２が抽出した被写体の情報を元に、追尾のための動作量を計算し、この動作量を雲台の制御信号に変換し、雲台３１へ送信する。これを繰り返すことによって、被写体の自動追尾を行う。
【００１５】
ここで、映像処理プロセッサの処理の流れについて図２のフローチャートをもとに説明する。テンプレートメモリには、あらかじめ、図３に示すようなテンプレート画像が登録されているものとする。
【００１６】
映像処理プロセッサは、まず、映像メモリから画像情報を（Ｓ１１）、テンプレートメモリからテンプレート画像を読み込む（Ｓ１２）。読み込まれた２枚の画像を比較し、画像情報の中から、テンプレート画像と合致する領域があるかを判定する（Ｓ１３）。読み込まれた画像情報が図４に示すような画像であった場合のように、合致する領域が無い場合には、取得された映像の中には被写体が存在しないと判断し、以下の処理は行わないものとする。一方、図５のような画像であった場合のように、合致する領域が存在した場合には、追尾すべき被写体として認識し、図６のように画面内における被写体の重心位置Xobj, Yobjを算出する（Ｓ１４）。その後、映像メモリから、音声情報を読み込み（Ｓ１５）、この音声情報を基に、追尾動作禁止領域を決定する（Ｓ１６）。例えば、図７(a)に示すように、音量レベルが低く、被写体が急激な変化をしないと判断できるような場合には、図８(a)に示すように追尾動作禁止領域を大きく設定し、追尾動作による細かい揺れを抑える。一方、図７(b)に示すように、エンジン音などにより音量レベルが高く、被写体が急激な変化をする可能性がある場合には、図８(b)に示すように、追尾動作禁止領域を小さく設定し、被写体が画面外に移動してしまうことにより追尾不能になる現象を防止する。その後、被写体の位置情報である(Xobj, Yobj)と、追尾動作禁止領域の情報である(Xmin, Xmax, Ymin, Ymax)をＣＰＵに送信する（Ｓ１７）。
【００１７】
次に、追尾動作中のＣＰＵの処理の流れについて、図９のフローチャートをもとに説明する。
【００１８】
ＣＰＵは、まず、映像処理プロセッサから情報を取得できるかどうかを確認し（Ｓ２１）、取得できなかった場合には、被写体が存在していない状態と認識し、以下の処理を行わないものとする。追尾動作中、または被写体が最初に画面内に入ってきた場合などのように、被写体の情報が取得できた場合には、被写体の位置が追尾動作禁止領域内かどうかを判定する（Ｓ２２）。Xmin < Xobj < Xmax であるように、被写体の位置が追尾動作禁止領域内であった場合には、追尾動作の必要が無いため、以下の処理は行わない。一方、被写体の位置が追尾動作禁止領域外であった場合には、雲台を動作するための制御信号を算出し（Ｓ２３）、雲台に送信し制御することで（Ｓ２４）、自動追尾を行う。Ｙ軸方向についても同様の処理を行い、常に被写体が画面内におさまるように雲台を制御することで自動追尾を行う。最後に、操作器から追尾終了命令を受信しているかを確認し、終了命令を受信している場合には、追尾動作を終了する（Ｓ２５）。
【００１９】
本実施例の派生するシステムとして、追尾処理装置を操作器の一部として組み込んでも良いし、雲台システムの一部として組み込んでも良い。また、本実施例では、映像処理プロセッサとＣＰＵを別々のものとして構成したが、ひとつのＣＰＵで処理を行っても良い。音声処理部は、音声情報を映像情報に対応して映像メモリに保存するのではなく、直接映像プロセッサに送信するようにしても良い。
【００２０】
テンプレート画像とそれに対応させた追尾動作禁止領域のデータはあらかじめ保存されているものでもよいし、操作器側から操作者が任意に登録できるようにしても良い。
【００２１】
また、本実施例では、追尾動作禁止領域の形状を長方形としたが、その他の形でも良い。それにあわせ、追尾動作禁止領域を表す情報は、頂点の情報に限らず、追尾動作禁止領域を一意に決めるものであれば良い。
【００２２】
さらに、本実施例では、被写体の検出方法に、テンプレートマッチングによる検出方法の例を用いたが、色情報による検出、動体検知による検出、特徴点のパターンを比較することによる検出、または、これらを組み合わせた検出方法でも良い。
【００２３】
［実施例２］
以下、図１０を参照して、本発明の第２の実施例による構成について説明する。図１０は図１と比較し、マイク３４がカメラ３３と接続されている。また、画像処理部と音声処理部が削除され、変わりに両方の機能を併せ持つような映像信号処理部２７が追加されている。
【００２４】
カメラ３３はマイク３４からの音声信号を映像信号に重畳して追尾処理装置２０へ送信する。映像信号処理部２７は、１フレームごとの画像情報およびそれに対応した音声情報に変換し、映像メモリ２３に保存する。その他の部分については、実施例１と同様である。
【００２５】
ここで、映像処理プロセッサの処理の流れについて説明する。基本的な処理の流れは図２に記載の実施例1と同様である。カメラ３３は、図１１に示すような、マイク３４を持った話者を自動で追尾した映像を取得しているものとする。
【００２６】
実施例１と同様に、映像処理プロセッサは、画像情報の中から被写体を検出し、被写体の位置情報を算出する（Ｓ１１〜１４）。次に、映像メモリから音声情報を読み込み、この音声情報をもとに追尾動作禁止領域を決定する（Ｓ１５、Ｓ１６）。例えば、図１１(a)に示すレポート前の状況のように、話者がマイクに対して話していないような場合では、図１２(a)のように追尾動作禁止領域を小さく設定し、被写体である話者が画面上のある点に固定されるようにしておく。一方、図１１(b)に示す話者がレポートを始めたような状況では、マイクから入力される音量レベルが高くなり、この際には、図１２(b)のように追尾動作禁止領域を大きく設定し、画面の揺れを防止するようにする。これ以降の処理は実施例１と同様に行う。こうすることで、映像を使用するような状況では、画面のゆれを防止し、映像を使用していない状況では、追尾動作を優先し、被写体を画面上のある点に固定するというような運用が可能となる。
【００２７】
本実施例の派生するシステムとして、実施例１のように音声と映像を分けて追尾処理装置に送信しても良い。また、追尾動作禁止領域を決定するための音声情報は、音量レベルの大小だけでなく、音声認識を使用し、話者の会話の内容を判断しても良い。
【００２８】
［実施例３］
以下、本発明の第３の実施例について説明する。
【００２９】
構成は図１０に示した実施例２と同様である。ＣＰＵ２１は雲台システム３０から、現在のズームの位置情報を受信できるものとする。また、映像処理プロセッサの流れについては、図２に示した実施例１のＳ１４からＳ１６の部分にあたる処理を図１３に基づいて説明する。
【００３０】
実施例１と同様に、被写体の位置情報である(Xobj, Yobj)を算出する。次に、音声情報を読み込んだあとで（Ｓ１５）、現在のズーム位置の情報をＣＰＵから取得する（Ｓ１８）。そして、取得した音声情報とズーム位置から、追尾動作禁止領域を決定する（Ｓ１６）。例えば、被写体が同一速度で動作するとしても、ズーム位置が望遠側にあった場合のほうが、広角側にあるよりも、画面内での移動速度は速くなる。このため、実施例１、２に記載の音声情報に加え、ズーム位置の情報も加味して、ズーム位置が望遠側にあった場合には、追尾動作禁止領域を小さく、ズーム位置が広角側にあった場合には、追尾動作禁止領域を大きくする。こうすることで、被写体が急に動作した際に画面外へ出てしまい、追尾不能に陥ることを、より防止することが可能となる。
【００３１】
［実施例４］
以上説明した実施例１〜３において、音声情報を音量レベルとし、音量レベルの大小に応じて追尾動作禁止領域を可変可能とした。以下、本発明の第４の実施例について説明する。
【００３２】
構成は図１に示した実施例１の場合と同様である。音声処理部２６は、取得した音声情報から各周波数に応じた音量レベルの情報を算出する。映像処理プロセッサ２２は、この情報をもとに処理を行うことで、音の発生対象を認識し、この認識結果に応じて、追尾動作禁止領域を決定する。こうすることで、例えば、実施例１と同様の状況であった場合に、騒音と飛行機のエンジン音を区別することができるため、より確実に被写体にあわせた追尾動作禁止領域を決定することができ、追尾精度を向上させることが可能となる。
【００３３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３４】
１０  操作器
２０  追尾処理装置
２１  ＣＰＵ
２２  映像処理プロセッサ
２３  映像メモリ
２４  テンプレートメモリ
２５  画像処理部
２６  音声処理部
３０  雲台システム
３１  雲台
３２  レンズ
３３  カメラ
３４  マイク
【図１】
2013232822.tif 000003
【図２】
2013232822.tif 000004
【図３】
2013232822.tif 000005
【図４】
2013232822.tif 000006
【図５】
2013232822.tif 000007
【図６】
2013232822.tif 000008
【図７】
2013232822.tif 000009
【図８】
2013232822.tif 000010
【図９】
2013232822.tif 000011
【図１０】
2013232822.tif 000012
【図１１】
2013232822.tif 000013
【図１２】
2013232822.tif 000014
【図１３】
2013232822.tif 000015