(57)【要約】【課題】ビデオカメラの視野と目標物との相対的な速度差が大きい場合であっても、追尾開始指示がなされた直後からビデオカメラの姿勢制御が正しく行えるようにできる追尾撮影システムを、提供する。【解決手段】追尾処理部４２は、モニタ２０内の目標物がアイテムに合わせ込まれて操作盤の決定ボタンが押下されると、追尾処理を開始する。追尾処理の開始後、追尾処理部４２は、イメージメモリ４２ｂに蓄積していたフレームデータのうち、操作者が追尾開始の指示時に見ていたフレームのフレームデータから最新のフレームデータに向かって、数個おきに、ゲート設定処理及び相関処理を行って、ジンバル制御部４３にジンバルのフィードバック制御を行わせる。【選択図】図２
2007306247.tif 000002
【特許請求の範囲】
【請求項１】
撮影により複数のフレームデータを順次生成する撮影部，
前記撮影部の撮影方向を変更するためその撮影部の保持機構を駆動する駆動部，
前記撮影部が生成するフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理部，
前記画像処理部が所定の処理を施したフレームデータを外部装置へ出力する出力部，
前記撮影部が生成するフレームデータのうち最新のものを幾つか保存する保存部，
前記撮影部の撮影方向を目標物に追従させる指示を操作者から受け付けるための受付部，
前記受付部が前記指示を受け付けると、前記保存部内のフレームデータのうち、その時点で前記出力部が出力したフレームデータと同等のフレームデータから新しいものに向かって、所定個数おきに、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出部，
前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影部の撮影方向が前記目標物に向くために必要なその撮影部の姿勢の制御量を算出する制御量算出部，及び、
前記制御量算出部が算出した制御量に基づいて前記駆動部を制御する姿勢制御部
を備えることを特徴とする追尾撮影システム。
【請求項２】
撮影により複数のフレームデータを順次生成する撮影部，
前記撮影部の撮影方向を変更するためその撮影部の保持機構を駆動する駆動部，
前記撮影部が生成するフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理部，
前記画像処理部が所定の処理を施したフレームデータを外部装置へ出力する出力部，
前記撮影部が生成するフレームデータのうち最新のものを幾つか保存する保存部，
前記撮影部の撮影方向を目標物に追従させる指示を操作者から受け付けるための受付部，
前記受付部が前記指示を受け付けると、前記保存部内のフレームデータのうち、その時点で前記出力部が出力したフレームデータから順に、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出部，
前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影部の撮影方向が前記目標物に向くために必要なその撮影部の姿勢の制御量を算出する制御量算出部，
前記制御量算出部が算出した制御量に基づいて前記駆動部を制御する姿勢制御部，
前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレーム内での中心からの追尾点までのベクトルを算出するベクトル算出部，及び、
前記追尾点割出部に対し、前記ベクトル算出部が算出したベクトルの大きさに応じてゲートの大きさを変化させるゲート制御部
を備えることを特徴とする追尾撮影システム。
【請求項３】
前記ゲート制御部は、前記追尾点割出部に対し、前記ベクトル算出部が算出したベクトルの大きさ及び方向に応じてゲートの大きさ及び位置を変化させる
ことを特徴とする請求項２記載の追尾撮影システム。
【請求項４】
前記追尾点割出部は、ゲート内において、事前に取得したテンプレートに最も相関する地点を、追尾点として割り出す
ことを特徴とする請求項１又は２記載の追尾撮影システム。
【請求項５】
前記追尾点割出部は、所定の輝度閾値を用いてゲート内を二値化し、その二値画像の重心点を追尾点として割り出す
ことを特徴とする請求項１又は２記載の追尾撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラの視野内に目標物が収まり続けるようそのビデオカメラの姿勢を制御する追尾撮影システムに、関する。
【背景技術】
【０００２】
周知のように、追尾撮影システムは、ビデオカメラでの撮影により得られるフレーム（イメージ）の中から目標物が指定されると、それ以後その目標物がビデオカメラの視野内に収まり続けるようビデオカメラの姿勢を制御する。
【０００３】
より具体的には、追尾撮影システムは、その基本的な機能として、ビデオカメラから得たフレームデータに対し、感度補正や画質調整などの一般的な画像処理を施して、モニタに出力するようになっている。また、追尾撮影システムは、そのフレーム（イメージ）の中央に十字線や矩形枠などのアイテムをスーパーインポーズする機能を備えている。さらに、追尾撮影システムは、そのモニタに映し出されるフレーム（イメージ）の中から目標物を含む部分を指定して追尾開始を指示できるようにするため、ビデオカメラの視軸の向きを変更するための操作桿や決定ボタンが組み込まれた操作盤を備えている。
【０００４】
そして、画面上で目標物がアイテムに合わせ込まれて決定ボタンが押下されることにより目標物が操作者に選択されると、追尾撮影システムは、その後にビデオカメラから得られるフレームのそれぞれについて、そのフレーム内での追尾点を割り出す処理を行う。なお、具体的な追尾点の割り出し方法としては、相関度の高い点を割り出す方法と、重心点を割り出す方法がある。前者の場合、追尾撮影システムは、追尾開始の指示があった後、その時点で最新のフレームデータのうちフレーム内の所定領域の部分（例えば中心部分）のデータをテンプレートデータとして保持し、その後のフレームのそれぞれについてそのフレーム内でテンプレートとの相関度の高い地点を追尾点として割り出す。後者の場合、追尾撮影システムは、順次得られるフレームのそれぞれについて、そのフレームを所定の輝度閾値を用いて二値画像に変換し、その二値画像の重心点を追尾点として算出する。
【０００５】
そして、何れの方法が採用されていたとしても、追尾撮影システムは、フレーム内の追尾点の位置を割り出す度に、そのフレームと直前のフレームとにおける追尾点の位置から目標物の移動量を算出し、その目標物のフレーム内での移動量に基づいてビデオカメラの視軸の移動量及び移動方向を決定する処理を行う。追尾撮影システムは、これらの処理を繰り返すことにより順次得られるビデオカメラの視軸の移動量及び移動方向に基づいて、ビデオカメラの姿勢をフィードバック制御する。この結果、操作者に指定された目標物がビデオカメラの視野内に収まるように、ビデオカメラの姿勢が、制御されることとなる。
【０００６】
【特許文献１】特開２００５−２６０６３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述した従来の追尾撮影システムでは、操作者は、一般的な画像処理が施されてモニタに映し出された後のイメージを使って、追尾開始指示を出す。その一方、追尾点割出処理は、一般的な画像処理が施される前のイメージデータのうち、最新のものを使って行われる。つまり、追尾点割出処理は、追尾開始の指示があった後、モニタに映し出されていたイメージよりも、一般的な画像処理に掛かる時間に相当するコマ数だけ先に進んだイメージから、開始され、その間の数コマのイメージは、追尾点割出処理に用いられないようになっている。
【０００８】
このような事情の下、例えば、操作桿を巧みに操作してビデオカメラの視野を高速に移動させ目標物がアイテムに重なりあった瞬間を捉えて追尾開始指示をした場合や、ビデオカメラの視野を固定しつつ高速で移動する目標物がアイテムに重なりあった瞬間を捉えて追尾開始指示をした場合に、追尾開始時点での追尾点割出処理対象のフレームから、目標物が消え去ってしまうことがある。このようなことから、ビデオカメラの姿勢制御が正しく行えなくなるという問題があった。
【０００９】
本発明は、前述したような従来技術の有する問題点に鑑みてなされたものであり、その課題は、ビデオカメラの視野と目標物との相対的な速度差が大きい場合であっても、追尾開始指示がなされた直後からビデオカメラの姿勢制御が正しく行えるようにすることにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために案出された追尾撮影システムの第一の態様は、撮影により複数のフレームデータを順次生成する撮影部，前記撮影部の撮影方向を変更するためその撮影部の保持機構を駆動する駆動部，前記撮影部が生成するフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理部，前記画像処理部が所定の処理を施したフレームデータを外部装置へ出力する出力部，前記撮影部が生成するフレームデータのうち最新のものを幾つか保存する保存部，前記撮影部の撮影方向を目標物に追従させる指示を操作者から受け付けるための受付部，前記受付部が前記指示を受け付けると、前記保存部内のフレームデータのうち、その時点で前記出力部が出力したフレームデータと同等のフレームデータから新しいものに向かって、所定個数おきに、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出部，前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影部の撮影方向が前記目標物に向くために必要なその撮影部の姿勢の制御量を算出する制御量算出部，及び、前記制御量算出部が算出した制御量に基づいて前記駆動部を制御する姿勢制御部を備えることを、特徴としている。
【００１１】
このように、ビデオカメラから得られるフレームに追尾点割出処理の対象となるゲートを設定すれば、一つのフレームデータについて追尾点割出処理を行う時間が減少する。また、そのゲート内でなされる追尾点割出処理を、追尾開始指示を受けた時点にモニタに表示されていたフレームから最新のものへと順に、数個おきに行うようにすれば、一つのフレームデータが生成される間に多数のフレームデータに対して追尾点割出処理を行うことができるようになる。この結果、追尾点割出処理を高速に行えるようになり、追尾開始指示を受けた時点にモニタに表示されていたフレームからその時点で最新のフレームまでに対しても、追尾点割出処理を行えるようになるので、追尾開始直後において、目標物を見失うことがなくなる。
【００１２】
また、上記の課題を解決するために案出された追尾撮影システムの第二の態様は、撮影により複数のフレームデータを順次生成する撮影部，前記撮影部の撮影方向を変更するためその撮影部の保持機構を駆動する駆動部，前記撮影部が生成するフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理部，前記画像処理部が所定の処理を施したフレームデータを外部装置へ出力する出力部，前記撮影部が生成するフレームデータのうち最新のものを幾つか保存する保存部，前記撮影部の撮影方向を目標物に追従させる指示を操作者から受け付けるための受付部，前記受付部が前記指示を受け付けると、前記保存部内のフレームデータのうち、その時点で前記出力部が出力したフレームデータから順に、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出部，前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影部の撮影方向が前記目標物に向くために必要なその撮影部の姿勢の制御量を算出する制御量算出部，前記制御量算出部が算出した制御量に基づいて前記駆動部を制御する姿勢制御部，前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレーム内での中心からの追尾点までのベクトルを算出するベクトル算出部，及び、前記追尾点割出部に対し、前記ベクトル算出部が算出したベクトルの大きさに応じてゲートの大きさを変化させるゲート制御部を備えることを、特徴としている。
【００１３】
このように、ビデオカメラから得られるフレームに追尾点割出処理の対象となるゲートを設定すれば、一つのフレームデータについて追尾点割出処理を行う時間が減少する。また、そのゲートの大きさを追尾点の移動量に応じて変化させるようにすれば、何れのフレームにおいても目標物がゲート内に収まるようになり、追尾点が割り出せなくなるということがない。この結果、追尾点割出処理を高速に行えるようになり、追尾開始指示を受けた時点にモニタに表示されていたフレームからその時点で最新のフレームまでに対しても、追尾点割出処理を行えるようになり、然も、追尾開始直後において、目標物を見失うことがなくなる。
【発明の効果】
【００１４】
従って、本発明によれば、ビデオカメラの視野と目標物との相対的な速度差が大きい場合であっても、追尾開始指示がなされた直後からビデオカメラの姿勢制御が正しく行えるようになる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明を実施するための最良の形態について、添付図面を参照しながら、詳細に説明する。
【実施形態１】
【００１６】
図１は、第１の実施形態の追尾撮影システムの構成図である。この図１に示すように、第１の実施形態の追尾撮影システムは、撮影ユニット１０，モニタ２０，操作盤３０，及び、制御ユニット４０からなる。
【００１７】
撮影ユニット１０は、撮影により得られるビデオデータを出力するとともにその撮影方向を変更するためのユニットである。この撮影ユニット１０は、ビデオカメラ１１，ジンバル装置１２，及び、センサ１３を含んでいる。ビデオカメラ１１は、その視野内を撮影することによりビデオデータを生成する装置である。ジンバル装置１２は、周知の装置であるので、その内部構成を簡単に説明すると、ジンバル装置１２は、ビデオカメラ１１の視軸の水平角と仰角とをそれぞれ変更するための一対のジンバルと、双方のジンバルをそれぞれ駆動するための一対のギア機構及び一対のモータと、後述の角速度信号に基づいてモータに供給する電力量を制御するドライバとを、含んでいる。センサ１３は、一対のジンバルを通じてビデオカメラ１１の水平角及び仰角が変更されるときのそれぞれの角速度を検出する検出器である。なお、ビデオカメラ１１は、前述した撮影部に相当しており、ジンバル装置１２及びセンサ１３は、前述した駆動部に相当している。
【００１８】
モニタ２０は、ビデオデータに基づいて映像を表示する表示装置である。操作盤３０は、各種の操作を操作者から受け付けるための機器である。この操作盤３０には、ビデオカメラ１１の視軸の向きを変更するための操作桿と、後述の追尾を開始させる際に押下される決定ボタンとが、組み込まれている。
【００１９】
制御ユニット４０は、ビデオカメラ１１から出力されるビデオデータに各種の処理を施してモニタ２０に出力するとともに、ジンバル装置１２を制御するためのユニットである。この制御ユニット４０内のハードウエアは、画像処理部４１，追尾処理部４２，及び、ジンバル制御部４３に区分される。
【００２０】
画像処理部４１は、感度補正回路４１ａ，画質調整回路４１ｂ，画像強調回路４１ｃを含んでいる。この画像処理部４１は、これら回路４１ａ〜４１ｃを通じて、ビデオカメラ１１から得られるビデオデータを構成するフレームデータ（イメージデータ）のそれぞれに対し、一般的な画像処理である感度補正，画質調整，画像強調がそのイメージになされるように処理を施す。処理後のビデオデータは、モニタ２０に出力される。なお、画像強調回路４１ｃは、イメージの中央に十字線や矩形枠などのアイテムをスーパーインポーズする機能を有しており、モニタ２０には、そのアイテムが組み込まれた映像が表示されるようになっている。また、この画像処理部４１は、前述した画像処理部及び出力部に相当している。
【００２１】
追尾処理部４２は、第１入出力ポート（I/O PORT）４２ａ，イメージメモリ（IMAGE MEMORY）４２ｂ，インターフェース（INTERFACE）４２ｃ，ＲＯＭ［Read Only Memory］４２ｄ，ＣＰＵ［Central Processing Unit］４２ｅ，ＤＲＡＭ［Dynamic Random Access Memory］４２ｆ，及び、第２入出力ポート（I/O PORT）４２ｇを含んでいる。第１入出力ポート４２ａは、画像処理部４１との間で情報の遣り取りを行うためのハードウエアである。具体的には、第１入出力ポート４２ａは、感度補正回路４１ａからフレームデータ（イメージデータ）を受け取るとともに、画像強調回路４１ｃからフレーム番号を受け取るためのハードウエアである。イメージメモリ４２ｂは、第１入出力ポート４２ａが感度補正回路４１ａから受け取ったフレームデータを記憶しておくためのＦＩＦＯ［First-In First-Out］メモリである。なお、フレームデータは、第１入出力ポート４２ａからイメージメモリ４２ｂへＤＭＡ［Direct Memory Access］転送されてもよい。インターフェース４２ｃは、操作盤３０の操作桿が操作されたときの操作方向及び操作時間を示す操作信号をその操作盤３０から受け取るとともに、決定ボタンが押下されたときにその旨を示す開始信号を操作盤３０から受け取るための機器である。ＲＯＭ４２ｄは、各種のプログラム及びデータを記憶したハードウエアである。ＣＰＵ４２ｅは、ＲＯＭ４２ｄ内のプログラムに従って各種の処理を行うハードウエアである。ＤＲＡＭ４２ｆは、ＣＰＵ４２ｅが行う処理に必要な作業領域が展開されるハードウエアである。第２入出力ポート４２ｇは、ジンバル制御部４３との間で情報の遣り取りを行うためのハードウエアである。なお、イメージメモリ４２ｂは、前述した保存部に相当している。
【００２２】
ジンバル制御部４３は、撮影ユニット１０のジンバル装置１２を制御するためのユニットである。具体的には、ジンバル制御部４３は、ジンバル装置１２内の図示せぬドライバに、一対のジンバルをそれぞれ回転させる際の角速度を規定した角速度信号を出力する機能を有する。角速度信号は、前述した追尾制御機能４２１から引き渡される角度量情報の示す角度量，又は、操作盤３０から得られる操作信号により規定される角度量に基づいて、生成される。また、ジンバル制御部４３は、撮影ユニット１０内のセンサ１３から受信する角速度情報を利用して、ジンバル装置１２内の一対のジンバルの角速度をフィードバック制御する。なお、このジンバル制御部４３は、前述した姿勢制御部に相当している。
【００２３】
なお、図１に示されているように、追尾処理部４２内のＤＲＡＭ４２ｆには、追尾制御機能４２１が展開されている。この追尾制御機能４２１は、ＣＰＵ４２ｅがＲＯＭ４２ｄから読み出したプログラムに従って行う追尾制御処理によって実現される機能である。この追尾制御処理は、操作盤３０の決定ボタンが押下されたことが検出されたとき、開始される。この操作盤３０で決定ボタンが押下されたことを検出して追尾制御処理を開始させる処理を行うＣＰＵ４２ｅは、前述した受付部に相当している。
【００２４】
図２は、その追尾制御処理の流れを示す図である。図２に示されるように、追尾制御処理の開始後、最初のステップＳ１０１では、ＣＰＵ４２ｅは、追尾開始指示がなされた時点でモニタ２０に表示されていたフレームの番号を、処理対象として、画像処理部４１の画像強調回路４１ｃから取得する処理を行う。
【００２５】
次のステップＳ１０２では、ＣＰＵ４２ｅは、ステップＳ１０１で取得したフレームの番号のフレームデータをイメージメモリ４２ｂから読み出し、この読み出したフレームデータにより示されるフレーム（イメージ）の中心から、その一部を、後述の相関処理に利用するテンプレートとして切り出して、取得する処理を行う。この処理後、ＣＰＵ４２ｅは、ステップＳ１０３へ処理を進める。
【００２６】
ステップＳ１０３では、ＣＰＵ４２ｅは、処理対象のフレームの番号から数番（例えば三番）後を新たな処理対象とし、その処理対象のフレーム番号のフレームのフレームデータをイメージメモリ４２ｂから読み出し、そのフレームデータにより示されるフレーム（イメージ）の中心に、後述の相関処理に利用するゲート（追尾点割出処理対象領域）を設定する処理を行う。
【００２７】
次のステップＳ１０４では、ＣＰＵ４２ｅは、ステップＳ１０２で取得したテンプレートにより、ステップＳ１０３で設定したゲート内について、相関処理を実行する。相関処理は、一般的な周知の技術であるので、簡単に説明すると、相関処理では、ＣＰＵ４２ｅは、いわゆるテンプレートマッチングにより、ゲート内においてテンプレートと最も相関度の高い地点を追尾点として割り出し、ゲートの中心から追尾点までのフレーム座標上での距離と方向とを算出する。
【００２８】
次のステップＳ１０５では、ＣＰＵ４２ｅは、ステップＳ１０４で算出したフレーム座標上での距離と方向とに基づいて、追尾点がフレームの中心に一致するまでビデオカメラ１１の視軸の向きを変えるのに必要なジンバル装置１２の各ジンバルの回転角度量を決定し、決定した角度量をジンバル制御部４３に通知する処理を行う。
【００２９】
次のステップＳ１０６では、ＣＰＵ４２ｅは、処理対象のフレーム番号が、イメージメモリ４２ｂ内にあるフレームデータのうち最新のもののフレーム番号と同じであるか否かを、判別する。
【００３０】
そして、処理対象のフレーム番号が、イメージメモリ４２ｂ内にあるフレームデータのうち最新のもののフレーム番号と同じでなかった場合、ＣＰＵ４２ｅは、ステップＳ１０３へ処理を戻し、数番後のフレーム番号を新たに処理対象としてステップＳ１０３乃至Ｓ１０５の処理を実行する。
【００３１】
なお、これらステップＳ１０３乃至Ｓ１０５を実行するＣＰＵ４２ｅは、前述した追尾点割出部及び前述した制御量算出部に相当している。
【００３２】
一方、処理対象のフレーム番号が、イメージメモリ４２ｂ内にあるフレームデータのうち最新のもののフレーム番号と同じであった場合、ＣＰＵ４２ｅは、ステップＳ１０７へ処理を進める。
【００３３】
ステップＳ１０７では、ＣＰＵ４２ｅは、通常の追尾処理へ移行する。具体的には、ＣＰＵ４２ｅは、画像処理部４１の感度補正回路４１ａからフレームデータを受け取るたびに、ゲート設定，相関処理，及び、ジンバル回転角度量決定を実行する。つまり、ＣＰＵ４２ｅは、ゲート設定，相関処理，及び、ジンバル回転角度量決定を、全てのフレームデータに対して実行するようになる。
【００３４】
第１の実施形態が以上のように構成されているので、以下のように作用する。
【００３５】
操作者が、操作盤３０の操作桿を操作して、モニタ２０内の目標物をアイテムに合わせ込んで決定ボタンを押下すると、追尾処理が開始される。追尾処理の開始後、追尾処理部４２は、イメージメモリ４２ｂに蓄積していたフレームデータのうち、操作者が追尾開始の指示時に見ていたフレームのフレームデータから、最新のフレームデータに向かって順に、相関処理を行って、ジンバル制御部４３にジンバルのフィードバック制御を行わせる（ステップＳ１０３〜Ｓ１０６）。
【００３６】
このとき、追尾処理部４２は、フレーム（イメージ）内にゲートを設定して、追尾点割出処理を行う範囲をフレームの一部領域に限定しているので（ステップＳ１０３）、追尾点割出処理に掛かる時間が抑えられる。その結果として、ビデオカメラ１１が一つのフレームデータを生成する間に、一枚よりも多くのフレームについて追尾点割出処理が行えるようになるため、いずれ、追尾点割出処理の対象が、ビデオカメラ１１により生成された直後のフレームデータに、追い付くこととなる。
【００３７】
然も、追尾処理部４２は、イメージメモリ４２ｂ内のフレームデータの全てについて、追尾点割出処理を行うのではなく、図３に示されるように、数個おき（図３では二個おき）に行うようになっている（ステップＳ１０３）。これにより、相関処理の対象がビデオカメラ１１により生成された直後のフレームデータに追い付く速度が、より早まることとなる。この結果、操作者が追尾開始を指示した後、かなり短い時間で、通常の追尾処理（ステップＳ１０７）に移行させることができる。
【００３８】
このように、ビデオカメラ１１から得られるフレームに追尾点割出処理の対象となるゲートを設定すれば、一つのフレームデータについて追尾点割出処理を行う時間が減少する。また、そのゲート内でなされる追尾点割出処理を、追尾開始指示を受けた時点にモニタに表示されていたフレームから最新のものへと順に、数個おきに行うようにすれば、一つのフレームデータが生成される間に多数のフレームデータに対して追尾点割出処理を行うことができるようになる。この結果、追尾点割出処理を高速に行えるようになり、追尾開始指示を受けた時点にモニタ２０に表示されていたフレームからその時点で最新のフレームまでに対しても、追尾点割出処理が行えるようになるので、追尾開始直後において、目標物を見失うことがなくなる。
【００３９】
なお、第１の実施形態では、テンプレートを用いた相関処理により追尾点を割り出すようにしていたが、これに限定されるものではない。例えば、図２のステップＳ１０２のようにテンプレートを取得することなく、ステップＳ１０３のようにゲートを設定し、設定したゲート内を所定の輝度閾値で二値化し、その二値画像の重心点を追尾点として算出するものであっても良い。二値画像を用いた追尾点割出処理は、ビデオカメラ１１が赤外線カメラである場合に、より有効である。
【実施形態２】
【００４０】
第２の実施形態では、追尾点割出処理の対象を間引くのではなく、ゲートを位置や大きさをフレームごとに適宜変更する点で、第１の実施形態と相違し、その他の点については、第１の実施形態と同じ構成となっている。
【００４１】
図４は、第２の実施形態の追尾制御処理の流れを示す図である。図４に示されるように、最初のステップＳ２０１では、ＣＰＵ４２ｅは、追尾開始指示がなされた時点でモニタ２０に表示されていたフレームの番号を、処理対象として、画像処理部４１の画像強調回路４１ｃから取得する処理を行う。
【００４２】
次のステップＳ２０２では、ＣＰＵ４２ｅは、ステップＳ２０１で取得したフレームの番号のフレームデータをイメージメモリ４２ｂから読み出し、この読み出したフレームデータにより示されるフレーム（イメージ）の中心から、その一部を、後述の相関処理に利用するテンプレートとして切り出して、取得する処理を行う。また、ＣＰＵ４２ｅは、このフレーム番号を処理対象として特定する。
【００４３】
次のステップＳ２０３では、ＣＰＵ４２ｅは、後述の動きベクトルの初期値としてスカラー量がゼロの値を設定し、ステップＳ２０４へ処理を進める。
【００４４】
ステップＳ２０４では、ＣＰＵ４２ｅは、この時点で設定されている動きベクトルに応じて、フレーム内でのゲートの位置及びゲートの大きさを、決定する処理を行う。なお、ゲートは、フレームの中心から動きベクトルの示す方向におけるその動きベクトルの大きさに比例した距離だけ離れた位置に設定される。また、ゲートの大きさ自体も、動きベクトルの大きさに比例した大きさに設定される。
【００４５】
次のステップＳ２０５では、ＣＰＵ４２ｅは、処理対象のフレームの番号の次の番号を新たな処理対象とし、その処理対象のフレーム番号のフレームのフレームデータをイメージメモリ４２ｂから読み出すとともに、ステップＳ２０４で位置及び大きさが決定されたゲートを、読み出したフレームデータにより示されるフレーム（イメージ）上に設定する処理を行う。
【００４６】
次のステップＳ２０６では、ＣＰＵ４２ｅは、ステップＳ２０２で取得したテンプレートにより、ステップＳ２０５で設定したゲート内について、相関処理を実行する。相関処理については前述したので、ここでは説明を省略する。ＣＰＵ４２ｅは、この相関処理により、ゲート内で追尾点を割り出し、その追尾点のフレーム座標上での距離と方向とを算出する。
【００４７】
次のステップＳ２０７では、ＣＰＵ４２ｅは、ステップＳ２０６で算出したフレーム座標上での中心から追尾点までの距離と方向とに基づいて、動きベクトルを決定する処理を行う。
【００４８】
次のステップＳ２０８では、ＣＰＵ４２ｅは、ステップＳ２０６で算出したフレーム座標上での中心から追尾点までの距離と方向とに基づいて、追尾点がフレームの中心に一致するまでビデオカメラ１１の視軸の向きを変えるのに必要なジンバル装置１２の各ジンバルの回転角度量を決定し、決定した角度量をジンバル制御部４３に通知する処理を行う。
【００４９】
次のステップＳ２０９では、ＣＰＵ４２ｅは、処理対象のフレーム番号が、イメージメモリ４２ｂ内にあるフレームデータのうち最新のもののフレーム番号と同じであるか否かを、判別する。
【００５０】
そして、処理対象のフレーム番号が、イメージメモリ４２ｂ内にあるフレームデータのうち最新のもののフレーム番号と同じでなかった場合、ＣＰＵ４２ｅは、ステップＳ２０４へ処理を戻し、次のフレーム番号を新たに処理対象としてステップＳ２０４乃至Ｓ２０８の処理を実行する。
【００５１】
なお、これらステップＳ２０４乃至Ｓ２０８を実行するＣＰＵ４２ｅは、前述した追尾点割出部，前述した制御量算出部，前述したベクトル算出部，及び、前述したゲート制御部に相当している。
【００５２】
一方、処理対象のフレーム番号が、イメージメモリ４２ｂ内にあるフレームデータのうち最新のもののフレーム番号と同じであった場合、ＣＰＵ４２ｅは、ステップＳ２１０へ処理を進める。
【００５３】
ステップＳ２１０では、ＣＰＵ４２ｅは、通常の追尾処理へ移行する。具体的には、ＣＰＵ４２ｅは、画像処理部４１の感度補正回路４１ａからフレームデータを受け取るたびに、ゲート設定，相関処理，及び、ジンバル回転角度量決定を実行する。つまり、ＣＰＵ４２ｅは、ゲート設定，相関処理，及び、ジンバル回転角度量決定を、全てのフレームデータに対して実行するようになる。
【００５４】
第２の実施形態が以上のように構成されているので、以下のように作用する。
【００５５】
操作者が、操作盤３０の操作桿を操作して、モニタ２０内の目標物をアイテムに合わせ込んで決定ボタンを押下すると、追尾処理が開始される。追尾処理の開始後、追尾処理部４２は、イメージメモリ４２ｂに蓄積していたフレームデータのうち、操作者が追尾開始の指示時に見ていたフレームのフレームデータから、最新のフレームデータに向かって順に、相関処理を行って、ジンバル制御部４３にジンバルのフィードバック制御を行わせる（ステップＳ２０４〜Ｓ２０９）。
【００５６】
このとき、追尾処理部４２は、フレーム（イメージ）内にゲートを設定して、追尾点割出処理を行う範囲をフレームの一部領域に限定しているので（ステップＳ２０５）、追尾点割出処理に掛かる時間が抑えられる。その結果として、ビデオカメラ１１が一つのフレームデータを生成する間に、一枚よりも多くのフレームについて追尾点割出処理が行えるようになるため、いずれ、追尾点割出処理の対象が、ビデオカメラ１１により生成された直後のフレームデータに、追い付くこととなる。
【００５７】
然も、追尾処理部４２は、追尾点を割り出した際に動きベクトルを決定して、その動きベクトルの向きや大きさによって、その直後のフレームに設定されるゲートの大きさや位置を決定しているので（ステップＳ２０４）、図５に示されるように、フレーム内における目標物がある方にゲートが拡大し或いは移動するようになる。これにより、目標物がゲート内に収まりやすくなるため、追尾点割出処理において、目標物を見失うことがなくなる。
【００５８】
なお、第２の実施形態でも、テンプレートを用いた相関処理により追尾点を割り出すようにしていたが、第１の実施形態と同様に、これに限定されるものではない。例えば、テンプレートを使用した相関処理で追尾点を得るのではなく、輝度閾値により得られる二値画像の重心点を追尾点として算出するものであっても良い。
【００５９】
また、第２の実施形態では、動きベクトルの大きさ及び方向に応じてゲートの位置及び大きさを決定するとしていたが、これに限定されるものではない。例えば、ゲートの大きさをフレームの中心に固定しておき、ゲートの大きさを動きベクトルの大きさに応じて決定するようにしていても良い。このように構成されていても、従来技術に比べて、目標物がゲート内に収まりやすくなるため、追尾点割出処理において、目標物を見失うことがなくなる。
【００６０】
（付記１）
撮影により複数のフレームデータを順次生成する撮影部，
前記撮影部の撮影方向を変更するためその撮影部の保持機構を駆動する駆動部，
前記撮影部が生成するフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理部，
前記画像処理部が所定の処理を施したフレームデータを外部装置へ出力する出力部，
前記撮影部が生成するフレームデータのうち最新のものを幾つか保存する保存部，
前記撮影部の撮影方向を目標物に追従させる指示を操作者から受け付けるための受付部，
前記受付部が前記指示を受け付けると、前記保存部内のフレームデータのうち、その時点で前記出力部が出力したフレームデータと同等のフレームデータから新しいものに向かって、所定個数おきに、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出部，
前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影部の撮影方向が前記目標物に向くために必要なその撮影部の姿勢の制御量を算出する制御量算出部，及び、
前記制御量算出部が算出した制御量に基づいて前記駆動部を制御する姿勢制御部
を備えることを特徴とする追尾撮影システム。
【００６１】
（付記２）
撮影により複数のフレームデータを順次生成する撮影部，
前記撮影部の撮影方向を変更するためその撮影部の保持機構を駆動する駆動部，
前記撮影部が生成するフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理部，
前記画像処理部が所定の処理を施したフレームデータを外部装置へ出力する出力部，
前記撮影部が生成するフレームデータのうち最新のものを幾つか保存する保存部，
前記撮影部の撮影方向を目標物に追従させる指示を操作者から受け付けるための受付部，
前記受付部が前記指示を受け付けると、前記保存部内のフレームデータのうち、その時点で前記出力部が出力したフレームデータと同等のフレームデータから新しいものへと順に、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出部，
前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影部の撮影方向が前記目標物に向くために必要なその撮影部の姿勢の制御量を算出する制御量算出部，
前記制御量算出部が算出した制御量に基づいて前記駆動部を制御する姿勢制御部，
前記追尾点割出部がフレーム内の追尾点を割り出すたびに、そのフレーム内での中心からの追尾点までのベクトルを算出するベクトル算出部，及び、
前記追尾点割出部に対し、前記ベクトル算出部が算出したベクトルの大きさに応じてゲートの大きさを変化させるゲート制御部
を備えることを特徴とする追尾撮影システム。
【００６２】
（付記３）
前記ゲート制御部は、前記追尾点割出部に対し、前記ベクトル算出部が算出したベクトルの大きさ及び方向に応じてゲートの大きさ及び位置を変化させる
ことを特徴とする付記２記載の追尾撮影システム。
【００６３】
（付記４）
前記追尾点割出部は、ゲート内において、事前に取得したテンプレートに最も相関する地点を、追尾点として割り出す
ことを特徴とする付記１又は２記載の追尾撮影システム。
【００６４】
（付記５）
前記追尾点割出部は、所定の輝度閾値を用いてゲート内を二値化し、その二値画像の重心点を追尾点として割り出す
ことを特徴とする付記１又は２記載の追尾撮影システム。
【００６５】
（付記６）
撮影装置を保持する保持機構を駆動する駆動装置を制御することによってその撮影装置の撮影方向を制御するための追尾撮影用プログラムであって、
コンピュータを、
前記撮影装置が撮影により順次生成する複数のフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理手段，
前記画像処理手段が所定の処理を施したフレームデータを外部装置へ出力する出力手段，
前記撮影装置が生成するフレームデータのうち最新のものを幾つか記憶装置に保存する保存手段，
前記撮影装置の撮影方向を目標物に追従させる指示を操作者から入力装置を通じて受け付ける受付手段，
前記受付手段が前記指示を受け付けると、前記記憶装置内に保存されているフレームデータのうち、その時点で前記出力手段が出力したフレームデータと同等のフレームデータから新しいものに向かって、所定個数おきに、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出手段，
前記追尾点割出手段がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影装置の撮影方向が前記目標物に向くために必要なその撮影装置の姿勢の制御量を算出する制御量算出手段，及び、
前記制御量算出手段が算出した制御量に基づいて前記駆動装置を制御する姿勢制御手段
として機能させる
ことを特徴とする追尾撮影用プログラム。
【００６６】
（付記７）
撮影装置を保持する保持機構を駆動する駆動装置を制御することによってその撮影装置の撮影方向を制御するための追尾撮影用プログラムであって、
コンピュータを、
前記撮影装置が撮影により順次生成する複数のフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理手段，
前記画像処理手段が所定の処理を施したフレームデータを外部装置へ出力する出力手段，
前記撮影装置が生成するフレームデータのうち最新のものを幾つか記憶装置に保存する保存手段，
前記撮影装置の撮影方向を目標物に追従させる指示を操作者から入力装置を通じて受け付ける受付手段，
前記受付手段が前記指示を受け付けると、前記記憶装置内のフレームデータのうち、その時点で前記出力部が出力したフレームデータと同等のフレームデータから新しいものに向かって順に、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出手段，
前記追尾点割出手段がフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影装置の撮影方向が前記目標物に向くために必要なその撮影装置の姿勢の制御量を算出する制御量算出手段，
前記制御量算出手段が算出した制御量に基づいて前記駆動装置を制御する姿勢制御手段，
前記追尾点割出手段がフレーム内の追尾点を割り出すたびに、そのフレーム内での中心からの追尾点までのベクトルを算出するベクトル算出手段，及び、
前記追尾点割出手段に対し、前記ベクトル算出部が算出したベクトルの大きさに応じてゲートの大きさを変化させるゲート制御手段
として機能させる
ことを特徴とする追尾撮影用プログラム。
【００６７】
（付記８）
撮影装置を保持する保持機構を駆動する駆動装置を制御することによってその撮影装置の撮影方向を制御するための追尾撮影方法であって、
コンピュータが、
前記撮影装置が撮影により順次生成する複数のフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理手順，
前記画像処理手順において所定の処理を施したフレームデータを外部装置へ出力する出力手順，
前記撮影装置が生成するフレームデータのうち最新のものを幾つか記憶装置に保存する保存手順，
前記撮影装置の撮影方向を目標物に追従させる指示を操作者から入力装置を通じて受け付ける受付手順，
前記受付手順において前記指示を受け付けると、前記記憶装置内に保存されているフレームデータのうち、その時点で前記外部装置へ出力したフレームデータと同等のフレームデータから新しいものに向かって、所定個数おきに、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出手順，
前記追尾点割出手順においてフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影装置の撮影方向が前記目標物に向くために必要なその撮影装置の姿勢の制御量を算出する制御量算出手順，及び、
前記制御量算出手順において算出した制御量に基づいて前記駆動装置を制御する姿勢制御手順
を実行する
ことを特徴とする追尾撮影方法。
【００６８】
（付記９）
撮影装置を保持する保持機構を駆動する駆動装置を制御することによってその撮影装置の撮影方向を制御するための追尾撮影方法であって、
コンピュータが、
前記撮影装置が撮影により順次生成する複数のフレームデータに所定の処理を施すことによってそのフレームに画像処理を施す画像処理手順，
前記画像処理手順において所定の処理を施したフレームデータを外部装置へ出力する出力手順，
前記撮影装置が生成するフレームデータのうち最新のものを幾つか記憶装置に保存する保存手順，
前記撮影装置の撮影方向を目標物に追従させる指示を操作者から入力装置を通じて受け付ける受付手順，
前記受付手順において前記指示を受け付けると、前記記憶装置内のフレームデータのうち、その時点で前記出力部が出力したフレームデータと同等のフレームデータから新しいものに向かって順に、フレーム内にゲートを設定してそのゲート内の特徴点を追尾点として割り出す処理を行う追尾点割出手順，
前記追尾点割出手順においてフレーム内の追尾点を割り出すたびに、そのフレームの追尾点とその直前のフレームの追尾点とから、前記撮影装置の撮影方向が前記目標物に向くために必要なその撮影装置の姿勢の制御量を算出する制御量算出手順，
前記制御量算出手順において算出した制御量に基づいて前記駆動装置を制御する姿勢制御手順，
前記追尾点割出手順においてフレーム内の追尾点を割り出すたびに、そのフレーム内での中心からの追尾点までのベクトルを算出するベクトル算出手順，及び、
前記追尾点割出手順におけるゲートの大きさを、前記ベクトル算出手順において算出したベクトルの大きさに応じて変化させるゲート制御手順
を実行する
ことを特徴とする追尾撮影方法。
【図面の簡単な説明】
【００６９】
【図１】第１の実施形態の追尾撮影システムの構成図
【図２】追尾制御処理の流れを示す図
【図３】ビデオカメラから入力されるフレームと追尾点割出処理の対象となっているフレームとの関係を時系列にて示す模式図
【図４】第２の実施形態の追尾制御処理の流れを示す図
【図５】追尾開始指示時でのモニタ上のフレームと追尾点割出処理対象のフレームとゲートとの関係，及び、追尾点割出処理中のフレームとゲートの関係を示す模式図
【符号の説明】
【００７０】
１０    撮影ユニット
１１    ビデオカメラ
１２    ジンバル装置
２０    モニタ
３０    操作盤
４０    制御ユニット
４１    画像処理部
４２    追尾処理部
４２ｂ  イメージメモリ
４２ｅ  ＣＰＵ
４２１  追尾制御機能
４３    ジンバル制御部
【図１】
2007306247.tif 000003
【図２】
2007306247.tif 000004
【図３】
2007306247.tif 000005
【図４】
2007306247.tif 000006
【図５】
2007306247.tif 000007