(57)【特許請求の範囲】
【請求項１】
ロボット制御されるカメラの視野においてオブジェクトを追跡する方法であって、
前記カメラの視野よりも小さい面積を占める関心のある領域にあるオブジェクトが基準となるオブジェクトに整合するかを判定するステップと、
前記オブジェクトが前記カメラの視野におけるある位置からある閾値を超えて移動した場合に、前記位置に関して固定された関係に前記オブジェクトを維持するように前記オブジェクトを自動的に追跡するステップであって、前記オブジェクトが前記関心のある領域にある限り自動的に追跡し続けるステップと、
を含むことを特徴とする方法。
【請求項２】
前記オブジェクトと前記基準となるオブジェクトの間の整合を判定する前記ステップは、前記オブジェクトの少なくとも１つの特性を前記基準となるオブジェクトの少なくとも１つの対応する特性と比較するステップを含む、
請求項１記載の方法。
【請求項３】
前記自動的に追跡するステップは、前記オブジェクトの捕捉された画像が安定した状態であるかを判定するステップを含む、
請求項１記載の方法。
【請求項４】
前記オブジェクトが安定した状態であるかを判定するステップは、前記オブジェクトが所定のインターバルの間に移動したかを検出するステップを更に含む、
請求項３記載の方法。
【請求項５】
前記自動的に追跡するステップは、前記カメラのプリセットの位置と前記オブジェクトの位置とが互いに閾値の範囲にないとき、前記カメラをプリセットの位置に移動するステップを更に含む、
請求項１記載の方法。
【請求項６】
前記カメラのプリセットの位置が実際のオブジェクトの位置の許容範囲となる半径にあるときに、カメラの移動を停止するステップを更に含む、
請求項５記載の方法。
【請求項７】
オブジェクトを追跡する装置であって、
前記オブジェクトの画像を取得するカメラの視野よりも小さい面積を占める関心のある領域にあるオブジェクトが基準となるオブジェクトに整合するかを判定する手段と、
前記オブジェクトが前記カメラの視野におけるプリセットの位置からある閾値を超えて移動したかを検出する手段と、
前記オブジェクトが前記カメラの視野におけるプリセットの位置からある閾値を超えて移動した場合に、前記カメラの視野におけるプリセットの位置に関して固定された関係に前記オブジェクトを維持するため、前記オブジェクトが前記関心のある領域にあると判定されたときに前記オブジェクトを自動的に追跡する手段であって、前記オブジェクトが前記関心のある領域にある限り自動的に追跡し続ける手段と、
を含むことを特徴とする装置。
【請求項８】
オブジェクトを追跡する装置であって、
あるオブジェクトの画像を取得するカメラと、
前記カメラを移動させて前記オブジェクトを追跡する手段と、
前記カメラの視野よりも小さい面積を占める関心のある領域にあるオブジェクトが基準となるオブジェクトに整合するかを判定し、前記オブジェクトが前記カメラの視野におけるプリセットの位置からある閾値を超えて移動した場合に、前記オブジェクトが前記関心のある領域にあると判定されたときに前記カメラを移動させて前記オブジェクトを追跡し、前記オブジェクトが前記関心のある領域にある限り自動的に追跡し続けることで、前記カメラで取得された画像に従って前記カメラを移動させる手段を制御するプロセッサと、
を備えることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像がカメラにより捕捉されるオブジェクトを追跡する技術に関する。  
本出願は、2008年4月14日に提出された米国特許仮出願第61/124,094号に対する35U.S.C.119(e)の優先権を主張するものである。
【背景技術】
【０００２】
ニュース番組のようなテレビ番組のライブ制作は、ニュース番組のアンカーマン、天気レポータ及び／又はスポーツレポータのような異なる「放送中の」タレントの画像を捕捉するため、１以上のテレビカメラを必要とすることがある。従来、カメラオペレータは、それぞれのテレビジョンカメラを手動で動作させる。係る手動の動作は、特定の放送中のタレントがカメラ視野の中央に現れるのを確認するため、テレビスタジオ内の異なる位置にカメラを移動させることを必要とする。放送の間、放送中のタレントは、横方向の動きをすることがあり、カメラオペレータは、カメラの視野の中央に放送中のタレントを維持するように対応する量だけカメラを移動することが必要となる。カメラオペレータは、カメラのビューファインダに放送中のタレントの画像を観察し、これにより、オペレータは、タレントの動きの即座の情報を有し、これに応じてカメラを移動させる。
【０００３】
技術における進歩は、フロリダ州ジャクソンビルにあるThomson  Grass  Valleyから入手することができる“Cameraman”のようなロボット制御によるテレビカメラの開発を導いている。係るロボット制御によるカメラは、ｘ，ｙ及びｚ軸に沿ったカメラの変位、パン、チルト、ズーム及びフォーカスのような機能を管理する１以上のコンピュータの制御下で動作する。コンピュータを適切にプログラムすることで、カメラは、自動的に動作し、従って手動による制御の必要が回避される。典型的なロボット制御によるカメラは、既知の定位置から１以上のプリセット位置に移動する能力を有し、それぞれのプリセット位置は、放送中のタレントの特定のカメラショットを可能にする。一般に、プリセットカメラ位置は、静止したままである。言い換えれば、ロボット制御によるカメラが静止したままである間、放送中のタレントが右又は左に僅かに動く場合、放送中のタレントは、カメラの視野において中心を外れて現れる。
【０００４】
この困難さを克服するため、ロボット制御によるカメラは、Jeffrey  Parker等の名前で登録された米国特許第5668629号で開示される追跡システムのような自動追跡技術を含むことができる。629特許で記載される自動追跡システムは、ロボット制御によるカメラにより持ち運ばれるIR受信機に信号を送信するために、（たとえば放送中のタレントといった）移動するオブジェクトにより持ち運ばれる赤外線（IR）送信機を採用する。送信機がオブジェクトと共に移動するときに送信機により送信される信号における変位を検出することで、IR受信機は、移動するオブジェクトの新たな位置を確定し、ロボット制御によるカメラを制御するコンピュータに情報を供給して、これに応じてカメラを移動させる。
【０００５】
629特許で記載されるIR追跡技術は、１つの移動するオブジェクトを追跡するために良好に機能する。しかし、複数のオブジェクトの追跡は、幾つかの異なる放送中のタレントの画像を捕捉するために１つのロボット制御によるカメラが機能するとき、ある瞬間でニュースアンカーの画像、異なる瞬間で天気レポータの画像を捕捉するためにカメラが動くときに生じるような場合に問題である。それぞれ異なる放送中のタレントは、干渉を回避するために個別のIR送信機を持ち運ぶ必要があり、従ってカメラ上の複数のIR受信機を強制的に必要とする。また、このIRシステムは、頭の位置の正確な予測を有するために頭部の中央に位置される埋め込まれたシステムをアンカーパーソンが身に付ける必要がある問題に苦しむ。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、従来技術の上述した問題を克服する追跡技術が必要とされる。
【課題を解決するための手段】
【０００７】
要するに、好適な実施の形態によれば、ロボット制御されるカメラの視野においてオブジェクトを追跡する方法が提供される。本方法は、カメラの視野におけるオブジェクトが基準となるオブジェクトに整合するかを最初に判定することで開始する。整合する場合、オブジェクトの追跡が開始され、指定されたオブジェクトが予め設定された位置から閾値よりも多く動いた場合に、カメラの視野における予め設定された位置に対する固定された関係にオブジェクトを維持する。このように、追跡は、カメラの視野に従って行われ、追跡されるオブジェクトに装着される装置に依存しない。
【図面の簡単な説明】
【０００８】
【図１】本発明の自動追跡技術を実施する例示的なシステムのブロック図である。
【図２】図１のシステムをオペレータが制御することができるグラフィカルユーザインタフェース（GUI）である。
【図３】オペレータがカメラオフセットを操作することができる方法を示す図２のGUIの拡大された部分を示す図である。
【図４】本発明の原理の自動追跡技術を実行する図１の装置により実施される方法のステップのフローチャートである。
【発明を実施するための形態】
【０００９】
図１は、本発明に係る、放送中のタレントのようなオブジェクト１２を自動追跡する例示的なシステム１０のブロック図である。放送中のタレント１２は、テレビのニュース番組の制作に関連するニュースキャスター、スポーツレポータ又は天気予報士の形態を取るか、又は（たとえばゲーム番組のホストといった）他のタイプのテレビ番組に関連する。
【００１０】
システム１０は、フロリダ州ジャクソンビルにあるThomson  Grass  Valleyから入手可能な“Cameraman”ロボット制御カメラアセンブリのようなロボット制御によるカメラアセンブリ１４を含む。ロボット制御によるカメラアセンブリ１４は、典型的に、絞り及びズームのような機能が限定されるものではないがパーソナルコンピュータ等のようなプロセッサ２０により供給される信号に応答するズームレンズ１８を持つテレビカメラ１６を含む。従って、レンズ１８は、可変のズーム機能を有する。また、プロセッサ２０は、プロセッサからの信号に応じてカメラを流し撮りすること及び傾斜させることと同様に、ｘ及びｙ軸に沿ってカメラ１６を動かす機能を有するロボット制御によりカメラ架台２２を制御する。プロセッサ２０は、カメラ１６からのビデオ信号に従ってレンズ１８の機能と同様に、ロボット制御によるカメラ架台２２の動きを制御するために動作する。ロボット制御によるカメラシステム１４は、１つのカメラ１６を示しているが、システムは、１つのプロセッサ又は個々のプロセッサにより制御される複数のカメラを含むことができる。
【００１１】
図２は、以下に記載される方法でオブジェクト（たとえば図１の放送中のタレント１２）の自動追跡を実行するため、プロセッサ２０により実行されたプログラムにオペレータがデータを入力し、プロセッサにより実行されるプログラムからの情報を受けるグラフィカルユーザインタフェース（GUI）２００の表示を示す。図２のGUI２００は、図１のカメラ１６のような選択されたテレビカメラの画像を保持するビデオスクリーン２０２を含む。ビデオスクリーン２０２で表示される画像は、水平及び垂直のライン２０４ａ及び２０４ｂを含み、その交点２０６は、本発明の追跡技術に関連するオフセットを表す。このオフセットは、オブセット（たとえば図１の放送中のタレント１２）の中央とライン２０４ａ及び２０４ｂの交点２０６との間の位置における差を構成する。オペレータは、ラインにタッチ及びドラッグしてオフセットを操作することで、ライン２０４ａ及び２０４ｂの位置を操作することができる。また、ビデオスクリーン２０２は、自動追跡が行われる領域を定義する境界線２０８の形式で「セーフゾーンボックス」を表示する。境界線２０８の外に現れるオブジェクトについて追跡が行われない。したがって、図１の放送中のタレント１２は境界線２０８の外側に現れる場合、カメラ１６は、放送中のタレントの動きに応答しない。
【００１２】
ビデオスクリーン２０２に加えて、ＧＵＩ２００は、複数の「トグルボタン」２１０−２２４を含み、それぞれＧＵＩにおける特定の領域の形式を取り、作動されたとき、以下に記載されるような特定のアクションをトリガする。実際に、トグルボタン２１０−２２４の特定の１つの作動は、コンピュータマウス（図示せず）の使用により行うことができる。代替的に、ＧＵＩ２００は、特定のトグルボタンがそのボタンに関連する対応するアクションをトリガするように、タッチスクリーン上での表示を受ける。トグルボタン２１０は、幾つかのカメラの特定の１つの選択をトリガする一方で、トグルボタン２１２は、トグルボタン２１０により選択されたカメラについて予め設定されたショットを選択する。トグルボタン２１４は、編集機能をトリガして、限定されるものではないがカメラの動きの速度を含む様々なパラメータをオペレータが調節するのを可能にする。このようにして、オペレータは、自動追跡の感度を調節することができる。トグルボタン２１６は、新たなトラッキングセッションをトリガする。トグルボタン２１８は、限定されるものではないが特定の予め設定されたカメラ位置の関連するセーフゾーン設定を含めて、現在のトラッキングセッションに関連する様々な設定及び他の情報の保存をトリガする。
【００１３】
トグルボタン２１８は、本発明の方法に従って、（図１の放送中のタレント１２といった）オブジェクトの自動追跡を可能にする。トグルボタン２４０は、その領域の外側では追跡が行われない領域を定義するため、境界線２０８により定義されるセーフゾーンの形成を可能にする。トグルボタン２２２は、作動されたとき、“auto  find”モードに入ることで自動追跡を始動すると、図１のプロセッサ２０は、追跡されている適切なオブジェクトについて現在選択されているカメラの視野をサーチする。トグルボタン２２２は、自動追跡及びセーフゾーンの両者をオペレータの介入なしに可能にする。最後に、トグルボタン２２４は、作動されたとき、オペレータを支援するヘルプスクリーンをトリガする。
【００１４】
ＧＵＩ２００は、有利にも、（図２におけるライン２０４ａ及び２０４ｂの交点２０６により定義されるような）ｘ及びｙのオフセットの設定と同様に、トラッキングウィンドウ（すなわち境界線２０８）をオペレータが設定するのを可能にする。このように、オペレータは、放送中のタレントと同じ視点に現れるグラフィックスに依存して、オブジェクト（図１の放送中のタレント１２）を特定の視点において維持する。たとえば、図２のビデオスクリーン２０２に示される画像で示されるような、図１の放送中のタレント１２の右肩又は左肩の上に現れ、結果として「右ＯＴＳ」又は「左ＯＴＳ」となる。自動追跡トグルボタン２１８の作動に続いて自動追跡機能のオペレータの選択に応じて、ＧＵＩ２００のビデオスクリーン２０２は、オフセットの現在の位置で図１のカメラ１６の画像を表示する。上述されたように、オペレータがライン２０４ａ及び２０４ｂをタッチして、それらを所望の位置にドラッグすることで調節を行うことができる。プリセットとしてライン２０４ａ及び２０４ｂの位置を保存した後、交点２０６は、その特定の位置のプリセットに関連するｘ及びｙのオフセットとなる。図１のカメラ１６は、（たとえば図１の放送中のタレント１２である）オブジェクトを追跡し、オペレータの介入なしに、記憶されたオフセットと位置のプリセットとの間の差に基づいてカメラの位置を調節し直す。図３は、図２のビデオスクリーン２０２の拡大図を表し、図１のカメラ１６の視野におけるオブジェクトの中央からの「ずれ」を有するトラッキングウィンドウを更に明確に示す。
【００１５】
図４は、本発明に係る図１の放送中のタレント１２の自動追跡を実行するために図１のロボット制御によるカメラアセンブリ１４を図１のプロセッサ２０が制御することができる例示的なプロセス４００のステップのフローチャートである。自動追跡方法４００は、ステップ４０２をはじめに実行することで、追跡するオブジェクトを作成又は設定し直す。ステップ４００の最初の実行は、「空の」オブジェクトを作成する機能を果たす。追跡のため、オブジェクトは、たとえば色及び特徴点のような所定のコンテンツに基づく特性と同様に、形状及び位置のような所定の特性を有する。はじめに、全てのオブジェクトの特性は、ゼロ値を有する。
【００１６】
また、ステップ４００の実行は、カメラを予め定義された（たとえばプリセット）位置に配置するため、ｘ，ｙ及びｚ座標における図１のカメラ１６の位置をリセットする役割を果たす。同様に、パン、チルト、ズーム及び絞りは、予め定義された値に設定される。
【００１７】
ステップ４０２に続いて、ステップ４０４が実行され、プロセッサ２０は、図１のカメラ１６により捕捉された現在のビデオフレームにおける画像（たとえば色の特徴点等）の特性をオブジェクトの記憶された画像に比較することで、（たとえば図１の放送中のタレント１２といった）オブジェクトを検出する。（捕捉されたフレームの特性が記憶された画像の対応する特性に実質的に整合するときに行われる）オブジェクトの検出に応じて、プロセッサ２０は、オブジェクトの安定を決定するためにステップ４０６を実行する。オブジェクトの検出の失敗に応じて、ステップ４０４は、次のビデオフレームの補足に応じて再実行を受ける。実際に、ステップ４０４は、エンドレスループの実行を回避するためにタイムアウトインターバルに到達するまで、捕捉されたビデオフレームの連続についてオブジェクトを検出するために再実行を受ける。図２に示されていないが、オペレータは、オブジェクトの検出を検出するか又はプロセスを終了するため、この時点で介入する。
【００１８】
一般に、オブジェクトの追跡（すなわちカメラの移動）は、オブジェクトが安定した状態を保つことを必要とする。言い換えれば、オブジェクトは、自動追跡を試みるとき、著しい動きを受けるべきではない。オブジェクトが著しい動きを受ける間に自動追跡を試みることは、オブジェクトが既に移動した位置へのカメラ２０の動きとなり、これは、図１のカメラ１６がオブジェクトを「追跡する」ことにつながる。係る可能性を回避するため、オペレータは、プロセッサ２０が図１のカメラ１６の動きを始動する前にオブジェクトが同じ位置に一般にとどまらなければならないインターバルを選択する。オブジェクトは指定されたインターバルについて実質的に静止している場合、オブジェクトは、ステップ４０６の間に安定を決定するため、オブジェクトは安定のままである。最初のステップで、開ループ（すなわちこの時間の間に画像が処理されない）でカメラが動くため、オブジェクト安定ステップが行われる。この最初の移動は、所望のプリセット位置に到達するために１秒以上を要する可能性があり（ズームコマンドがそれほど速くない）、カメラがこの位置に最終的に収束するとき、なお動いていたオブジェクトは、この位置から遠く離れてオブジェクト追跡の失敗となるか、望まれる挙動ではない新たな非常に重要なカメラの移動となる。
【００１９】
図１のプロセッサ２０がステップ４０６の間にオブジェクトが安定であることを発見した場合、プロセッサは、図１のカメラ１６を所望のプリセット位置に移動させ、同様に、ステップ４０８の間い図１のレンズ１８に指示して所望のプリセット位置にズームさせる。オペレータは、図２のＧＵＩ２００で入手可能なプリセット変更機能を使用してこれらのパラメータを変えることができる。それぞれのプリセットについて、オペレータは、捕捉された画像及び画像のサイズの中央の位置を変更することができる。オペレータは、ＧＵＩ２００のプリセットセレクタを使用してプリセットを変えることができる。ステップ４１０の間、プロセッサ２０は、オブジェクトの特性を更新し、安定性の判定のために使用されるオブジェクト位置のカウンタをゼロにリセットする。特に、図１のプロセッサ２０は、現在の画像におけるオブジェクトの位置を確定することでオブジェクトの特性を更新する。オブジェクトの特性は、たとえば矩形又は楕円といったその形状を含む。形状の情報を使用して、プロセッサ２０は、オブジェクトを追跡するためにコンテンツに基づく特性を抽出する。ステップ４０６の間にオブジェクトの安定度を検出できない場合、プロセスの実行は、ステップ４０４に分岐する。
【００２０】
ステップ４１０に続いて、図１のプロセッサ２０は、ステップ４１２を実行して、オブジェクトの追跡が十分な確かさで行われているかを検出する。その特性から検出されたときのオブジェクトの正確な位置が、追跡の確かさを示す、その期待される位置の所与の確率にあるとき、オブジェクトの追跡は十分な確かさで行われる。オブジェクトを追跡するのに適した追跡技術の例は、2008年9月8日に提出された係属中のＰＣＴ出願（PCT/EP08/061842）に存在し、参照により本明細書に盛り込まれる。追跡の確かさが所与の閾値に等しいか又は超える場合、図１のプロセッサ２０は、成功した追跡と見なし、ステップ４１８を実行して収束をテストする。さもなければ、追跡の確かさが閾値に等しくなく又は閾値を超えない場合、プロセッサ２０は、オブジェクトが失われるべきと見なす。
【００２１】
係る状況の下、プロセスの実行は、ステップ４１４に分岐し、基準となる位置として前にフレームにおけるオブジェクトの位置を使用して、オブジェクトを探す。プロセッサ２０は、画像のサンプリングを拡大することにより、典型的にランダムな方式で、全体の画像を通してオブジェクトを探す。次いで、オブジェクトが発見されたかを判定するため、ステップ４１６の間にチェックが行われる。オブジェクトを発見したかを判定するため、プロセッサ２０は、オブジェクトの特性とオブジェクトの候補の特性との間の隔たりが追跡の確かさの半分よりも小さいままであるかをチェックする。小さいままである場合、プロセスの実行は、ステップ４１２に分岐し、成功した追跡をチェックする。さもなければ、ステップ４１４は、図１のプロセッサ２０がオブジェクトを探すまで再実行を受ける。エンドレスループを回避するため、プロセス４００は、オブジェクトを発見しない場合に所与のインターバルの後にタイムアウトする。なお、オペレータは、図２のＧＵＩ２００を介してリアルタイムで追跡の確かさを変えることができる。
【００２２】
図４のステップ４１８の実行に応じて、図１のプロセッサ２０は、オブジェクトの位置が所望のプリセットの位置に対応するかを判定することで収束を判定する。それぞれの時間的な瞬間で、オブジェクトは、オブジェクトの実際の位置と所望のプリセットの位置との間の距離が閾値を超えないかに依存して、真（TRUE）又は偽（FALSE）といった収束の状態を有する。はじめに、オブジェクトは、FALSEの収束状態を有する。FALSEの収束の状態の検出に応じて、プロセッサ２０は、収束のテストを始める。ステップ４１８の間にチェックされたとき、収束の状態がFALSEのままである場合、ステップ４２０が実行され、プロセッサ２０は、選択されたプリセットの位置にカメラ１６を移動させる。プロセッサ２０は、パン及びチルトの速度の異なる値を使用することで決定される方向により、パン及びチルトの速度を個別に制御する。オペレータは、図２のＧＵＩ２００を介してカメラの速度の大きさを変えることができる。追跡の間に短い距離で前後に迅速に移動する図１のカメラ１６により生じる振動の可能性を回避するため、プロセッサ２０は、TRUEの収束状態のステップ４１８の間の判定に続いて、ステップ４２２の間に許容範囲のチェックを実行する。ステップ４２２の間、プロセッサ２０は、それぞれのプリセットの位置に関する許容範囲の半径を利用することで許容範囲をチェックする。所望のプリセット位置と現在のオブジェクトの位置の間の距離が許容範囲の半径よりも小さいままである場合、図１のカメラ１６の更なる動きは不要となり、ステップ４２４でプロセスは終了する。さもなければ、（たとえば図１の放送中のタレント１２である）オブジェクトが許容範囲の半径の外にある場合、プロセッサ２０は、収束の状態をFALSEにリセットし、ステップ４２０は、オブジェクトの位置と所望のプリセットの位置とを整合させるため、カメラ１６を移動するために再実行される。  
上述した内容は、オブジェクトの自動追跡の技術を説明するものである。
【図１】
0005456022.tif 000002
【図２】
0005456022.tif 000003
【図３】
0005456022.tif 000004
【図４】
0005456022.tif 000005