(57)【要約】カメラに基づく画像処理システムのカメラは、システムのグラフィカル・ユーザ・インタフェース（ＧＵＩ）を使用してキャリブレーションされる。カメラが操作されるべき領域の表現はＧＵＩを介し表示され、１つ以上のキャリブレーション点のセットのそれぞれに対しキャリブレーション情報は、カメラが領域における対応する位置に向けられるに従い連続的に得られる。１つ以上のキャリブレーション点のそれぞれに対するキャリブレーション情報は、ＧＵＩを介して表示される領域の表現におけるキャリブレーション点に対応する位置を識別するコマンドが入力される後に得られる。カメラ位置及び向きを含む外部キャリブレーションは、１つ以上のキャリブレーション点に対し得られるキャリブレーション情報に基づいてカメラに対し計算される。【特許請求の範囲】
【請求項１】
カメラに基づく画像処理システムのカメラをキャリブレーションする方法であって、
上記カメラが操作されるべき領域の表現を、グラフィカル・ユーザ・インタフェースを介し表示する段階と、
１つ以上のキャリブレーション点からなる各セットに対するキャリブレーション情報を、上記カメラが上記領域における対応する位置に向けられるに従い連続的に求め、上記１つ以上のキャリブレーション点のそれぞれに対し、上記グラフィカル・ユーザ・インタフェースを介し表示される上記領域の上記表現における上記キャリブレーション点に対応する位置を識別するコマンドを入力する段階と、
上記１つ以上のキャリブレーション点に対し得られる上記キャリブレーション情報に基づいて上記カメラの位置情報及び向き情報の少なくとも１つを計算する段階とを含む方法。
【請求項２】
上記キャリブレーション点のセットは、１つのキャリブレーション点を含み、上記計算される情報は、上記カメラに対するパンバイアスを含む請求項１記載の方法。
【請求項３】
カメラに基づく画像処理システムのカメラをキャリブレーションするために使用する装置であって、
（ｉ）上記カメラが操作されるべき領域の表現を、グラフィカル・ユーザ・インタフェースを介し表示し、（ｉｉ）１つ以上のキャリブレーション点からなる各セットに対するキャリブレーション情報を、上記カメラが上記領域における対応する位置に向けられるに従い連続的に求め、上記少なくとも１つ以上のキャリブレーション点のそれぞれに対し、上記グラフィカル・ユーザ・インタフェースを介し表示される上記領域の上記表現における上記キャリブレーション点に対応する位置を識別するコマンドを入力し、（ｉｉｉ）上記１つ以上のキャリブレーション点に対し得られる上記キャリブレーション情報に基づいて上記カメラの位置情報及び向き情報の少なくとも１つを計算するよう動作するプロセッサと、
上記プロセッサに接続され、上記キャリブレーション情報の少なくとも一部を格納するよう動作するメモリとを含む装置。
【請求項４】
上記キャリブレーション点のセットは、少なくとも３つのキャリブレーション点を含み、上記計算される情報は、上記カメラの２次元位置及び上記カメラのパンバイアスを含む請求項３記載の装置。
【請求項５】
上記キャリブレーション点のセットは、少なくとも３つのキャリブレーション点を含み、上記計算される情報は、上記カメラのチルトバイアスを含む請求項３記載の装置。
【請求項６】
ユーザは、上記カメラのパン設定、チルト設定、及び、ズーム設定のうちの少なくとも１つを調節することにより、所与のキャリブレーション点に対応する上記領域における点に上記カメラを向ける請求項３記載の装置。
【請求項７】
ユーザは、１つのキャリブレーション点に対応する上記領域における点に上記カメラが向けられていることを上記システムに示すためにコマンドを入力し、上記コマンドを受信すると、上記特定の位置に対する上記キャリブレーション情報が得られる請求項３記載の装置。
【請求項８】
上記プロセッサは更に、上記キャリブレーション情報を使用し、上記カメラの位置が既知であり、上記チルトバイアスがゼロであるものとして上記カメラに対するパンバイアスを計算するよう動作する請求項３記載の装置。
【請求項９】
上記プロセッサは更に、上記キャリブレーション情報を使用し、上記カメラの高さが既知であり、上記チルトバイアスがゼロであるものとして上記カメラに対するカメラ位置及びパンバイアスを計算するよう動作する請求項３記載の装置。
【請求項１０】
カメラに基づく画像処理システムのカメラをキャリブレーションするために使用する１つ以上のプログラムを格納可能な記憶媒体を含む製品であって、
上記１つ以上のプログラムはプロセッサによって実行されると、
上記カメラが操作されるべき領域の表現を、グラフィカル・ユーザ・インタフェースを介し表示する段階と、
１つ以上のキャリブレーション点からなる各セットに対するキャリブレーション情報を、上記カメラが上記領域における対応する位置に向けられるに従い連続的に求め、上記１つ以上のキャリブレーション点のそれぞれに対し上記グラフィカル・ユーザ・インタフェースを介し表示される上記領域の上記表現における上記キャリブレーション点に対応する位置を識別するコマンドを入力する段階と、
上記１つ以上のキャリブレーション点に対し得られる上記キャリブレーション情報に基づいて上記カメラの位置情報及び向き情報の少なくとも１つを計算する段階とを実施する製品。
【発明の詳細な説明】
【０００１】
［発明の属する技術分野］
本発明は一般的に、画像信号処理の分野に係り、より詳細には、ビデオ会議システム、ビデオ監視システム、及び、他のカメラに基づいたシステムにおける、パン−チルト−ズーム（ＰＴＺ）カメラ及び他の種類のカメラをキャリブレーションする技術に関する。
【０００２】
［発明の背景］
ビデオ会議システム、ビデオ監視及びモニタリングシステム、及び、ヒューマン・マシーンインタフェースといったカメラに基づく画像処理システムでは、システムのカメラに適切なキャリブレーションを与えることが重要である。例えば、ビデオ会議システムでは、結果としての出力ビデオ信号において、特定の会議参加者の頭部及び肩にフレームをつけることが好適である。一方、ビデオ監視システムでは、例えば、システムによってモニタリングされる制限領域に出入りする人の体全体にフレームをつけることが好適である。このような検出及び追跡動作を正確に遂行するには一般的に、使用されるカメラが適切にキャリブレーションされることを必要とする。
【０００３】
所与のカメラのキャリブレーション処理は、内部キャリブレーション及び外部キャリブレーションを必要とする。内部キャリブレーションは、主点、焦点距離、ズーム合印から焦点距離へのマッピングといったカメラパラメータを含む。外部キャリブレーションは、カメラの位置及び向きの決定、更には、パン及びチルトバイアスの推定が含まれる。
【０００４】
従来のキャリブレーション技術は、多数の顕著な欠点を有する。例えば、このような技術は一般的に計算上高価であり、所望のレベルの安定を供給しない場合がある。
【０００５】
現行の幾つかのカメラに基づく画像処理システムには、グラフィカル・ユーザ・インタフェース（ＧＵＩ）が組込まれる。しかし、このようなシステムは一般的に、カメラのキャリブレーションには関係のない目的のためのＧＵＩを使用する。このようなシステムにおけるキャリブレーションは一般的に、上述した従来の技術のうちの１つ以上を用いて行われるが、ＧＵＩは使用しない。
【０００６】
上述から明らかであるように、カメラに基づく画像処理システムにおけるカメラキャリブレーションのための改善された技術が必要である。
【０００７】
［発明の概要］
本発明は、カメラに基づく画像処理システムにおけるビデオ信号及び他の種類の画像信号を生成するために使用されるカメラのキャリブレーション方法及び装置を提供する。
【０００８】
本発明の１つの面によると、カメラに基づく画像処理システムのカメラは、システムのグラフィカル・ユーザ・インタフェース（ＧＵＩ）を使用してキャリブレーションされる。カメラが操作されるべき領域の表現はＧＵＩを介し表示され、キャリブレーション情報は、１つ以上のキャリブレーション点からなる各セットに対し、カメラは領域における対応する位置に向けられるに従い連続的に得られる。１つ以上のキャリブレーション点のそれぞれに対するキャリブレーション情報は、ＧＵＩを介し表示される領域の表現におけるキャリブレーション点に対応する位置を識別するコマンドが入力される後に得られる。カメラ位置及び向きを含む外部キャリブレーションは、１つ以上のキャリブレーション点に対し得られるキャリブレーション情報に基づいてそのカメラに対し計算される。
【０００９】
例として、キャリブレーション点のセットは、１つのキャリブレーション点のみを含むものとし、この場合、計算される情報は、そのカメラに対するパンバイアスのみを含む。もう１つの例として、少なくとも３つのキャリブレーション点に対し得られるキャリブレーション情報は、カメラの２次元位置及びカメラのパンバイアスの両方を計算するために使用される。更にもう１つの例として、３つの更なるキャリブレーション点から得られるキャリブレーション情報は、そのカメラのチルトバイアスを計算するために使用される。
【００１０】
本発明のもう１つの面によると、システムは、キャリブレーション情報を使用し、カメラの位置は既知であり、チルトバイアスはゼロであるものとしてカメラに対するパンバイアスを推定するよう構成される。システムは、キャリブレーション情報を使用し、カメラの高さは既知であり、チルトバイアスはゼロであるものとしてカメラ位置及びカメラに対するパンバイアスを推定するよう構成される。いずれの場合においても、カメラに対するチルトバイアスは、カメラの位置及びそのカメラのパンバイアスを決定した後に推定される。
【００１１】
本発明のキャリブレーション処理は、従来のキャリブレーション技術に関連付けられる上述の問題を１つ以上解決することが有利である。例えば、本発明のキャリブレーション技術は、一般的に、計算上もあまり高くなく、従来の技術よりも安定している。本発明の技術は、様々な種類の画像処理用途に使用可能であり、その用途範囲には、例えば、ビデオ会議システム、ビデオ監視及びモニタリングシステム、及びヒューマン・マシーンインタフェースといったカメラに基づくシステムが含まれる。本発明の上述した特徴及び他の特徴は、添付図面及び以下の詳細な説明により明らかとなおる。
【００１２】
［発明の詳細な説明］
図１は、本発明のカメラキャリブレーション技術が実施され得るカメラに基づく画像処理システム１０を示す。システム１０は、プロセッサ１２、メモリ１４、１つ以上の入力／出力（Ｉ／Ｏ）装置のセット１５、及び、コントローラ１６を含み、これらは全てシステムバス１７に接続され通信する。システム１０は更に、図示するようにコントローラ１６に接続されるカメラ１８を含む。カメラ１８は、例えば、パン−チルト−ズーム（ＰＴＺ）カメラ、ズームカメラ、又は、他の任意の好適な画像捕捉装置であってよい。本願にて使用する「カメラ」という用語は、従って、任意の種類の画像捕捉装置を含むものとする。
【００１３】
更に、システム１０の一部としてディスプレイ２０があり、これは、本発明のカメラキャリブレーション処理を実施するのに使用されるグラフィカル・ユーザ・インタフェース（ＧＵＩ）２２を供給する。ディスプレイ２０は１つ以上のＩ／Ｏ装置１５に接続され、ディスプレイ上に表示されるＧＵＩ２２は、システム１０のプロセッサ１２及びメモリ１４を介し１つ以上のソフトウェアを実行することにより生成される。以下に詳細に説明するが、ＧＵＩ２２は、キャリブレーション処理の一部として、空間又は他の領域のマップを表示し、この空間又は他の領域内においてカメラ１８が操作されるべきであり、このカメラに対しキャリブレーションが必要となる。本願にて使用する「マップ」という用語は、空間又は他の領域の任意の種類の表現を意味し、ユーザがカメラを向かせる空間又は領域内の１つ以上のキャリブレーション点が、表示される表現に対応する点があるよう構成される。
【００１４】
図１には示しないが、システム１０には追加の要素が存在してもよい。例えば、１つ以上のＩ／Ｏ装置１５には、マウス又は他のポイントアンドクリック装置、キーボード、プリンタ、ディスクドライブ、及び、他の周辺機器、また、他の種類の周知の装置が接続されてもよい。
【００１５】
システム１０は、例えば、ビデオ会議、ビデオ監視及びモニタリング、ヒューマン−マシーンインタフェース等を含む多数の異なる画像処理用途に使用されるよう適応され得る。より一般的には、システム１０は、本発明によって提供される改善されるキャリブレーション機能から利益を得るどの用途にも使用可能である。
【００１６】
システム１０の要素又は要素の集まりは、従来のデスクトップ式又はポータブル式コンピュータ、更には、上述の又は他の処理装置の一部又は組合わせにおける対応する要素を表し得る。更に、本発明の別の実施例では、プロセッサ１２、コントローラ１６、又は、システム１０の他の要素の一部又は全体の機能は、単一の装置に組立てられてもよい。例えば、システム１０の１つ以上の要素は、コンピュータ、テレビジョン、セットトップボックス、又は、他の処理装置に組込まれる特殊用途向け集積回路（ＡＳＩＣ）又は回路カードとして実施され得る。
【００１７】
本願にて使用する「プロセッサ」という用語は、マイクロプロセッサ、中央演算処理ユニット（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラ、又は、所与のデータ処理装置内で使用される他の任意のデータ処理要素、及び、これらの要素の組合せ又は一部を含むものとする。更に、メモリ１４は、電子メモリ、光学又は磁気ディスクメモリ、テープメモリ、及び、これら及び他の種類の記憶装置の組合せ又は一部を表すものとする。
【００１８】
本発明の例示的な実施例は、システム１０のＧＵＩ２２を使用するカメラキャリブレーション処理を提供する。
【００１９】
図２は、本発明の例示的な実施例におけるカメラキャリブレーション処理のフローを示す図である。例示的な目的として、カメラ１８は、モニタされるべき空間又は他の領域内に配置されるＰＴＺカメラであり、このカメラのパン、チルト、ズーム、及び、他のカメラパラメータの設定は、例えば、ＧＵＩ２２又は他の適切なインタフェースを介しユーザによって制御可能である。
【００２０】
図２のステップ１００において、ユーザはＧＵＩ２２を介しキャリブレーション処理を開始する。例えば、ユーザは、ユーザがキャリブレーションを行うよう指示する又は提案する表示アイコン又は他のインジケータに応答することにより処理を開始してもよい。別の例として、キャリブレーションは、システムセットアップ手順の一部であってもよい。ステップ１０２においてシステムは、キャリブレーション手順の開始に応答して、ＧＵＩ２２を介し、モニタされるべき空間又は他の領域のマップをユーザに表示する。上述したように、このマップは空間又は他の領域の表現であり、ユーザがキャリブレーション点として選択する空間又は他の領域における点に対応する１つ以上の点を含む。
【００２１】
ステップ１０４において、ユーザはカメラ１８のパン、チルト、及び、ズーム制御を用いて、カメラを空間又は他の領域における選択されたキャリブレーション点に向ける。この点は、システムからの入力なくユーザによって選択されてもよい。或いは、１つ以上のキャリブレーション点が、ＧＵＩ２２又は他の任意の好適なインタフェースを介しユーザに提案されてもよい。ユーザは、選択されたキャリブレーション点がカメラによって生成される画像中に特定の方法で、例えば、画像の中心に配置されるようカメラを向ける。これにより、カメラ座標系において選択点の球座標を得ることができ、このことは以下に詳細に説明する。
【００２２】
カメラが選択点に向けられると、ユーザはＧＵＩ２２を介し表示されるマップにおける対応する位置を、マウス又は他のポイントアンドクリック装置、キーボード、又は、他の任意の入力装置を使用してクリックする。これにより、システムは、所望のワールド座標系における点の位置を得ることができ、このことは以下に詳細に説明する。
【００２３】
ステップ１０６に示すように、ステップ１０４において説明した処理は、ユーザによって選択される１つ以上の追加のキャリブレーション点に対し繰り返される。各キャリブレーション点は、従って、所与のカメラ設定に対しキャリブレーション測定値をもたらす。尚、必要とするキャリブレーション点の最小数は、ユーザが達成したい特定の結果に依存する。例えば、ユーザが、パンバイアスに対してのみカメラをキャリブレーションしたい場合は、１つのキャリブレーション点で一般的に充分である。しかし、ユーザが高さに関係のないカメラの位置、更にはパンバイアスをキャリブレーションしたい場合は、３つのキャリブレーション点が一般的に必要であり、チルトバイアスに対しては、３つの追加のキャリブレーション点が一般的に必要となる。従って、ステップ１０４が繰り返される回数は、特定のキャリブレーション用途に依存する。
【００２４】
ステップ１０６が完了すると、ユーザは、ステップ１０８においてＣＡＬＩＢＲＡＴＥコマンドを出し、ステップ１１０において、システムはコマンドに応答して、様々な選択されたキャリブレーション点に対しステップ１０４において収集される情報に基づいてカメラのキャリブレーションを計算する。本実施例において、計算されるキャリブレーションは、所定のワールド座標系におけるカメラの位置及び向きを含む。ステップ１０８におけるＣＡＬＩＢＲＡＴＥコマンドは、ＧＵＩ２２を介し表示される情報を用いて、ポイントアンドクリック装置、キーボード等によって生成されてもよい。
【００２５】
図２のステップ１１０においてシステム１０が実行するキャリブレーション計算の方法を以下に詳細に説明する。
【００２６】
カメラ１８は、例示的に、３次元（３Ｄ）「世界（ワールド）」からの点を２次元（２Ｄ）画像面にマッピングする装置として考える。画像面から３Ｄワールドに逆から測定を行うためには、一般的に、特定のカメラパラメータを計算する必要がある。この処理を本願では一般的に、「カメラキャリブレーション」と称する。このようなキャリブレーションには、以下の数式と共にプロジェクティブ・カメラモデルを使用することが含まれる。
【００２７】
【数１】
2004506389.tif 000002
ただし、ｐはワールド点Ｐの画像座標を表し、ｓは投射倍率を表し、Ｑは内部カメラキャリブレーションマトリクスを表し、Ｒ及びＴはそれぞれ回転及び平行移動を表し、これらはカメラとワールド座標系とを一直線に合わせる。このようなキャリブレーションの種類は外部キャリブレーションのうちの１つの方法、即ち、カメラの位置及び向きの推定を表す。外部キャリブレーション処理に使用される内部カメラキャリブレーションマトリクスＱは以下に示す。
【００２８】
【数２】
2004506389.tif 000003
ただし、（ｘ０，ｙ０）は、カメラの主点、即ち、光軸とカメラの画像面の交点を、ｆはカメラの焦点距離を表す。尚、これらの内部カメラキャリブレーションパラメータはピクセルで表現される。
【００２９】
本発明の例示的な実施例では、幾つかの画像対における１点対応のみを用いて行うことが可能であり、従って、従来の技術に対しかなり複雑さが減少されるカメラキャリブレーションを供給する。尚、説明を明瞭及び簡潔にするために、カメラのパン及びチルトメカニズムの回転の中心は、カメラの中心と一致するものとする。これらの点間の距離は通常小さいので、この前提は妥当である。
【００３０】
ＯＸＷＹＷＺＷは、カメラによってモニタされるべき空間又は他の領域の３Ｄ座標系を表し、Ｃはカメラの位置を表すものとする。この３Ｄ座標系は、本願では上述したようにワールド座標系とも称する。Ｃｘ´ｃｙ´ｃｚ´ｃは、ゼロのパン角及びチルト角に対するカメラ座標系を表し、ｚ´ｃ軸はカメラの光軸と一致するものとする。
【００３１】
ユーザがカメラを点Ａに向けたい場合、ユーザはカメラを、パン軸及びチルト軸の周りでそれぞれ角度αｍ及びβｍだけ回転させる。これらの角度を計算するためには、カメラのワールド座標（ＸＣ，ＹＣ，ＺＣ）及び点Ａのワールド座標（Ｘｉ，Ｙｉ，Ｚｉ）と、ワールド座標系におけるカメラの向き、又は、より好都合にはワールド座標系をＯからＣに平行移動することにより得られる正規化されるカメラ座標系におけるカメラの向きを知る必要がある。
【００３２】
カメラの向きは、角度αｏｆｆｓｅｔ、βｏｆｆｓｅｔ、及び、γｏｆｆｓｅｔにより表すことができ、これらの角度は本願においてそれぞれパンバイアス、チルトバイアス、及び、ロールバイアスと称する。チルトバイアス及びロールバイアスの代わりに、量φｘ＝βｃｏｓγ、及び、φｙ＝βｓｉｎγをそれぞれ代用してもよい。
【００３３】
更に、チルトバイアスを以下の式となるようパン角度の関数として決定することができる。
【００３４】
φ（α）＝φｘｃｏｓα＋φｙｓｉｎα　　　　　　（３）
各カメラ設定に対し、以下の２つの式が得られる。
【００３５】
【数３】
2004506389.tif 000004
ただし、Ｘｉｃ＝Ｘｉ−Ｘｃ、Ｙｉｃ＝Ｙｉ−Ｙｃ´、Ｚｉｃ＝Ｚｉ−Ｚｃ´である。
【００３６】
ｎ個の異なるカメラ設定（ｎ＞３）が与えられているものとすると、カメラキャリブレーションパラメータは以下の式（５）に対応する費用関数を最小にすることにより推定され得る。
【００３７】
【数４】
2004506389.tif 000005
ただし、ＰＣ＝（ＸＣ，ＹＣ，ＺＣ）及びω＝（αｏｆｆｓｅｔ，φｘ，φｙ）である。
【００３８】
本発明のカメラの位置及び向きを決定するために使用する幾つかのアルゴリズムを詳細に説明する。説明する第１のアルゴリズムではカメラ位置は既知であり、チルトバイアスは略ゼロであるものとし、パンバイアスを推定する。この場合、１つのキャリブレーション点だけが必要となる。第２のアルゴリズムではカメラ位置は既知ではなく、チルトバイアスが略ゼロであるものとして、カメラ位置及びパンバイアスを推定する。このアルゴリズムは３つのキャリブレーション点を使用する。第３のアルゴリズムはカメラ位置及びパンバイアスは既知であるものとしてチルトバイアスを推定し、３つの追加のキャリブレーション点を使用する。
【００３９】
上述したように、各キャリブレーション点は、特定のカメラ設定のセットに対応する。
【００４０】
本願において上述のアルゴリズムを説明した順序は、本発明の１つの可能な実施に従うものである。具体的には、最初に少なくとも３つのカメラ設定からなるセットを使用し、上述した第１又は第２のアルゴリズムを用いてパンバイアス及びカメラ位置を計算することが可能である。このときチルトバイアスは無視することができる。次に、パンバイアス及びカメラ位置が既知となるので、少なくとも３つのカメラ設定からなる別のセットを使用し、第３のアルゴリズムを用いてチルトバイアスを計算することが可能である。
【００４１】
上述した第１のアルゴリズムは、式（４）及び式（５）からパンバイアスを推定する。最も単純なシナリオは、カメラの位置が正確に既知であり、チルトバイアスがゼロとされる場合である。この場合、パンバイアスは、式（４）からすぐに推定することが可能であり、ｎ個の測定値に対し、最小２乗解は、
【００４２】
【数５】
2004506389.tif 000006
により与えられる。
【００４３】
より正確にするには、カメラの高さと同じ高さにあるよう基準ワールド点を選択することが望ましい。この場合、式（４）における項Ｚｉｃはゼロに近くなり、チルトバイアス（φｘ及びφｙ）は通常ゼロに近いので、式（４）における項φｘＺｉｃ及び項φｙＺｉｃは無視することができる。
【００４４】
上述した第２のアルゴリズムは、カメラ位置及びパンバイアスを推定する。カメラの高さのみが既知であり、カメラ位置のＸＣ及びＹＸ成分は概算に過ぎないものとする。前述したように、ここでもチルトバイアスはゼロであるものとする。
【００４５】
カメラ位置及びパンバイアスは、以下の線形アルゴリズムを用いて計算することができる。（４）の第１の式においてφｘ
【００４６】
【外１】
2004506389.tif 000007
φｙ＝０であるとする。（４）における第１の式は、
【００４７】
【数６】
2004506389.tif 000008
となる。
【００４８】
式（６ａ）の両辺にタンジェント演算を行い、項を整理すると、以下のように書くことができる。
【００４９】
ｍ０（Ｘｉ＋Ｙｉｔｉ）−ｍ１−ｍ２ｔｉ−（Ｙｉ−ｔｉＸｉ）＝０，　　（６ｂ）
ただし、ｔｉ＝ｔａｎαｉ、ｍ０＝ｔａｎα、ｍ１＝ｔＸＣ−ＹＣ、ｍ２＝ＸＣ＋ｔＹＣである。
【００５０】
３つ以上の測定値（αｉ，Ｘｉ，Ｙｉ）が与えられると、上述に定義付けられるベクトルｍ＝［ｍ０ｍ１ｍ２］は、最小２乗法といった方法を用いることにより決定することができる。ｍが一度計算されると、カメラ位置及びパンバイアスは容易に見つけることができる。
【００５１】
尚、この線形アルゴリズムは、多数の異なる適用においても許容可能な結果をもたらすことが可能である。しかし、線形アルゴリズムは、式（６ｂ）に関連付けられる費用関数（これは式（６ａ）に関連付けられる最適費用関数とは異なる）を最小にするので、この線形アルゴリズムは最適な結果をもたらさない。
【００５２】
最適なカメラ位置及びパンバイアスは、（４）における第１の式に関連付けられる以下に示す費用関数（７）を最小にすることにより推定可能である。
【００５３】
【数７】
2004506389.tif 000009
これは、非線形関数であるので、一般的に解は数値として見つけられなければならない。例えば、共役勾配を用いて費用関数を最小にすることが可能であり、一般的に、おおよそ０．０００１の精度を有する解が３、４回の繰返しにおいて見つかる。線形アルゴリズムから得られた解を初期値として使用することができる。
【００５４】
上述した第３のアルゴリズムは、チルトバイアスを推定する。上述したように、本発明の１つの可能な実施において、チルトバイアスは、カメラ位置及びパンバイアスが計算された後に推定される。この場合、チルトバイアスは（４）における第２の式から推定可能である。しかし、より正確な結果は、（４）の第２の式ではなく、以下の経験的モデルを用いることにより得られる。
【００５５】
φ（α）＝φ０＋φｘｃｏｓ ａ＋φｙｓｉｎα　　　　　　（８）
式（８）における因数φ０は、チルトメカニズムの機械的な不完全性と、カメラはゼロチルトにすることができない場合があるという事実を補償する。実験結果は、この因数の導入は正当であることを理由付け、予測誤差をかなり減少する。
【００５６】
式（８）を（４）における第２の式に代入すると、
【００５７】
【数８】
2004506389.tif 000010
となる。
【００５８】
式（９）は、φ＝（φ０，φｘ，φｙ）において線形であり、チルトバイアスパラメータは最小２乗を使用し、φにおける３つの一次方程式の系を解くことにより推定可能である。この場合、必要となる点の最小数はｎ＝３である。
【００５９】
Ｚｉｃの推定を得るために、高さが既知であるワールド点を選択してもよい。例えば、これらの点は所与の空間の床にあってもよい。空間の天井における点が選択されると、項
【００６０】
【外２】
2004506389.tif 000011
は信頼できなくなるので、天井における点は使用するべきではない。
【００６１】
更に、カメラ位置及びパンバイアスが既知であるものとして、費用関数（５）を最小にすることによりチルトバイアスを得ることが可能である。しかし、実験結果は、この取り組み方法だと許容可能な結果が得られないことを示している。
【００６２】
本発明は特定の内部キャリブレーション処理の使用を必要としないことに注目するべきである。本願に言及される内部キャリブレーションマトリクスＱは、様々な周知の従来技術を用いて生成可能である。
【００６３】
上述した本発明の実施例は例示的に過ぎない。例えば、本発明は、カメラ位置、パンバイアス、チルトバイアス、及び、本願に記載される他のパラメータを推定するのに他の種類のアルゴリズムを使用することも可能である。上述したように、本発明は、例えば、ビデオ会議システム、ビデオ監視及びモニタリングシステム、及び、他のカメラベースシステムといったカメラに基づいた様々なシステム用途に使用可能である。本発明は、特定の種類のカメラ又は処理要素構成を用いる必要がない。本発明は、電子、磁気、又は、光学記憶媒体上に格納され、例えばシステム１０のプロセッサ１２といった処理装置によって実行される１つ以上のソフトウェアプログラムの形式で少なくとも部分的に実施されることが可能である。当業者には、特許請求の範囲内の上述及び多数の他の実施が明らかとなろう。
【図面の簡単な説明】
【図１】本発明を実施し得るカメラに基づく画像処理システムを示すブロック図である。
【図２】本発明の例示的な実施例による例示的なカメラキャリブレーション処理の動作を説明するフローチャートである。
【図１】
2004506389.tif 000012
【図２】
2004506389.tif 000013
【国際公開パンフレット】
2004506389.tif 000014
2004506389.tif 000015
2004506389.tif 000016
2004506389.tif 000017
2004506389.tif 000018
2004506389.tif 000019
2004506389.tif 000020
2004506389.tif 000021
2004506389.tif 000022
2004506389.tif 000023
2004506389.tif 000024
2004506389.tif 000025
2004506389.tif 000026
2004506389.tif 000027
2004506389.tif 000028
2004506389.tif 000029
2004506389.tif 000030
【国際調査報告】
2004506389.tif 000031
2004506389.tif 000032
2004506389.tif 000033