(57)【要約】【課題】ビデオカメラの撮影現場と離れて映像を見る場合、ビデオカメラが、どこからどこを見ているのかがはっきりしない。複数のビデオカメラで視線を振る場合は、さらに映像から撮影現場を把握するのは困難となる。また、現場の撮影したい場所をビデオカメラに容易に指示する方法がない。また、撮影場所の自動巡回の指示も困難である。ズームを大きくすると映像がどこを見ているのかを理解するのが難しくなる。【解決手段】３次元ＣＡＤ上に、撮影現場の３次元モデルを用意し、仮想３次元空間を表現する。そこにビデオカメラの視線、画角を表現する４角錐の立体を、リアルタイムでビデオカメラの動きと合わせて表示する。仮想３次元空間内を直接指示し、ビデオカメラの撮影場所を指定する。３次元モデルの幾何干渉計算で、不可視場所を知る。実映像と同じ立体感、遠近感の仮想３次元透視図を実映像の後ろに大きく背景映像として表示し、実映像を補佐する。【選択図】図１
2008005450.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラへのパンチルト角度、ズーム角度の制御命令通信機能、及び、３次元幾何図形の表示機能を備えたコンピュータシステムにおいて、ビデオカメラの存在位置、視野可能領域を含んだ現実世界を、予め３次元立体画像として準備し、その３次元立体画像を仮想３次元空間として、その仮想３次元空間上に、現実世界のビデオカメラの位置と視線、画角領域をリアルタイムで３次元的に表示する方法、さらに、複数のビデオカメラに対して、そのことを実現させる方法。
【請求項２】
請求項１記載のシステムにさらに追加して、仮想３次元空間上の任意の３次元位置を指示する機能を備えたコンピュータシステムにおいて、仮想３次元空間上の任意の位置、範囲を、現実世界のヒデオカメラの視線、画角として、ビデオカメラに、ポインティングデバイスなどで指示する方法、さらに、仮想３次元空間に複数の位置、範囲を予め記述しておき、現実世界のビデオカメラの撮影標的として、自動巡回する方法、さらに、複数のビデオカメラに対して、そのことを実現させる方法。
【請求項３】
請求項２記載のシステムにさらに追加して、３次元幾何図形相互の干渉を計算する機能を備えたコンピュータシステムにおいて、ビデオカメラの視線、画角領域として表示している３次元領域と、仮想３次元空間上に配置された物体の幾何学的干渉を計算し、ビデオカメラの可視、不可視を判断する方法、さらに、複数のビデオカメラに対して、そのことを実現させ、不可視ビデオカメラから可視ビデオカメラに手動的に、あるいは、自動的に切換えする方法。
【請求項４】
請求項１記載のシステムにさらに追加して、ビデオカメラの撮影映像の伝送及び表示機能、及び、３次元立体画像の透視図的表示機能を備えたコンピュータシステムにおいて、ビデオカメラの撮影している実映像と同じ視線、立体感、遠近感の見え方の像となる３次元立体透視図的画像を、ビデオカメラの画角より大きい画角で表示し、その中心にビデオカメラの実映像を重ねて表示し、実映像の回りに背景画像を表示する方法、さらに、ビデオカメラの視線、画角の変化に、その背景画像である３次元立体透視図的画像が自動追随する方法、さらに複数のビデオカメラに対して、そのことを実現させる方法。
【請求項５】
３次元幾何図形の表示機能、及び、３次元立体画像の透視図的表示機能を備えたコンピュータシステムにおいて、ビデオカメラで撮影しようとする現実世界を、予め３次元立体画像として準備し、ビデオカメラを配置する位置、視線を、予め３次元立体画像の中に記述し、ビデオカメラの撮影する実映像と同じ視線、立体感、遠近感の見え方の像となる３次元立体透視図的画像を表示し、ビデオカメラの映像をシミュレーションする方法、さらに、複数のビデオカメラに対して、そのことを実現させる方法。
【発明の詳細な説明】
【技術分野】
【０００１】本発明は、ビデオカメラの状態把握、及び、制御をリアルタイムに行うための、３次元仮想空間の利用方法に関する。
【背景技術】
【０００２】防犯システムや、防災システム、現場監督システム、遠隔会議システム、遠隔授業システム、医療、原発などの遠隔操作システムなど広範囲の分野において、監視、観察現場にビデオカメラを設置し、遠距離、近距離問わず、現場と異なる場所で、テレビに映された映像により、監視、観察することが行われている。これらを、ビデオカメラの設置状態と制御の面から見ると、一台のビデオカメラで、固定の場所、固定の視線、画角で撮影する単純な方式、複数のビデオカメラで、それそれ固定の場所を撮影する方式、より広い範囲を効率よく撮影するために、一台あるいは複数のビデオカメラで、ビデオカメラのパンチルト角度を振り、視線を移動させる方式、さらには、ロボットなど移動体にビデオカメラを搭載し、ビデオカメラ自身の位置も移動する方式などが行われている。これらの方式において、テレビに写っている映像は、どのビデオカメラにより、どこを撮影しているのかを如何に知るのか、あるいは、見たい場所を撮影させるために、如何にビデオカメラに命令するのかで、技術的にいろいろ分かれる。複数ビデオカメラから、どのビデオカメラかを特定する方法としては、複数ビデオカメラの映像を一挙に一覧表示しておき、その映像から、希望ビデオカメラを特定する方法がある。また、現場を２次元平面図で表現し、複数のビデオカメラの配置位置を、その２次元平面図上に記入し、ビデオカメラの位置を把握しやすくし、その２次元図面上で、ビデオカメラを指示し、ビデオカメラを特定する方法がある。あるビデオカメラが、どの場所を撮影しているかを知る方法としては、予め、ビデオカメラの視線を最大に振って取った複数写真からパノラマ写真を合成し、ビデオカメラが現在撮影している場所を、その画角に対応した大きさの矩形でパノラマ写真上に表示し、何処を撮影しているかを表現する方法がある。あるビデオカメラに、特定の場所を撮影させる方法としては、ビデオカメラのパンチルト角度を、直接、ジョイスティックのような物で制御し、映像を見ながら徐々に特定の場所までビデオカメラの視線を移動させる方法がある。あるいは、予め、ビデオカメラの視線を最大に振って取った複数写真からパノラマ写真を合成し、そのパノラマ写真上をポインティングデバイスで指示し、パンチルト角度を自動計算し、撮影場所を指定する方法がある。また、衛星カメラを使う場合は、パノラマ写真の代わりに、平面地図を使い、衛星カメラの撮影する場所を指定する方式もある。また、映像内の特定移動物体を自動追随するように、自動的に撮影場所を移動させる方式もある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】従来の技術では、実際の３次元空間において、ビデオカメラがどのように配置され、どこを見ているかが不明なため、ビデオカメラ映像利用者は、撮影された映像がどこなのかが容易に分からない。ビデオカメラの数が増える程、また、視線を大きく振り、ビデオカメラ一台当たりの撮影範囲が広がる程、テレビに映されている映像が、どこからどこを見ている画像なのかの状況把握がより難しくなる。また、ビデオカメラが自動動作する場合、さらに今どこを撮影しているかを知るのは困難である。また、映像、あるいは、パノラマ写真のような２次元情報から、実際の３次元空間を想像することは技術を必要とし、希望の場所を直ぐに撮影するには、撮影現場を知り尽くした熟練技術が必要である。また、ビデオカメラに、予め決めた経路、スポットを巡回させることも、難しいティーチングが必要となる。また、複数のビデオカメラシステムであっても、ビデオカメラで見えない場所を判断し、別のビデオカメラで見ると言う不可視領域の回避が不可能である。また、ビデオカメラの映像を大きくズームすると、どの辺りのどこを見ているか判断が難しくなる。また、どこにビデオカメラを設置すれば、どのような映像が取れるかの事前評価をする方法がない。
【課題を解決するための手段】
【０００４】上記課題を克服するため、本発明の３次元仮想空間を利用したビデオカメラのリアルタイム状態把握、制御の方法は、以下のような特徴を持つ。
ビデオカメラへのパンチルト角度、ズーム角度の制御命令通信機能、及び、３次元幾何図形の表示機能を備えたコンピュータシステムにおいて、ビデオカメラの存在位置、視野可能領域を含んだ現実世界を、予め３次元立体画像として準備し、その３次元立体画像を仮想３次元空間として、その仮想３次元空間上に、現実世界のビデオカメラの位置と視線、画角領域をリアルタイムで３次元的に表示することを特徴とする方法。さらに複数のビデオカメラに対して、そのことを実現させることを特徴とする方法。【０００５】ビデオカメラへのパンチルト角度、ズーム角度の制御命令通信機能、３次元幾何図形の表示機能、及び、仮想３次元空間上の任意の３次元位置を指示する機能を備えたコンピュータシステムにおいて、仮想３次元空間上の任意の位置、範囲を、現実世界のビデオカメラの視線、画角として、ビデオカメラに、ポインティングデバイスなどで指示することを特徴とする方法。さらに仮想３次元空間に複数の位置、範囲を予め記述しておき、現実世界のビデオカメラの撮影標的として、自動巡回することを特徴とする方法。さらに複数のビデオカメラに対してそのことを実現させることを特徴とする方法。【０００６】ビデオカメラへのパンチルト角度、ズーム角度の制御命令通信機能、３次元幾何図形の表示機能、仮想３次元空間上の任意の３次元位置を指示する機能、及び、３次元幾何図形相互の干渉を計算する機能を備えたコンピュータシステムにおいて、ビデオカメラの視線、画角領域として表示している３次元領域と、仮想３次元空間上に配置された物体の干渉を計算し、ビデオカメラの可視、不可視を判断することを特徴とする方法。さらに複数のビデオカメラに対して、そのことを実現させ、不可視ビデオカメラから可視ビデオカメラに手動的に、あるいは自動的に切換えすることを特徴とする方法。【０００７】ビデオカメラへのパンチルト角度、ズーム角度の制御命令通信機能、３次元幾何図形の表示機能、及び、３次元立体画像の透視図的表示機能を備えたコンピュータシステムにおいて、ビデオカメラの撮影している実映像と同じ視線、立体感、遠近感の見え方の像となる３次元立体透視図的画像を、ビデオカメラの画角より大きい画角で表示し、その中心にビデオカメラの実映像を重ねて表示し、実映像の回りに背景画像を表示することを特徴とする方法。さらにビデオカメラの視線、画角の変化にその背景画像である３次元立体透視図的画像が自動追随することを特徴とする方法。さらに複数のビデオカメラに対して、そのことを実現させることを特徴とする方法。【０００８】３次元幾何図形の表示機能、及び、３次元立体画像の透視図的表示機能を備えたコンピュータシステムにおいて、ビデオカメラで撮影しようとする現実世界を、予め３次元立体画像として準備し、ビデオカメラを配置する位置、視線を、予め３次元立体画像の中に記述し、ビデオカメラの撮影する実映像と同じ視線、立体感、遠近感の見え方の像となる３次元立体透視図的画像を表示し、ビデオカメラの映像をシミュレーションすることを特徴とする方法。さらに複数のビデオカメラに対して、そのことを実現させることを特徴とする方法。
【発明の効果】
【０００９】３次元立体画像は、人間が現実世界を把握する場合の立体感や遠近感を的確に表現する方法であり、そのような３次元立体画像の仮想３次元空間上に、ビデオカメラ状態（位置、視線、画角領域）を３次元画像で表示することによりビデオカメラ映像利用者に、直感的に、現実世界のビデオカメラの状態を把握させることができる。また、ビデオカメラが視線を振ってもリアルタイムにビデオカメラ状態（位置、視線、画角領域）の３次元画像が対応し、どこを撮影しているのかをいつでも把握できる。また、複数のビデオカメラが存在していても、どのビデオカメラがどこを撮影しているのかを容易に判断できる。【００１０】３次元仮想空間上の位置を直接指示することにより、ビデオカメラ映像利用者は、撮影したい場所を容易に指示することができる。また、３次元仮想空間上に巡回する経路を直接書き込むことにより、ビデオカメラ映像利用者は、容易に希望経路の自動巡回を実現することができる。また、３次元仮想空間上に巡回スポット位置と撮影サイズを直接書き込むことにより、ビデオカメラ映像利用者は、複数巡回スポットを所定のズーム角度で順次自動巡回させることを容易に希望どおり実現できる。【００１１】３次元立体画像とビデオカメラ状態（位置、視線、画角領域）の３次元画像の幾何学的干渉計算により、ビデオカメラにとって見えない陰となる箇所を、仮想３次元空間上で事前に算出できる。その算出結果を利用し、不可視ビデオカメラから可視可能ビデオカメラに切り替ることが容易にできる。【００１２】実際の映像とその映像を仮想的に広げた背景映像を３次元立体画像により提供し、大きくズームした場合でも、どの辺りを見ているかのビデオカメラ映像利用者の判断を容易にする。【００１３】３次元立体画像をビデオカメラから見る画像と同じ視線、立体感、遠近感の見え方の像で表示し、ビデオカメラが撮影するであろう映像を、事前に仮想的に見ることができ、ビデオカメラの配置の事前検討などが容易に行える。
【発明を実施するための最良の形態】
【００１４】パン角度、チルト角度、画角（ズーム角度）を外部のコンピュータ上のソフトウエアで制御できるビデオカメラを、複数台用意し、それら複数のビデオカメラの撮影した映像を送信し、コンピュータで受信できるデジタルエンコーダ、デコーダシステムを用意する。さらに、遠隔制御可能距離、及び、映像の送受信可能距離の制限を無くすには、コンピュータネットワークシステムを利用できる形態が望ましい。最近の３次元ＣＡＤは、３次元幾何図形の表示機能、作成機能、任意の３次元位置を指示する機能などはもちろん、３次元立体画像の透視図的表示機能、３次元幾何図形相互の干渉計算機能などを有するので、３次元ＣＡＤをカスタマイズし利用するのが望ましい。【００１５】予め、３次元ＣＡＤ上に、撮影現場を模した３次元仮想空間となる３次元モデルを凖備する。この３次元モデルは、その３次元ＣＡＤで作成しても良いし、実３次元空間取り込みソフトウエアにより作成し、この３次元ＣＡＤに読み込んでも良い。３次元ＣＡＤ上に、複数のビデオカメラのパン角度、チルト角度、ズーム角度の制御を出来るインターフェースを作成する。もし、ビデオカメラ自身も移動する場合は、ビデオカメラの位置の制御も追加する。ビデオカメラの位置を頂点とし、視線を軸する４角錐の立体モデルを作成する。その４角錐底面の辺の長さは、ズーム角度に対応する長さにする。その４角錐の稜線の長さは、３次元モデルを横切る適当な長さとする。その４角錐をビデオカメラの実際の位置、視線のベクターを決めるパン、チルト角度に合わせて表示する。その４角錐の表示をアニメーション的に変化させ、ビデオカメラの現在のパン角度、チルト角度、ズーム角度にリアルタイムに合わせる。また、３次元仮想空間である３次元モデルの表示を妨げないように、その４角錐は半透明に表示する。複数のビデオカメラに対応させて、４角錐を準備する。色などを変えて同時に全部の４角錐を表示しても良いし、注目ビデオカメラのみの４角錐を表示しても良い。３次元仮想空間である３次元ＣＡＤ上での仮想ビデオカメラの位置、視線、画角を表現する４角錐を、現実世界のビデオカメラの位置、視線、画角の３次元的位置関係と合わせるために、３次元ＣＡＤにビデオカメラのホームポジション（原点、０度視線）を最初に定義する。また、画角は、ビデオカメラのレンズ特性などでズーム角度と単純な比例関係に無い場合は、現実の画角とズーム角度に補正係数を施す。以上で、３次元ＣＡＤ上に、ビデオカメラの位置、視線、画角を視覚的に表現した４角錐と３次元仮想空間である３次元モデルが共存し、ビデオカメラ映像利用者に、直感的に、ビデオカメラの状態を把握させることができる。【００１６】３次元モデル上の任意の位置をビデオカメラの撮影する場所とするには、任意の位置とビデオカメラを表現する４角錐の頂点の２点が作るベクターと、その４角錐の軸ベクターのなす角度を計算し、振るべきパン、チルトの角度を得、それをビデオカメラへ制御命令として送ればよい。それにより、実世界のビデオカメラが指示された任意の場所を向くことになる。【００１７】予め、撮影場所の巡回場所が決まっている場合は、３次元モデル上に、その巡回経路として、３次元自由曲線や３次元折れ線で書き込み、その経路を自動的にたどりながら、ある間隔で連続的にビデオカメラに撮影場所として制御命令を送り続けることにより、容易に自動巡回を実現することができる。
また、巡回スポットとして、球の立体モデルをその位置に対応した３次元モデル上に書き込み、その球の直径をズーム角度に対応させることにより、ズーム角度も自動的に決めることができる。巡回すべき各スポットに、それぞれの希望ズーム角度に対応した直径で球を書き込み、それらの球を自動追随させることにより、自動的に巡回スポットを所定のズーム角度で巡回させることが容易に実現できる。【００１８】ビデオカメラの視覚領域を表す４角錐立体モデルと、３次元仮想空間を表す３次元モデルの幾何学的干渉を計算することにより、ビデオカメラにとって見えない陰となる箇所を算出できる。複数のビデオカメラに対して、３次元モデルの幾何学的干渉を計算することにより、陰とならないビデオカメラを自動的に選ぶことができる。これにより、不可視ビデオカメラから可視ビデオカメラに切り替ることができる。【００１９】４角錐の頂点から軸方向に、ズーム角度よりいくらか大きい角錐底面をのぞむ角度で、透視図的表示を行う画面を、３次元ＣＡＤに追加する。そして、その透視図画面の中央に、受信した映像をズーム角度に対応した大きさで重ね表示する。そのことにより、実際の映像と仮想的に広げた背景映像をビデオカメラ映像利用者に提供できる。【００２０】背景映像に重ねた実映像の表示をオンオフできる機能を付け、オフにした場合、ビデオカメラが撮影するであろう映像を仮想的に事前に見ることもできる。【００２１】ビデオカメラの状態（パン角度、チルト角度、ズーム角度、必要なら位置も）を制御するのが、３次元ＣＡＤからの命令だけなら、３次元ＣＡＤからの命令（書き込み）情報を、拝借し利用すれば、リアルタイムに現実のビデオカメラと合わせることができる。もし、外部からもビデオカメラを同時に制御する場合は、現在のビデオカメラの状態を読み出す制御も追加し、コンピュータタイマーにより、適時読み出すことにより、リアルタイムに合わせることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】３次元ＣＡＤのテレビ画面を模式的に表した簡易的な図。撮影現場の３次元モデルを用意し、仮想３次元空間を表示している。そこにビデオカメラの視線、画角を表現する４角錐の立体を表示している。さらに実映像と仮想背景映像を重ねた画像を表示している。
【符号の説明】
１    ３次元ＣＡＤのテレビ画面
２    ３次元モデルによる仮想３次元空間
３    ビデオカメラの視線、画角を表現する４角錐
４    実映像と仮想背景映像の重ね画像
【図１】
2008005450.tif 000003