(57)【特許請求の範囲】
【請求項１】
移動するビデオカメラで撮影された動画像とＣＧで作成した物体の画像を画像合成装置により合成する際に使用されるビデオカメラの位置と角度のデータを得るためのビデオカメラ位置角度測定装置において、
移動するビデオカメラの絶対位置を測定し、その緯度データ、経度データ、高度データを出力するカメラ位置測定手段と、
移動時の該ビデオカメラのロール角、ピッチ角及び方位角を測定し、そのロール角データ、ピッチ角データ及び方位角データを出力するカメラ角度測定手段と、
該ビデオカメラが撮影する各画像フレームの作成時に同期して、該カメラ位置測定手段及びカメラ角度測定手段からの測定データを収集するデータ収集手段と、
該ビデオカメラが撮影を行なう間、該データ収集手段を通して該カメラ位置測定手段から出力される緯度データ、経度データ、高度データを取り込み、該カメラ角度測定手段から出力されるロール角データ、ピッチ角データ及び方位角データを取り込み記憶するデータ記憶処理手段と、
該データ記憶処理手段が一時記憶した一定時間毎の緯度データ、経度データ、高度データを、前記ビデオカメラが撮影した画像の各フレーム毎のタイミングでデータの補間及び補正を行なうデータ補間処理手段と、
を備え、
該データ補間処理手段は、連続して移動する該ビデオカメラの位置の変化に応じて、前記緯度データ、経度データ及び高度データが連続して変化するように、撮影画像の各フレームの発生タイミング毎に、線形補間または非線形補間を用いて、該緯度データ、経度データ及び高度データの補間を行い、該緯度データ、経度データまたは高度データがその前後のデータと比べ大きく相違する場合、その前後のデータに基づき、該緯度データ、経度データまたは高度データを修正することを特徴とするビデオカメラ位置角度測定装置。
【請求項２】
前記ビデオカメラはその撮影時にその録画媒体にタイムコード信号を記録すると共に、当該タイムコードデータを前記データ記憶処理手段に送り、前記カメラの位置データ及び角度データと共に該タイムコードデータを該データ記憶処理手段に記憶することを特徴とする請求項１記載のビデオカメラ位置角度測定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、景観シュミレーション等において使用される合成ビデオ画像、つまりビデオカメラで撮影した景観画像とＣＧ（コンピュータグラフィック）で作成した物体の画像を作成する際に使用されるビデオカメラの位置と角度のデータを得るためのビデオカメラ位置角度測定装置に関する。
【０００２】
【従来の技術】
従来、例えば、建設予定地に建設される建築物の予想完成状態をシュミレーション画面で見るために、建築物の予想外観をＣＧで三次元画像として作成し、建設予定地の風景画像をビデオカメラにより撮影し、ビデオカメラで撮影した画像とＣＧ画像を画像合成して表示する装置が提案されている（例えば、特開平５−０１１７２７号公報等）。
【０００３】
【発明が解決しようとする課題】
【０００４】
しかし、従来の画像合成装置は、ビデオカメラをある程度の速度で移動させながら、風景などの動画を撮影した場合、動画の各フレーム画像に対応した速度で、カメラの方向データや位置データを得ることができない不具合がある。
【０００５】
つまり、ビデオカメラを例えば自動車に搭載し、移動しながら周辺の景観画像を動画として撮影したい場合、移動中に刻々と変化するカメラの位置データや方向データを、カメラの各フレーム画像毎（例えば１／３０秒毎）に得る画像合成装置は、未だ提案されていない。
【０００６】
このため、例えば鉄塔などの構造物を建設する建設予定地域の景観評価を行なう際、その地域を自動車で移動してその周辺の風景を撮影しながら、どの位置から構造物が視覚に入り、どのようにその景観が変化するか、を評価する景観シュミレーションの画像作成ができないという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、撮影時に移動するビデオカメラの位置と角度を測定してそれらのデータを収集し、撮影された動画像とＣＧで作成した物体の画像を合成する際、それらのデータを使用することができるビデオカメラ位置角度測定装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明のビデオカメラ位置角度測定装置は、移動するビデオカメラで撮影された動画像とＣＧで作成した物体の画像を画像合成装置により合成する際に使用されるビデオカメラの位置と角度のデータを得るためのビデオカメラ位置角度測定装置において、
移動するビデオカメラの絶対位置を測定し、その緯度データ、経度データ、高度データを出力するカメラ位置測定手段と、
移動時の該ビデオカメラのロール角、ピッチ角及び方位角を測定し、そのロール角データ、ピッチ角データ及び方位角データを出力するカメラ角度測定手段と、
該ビデオカメラが撮影する各画像フレームの作成時に同期して、該カメラ位置測定手段及びカメラ角度測定手段からの測定データを収集するデータ収集手段と、
該ビデオカメラが撮影を行なう間、該データ収集手段を通して該カメラ位置測定手段から出力される緯度データ、経度データ、高度データを取り込み、該カメラ角度測定手段から出力されるロール角データ、ピッチ角データ及び方位角データを取り込み記憶するデータ記憶処理手段と、
該データ記憶処理手段が一時記憶した一定時間毎の緯度データ、経度データ、高度データを、前記ビデオカメラが撮影した画像の各フレーム毎のタイミングでデータの補間及び補正を行なうデータ補間処理手段と、
を備え、
該データ補間処理手段は、連続して移動する該ビデオカメラの位置の変化に応じて、前記緯度データ、経度データ及び高度データが連続して変化するように、撮影画像の各フレームの発生タイミング毎に、線形補間または非線形補間を用いて、該緯度データ、経度データ及び高度データの補間を行い、該緯度データ、経度データまたは高度データがその前後のデータと比べ大きく相違する場合、その前後のデータに基づき、該緯度データ、経度データまたは高度データを修正することを特徴とする。
【０００９】
ここで、カメラ位置測定手段としては、例えばＧＰＳを使用した移動位置測定装置を使用することができ、ビデオカメラを自動車に搭載して移動する場合、移動位置測定装置も同様に自動車に搭載する。カメラ角度測定手段としては、例えば３軸の回りで回動する角度を測定する３台のジャイロを使用することができる。また、データ収集手段にはＣＰＵを主要部とした処理装置が、データ記憶処理手段、データ補間処理手段には、汎用のパーソナルコンピュータを使用することができる。
【００１０】
【発明の作用・効果】
このような構成のビデオカメラ位置角度測定装置は、ビデオカメラと共に自動車等に搭載されて使用され、移動しながらビデオカメラにより風景等を撮影する間、カメラ位置測定手段は、移動するビデオカメラの絶対位置を測定し、その緯度データ、経度データ、高度データを出力する。また、カメラ角度測定手段は、移動時のビデオカメラのロール角、ピッチ角及び方位角を測定し、そのロール角データ、ピッチ角データ及び方位角データを出力する。
【００１１】
このとき、データ収集手段は、ビデオカメラが撮影する各画像フレームの作成時に同期して、カメラ位置測定手段及びカメラ角度測定手段からの測定データを収集し、データ記憶処理手段にこれらのデータを送る。データ記憶処理手段は、これらの緯度データ、経度データ、高度データ、及びロール角データ、ピッチ角データ、方位角データを取り込み記憶していく。
【００１２】
そして、これらのデータを記憶した後、データ補間処理手段は、一定時間毎の緯度データ、経度データ、高度データを、ビデオカメラが撮影した画像の各フレーム毎のタイミングでデータの補間及び補正を行なう。
【００１３】
そして、上記の如く収集され補正されたビデオカメラの位置と角度のデータは、撮影された動画像とＣＧで作成した物体の画像を合成する際、撮影画像データと共にＣＧ装置に入力され、撮影画像とＣＧ画像の視点位置と視線角度のデータとして使用され、動画像の画像合成が行なわれる。
【００１４】
このように、画像合成は、撮影された画像データの各フレームについて、その撮影視点となる緯度、経度、高度の各位置データ、及び視線のロール角、ピンチ角、方位角の角度データをＣＧ画像に与えた時の物体の画像を合成するように行なわれるため、撮影した動画像上に、ＣＧの物体画像を正しい位置に張り付くように合成することができる。
【００１５】
また、フレーム毎の画像合成の作業は、各フレーム毎に視点の位置データと視線の角度データがあるため、ＣＧ装置により自動的に効率よく行なうことができ、更に、ビデオカメラの撮影時に収集され適正に補間・補正された各フレーム毎の位置データと角度データを使用するため、違和感のない滑らかな動画像を作ることができ、景観シュミレーションなどに有効に使用することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１は本発明の一実施形態の装置の構成図を示している。このビデオカメラ位置角度測定装置は、図１に示すように、自動車に搭載され風景等を撮影し動画を磁気テープ等に記録するビデオカメラ１と、自動車に搭載されその自動車のつまりビデオカメラ１の絶対位置を一定時間毎に測定し、その緯度データ、経度データ、高度データを出力する移動位置測定装置２とを備える。
【００１７】
更に、ビデオカメラ位置角度測定装置は、ビデオカメラ１のロール角、ピッチ角及び方位角を一定時間毎に測定しそのロール角データ、ピッチ角データ及び方位角データを出力するカメラ角度測定装置３と、ビデオカメラ１が撮影する各画像フレームの作成時に同期して、移動位置測定装置２及びカメラ角度測定装置３からの測定データを収集するデータ収集装置４と、データ収集装置４から送られた緯度データ、経度データ、高度データ、ロール角データ、ピッチ角データ、方位角データ等のデータを取り込み記憶しデータ補正を行なうデータ処理装置５とを備えている。
【００１８】
ビデオカメラ１は、ＶＴＲを内蔵した一体型のビデオカメラであり、先端の光学系を通して入射した映像光を受光し電気信号に変換するＣＣＤ等の撮像素子、撮像素子から出力される映像信号を増幅・調整処理するプロセスアンプ、プロセスアンプから出力された映像信号をデジタル信号に変換するＡ／Ｄコンバータ、Ａ／Ｄコンバータから出力したデジタル映像信号を所定の方法によりデータ圧縮するデータ圧縮回路、圧縮された映像データ信号を磁気テープに記録するＶＴＲ部とを有している。
【００１９】
また、ビデオカメラ１は撮影時、その磁気テープの一部に時刻を示す信号（タイムコード信号）を記録すると共に、そのタイムコード信号をデジタル信号としてデータ収集装置４に出力する。タイムコード信号は、撮影する映像のフレーム数が例えば毎秒３０枚の場合、フレーム画像の発生時つまり１／３０秒毎に出力される。ビデオカメラ１は、カメラ角度測定装置３と共にベース板７に固定され、自動車上に前方を向けて搭載される。
【００２０】
移動位置測定装置２には、衛星測位システム（ＧＰＳ）が使用され、３個以上の衛星から送信される電波を受信するＧＰＳ受信機を有し、その電波の到着時間を演算し、その絶対位置つまり緯度、経度、高度の各データを求める。更に、この測定装置２は、測定精度向上のために、例えば地図データをＣＤＲＯＭ等の記憶媒体内に備え、所謂マップマッチング方式によって、地図の道路上に測定位置がない場合、近くの道路上に測定位置データを補修正し、ＧＰＳの誤差を補正する。従って、移動位置測定装置２は、移動する自動車つまりビデオカメラ１の絶対位置を測定し、その緯度データ、経度データ、高度データを出力する。
【００２１】
ＧＰＳの測定精度を上げるためには、マップマッチング方式の他、自動車の自立航法との組合せが採用可能である。自立航法では、自動車に搭載した地磁気センサ、ジャイロ、左右の車輪の回転差に基づき方位を算出する車輪速センサ等を使用して方位を測定し、ＧＰＳによる測位データを補正する。また、精密な位置が既知な基準局が、ＧＰＳ衛星からＧＰＳ信号を受信し、ＧＰＳ信号から算出した測位データと既知の位置データを比較することにより、その誤差データを算出し、その誤差データを放送電波等にのせて自動車に送信し、自動車上のＧＰＳ装置がその誤差データに基づきＧＰＳの測位データを補正する、所謂ＤＧＰＳを採用することもできる。
【００２２】
カメラ角度測定装置３は、図２に示すように、３次元の３軸（ＸＹＺ軸）についての角度を測定するために３台のジャイロ３１、３２、３３を備える。３台のジャイロ３１、３２、３３は、各々移動方向に対し水平に配置されるベース板３４上及びそこに垂直に立設された２つの垂直壁３５、３６に固定される。
【００２３】
すなわち、ビデオカメラ１の移動方向に対する左右の傾動角（ロール角）を測定するために、ジャイロ３１が垂直壁（Ｘ軸に垂直な壁）３６に固定され、前後の傾動角（ピッチ角）を測定するために、ジャイロ３２が垂直壁（Ｙ軸に垂直な壁）３５に固定され、方位角を測定するために、ジャイロ３３がベース板（Ｚ軸に垂直な面）３４上に固定される。各ジャイロには、例えばガス、光ファイバ、圧電素子などを用いた構造のものが使用され、移動体の旋回速度を積分してその方向を求め、ロール角、ピッチ角、方位角の各測定データを出力する。
【００２４】
データ収集装置４は、図３に示すように、ＣＰＵ４１、メモリ４２、インターフェース４３〜４６を備え、ビデオカメラ１、移動位置測定装置２、カメラ角度測定装置３、及びデータ処理装置５がインターフェース４３〜４６を介して接続される。このデータ収集装置４は、ビデオカメラ１が撮影する各画像フレームの作成時に同期して、つまりビデオカメラ１から入力されるタイムコード信号をトリガとして、移動位置測定装置２及びカメラ角度測定装置３から送られる測定データを取り込み、タイムコード信号と共に、緯度、経度、高度の各位置データ、ロール角、ピンチ角、方位角の各カメラ角データをデータ処理装置５に出力する。データ収集装置４からデータ処理装置５への伝送路には、例えばＲＳ２３２Ｃが使用され、タイムコード信号と共に、各位置データ、各カメラ角データがシリアルデータとして伝送される。
【００２５】
データ処理装置５は、例えばパーソナルコンピュータから構成され、ビデオカメラ１が撮影を行なう間、オンライン処理で、データ収集装置４から送られたタイムコード信号、緯度、経度、高度の各位置データ、ロール角、ピンチ角、方位角の各カメラ角データを、ＲＳ２３２Ｃポートを通して取り込み、一時メモリにそれを記憶する。その後、オフラインで、記憶した緯度データ、経度データ、高度データを読み出し、データの補正・補間を行なう。
【００２６】
データの補間は、ビデオカメラが撮影した画像の各フレーム毎のタイミングで実施する。ＧＰＳを用いた移動位置測定装置２は、通常、毎秒１個乃至数個の位置データを出力し、撮影画像の各フレームの発生タイミング（１／３０秒）ではデータの更新がない場合が多い。
【００２７】
このため、自動車を連続移動させてカメラ撮影を行なう場合、連続して移動するカメラの位置の変化に応じて、緯度データ、経度データ、高度データが変化するように、移動位置測定装置２からの緯度、経度、高度の各位置データを、撮影画像の各フレームの発生タイミング（１／３０秒）毎に線形補間或は非線形補間を用いて滑らかに補間する。また、その緯度、経度、高度の各位置データがその前後のデータと比べ大きく相違する場合、そのデータは使用せず、前後のデータに基づき、位置データを修正する。
【００２８】
次に、上記構成のビデオカメラ位置角度測定装置の動作を、送電線鉄塔の景観シュミレーションのための景観撮影を例にとって説明する。図１に示す全ての装置、つまりビデオカメラ１、移動位置測定装置２、データ収集装置４、データ処理装置５は、図１のように配線・接続され、自動車内に搭載される。ビデオカメラ１は、カメラ角度測定装置３と共に自動車内の前方を向けて水平に固定され、カメラ角度測定装置３のロール角検出用のＸ軸（図２）を自動車の前方（直進前進方向）合わる。
【００２９】
送電線鉄塔を建設する予定地の景観画像をビデオカメラにより撮影するために、予定地付近を通る道路に自動車を移動し、撮影場所の手前に自動車を止め、装置をリセットする。ジャイロを用いたカメラ角度測定装置３は、相対移動角度のみを測定しカメラの向き（方位）を検出できないため、予めスタート時のカメラの向き（絶対方位）を測定し、データ処理装置５に入力する。ビデオカメラ１つまり自動車を所定の方位（例えば真北など）に向け、そこから移動・撮影をスタートするようにしてもよい。
【００３０】
全ての装置に電源投入後、自動車が完全に停止した状態で、カメラ角度測定装置３の初期化を行なう。すなわち、各ジャイロ３１、３２、３３の出力値を収束させ、ロール角、ピッチ角、方位角の各原点を初期化し、次に、自動車のエンジンを始動した状態で、各ジャイロの出力値を測定し、その値をオフセット値として初期設定する（図４のステップ１００）。
【００３１】
次に、データ収集装置４及びデータ処理装置５が、移動位置測定装置２からの位置データを取り込むと共に、カメラ角度測定装置３からの角度データを取り込んで、カメラの位置と角度の計測を開始する（ステップ１１０）。続いて、ビデオカメラ１による撮影を開始し（ステップ１２０）、自動車を道路に沿って移動させながら、予定地付近の風景を撮影する。
【００３２】
ビデオカメラ１は、撮影を開始すると、撮影した画像の各フレーム毎（例えば１／３０秒毎）にタイムコード信号を出力し、データ収集装置４はこのタイムコード信号を同期信号（トリガ信号）として入力し、移動位置測定装置２及びカメラ角度測定装置３から送られるこの時点の測定データを取り込む（ステップ１３０〜１４０）。そして、データ収集装置４は、タイムコード信号と共に、緯度、経度、高度の各位置データ、ロール角、ピンチ角、方位角の各カメラ角データを、所定のフォーマット化されたシリアルデータとして、データ処理装置５に出力する（ステップ１５０）。
【００３３】
データ処理装置５は、ビデオカメラ１が撮影を行なう間、オンライン処理で、データ収集装置４から送られたタイムコード信号、緯度、経度、高度の各位置データ、及びロール角、ピンチ角、方位角の各カメラ角データを取り込み、一時メモリにそれらを順に記憶していく。
【００３４】
このようなデータ収集装置４とデータ処理装置５の動作により、自動車が低速で走行しながらビデオカメラ１により周囲の風景が撮影される間、撮影した画像の各フレーム毎（例えば１／３０秒毎）に、撮影の視点となるビデオカメラ１の緯度、経度、高度の各位置データ、及び撮影の視線方向となるカメラのロール角、ピンチ角、方位角の各データがデータ処理装置５に蓄積される。
【００３５】
そして、撮影を終了した後、データ処理装置５を使用して、カメラの位置のデータを補間・補正処理する。このデータの補間・補正は、ＧＰＳを用いた移動位置測定装置２が、通常、毎秒１個乃至数個の位置データを出力し、撮影画像の各フレームの発生タイミング（１／３０秒）ではデータの更新がないために実施し、連続して移動するカメラの位置の変化に応じて、その位置（緯度、経度、高度）が連続して変化するように、収集した緯度、経度、高度の各位置データを、撮影画像の各フレームの発生タイミング（１／３０秒）毎に、線形補間或は非線形補間を用いて滑らかに補間する。また、その緯度、経度、高度の各位置データがその前後のデータと比べ大きく相違する場合、そのデータは使用せず、前後のデータに基づき、位置データを修正する。
【００３６】
このようにして撮影されたビデオカメラ１の例えば図５ａのような画像の画像データは、各フレーム毎に、そのカメラ位置データ及び角度データと共に、ＣＧ装置に入力される。そして、ＣＧ装置では、図５ｂのような送電線鉄塔の画像が予め作成され、この送電線鉄塔の３次元グラフィック画像と上記の撮影画像を、画像合成することにより、図５ｃに示すような合成ビデオ画像が作成され、景観シュミレーションのためのビデオ映像が作られる。
【００３７】
画像合成は、撮影された画像データの各フレームについて、その撮影視点となる緯度、経度、高度の各位置データ、及び視線のロール角、ピンチ角、方位角の角度データをＣＧ画像に与えた時の鉄塔の３Ｄ画像を合成するように行なわれるため、撮影した動画の風景画像上に、送電線鉄塔を正しい位置に張り付くように合成することができる。
【００３８】
また、このようなフレーム毎の画像合成の作業は、各フレーム毎に視点の位置データと視線の角度データがあるため、ＣＧ装置により自動的に効率よく行なうことができ、更に、ビデオカメラ１の撮影時に収集され適正に補間・補正された各フレーム毎の位置データと角度データを使用するため、違和感のない滑らかな動画像を作ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すビデオカメラ位置角度測定装置の構成図である。
【図２】カメラ角度測定装置の構成図である。
【図３】データ収集装置の構成と接続を示すブロック図である。
【図４】データ収集装置の動作を示すフローチャートである。
【図５】ビデオカメラの撮影画像（ａ）、ＣＧにより作成した画像（ｂ）、及びそれらを合成した画像（ｃ）の説明図である。
【符号の説明】
１−ビデオカメラ
２−移動位置測定装置
３−カメラ角度測定装置
４−データ収集装置
５−データ処理装置
【図１】
0003796704.tif 000002
【図２】
0003796704.tif 000003
【図３】
0003796704.tif 000004
【図４】
0003796704.tif 000005
【図５】
0003796704.tif 000006