(57)【要約】【課題】３次元形状を計算することが困難な箇所がある領域の３次元地図として、有用なものを作成することを目的とする。【解決手段】複合メディア合成装置１２０の３次元地図作成部１２３は、移動可能な計測装置に搭載されたカメラ、レーザスキャナ、ステレオカメラの出力するデータの少なくともいずれかを用いて計測装置の周辺領域の３次元地図を構築する。メディア合成部１２５は、カメラの出力する映像データから、３次元地図作成部１２３が３次元地図を作成できない領域（カメラやステレオカメラで撮影しても映像の精度が悪くなる領域、レーザスキャナのレーザが到達する範囲外の領域）以外の領域の映像を抽出し、抽出した映像と３次元地図作成部１２３が作成した３次元地図とを合成する。【選択図】図１０
2010128799.tif 000002
【特許請求の範囲】
【請求項１】
周辺領域の形状を観測するセンサと周辺領域の映像を撮影するカメラとを具備する移動可能な計測装置から、前記計測装置の移動中に前記センサにより観測された形状のデータを取得する形状データ取得部と、
前記形状データ取得部が取得したデータから、前記センサにより形状が観測された領域の３次元地図を作成する３次元地図作成部と、
前記計測装置から、前記計測装置の移動中に前記カメラにより撮影された映像のデータを取得する映像データ取得部と、
前記映像データ取得部が取得したデータから、前記３次元地図作成部が３次元地図を作成した領域以外の領域の映像を抽出し、抽出した映像と前記３次元地図作成部が作成した３次元地図とを合成するメディア合成部とを備えることを特徴とする複合メディア合成装置。
【請求項２】
前記複合メディア合成装置は、さらに、
前記計測装置が単位時間又は単位距離移動する度に、当該移動区間における移動量を推定する移動量推定部を備え、
前記形状データ取得部は、前記計測装置から、前記計測装置が移動を開始したときに前記センサにより観測された形状のデータを初期データとして取得するとともに、前記計測装置が単位時間又は単位距離移動する度に前記センサにより観測される形状のデータを当該移動区間の更新データとして取得し、
前記３次元地図作成部は、前記形状データ取得部が取得した初期データから３次元地図を作成した後、前記形状データ取得部が１つの移動区間の更新データを取得する度に、当該移動区間の更新データで３次元地図を更新し、
前記映像データ取得部は、前記計測装置から、前記計測装置が単位時間又は単位距離移動する度に前記カメラにより撮影される映像のデータを当該移動区間の映像データとして取得し、
前記メディア合成部は、前記形状データ取得部が取得した１つの移動区間の更新データで前記３次元地図作成部が３次元地図を更新できない場合、前記移動量推定部が推定した当該移動区間における移動量に基づいて、前記映像データ取得部が取得した当該移動区間の映像データから、前記３次元地図作成部が作成した３次元地図が存在しない領域の映像を抽出し、抽出した映像と前記３次元地図作成部が作成した３次元地図とを合成することを特徴とする請求項１に記載の複合メディア合成装置。
【請求項３】
前記メディア合成部は、前記映像データ取得部が取得した映像データから、奥行きのある開口が映っている部分を検出し、検出した部分の映像を、前記３次元地図作成部が作成した３次元地図が存在しない領域の映像として抽出することを特徴とする請求項２に記載の複合メディア合成装置。
【請求項４】
前記移動量推定部は、前記映像データ取得部が取得したデータから、各移動区間における移動量を推定することを特徴とする請求項２又は３に記載の複合メディア合成装置。
【請求項５】
前記カメラは、前記センサを兼ねており、
前記映像データ取得部は、前記形状データ取得部を兼ねており、
前記メディア合成部は、前記３次元地図作成部が３次元地図を作成できない領域がある場合、前記映像データ取得部が取得したデータから、当該領域の映像を抽出し、抽出した映像と前記３次元地図作成部が作成した３次元地図とを合成することを特徴とする請求項１から４までのいずれかに記載の複合メディア合成装置。
【請求項６】
前記センサは、周辺領域の３次元座標を計測するレーザスキャナであり、
前記メディア合成部は、前記映像データ取得部が取得したデータから、前記レーザスキャナのレーザが到達する範囲外の領域の映像を抽出し、抽出した映像と前記３次元地図作成部が作成した３次元地図とを合成することを特徴とする請求項１から４までのいずれかに記載の複合メディア合成装置。
【請求項７】
請求項１から６までのいずれかに記載の複合メディア合成装置と、
前記メディア合成部が映像と３次元地図とを合成したデータを画面表示する複合メディア表示装置とを備えることを特徴とする複合メディア表示システム。
【請求項８】
複合メディア合成装置の形状データ取得部が、周辺領域の形状を観測するセンサと周辺領域の映像を撮影するカメラとを具備する移動可能な計測装置から、前記計測装置の移動中に前記センサにより観測された形状のデータを取得する第１ステップと、
前記複合メディア合成装置の３次元地図作成部が、前記第１ステップで取得されたデータから、前記センサにより形状が観測された領域の３次元地図を作成する第２ステップと、
前記複合メディア合成装置の映像データ取得部が、前記計測装置から、前記計測装置の移動中に前記カメラにより撮影された映像のデータを取得する第３ステップと、
前記複合メディア合成装置のメディア合成部が、前記第３ステップで取得されたデータから、前記第２ステップで３次元地図が作成された領域以外の領域の映像を抽出し、抽出した映像と前記第２ステップで作成された３次元地図とを合成する第４ステップとを備えることを特徴とする複合メディア合成方法。
【請求項９】
複合メディア合成装置の映像データ取得部が、周辺領域の映像を撮影するカメラを具備する移動可能な計測装置から、前記計測装置の移動中に前記カメラにより撮影された映像のデータを取得する第１ステップと、
前記複合メディア合成装置の３次元地図作成部が、前記第１ステップで取得されたデータから、前記カメラにより映像が撮影された領域の３次元地図を作成する第２ステップと、
前記複合メディア合成装置のメディア合成部が、前記第２ステップで３次元地図を作成できない領域がある場合、前記第１ステップで取得されたデータから、当該領域の映像を抽出し、抽出した映像と前記第２ステップで作成された３次元地図とを合成する第３ステップとを備えることを特徴とする複合メディア合成方法。
【請求項１０】
周辺領域の形状を観測するセンサと周辺領域の映像を撮影するカメラとを具備する移動可能な計測装置から、前記計測装置の移動中に前記センサにより観測された形状のデータを取得する形状データ取得処理と、
前記形状データ取得処理が取得したデータから、前記センサにより形状が観測された領域の３次元地図を作成する３次元地図作成処理と、
前記計測装置から、前記計測装置の移動中に前記カメラにより撮影された映像のデータを取得する映像データ取得処理と、
前記映像データ取得処理が取得したデータから、前記３次元地図作成処理が３次元地図を作成した領域以外の領域の映像を抽出し、抽出した映像と前記３次元地図作成処理が作成した３次元地図とを合成するメディア合成処理とをコンピュータに実行させることを特徴とする複合メディア合成プログラム。
【請求項１１】
周辺領域の映像を撮影するカメラを具備する移動可能な計測装置から、前記計測装置の移動中に前記カメラにより撮影された映像のデータを取得する映像データ取得処理と、
前記映像データ取得処理が取得したデータから、前記カメラにより映像が撮影された領域の３次元地図を作成する３次元地図作成処理と、
前記３次元地図作成処理が３次元地図を作成できない領域がある場合、前記映像データ取得処理が取得したデータから、当該領域の映像を抽出し、抽出した映像と前記３次元地図作成処理が作成した３次元地図とを合成するメディア合成処理とをコンピュータに実行させることを特徴とする複合メディア合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合メディア合成装置及び複合メディア表示システム及び複合メディア合成方法及び複合メディア合成プログラムに関するものである。本発明は、特に、カメラを搭載した移動可能な計測装置から取得した３次元データと映像データとを合成する複合メディア合成装置と、合成された複合メディアを表示する複合メディア表示装置に関するものである。
【背景技術】
【０００２】
従来、町並みの３次元データを構築する技術がある。例えば、特許文献１においては、車両にレーザ計測装置を設置して走行することにより、町並みの３次元データを構築する。車両の自己位置をＧＰＳ（Ｇｌｏｂａｌ・Ｐｏｓｉｔｉｏｎｉｎｇ・Ｓｙｓｔｅｍ）により取得し、自己位置からレーザ計測装置が取得した距離にある物体の形状を計測して３次元モデルとして記録する。
【０００３】
従来、走行する装置が、装置に搭載したカメラが取得する映像と、レーザ計測器が取得する距離から自己位置を推測する技術がある。例えば、特許文献２においては、カメラが取得した映像の中から基準点を決定し、走行装置から基準点までの距離をレーザ計測器で計ることにより、基準点までの距離を基に自己位置を推測している。
【０００４】
従来、位置に応じた映像を表示する技術がある。例えば、特許文献３においては、予め記録してある道路ネットワークデータを基にして、道路分岐点へ向かう方向を予め撮影した画像や、道路分岐点から特定の方向へ曲がった方向を予め撮影した画像を提供して表示する。
【０００５】
従来、エピポーラ幾何を用いて２次元映像に映っている物体の３次元形状を計算する方法がある（例えば、非特許文献１参照）。
【特許文献１】特開２００２−３１５２８号公報
【特許文献２】特開２００６−３１６４２号公報
【特許文献３】特開２００５−３７５２号公報
【非特許文献１】徐剛、辻三郎共著、「３次元ビジョン」、共立出版、１９９８年４月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の町並みの３次元データを構築する技術では、自己位置をＧＰＳにより取得しているので、ＧＰＳを受信できない屋内やビルの谷間では３次元モデルを構築することができないという課題があった。
【０００７】
従来の自己位置推定技術では、レーザ計測装置をターゲットへ向けて距離を計測するので、上下左右のターゲット方向へ計測装置を向ける駆動装置が必要であり、警備用途等で第三者に気づかれにくいように装置を小型化することができないという課題があった。
【０００８】
従来の位置に応じた映像表示技術では、位置情報に基づいて映像を選択して表示するので、正確な位置がわからない場所においては、適切な映像を表示できないという課題があった。また、映像以外に景観を再現した３次元モデルがあっても、映像と同時に使うことができないという課題があった。
【０００９】
従来の方法では、２次元映像に映っている物体の３次元形状を計算する際に、物体の周辺環境（明るさ、広さ、高さ等）によっては３次元形状を計算できない場合があるという課題があった。
【００１０】
本発明は、例えば、３次元形状を計算することが困難な箇所がある領域の３次元地図として、有用なものを作成することを目的とする。また、本発明は、例えば、以下の少なくとも１つの特徴をもつ、複合メディア合成装置及び複合メディア表示装置を備えるシステムを提供することを目的とする。
（１）屋内やビルの谷間において走行する計測装置が、外部の測位システム（測位するために、計測装置以外に設置するシステム。例えば、ＧＰＳ衛星、無線ＬＡＮ（Ｌｏｃａｌ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）等）を必要とせずに走行位置を取得する。
（２）走行する計測装置に計測機器の方向を変化させる機械を搭載しない。
（３）走行する計測装置から収集した情報が映像であっても、３次元データであっても、空間的に連続して表示できる。
【課題を解決するための手段】
【００１１】
本発明の一の態様に係る複合メディア合成装置は、
周辺領域の形状を観測するセンサと周辺領域の映像を撮影するカメラとを具備する移動可能な計測装置から、前記計測装置の移動中に前記センサにより観測された形状のデータを取得する形状データ取得部と、
前記形状データ取得部が取得したデータから、前記センサにより形状が観測された領域の３次元地図を作成する３次元地図作成部と、
前記計測装置から、前記計測装置の移動中に前記カメラにより撮影された映像のデータを取得する映像データ取得部と、
前記映像データ取得部が取得したデータから、前記３次元地図作成部が３次元地図を作成した領域以外の領域の映像を抽出し、抽出した映像と前記３次元地図作成部が作成した３次元地図とを合成するメディア合成部とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明の一の態様によれば、複合メディア合成装置において、３次元地図作成部が、計測装置の移動中にセンサにより観測された形状のデータから、前記センサにより形状が観測された領域の３次元地図を作成し、メディア合成部が、前記計測装置の移動中にカメラにより撮影された映像のデータから、前記３次元地図作成部が３次元地図を作成した領域以外の領域の映像を抽出し、抽出した映像と前記３次元地図作成部が作成した３次元地図とを合成することにより、例えば、３次元形状を計算することが困難な箇所がある領域の３次元地図として、有用なものを作成することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図を用いて説明する。
【００１４】
実施の形態１．
図１は、本実施の形態に係る複合メディア表示システム１００の構成及び動作概略を示す図である。
【００１５】
図１において、複合メディア表示システム１００は、計測装置１１０、複合メディア合成装置１２０、複合メディア表示装置１３０を備える。
【００１６】
操作員は、遠隔地から計測装置１１０を移動させる。計測装置１１０は、後述するように、カメラを搭載している（他にセンサを搭載していてもよい）。計測装置１１０は、例えば１秒（単位時間の一例）に１回又は１メートル（単位距離の一例）進むごとに１回、複合メディア合成装置１２０へカメラから取得した映像データを送る（もしあれば、センサから取得したレーザデータ等も送る）。
【００１７】
複合メディア合成装置１２０は、計測装置１１０が取得した映像データから（もしあれば、レーザデータ等から、あるいは、映像データ及びレーザデータ等から）、周辺の３次元地図（３次元モデル）を構築して３次元データとして記録する。３次元データは、構造物（例えば、床、壁、天井、柱）や設置物（例えば、机、箱、棚）等の物体の形状を立体的に表現した電子データである。具体例として、ＶＲＭＬ（Ｖｉｒｔｕａｌ・Ｒｅａｌｉｔｙ・Ｍａｒｋｕｐ・Ｌａｎｇｕａｇｅ）がある。四角い壁の場合、４隅の４頂点の位置を３次元座標で表現する。３次元座標は、地面をＸ−Ｙ平面、高さをＺ方向として、スケールは例えば１ミリメートルを１．０としたものである。複合メディア合成装置１２０は、計測装置１１０が取得した映像データから、周辺の３次元地図を構築できない場合は、映像を記録する。また、このとき、複合メディア合成装置１２０は、映像からカメラの移動経路を推定して記録する。複合メディア合成装置１２０は、前回、計測装置１１０の位置（移動開始地点等を基準点とした相対的な位置でよい）を算出した時点以降に、計測装置１１０が移動した距離と向きを計算して記録する。複合メディア合成装置１２０は、３次元データと映像データを合成する。ここで、「３次元データと映像データを合成する」とは、例えば、３次元データと映像データを連続して再生可能な１つのメディアデータ（例えば、１つのファイル）にまとめること、あるいは、３次元データと映像データとともに、後述するリンクデータを記録媒体に記録することをいう。
【００１８】
複合メディア表示装置１３０は、操作員が指定した任意位置の３次元地図を表示する。操作員の指定した位置に対応する３次元データがなく、映像データだけである場合は、その位置の映像を表示する。例えば、複合メディア表示装置１３０は、ある地点Ａが指定されたときに、地点Ａの３次元データが存在しなければ、地点Ａの映像を表示する。また、複合メディア表示装置１３０は、３次元地図を表示中に、３次元データの存在しない部分について取得した映像データがある場合は、３次元地図に映像を合成して表示する。例えば、複合メディア表示装置１３０は、地点Ａの３次元地図にデータが欠落している部分がある場合には、地点Ａの３次元地図を表示するとともに、当該部分に、その場所の映像を表示する。また、複合メディア表示装置１３０は、映像を表示中に、撮影した映像の存在しない部分について構築した３次元データがある場合は、３次元地図を合成して表示する。例えば、複合メディア表示装置１３０は、地点Ａの映像に何も映っていない部分がある場合には、地点Ａの映像を表示するとともに、当該部分に、その場所の３次元地図を表示する。
【００１９】
３次元データは、前述したように、３次元地図のデータである。映像データは、動画又は例えば１秒間隔の連続写真のデータである。映像データは、例えば複数の電子ファイルに分けて記録される。リンクデータは、映像データと３次元データの関連付けを示すデータである。例えば、ある場所の３次元地図の一部に映像を繋げて表示する場合、リンクデータでは、３次元地図のどの部分に映像のどの部分を繋げて表示するか等を定義したリンク情報が記録される。リンクデータでは、３次元地図から映像へ切り替わる場所か、映像から３次元地図へ切り替わる場所かの違いも併せて記録される。また、リンクデータでは、映像データの電子ファイル名、フレーム番号、タイムスタンプ（撮影開始時刻からの経過時間でもよい）、映像データに対応する計測装置１１０の位置等を示す属性情報も記録される。
【００２０】
図２に映像から３次元地図へ切り替わる場所のリンク情報の例を示す。また、図３に３次元地図から映像へ切り替わる場所のリンク情報の例を示す。
【００２１】
リンク情報の一例として、枠形状のベクトルがある。映像フレーム中の出入り口の扉、ゲート等の枠の形をベクトルで示し、リンクデータに記録することができる。この場合、リンクデータでは、枠形状のベクトルが、映像データの各フレームに対応付けて記録される。また、リンクデータでは、映像データ内の枠形状のベクトルに対応した３次元データ（３次元地図）内の枠の位置も記録される。さらに、リンクデータでは、３次元データにおける枠の位置に対応した映像フレームの撮影位置の座標と撮影方向の方向ベクトルが記録される。
【００２２】
以上より、リンクデータの一例としては、映像データの電子ファイル名、フレーム番号（又は映像データのタイムスタンプ）、画像（フレーム）中の枠形状のベクトル、関連する３次元地図内の枠形状のベクトル、３次元地図内の映像撮影位置座標、映像撮影方向ベクトル等を関連付けしたものが考えられる。
【００２３】
図４、図５、図６は、計測装置１１０の構成例を示す図である。
【００２４】
図４の例では、計測装置１１０は、台車１１１を具備し、移動することができる。また、計測装置１１０は、周辺領域の映像を撮影するカメラ１１２（単眼カメラ）を具備する。カメラ１１２は、台車１１１に搭載される。カメラ１１２は、周辺領域の形状を観測するセンサの一例である。台車１１１には、計算機２０１も搭載される。計算機２０１は、カメラ１１２により撮影された映像のデータを遠隔地へ送信するために、通信装置を搭載している。通信装置は例えば無線ＬＡＮ通信を行う装置である。
【００２５】
図５の例では、計測装置１１０は、カメラ１１２のほかに、周辺領域の３次元座標を計測するレーザスキャナ１１３を具備する。レーザスキャナ１１３も、周辺領域の形状を観測するセンサの一例である。レーザスキャナ１１３により計測された３次元座標のデータも、計算機２０１に搭載された通信装置によって遠隔地へ送信される。
【００２６】
図６の例では、計測装置１１０は、カメラ１１２の代わりに、ステレオカメラ１１４を具備する。ステレオカメラ１１４も、周辺領域の形状を観測するセンサの一例である。ステレオカメラ１１４により撮影された映像のデータも、計算機２０１に搭載された通信装置によって遠隔地へ送信される。
【００２７】
図７、図８は、複合メディア合成装置１２０及び複合メディア表示装置１３０の構成例を示す図である。
【００２８】
以下では、複合メディア合成装置１２０と複合メディア表示装置１３０はいずれも計算機上のソフトウェアであるとして説明するが、ソフトウェアとハードウェアの組み合わせ等であってもよい。
【００２９】
図７のように、複合メディア合成装置１２０が、計測装置１１０上の計算機２０１にある場合、複合メディア合成装置１２０が出力する３次元データ、映像データ、リンクデータは、遠隔地にある計算機２０２へ無線ＬＡＮ等のネットワークを介して送信されて記録媒体に蓄積される。そして、計算機２０２で記録媒体に蓄積された３次元データ、映像データ、リンクデータは、計算機２０２にある複合メディア表示装置１３０によって利用される。
【００３０】
図８のように、複合メディア合成装置１２０と複合メディア表示装置１３０が、計測装置１１０から離れた遠隔地にある計算機２０２上にある場合は、計測装置１１０上の計算機２０１と遠隔地上の計算機２０２の間で、カメラ１１２、レーザスキャナ１１３、ステレオカメラ１１４の取得データや、遠隔地の計算機２０２から計測装置１１０への動作指示信号が無線ＬＡＮを介して送受信される。複合メディア合成装置１２０がカメラ１１２、レーザスキャナ１１３、ステレオカメラ１１４の取得データから作成する３次元データ、映像データ、リンクデータは、計算機２０２で記録媒体に蓄積され、複合メディア表示装置１３０によって利用される。
【００３１】
図９は、操作員が、遠隔地にある計算機２０２から計測装置１１０の動作を指示するための動作指示装置２０３の機能を示す図である。
【００３２】
以下では、動作指示装置２０３は計算機上のソフトウェアであるとして説明するが、ソフトウェアとハードウェアの組み合わせ等であってもよい。
【００３３】
図９に示すように、遠隔地にある計算機２０２にある動作指示装置２０３は、走行する計測装置１１０への走行指示を行う。具体的には、動作指示装置２０３は、計算機２０２上の走行指示画面２０４に、左折、前進、右折、後退ボタンを配置する。そして、動作指示装置２０３は、例えば操作員がいずれかのボタンを１秒押し、放すと、１秒間ボタンの記述の動作をしろという指示を、無線ＬＡＮを介して計測装置１１０上の計算機２０１へ送る。この指示に応じて、計測装置１１０は駆動動作を行う。具体的には、計測装置１１０上の計算機２０１が、指示された時間の間、台車１１１の左右の駆動輪を回転させる。前進は２輪を順方向へ回転させて行う。後退は２輪を逆方向へ回転させて行う。左折は左駆動輪よりも右駆動輪の回転速度を上げて行う。右折は右駆動輪よりも左駆動輪の回転速度を上げて行う。回転加速度は加速・減速とも一定とし、一定速度に達すると、計測装置１１０上の計算機２０１は駆動輪を定常速度で回転させるものとする。計測装置１１０上の計算機では、両車輪を動作させた時刻から、駆動前の位置から駆動後の位置までの移動距離と移動方向をデータとして得る。なお、車輪にロータリエンコーダを設置してもよい。この場合、ロータリエンコーダが、車輪の回転角度を検出するので、回転角度から駆動前の位置から駆動後の位置までの移動距離と移動方向をデータとして得ることができる。
【００３４】
図１０は、複合メディア合成装置１２０の構成を示すブロック図である。
【００３５】
図１０において、複合メディア合成装置１２０は、形状データ取得部１２１、映像データ取得部１２２、３次元地図作成部１２３、移動量推定部１２４、メディア合成部１２５を備える。
【００３６】
形状データ取得部１２１は、計測装置１１０から、計測装置１１０の移動中にセンサにより観測された周辺領域の形状のデータを取得する（同時に、センサの方向や特性等を示すデータを取得してもよい）。計測装置１１０が図５の例のように構成されている（カメラ１１２及びレーザスキャナ１１３を具備する）場合、形状データ取得部１２１は、計測装置１１０から、計測装置１１０の移動中にレーザスキャナ１１３により計測された３次元座標のデータを取得する。計測装置１１０が１単位時間又は１単位距離移動したときのデータを１回のデータとすると、形状データ取得部１２１は、計測装置１１０から１回のデータをリアルタイムに取得してもよいし、複数回のデータをまとめて定期的に又は任意のタイミングで取得してもよい。ここで、計測装置１１０が移動を開始したときにセンサにより観測された形状のデータを初期データと呼ぶことにする（センサの方向や特性等を示すデータが取得されている場合には、そのデータも含む）。また、その後、計測装置１１０が単位時間又は単位距離移動する度にセンサにより観測される形状のデータを当該移動区間（計測装置１１０が単位時間又は単位距離移動した区間）の更新データと呼ぶことにする（センサの方向や特性等を示すデータが取得されている場合には、そのデータも含む）。
【００３７】
映像データ取得部１２２は、計測装置１１０から、計測装置１１０の移動中にカメラ１１２（又はステレオカメラ１１４）により撮影された映像のデータを取得する。計測装置１１０が１単位時間又は１単位距離移動したときのデータを１回のデータとすると、映像データ取得部１２２は、計測装置１１０から１回のデータをリアルタイムに取得してもよいし、複数回のデータをまとめて定期的に又は任意のタイミングで取得してもよい。ここで、計測装置１１０が単位時間又は単位距離移動する度にカメラ１１２により撮影される映像のデータを当該移動区間（計測装置１１０が単位時間又は単位距離移動した区間）の映像データとする。なお、計測装置１１０が図４（又は図６）の例のように構成されている（カメラ１１２とは別個のセンサを具備していない）場合、カメラ１１２がセンサを兼ねることになる。この場合、映像データ取得部１２２は形状データ取得部１２１を兼ねることになるため、最初の移動区間の映像データは前述した初期データとなる。そして、２番目以降の各移動区間の映像データは各移動区間の更新データとなる。
【００３８】
３次元地図作成部１２３は、計測装置１１０に搭載されたカメラ１１２、レーザスキャナ１１３、ステレオカメラ１１４の出力するデータの少なくともいずれかを用いて計測装置１１０の周辺領域の３次元地図を構築する。具体的には、３次元地図作成部１２３は、形状データ取得部１２１（あるいは映像データ取得部１２２）が取得した初期データから３次元地図を作成する。その後、３次元地図作成部１２３は、形状データ取得部１２１が１つの移動区間の更新データを取得する度に、当該移動区間の更新データで３次元地図を更新する。つまり、３次元地図作成部１２３は、新たな更新データから３次元地図を構築し、既に構築済みの３次元地図と、新たに構築した３次元地図を合成する。
【００３９】
移動量推定部１２４は、計測装置１１０が単位時間又は単位距離移動する度に、当該移動区間における移動量を推定する。移動量推定部１２４は、形状データ取得部１２１が取得したデータ（例えば、３次元座標のデータ）から、各移動区間における移動量を推定してもよいし、映像データ取得部１２２が取得したデータから、各移動区間における移動量を推定してもよい。後者の場合、移動量推定部１２４は、カメラ１１２（又はステレオカメラ１１４）が取得した映像を基にカメラ１１２の移動方向、向きの変位、移動距離を推定することにより、計測装置１１０の移動量を推定する。
【００４０】
メディア合成部１２５は、映像データ取得部１２２が取得したデータから、３次元地図作成部１２３が３次元地図を作成した領域以外の領域の映像を抽出し、抽出した映像と３次元地図作成部１２３が作成した３次元地図とを合成する。３次元地図作成部１２３が３次元地図を作成した領域以外の領域とは、主に、３次元地図作成部１２３が３次元地図を作成できない領域のことである。３次元地図作成部１２３が３次元地図を作成できない領域としては、例えば、カメラ１１２（又はステレオカメラ１１４）で撮影しても映像の精度が悪くなる領域（暗い領域等）、レーザスキャナ１１３のレーザが到達する範囲外の領域（広い領域、高い領域等）といったものが挙げられる。このような領域が存在する場合、形状データ取得部１２１（あるいは映像データ取得部１２２）が取得した１つ以上の移動区間の更新データで３次元地図作成部１２３が３次元地図を更新できないことになる。そのため、メディア合成部１２５は、移動量推定部１２４が推定した当該移動区間における移動量に基づいて、映像データ取得部１２２が取得した当該移動区間の映像データから、当該領域（３次元地図作成部１２３が作成した３次元地図が存在しない領域）の映像を抽出し、抽出した映像と３次元地図作成部１２３が作成した３次元地図とを合成する。即ち、メディア合成部１２５は、３次元地図（３次元データ）と映像（映像データ）とリンク情報（リンクデータ）とを記録媒体に記録する。メディア合成部１２５は、リンク情報を記録する際には、前述したように、枠形状のベクトル等を算出することで、３次元地図のどの部分と映像のどの部分とを繋げて表示するか定義する必要がある。そのため、メディア合成部１２５は、映像データ取得部１２２が取得した映像データから、例えば奥行きのある開口（出入り口の扉、ゲート等の枠）が映っている部分を検出し、検出した部分の映像を、３次元地図作成部１２３が作成した３次元地図が存在しない領域の映像として抽出する。そして、メディア合成部１２５は、抽出した映像を、既に作成された３次元地図に関連付ける。
【００４１】
図１１は、複合メディア表示装置１３０の構成を示すブロック図である。
【００４２】
図１１において、複合メディア表示装置１３０は、仮想位置決定部１３１、３次元データ表示部１３２、３次元上映像合成表示部１３３、映像データ表示部１３４、映像上３次元合成表示部１３５を備える。
【００４３】
仮想位置決定部１３１は、画面へ表示する地図の視点位置を決定する。そして、仮想位置決定部１３１は、３次元地図を表示する範囲か、映像を表示する範囲かを判断する。
【００４４】
３次元データ表示部１３２は、３次元データを視点位置に合わせて表示する。
【００４５】
３次元上映像合成表示部１３３は、３次元地図上に映像を合成して表示する。
【００４６】
映像データ表示部１３４は、映像を再生する。
【００４７】
映像上３次元合成表示部１３５は、映像上に３次元地図を合成して表示する。
【００４８】
図１２は、計算機２０１，２０２のハードウェア構成の一例を示す図である。
【００４９】
図１２において、計算機２０１，２０２は、ＬＣＤ９０１（Ｌｉｑｕｉｄ・Ｃｒｙｓｔａｌ・Ｄｉｓｐｌａｙ）、キーボード９０２（Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤＤ９０５（Ｃｏｍｐａｃｔ・Ｄｉｓｃ・Ｄｒｉｖｅ）、プリンタ９０６といったハードウェアデバイスを備えている。これらのハードウェアデバイスはケーブルや信号線で接続されている。ＬＣＤ９０１の代わりに、ＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）、あるいは、その他の表示装置が用いられてもよい。マウス９０３の代わりに、タッチパネル、タッチパッド、トラックボール、ペンタブレット、あるいは、その他のポインティングデバイスが用いられてもよい。
【００５０】
計算機２０１，２０２は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）を備えている。ＣＰＵ９１１は、処理装置の一例である。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）、ＲＡＭ９１４（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）、通信ボード９１５、ＬＣＤ９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５、プリンタ９０６、ＨＤＤ９２０（Ｈａｒｄ・Ｄｉｓｋ・Ｄｒｉｖｅ）と接続され、これらのハードウェアデバイスを制御する。ＨＤＤ９２０の代わりに、フラッシュメモリ、光ディスク装置、メモリカードリーダライタ又はその他の記憶媒体が用いられてもよい。
【００５１】
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、ＨＤＤ９２０は、不揮発性メモリの一例である。これらは、記憶装置の一例である。通信ボード９１５、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５は、入力装置の一例である。また、通信ボード９１５、ＬＣＤ９０１、プリンタ９０６は、出力装置の一例である。
【００５２】
通信ボード９１５は、ＬＡＮ等に接続されている。通信ボード９１５は、ＬＡＮに限らず、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ・Ｐｒｏｔｏｃｏｌ・Ｖｉｒｔｕａｌ・Ｐｒｉｖａｔｅ・Ｎｅｔｗｏｒｋ）、広域ＬＡＮ、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ・Ｔｒａｎｓｆｅｒ・Ｍｏｄｅ）ネットワークといったＷＡＮ（Ｗｉｄｅ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）、あるいは、インターネットに接続されていても構わない。ＬＡＮ、ＷＡＮ、インターネットは、ネットワークの一例である。
【００５３】
ＨＤＤ９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。プログラム群９２３には、本実施の形態の説明において「〜部」として説明する機能を実行するプログラムが含まれている。プログラムは、ＣＰＵ９１１により読み出され実行される。ファイル群９２４には、本実施の形態の説明において、「〜データ」、「〜情報」、「〜ＩＤ（識別子）」、「〜フラグ」、「〜結果」として説明するデータや情報や信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」や「〜テーブル」の各項目として含まれている。「〜ファイル」や「〜データベース」や「〜テーブル」は、ＲＡＭ９１４やＨＤＤ９２０等の記憶媒体に記憶される。ＲＡＭ９１４やＨＤＤ９２０等の記憶媒体に記憶されたデータや情報や信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出、検索、参照、比較、演算、計算、制御、出力、印刷、表示といったＣＰＵ９１１の処理（動作）に用いられる。抽出、検索、参照、比較、演算、計算、制御、出力、印刷、表示といったＣＰＵ９１１の処理中、データや情報や信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
【００５４】
本実施の形態の説明において用いるブロック図やフローチャートの矢印の部分は主としてデータや信号の入出力を示す。データや信号は、ＲＡＭ９１４等のメモリ、ＦＤＤ９０４のフレキシブルディスク（ＦＤ）、ＣＤＤ９０５のコンパクトディスク（ＣＤ）、ＨＤＤ９２０の磁気ディスク、光ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）、あるいは、その他の記録媒体に記録される。また、データや信号は、バス９１２、信号線、ケーブル、あるいは、その他の伝送媒体により伝送される。
【００５５】
本実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜工程」、「〜手順」、「〜処理」であってもよい。即ち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。あるいは、「〜部」として説明するものは、ソフトウェアのみ、あるいは、素子、デバイス、基板、配線といったハードウェアのみで実現されていても構わない。あるいは、「〜部」として説明するものは、ソフトウェアとハードウェアとの組み合わせ、あるいは、ソフトウェアとハードウェアとファームウェアとの組み合わせで実現されていても構わない。ファームウェアとソフトウェアは、プログラムとして、フレキシブルディスク、コンパクトディスク、磁気ディスク、光ディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。即ち、プログラムは、本実施の形態の説明で述べる「〜部」としてコンピュータを機能させるものである。あるいは、プログラムは、本実施の形態の説明で述べる「〜部」の手順や方法をコンピュータに実行させるものである。
【００５６】
図１３は、複合メディア合成装置１２０の動作を示すフローチャートである。
【００５７】
図１３において、ステップＳ１０１（移動後位置データ取得処理）では、計測装置１１０の計算機２０１が計測した駆動前の位置から駆動後の位置までの移動距離と移動方向が複合メディア合成装置１２０の３次元地図作成部１２３へ伝達される。計測装置１１０の計算機２０１からは、他にも、レーザスキャナ１１３の取得したデータが複合メディア合成装置１２０の形状データ取得部１２１へ、カメラ１１２、ステレオカメラ１１４の取得したデータが複合メディア合成装置１２０の映像データ取得部１２２へ伝達される。伝達の間隔は、操作員の移動操作の終わったタイミングである。あるいは、操作員の移動操作と無関係に、一定時間ごとに計測装置１１０の計算機２０１から、３次元地図作成部１２３へ移動距離と移動方向を伝達してもよい。３次元地図作成部１２３では、連続して得られた位置データを繋ぎ合わせる（前回、計測装置１１０の位置を算出した後に、計測装置１１０の移動した方向、向きの変化、距離を算出する）ことにより、計測装置１１０が最初に動き出した地点を原点とした、現在地の座標、方向を位置データとして求める。座標は、例えば、最初の計測装置１１０の方向をＹ軸、この方向に向かって右手をＸ軸として、座標値１．０が１ミリメートルとなるＸ−Ｙ座標で表現する。
【００５８】
ステップＳ１０１において、計測装置１１０の計算機２０１から３次元地図作成部１２３への入力値は、計測装置１１０の計算機２０１が計測した駆動前の位置から駆動後の位置までの移動距離と移動方向であるが、車輪の回転速度を制御したり、車輪の回転角度を得たりする装置が計測装置１１０に搭載されない場合は、以下のようにする。
【００５９】
計測装置１１０の計算機から、カメラ１１２（又はステレオカメラ１１４）の映像を複合メディア合成装置１２０の移動量推定部１２４へ送り、ここで計算した移動距離及び移動方向を３次元地図作成部１２３への入力値とする。
【００６０】
ステップＳ１０２（周辺３次元データ構築処理）において、３次元地図作成部１２３は、計測装置１１０の位置データを得た時点での周辺の３次元データを構築する。図５の例のように計測装置１１０にレーザスキャナ１１３を搭載してある場合は、図１４（ａ）のように、壁や物体のある平面上の位置をレーザにより計測した点列として取得できるので、この点列を予め設定してある天井の高さの面として３次元データ化する。この面を覆う大きさの天井及び床の面を構築してもよい。また、カメラ１１２により撮影された映像（写真）から壁や物体のある平面のテクスチャを抽出して３次元データに貼り付けてもよい。図６の例のように計測装置１１０にステレオカメラ１１４を用いた場合、図１４（ｂ）のように、画像中の特徴点の３次元座標を得られるので、この座標により構成される面を求める。図４の例のように計測装置１１０にカメラ１１２（単眼カメラ）が搭載されている場合は、位置データを得た最低でも２地点の位置座標と、それぞれの地点で得られた映像を基にステレオカメラの原理によりステレオカメラ１１４同様の点群を計測する。３次元地図作成部１２３は、このようにして得た３次元データを３次元地図として記録する。
【００６１】
３次元地図作成部１２３において、レーザスキャナ１１３の計測可能距離を超えて３次元データを構築できない場合がある。また、カメラ１１２やステレオカメラ１１４によっても照明の状態等により、計測が困難な場合がある。そのため、３次元地図作成部１２３において、３次元データの構築可否によって、ステップＳ１０３〜Ｓ１０６が選択的に実行される。
【００６２】
直前に３次元データを構築できていて、今回も３次元データを構築できている場合、ステップＳ１０３（３次元データ合成処理）が実行される。
【００６３】
直前に３次元データを構築できていて、今回は３次元データを構築できなかった場合は、ステップＳ１０４とステップＳ１０５（３次元映像連結処理）が実行される。
【００６４】
直前に３次元データを構築できず、今回は３次元データを構築できている場合、ステップＳ１０３とステップＳ１０６（映像３次元連結処理）が実行される。
【００６５】
直前に３次元データを構築できず、今回も３次元データを構築できなかった場合は、ステップＳ１０４（移動量推定処理）が実行される。
【００６６】
以下、ステップＳ１０３（３次元データ合成処理）について説明する。
【００６７】
ステップＳ１０３において、３次元地図作成部１２３は、３次元データを構築した時点の計測装置１１０の存在する座標及び方向に合わせて構築した面を平行移動、回転する。３次元地図作成部１２３が構築した３次元データと既に記録済みの３次元地図とで重複する面がある場合は、重複部分の片方の面を削ってなくしてもよい。また、３次元地図作成部１２３は、３次元データに、取得した時点の計測装置１１０の位置と方向を属性として記録する。
【００６８】
以下、ステップＳ１０４（移動量推定処理）について説明する。
【００６９】
ステップＳ１０４において、移動量推定部１２４への入力値は、計測装置１１０の計算機２０１から伝送される、カメラ１１２（又はステレオカメラ１１４）の映像である。図１５に示すように、移動量推定部１２４は、映像中の移動前の画像（画像１とする）と移動後の画像（画像２とする）を入力値として用いる。移動量推定部１２４は、画像１と画像２の間で同じ場所と推定される対応点を抽出し、対応点がそれぞれどの程度移動したかを求める。そのために、一般的にＬｕｃａｓ−Ｋａｎａｄｅ手法といわれている手法を用いることができる。移動量推定部１２４は、２枚の写真の複数の対応点の画面上の位置変化から、カメラ１１２の移動方向を求める。そのために、非特許文献１に記されている手法を用いることができる。移動量推定部１２４は、エピポーラ方程式からエピポーラ線を複数求め、交点であるエピポール点を求める。画像１上のエピポール点は、画像１を撮影したカメラ１１２の位置からこの点の方向に画像２を撮影した時点のカメラ１１２の位置があることを示す。次に、移動量推定部１２４は、カメラ１１２の移動距離を求める。天井と床の高さ方向の座標の差異は天井の高さと同じなので、移動量推定部１２４は、画像１と画像２から各特徴点の座標を求め、天井と床面の間の距離が予めわかっている高さと同じになるような、画像１と画像２の撮影点の差を求める。天井と床面は上の方にある点と下の方にある点で分ける。距離と同時に方向の差異も求まる。エピポール点から、画像１の撮影地点から画像２の撮影地点の方向がわかるので、この方向と併せて、移動量推定部１２４は、車輪の回転数を用いて距離を求めてもよい。移動量推定部１２４は、求めたカメラ１１２の位置、方向を映像データの対応フレームに対する属性情報として記録する。
【００７０】
なお、ステップＳ１０４において、移動量推定部１２４は、過去に計算した移動量の補正をしてもよい。図１６に示すように、３次元地図が既に構築済みであり、点Ａ、Ｂ、Ｃ、Ｄの位置でそれぞれ矢印の光軸方向にカメラ１１２が撮影した映像を取得したとする。このとき、矢印は移動ベクトルとなる。ここで、枠１の地点が点Ａと一致したとする。点Ｄから撮影した映像に後述するステップＳ１０５の動作により、枠が発見されたとする。このとき、発見した枠と既存の枠２は接近していて、図１６のＸ軸方向にΔｘの差異であり、ｙ軸方向にΔｙであったとする。ΔｘとΔｙがそれぞれ、予め設定した閾値以下の場合、発見した枠は枠２であると判定する。次に、ＡのＸ軸方向のベクトル成分をｘａとし、同様に、ｘｂ、ｘｃ、ｘｄを抽出する。ｘａにΔｘ×ｘａ／（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）を加算する。同様に、ｘｂにΔｘ×ｘｂ／（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）を加算し、ｘｃ、ｘｄに同様の加算をする。Ｙ軸方向に対してもＡのＹ軸方向のベクトル成分をｙａとし、ｙａからΔｙ×ｙａ／（ｙａ＋ｙｂ＋ｙｃ＋ｙｄ）を引く。このように移動ベクトルを調整し、図１６の補正後の図のように、映像地図部分の撮影位置が、３次元地図の枠と一致するように修正する。
【００７１】
以下、ステップＳ１０５（３次元映像連結処理）について説明する。
【００７２】
ステップＳ１０５において、メディア合成部１２５は、既に取得済みの３次元データに、計測装置１１０に搭載したカメラ１１２の映像を関連付ける。そのために、メディア合成部１２５は、例えば図３に示したリンク情報を記録する。
【００７３】
例えば、計測装置１１０が移動する度に、３次元地図作成部１２３が３次元データを構築しようとするものとする。図３の左上のような廊下形状の分岐点から図中の空いた部分（奥行きのある開口）の奥の形状が計測できなかったとする。このとき、メディア合成部１２５は、３次元データから映像へ切り替える部分であると判断する。メディア合成部１２５は、計測できた間口部分の枠（図中太線）を３次元データから映像への切り替え枠とする。メディア合成部１２５は、映像の撮影位置、方向、画角から判断して、この枠に対応する映像中の枠を映像中の枠とする。メディア合成部１２５は、３次元データ内の枠（枠形状のベクトル）、映像中の枠（枠形状のベクトル）、カメラの位置と方向を、映像データとフレームを特定する情報と併せてリンクデータとして記録する。
【００７４】
ここで、３次元データ内の枠（枠形状のベクトル）、映像中の枠（枠形状のベクトル）の特定方法について、詳しく説明する。
【００７５】
３次元データ内の枠（枠形状のベクトル）は、例えばレーザスキャンデータ（レーザスキャナ１１３により計測されるデータ）から検出する。
【００７６】
図１７に計測装置１１０の台車１１１が、３次元地図を構築可能な領域から構築困難な領域へ移動する場合における枠検出の方式について示す。
【００７７】
図１７中、地点Ａにおいて、レーザスキャンデータから３次元地図を構築可能である。次に、左折した地点Ｂにおいて取得したレーザスキャンデータに含まれる直線は、地点Ａにて既に３次元地図を構築済みであるので、再構築はしない。地点Ｃにおいて、直線を検出するが、左右に壁が検出できない部分を、映像を用いて景観を表現する範囲とする。同時に、地点Ｃから既構築の３次元地図と至近の直線端点を枠として識別する。この端点部分に高さを与えた壁の端部分が３次元データ内の枠（枠形状のベクトル）である。
【００７８】
図１８にレーザスキャンデータから、映像中の枠（枠形状のベクトル）の領域を求める方式を示す。
【００７９】
画像の取得条件として、カメラ１１２を水平に設置してあり、天井の高さｈｒ、カメラ１１２の高さｈｃ、焦点距離ｆは既知であるとする。カメラ１１２の位置を原点とした水平面上に、光軸を基準方向とした極座標系を設置し、門（枠）の両端が天井及び床と設置する点の座標を求める。図１８中のθａ、θｂは観測値であり、θｒ、θｆは式θｒ＝ａｒｃｔａｎ（（ｈｒ−ｈｃ）／ｒａ）、θｆ＝ａｒｃｔａｎ（ｈｃ／ｒａ）から求まる。
【００８０】
図１９に画像平面上のｘ軸、ｙ軸を示す。
【００８１】
門の４隅の座標は、θａ、θｂ、θｒ、θｆから求まる。式ｘｒ＝ｆｔａｎ（θｒ）は画像平面上の天井のｘ軸距離を示す。式ｘｆ＝ｆｔａｎ（θｆ）は画像平面上の床のｘ軸距離を示す。式ｙａ＝ｆｔａｎ（θａ）は壁ａのｙ軸距離を示す。撮像素子サイズと取得画素数から、画像平面上の座標を求める。壁ｂについても同様の計算で求まる。
【００８２】
以下、ステップＳ１０６（映像３次元連結処理）について説明する。
【００８３】
ステップＳ１０６において、メディア合成部１２５は、既に取得済みの映像データに、新たに３次元地図作成部１２３が構築した３次元データを関連付ける。そのために、メディア合成部１２５は、例えば図２に示したリンク情報を記録する。
【００８４】
直前に３次元地図作成部１２３が３次元データを構築できず、今回は３次元地図作成部１２３が３次元データを構築できている場合、メディア合成部１２５は、３次元データを、計測時のカメラ１１２の位置、方向に合わせて表示したときに、３次元データが計測できた範囲の枠（枠形状のベクトル）をリンクデータとして記録する。メディア合成部１２５は、さらに、カメラ１１２の位置と方向を、映像データとフレームを特定する情報と併せてリンクデータとして記録する。
【００８５】
図２０は、複合メディア表示装置１３０の動作を示すフローチャートである。図２１は、複合メディア表示装置１３０の画面表示例を示す図である。
【００８６】
図２１において、移動ボタン３０１は、図９に示すボタンと同じであり、計測装置１１０を操縦するためのものである。現在景観表示３０２は、計測装置１１０に搭載しているカメラ１１２（又はステレオカメラ１１４）の映像をそのまま表示する。地図３０３は、３次元データを真上から表示したものである。地図３０３上には、現在位置における進行方向である現在位置方向３０４と、仮想位置における位置方向である仮想位置方向３０５が表示される。仮想景観表示３０６は、操作員の操作により、任意位置、方向の３次元データや映像データを表示する画面である。仮想移動ボタン３０７は、現在の位置、方向と異なる任意位置、方向の視点を指定するものである。３Ｄボタン３０８は３次元データ表示を要求し、映像ボタン３０９は映像表示を要求するものである。
【００８７】
図２０において、ステップＳ２０１（仮想位置決定処理）では、仮想位置決定部１３１は、計測装置１１０が移動している間は、複合メディア合成装置１２０における移動後位置データ取得処理（図１３のステップＳ１０１）の出力値の位置を仮想位置とする。ただし、計測装置１１０が移動していない時点においては、操作員が押す仮想移動ボタン３０７に対応して視点の位置、方向を前進、右旋回、左旋回、後退の方向に変化させる。仮想位置決定部１３１は、決定した仮想視点位置、方向を映像データ表示部１３４と３次元データ表示部１３２へ送る。
【００８８】
ステップＳ２０２（３次元データ表示処理）において、３次元データ表示部１３２は、仮想視点位置から予め決めた範囲以内に３次元データがあれば、これを表示する。
【００８９】
ステップＳ２０３（３次元上映像合成表示処理）において、ステップＳ２０２で表示される３次元データとリンクデータにて関連付けられた映像データがあれば、３次元上映像合成表示部１３３は、その映像を３次元地図上に合成して表示する。
【００９０】
ここで、図２２に３次元地図上の映像表示例を示す。廊下の３次元モデルの先にリンクの四角いベクトルが示されている。四角いベクトルは、映像の枠としてもリンクに設定されている。３次元上映像合成表示部１３３は、これらが重なるように配置し、３次元データの廊下の中の視点を再現する。このとき、同じ枠の映像を撮影した位置により、異なるフレームの映像が存在するとする。この場合、３次元上映像合成表示部１３３は、仮想位置の移動に合わせて、撮影位置が最も仮想位置に近い映像のフレームが３次元データの枠内に映るように映像データを変更する。最後に、仮想位置の移動により、視野内に３次元データが入らなくなった場合は、３次元上映像合成表示部１３３は、３次元データの表示をやめ映像データのみを表示する。
【００９１】
ステップＳ２０４（映像データ表示処理）において、映像データ表示部１３４は、仮想視点位置から予め決めた範囲以内に３次元データがなければ、映像データを表示する。映像データ表示部１３４は、仮想視点の操作が前進であれば映像データを再生し、後退であれば映像データを逆方向に再生する。映像データ表示部１３４は、前後の再生に連動して、映像データのフレームに対応した位置情報（属性情報）に基づき、地図上の仮想視点の位置と方向を変化させる。つまり、映像データ表示部１３４は、映像データの再生時には、仮想視点のボタン操作に従うのではなく、映像データの属性である位置情報に従う。
【００９２】
ステップＳ２０５（映像上３次元合成表示処理）において、ステップＳ２０４で映像データの表示中に、映像のフレームにリンク情報があった場合は（ステップＳ２０４で表示される映像データとリンクデータにて関連付けられた３次元データがあれば）、図２３に示すように、映像上３次元合成表示部１３５は、映像中の枠部分を透過色で塗りつぶし、映像の後ろにオーバレイして対応する３次元データを表示する。このとき、３次元データは、枠の部分が合うように合成して表示する。
【００９３】
ここで、図２４に、仮想視点を移動させた場合の地図３０３の表示例を示す。複合メディア表示装置１３０は、点Ａから仮想視点の表示を始め、点Ｂまで進んだ場合、点線部分の周辺は３次元データを構築できず、地図がないが、計測装置１１０が移動した位置と方向を記録しているので、この間を点線で表示することが可能である。
【００９４】
以上説明したように、本実施の形態によれば、移動量推定処理において、移動量推定部１２４が、カメラ１１２から取得した映像から計測装置１１０の移動量を推定するので、移動量を計測する装置を計測装置１１０に積んでいない場合でも、映像と地図を関連付けることができる。
【００９５】
また、３次元映像連結処理において、メディア合成部１２５が、３次元データが構築できるエリアにおける３次元データと、構築できないエリアの映像データを関連付けることができる。そして、３次元上映像合成表示処理において、３次元上映像合成表示部１３３が、３次元データ表示部１３２による３次元データ表示中に、３次元データが取得できなかった空間を連続的に映像を用いて表示することができる。これにより、センシング困難な空間の記録、再生、伝達が可能になる。図２５に、３次元地図を表示し、連続して映像に切り替わる例を示す。図２５左側は部屋の中を表示する例である。図２５右側は廊下から広いロビーへ出る表示例である。
【００９６】
また、映像３次元連結処理において、メディア合成部１２５が、映像と３次元データを位置を合わせて関連付けることができる。そして、映像上３次元合成表示処理において、映像上３次元合成表示部１３５が、映像のある部分から計測した３次元データを連続的に合成して表示することができる。これにより、センシング困難な空間の記録、再生、伝達が可能になる。図２６に、映像を表示し、連続して３次元地図に切り替わる例を示す。図２６は、ロビーを映像で表示し、前進するにつれ、３次元地図の廊下に切り替わっている。
【図面の簡単な説明】
【００９７】
【図１】実施の形態１に係る複合メディア表示システムの構成及び動作概略を示す図である。
【図２】実施の形態１に係るリンク情報の例を示す図である。
【図３】実施の形態１に係るリンク情報の例を示す図である。
【図４】実施の形態１に係る計測装置の構成例を示す図である。
【図５】実施の形態１に係る計測装置の構成例を示す図である。
【図６】実施の形態１に係る計測装置の構成例を示す図である。
【図７】実施の形態１に係る複合メディア合成装置及び複合メディア表示装置の構成例を示す図である。
【図８】実施の形態１に係る複合メディア合成装置及び複合メディア表示装置の構成例を示す図である。
【図９】実施の形態１に係る動作指示装置の機能を示す図である。
【図１０】実施の形態１に係る複合メディア合成装置の構成を示すブロック図である。
【図１１】実施の形態１に係る複合メディア表示装置の構成を示すブロック図である。
【図１２】実施の形態１に係る計算機のハードウェア構成の一例を示す図である。
【図１３】実施の形態１に係る複合メディア合成装置の動作を示すフローチャートである。
【図１４】実施の形態１に係る３次元地図の作成方法の例を示す図である。
【図１５】実施の形態１に係る移動量の推定方法の例を示す図である。
【図１６】実施の形態１に係る移動量の推定における補正方法の例を示す図である。
【図１７】実施の形態１に係るレーザスキャナにより計測されるデータと枠の抽出方法の例を示す図である。
【図１８】実施の形態１に係る枠の計算方法の例を示す図である。
【図１９】実施の形態１に係る画面平面内の枠の例を示す図である。
【図２０】実施の形態１に係る複合メディア表示装置の動作を示すフローチャートである。
【図２１】実施の形態１に係る複合メディア表示装置の画面表示例を示す図である。
【図２２】実施の形態１に係る３次元地図上の映像表示例を示す図である。
【図２３】実施の形態１に係る映像上の３次元地図表示例を示す図である。
【図２４】実施の形態１に係る仮想視点を移動させた場合の地図表示例を示す図である。
【図２５】実施の形態１に係る３次元地図から映像への切り替え例を示す図である。
【図２６】実施の形態１に係る映像から３次元地図への切り替え例を示す図である。
【符号の説明】
【００９８】
１００  複合メディア表示システム、１１０  計測装置、１１１  台車、１１２  カメラ、１１３  レーザスキャナ、１１４  ステレオカメラ、１２０  複合メディア合成装置、１２１  形状データ取得部、１２２  映像データ取得部、１２３  ３次元地図作成部、１２４  移動量推定部、１２５  メディア合成部、１３０  複合メディア表示装置、１３１  仮想位置決定部、１３２  ３次元データ表示部、１３３  ３次元上映像合成表示部、１３４  映像データ表示部、１３５  映像上３次元合成表示部、２０１，２０２  計算機、２０３  動作指示装置、２０４  走行指示画面、３０１  移動ボタン、３０２  現在景観表示、３０３  地図、３０４  現在位置方向、３０５  仮想位置方向、３０６  仮想景観表示、３０７  仮想移動ボタン、３０８  ３Ｄボタン、３０９  映像ボタン、９０１  ＬＣＤ、９０２  キーボード、９０３  マウス、９０４  ＦＤＤ、９０５  ＣＤＤ、９０６  プリンタ、９１１  ＣＰＵ、９１２  バス、９１３  ＲＯＭ、９１４  ＲＡＭ、９１５  通信ボード、９２０  ＨＤＤ、９２１  オペレーティングシステム、９２２  ウィンドウシステム、９２３  プログラム群、９２４  ファイル群。
【図１】
2010128799.tif 000003
【図２】
2010128799.tif 000004
【図３】
2010128799.tif 000005
【図４】
2010128799.tif 000006
【図５】
2010128799.tif 000007
【図６】
2010128799.tif 000008
【図７】
2010128799.tif 000009
【図８】
2010128799.tif 000010
【図９】
2010128799.tif 000011
【図１０】
2010128799.tif 000012
【図１１】
2010128799.tif 000013
【図１２】
2010128799.tif 000014
【図１３】
2010128799.tif 000015
【図１４】
2010128799.tif 000016
【図１５】
2010128799.tif 000017
【図１７】
2010128799.tif 000018
【図１８】
2010128799.tif 000019
【図１９】
2010128799.tif 000020
【図２０】
2010128799.tif 000021
【図２１】
2010128799.tif 000022
【図２２】
2010128799.tif 000023
【図２３】
2010128799.tif 000024
【図２４】
2010128799.tif 000025
【図１６】
2010128799.tif 000026
【図２５】
2010128799.tif 000027
【図２６】
2010128799.tif 000028