(57)【要約】  重畳表示システム（１００）は、ベース（１０）、姿勢変化機構（２０）、計測対象物（４０）及び計算機（５０）を備える。ベース（１０）は、カメラ（１１）とレーザスキャナ（１２）とが固定されている。姿勢変化機構（２０）は、カメラ（１１）とレーザスキャナ（１２）とが固定されたベース（１０）が固定されている。姿勢変化機構（２０）は、ベース（１０）のロール角度、ピッチ角度及びヨー角度を変化させる。計測対象物（４０）は、計測模様（４１）を有する。計算機（５０）は、カメラ（１１）の撮影した計測模様（４１）のカメラ映像（１１ａ）と、レーザスキャナ（１２）による計測模様（４１）のスキャンライン（１２ａ）とを取得し、カメラ映像（１１ａ）とスキャンライン（１２ａ）とを重畳して表示装置（６０）に表示する。
2019176118.tif 000002
【特許請求の範囲】
【請求項１】
カメラとレーザスキャナとが固定されたベースと、
前記カメラと前記レーザスキャナとが固定された前記ベースが固定され、前記ベースのロール角度、ピッチ角度及びヨー角度を変化させる姿勢変化機構と、
前記カメラに撮影される模様であり、前記レーザスキャナによるスキャンによって反射輝度の相違が現れる模様である計測模様を有する計測対象物と、
前記カメラによって撮影された前記計測模様のカメラ映像と、前記レーザスキャナによる前記計測模様のスキャン結果であるスキャンラインとを取得し、前記カメラ映像と前記スキャンラインとを重畳して表示装置に表示する計算機と
を備える重畳表示システム。
【請求項２】
前記計測対象物は、
前記ベースとの距離を変えることのできる移動機構を有する請求項１に記載の重畳表示システム。
【請求項３】
前記計算機は、
前記カメラと前記レーザスキャナとの姿勢の相違を示す姿勢相違情報を用いて、前記表示装置に表示される前記スキャンラインの位置を補正し、位置の補正された前記スキャンラインを前記計測模様のカメラ映像と重畳して表示する請求項１または請求項２に記載の重畳表示システム。
【請求項４】
前記計算機は、
前記姿勢相違情報が入力される請求項３に記載の重畳表示システム。
【請求項５】
前記計測模様は、
チェック模様である請求項１から請求項４のいずれか一項に記載の重畳表示システム。
【請求項６】
カメラとレーザスキャナとが固定されたベースと、
前記カメラに撮影される模様であり、前記レーザスキャナによるスキャンによって反射輝度の相違が現れる模様である計測模様を有する計測対象物と、
前記カメラによって撮影された前記計測模様のカメラ映像と、前記レーザスキャナによる前記計測模様のスキャン結果であるスキャンラインとを取得し、前記カメラ映像と前記スキャンラインとを重畳して表示装置に表示するとともに、前記カメラと前記レーザスキャナとの姿勢の相違を示す姿勢相違情報を用いて、前記表示装置に表示される前記スキャンラインの位置を補正し、位置の補正された前記スキャンラインを前記計測模様のカメラ映像と重畳して表示する計算機と
を備える重畳表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、モービルマッピングシステム（以下、ＭＭＳと記す）に使用される、カメラ及びレーザスキャナのキャリブレーションのための、重畳表示システムに関する。
【背景技術】
【０００２】
ＭＭＳでは、車両位置を推定する装置、カメラ及びレーザスキャナが計測車両に搭載される。ＭＭＳ計測車両の走行によって、道路及び道路周辺の形状が計測されることは広く行われている。ＭＭＳ計測車両では、経年変化及び小さな衝突などにより、カメラ、レーザスキャナの取り付け位置または取り付け姿勢が変化し得る。カメラ、レーザスキャナの取り付け位置または取り付け姿勢が変化すると、計測の精度が劣下する。
そこで、計測の精度劣化の防止のために、精度の確保のためのキャリブレーションが実施される（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７５４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来では、キャリブレーションの際には、カメラ及びレーザスキャナが搭載された車両を走行させていた（例えば、特許文献１）。そのため、キャリブレーションの負担が大きかった。【０００５】
そこで、本発明は、カメラ及びレーザスキャナを車両に搭載せずにキャリブレーションを行うシステムの提供を目的とする。
【課題を解決するための手段】
【０００６】
この発明の重畳表示システムは、
カメラとレーザスキャナとが固定されたベースと、
前記カメラと前記レーザスキャナとが固定された前記ベースが固定され、前記ベースのロール角度、ピッチ角度及びヨー角度を変化させる姿勢変化機構と、
前記カメラに撮影される模様であり、前記レーザスキャナによるスキャンによって反射輝度の相違が現れる模様である計測模様を有する計測対象物と、
前記カメラによって撮影された前記計測模様のカメラ映像と、前記レーザスキャナによる前記計測模様のスキャン結果であるスキャンラインとを取得し、前記カメラ映像と前記スキャンラインとを重畳して表示装置に表示する計算機と
を備える。
【発明の効果】
【０００７】
本発明によれば、カメラ及びレーザスキャナを車両に搭載せずにキャリブレーションを行うシステムを提供できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の図で、重畳表示システムの概要を示す図。
【図２】実施の形態１の図で、試験装置及び計測対象部物の斜視図。
【図３】実施の形態１の図で、計算機のハードウェア構成図。
【図４】実施の形態１の図で、レーザスキャナの回転を示す図。
【図５】実施の形態１の図で、レーザスキャナの回転を示す別の図。
【図６】実施の形態１の図で、レーザスキャナの回転を示すさらに別の図。
【図７】実施の形態１の図で、カメラとレーザスキャナとのヨー角度差を示す図。
【図８】実施の形態１の図で、カメラとレーザスキャナとのピッチ角度差を示す図。
【図９】実施の形態１の図で、カメラとレーザスキャナとのロール角度差を示す図。
【図１０】実施の形態１の図で、カメラとレーザスキャナとのロール角度差を示す別の図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。
【００１０】
実施の形態１．
図１、図２、図３を参照して実施の形態１の重畳表示システム１００を説明する。
図１は、重畳表示システム１００の概要を示している。
図２は、試験装置３０及び計測対象物４０の斜視図である。計測対象物４０は計測模様４１を有する。図２では、後述のロール軸２１、ピッチ軸２２及びヨー軸２３は見えない状態である。図１及び図２では、試験装置３０は床８２に配置されている。
図３は、計算機５０のハードウェア構成を示す。
【００１１】
図１に示す重畳表示システム１００では、計算機５０の表示制御部５１ａは、入出力インタフェース装置５４を介して、カメラ１１によって撮影された計測模様４１のカメラ映像１１ａと、レーザスキャナ１２による計測模様４１のスキャン結果であるスキャンライン１２ａとを取得する。そして、計算機５０の表示制御部５１ａは、計測模様４１のカメラ映像１１ａとスキャンライン１２ａとを重畳して、表示装置６０に表示する。
計測対象物４０はキャスタ４３を有する。キャスタ４３は移動機構である。計測対象物４０はキャスタ４３によって床８２の上を移動できる。作業者は計測対象物４０を動かすことで、計測模様４１を試験装置３０に近づけ、または計測模様４１を試験装置３０から遠ざけることができる。また、作業者は、カメラ１１及びレーザスキャナ１２が固定されているベース１０の、ロール角度φ、ピッチ角度θ及びヨー角度ψを変化させて、レーザスキャナ１２のスキャンライン１２ａと、カメラ映像１１ａとが、正しく重畳するように、表示装置６０の画面をみて、キャリブレーションパラメータを決めることができる。
キャリブレーションパラメータとは、ベース１０に固定されている、カメラ１１とレーザスキャナ１２との相対的な姿勢の差を示す情報である。
具体的には、カメラ１１の取り付け姿勢とレーザスキャナ１２の取り付け姿勢との間の、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψである。以下では、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψを、単に、△φ、△θ、△ψと記載する場合がある。△φ、△θ、△ψの詳細は後述する。△φ、△θ、△ψは、いずれも後述する姿勢相違情報である。姿勢相違情報とはカメラ１１とレーザスキャナ１２との相対的な姿勢の相違を表す情報である。
【００１２】
重畳表示システム１００によれば、計測対象物４０と試験装置３０とを用いて、キャリブレーションパラメータである、△φ、△θ及び△ψが得られる。重畳表示システム１００では、カメラ１１及びレーザスキャナ１２が搭載された試験装置３０は、移動しない。
よって、特許文献１のように、カメラ１１及びレーザスキャナ１２が搭載された車両を走行させる必要がないので、簡易にキャリブレーションパラメータが決定できる。
【００１３】
＊＊＊構成の説明＊＊＊
以下、重畳表示システム１００を詳しく説明する。図１に示すように、重畳表示システム１００は、試験装置３０、計算機５０、表示装置６０及び計測対象物４０を備えている。
【００１４】
試験装置３０は、ベース１０と姿勢変化機構２０とを備えている。ベース１０には、カメラ１１とレーザスキャナ１２とが固定されている。ベース１０と、カメラ１１及びレーザスキャナ１２は、全体でひとつの剛体とみなせる。ベース１０とカメラ１１とが固定されたベース１０は床８２に対して移動しない。
姿勢変化機構２０は、カメラ１１とレーザスキャナ１２とが固定されたベース１０が固定されている。姿勢変化機構２０は、ベース１０のロール角度φ、ピッチ角度θ及びヨー角度ψを変化させることができる。
【００１５】
カメラ１１は、計算機５０と接続されている。カメラ１１は、計測模様４１のカメラ映像１１ａを計算機５０へ出力する。レーザスキャナ１２は、計算機５０と接続されている。レーザスキャナ１２は、計測模様４１のスキャン結果であるスキャンライン１２ａを、計算機５０へ出力する。
【００１６】
全体でひとつの剛体とみなせる、ベース１０、カメラ１１及びレーザスキャナ１２は、ＭＭＳ計測車両に実際に搭載される状態で、試験装置３０に配置される。つまり、一点鎖線８１で囲まれたベース１０、カメラ１１及びレーザスキャナ１２は、ＭＭＳ計測車両に実際に搭載される状態である。
【００１７】
ベース１０は、姿勢変化機構２０に支持されている。姿勢変化機構２０は、ロール軸２１、ピッチ軸２２、ヨー軸２３及び支持部材２４を有する。
【００１８】
試験装置３０には、姿勢変化機構２０によって、ロール軸２１、ピッチ軸２２及びヨー軸２３が設定されている。ロール軸２１、ピッチ軸２２及びヨー軸２３は、それぞれ、Ｘ軸、Ｙ軸、Ｚ軸と表記する場合がある。ロール軸２１は、レーザスキャナ１２の出射するレーザ光の方向が、計測対象物４０の計測模様４１が配置されている配置面４２の法線方向である。図４から図６はレーザスキャナ１２が回転することを示す図である。
図４は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態を示す。
図５は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態から右回りに回転した状態を示す。
図６は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態から左回りに回転した状態を示す。図４に示すように、レーザスキャナ１２は、ＸＹ平面内でゼロ度から＋９０度、−９０度の範囲で回転し、レーザ光を出射する。つまり、レーザスキャナ１２は、図４の状態をゼロ度とすると、Ｚ軸まわりに右に９０度、左に９０度回転可能である。図４では、配置面４２の法線方向がレーザ光のゼロ度の出射方向であり、このレーザ光のゼロ度の出射方向がＸ軸方向として設定されている。＋９０度及び−９０度のレーザ光を含む平面の法線方向がＺ軸方向である。ＸＺ平面の法線方向がＹ軸方向である。以上のように、Ｘ軸、Ｙ軸、Ｘ軸である、ロール軸２１、ピッチ軸２２、ヨー軸２３が設定されている。
【００１９】
カメラ１１及びレーザスキャナ１２が固定されているベース１０は、ロール軸２１（Ｘ軸）、ピッチ軸２２（Ｙ軸）及びヨー軸２３（Ｚ軸）の周りに回転できる。ロール軸２１回りの角度がロール角度φ、ピッチ軸２２回りの角度がピッチ角度θ、ヨー軸２３回りの角度がヨー角度ψである。
【００２０】
ロール軸２１、ピッチ軸２２及びヨー軸２３は、支持部材２４によって支持される。つまり、カメラ１１及びレーザスキャナ１２が固定されているベース１０は、ロール軸２１、ピッチ軸２２及びヨー軸２３を介して、支持部材２４に支持される。
【００２１】
計測対象物４０は、計測模様４１を有する。計測模様４１は、カメラ１１に撮影される模様であり、かつ、レーザスキャナ１２によるスキャンによって反射輝度の相違が現れる模様である。実施の形態１では、計測模様４１の例はチェック模様である。実施の形態１のチェック模様では、黒と白は同じ形状であるが、黒と白とは同じ形状でなくても構わない。また、レーザスキャナ１２によるスキャンによって反射輝度の相違が現れる模様であれば、計測模様４１はチェック模様には限られない。
計測対象物４０はキャスタ４３を有する。キャスタ４３によって、計測対象物４０は床８２の上を移動できる。つまり、試験装置３０に対して、計測対象物４０の位置は自由に変えることができる。
【００２２】
計算機５０は、ハードウェアとして、プロセッサ５１、主記憶装置５２、補助記憶装置５３、入出力インタフェース装置５４を備える。プロセッサ５１は、信号線５５を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【００２３】
プロセッサ５１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。プロセッサ５１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
【００２４】
主記憶装置５２は、読み書きが可能な揮発性の記憶装置である。主記憶装置５２の具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
【００２５】
補助記憶装置５３は、読み書きが可能な不揮発性の記憶装置である。補助記憶装置５３には、計算機５０の機能を実現するためのプログラム及び他のデータが記憶される。補助記憶装置５３は、具体例としては、磁気ディスク装置（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。また、補助記憶装置５３は、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）といった可搬記憶媒体を使用する記憶装置であってもよい。
【００２６】
入出力インタフェース装置５４は、プロセッサ５が、カメラ１１、レーザスキャナ１２、表示装置６０及び入力装置７０と通信するためのインタフェース装置である。
【００２７】
計算機５０は、機能要素として、表示制御部５１ａ及び補正部５１ｂを備える。表示制御部５１ａ及び補正部５１ｂの機能は、重畳表示プログラムにより実現される。補助記憶装置５３には、表示制御部５１ａ及び補正部５１ｂの機能を実現する重畳表示プログラムが記憶されている。重畳表示プログラムは、プロセッサ５１により読み込まれ実行される。これにより、表示制御部５１ａ及び補正部５１ｂの機能が実現される。
【００２８】
重畳表示プログラムは、表示制御部５１ａ及び補正部５１ｂの各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を計算機５０に実行させる。また、重畳表示方法は、計算機５０が重畳表示プログラムを実行することにより行われる方法である。重畳表示プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
【００２９】
図３では、プロセッサ５１は、１つだけ示されている。しかし、計算機５０は、プロセッサ５１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、表示制御部５１ａ及び補正部５１ｂの機能の実行を分担する。それぞれのプロセッサは、プロセッサ５１と同じように、演算処理を行うＩＣである。プロセッサ５１及び複数のプロセッサは、総称としてプロセッシングサーキットリと呼ばれる。
【００３０】
＊＊＊動作の説明＊＊＊
図７から図１０を参照して、重畳表示システム１００の動作を説明する。
【００３１】
（１）図７は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間に、ヨー角度差△ψがある例を示す。
（２）図７は、表示制御部５１ａによって、カメラ映像１１ａとスキャンライン１２ａとが、重畳して表示装置６０に表示されている場合を示している。カメラ映像１１ａとスキャンライン１２ａとが、重畳して表示装置６０に表示される動作を説明する。
（３）作業者は、試験装置３０のカメラ１１によって計測模様４１を撮影し、また、レーザスキャナ１２によって計測模様４１をスキャンする。
（４）カメラ映像１１ａ及びスキャンライン１２ａは、入出力インタフェース装置５４を介して、表示制御部５１ａに送信される。
（５）表示制御部５１ａは、入出力インタフェース装置５４を介して、表示装置６０にカメラ映像１１ａ及びスキャンライン１２ａを重畳して表示する。スキャンライン１２ａは線で表示しているが、実際には点の集合である点群である。この点群は、レーザ点群と呼ばれる。レーザ点群は反射輝度も表示している。
（６）カメラ１１とレーザスキャナ１２とのヨー方向の姿勢が一致している場合は、カメラ映像１１ａに対して、スキャンライン１２ａが正しく重畳される。つまり、「正しく重畳される」とは、白と黒の反射輝度がカメラ映像１１ａと重なる。図７において、スキャンライン１２ａ−１は、カメラ映像１１ａに正しく重畳されているスキャンラインを示す。
（７）スキャンライン１２ａ−２の白黒パターンは、スキャンライン１２ａ−１の白黒パターンに対して、右方向にずれている状態を示す。スキャンライン１２ａ−３の白黒パターンは、スキャンライン１２ａ−１の白黒パターンに対して、左方向にずれている。スキャンライン１２ａ−２及びスキャンライン１２ａ−３は、カメラ映像１１ａに正しく重畳されていない。
（８）左方向または右方向のずれ量を修正することにより、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ヨー角度差△ψを修正できる。なお、図７には、右方向のずれと左方向のずれとが一緒に記載されているが、実際には、右方向のずれと左方向のずれとのどちらかが現れる。
（９）左方向のずれを例に説明する。スキャンライン１２ａ−３の白黒パターンは、正常なスキャンライン１２ａ−１の白黒パターンに対して、左方向に長さＬ１ずれている。
一方、図１に示すように、試験装置３０の基準点から計測模様４１までの距離は、距離Ｌ０である。よって、カメラ１１とレーザスキャナ１２とのヨー角度差△ψは、以下の式１で計算できる。
△ψ＝ｔａｎ−１（Ｌ１／Ｌ０）      （式１）
作業者は、表示装置６０に表示されているカメラ映像１１ａとスキャンライン１２ａ−３とから長さＬ１を読み取ることで、ヨー角度差△ψを算出する。
以上により、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ヨー角度差△ψが得られる。
（１０）ヨー角度差△ψが算出された場合、作業者は、キーボード７１またはマウス７２のような入力装置７０を介して、姿勢相違情報であるヨー角度差△ψを計算機５０に入力する。
つまり、計算機５０の補正部５１ｂには、入力装置７０を介して、姿勢相違情報であるヨー角度差△ψが入力される。計算機５０の補正部５１ｂは、姿勢相違情報であるヨー角度差△ψを用いて、表示装置６０に表示されるスキャンライン１２ａの位置を補正する。具体的には、補正部５１ｂを実現する重畳表示プログラムには、ベース１０に対する、カメラ１１及びレーザスキャナ１２の姿勢情報が設定されている。補正部５１ｂはヨー角度差△ψを取得した場合、この姿勢情報を補正する。姿勢情報を補正することは、実際に工具を用いて、カメラ１１の姿勢とレーザスキャナ１２の姿勢との間の、ヨー角度差△ψを修正する効果を有する。表示制御部５１ａは、補正部５１ｂによって位置が補正されたスキャンライン１２ａを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ヨー角度差△ψの修正状態を確認できる。
（１１）作業者は式１で得られた値をヨー角度差△ψとして用いた。しかし、式１で得られた値をヨー角度差△ψとして使用する代わりに、作業者は、ヨー角度差△ψに相当する相当値を計算機５０に入力してもよい。具体的には、作業者は、正常なスキャンラインが得られるまで、異なる値の相当値を計算機５０に入力し、ヨー角度ψがキャリブレーションされたスキャンラインを得てもよい。相当値は姿勢相違情報である。
また、式１の結果を用いる場合には作業者はベース１０を回転させるが、相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
【００３２】
（１）図８は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間に、ピッチ角度差△θがある例を示す。
（２）図８は、表示制御部５１ａによって、計測模様４１と、スキャンライン１２ａ−４またはスキャンライン１２ａ−５とが、重畳して表示装置６０に表示されている場合を示している。スキャンライン１２ａ−４とスキャンライン１２ａ−５との区別が不要の場合、スキャンラインはスキャンライン１２ａと表記する。計測模様４１とスキャンライン１２ａとが、重畳して表示装置６０に表示される動作を説明する。
（３）作業者は、試験装置３０のカメラ１１によって計測模様４１を撮影し、レーザスキャナ１２によって計測模様４１をスキャンする。
（４）カメラ映像１１ａ及びスキャンライン１２ａは、入出力インタフェース装置５４を介して、表示制御部５１ａに送信される。
（５）表示制御部５１ａは、入出力インタフェース装置５４を介して、表示装置６０にカメラ映像１１ａ及びスキャンライン１２ａを重畳して表示する。これらは図７と同じである。
（６）カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢が一致している場合は、計測模様４１に対して、スキャンライン１２ａが正しく重畳される。つまり、「正しく重畳される」とは、以下のようである。上記のように、図８は、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合を示している。作業者がピッチ方向、つまりピッチ軸２２（Ｙ軸）周りにベース１０を回転させた場合、表示装置６０の画面では、ベース１０の回転に伴ってスキャンライン１２ａが移動する。図１において、作業者がピッチ軸２２（Ｙ軸）の左周りにベース１０を回転させたとする。その場合、図８において、スキャンライン１２ａは、スキャンライン１２ａ−４からスキャンライン１２ａ−５へと移動する。カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合は、スキャンライン１２ａ−４からスキャンライン１２ａ−５へ移動するときに、カメラ映像１１ａの白黒に対して、スキャンラインの白黒が反転するタイミングがずれる。つまり、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれていない場合は、スキャンライン１２ａ−４から長さＬ２の位置でスキャンラインの白黒が反転する。一方、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合は、キャンライン１２ａ−４から長さＬ３の位置のキャンライン１２ａ−５で、スキャンラインの白黒が反転する。
（７）この例では、下方向のずれ量を修正することにより、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ピッチ角度差△θを修正できる。ここで下方向のずれ量は、Ｌ３−Ｌ２である。
よって、図７の場合と同様に、カメラ１１とレーザスキャナ１２とのピッチ角度差△θは、以下の式２で計算できる。
△θ＝ｔａｎ−１（（Ｌ３−Ｌ２）／Ｌ０）      （式２）
作業者は、表示装置６０に表示されているカメラ映像１１ａとスキャンライン１２ａ−４及びスキャンライン１２ａ−５とから、長さ「Ｌ３−Ｌ２」を読み取ることで、ピッチ角度差△θを算出する。
以上により、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ピッチ角度差△θが得られる。
（８）ピッチ角度差△θが算出された場合、作業者は、キーボード７１またはマウス７２のような入力装置７０を介して、姿勢相違情報であるピッチ角度差△θを計算機５０に入力する。つまり、計算機５０の補正部５１ｂは、入力装置７０を介して、姿勢相違情報であるピッチ角度差△θが入力される。
計算機５０の補正部５１ｂは、姿勢相違情報であるピッチ角度差△θを用いて、ヨー角度差△ψの場合と同様に表示装置６０に表示されるスキャンライン１２ａの位置を補正する。補正部５１ｂはピッチ角度差△θを取得した場合、図７の説明で述べた姿勢情報を補正する。姿勢情報を補正することは、実際に工具を用いて、カメラ１１の姿勢とレーザスキャナ１２の姿勢との間の、ピッチ角度差△θを修正する効果を有する。表示制御部５１ａは、補正部５１ｂによって位置が補正されたスキャンライン１２ａを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ピッチ角度差△θの修正状態を確認できる。
（９）作業者は式２で得られた値をピッチ角度差△θとして用いた。しかし、式２で得られた値をピッチ角度差△θとして使用する代わりに、作業者は、ピッチ角度差△θに相当する相当値を計算機５０に入力してもよい。相当値は姿勢相違情報である。
具体的には、作業者は、正常なスキャンラインが得られるまで、異なる値の相当値を計算機５０に入力し、ピッチ角度θがキャリブレーションされたスキャンラインを得てもよい。相当値は姿勢相違情報である。
また、式２の結果を用いる場合には作業者はベース１０を回転させるが、相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
【００３３】
図９は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間のロール角度差△φがない場合を示している。図９は、ロール角度φが正しくキャリブレーションされている状態を示す。スキャンライン１２ａ−６は、ロール角度φが正しくキャリブレーションされている状態におけるスキャンラインである。ロール角度φが正しくキャリブレーションされている場合では、スキャンライン１２ａ−６の白黒は、計測模様４１の白黒と一致する。
図１０は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間に、ロール角度差△φのある場合を示している。図１０は、ロール角度φが正しくキャリブレーションされていない状態を示す。スキャンライン１２ａ−７は、ロール角度φが正しくキャリブレーションされていない状態におけるスキャンラインである。ロール角度φが正しくキャリブレーションされていない場合では、スキャンライン１２ａ−７の白黒は、計測模様４１の白黒と一致しない。
【００３４】
スキャンライン１２ａ−７がスキャンライン１２ａ−６に修正された場合を想定して、ロール角度φのキャリブレーションを説明する。
（１）図１０の状態の場合、作業者は、入力装置７０を介して、ロール角度差△φに相当する相当値を計算機５０に入力する。
（２）計算機５０の補正部５１ｂには、入力装置７０を介して、姿勢相違情報であるロール角度差△φの相当値が入力される。
（３）補正部５１ｂは、入力された相当値を姿勢相違情報として用いて、表示装置６０に表示されるスキャンライン１２ａ−７の位置を補正する。補正部５１ｂは、ヨー角度差△ψを取得した場合と同じように、姿勢情報であるロール角度φを補正する。
（４）表示制御部５１ａは、補正部５１ｂによってロール角度φが補正されたスキャンラインを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ロール角度φの修正状態を確認できる。
（５）作業者は、スキャンライン１２ａ−６が得られるまで、値を変えた相当値を計算機５０に入力する。
（６）なおロール角度差△φに相当する相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
【００３５】
実際の重畳映像では、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψが混在して現れる。その場合、作業者は、ベース１０を、ロール軸２１（Ｘ軸）、ピッチ軸２２（Ｙ軸）またはヨー軸２３（Ｚ軸）の回りに回転させる。そして、作業者は、図７のようにヨー角度差△ψが現れる状態、図８のようにピッチ角度差△θが現れる状態を得て、ヨー角度差△ψ、ピッチ角度差△θ等を個々に確認する。
【００３６】
＊＊＊実施の形態１の効果の説明＊＊＊
以上に説明した実施の形態１の重畳表示システム１００によれば、カメラ１１及びレーザスキャナ１２が搭載された計測車両が、キャリブレーションのための走行をする必要がない。よって、キャリブレーションの負担が軽減できる。
また、重畳表示システム１００によれば、カメラ１１及びレーザスキャナ１２が搭載されたベースの製造精度が簡易な方法で確認できる。
つまりベース１０に固定されたカメラ１１及びレーザスキャナ１２の取り付け姿勢の精度が、簡易な方法で確認できる。
【００３７】
以上に説明した重畳表示システム１００では、△φ、△θ、△ψを求める方法を説明したが、一般的なキャリブレーションパラメータの推定方法と同様に、カメラ１１とレーザスキャナ１２との姿勢及び位置を含めたキャリブレーションパラメータの推定に使用できる。その場合、カメラ１１とレーザスキャナ１２との姿勢及び位置を含めたキャリブレーションパラメータの推定原理は、ＭＭＳ計測車両を走行させるキャリブレーションと同じである。
重畳表示システム１００におけるキャリブレーションパラメータの推定の場合も、計測模様４１の近くでカメラ１１及びレーザスキャナ１２の位置が推定され、計測模様４１の遠くで姿勢が推定される。
【００３８】
以上の説明では、試験装置３０は静止状態で計測模様４１を正面から写す場合が想定されていた。しかし、カメラ１１及びレーザスキャナ１２が動かされながら、カメラ１１とレーザスキャナ１２との姿勢、またはカメラ１１とレーザスキャナ１２との位置が決められることは有効である。つまり、作業者が計測対象物４０を動かすこと、あるいは、カメラ１１、レーザスキャナ１２が、ロール軸２１、ピッチ軸２２またはヨー軸２３の周りに回転することは好ましい。最終的にどのような角度、どのような位置から撮影されたカメラ映像１１ａであっても、そのカメラ映像１１ａにスキャンライン１２ａが正しく重畳された場合、キャリブレーションは終了である。
【００３９】
姿勢をより正確に確定したい場合は、カメラ１１及びレーザスキャナ１２と、計測模様４１との距離を、通常よりも長くとればよい。この理由は、姿勢の影響は、遠方ほど大きく現れるからである。例えば、０．１ｄｅｇの誤差に対して１ｍであれば１．７ｍｍであるが１００ｍであれば１７．４ｃｍとなるからである。
また、位置（Ｘ，Ｙ，Ｚ）を推定する場合は、試験装置３０が計測模様４１に近い距離で推定を行うことが有効である。位置の影響は、カメラ１１及びレーザスキャナ１２と計測模様４１との距離に依存しないので、姿勢の影響の少ない近傍のほうが位置の誤差が大きく現れるからである。
これらのことは走行キャリブレーション手法と同様である。
【００４０】
以上、実施の形態１について説明したが、実施の形態１に示した構成を部分的に実施しても構わない。なお、本発明は、実施の形態１に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【００４１】
φ  ロール角度、θ  ピッチ角度、ψ  ヨー角度、△φ  ロール角度差、△θ  ピッチ角度差、△ψ  ヨー角度差、１０  ベース、１１  カメラ、１１ａ  カメラ映像、１２  レーザスキャナ、１２ａ  スキャンライン、２０  姿勢変化機構、２１  ロール軸、２２  ピッチ軸、２３  ヨー軸、２４  支持部材、３０  試験装置、４０  計測対象物、４１  計測模様、４２  配置面、４３  キャスタ、５０  計算機、５１  プロセッサ、５１ａ  表示制御部、５１ｂ  補正部、５２  主記憶装置、５３  補助記憶装置、５４  入出力インタフェース装置、５５  信号線、６０  表示装置、７０  入力装置、７１  キーボード、７２  マウス、８０  姿勢相違情報、８１  一点鎖線、８２  床、１００  重畳表示システム。
【図１】
2019176118.tif 000003
【図２】
2019176118.tif 000004
【図３】
2019176118.tif 000005
【図４】
2019176118.tif 000006
【図５】
2019176118.tif 000007
【図６】
2019176118.tif 000008
【図７】
2019176118.tif 000009
【図８】
2019176118.tif 000010
【図９】
2019176118.tif 000011
【図１０】
2019176118.tif 000012
【国際調査報告】
2019176118.tif 000013
2019176118.tif 000014
2019176118.tif 000015
2019176118.tif 000016