(57)【要約】【課題】機器または部材の位置と姿勢を得る。【解決手段】ＩＭＵ座標系における外部標定要素が特定されたカメラ１１３によって、外部標定要素が特定されていないカメラ１１５を撮影する。カメラ１１５は回転が可能であり、その回転軸の方向は予め設定され、カメラ１１３とカメラ１１５との間の距離は既知である状態において、カメラ１１３が撮影したカメラ１１５の画像を解析することで、カメラ１１５の外部標定要素を算出する。【選択図】図１
2016048172.tif 000002
【特許請求の範囲】
【請求項１】
特定の座標系における外部標定要素が特定された基準カメラによって、前記特定の座標系における位置が未知な機器または部材を撮影した画像の画像データを受け付ける画像データ受付部と、
前記基準カメラが撮影した前記機器または部材の画像に基づき前記機器または部材の前記特定の座標系における外部標定要素を算出する外部標定要素算出部と
を備え、
前記機器または部材は特定の向きの軸を回転軸とした回転が可能な構造を有し、
前記基準カメラと前記機器または部材との間の距離を得た上で前記機器または部材の前記特定の座標系における外部標定要素の算出が行われることを特徴とする画像処理装置。
【請求項２】
前記基準カメラと前記機器または部材との間の距離は、前記基準カメラと前記機器または部材の特定の部分との間の距離Ｌであり、
前記外部標定要素算出部では、
前記機器または部材を撮影した前記基準カメラの画像における前記機器または部材の前記特定の部分の画面座標値から前記基準カメラから前記特定の部分への方向を特定し、
前記方向と前記距離Ｌとから前記特定の部分の前記特定の座標系における位置の算出が行われることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定の部分を２点選択することで、前記機器または部材の前記特定の座標系における姿勢の算出が行われることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
特定の座標系における外部標定要素が特定された基準カメラによって、前記特定の座標系における位置が未知な機器または部材を撮影した画像の画像データを受け付ける画像データ受付ステップと、
前記基準カメラが撮影した前記機器または部材の画像に基づき前記機器または部材の前記特定の座標系における外部標定要素を算出する外部標定要素算出ステップと
を備え、
前記機器または部材は特定の向きの軸を回転軸とした回転が可能な構造を有し、
前記基準カメラと前記機器または部材との間の距離を得た上で前記機器または部材の前記特定の座標系における外部標定要素の算出が行われることを特徴とする画像処理方法。
【請求項５】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
特定の座標系における外部標定要素が特定された基準カメラによって、前記特定の座標系における位置が未知な機器または部材を撮影した画像の画像データを受け付ける画像データ受付部と、
前記基準カメラが撮影した前記機器または部材の画像に基づき前記機器または部材の前記特定の座標系における外部標定要素を算出する外部標定要素算出部と
して動作させ、
前記機器または部材は特定の向きの軸を回転軸とした回転が可能な構造を有し、
前記基準カメラと前記機器または部材との間の距離を得た上で前記機器または部材の前記特定の座標系における外部標定要素の算出が行われることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器または部材の位置と姿勢を求める技術に関する。
【背景技術】
【０００２】
ＩＭＵ（慣性計測装置:Inertial Measurement Unit）、カメラ、レーザスキャナ等の光学機器を搭載した車両を走行させ、その際にＩＭＵで車両の位置を計測し、同時に周囲の状況を光学機器により計測し、地図空間情報等を得る技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−４０８８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の技術においては、カメラやレーザスキャナの外部標定要素（位置と姿勢）が予め既知であることが必要である。一般には、予め工場においてＩＭＵ、カメラおよびレーザスキャナ等のセッティングが行われ、その際に外部標定要素を求める作業（キャリブレーション）が行われる。しかしながら、ユーザ側の要望として、カメラやレーザスキャナの位置や姿勢をユーザの側で設定したい場合や変更したい場合がある。
【０００５】
このような場合、カメラやレーザスキャナの車両への固定が終了した段階でキャリブレーションを行う必要がある。この際、カメラやレーザスキャナの概略の位置と姿勢が判るとキャリブレーションの作業効率が高まる。
【０００６】
このような背景において、本発明は、簡単に機器または部材の位置と姿勢を得ることができる技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、特定の座標系における外部標定要素が特定された基準カメラによって、前記特定の座標系における外部標定要素が未知な機器または部材を撮影した画像の画像データを受け付ける画像データ受付部と、前記基準カメラが撮影した前記機器または部材の画像に基づき前記機器または部材の前記特定の座標系における外部標定要素を算出する外部標定要素算出部とを備え、前記機器または部材は特定の向きの軸を回転軸とした回転が可能な構造を有し、前記基準カメラと前記機器または部材との間の距離を得た上で前記機器または部材の前記特定の座標系における外部標定要素の算出が行われることを特徴とする。
【０００８】
本発明における外部標定要素が未知な機器または部材としては、カメラやレーザスキャナ等の各種の光学機器、設置した位置の情報が重要となる電子機器（たとえば、ＧＰＳアンテナやＧＮＳＳアンテナ）、位置と姿勢の情報が重要となる慣性計測装置、これらの機器が固定される部材（基台となるボード状の部材等）が挙げられる。また、上記の機器として、位置と姿勢（向き）が重要となる指向性アンテナや超音波計測器等を挙げることもできる。外部標定要素は、対象となる機器や部材の位置と姿勢を決める要素（パラメータ）として定義される。また、姿勢が問題とならない機器や部材の場合の外部標定要素は、その位置を決める要素として定義される。
【０００９】
請求項２に記載の発明は、請求項１に記載の発明において、前記基準カメラと前記機器または部材との間の距離は、前記基準カメラと前記機器または部材の特定の部分との間の距離Ｌであり、前記外部標定要素算出部では、前記機器または部材を撮影した前記基準カメラの画像における前記機器または部材の前記特定の部分の画面座標値から前記基準カメラから前記特定の部分への方向を特定し、前記方向と前記距離Ｌとから前記特定の部分の前記特定の座標系における位置の算出が行われることを特徴とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の発明において、前記特定の部分を２点選択することで、前記機器または部材の前記特定の座標系における姿勢の算出が行われることを特徴とする。
【００１１】
請求項４に記載の発明は、特定の座標系における外部標定要素が特定された基準カメラによって、前記特定の座標系における位置が未知な機器または部材を撮影した画像の画像データを受け付ける画像データ受付ステップと、前記基準カメラが撮影した前記機器または部材の画像に基づき前記機器または部材の前記特定の座標系における外部標定要素を算出する外部標定要素算出ステップとを備え、前記機器または部材は特定の向きの軸を回転軸とした回転が可能な構造を有し、前記基準カメラと前記機器または部材との間の距離を得た上で前記機器または部材の前記特定の座標系における外部標定要素の算出が行われることを特徴とする画像処理方法である。
【００１２】
請求項５に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを特定の座標系における外部標定要素が特定された基準カメラによって、前記特定の座標系における位置が未知な機器または部材を撮影した画像の画像データを受け付ける画像データ受付部と、前記基準カメラが撮影した前記機器または部材の画像に基づき前記機器または部材の前記特定の座標系における外部標定要素を算出する外部標定要素算出部として動作させ、前記機器または部材は特定の向きの軸を回転軸とした回転が可能な構造を有し、前記基準カメラと前記機器または部材との間の距離を得た上で前記機器または部材の前記特定の座標系における外部標定要素の算出が行われることを特徴とするプログラムである。
【発明の効果】
【００１３】
本発明によれば、簡単に機器または部材の位置と姿勢を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態の概念図である。
【図２】演算部のブロック図である。
【図３】撮影した画像を示す概念図である。
【図４】２つのカメラの位置関係を示す概念図である。
【発明を実施するための形態】
【００１５】
１．第１の実施形態
（構成）
図１は、実施形態の概念図が示されている。図１には、車両１００が示されている。車両１００には、計測システム１１０が取り付けられている。計測システム１１０は、基台（ベース）１１７上にＧＮＳＳユニット１１１、演算部１１２、カメラ１１３、ＩＭＵユニット１１４、およびカメラ１１５が取り付けられた構造を有している。
【００１６】
基台１１７を車両１００に固定することで、計測システム１１０が車両１００に取り付けられている。ＧＮＳＳユニット１１１、演算部１１２、カメラ１１３、ＩＭＵユニット１１４、およびカメラ１１５は、基台１１７を介して、車両１００に固定されている。
【００１７】
ＧＮＳＳユニット１１１は、ＧＮＳＳ（Global Navigation Satellite System）を構成する航法衛星からの航法信号を受信し、自身の位置情報と校正された高精度の時刻情報を出力する。演算部１１２は、後述する演算機能を有する。
【００１８】
カメラ１１３は、車両１００の前方に向けて固定され、車両前方を動画撮影する。カメラ１１３の車両１００（ＩＭＵ１１４）に対する外部標定要素は予め取得されている。カメラ１１３としては、周囲３６０°を撮影する全周カメラやより広い角度範囲を撮影する広角カメラを用いることもできる。
【００１９】
ＩＭＵ１１４は、慣性計測装置であり、加速度を検出し、自身の位置の変化、向きの変化を計測する。ＩＭＵ１１４の車両１００に対する位置と姿勢は、予め取得されている。この例では、車両１００の位置としてＩＭＵ１１４の位置を採用する。ＩＭＵ１１４は、予め地上座標系上で校正されている。地上座標系というのは、地上に固定された絶対座標系であり、ＧＮＳＳユニットにより測位される地上での位置を記述する３次元直交座標系である。また、ＩＭＵ１１４は、ＧＮＳＳユニット１１１から得られる位置情報と時刻情報に基づき特定のタイミングで校正される。
【００２０】
カメラ１１５は、動画撮影が可能であり、水平面内において回転が可能とされ、ユーザが希望する方向でその向きを固定することができる。カメラ１１５は、回転軸の方向が固定（鉛直方向に固定）されているが、その位置はユーザが希望する位置を選択することができる。よって、車両に取り付けられた段階におけるカメラ１１３のＩＭＵ１１４に対する外部標定要素は明確でない。この例では、カメラ１１３の位置として、回転中心Ｐ１の位置が採用される。なお、回転中心Ｐ１の位置は未知であるが、カメラ１１３からＰ１の位置までの距離Ｌは予め決められており、あるいは測定されており既知である。
【００２１】
演算部１１２、カメラ１１５、ＩＭＵ１１４およびレーザスキャナ１１５には、ＧＮＳＳユニット１１１からＧＮＳＳを利用した同期信号が提供され、各装置は同期して動作する。
【００２２】
演算部１１２は、コンピュータとして機能するハードウェアであり、ＣＰＵ、メモリ、各種インタフェース、その他必要な電子回路を備えている。演算部１１２は、図２に示す各機能部を備えたハードウェアとして捉えることができる。なお、図２に示す各機能部は、ソフトウェア的に構成されていてもよいし、その一または複数が専用のハードウェアで構成されていてもよい。演算部１１２の機能を実行するためのプログラムは、演算部１１２内のメモリに記憶されている。また、当該メモリには、予め取得したカメラ１１３等の外部標定要素等に係るデータが記憶されている。なお、演算部１１２を動作させるプログラムを外部の記憶媒体に記憶させ、そこから提供する形態も可能である。
【００２３】
演算部１１２は、画像データ受付部１２１および外部標定要素算出部１２２を備えている。画像データ受付部１２１は、カメラ１１３およびカメラ１１５からの画像データを受け付ける。外部標定要素算出部１２２は、カメラ１１３が撮影した画像に基づいて、カメラ１１５の外部標定要素を算出する。なお、図示省略されているが、演算部１１２は、カメラ１１３や１１５が得た画像データ等に基づき、車両１００が走行した周囲環境の３次元データを得る機能を有している。この３次元データを用いることで、車両１００が走行した環境の３次元モデルを作成することができる。
【００２４】
（カメラ１１５の外部標定要素の算出）  
図３は、カメラ１１３が撮影した画像の内容を示す概念図である。図４は、カメラ１１３とカメラ１１５との位置関係を示す概念図である。なお、図４では、ＩＭＵ１１４は図示省略されている。
【００２５】
以下、外部標定要素算出部１２２において行われる処理の一例を説明する。ここでは、カメラ１１５の回転軸の方向、カメラ１１３からカメラ１１５までの距離Ｌが既知である状態において、カメラ１１５のＩＭＵ１１４に対する外部標定要素の算出を行う。また、カメラ１１５の上面には、回転中心Ｐ１を示すマークと先端近くの位置Ｐ２を示すマークが設けられている。また、カメラ１１５の位置は、その回転中心Ｐ１で特定されるものとする。
【００２６】
まず、カメラ１１３によってカメラ１１５を撮影する。図３には、この際の撮影画面の視野内の様子が示されている。図３に示すような画像を得たら、回転中心Ｐ１の画面座標値（ピクセル座標値）を取得し、この画面座標値に基づきカメラ１１３からＰ１への方向を表す方向単位ベクトル(P1ex, P1ey, P1ez) を取得する。すなわち、回転中心Ｐ１の画面座標値（画面中の位置）が分かれば、カメラ１１３から見た回転中心Ｐ１の方向が分かる。このカメラ１１３から見た回転中心Ｐ１の方向を規定する単位ベクトルが方向単位ベクトル(P1ex, P1ey, P1ez)である。方向単位ベクトル(P1ex, P1ey, P1ez)は、カメラ１１３からＰ１への方向を基準カメラ座標系で規定する単位ベクトルである。ここで、カメラ１１３からＰ１までの距離Ｌは予めわかっているので、上記の方向単位ベクトルの向きと距離Ｌとから、カメラ１１３で扱われる座標系（基準カメラ座標系）におけるＰ１の座標値(P1x, P1y, P1z)が求まる。
【００２７】
また、カメラ１１５の回転軸の向きは予め決められているので、基準カメラ座標系におけるＰ１の座標値(P1x, P1y, P1z)を用いて、基準カメラ座標系におけるカメラ１１５の回転面が定義できる。この回転面の式は、カメラ１１５の回転軸ベクトルを（ＮP1x, ＮP1y, ＮP1z）とすると、下記数１で示される。
【００２８】
【数１】
2016048172.tif 000003
【００２９】
次に、基準カメラ座標系におけるＰ２の座標値(P2x, P2y, P2z)を求める。Ｐ２の座標値(P2x, P2y, P2z)は、以下のようにして求める。まず、画面上で特定したＰ２の方向単位ベクトル(P2ex, P2ey, P2ez) をＰ２の画面座標値に基づき取得する。方向単位ベクトル(P2ex, P2ey, P2ez)は、カメラ１１３からＰ２への方向を基準カメラ座標系で規定する単位ベクトルである。
【００３０】
ここで、この段階で未知であるカメラ１１３からＰ２までの距離をkとすると、Ｐ２の基準カメラ座標系における座標値は、(k・P2ex,k・P2ey,k・P2ez)となる。Ｐ２は、数１で示される回転面上の点であるので、Ｐ２の座標値を数１に代入しても数１は成立する。よって、数１の（x,y,z）を上記の(k・P2ex,k・P2ey,k・P2ez)で置き換えた下記数２が成り立つ。
【００３１】
【数２】
2016048172.tif 000004
【００３２】
数２において未知数は、カメラ１１３からＰ２までの距離ｋであるので、数２からｋが求まる。カメラ１１３から(P2ex, P2ey, P2ez)の方向に距離ｋ進むと、Ｐ２だから、基準カメラ座標系におけるＰ２の座標値(P2x, P2y, P2z)は、下記の数３で示される。
【００３３】
【数３】
2016048172.tif 000005
【００３４】
数３において、 (P2ex, P2ey, P2ez) はＰ２の画面座標値に基づき取得されており、ｋは、数２から求めることができる。よって、Ｐ２の座標値(P2x, P2y, P2z)を算出できる。ここで、数３は、カメラ１１３の座標系（基準カメラ座標系）で記述されている。また、カメラ１１３のＩＭＵ１１４に対する外部標定要素、すなわちカメラ１１３のＩＭＵ座標系（ＩＭＵ１１４で扱われる座標系）における位置と姿勢は既知であるので、数３をＩＭＵ座標系に座標変換できる。これは、Ｐ１の座標値(P1x, P1y, P1z)についても同じである。こうして、ＩＭＵ座標系におけるＰ１およびＰ２の座標値が得られる。
【００３５】
ＩＭＵ座標系におけるＰ１の座標値が特定されることで、カメラ１１５のＩＭＵ座標系における位置が判る。また、Ｐ１とＰ２の座標値から、カメラ１１５のＩＭＵ座標系における姿勢が判る。こうして、ＩＭＵ１１４に対するカメラ１１５の外部標定要素（位置と姿勢）が求まる。
【００３６】
上述したカメラ１１３が撮影した画像に基づくカメラ１１５の外部標定要素の算出は、厳密なものではなく、多くの場合、誤差を含んでいる。しかしながら、正確な外部標定要素を得る作業では、大凡であっても初期値が与えられることで、処理速度と精度の向上を計ることができる。よって、本発明の利用方法としては、本発明を利用して概略の外部標定要素を得、それを初期値として、その後により精度の高い外部標定要素を得る処理を行う場合が挙げられる。
【００３７】
２．第２の実施形態
第１の実施形態において、Ｐ１の位置が既知である場合も本発明を利用することができる。この場合、数１以下の処理を実行することで、カメラ１１５のＩＭＵ座標系における姿勢を算出することができる。
【００３８】
３．その他
外部標定要素の算出の対象となる機器は、カメラに限定されず、レーザスキャナであってもよい。また、ＧＮＳＳアンテナの位置の算出に本発明を利用することもできる。この場合、ＧＮＳＳアンテナを撮影し、その画像からＧＮＳＳアンテナのＩＭＵ座標系における位置の算出が行われる。
【００３９】
マークの位置を検出するのではなく、カメラ１１５のエッジ部分等の特徴部分をＰ１やＰ２として検出してもよい。これは、レーザスキャナ等の他の機器が対象の場合も同じである。
【００４０】
カメラ１１３とカメラ１１５との間の距離を計測により求めてもよい。この距離の計測の方法としては、レーザ光を用いる方法や三角測量の原理を用いる方法等が挙げられる。例えば、三角測量の原理を用いる場合、ＩＭＵ座標系における外部標定要素を取得した第３のカメラを用い、この第３のカメラとカメラ１１３とを用いてカメラ１１５のステレオ写真測量を行うことで、カメラ１１５のＩＵＭ座標系における位置を算出する。
【００４１】
１または複数の光学機器が固定される（あるいは固定された）プレート等の部材を対象に本発明を適用することもできる。この場合、ＩＭＵ座標系に対する当該部材の位置と姿勢が外部標定要素を予め取得したカメラによって撮影され、その撮影画像から当該部材のＩＭＵ座標系における位置と姿勢が算出される。
【００４２】
例えば、図１および図３に示すカメラ１１５の代わりに回転可能なプレートを配置する例が挙げられる。当該プレートは、カメラ１１５と同様に回転中心位置Ｐ１を有し、またマーカ位置Ｐ２が設けられている。当該プレートは、その上にカメラやレーザスキャナが固定される基台として機能する。この場合、カメラ１１５の場合と同様な手法により、上記プレートのＩＭＵ座標系における位置と姿勢が求められる。
【００４３】
近年、車両から周囲の三次元情報を取得し、車両の自動運転や運転の補助を行う技術が知られている。この技術に利用される車載カメラの外部標定要素の取得に本発明を利用することもできる。
【産業上の利用可能性】
【００４４】
本発明は、機器または部材の外部標定要素を求める技術に利用可能である。
【符号の説明】
【００４５】
１００…車両、１１０…計測システム、１１１…ＧＮＳＳユニット、１１２…演算部、１１３…カメラ、１１４…ＩＭＵユニット、１１５…カメラ、１１７…基台。
【図１】
2016048172.tif 000006
【図２】
2016048172.tif 000007
【図３】
2016048172.tif 000008
【図４】
2016048172.tif 000009