(57)【要約】【課題】マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でマーカーの位置を計算することのできるキャリブレーション方法を提供する。【解決手段】車両基準座標系で座標が既知の複数の車両基準点と、剛体基準座標系で座標が既知の複数の剛体基準点と、の組合せからなる２点間の距離のそれぞれの測定値から、車両基準座標系における複数の剛体基準点の座標を算出する座標算出部（１２，１４）と、撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、車両基準座標系における複数の剛体基準点の座標との対応関係から、相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するパラメータ算出部（１５〜１７）とを備える。【選択図】図１
2018036189.tif 000002
【特許請求の範囲】
【請求項１】
地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション装置であって、
前記地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、前記地面に軸の２つと原点が含まれ、前記地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点とに基づいて、前記複数の車両基準点の１点と前記複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて受け付ける測定距離入力装置と、
前記車両に搭載されたキャリブレーション対象であるカメラにより撮像された前記マーカーを含む撮像画像と、前記それぞれの測定値に基づいて、前記車両基準座標系における前記剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するキャリブレーションパラメータ計算装置と
を備え、
前記キャリブレーションパラメータ計算装置は、
前記それぞれの測定値から、前記車両基準座標系における前記複数の剛体基準点の座標を算出する座標算出部と、
前記撮像画像に含まれる前記複数の剛体基準点の画像上座標の位置と、前記車両基準座標系における前記複数の剛体基準点の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出するパラメータ算出部と
を備えるキャリブレーション装置。
【請求項２】
前記複数の車両基準点は、前記車両基準座標系で前記地面上での座標が既知の点Ｖ０、点Ｖ１、点Ｖ２、および点Ｖ３で構成され、
前記複数の剛体基準点は、前記剛体基準座標系で前記地面上での座標が既知の点Ｒ０および点Ｒ１で構成され、
前記測定距離入力装置は、前記点Ｖ０と前記点Ｒ０との間の距離Ｖ０Ｒ０の測定値、前記点Ｖ１と前記点Ｒ０との間の距離Ｖ１Ｒ０の測定値、前記点Ｖ２と前記点Ｒ１との間の距離Ｖ２Ｒ１の測定値、前記点Ｖ３と前記点Ｒ１との間の距離Ｖ３Ｒ１の測定値からなる４つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
前記座標算出部は、
前記４つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を軸の１つとするＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ２を原点とし前記点Ｖ２と前記点Ｖ３を結ぶ直線を軸の１つとするＶ２基準座標系における前記点Ｒ１の座標とを、三辺測量法によって計算する三辺測量計算部と、
前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ２基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換部と
を有し、
前記パラメータ算出部は、前記撮像画像に含まれる前記点Ｒ０および前記点Ｒ１の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０および前記点Ｒ１の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
請求項１に記載のキャリブレーション装置。
【請求項３】
前記点Ｖ２が、前記点Ｖ０と同一の点であり、前記点Ｖ３が、前記点Ｖ１と同一の点であるように設定され、かつ、前記点Ｖ０と前記点Ｖ１との結ぶ直線が、前記車両基準座標系の１つの軸と平行となるように前記点Ｖ０および前記点Ｖ１が設定される条件が成立する場合に、
前記座標変換部は、前記平行移動のみで前記座標変換を実行する
請求項２に記載のキャリブレーション装置。
【請求項４】
前記車両基準座標系および前記剛体基準座標系がともに前記地面からの高さ方向に３軸目を有する３次元座標系であり、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１の６点のうちの少なくともいずれか１点が、前記地面に含まれない既知の点である条件が成立する場合には、
前記三辺測量計算部は、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１を垂直に地面に下ろした点をそれぞれ点Ｖ０Ｇ、点Ｖ１Ｇ、点Ｖ２Ｇ、点Ｖ３Ｇ、点Ｒ０Ｇ、および点Ｒ１Ｇとして求め、Ｖ０Ｇ基準座標系における前記点Ｒ０Ｇの座標およびＶ２Ｇ基準座標系における前記点Ｒ１Ｇの座標を三辺測量法によって計算し、
前記座標変換部は、前記三辺測量計算部により計算された前記Ｖ０Ｇ基準座標系における前記点Ｒ０Ｇの座標および前記Ｖ２Ｇ基準座標系における前記点Ｒ１Ｇの座標を用いて前記座標変換を実行し、
前記パラメータ算出部は、前記座標変換部による座標変換後の値を用いて前記キャリブレーションパラメータを算出する
請求項２に記載のキャリブレーション装置。
【請求項５】
前記キャリブレーションパラメータ計算装置は、
前記座標変換部により求められた前記車両基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を計算値として算出し、前記剛体基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を設計値として算出し、前記計算値と前記設計値との差分の絶対値が、あらかじめ設定された閾値未満であるか否かを判定し、判定結果を前記測定距離入力装置に送信する誤入力判定部
をさらに備え、
前記測定距離入力装置は、受信した前記判定結果から、前記絶対値が前記閾値以上である場合には、作業員に前記４つの測定値の再設定を促すメッセージを表示部に出力させる
請求項２に記載のキャリブレーション装置。
【請求項６】
前記測定距離入力装置は、
前記４つの測定値を数値設定するための入力部と、
前記カメラにより撮像された前記車両の一部および前記マーカーを含む前記撮像画像を画面表示する表示部と
を有する請求項２に記載のキャリブレーション装置。
【請求項７】
前記測定距離入力装置は、前記４つの測定値のうち、前記入力部で数値設定される項目に該当する測定箇所を示すアイコンを、前記撮像画像にオーバーレイさせて前記表示部に表示させる
請求項６に記載のキャリブレーション装置。
【請求項８】
前記測定距離入力装置は、前記アイコンをオーバーレイ表示させる際に、前記撮像画像に対して画像処理を施すことで、前記撮像画像内における前記マーカーの位置を検出し、検出結果に応じて前記アイコンの表示位置を修正して前記撮像画像にオーバーレイさせる
請求項７に記載のキャリブレーション装置。
【請求項９】
前記複数の車両基準点は、前記車両基準座標系で３次元上での座標が既知であり、かつ、３点が一直線上に存在しない３組の点として、（点Ｖ０、点Ｖ１、点Ｖ２）からなる１組目と、（点Ｖ３、点Ｖ４、点Ｖ５）からなる２組目と、（点Ｖ６、点Ｖ７、点Ｖ８）からなる３組目で構成され、
前記複数の剛体基準点は、前記剛体基準座標系で３次元上での座標が既知であり、かつ、３点が一直線に存在しない１組の点として、（点Ｒ０、点Ｒ１、点Ｒ２）で構成され、
前記測定距離入力装置は、前記１組目を構成する３点のそれぞれと前記点Ｒ０との距離の測定値、前記２組目を構成する３点のそれぞれと前記点Ｒ１との距離の測定値、および前記３組目を構成する３点のそれぞれと前記点Ｒ２との距離の測定値からなる９つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
前記座標算出部は、
前記９つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を１軸目とし、前記１組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ３を原点とし前記点Ｖ３と前記点Ｖ４を結ぶ直線を１軸目とし、前記２組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ３基準座標系における前記点Ｒ１の座標と、前記点Ｖ６を原点とし前記点Ｖ６と前記点Ｖ７を結ぶ直線を１軸目とし、前記３組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ６基準座標系における前記点Ｒ２の座標とを、三辺測量法によって計算する三辺測量計算部と、
前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ３基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ６基準座標系における前記点Ｒ２の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換部と
を有し、
前記パラメータ算出部は、前記撮像画像に含まれる前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
請求項１に記載のキャリブレーション装置。
【請求項１０】
地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション方法であって、
前記地面に軸の２つと原点が含まれ、前記地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点について、前記複数の剛体基準点のそれぞれの座標をあらかじめ記憶部に記憶させる第１ステップと、
前記地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、前記複数の剛体基準点とに基づいて、前記複数の車両基準点の１点と前記複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて測定距離入力装置を介して受け付ける第２ステップと、
前記車両に搭載されたキャリブレーション対象であるカメラにより撮像された前記マーカーを含む撮像画像を取り込む第３ステップと、
前記それぞれの測定値から、前記車両基準座標系における前記複数の剛体基準点の座標を算出する第４ステップと、
前記撮像画像に含まれる前記複数の剛体基準点の画像上座標の位置と、前記記憶部に記憶された前記剛体基準座標系における前記複数の剛体基準点の座標との対応関係から、前記車両基準座標系における前記剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出する第５ステップと
を有するキャリブレーション方法。
【請求項１１】
前記複数の車両基準点は、前記車両基準座標系で前記地面上での座標が既知の点Ｖ０、点Ｖ１、点Ｖ２、および点Ｖ３で構成され、
前記複数の剛体基準点は、前記剛体基準座標系で前記地面上での座標が既知の点Ｒ０および点Ｒ１で構成され、
前記第２ステップにおいて、前記点Ｖ０と前記点Ｒ０との間の距離Ｖ０Ｒ０の測定値、前記点Ｖ１と前記点Ｒ０との間の距離Ｖ１Ｒ０の測定値、前記点Ｖ２と前記点Ｒ１との間の距離Ｖ２Ｒ１の測定値、前記点Ｖ３と前記点Ｒ１との間の距離Ｖ３Ｒ１の測定値からなる４つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
前記第４ステップは、
前記４つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を軸の１つとするＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ２を原点とし前記点Ｖ２と前記点Ｖ３を結ぶ直線を軸の１つとするＶ２基準座標系における前記点Ｒ１の座標とを、三辺測量法によって計算する三辺測量計算ステップと、
前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ２基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換ステップと
を有し、
前記第５ステップにおいて、前記撮像画像に含まれる前記点Ｒ０および前記点Ｒ１の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０および前記点Ｒ１の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
請求項１０に記載のキャリブレーション方法。
【請求項１２】
前記点Ｖ２が、前記点Ｖ０と同一の点であり、前記点Ｖ３が、前記点Ｖ１と同一の点であるように設定され、かつ、前記点Ｖ０と前記点Ｖ１との結ぶ直線が、前記車両基準座標系の１つの軸と平行となるように前記点Ｖ０および前記点Ｖ１が設定される条件が成立する場合に、
前記座標変換ステップにおいて、前記平行移動のみで前記座標変換を実行する
請求項１１に記載のキャリブレーション方法。
【請求項１３】
前記車両基準座標系および前記剛体基準座標系がともに前記地面からの高さ方向に３軸目を有する３次元座標系であり、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１の６点のうちの少なくともいずれか１点が、前記地面に含まれない既知の点である条件が成立する場合には、
前記三辺測量計算ステップにおいて、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１を垂直に地面に下ろした点をそれぞれ点Ｖ０Ｇ、点Ｖ１Ｇ、点Ｖ２Ｇ、点Ｖ３Ｇ、点Ｒ０Ｇ、および点Ｒ１Ｇとして求め、Ｖ０Ｇ基準座標系における前記点Ｒ０Ｇの座標およびＶ２Ｇ基準座標系における前記点Ｒ１Ｇの座標を三辺測量法によって計算し、
前記座標変換ステップにおいて、前記三辺測量計算ステップにより計算された前記Ｖ０Ｇ基準座標系における前記点Ｒ０Ｇの座標および前記Ｖ２Ｇ基準座標系における前記点Ｒ１Ｇの座標を用いて前記座標変換を実行し、
前記第５ステップにおいて、前記座標変換ステップによる座標変換後の値を用いて前記キャリブレーションパラメータを算出する
請求項１１に記載のキャリブレーション方法。
【請求項１４】
前記第４ステップは、前記座標変換ステップにより求められた前記車両基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を計算値として算出し、前記剛体基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を設計値として算出し、前記計算値と前記設計値との差分の絶対値が、あらかじめ設定された閾値未満であるか否かを判定し、前記絶対値が前記閾値以上であると判定した場合には、作業員に前記４つの測定値の再設定を促すメッセージを前記測定距離入力装置に表示させる誤入力判定ステップ
をさらに有する請求項１１に記載のキャリブレーション方法。
【請求項１５】
前記第２ステップにおいて、前記カメラにより撮像された前記車両の一部および前記マーカーを含む前記撮像画像を、前記測定距離入力装置の表示部に表示させる
請求項１１に記載のキャリブレーション方法。
【請求項１６】
前記第２ステップにおいて、前記４つの測定値のうち数値設定される項目に該当する測定箇所を示すアイコンを、前記撮像画像にオーバーレイさせて前記表示部に表示させる
請求項１５に記載のキャリブレーション方法。
【請求項１７】
前記第２ステップにおいて、前記アイコンをオーバーレイ表示させる際に、前記撮像画像に対して画像処理を施すことで、前記撮像画像内における前記マーカーの位置を検出し、検出結果に応じて前記アイコンの表示位置を修正して前記撮像画像にオーバーレイさせる
請求項１６に記載のキャリブレーション方法。
【請求項１８】
前記複数の車両基準点は、前記車両基準座標系で３次元上での座標が既知であり、かつ、３点が一直線上に存在しない３組の点として、（点Ｖ０、点Ｖ１、点Ｖ２）からなる１組目と、（点Ｖ３、点Ｖ４、点Ｖ５）からなる２組目と、（点Ｖ６、点Ｖ７、点Ｖ８）からなる３組目で構成され、
前記複数の剛体基準点は、前記剛体基準座標系で３次元上での座標が既知であり、かつ、３点が一直線に存在しない１組の点として、（点Ｒ０、点Ｒ１、点Ｒ２）で構成され、
前記第２ステップにおいて、前記１組目を構成する３点のそれぞれと前記点Ｒ０との距離の測定値、前記２組目を構成する３点のそれぞれと前記点Ｒ１との距離の測定値、および前記３組目を構成する３点のそれぞれと前記点Ｒ２との距離の測定値からなる９つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
前記第４ステップは、
前記９つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を１軸目とし、前記１組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ３を原点とし前記点Ｖ３と前記点Ｖ４を結ぶ直線を１軸目とし、前記２組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ３基準座標系における前記点Ｒ１の座標と、前記点Ｖ６を原点とし前記点Ｖ６と前記点Ｖ７を結ぶ直線を１軸目とし、前記３組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ６基準座標系における前記点Ｒ２の座標とを、三辺測量法によって計算する三辺測量計算ステップと、
前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ３基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ６基準座標系における前記点Ｒ２の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換ステップと
を有し、
前記第５ステップにおいて、前記撮像画像に含まれる前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
請求項１０に記載のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラをキャリブレーション対象としたキャリブレーション装置およびキャリブレーション方法に関するものである。
【背景技術】
【０００２】
近年、車両周辺を撮影する目的で、車両に取り付けられるカメラ・センサが増えている。これらカメラやセンサにより周辺の障害物などが検知されると、車両を制御するコントローラは、移動中の車両に緊急ブレーキを掛けることができる。
【０００３】
また、コントローラは、これらカメラやセンサを介して取得した車両周辺の複数画像を合成して、ユーザーにその画像を提供することができる。その際、正確に周辺の障害物を検知するためには、あるいは車両周辺の滑らかな合成画像を得るためには、カメラまたはセンサと、車両との位置・姿勢関係を正確に測定しておく必要がある。
【０００４】
上述した測定の方法をキャリブレーション方法という。このようなキャリブレーション方法は、車両にカメラ、およびセンサを取り付ける際には、不可欠な方法である。
【０００５】
車両用のカメラ、センサの位置・姿勢を実際にキャリブレーションする際には、コントローラは、まず、地面や壁に設置したマーカーを該当センサで取得する。そして、コントローラは、センサとマーカーの相対位置、およびマーカーと車両の相対位置とから、センサが車両に対してどのような位置・姿勢で設置されているのかを測定する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−８９９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術には、以下のような課題がある。
一般に、カメラやセンサのキャリブレーション方法では、精密にカメラ・センサと車両との位置関係を測定するために、車両に対して既知の位置・姿勢で正確にマーカーを設置する必要がある。
【０００８】
すなわち、従来のキャリブレーション方法では、自車両からの相対位置・姿勢があらかじめ分かっている場所に、ターゲットとなるマーカーを正確に配置する必要がある。このため、車両を中心とした正確な座標軸、またはそれに準じる直交パターンを、水糸などを使用して地面に描画する必要があった。
【０００９】
一例として、「自車両の先端中央の地面上の点を原点とし、車両進行方向を軸の一つとするような車両座標系において、車両前方２ｍ、左舷方向１ｍの場所に自車両と傾きが同一になるようにターゲットマーカーを配置する」場合における従来のキャリブレーション方法について、おおまかに説明する。従来のキャリブレーション方法では、以下の手順１〜手順４の工程を踏む必要があった。
【００１０】
（手順１）初めに、車両先端中央の地面上の点および車両後端中央の地面上の点を、下げ振りを用いてマークする。
（手順２）次に、それら２点を通り、かつ、車両の下を通る直線を、水糸を用いて引き、この直線を車両進行方向の軸とする。
【００１１】
（手順３）次に、車両先端中央の点から２ｍ前方の点を巻尺で測り、そこから車両進行方向の軸と直交する直線を、水糸を用いて引く。
（手順４）そして、最後に、直交する直線において、車両進行方向の軸から左方向に１ｍの点の場所に、ターゲットのマーカーを設置する。
【００１２】
ここで、手順３において直交する直線パターンを引くためには、墨出し器を用いる方法、あるいはコンパスを用いて作図する方法などを適用する必要がある。しかしながら、前者においては、専用の高価な機器が必要となり、後者においては、作業が煩雑で、作業員のミスにより不正確な作図をしてしまうおそれがある、といった課題があった。
【００１３】
上述した一例では、あらかじめマーカーが設置されていない、ディーラー等にて行う再調整のためのキャリブレーションについて説明した。しかしながら、あらかじめマーカーが設置されている工場などでのキャリブレーションにおいても、自車両とマーカーとの相対位置・姿勢を、例えば、約１ｃｍ以下の精度で精密に定めることは、困難を要する。
【００１４】
ここで、工場内で、作業員が、車両をキャリブレーション作業空間に運転して持ち込む場合を考える。この場合、車両を決められた位置に１°の角度も付けずに停車することは、相当に熟練した作業員でも大変難しい。また、車両を定位置に停めるための輪止め等の器具があったとしても、１ｃｍもずれずに停車できるような精度が保障されない場合が多い。
【００１５】
本発明は、上記のような課題を解決するために行われたものであって、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でマーカーの位置を計算することのできるキャリブレーション装置およびキャリブレーション方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明に係るキャリブレーション装置は、地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション装置であって、地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、地面に軸の２つと原点が含まれ、地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点とに基づいて、複数の車両基準点の１点と複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて受け付ける測定距離入力装置と、車両に搭載されたキャリブレーション対象であるカメラにより撮像されたマーカーを含む撮像画像と、それぞれの測定値に基づいて、車両基準座標系における剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するキャリブレーションパラメータ計算装置とを備え、キャリブレーションパラメータ計算装置は、それぞれの測定値から、車両基準座標系における複数の剛体基準点の座標を算出する座標算出部と、撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、車両基準座標系における複数の剛体基準点の座標との対応関係から、相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するパラメータ算出部とを備えるものである。
【００１７】
また、本発明に係るキャリブレーション方法は、地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション方法であって、地面に軸の２つと原点が含まれ、地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点について、複数の剛体基準点のそれぞれの座標をあらかじめ記憶部に記憶させる第１ステップと、地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、複数の剛体基準点とに基づいて、複数の車両基準点の１点と複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて測定距離入力装置を介して受け付ける第２ステップと、車両に搭載されたキャリブレーション対象であるカメラにより撮像されたマーカーを含む撮像画像を取り込む第３ステップと、それぞれの測定値から、車両基準座標系における複数の剛体基準点の座標を算出する第４ステップと、撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、記憶部に記憶された剛体基準座標系における複数の剛体基準点の座標との対応関係から、車両基準座標系における剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出する第５ステップとを有するものである。
【発明の効果】
【００１８】
本発明は、車両基準座標系における複数の車両基準点と剛体基準座標系における複数の剛体基準点との組合せからなる２点間の距離のそれぞれの測定値に基づいて、車両基準座標系における複数の剛体基準点の座標を算出し、車両に搭載されたカメラによる撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、車両基準座標系における複数の剛体基準点の座標との対応関係から、カメラの相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出する構成を備えている。この結果、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でマーカーの位置を計算することのできるキャリブレーション装置およびキャリブレーション方法を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係るキャリブレーション方法を実行するキャリブレーション装置のブロック図である。
【図２】本発明の実施の形態１に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。
【図３】本発明の実施の形態１における車両座標系を示す説明図である。
【図４】本発明の実施の形態１における測定距離入力装置の画面構成を示す説明図である。
【図５】本発明の実施の形態１に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。
【図６】本発明の実施の形態１における三辺測量計算部において実行される三辺測量法の説明図である。
【図７】本発明の実施の形態１の手順Ｂ４による車両基準座標系での点Ｒ０の座標の求め方を示した説明図である。
【図８】本発明の実施の形態１の手順Ｂ８によるキャリブレーションパラメータの求め方を示した説明図である。
【図９】本発明の実施の形態１において、３次元座標系の点を２次元平面上の点に置き換える手法を示した説明図である。
【図１０】本発明の実施の形態２に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。
【図１１】本発明の実施の形態２に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明のキャリブレーション装置およびキャリブレーション方法の好適な実施の形態につき、図面を用いて説明する。
【００２１】
実施の形態１．
図１は、本発明の実施の形態１に係るキャリブレーション方法を実行するキャリブレーション装置のブロック図である。また、図２は、本発明の実施の形態１に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。図１、図２においては、キャリブレーションパラメータ計算装置１０とともに、測定距離入力装置２０および画像入力装置３０が示されている。
【００２２】
測定距離入力装置２０は、作業員が測定距離の数値を入力するためのキーボード２１と、入力した数値を表示するための画面２２とを有して構成される。
【００２３】
画像入力装置３０は、詳細は図示を省略しているが、レンズ、撮像素子、および歪み補正部を有して構成され、車両１に搭載されている。以下では、画像入力装置３０のことを単に「カメラ３０」と称して説明する。そして、カメラ３０は、キャリブレーションを行うために地面に設置されたターゲットマーカー３１を撮像する。
【００２４】
以下では、ターゲットマーカー３１のことを、単に「マーカー３１」と称し、マーカー３１を含む画像としてカメラ３０により撮像された画像を、「マーカー画像」と称して説明する。
【００２５】
図１に示したキャリブレーションパラメータ計算装置１０は、測定距離入力装置２０を介して作業員により入力された距離データと、カメラ３０により撮像されたマーカー画像とに基づいて、マーカー３１に対するカメラ３０の相対位置、相対姿勢をキャリブレーションパラメータとして計算する。そこで、次に、このようなキャリブレーションパラメータの算出演算処理を行うキャリブレーションパラメータ計算装置１０の内部構成について、詳細に説明する。
【００２６】
図１に示した本実施の形態１におけるキャリブレーションパラメータ計算装置１０は、マーカー形状パラメータ記憶部１１、三辺測量計算部１２、誤入力判定部１３、車両基準マーカー相対位置計算部１４、車両基準カメラ相対位置計算部１５、マーカー位置検出部１６、およびキャリブレーションパラメータ記憶部１７を備えて構成されている。
【００２７】
ここで、キャリブレーションパラメータ計算装置１０内の車両基準カメラ相対位置計算部１５は、パラメータ算出部に相当する。また、キャリブレーションパラメータ計算装置１０内のマーカー形状パラメータ記憶部１１、三辺測量計算部１２、車両基準マーカー相対位置計算部１４、車両基準カメラ相対位置計算部１５、マーカー位置検出部１６、およびキャリブレーションパラメータ記憶部１７は、座標算出部に相当する。
【００２８】
マーカー形状パラメータ記憶部１１は、マーカー３１の形状についての情報が、あらかじめ記憶されている。このような情報の具体例としては、マーカー３１に含まれる特徴点の色、形状、配置等の特徴点情報、マーカー３１の外形情報などが挙げられる。
【００２９】
図２では、外径が長方形のマーカー３１の内部に、黒丸で記載された１５個の特徴点が配置され、外形の右上部が点Ｍ１として、右下部が点Ｍ２として示されている。さらに、図２では、車両１上の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ１、点Ｖ２として示している。
【００３０】
このような点Ｍ１、点Ｍ２、点Ｖ１、点Ｖ２の４点の配置から、作業員は、距離Ｍ１Ｖ１、距離Ｍ１Ｖ２、距離Ｍ２Ｖ１、距離Ｍ２Ｖ２の４つの距離を実測する。そして、作業員は、実測した４つの距離を、測定距離入力装置２０を介して入力する。
【００３１】
三辺測量計算部１２は、測定距離入力装置２０から入力された４つの距離の数値から、三辺測量の公式を用いて、点Ｖ２基準の点Ｍ１、Ｍ２の座標を計算する。誤入力判定部および車両基準マーカー相対位置計算部へ出力する。
【００３２】
誤入力判定部１３は、三辺測量計算部１２によって点Ｖ２基準で計算された点Ｍ１、Ｍ２の座標を、マーカー形状パラメータ記憶部１１にあらかじめ記憶されたマーカー３１の外形情報と比較し、作業員によって入力された測定距離が妥当であるか否かを判定し、測定距離入力装置２０にその判定結果を送る。
【００３３】
三辺測量計算部１２による三辺測量、および誤入力判定部１３による判定処理の詳細については、図および数式を用いて後述する。
【００３４】
なお、作業員は、誤入力判定部１３によりＮＧ判定されたことを測定距離入力装置２０に表示される判定結果により知った場合には、距離Ｍ１Ｖ１、距離Ｍ１Ｖ２、距離Ｍ２Ｖ１、距離Ｍ２Ｖ２を再入力する必要がある。
【００３５】
車両基準マーカー相対位置計算部１４は、三辺測量計算部１２によって点Ｖ２基準で計算された点Ｍ１、Ｍ２の座標、およびマーカー形状パラメータ記憶部１１にあらかじめ記憶されたマーカー３１の外形情報および特徴点情報から、マーカーに３１含まれる特徴点群の車両座標系における座標を計算し、車両基準カメラ相対位置計算部１５へ送る。
【００３６】
ここで、図３は、本発明の実施の形態１における車両座標系を示す説明図である。自車両１の前方中央端点を地面上に垂直に降ろした点を原点Ｏとし、直進方向をｚ軸、右方向をｘ軸、地中方向をｙ軸として規定される座標系が、本発明における車両座標系に相当する。
【００３７】
マーカー位置検出部１６は、画像入力装置３０から受け取ったマーカー画像から、マーカー３１上の特徴点群の位置を検出して、その画像上での座標を車両基準カメラ相対位置計算部１５へ送る。
【００３８】
車両基準カメラ相対位置計算部１５は、マーカー位置検出部から受け取った画像上でのマーカー内特徴点位置の座標と、車両基準マーカー相対位置計算部１４から受け取った車両座標系でのマーカー内特徴点位置の座標から、車両座標系におけるカメラの位置・姿勢を計算する。
【００３９】
そして、車両基準カメラ相対位置計算部１５は、車両座標系におけるカメラの位置・姿勢をキャリブレーションパラメータ記憶部１７に記憶させる。この結果、キャリブレーションパラメータ記憶部１７は、車両基準カメラ相対位置計算部１５で算出されたカメラの位置・姿勢に関するキャリブレーションパラメータを、ＲＯＭへ保存することができる。
【００４０】
次に、本実施の形態１においてキャリブレーションを実施する際の作業手順を、順に説明する。
【００４１】
キャリブレーション作業は、凹凸のない水平な地面上で行うこととする。また、作業空間は、キャリブレーション対象カメラの数、画角に応じたマーカー３１の大きさ、配置によって、適切に確保されるものとする。
【００４２】
ターゲットマーカー３１は、既知のパターンの複数の特徴点を有している。具体的には、カメラの位置・姿勢計算をするために、複数の特徴点が設けられている。キャリブレーション対象のカメラ３０にマーカー３１の全体が撮影されるように、マーカー３１は、大まかな位置は決めて配置する必要があるが、正確な位置は、未知の状態でよい。
【００４３】
ここで、マーカー３１に含まれる複数の特徴点が、どの位置に何点存在するかの特徴点情報、およびマーカー３１の外形情報は、あらかじめ既知とする。本実施の形態１では、後の画像処理においてマーカー３１の特徴点群の位置を自動処理で検出しやすいようにするために、黒く塗りつぶされた円形として構成された各特徴点を、マーカー３１上に規則的に配置した。
【００４４】
また、自車両１に近い方のマーカー３１の外側の角２点を点Ｍ１、点Ｍ２とする。また、車両１の特定の２点から地面上に垂直に下ろした２点を点Ｖ１、点Ｖ２とする。なお、点Ｖ１、点Ｖ２の車両座標系における座標位置は、あらかじめ測定しておき既知とする。本実施の形態１では、左右ヘッドライトの端を基準として地面に垂直に降ろした点を、Ｖ１、Ｖ２とした。
【００４５】
図４は、本発明の実施の形態１における測定距離入力装置２０の画面構成を示す説明図である。画面２２は、測定した距離を入力するための入力部２２ａ、誤入力判定部１３で判定された、入力した距離の数値が妥当か否かの判定結果および誤差を表示する出力部２２ｂ、およびカメラ映像を表示する表示部２２ｃで構成されている。
【００４６】
表示部２２ｃには、カメラ３０から入力されたカメラ映像が出力される。従って、作業員は、設置したマーカー３１がカメラ撮像範囲に収まっているか否かを、表示部２２ｃに表示されたカメラ画像から確認できる。
【００４７】
さらに、測定距離入力装置２０は、マーカー位置検出部１６で検出したマーカーの位置である点Ｍ１、点Ｍ２から、測定対象である点Ｖ１、点Ｖ２までの４つの距離が、画像上でどの位置に当たるのかを、入力部２２ａの入力項目に応じて、表示部２２ｃ内に重畳してアイコンを表示させる機能を有している。この機能により、作業員は、入力項目に対応する部分がどの距離に相当するかを、視覚的に容易に確認することができる。
【００４８】
また、撮像画像にオーバーラップさせてアイコンを表示部２２ｃに表示させる際には、カメラ画像内のマーカー位置を画像処理により検出することで、検出結果に応じてアイコンの表示位置を正確な位置に修正することができる。すなわち、自車両１の停止位置、あるいはカメラ３０の設置状態によらず、アイコンの表示位置を正確な位置に修正することができる。
【００４９】
さらに、キャリブレーションパラメータから複数カメラを用いた合成映像を作成するようなアプリケーションを持つ場合には、測定距離入力装置２０は、キャリブレーション計算結果を反映した合成映像を表示部２２ｃに表示させることで、映像品質を確認できるようにしてもよい。
【００５０】
次に、図１〜図４を用いて上述した内容を踏まえ、本実施の形態１におけるキャリブレーション方法について、具体的な手順に沿って説明する。図５は、本発明の実施の形態１に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。
【００５１】
まず始めに、ステップＳ５０１において、作業員は、複数の特徴点を持つマーカー３１を、カメラ３０による撮影範囲内になるように、地面に設置する。
【００５２】
この時、マーカー３１の位置と、自車両１の相対位置は、まだ正確に分からなくてよい。ただし、カメラ３０により撮像された画像によるキャリブレーション計算精度を安定させるために、マーカー３１をおおまかにどの位置に設置するかは、あらかじめ定めておく。本実施の形態１において、マーカー３１は、自車両１の前方の地面上であって、かつ、カメラ３０の画角の広い範囲内で撮影されるような位置に配置する。
【００５３】
次に、ステップＳ５０２において、作業員は、車両１に搭載されたキャリブレーション対象であるカメラ３０の実際の撮像範囲内にマーカー３１が入るように、車両１を移動させる。この際に、作業員は、測定距離入力装置２０の表示部２２ｃに表示される撮像画像を参照しながら、車両１の停止位置を決定することができる。
【００５４】
次に、ステップＳ５０３において、作業員は、車両１の特定の２点から地面上に垂直に下ろした２点を、サインペンなどでマークする。この際、下げ振りなどの道具を用いると正確に求められる。この２点が、先の図２中で示した点Ｖ１、点Ｖ２である。
【００５５】
なお、点Ｖ１、点Ｖ２は、後に点間の距離を測る際に作業しやすいように、点Ｖ１、点Ｖ２とマーカーの点Ｍ１、点Ｍ２との間に、自車両１のタイヤといったような余計な障害物がないように、それぞれの位置を設定するのがよい。
【００５６】
また、本実施の形態１では、後の計算を簡素化するために、点Ｖ１、点Ｖ２の位置は、それらを結んだ直線Ｖ１Ｖ２が車両座標系のｘ軸に平行になるように設定した。
【００５７】
次に、ステップＳ５０４において、作業員は、巻尺などを用いて、マーカー上の点Ｍ１、点Ｍ２と、車体上の点Ｖ１、点Ｖ２の間の距離を測定する。具体的に測定する距離は、先の図２中に示したように、Ｍ１Ｖ１間、Ｍ１Ｖ２間、Ｍ２Ｖ１間、Ｍ２Ｖ２間の４距離である。
【００５８】
次に、ステップＳ５０５において、作業員は、これら測定した４距離の数値を、測定距離入力装置２０を介して入力する。具体的には、作業員は、先の図４中に示した入力部２２ａのそれぞれの項目に対応して数値設定を行うことで、４距離の測定結果を入力する。
【００５９】
次に、ステップＳ５０６において、キャリブレーションパラメータ計算装置１０内の三辺測量計算部１２は、測定距離入力装置２０を介して入力された４距離の数値から、点Ｖ２を基準とした点Ｍ１、点Ｍ２の座標を計算する。図６は、本発明の実施の形態１における三辺測量計算部１２において実行される三辺測量法の説明図である。なお、この図６では、点Ｍ１の座標を計算する場合を例示している。
【００６０】
具体的には、三辺測量計算部１２は、図６に示すような車両座標系における点Ｍ１から、直線Ｖ１Ｖ２に垂直に降ろした点Ｈについて、距離Ｖ２Ｈおよび距離Ｍ１Ｈを、三辺測量を利用した下式（１）、（２）を用いて求める。
【００６１】
【数１】
2018036189.tif 000003
【００６２】
このようにして求めた距離Ｖ２Ｈと距離Ｍ１Ｈとは、点Ｖ２を原点として直線Ｖ２Ｖ１をｘ軸とした際の、点Ｍ１のｘ座標，ｚ座標の値である。また、三辺測量計算部１２は、同様の方法を用いて、点Ｍ２の座標値も計算する。
【００６３】
次に、ステップＳ５０７において、誤入力判定部１３は、三辺測量計算部１２で求めた点Ｍ１、点Ｍ２の座標を用いて、距離Ｍ１Ｍ２を計算する。さらに、誤入力判定部１３は、マーカー形状パラメータ記憶部１１からマーカー３１の外形の一部である距離Ｍ１Ｍ２の設計値を読み出す。計算値である距離Ｍ１Ｍ２と識別するために、以下の説明では、この距離Ｍ１Ｍ２の設計値のことを、距離Ｍ１Ｍ２ｔｒｕｔｈと称することとする。
【００６４】
そして、誤入力判定部１３は、計算値である距離Ｍ１Ｍ２と設計値である距離Ｍ１Ｍ２ｔｒｕｔｈと、特定の閾値θＭとを用いて、距離Ｍ１Ｍ２が妥当な値か否かを、下式（３）が真であるか否かによって判定する。
【００６５】
【数２】
2018036189.tif 000004
【００６６】
誤入力判定部１３により上式（３）が真であると判定された場合には、先のステップＳ５０５で実施した作業員による測定値の入力が妥当であることとなる。そこで、ステップＳ５０８による車両基準カメラ相対位置計算部の処理に移行する。
【００６７】
一方、誤入力判定部１３により上式（３）が偽であると判定された場合には、先のステップＳ５０５で実施した作業員による測定値の入力が妥当でないこととなる。そこで、先の図４で示したように、測定距離入力装置２０の出力部２２ｂを介して、その旨および誤差の値を作業員へ通知するとともに、ステップＳ５０５の処理に戻り、作業員による再測定、再入力処理を促す。
【００６８】
なお、距離Ｍ１Ｍ２と距離Ｍ１Ｍ２ｔｒｕｔｈとの差は、巻尺で正しく測定すれば約１ｃｍ以下に収まると考えられる。そこで、本実施の形態１では、上式（３）で用いる特定の閾値θＭの値は、一例として２ｃｍとする。
【００６９】
次に、ステップＳ５０８に進んだ場合には、車両基準マーカー相対位置計算部１４は、三辺測量計算部１２で求めた点Ｖ２基準の点Ｍ１および点Ｍ２の座標を、車両座標基準の座標に変換する。前述したように、本実施の形態１においては、点Ｖ１、Ｖ２は、直線Ｖ１Ｖ２が車両座標のｘ軸に平行になるように設定している。このため、車両基準マーカー相対位置計算部１４による座標変換は、点Ｖ２基準の座標に、車両座標基準の点Ｖ２の座標値を加算するだけでよい。
【００７０】
もちろん、直線Ｖ１Ｖ２が車両座標系に対して平行あるいは垂直にならないように定めることも可能である。ただし、その場合には、座標変換に回転が加わるため、余計な演算処理がかかることとなる。
【００７１】
また、点Ｖ１、点Ｖ２が地面上ではなく、ｙ軸成分を持つような３次元上の任意の点を指定しても、車両座標系の座標Ｍ１、Ｍ２を求めることは可能である。ただし、その場合には、３次元の座標変換を行う必要があるため、３次元の回転行列を計算する演算処理が必要である。
【００７２】
さらに、３次元上の任意の点を指定する場合には、距離Ｍ１Ｖ１などを測定する際に多少の難しさが生じる。具体的には、地面上ではなく、空中の距離を測定する必要があるため、巻尺がたるむなどの誤測定のリスクが高まることとなる。
【００７３】
次に、ステップＳ５０９において、作業員は、カメラ３０を用いて、所望のタイミングでマーカー３１を含む画像を静止画として撮影する。なお、撮影の際には、画像入力装置であるカメラ３０と、設置したマーカー３１との間に、マーカー３１の全景を撮影することを妨げる障害物があってはならない。
【００７４】
次に、ステップＳ５１０において、マーカー位置検出部１６は、カメラ３０を介して得られた画像中から、マーカー３１に含まれる特徴点を画像処理によって見つけ出し、それらの座標を出力する。
【００７５】
本実施の形態１では、マーカー３１に含まれている複数の特徴点は、先の図２に示したように、規則的に並んだ黒点としている。従って、マーカー位置検出部１６は、複数の黒点の各々の重心位置を各々の特徴点の座標として出力する。このとき、カメラ３０は、歪み補正部を有しており、カメラ３０のレンズに歪みがある場合には、歪み補正を施した画像を出力することができる。
【００７６】
また、マーカー３１の特徴点の座標を特定するに当たっては、画像処理を用いる代わりに、入力画像表示装置と座標指定装置を設けて、作業員が画面を見て特徴点の位置を指定するようにしてもよい。
【００７７】
次に、ステップＳ５１１において、車両基準カメラ相対位置計算部１５は、ステップＳ５１０においてマーカー位置検出部１６で検出した画像上のマーカー内特徴点位置と、ステップＳ５０８において車両基準マーカー相対位置計算部１４で計算した車両座標系でのマーカー内特徴点位置との対比から、車両座標系におけるカメラ３０の位置・姿勢を計算する。
【００７８】
具体的には、車両基準カメラ相対位置計算部１５は、特徴点群の、画像上座標と車両座標系での座標との対応から連立方程式を立てることができ、その誤差を最小にするように、カメラ３０の位置・姿勢を計算する。
【００７９】
さらに、車両基準カメラ相対位置計算部１５は、計算したカメラの位置・姿勢をカメラの外部キャリブレーションパラメータとして、キャリブレーションパラメータ記憶部１７に保存し、一連処理を終了する。
【００８０】
上述したキャリブレーション方法を整理すると、以下のような手順Ａ１〜Ａ９となる。
（手順Ａ１）マーカー３１を地面に置かれた剛体とすると、剛体基準座標系で座標かあらかじめ分かっている２点Ｍ１、Ｍ２を定める。
（手順Ａ２）車両１上の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ１、点Ｖ２として定める。
（手順Ａ３）点Ｍ１、点Ｍ２と点Ｖ１、点Ｖ２とに基づいて、２点間の計４種類の距離Ｍ１Ｖ１、Ｍ１Ｖ２、Ｍ２Ｖ１、Ｍ２Ｖ２を実測する。
【００８１】
（手順Ａ４）地面上の直線Ｖ１Ｖ２を車両座標系のｘ軸に平行になるように設定し、点Ｖ２を基準として、手順Ａ３で得られた実測値から三辺測量を用いて点Ｍ１、点Ｍ２の座標を求める。
（手順Ａ５）手順Ａ４により求めた点Ｍ１、点Ｍ２の座標値から距離Ｍ１Ｍ２を算出し、計算値とする。また、剛体基準座標系の座標値から距離Ｍ１Ｍ２を算出し、設計値とする。
【００８２】
（手順Ａ６）計算値が設計値に対して許容閾値以内の差に収まっていない場合には、手順Ａ３に戻り、実測をやり直す。一方、計算値が設計値に対して許容閾値以内の差に収まっている場合には、次の手順Ａ７に進む。
（手順Ａ７）手順Ａ４により求めたＶ２基準の２点Ｍ１、Ｍ２の座標を車両座標系の座標に変換し、さらに、車両座標系でのマーカー内特徴点群の座標を求める。
【００８３】
（手順Ａ８）車両１に搭載されたカメラ３０でマーカーの静止画を撮像し、静止画からマーカー内特徴点群の画像上での位置を画像上座標として検出する。
（手順Ａ９）マーカー内特徴点群に関して、手順Ａ８で検出した画像上座標を、手順Ａ７で求めた車両座標系での座標に一致させるようにして、車両座標系におけるカメラ３０の位置、姿勢を計算し、キャリブレーションパラメータとして記憶部に記憶させる。
【００８４】
なお、上述した手順Ａ１〜Ａ９は、計算を簡素化するために、以下のような制約を設けていた。
（制約１）車両に関する２点について
三辺測量を用いて点Ｍ１、点Ｍ２の座標を求める際に、いずれも、点Ｖ１、点Ｖ２に対する座標値として求めていた。しかしながら、点Ｍ１、点Ｍ２のいずれか一方の座標値を点Ｖ１、点Ｖ２に対する座標値として求め、他方の座標値を点Ｖ１、点Ｖ２とは異なる２点に対する座標値として求めることも可能である。
【００８５】
（制約２）直線Ｖ１Ｖ２の方向について
直線Ｖ１Ｖ２を車両座標系のｘ軸に平行になるように設定したが、必ずしもｘ軸と平行にする必要はない。
【００８６】
（制約３）マーカー内の特徴点群について
手順Ａ７〜手順Ａ９では、マーカー内の特徴点群に関する画像上座標と車両座標系での座標との位置合わせを行うことで、キャリブレーションパラメータを求めていたが、必ずしもマーカー内の特徴点群を用いる必要はない。マーカー内の特徴点群は用いずに、剛体に関する２点Ｍ１、Ｍ２に関する画像上座標と車両座標系での座標との位置合わせを行うことでも、キャリブレーションパラメータを求めることが可能である。
【００８７】
そこで、以上のような制約１〜３を設けない場合の一般的な手順を、以下に手順Ｂ１〜Ｂ９として示す。以下の説明では、剛体基準座標系で座標かあらかじめ分かっている２点をＲ０、Ｒ１とし、車両基準座標系として規定される２組の点をＶ０、Ｖ１、およびＶ２、Ｖ３として説明する。ここで、点Ｒ０、Ｒ１は、複数の剛体基準点を構成する点に相当し、点Ｖ０、Ｖ１、Ｖ２、Ｖ３は、複数の車両基準点を構成する点に相当する。
【００８８】
（手順Ｂ１）マーカー３１を地面に置かれた剛体とすると、剛体基準座標系で座標かあらかじめ分かっている２点Ｒ０、Ｒ０を定める。
（手順Ｂ２）車両１上の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ０、点Ｖ１として定める。さらに、車両１上の別の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ２、点Ｖ３として定める。
（手順Ｂ３）点Ｒ０と点Ｖ０、点Ｖ１とに基づいて、２点間の２種類の距離Ｒ０Ｖ０、Ｒ０Ｖ１を実測する。同様に、点Ｒ１と点Ｖ２、点Ｖ３とに基づいて、２点間の２種類の距離Ｒ１Ｖ２、Ｒ１Ｖ３を実測する。
【００８９】
（手順Ｂ４）Ｖ０を原点として、直線Ｖ０Ｖ１を軸の１つとするＶ０基準座標系において、手順Ｂ３で得られた実測値から三辺測量を用いて点Ｒ０の座標を求め、（Ｒ０ｘ＿Ｖ０、Ｒ０ｙ＿Ｖ０）とする。同様に、Ｖ２を原点として、直線Ｖ２Ｖ３を軸の１つとするＶ２基準座標系において、手順Ｂ３で得られた実測値から三辺測量を用いて点Ｒ１の座標を求め、（Ｒ１ｘ＿Ｖ０、Ｒ１ｙ＿Ｖ０）とする。
【００９０】
さらに、求まった座標（Ｒ０ｘ＿Ｖ０、Ｒ０ｙ＿Ｖ０）および座標（Ｒ１ｘ＿Ｖ０、Ｒ１ｙ＿Ｖ０）を、共通の原点を有する車両基準座標系の座標に変換し、座標（Ｒ０ｘ＿ｔｒｕｅ、Ｒ０ｙ＿ｔｒｕｅ）および座標（Ｒ１ｘ＿ｔｒｕｅ、Ｒ１ｙ＿ｔｒｕｅ）として求める。
【００９１】
ここで、手順Ｂ４について、図および数式を用いて詳細に説明する。図７は、本発明の実施の形態１の手順Ｂ４による車両基準座標系での点Ｒ０の座標の求め方を示した説明図である。ここで、Ｖ０基準座標系におけるＶ０、Ｖ１のそれぞれの値を、
Ｖ０＝（Ｖ０ｘ、Ｖ０ｙ）
Ｖ１＝（Ｖ１ｘ、Ｖ１ｙ）
とする。
【００９２】
Ｖ０を原点とするＶ０基準座標系と、Ｏを原点とする車両座標系との角度αｖ０は、下式（４）で求まる。
【００９３】
【数３】
2018036189.tif 000005
【００９４】
そして、車両基準座標系での点Ｒ０の座標Ｒ０ｔｒｕｅは、下式（５）により求めることができる。
【００９５】
【数４】
2018036189.tif 000006
【００９６】
同様にして、車両基準座標系での点Ｒ１の座標Ｒ１ｔｒｕｅを求めることができる。
【００９７】
（手順Ｂ５）手順Ｂ４により求めた点Ｒ０、点Ｒ１の座標値から距離Ｒ０Ｒ１を算出し、計算値とする。また、マーカー形状パラメータ記憶部１１にあらかじめ記憶された剛体基準座標系におけるマーカー３１関連の座標値から距離Ｒ０Ｒ１を算出し、設計値とする。
【００９８】
（手順Ｂ６）計算値が設計値に対して許容閾値以内の差に収まっていない場合には、手順Ｂ３に戻り、実測をやり直す。一方、計算値が設計値に対して許容閾値以内の差に収まっている場合には、次の手順Ｂ７に進む。
（手順Ｂ７）車両１に搭載されたカメラ３０でマーカーの静止画を撮像し、静止画からマーカーのＲ０およびＲ１の位置を画像上座標として検出する。
（手順Ｂ８）２点Ｒ０、Ｒ１に関して、手順Ｂ７で検出した画像上座標を、手順Ｂ４で求めた車両座標系での座標に一致させるようにして、車両座標系におけるカメラ３０の位置、姿勢を計算し、キャリブレーションパラメータとしてキャリブレーションパラメータ記憶部１７に記憶させる。
【００９９】
ここで、手順Ｂ８について、図および数式を用いて詳細に説明する。図８は、本発明の実施の形態１の手順Ｂ８によるキャリブレーションパラメータの求め方を示した説明図である。ここで、画像上座標におけるＲ０、Ｒ１のそれぞれの値を、
Ｒ０＝（Ｒ０ｘ＿Ｒ、Ｒ０ｙ＿Ｒ）
Ｒ１＝（Ｒ１ｘ＿Ｒ、Ｒ１ｙ＿Ｒ）
とする。
【０１００】
ＯＲを原点とする画像上座標と、Ｏを原点とする車両座標系との角度に相当する相対姿勢αＲは、下式（６）で求まる。
【０１０１】
【数５】
2018036189.tif 000007
【０１０２】
さらに、原点ＯＲの相対位置は、下式（７）により求めることができる。
【０１０３】
【数６】
2018036189.tif 000008
【０１０４】
この結果、車両基準カメラ相対位置計算部１５は、相対姿勢αＲと、原点ＯＲの相対位置を、キャリブレーションパラメータとして求めることができる。
【０１０５】
なお、上述した手順Ｂ１および手順Ｂ２は、計算を簡素化するために、点Ｒ０、点Ｒ１、点Ｖ０〜点Ｖ３をいずれも地面上と同一の平面内の点として規定していた。しかしながら、本発明は、これらの点を地面よりも上側の、３次元座標系の点として規定することもできる。このような場合には、３次元座標系で規定された点を地面上の２次元平面上の点に置き換えることで、上述した手順Ｂ１、Ｂ２に対応した座標値を算出することが可能である。
【０１０６】
図９は、本発明の実施の形態１において、３次元座標系の点を２次元平面上の点に置き換える手法を示した説明図である。この図９では、点Ｒ０が地面からの高さＲ０ｈｅｉｇｈｔで規定され、点Ｖ０が地面からの高さＶ０ｈｅｉｇｈｔで規定されている。さらに、Ｒ０Ｇは、点Ｒ０を垂直に地面に下ろすことで規定される点であり、Ｖ０Ｇは、点Ｖ０を垂直に地面に下ろすことで規定される点である。
【０１０７】
そして、図９の横軸は、地平面において、点Ｒ０Ｇと点Ｖ０Ｇを結ぶ直線を含む軸であり、縦軸は、高さ方向としたものである。
【０１０８】
Ｒ０−Ｖ０間の距離は、実測値として求められる。また、Ｒ０−Ｖ０間の高さ方向の距離は、
Ｒ０ｈｅｉｇｈｔ−Ｖ０ｈｅｉｇｈｔ
により求めることができる。従って、Ｒ０−Ｖ０間の横軸方向の距離、すなわち、Ｒ０Ｇ−Ｖ０Ｇ間の距離は、三平方の定理より、
√（（Ｒ０Ｖ０）２−（Ｒ０ｈｅｉｇｈｔ−Ｖ０ｈｅｉｇｈｔ）２）によって求めることができる。
【０１０９】
同様にして、その他の２点間の地平面上の距離も、三平方の定理を利用して算出することができる。
【０１１０】
以上のように、実施の形態１によれば、車両に対するマーカーの設置位置を、車両基準座標系の２点と剛体基準座標系の２点の組合せによる４つの距離の計測値により規定することで、容易にかつ簡潔に、車両に搭載されたカメラのキャリブレーションパラメータを演算処理によって求めることが可能となる。
【０１１１】
より具体的には、三辺測量法を使用することにより、車両とマーカーの位置相対関係を、４つの距離を測定することで求めることが可能となる。さらに、地面上の距離を測るのみなので、３次元測定器や墨出し器などの特殊な機器を使うことなく、下げ振りと巻尺一本で素早く簡単にキャリブレーション作業を行うことができる。
【０１１２】
また、車両基準座標系の２点を結んだ直線が車両座標系の１つの軸と平行となるように、この２点を設定することで、平行移動処理のみで座標変換を行うことが可能となる。従って、浮動小数点演算を用いる必要がなく、三角関数の計算が近似計算になるおそれがないため、座標変換の演算精度を向上させることができる。
【０１１３】
また、図９を用いて説明したように、地面上の点ではなく、３次元的な高さを持った点を採用した場合にも、三平方の定理を使用して地面上の点に換算することで、キャリブレーションパラメータを求めることが可能である。
【０１１４】
また、剛体基準座標系における距離の設計値と、車両基準座標系における距離の計算値の差の絶対値が、特定の閾値以内に収まっているか否かを判定する構成を備えている。さらに、判定結果を表示する構成、および撮像画像にオーバーラップさせて測定箇所をアイコン表示させる構成を備えている。
【０１１５】
従って、作業員は、測定ミス、あるいは入力ミスを確実に見つけ出すことができるとともに、表示されるガイダンスに従って正確な測定データを入力でき、このような正確な測定データに基づくキャリブレーションパラメータの算出が可能となる。
【０１１６】
なお、先の図４に示したように、撮像画像にオーバーラップさせてアイコンを表示部２２ｃに表示させる際には、撮像画像内のマーカー位置を画像処理により検出することで、検出結果に応じてアイコンの表示位置を正確な位置に修正することができる。すなわち、自車両の停止位置、あるいはカメラの設置状態によらず、アイコンの表示位置を正確な位置に修正することができる。
【０１１７】
この結果、実施の形態１によれば、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程で、キャリブレーションパラメータを高精度に求めることのできるキャリブレーション方法を実現できる。
【０１１８】
実施の形態２．
先の実施の形態１では、自車両１に対するマーカー３１の２点が地面上に２次元的に配置される場合のキャリブレーションパラメータの算出方法について説明した。これに対して、本実施の形態２では、自車両１に対するマーカー３１の３点が３次元的に配置される場合のキャリブレーションパラメータの算出方法について説明する。
【０１１９】
図１０は、本発明の実施の形態２に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。この図１０は、自車両１に対するマーカー３１の配置が３次元的であるような場合の例を表す図である。
【０１２０】
このような場合、マーカー３１が地面に対して完全に垂直に立っていることなどが前提にあれば、マーカーが地面に接している部分に対して先の実施の形態１のような方法を実施することで、マーカー３１の自車両１に対する相対位置を求めることができる。
【０１２１】
しかしながら、このような前提がない場合、すなわち、マーカー３１が地面に対して完全に垂直に立っているか分からない場合、あるいは、マーカー３１が地面に接していない場合には、マーカー３１の３次元的な相対位置・姿勢を求めることが必要になる。そこで、本実施の形態２では、先の実施の形態１の手法を３次元に拡張した形態について説明する。
【０１２２】
図１１は、本発明の実施の形態２に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。ここでは、先の実施の形態１における図５のフローチャートとの相違点を中心に説明する。
【０１２３】
まず始めに、ステップＳ１１０１において、作業員は、複数の特徴点を持つマーカー３１を、カメラ３０による撮影範囲内になるように、地面に設置する。
【０１２４】
この時、マーカー３１の位置と、自車両１の相対位置は、まだ正確に分からなくてよい。ただし、カメラ３０により撮像された画像によるキャリブレーション計算精度を安定させるために、マーカー３１をおおまかにどの位置に設置するかは、あらかじめ定めておく。なお、本実施の形態２において、マーカー３１は、先の実施の形態１と異なり、自車両１の前方の地面上に設置する必要はない。
【０１２５】
次に、ステップＳ１１０２において、作業員は、車両１に搭載されたキャリブレーション対象であるカメラ３０の実際の撮像範囲内にマーカー３１が入るように、車両１を移動させる。この際に、作業員は、測定距離入力装置２０の表示部２２ｃに表示される撮像画像を参照しながら、車両１の停止位置を決定することができる。
【０１２６】
次に、ステップＳ１１０３において、作業員は、車両１の特定の３点として、点Ｖ１、点Ｖ２、点Ｖ３を設定する。なお、本実施の形態２における特定の３点は、先の実施の形態１と異なり、必ずしも地面上に設定する必要はない。
【０１２７】
次に、ステップＳ１１０４において、作業員は、巻尺などを用いて、マーカー上の点Ｍ１、点Ｍ２、点Ｍ３と、車体上の点Ｖ１、点Ｖ２、点Ｖ３の間の距離を測定する。具体的に測定する距離は、Ｍ１Ｖ１間、Ｍ１Ｖ２間、Ｍ１Ｖ３間、Ｍ２Ｖ１間、Ｍ２Ｖ２間、Ｍ２Ｖ３間、Ｍ３Ｖ１間、Ｍ３Ｖ２間、Ｍ３Ｖ３間の９距離である。なお、図１０では、Ｍ１Ｖ１間、Ｍ１Ｖ２間、Ｍ１Ｖ３間の３距離のみを例示している。
【０１２８】
次に、ステップＳ１１０５において、作業員は、これら測定した９距離の数値を、測定距離入力装置２０を介して入力する。具体的には、作業員は、入力部２２ａの９項目のそれぞれに対応して数値設定を行うことで、９距離の測定結果を入力する。
【０１２９】
次に、ステップＳ１１０６において、キャリブレーションパラメータ計算装置１０内の三辺測量計算部１２は、測定距離入力装置２０から入力されてきた９距離の数値から、点Ｖ３を基準とした点Ｍ１、点Ｍ２、点Ｍ３の座標を計算する。
【０１３０】
先の実施の形態１では、三角形の３辺の長さから三角形が一意に求まることを利用して、三辺測量にてＶ２基準のＭ１、Ｍ２の座標を計算した。これに対して、本実施の形態２では、三角錐の６辺の長さから三角錐が一意に求まることを利用して、Ｖ３基準のＭ１、Ｍ２、Ｍ３の座標を計算する。
【０１３１】
次に、ステップＳ１１０７において、誤入力判定部１３は、三辺測量計算部１２で求めた点Ｍ１、点Ｍ２、点Ｍ２の座標を用いて、距離Ｍ１Ｍ２、距離Ｍ１Ｍ３、距離Ｍ２Ｍ３を計算する。さらに、誤入力判定部１３は、マーカー形状パラメータ記憶部１１からマーカー３１の外形の一部である距離Ｍ１Ｍ２、距離Ｍ１Ｍ３、距離Ｍ２Ｍ３の設計値を読み出す。
【０１３２】
なお、計算値である距離Ｍ１Ｍ２、距離Ｍ１Ｍ３、距離Ｍ２Ｍ３と識別するために、以下の説明では、この距離Ｍ１Ｍ２、距離Ｍ１Ｍ３、距離Ｍ２Ｍ３の設計値のことを、それぞれ、距離Ｍ１Ｍ２ｔｒｕｔｈ、距離Ｍ１Ｍ３ｔｒｕｔｈ、距離Ｍ２Ｍ３ｔｒｕｔｈと称することとする。
【０１３３】
そして、誤入力判定部１３は、対応する計算値と設計値の差分が特定の閾値θＭに収まっているか否かを判定する。
【０１３４】
誤入力判定部１３により誤入力がないと判定された場合には先のステップＳ１１０５で実施した作業員による測定値の入力が妥当であることとなる。そこで、ステップＳ１１０８による車両基準カメラ相対位置計算部の処理に移行する。
【０１３５】
一方、誤入力判定部１３により誤入力があると判定された場合には、先のステップＳ１１０５で実施した作業員による測定値の入力が妥当でないこととなる。そこで、先の図４で示したように、測定距離入力装置２０の出力部２２ｂを介して、その旨および誤差の値を作業員へ通知するとともに、ステップＳ１１０５の処理に戻り、作業員による再測定、再入力処理を促す。
【０１３６】
なお、先の実施の形態１では、マーカー３１上で求めた座標は、２点Ｍ１、Ｍ２のみだったため、１つの距離Ｍ１Ｍ２のみを用いて誤入力の判定を行った。これに対して、本実施の形態２では、３点Ｍ１、Ｍ２、Ｍ３の座標を求めている。従って、誤入力の判定も、３つの距離Ｍ１Ｍ２、Ｍ２Ｍ３、Ｍ３Ｍ１について個別に実施することが可能である。
【０１３７】
この際、例えば、距離Ｍ２Ｍ３および距離Ｍ３Ｍ１について誤入力であるとの判定が出る一方で、距離Ｍ１Ｍ２については誤入力であるとの判定が出なかった場合を考える。この場合には、点Ｍ１、Ｍ２に係る距離については正確である可能性が高いため、Ｍ３が関連する距離であるＶ１Ｍ３、Ｖ２Ｍ３、Ｖ３Ｍ３の３個のみ再測定を行うことで、誤入力判定がなくなる可能性が高いと考えられる。従って、９個全てのデータを再測定する場合と比較して、効率的に再測定を行うことができる。
【０１３８】
次に、ステップＳ１１０８に進んだ場合には、車両基準マーカー相対位置計算部１４は、三辺測量計算部１２で求めた点Ｖ３基準の点Ｍ１、点Ｍ２、および点Ｍ３の座標を、車両座標基準の座標に変換する。
【０１３９】
なお、先の実施の形態１では、２次元の回転・並進のみで座標変換を行った。これに対して、本実施の形態２では、三次元の回転・並進を用いて座標変換を行うこととなる。
【０１４０】
次に、ステップＳ１１０９において、作業員は、カメラ３０を用いて、所望のタイミングでマーカー３１を含む画像を静止画として撮影する。なお、撮影の際には、画像入力装置であるカメラ３０と、設置したマーカー３１との間に、マーカー３１の全景を撮影することを妨げる障害物があってはならない。
【０１４１】
次に、ステップＳ１１１０において、マーカー位置検出部１６は、カメラ３０を介して得られた画像中から、マーカー３１に含まれる特徴点を画像処理によって見つけ出し、それらの座標を出力する。
【０１４２】
次に、ステップＳ１１１１において、車両基準カメラ相対位置計算部１５は、ステップＳ１１１０においてマーカー位置検出部１６で検出した画像上のマーカー内特徴点位置と、ステップＳ１１０８において車両基準マーカー相対位置計算部１４で計算した車両座標系でのマーカー内特徴点位置から、車両座標系におけるカメラ３０の位置・姿勢を計算する。
【０１４３】
具体的には、車両基準カメラ相対位置計算部１５は、特徴点群の、画像上座標と車両座標系での座標との対応から連立方程式を立てることができ、その誤差を最小にするように、カメラ３０の原点の相対位置および相対姿勢を計算する。
【０１４４】
さらに、車両基準カメラ相対位置計算部１５は、計算したカメラ３０の原点の相対位置および相対姿勢を、カメラ３０の外部キャリブレーションパラメータとして、キャリブレーションパラメータ記憶部１７に保存し、一連処理を終了する。
【０１４５】
以上のように、実施の形態２によれば、車両に対するマーカーの設置位置を、車両３点とマーカー３点の組合せによる９つの距離の計測値により３次元的に規定することで、容易にかつ簡潔に、車両に搭載されたカメラのキャリブレーションパラメータを演算処理によって求めることが可能となる。
【０１４６】
特に、地面に接していないようなマーカーを用いた場合にも、演算処理を２次元から３次元に拡張することで、容易にかつ簡潔に、車両に搭載されたカメラのキャリブレーションパラメータを求めることが可能となる。
【０１４７】
この結果、実施の形態２によれば、剛体基準座標系および車両基準座標系で特定される各点を３次元の領域まで拡張した上で、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でキャリブレーションパラメータを求めることのできるキャリブレーション方法を実現できる。
【符号の説明】
【０１４８】
１０  キャリブレーションパラメータ計算装置、１１  マーカー形状パラメータ記憶部、１２  三辺測量計算部、１３  誤入力判定部、１４  車両基準マーカー相対位置計算部、１５  車両基準カメラ相対位置計算部、１６  マーカー位置検出部、１７  キャリブレーションパラメータ記憶部、２０  測定距離入力装置、２１  キーボード、２２  画面、２２ａ  入力部、２２ｂ  出力部、２２ｃ  表示部、３０  画像入力装置（カメラ）、３１  ターゲットマーカー（マーカー）。
【図１】
2018036189.tif 000009
【図２】
2018036189.tif 000010
【図３】
2018036189.tif 000011
【図４】
2018036189.tif 000012
【図５】
2018036189.tif 000013
【図６】
2018036189.tif 000014
【図７】
2018036189.tif 000015
【図８】
2018036189.tif 000016
【図９】
2018036189.tif 000017
【図１０】
2018036189.tif 000018
【図１１】
2018036189.tif 000019