(57)【要約】  校正システムは、作業機を有する作業機械に備えられて、対象を撮像する少なくとも一対の撮像装置と、前記作業機の位置を検出する位置検出器と、少なくとも一対の前記撮像装置によって撮像された前記作業機の所定の位置に関する情報である第１位置情報と、少なくとも一対の前記撮像装置が前記所定の位置を撮像したときの前記作業機の姿勢で、前記位置検出器によって検出された前記所定の位置に関する情報である第２位置情報と、少なくとも一対の前記撮像装置によって撮像された前記作業機械の外部における所定の位置に関する情報である第３位置情報と、を用いて、少なくとも一対の前記撮像装置の位置及び姿勢に関する情報と、少なくとも一対の前記撮像装置が撮像した前記対象の位置を第１の座標系から第２の座標系に変換するために用いられる変換情報と、を求める処理部と、を含む。
2016148309.tif 000002
【特許請求の範囲】
【請求項１】
作業機を有する作業機械に備えられて、対象を撮像する少なくとも一対の撮像装置と、
前記作業機の位置を検出する位置検出器と、
少なくとも一対の前記撮像装置によって撮像された前記作業機の所定の位置に関する情報である第１位置情報と、少なくとも一対の前記撮像装置が前記所定の位置を撮像したときの前記作業機の姿勢で、前記位置検出器によって検出された前記所定の位置に関する情報である第２位置情報と、少なくとも一対の前記撮像装置によって撮像された前記作業機械の外部における所定の位置に関する情報である第３位置情報と、を用いて、
少なくとも一対の前記撮像装置の位置及び姿勢に関する情報と、少なくとも一対の前記撮像装置が撮像した前記対象の位置を第１の座標系から第２の座標系に変換するために用いられる変換情報と、を求める処理部と、
を含む、校正システム。
【請求項２】
前記作業機の前記所定の位置には第１標識が配置されており、前記第１位置情報は、少なくとも一対の前記撮像装置が、異なる姿勢の前記作業機から前記第１標識の位置を撮像することにより得られた情報であり、
前記第２位置情報は、前記位置検出器が、異なる姿勢の前記作業機から前記所定の位置を検出することにより得られた情報であり、
前記第３位置情報は、前記作業機械の外部に設置された第２標識の位置の情報である、請求項１に記載の校正システム。
【請求項３】
前記第２位置情報は、少なくとも一対の前記撮像装置が配列されている方向における、前記作業機の中央の位置に関する情報であり、前記作業機の異なる少なくとも３つの姿勢で得られた複数の情報である、請求項１又は請求項２に記載の校正システム。
【請求項４】
前記位置検出器は、前記作業機械に備えられて、前記作業機を動作させるアクチュエータの動作量を検出するセンサである、請求項１又は請求項２に記載の校正システム。
【請求項５】
前記作業機と、
請求項１から請求項４のいずれか１項に記載の前記校正システムと、
を含む、作業機械。
【請求項６】
少なくとも一対の撮像装置によって作業機の所定の位置及び前記作業機を有する作業機械の周囲の所定の位置を撮像するとともに、少なくとも一対の前記撮像装置とは異なる位置検出器によって前記作業機械の所定の位置を検出する検出工程と、
少なくとも一対の前記撮像装置によって撮像された前記作業機の所定の位置に関する情報である第１位置情報と、少なくとも一対の前記撮像装置が前記所定の位置を撮像したときの前記作業機の姿勢で、前記位置検出器によって検出された前記所定の位置に関する情報である第２位置情報と、少なくとも一対の前記撮像装置によって撮像された前記作業機械の外部における所定の位置に関する情報である第３位置情報と、を用いて、少なくとも一対の前記撮像装置の位置及び姿勢に関する情報と、少なくとも一対の前記撮像装置が撮像した対象の位置を第１の座標系から第２の座標系に変換するために用いられる変換情報と、を求める演算工程と、
を含む、校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機械に備えられて対象の位置を検出する位置検出部を校正するための、校正システム、作業機械及び校正方法に関する。
【背景技術】
【０００２】
対象の位置を検出する手段として、ステレオ方式による三次元計測に用いられる撮像装置を備えた作業機械がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３３３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ステレオ方式による三次元計測に用いられる撮像装置は、校正を行う必要がある。撮像装置を備える作業機械は、例えば、工場から出荷される前に撮像装置の校正が行われるが、この校正は、機器及び設備が必要であるので、作業現場で撮像装置の校正を行うことが困難である場合がある。【０００５】
本発明の態様は、ステレオ方式による三次元計測を実行する撮像装置を備えた作業機械の作業現場でも、撮像装置の校正を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、作業機を有する作業機械に備えられて、対象を撮像する少なくとも一対の撮像装置と、前記作業機の位置を検出する位置検出器と、少なくとも一対の前記撮像装置によって撮像された前記作業機の所定の位置に関する情報である第１位置情報と、少なくとも一対の前記撮像装置が前記所定の位置を撮像したときの前記作業機の姿勢で、前記位置検出器によって検出された前記所定の位置に関する情報である第２位置情報と、少なくとも一対の前記撮像装置によって撮像された前記作業機械の外部における所定の位置に関する情報である第３位置情報と、を用いて、少なくとも一対の前記撮像装置の位置及び姿勢に関する情報と、少なくとも一対の前記撮像装置が撮像した前記対象の位置を第１の座標系から第２の座標系に変換するために用いられる変換情報と、を求める処理部と、を含む、校正システムが提供される。【０００７】
本発明の第２の態様によれば、作業機と、第１の態様に係る校正システムと、を含む作業機械が提供される。【０００８】
本発明の第３の態様によれば、少なくとも一対の撮像装置によって作業機の所定の位置及び前記作業機を有する作業機械の周囲の所定の位置を撮像するとともに、少なくとも一対の前記撮像装置とは異なる位置検出器によって前記作業機械の所定の位置を検出する検出工程と、少なくとも一対の前記撮像装置によって撮像された前記作業機の所定の位置に関する情報である第１位置情報と、少なくとも一対の前記撮像装置が前記所定の位置を撮像したときの前記作業機の姿勢で、前記位置検出器によって検出された前記所定の位置に関する情報である第２位置情報と、少なくとも一対の前記撮像装置によって撮像された前記作業機械の外部における所定の位置に関する情報である第３位置情報と、を用いて、少なくとも一対の前記撮像装置の位置及び姿勢に関する情報と、少なくとも一対の前記撮像装置が撮像した対象の位置を第１の座標系から第２の座標系に変換するために用いられる変換情報と、を求める演算工程と、を含む、校正方法が提供される。【０００９】
本発明は、作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置情報を、対象の位置を検出する手段以外の座標系に変換するための変換情報を求めることができる。【００１０】
本発明の態様によれば、ステレオ方式による三次元計測を実行する撮像装置を備えた作業機械の作業現場でも、撮像装置の校正を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る校正システムを備えた油圧ショベルの斜視図である。
【図２】実施形態に係る油圧ショベルの運転席付近を斜視図である。
【図３】実施形態に係る油圧ショベルが有する作業機の寸法及び油圧ショベルの座標系を示す図である。
【図４】実施形態に係る校正システムを示す図である。
【図５】実施形態に係る処理装置が実施形態に係る校正方法を実行する際に、撮像装置によって撮像される対象を示す図である。
【図６】撮像装置によって撮像されたターゲットの画像の一例を示す図である。
【図７】バケットの刃に取り付けられたターゲットが撮像装置によって撮像される位置を示す斜視図である。
【図８】油圧ショベルの外部に設置されたターゲットが撮像装置によって撮像される位置を示す斜視図である。
【図９】実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際の処理例を示すフローチャートである。
【図１０】第３位置情報を得るためのターゲットの他の例を示す図である。
【図１１】少なくとも一対の撮像装置の校正が行われる場所を説明するための図である。
【図１２】油圧ショベルの外部にターゲットを設置する際に用いられるツールの一例を示す図である。
【発明を実施するための形態】
【００１２】
本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。
【００１３】
＜油圧ショベルの全体構成＞
図１は、実施形態に係る校正システムを備えた油圧ショベル１００の斜視図である。図２は、実施形態に係る油圧ショベル１００の運転席付近を斜視図である。図３は、実施形態に係る油圧ショベルが有する作業機２の寸法及び油圧ショベル１００の座標系を示す図である。
【００１４】
作業機械である油圧ショベル１００は、車体１及び作業機２を有する。車体１は、旋回体３、運転室４及び走行体５を有する。旋回体３は、走行体５に旋回可能に取り付けられている。運転室４は旋回体３の前部に配置されている。運転室４内には、図２に示される操作装置２５が配置される。走行体５は履帯５ａ，５ｂを有しており、履帯５ａ，５ｂが回ることにより油圧ショベル１００が走行する。
【００１５】
作業機２は、車体１の前部に取り付けられている。作業機２は、ブーム６、アーム７、作業具であるバケット８、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２を有する。実施形態において、車体１の前方は、図２に示される運転席４Ｓの背もたれ４ＳＳから操作装置２５に向かう方向側である。車体１の後方は、操作装置２５から運転席４Ｓの背もたれ４ＳＳに向かう方向側である。車体１の前部は、車体１の前方側の部分であり、車体１のカウンタウエイトＷＴとは反対側の部分である。操作装置２５は、作業機２及び旋回体３を操作するための装置であり、右側レバー２５Ｒ及び左側レバー２５Ｌを有する。運転室４内には、運転席４Ｓの前方にモニタパネル２６が設けられる。
【００１６】
ブーム６の基端部は、ブームピン１３を介して車体１の前部に取り付けられている。ブームピン１３は、ブーム６の旋回体３に対する動作中心に相当する。アーム７の基端部は、アームピン１４を介してブーム６の先端部に取り付けられている。アームピン１４は、アーム７のブーム６に対する動作中心に相当する。アーム７の先端部には、バケットピン１５を介してバケット８が取り付けられている。バケットピン１５は、バケット８のアーム７に対する動作中心に相当する。
【００１７】
図３に示されるように、ブーム６の長さ、すなわちブームピン１３とアームピン１４との間の長さはＬ１である。アーム７の長さ、すなわち、アームピン１４とバケットピン１５との間の長さはＬ２である。バケット８の長さ、すなわち、バケットピン１５とバケット８の刃９の先端である刃先Ｐ３との間の長さは、Ｌ３である。
【００１８】
図１に示されるブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２は、それぞれ油圧によって駆動される油圧シリンダである。これらは、油圧ショベル１００の車体１に備えられて、作業機２を動作させるアクチュエータである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に取り付けられている。ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を動作させる。
【００１９】
アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に取り付けられている。アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を動作させる。
【００２０】
バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に取り付けられている。バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端及び第２リンク部材４８の一端に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に取り付けられている。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を動作させる。
【００２１】
図３に示されるように、ブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とには、それぞれ第１角度検出部１８Ａと第２角度検出部１８Ｂと第３角度検出部１８Ｃとが設けられている。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２のストローク長さを検出することにより、車体１に対するブーム６の動作角と、ブーム６に対するアーム７の動作角と、アーム７に対するバケット８の動作角とを間接的に検出する。
【００２２】
実施形態では、第１角度検出部１８Ａは、ブームシリンダ１０の動作量、すなわちストローク長さを検出する。後述する処理装置２０は、第１角度検出部１８Ａが検出したブームシリンダ１０のストローク長さから、図３に示される油圧ショベル１００の座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸に対するブーム６の動作角δ１を演算する。以下において、油圧ショベル１００の座標系を適宜、車体座標系と称する。図２に示されるように、車体座標系の原点は、ブームピン１３の中心である。ブームピン１３の中央とは、ブームピン１３が伸びる方向と直交する平面でブームピン１３を切ったときの断面の中心、かつブームピン１３が伸びる方向における中心である。車体座標系は、実施形態の例には限定されず、例えば、旋回体３の旋回中心をＺｍ軸とし、ブームピン１３が延びる方向と平行な軸線をＹｍ軸とし、Ｚｍ軸及びＹｍ軸と直交する軸線をＸｍ軸とするものであってもよい。
【００２３】
第２角度検出部１８Ｂは、アームシリンダ１１の動作量、すなわちストローク長さを検出する。処理装置２０は、第２角度検出部１８Ｂが検出したアームシリンダ１１のストローク長さから、ブーム６に対するアーム７の動作角δ２を演算する。第３角度検出部１８Ｃは、バケットシリンダ１２の動作量、すなわちストローク長さを検出する。処理装置２０は、第３角度検出部１８Ｃが検出したバケットシリンダ１２のストローク長さから、アーム７に対するバケット８の動作角δ３を演算する。
【００２４】
＜撮像装置＞
図２に示されるように、油圧ショベル１００は、例えば、運転室４内に、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを有する。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。撮像装置３０の種類は限定されないが、実施形態では、例えば、ＣＣＤ（Couple  Charged  Device）イメージセンサ又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサを備えた撮像装置が用いられる。
【００２５】
実施形態において、複数、詳細には４個の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００に取り付けられる。より詳細には、図２に示されるように、撮像装置３０ａと撮像装置３０ｂとは所定の間隔をおいて同じ方向を向いて、例えば運転室４内に配置される。撮像装置３０ｃと撮像装置３０ｄとは所定の間隔をおいて同じ方向を向いて運転室４内に配置される。撮像装置３０ｂ及び撮像装置３０ｄは、作業機２の方に若干向けて、すなわち、撮像装置３０ａ及び撮像装置３０ｃ側の方に若干向けて配置されることもある。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、２個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置３０ａ，３０ｂの組合せと、撮像装置３０ｃ，３０ｄの組合せとでステレオカメラが構成される。
【００２６】
実施形態において、油圧ショベル１００は、４個の撮像装置３０を有するが、油圧ショベル１００が有する撮像装置３０の数は少なくとも２個、すなわち一対であればよく、４個に限定されない。油圧ショベル１００は、少なくとも一対の撮像装置３０でステレオカメラを構成して、対象をステレオ撮影するからである。
【００２７】
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内の前方かつ上方に配置される。上方とは、油圧ショベル１００が有する履帯５ａ，５ｂの接地面と直交し、かつ接地面から離れる方向である。履帯５ａ，５ｂの接地面は、履帯５ａ，５ｂのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも３点で規定される平面である。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００の車体１の前方に存在する対象をステレオ撮影する。対象は、例えば、作業機２が掘削する対象である。
【００２８】
図１及び図２に示される処理装置２０は、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いて、対象を三次元計測する。すなわち、処理装置２０は、少なくとも一対の撮像装置３０が撮像した同一対象の画像にステレオ方式による画像処理を施して、前述した対象を三次元計測する。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが配置される場所は、運転室４内の前方かつ上方に限定されるものではない。
【００２９】
実施形態において、４個の複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、撮像装置３０ｃを４個の撮像装置複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの基準とする。撮像装置３０ｃの座標系（Ｘｓ，Ｙｓ，Ｚｓ）を適宜、撮像装置座標系と称する。撮像装置座標系の原点は、撮像装置３０ｃの中心である。撮像装置３０ａ、撮像装置３０ｂ及び撮像装置３０ｄのそれぞれの座標系の原点は、それぞれの撮像装置の中心である。
【００３０】
＜校正システム＞
図４は、実施形態に係る校正システム５０を示す図である。校正システム５０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置２０とを含む。これらは、図１及び図２に示されるように、油圧ショベル１００の車体１に備えられている。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、作業機械である油圧ショベル１００に取り付けられて、対象を撮像し、撮像によって得られた対象の画像を処理装置２０に出力する。
【００３１】
処理装置２０は、処理部２１と、記憶部２２と、入出力部２３とを有する。処理部２１は、例えば、ＣＰＵ（Central  Processing  Unit）のようなプロセッサ及びメモリによって実現される。処理装置２０は、実施形態に係る校正方法を実現する。この場合、処理部２１は、記憶部２２に記憶されたコンピュータプログラムを読み込んで実行する。このコンピュータプログラムは、実施形態に係る校正方法を処理部２１に実行させるためものである。
【００３２】
処理装置２０は、実施形態に係る校正方法を実行する際に、少なくとも一対の撮像装置３０によって撮像された一対の画像をステレオ方式における画像処理を実行することにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、処理装置２０は、同一の対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、対象を三次元計測することができる。すなわち、少なくとも一対の撮像装置３０及び処理装置２０は、ステレオ方式により対象を三次元計測するものである。
【００３３】
実施形態において、少なくとも一対の撮像装置３０及び処理装置２０は、油圧ショベル１００に備えられて、対象の位置を検出する第１位置検出部に相当する。撮像装置３０が、ステレオ方式による画像処理を実行して対象を三次元計測する機能を有している場合、少なくとも一対の撮像装置３０が第１位置検出部に相当する。
【００３４】
記憶部２２は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read  Only  Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。記憶部２２は、実施形態に係る校正方法を処理部２１に実行させるためのコンピュータプログラムを記憶している。
【００３５】
記憶部２２は、処理部２１が実施形態に係る校正方法を実行する際に使用される情報を記憶する。この情報は、例えば、各撮像装置３０の姿勢、撮像装置３０同士の位置関係、作業機２等の既知の寸法、撮像装置３０と油圧ショベル１００に搭載された固定物との位置関係を示す既知の寸法、車体座標系の原点から各撮像装置３０又はいずれかの撮像装置３０までの位置関係を示す既知の寸法、及び作業機２の姿勢から作業機２の一部の位置を求めるために必要な情報を含む。
【００３６】
入出力部２３は、処理装置２０と機器類とを接続するためのインターフェース回路である。入出力部２３には、ハブ５１、入力装置５２、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃが接続される。ハブ５１は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが接続されている。ハブ５１を用いずに、撮像装置３０と処理装置２０とが接続されてもよい。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果は、ハブ５１を介して入出力部２３に入力される。処理部２１は、ハブ５１及び入出力部２３を介して、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによって撮像された結果を取得する。入力装置５２は、処理部２１が実施形態に係る校正方法を実行する際に必要な情報を入出力部２３に与えるために用いられる。
【００３７】
入力装置５２は、例えば、スイッチ及びタッチパネルが例示されるが、これらに限定されるものではない。実施形態において、入力装置５２は、図２に示される運転室４内、より詳細には運転席４Ｓの近傍に設けられる。入力装置５２は、操作装置２５の右側レバー２５Ｒ及び左側レバー２５Ｌの少なくとも一方に取り付けられていてもよいし、運転室４内のモニタパネル２６に設けられていてもよい。また、入力装置５２は、入出力部２３に対して取り外し可能であってもよいし、電波又は赤外線を用いた無線通信により入出力部２３に情報を与えてもよい。
【００３８】
処理装置２０は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携して処理装置２０の機能を実現するものであってもよい。
【００３９】
作業機２の各部の寸法及び第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された情報である作業機２の動作角δ１，δ２，δ３から、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における作業機２の所定の位置が求められる。作業機２の寸法及び動作角δ１，δ２，δ３から求められる作業機２の所定の位置は、例えば、作業機２が有するバケット８の刃９の位置、バケットピン１５の位置及び第１リンクピン４７ａの位置がある。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、実施形態の作業機械である油圧ショベル１００の位置、例えば作業機２の位置を検出する位置検出器に相当する。
【００４０】
少なくとも一対の撮像装置３０が校正される場合、位置検出器によって検出される油圧ショベル１００の所定の位置は、少なくとも一対の撮像装置３０の撮像の対象となった作業機２の所定の位置と同一である。実施形態において、位置検出器によって検出される、油圧ショベル１００の所定の位置は作業機２の所定の位置であるが、油圧ショベル１００を構成する要素の所定の位置であれば、作業機２の所定の位置に限定されない。
【００４１】
＜撮像装置３０の校正＞
実施形態において、図２に示される一対の撮像装置３０ａ，３０ｂの組合せと、一対の撮像装置３０ｃ，３０ｄの組合せとで、それぞれステレオカメラが構成される。油圧ショベル１００が有する撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００が実際の作業に使用される前に、外部校正及び車体校正が行われる。外部校正は、一対の撮像装置３０同士の位置及び姿勢を求める作業である。詳細には、外部校正は、一対の撮像装置３０ａ，３０ｂ同士の位置及び姿勢と、一対の撮像装置３０ｃ，３０ｄ同士の位置及び姿勢とを求める。これらの情報が得られないと、ステレオ方式による三次元計測は実現できない。
【００４２】
一対の撮像装置３０ａ，３０ｂ同士の位置及び姿勢の関係は式（１）で、一対の撮像装置３０ｃ，３０ｄ同士の位置及び姿勢の関係は式（２）で得られる。Ｐａは撮像装置３０ａの位置、Ｐｂは撮像装置３０ｂの位置、Ｐｃは撮像装置３０ｃの位置、Ｐｄは撮像装置３０ｄの位置である。Ｒ１は位置Ｐｂを位置Ｐａに変換するための回転行列であり、Ｒ２は位置Ｐｄを位置Ｐｃに変換するための回転行列である。Ｔ１は位置Ｐｂを位置Ｐａに変換するための並進行列であり、Ｒ２は位置Ｐｄを位置Ｐｃに変換するための並進行列である。
Ｐａ＝Ｒ１・Ｐｂ＋Ｔ１・・（１）
Ｐｃ＝Ｒ２・Ｐｄ＋Ｔ２・・（２）
【００４３】
車体校正は、撮像装置３０と油圧ショベル１００の車体１との位置関係を求める作業である。車体校正は、内部校正ともいう。実施形態の車体校正では、撮像装置３０ａと車体１との位置関係及び撮像装置３０ｃと車体１との位置関係が求められる。これらの位置関係が得られないと、ステレオ方式によって三次元計測した結果を現場座標系に変換できない。
【００４４】
撮像装置３０ａと車体１との位置関係は式（３）で、撮像装置３０ｂと車体１との位置関係は式（４）で、撮像装置３０ｃと車体１との位置関係は式（５）で、撮像装置３０ｄと車体１との位置関係は式（６）で得られる。Ｐｍａは車体座標系における撮像装置３０ａの位置、Ｐｍｂは車体座標系における撮像装置３０ｂの位置、Ｐｍｃは車体座標系における撮像装置３０ｃの位置、Ｐｍｄは車体座標系における撮像装置３０ｄの位置である。Ｒ３は位置Ｐａを車体座標系における位置に変換するための回転行列であり、Ｒ４は位置Ｐｂを車体座標系における位置に変換するための回転行列であり、Ｒ５は位置Ｐｃを車体座標系における位置に変換するための回転行列であり、Ｒ６は位置Ｐｄを車体座標系における位置に変換するための回転行列である。Ｔ３は位置Ｐａを車体座標系における位置に変換するための並進行列であり、Ｔ４は位置Ｐｂを車体座標系における位置に変換するための並進行列であり、Ｔ５は位置Ｐｃを車体座標系における位置に変換するための並進行列であり、Ｔ６は位置Ｐｄを車体座標系における位置に変換するための並進行列である。
Ｐｍａ＝Ｒ３・Ｐａ＋Ｔ３・・（３）
Ｐｍｂ＝Ｒ４・Ｐｂ＋Ｔ４・・（４）
Ｐｍｃ＝Ｒ５・Ｐｃ＋Ｔ５・・（５）
Ｐｍｄ＝Ｒ６・Ｐｄ＋Ｔ６・・（６）
【００４５】
処理装置２０は、回転行列Ｒ３，Ｒ４，Ｒ５，Ｒ６及び並進行列Ｔ３，Ｔ４，Ｔ５，Ｔ６を求める。これらが求められると、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの位置Ｐａ，Ｐｂ，Ｐｃ，Ｐｄが車体座標系における位置Ｐｍａ，Ｐｍｂ，Ｐｍｃ，Ｐｍｄに変換される。回転行列Ｒ３，Ｒ４，Ｒ５，Ｒ６は、図２に示される車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＸｍ軸周りにおける回転角α、Ｙｍ軸周りにおける回転角β及びＺｍ軸周りにおける回転角γを含む。並進行列Ｔ３，Ｔ４，Ｔ５，Ｔ６は、Ｘｍ方向における大きさｘｍ、Ｙｍ方向における大きさｙｍ及びＺｍ方向における大きさｚｍを含む。
【００４６】
並進行列Ｔ３の要素である大きさｘｍ、ｙｍ、ｚｍは、車体座標系における撮像装置３０ａの位置を表す。並進行列Ｔ４の要素である大きさｘｍ、ｙｍ、ｚｍは、車体座標系における撮像装置３０ｂの位置を表す。並進行列Ｔ５の要素である大きさｘｍ、ｙｍ、ｚｍは、車体座標系における撮像装置３０ｃの位置を表す。並進行列Ｔ６の要素である大きさｘｍ、ｙｍ、ｚｍは、車体座標系における撮像装置３０ｄの位置を表す。
【００４７】
回転行列Ｒ３に含まれる回転角α，β，γは、車体座標系における撮像装置３０ａの姿勢を表す。回転行列Ｒ４に含まれる回転角α，β，γは、車体座標系における撮像装置３０ｂの姿勢を表す。回転行列Ｒ５に含まれる回転角α，β，γは、車体座標系における撮像装置３０ｃの姿勢を表す。回転行列Ｒ６に含まれる回転角α，β，γは、車体座標系における撮像装置３０ｄの姿勢を表す。
【００４８】
油圧ショベル１００は、例えば、工場から出荷される前に外部校正及び車体校正が行われる。これらの結果は図４に示される処理装置２０の記憶部２２に記憶される。工場の出荷時において、外部校正は、例えば工場の建屋内に設置された、専用設備となる櫓（やぐら）及び校正のための機器としてのトータルステーションと呼ばれる計測器を用いて行われる。この櫓は、幅が数メートルで高さが１０メートル近い、鉄骨部材等により校正される大きな構造物である。油圧ショベル１００の作業現場で撮像装置３０の位置ずれが発生したり撮像装置３０を交換したりした場合には、撮像装置３０の外部校正が必要になる。作業現場では外部校正用の櫓及びトータルステーションを準備することが困難である。
【００４９】
校正システム５０は、実施形態に係る校正方法を実行することにより、油圧ショベル１００の作業現場で撮像装置３０の外部校正及び車体校正を実現する。詳細には、校正システム５０は、作業機２の所定の位置、実施形態ではバケット８の刃９の位置を用い、異なる作業機２の姿勢で得られた複数のバケット８の刃９の位置と、油圧ショベル１００の外部における所定の位置とを用いて、外部校正及び車体校正の両方を実現する。油圧ショベル１００の外部における所定の位置の詳細については、後述する図８等を用いて説明する。
【００５０】
図５は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際に、撮像装置３０によって撮像される対象を示す図である。校正システム５０は、撮像装置３０を校正する場合、バケット８の刃９に取り付けられたターゲットＴｇの位置を、作業機２の所定の位置として用いる。ターゲットＴｇは、作業機２の所定の位置に配置された第１標識である。ターゲットＴｇは、例えば刃９Ｌ，９Ｃ，９Ｒに取り付けられる。運転室４からバケット８を見たときにおいて、刃９Ｌは左端、刃９Ｌは右端、刃９Ｃは中央に配置されている。なお、実施形態においては、刃９を備えたバケット８を用いた場合を説明するが、油圧ショベル１００は、刃９を備えない、例えば法面バケットと呼ばれるような他の形態のバケットを備えてもよい。
【００５１】
少なくとも一対の撮像装置３０の校正にターゲットＴｇを用いるので、作業機２の所定の位置及び油圧ショベル１００の外部における所定の位置が確実に検出される。実施形態において、ターゲットＴｇは、白地に黒点が記されたものである。このようなターゲットにより、コントラストが明瞭になるので、作業機２の所定の位置及び油圧ショベル１００の外部における所定の位置は、より確実に検出される。
【００５２】
実施形態において、ターゲットＴｇは、バケット８の幅方向Ｗ、すなわちバケットピン１５が伸びる方向と平行な方向に並んでいる。実施形態において、バケット８の幅方向Ｗは、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄの少なくとも一方が配列されている方向である。実施形態においては、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄの両方が配列されている方向は同一である。バケット８の幅方向Ｗにおける中央の刃９は、車体座標系において１つの平面、すなわちＸｍ−Ｚｍ平面上のみを移動する。中央の刃９の位置は、バケット８の幅方向Ｗにおける姿勢の変動の影響を受けにくいので、位置の精度が高い。
【００５３】
実施形態において、バケット８は、３個の刃９にターゲットＴｇが設けられるが、ターゲットＴｇの数、すなわち計測対象となる刃９の数は３個に限定されない。ターゲットＴｇは、少なくとも１個の刃９に設けられてもよい。ただし、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄを用いたステレオ方式による位置の計測の精度が低下することを抑制するため、実施形態に係る校正方法では、２個以上のターゲットＴｇがバケット８の幅方向Ｗに離れた位置に設けられていることが、高い計測精度を得る上で好ましい。
【００５４】
図６は、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによって撮像されたターゲットＴｇの画像ＩＭＧの一例を示す図である。図７は、バケット８の刃９に取り付けられたターゲットＴｇが撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによって撮像される位置を示す斜視図である。図８は、油圧ショベル１００の外部に設置されたターゲットＴｇが撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによって撮像される位置を示す斜視図である。
【００５５】
撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄがバケット８の刃９のターゲットＴｇを撮像すると、画像ＩＭＧには３個のターゲットＴｇｌ，Ｔｇｃ，Ｔｇｒが存在する。ターゲットＴｇｌは刃９Ｌに取り付けられたものである。ターゲットＴｇｃは刃９Ｃに取り付けられたものである。ターゲットＴｇｒは刃９Ｒに取り付けられたものである。
【００５６】
ステレオカメラを構成する一対の撮像装置３０ａ，３０ｂがターゲットＴｇを撮像すると、撮像装置３０ａ及び撮像装置３０ｂから、それぞれ画像ＩＭＧが得られる。ステレオカメラを構成する一対の撮像装置３０ｃ，３０ｄがターゲットＴｇを撮像すると、撮像装置３０ｃ及び撮像装置３０ｄから、それぞれ画像ＩＭＧが得られる。ターゲットＴｇは、バケット８の刃９に取り付けられているため、ターゲットＴｇの位置は、バケット８の刃９の位置、すなわち作業機２の所定の位置を示す。ターゲットＴｇの位置の情報は、少なくとも一対の撮像装置３０によって撮像された作業機２の所定の位置に関する情報である第１位置情報となる。ターゲットＴｇの位置の情報は、画像ＩＭＧにおける位置の情報であり、例えば、画像ＩＭＧを構成する画素の位置の情報である。
【００５７】
第１位置情報は、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄが、異なる姿勢の作業機２から第１標識であるターゲットＴｇの位置を撮像することにより得られた情報である。実施形態においては、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄは、図７に示されるように、位置Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈの８箇所で、ターゲットＴｇを撮像する。
【００５８】
図７は、ターゲットＴｇをＸｇ−Ｙｇ−Ｚｇ座標系で表している。Ｘｇ軸は、油圧ショベル１００の車体座標系のＸｍ軸と平行な軸であり、油圧ショベル１００の旋回体３の前端を０とする。Ｙｇ軸は、油圧ショベル１００の車体座標系のＹｍ軸と平行な軸である。Ｚｇ軸は、油圧ショベル１００の車体座標系のＺｍ軸と平行な軸である。ターゲットＴｇのＹｇ軸方向の位置Ｙｇ０，Ｙｇ１，Ｙｇ２は、ターゲットＴｇが取り付けられたバケット８の刃９Ｌ，９Ｃ，９Ｒの位置に対応する。Ｙｇ軸方向の位置Ｙｇ１は、バケット８の幅方向Ｗにおける中央の位置である。
【００５９】
位置Ａ，Ｂ，Ｃは、Ｘｇ軸方向における位置がＸｇ１であり、Ｚｇ軸方向における位置はそれぞれＺｇ１，Ｚｇ２，Ｚｇ３である。位置Ｄ，Ｅ，Ｆは、Ｘｇ軸方向における位置がＸｇ２であり、Ｚｇ軸方向における位置はそれぞれＺｇ１，Ｚｇ２，Ｚｇ３である。位置Ｇ，Ｈは、Ｘｇ軸方向における位置がＸｇ３であり、Ｚｇ軸方向における位置はそれぞれＺｇ２，Ｚｇ３である。位置Ｘｇ１，Ｘｇ２，Ｘｇ３は、この順に油圧ショベル１００の旋回体３から遠くなる。
【００６０】
実施形態において、処理装置２０は、それぞれの位置Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈで、バケット８の幅方向Ｗの中央に配置された刃９Ｃの位置を求める。詳細には、処理装置２０は、それぞれの位置Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈで、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値を取得して、動作角δ１，δ２，δ３を求める。処理装置２０は、求めた動作角δ１，δ２，δ３及び作業機２の長さＬ１，Ｌ２，Ｌ３から刃９Ｃの位置を求める。このようにして得られた刃９Ｃの位置は、油圧ショベル１００の車体座標系における位置である。位置Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈにおいて得られた車体座標系における刃９Ｃの位置の情報は、位置検出器である第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃが、異なる姿勢の作業機２から作業機２の所定の位置である刃９Ｃの位置を検出することにより得られた情報、すなわち第２位置情報である。
【００６１】
実施形態において、図８に示されるように、油圧ショベル１００の外部における所定の位置には、ターゲットＴｇが設置される。油圧ショベル１００の外部に設置されるターゲットＴｇは、第２標識である。実施形態において、ターゲットＴｇは、例えば、油圧ショベル１００が稼働する作業現場に設置される。詳細には、ターゲットＴｇは、油圧ショベル１００の前方の地面ＧＤに設置される。ターゲットＴｇが油圧ショベル１００の前方に設置されることにより、処理装置２０が撮像装置３０の校正に要する時間、より詳細には実施形態に係る校正方法の演算が収束する時間を短くすることができる。
【００６２】
ターゲットＴｇは、第１の方向と、第１の方向と直交する第２の方向とに、例えば格子状に設置される。第１の方向において、ターゲットＴｇは、油圧ショベル１００の旋回体３の前端３Ｔを基準として、距離Ｘ１，Ｘ２，Ｘ３の位置に設置される。第２の方向において、ターゲットＴｇは、距離Ｙ１の範囲に３個配置される。距離Ｘ１，Ｘ２，Ｘ３，Ｙ１の大きさは特定の値に限定されるものではないが、撮像装置３０の撮像範囲一杯にターゲットＴｇが配置されるようにすることが好ましい。また、旋回体３から最も遠い距離Ｘ３は、作業機２を最大限伸ばした状態の長さよりも大きくすることが好ましい。
【００６３】
一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄは、油圧ショベル１００の外部に設置されたターゲットＴｇを撮像する。ターゲットＴｇの位置の情報は、少なくとも一対の撮像装置３０によって撮像された、油圧ショベル１００の外部における所定の位置に関する情報である第３位置情報となる。ターゲットＴｇの位置の情報は、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄによって撮像された画像における位置の情報であり、例えば、画像を構成する画素の位置の情報である。
【００６４】
油圧ショベル１００の外部に設置される複数のターゲットＴｇは、可能な限り、それぞれの撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄに共通に写るようにすることが好ましい。また、ターゲットＴｇは、それぞれの撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを向くように設置されることが好ましい。このために、ターゲットＴｇは地面ＧＤに設置された台座に取り付けられてもよい。校正の現場において、油圧ショベル１００の前方に、油圧ショベル１００から遠ざかるにしたがって高さが高くなる傾斜面があれば、ターゲットＴｇはこの傾斜面に設置されてもよい。また、校正の現場において、建物等の構造物の壁面があれば、ターゲットＴｇはこの壁面に設置されてもよい。この場合、油圧ショベル１００を、ターゲットＴｇが設置された壁面の前に移動させればよい。このようにターゲットＴｇが設置されると、ターゲットＴｇは撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを向くので、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄはターゲットＴｇを確実に撮像できる。実施形態では、設置されるターゲットＴｇの数が９個の場合を示すが、ターゲットＴｇの数は少なくとも６個あればよく、９個以上であってもよい。
【００６５】
処理装置２０の処理部２１は、第１位置情報と、第２位置情報と、第３位置情報とを用いて、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄの位置及び姿勢に関する情報を求める。処理部２１は、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄが撮像した対象の位置を第１の座標系から第２の座標系に変換するために用いられる変換情報を求める。一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄの位置に関する情報（以下において適宜、位置情報と称する）は、並進行列Ｘ３，Ｘ４，Ｘ５，Ｘ６に含まれる大きさｘｍ，ｙｍ，ｚｍである。一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄの姿勢に関する情報（以下において、適宜、姿勢情報と称する）は、回転行列Ｒ３，Ｒ４，Ｒ５，Ｒ６に含まれる回転角α，β，γである。変換情報は、回転行列Ｒ３，Ｒ４，Ｒ５，Ｒ６である。
【００６６】
処理部２１は、バンドル法を用いて第１位置情報、第２位置情報及び第３位置情報を処理し、位置情報、姿勢情報及び変換情報を求める。バンドル法を用いて位置情報、姿勢情報及び変換情報を求める手法は、空中写真測量の手法と同様である。
【００６７】
図５に示されるターゲットＴｇの車体座標系における位置をＰｍ（Ｘｍ、Ｙｍ、Ｚｍ）又はＰｍとする。図６に示される、撮像装置３０によって撮像されたターゲットＴｇの画像ＩＭＧ中における位置をＰｇ（ｉ，ｊ）又はＰｇとする。撮像装置座標系におけるターゲットＴｇの位置をＰｓ（Ｘｓ、Ｙｓ，Ｚｓ）又はＰｓとする。車体座標系及び撮像装置座標系におけるターゲットＴｇの位置は三次元の座標で表され、画像ＩＭＧにおけるターゲットＴｇの位置は二次元の座標で表される。
【００６８】
撮像装置座標系におけるターゲットの位置Ｐｓと車体座標系におけるターゲットＴｇの位置Ｐｍとの関係は、式（７）で表される。Ｒは位置Ｐｍを位置Ｐｓに変換するための回転行列、Ｔは位置Ｐｍを位置Ｐｓに変換するための並進行列である。回転行列Ｒ及び並進行列Ｔは、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄ毎に異なる。画像ＩＭＧ中におけるターゲットＴｇの位置Ｐｇと撮像装置座標系におけるターゲットの位置Ｐｓとの関係は、式（８）で表される。式（８）は、三次元の撮像装置座標系におけるターゲットの位置Ｐｓを、二次元の画像ＩＭＧ中におけるターゲットＴｇの位置Ｐｇに変換する計算式である。
Ｐｓ＝Ｒ・Ｐｍ＋Ｔ・・（７）
（ｉ−ｃｘ，ｊ−ｃｘ）Ｄ＝（Ｘｓ，Ｙｓ）／Ｚｓ・・（８）
【００６９】
式（８）に含まれるＤは、焦点距離を１ｍｍとしたときの画素比（ｍｍ／ｐｉｘｅｌ）である。また、（ｃｘ，ｃｙ）は、画像中心と呼ばれるものであり、撮像装置３０の光軸と画像ＩＭＧとの交点の位置を示す。Ｄ及びｃｘ，ｃｙは、内部校正により求められる。
【００７０】
式（７）及び式（８）から、１つの撮像装置３０によって撮像された１つのターゲットＴｇについて、式（９）から式（１１）が得られる。
ｆ（Ｘｍ，ｉ，ｊ；Ｒ，Ｔ）＝０・・（９）
ｆ（Ｙｍ，ｉ，ｊ；Ｒ，Ｔ）＝０・・（１０）
ｆ（Ｚｍ，ｉ，ｊ；Ｒ，Ｔ）＝０・・（１１）
【００７１】
処理部２１は、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによって撮像されたターゲットＴｇの数だけ、式（９）から式（１１）を作成する。処理部２１は、バケット８の幅方向Ｗにおける中央の刃９に取り付けられたターゲットＴｇの位置については、既知の座標として車体座標系における位置Ｐｍの値を与える。処理部２１は、バケット８の刃９に取り付けられた残りのターゲットＴｇ、すなわちバケット８の両端の刃９に取り付けられたターゲットＴｇの位置については、座標が未知であるとする。処理部２１は、油圧ショベル１００の外部に設置されたターゲットＴｇの位置についても、座標が未知であるとする。バケット８の幅方向Ｗにおける中央の刃９に取り付けられたターゲットＴｇの位置は、空中写真測量における基準点に相当する。バケット８の両端の刃９に取り付けられたターゲットＴｇの位置及び油圧ショベル１００の外部に設置されたターゲットＴｇの位置は、空中写真測量におけるパスポイントに相当する。
【００７２】
実施形態において、バケット８の幅方向Ｗにおける中央の刃９に取り付けられたターゲットＴｇは８個、バケット８の両端の刃９に取り付けられたターゲットＴｇは１６個、油圧ショベル１００の外部に設置されたターゲットＴｇのうち校正に使用されるものを５個とすると、１つの撮像装置３０によって撮像された計２９個のターゲットＴｇについて、式（９）から式（１１）が得られる。実施形態に係る校正方法は、外部校正によって、少なくとも一対の撮像装置３０によるステレオマッチングを実現するものなので、処理部２１は、一対の撮像装置３０によって撮像された計２９個のターゲットＴｇについて、それぞれ式（９）から式（１１）を生成する。処理部２１は、最小二乗法を用いて、得られた複数の式から回転行列Ｒ及び並進行列Ｔを求める。
【００７３】
処理部２１は、得られた複数の式を、例えばニュートンラプソン法を用いて解くことにより、得られた複数の式中の未知数を決定する。このとき、処理部２１は、初期値として、例えば油圧ショベル１００が工場から出荷される前に行われた外部校正及び車体校正の結果を用いる。また、座標が未知のターゲットＴｇについて、処理部２１は推定値を用いる。例えば、バケット８の両端の刃９に取り付けられたターゲットＴｇの位置の推定値は、バケット８の幅方向Ｗにおける中央の刃９に取り付けられたターゲットＴｇの位置及びバケット８の幅方向Ｗの寸法から得られる。油圧ショベル１００の外部に設置されたターゲットＴｇの位置の推定値は、油圧ショベル１００の車体座標系の原点から計測した値とすることができる。
【００７４】
実施形態において、例えば油圧ショベル１００が工場から出荷される前に行われた外部校正及び車体校正の結果は、図４に示される記憶部２２に記憶される。油圧ショベル１００の外部に設置されたターゲットＴｇの位置の推定値は、校正を行う作業者、例えばサービスマン又は油圧ショベル１００のオペレータによって予め求められ、記憶部２２に記憶される。処理部２１は、得られた複数の式中の未知数を決定するにあたって、記憶部２２から外部校正の結果、車体校正の結果及び油圧ショベル１００の外部に設置されたターゲットＴｇの位置の推定値を読み出して、得られた複数の式を解く際の初期値とする。
【００７５】
初期値が設定されたら、処理部２１は、得られた複数の式を解く。処理部２１は、得られた複数の式を解く演算が収束したら、そのときの値を位置情報、姿勢情報及び変換情報とする。詳細には、演算が収束したときにおける各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄに対して得られた大きさｘｍ、ｙｍ、ｚｍ及び回転角α，β，γが、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの位置情報及び姿勢情報となる。変換情報は、回転角α，β，γを含む回転行列Ｒ及び大きさｘｍ、ｙｍ、ｚｍを要素とする並進行列Ｔである。
【００７６】
図９は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際の処理例を示すフローチャートである。検出工程であるステップＳ１１において、処理装置２０の処理部２１は、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄに、作業機２の複数の異なる姿勢でバケット８の刃９に取り付けられたターゲットＴｇを撮像させる。このとき、処理部２１は、作業機２のそれぞれの姿勢のときに、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃから検出値を取得する。そして、処理部２１は、取得した検出値に基づいて刃９Ｃの位置を求める。処理部２１は、求めた刃９Ｃの位置を、記憶部２２に一時的に記憶させる。処理部２１は、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄに、油圧ショベル１００の外部に設置されたターゲットＴｇを撮像させる。処理部２１は、それぞれの撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによって撮像された画像ＩＭＧ中におけるターゲットＴｇの位置Ｐｇを求め、記憶部２２に一時的に記憶させる。
【００７７】
処理部２１は、バンドル法を用いて第１位置情報、第２位置情報及び第３位置情報を処理して、位置情報、姿勢情報及び変換情報を求めるための複数の式を生成する。ステップＳ１２において、処理部２１は、初期値を設定する。演算工程であるステップＳ１３において、処理部２１は、バンドル法の演算を実行する。ステップＳ１４において、処理部２１は、演算の収束判定を実行する。
【００７８】
処理部２１は、演算が収束しないと判定した場合（ステップＳ１４、Ｎｏ）、ステップＳ１５に進み、バンドル法による演算を開始する際の初期値を変更し、ステップＳ１３の演算及びステップＳ１４の収束判定を実行する。処理部２１は、演算が収束したと判定した場合（ステップＳ１４、Ｙｅｓ）、校正を終了する。この場合、演算が収束したときの値を位置情報、姿勢情報及び変換情報とする。
【００７９】
＜第３位置情報を得るためのターゲットＴｇ＞
図１０は、第３位置情報を得るためのターゲットＴｇの他の例を示す図である。前述したように、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄは、異なる複数の姿勢の作業機２から、バケット８の刃９に取り付けられたターゲットＴｇを撮像する。図１０に示される例では、油圧ショベル１００の外部に設置されたターゲットＴｇを用いて、下方を向いて取り付けられた一対の撮像装置３０ｃ，３０ｄによって撮像された画像中に占めるターゲットＴｇの割合を増加させる。
【００８０】
このように、一対の撮像装置３０ｃ，３０ｄによって撮像された画像中に占めるターゲットＴｇの割合が増加すればよいので、第３位置情報は、油圧ショベル１００の外部に設置されたターゲットＴｇから得られるものには限定されない。例えば、図１０に示されるように、ターゲットＴｇは、取付具６０によってバケット８の幅よりも大きい位置に配置されてもよい。
【００８１】
取付具６０は、ターゲットＴｇが取り付けられる軸部材６２と、軸部材６２の一端部に取り付けられた固定用部材６１とを有する。固定用部材６１は磁石を有している。固定用部材６１は、作業機２に吸着することにより、例えば、ターゲットＴｇ及び軸部材６２を作業機２に取り付ける。このように、固定用部材６１は、作業機２に取り付けることができ、かつ作業機２から取り外すことができる。この例では、固定用部材６１がバケットピン１５に吸着して、ターゲットＴｇ及び軸部材６２を作業機２に固定している。作業機２にターゲットＴｇが取り付けられると、ターゲットＴｇはバケット８の刃９に取り付けられたターゲットＴｇよりも、バケット８の幅方向Ｗの外側に配置される。
【００８２】
外部校正及び車体校正において、処理部２１は、取付具６０によって作業機２に取り付けられたターゲットＴｇ及びバケット８の刃９に取り付けられたターゲットＴｇを、作業機２の姿勢を異ならせて、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄに撮像させる。取付具６０によって作業機２に取り付けられたターゲットＴｇが撮像されることにより、下方を向いて取り付けられた一対の撮像装置３０ｃ，３０ｄによって撮像された画像中に占めるターゲットＴｇの割合の低下が抑制される。
【００８３】
この例は、外部校正及び車体校正において、取付具６０を用いて作業機２にターゲットＴｇを取り付けるだけでよいので、油圧ショベル１００の外部にターゲットＴｇを設置する必要はない。このため、外部校正及び車体校正の準備を簡単にすることができる。
【００８４】
＜校正が行われる場所について＞
【００８５】
図１１は、少なくとも一対の撮像装置３０の校正が行われる場所を説明するための図である。図１１に示されるように、油圧ショベル１００は、油圧ショベル１００から遠ざかるにしたがって高さが低くなる傾斜面ＳＰの手前に設置されている。このような傾斜面ＳＰが油圧ショベル１００の前方にある位置に油圧ショベル１００が設置された状態で、少なくとも一対の撮像装置３０の校正が行われてもよい。
【００８６】
実施形態の校正において、処理部２１は、バケット８の刃９に取り付けられたターゲットＴｇを、作業機２の姿勢を異ならせて、一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄに撮像させる。この場合、傾斜面ＳＰ上でバケット８を上下させることにより、バケット８が動作する範囲は、油圧ショベル１００が設置されている面よりも低い範囲まで広がる。このため、下方を向いて取り付けられた一対の撮像装置３０ｃ，３０ｄは、油圧ショベル１００が設置されている面よりも低い範囲にバケット８が位置したときに、バケット８の刃９に取り付けられたターゲットＴｇを撮像することができる。その結果、下方を向いて取り付けられた一対の撮像装置３０ｃ，３０ｄによって撮像された画像中に占めるターゲットＴｇの割合の低下が抑制される。
【００８７】
＜校正の準備に用いられるツールの例＞
図１２は、油圧ショベル１００の外部にターゲットＴｇを設置する際に用いられるツールの一例を示す図である。ターゲットＴｇの設置時に、設置作業の補助するツールとして、例えば、ターゲットＴｇのガイダンスを画面７１に表示する表示部を備えた携帯端末装置７０が用いられてもよい。この例において、携帯端末装置７０は、校正の対象となっている一対の撮像装置３０が撮像している画像を、油圧ショベル１００の処理装置２０から取得する。そして、携帯端末装置７０は、撮像装置３０が撮像している画像を、ガイド枠７３，７４とともに表示部の画面７１に表示する。
【００８８】
ガイド枠７３，７４は、一対の撮像装置３０によって撮像された一対の画像において、ステレオマッチングに用いることができる範囲を示している。ステレオマッチングにおいては、一対の撮像装置３０によって撮像された一対の画像中の対応する部分を探索する。一対の撮像装置３０はそれぞれ撮像範囲が異なるので、一対の撮像装置３０が撮像した範囲のうち共通する部分が探索の対象、すなわちステレオマッチング（三次元計測）に用いることができる範囲となる。ガイド枠７３，７４は一対の撮像装置３０が撮像した範囲のうち共通する部分を示す画像である。
【００８９】
図１２に示される例では、一方の撮像装置３０によって撮像された画像が画面７１の左側に表示され、他方の撮像装置３０によって撮像された画像が画面７１の右側に表示されている。それぞれの画像には、５個のターゲットＴｇ１，Ｔｇ２，Ｔｇ３，Ｔｇ４，Ｔｇ５が現れている。すべてのターゲットＴｇ１，Ｔｇ２，Ｔｇ３，Ｔｇ４，Ｔｇ５はガイド枠７３の内側に収まっているが、ターゲットＴｇ１はガイド枠７４の外側にある。この場合、ターゲットＴｇは、校正に用いられなくなり、校正の精度を確保できなくなる。このため、校正を行う作業者は、携帯端末装置７０の画面７１を視認しながらターゲットＴｇ５がガイド枠７４内に入るようにターゲットＴｇ５の位置を調整する。
【００９０】
画面７１には、ターゲットＴｇ５が移動する様子が示されるので、校正を行う作業者は、多くのターゲットＴｇを、一対の撮像装置３０のステレオマッチングに用いることができる範囲に配置できるとともに、前述した範囲全体にターゲットＴｇを配置できる。その結果、実施形態に係る校正の精度が向上する。携帯端末装置７０の画面にガイド枠７３，７４及び一対の撮像装置３０によって撮像された画像が表示されることにより、校正を行う作業者は、ターゲットＴｇを設置しながら結果を確認できるので、ターゲットＴｇを設置する際の作業効率が向上する。
【００９１】
この例では、一対の撮像装置３０によって撮像された一対の画像が携帯端末装置７０に備えられた表示部の画面７１に表示されたが、油圧ショベル１００が有する一対の撮像装置３０ａ，３０ｂ及び一対の撮像装置３０ｃ，３０ｄによって撮像された、合計４個の画像が画面７１に表示されてもよい。このようにすることで、校正を行う作業者は、油圧ショベル１００が有するすべての撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによって撮像された画像中におけるターゲットＴｇの配置のバランスを考慮しながら、ターゲットＴｇを設置できる。
【００９２】
ガイド枠７３，７４及び一対の撮像装置３０によって撮像された画像は、携帯端末装置７０の画面７１以外の画面に表示されてもよい。例えば、油圧ショベル１００の運転室４内に設けられたモニタパネル２６にガイド枠７３，７４及び一対の撮像装置３０によって撮像された画像が表示されてもよい。このようにすれば、携帯端末装置７０は不要になる。
【００９３】
以上、実施形態に係る校正システム５０及び校正方法は、作業機２の所定の位置を少なくとも一対の撮像装置３０によって撮像するとともに、得られた画像から作業機２の所定の位置に関する第１位置情報を求め、撮像時における所定の位置に関する第２位置情報を少なくとも一対の撮像装置３０とは異なる位置検出器によって求め、作業機械の外部における所定の位置を少なくとも一対の撮像装置３０によって撮像するとともに、得られた画像から作業機械の外部における所定の位置に関する第３位置情報を求める。そして、実施形態に係る校正システム５０及び校正方法は、第１の位置情報、第２の位置情報及び第３の位置情報を用いて、少なくとも一対の撮像装置３０の位置及び姿勢に関する情報と、少なくとも一対の撮像装置３０が撮像した対象の位置を第１の座標系から第２の座標系に変換するために用いられる変換情報と、を求める。このような処理により、実施形態に係る校正システム５０及び校正方法は、作業機械に取り付けられた少なくとも一対の撮像装置３０の外部校正と車体校正とを同時に行うことができる。また、実施形態に係る校正システム５０及び校正方法は、作業機２の所定の位置及び作業機械の外部における所定の位置を少なくとも一対の撮像装置３０によって撮像することによって校正に必要な情報が得られるので、校正のための機器、その機器を操作するための人員、及び専用設備等を準備することが困難な作業現場においても、少なくとも一対の撮像装置３０を校正することができる。
【００９４】
実施形態に係る校正システム５０及び校正方法は、作業機２に取り付けられたターゲットＴｇに加え、作業機械の外部にターゲットＴｇが設置されるので、少なくとも一対の撮像装置３０によって撮像された画像の広い範囲にターゲットＴｇを存在させることができる。その結果、少なくとも一対の撮像装置３０によって撮像される対象の広い範囲で、ステレオ方式による三次元計測の精度を向上させることができる。また、作業機械の外部にターゲットＴｇが設置されるので、下方を向いて設置された一対の撮像装置３０ｃ，３０ｓによって撮像された画像に占めるターゲットＴｇの割合の低下が抑制される。その結果、ステレオ方式によって地面を確実に三次元計測することができるとともに、計測精度を向上させることができる。
【００９５】
実施形態において、第２位置情報を、少なくとも一対の撮像装置３０が配列されている方向における、前記作業機の中央の位置に関する情報とすることにより、車体校正の精度低下が抑制される。実施形態において、第２位置情報は、作業機２の異なる少なくとも３つの姿勢で得られた複数の情報であればよい。実施形態においては、二対の撮像装置３０を校正したが、実施形態に係る校正システム５０及び校正方法は、一対の撮像装置３０の校正、及び三対以上の撮像装置３０の校正にも適用できる。
【００９６】
実施形態において、位置検出器は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃであったが、これらに限定されない。例えば、油圧ショベル１００がＲＴＫ−ＧＮＳＳ（Real  Time  Kinematic  -  Global  Navigation  Satellite  Systems、ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナを備え、ＧＮＳＳによってアンテナの位置を計測することにより自車の位置を検出する位置検出システムを備えているとする。この場合、前述した位置検出システムを位置検出器とし、ＧＮＳＳ用のアンテナの位置を作業機械の所定の位置とする。そして、ＧＮＳＳ用のアンテナの位置を変化させながら少なくとも一対の撮像装置３０及び位置検出器によってＧＮＳＳ用のアンテナの位置を検出することで第１位置情報及び第２位置情報を得る。処理部２１は、得られた第１位置情報及び第２位置情報と、作業機械の外部に設置されたターゲットＴｇから得られた第３位置情報とを用いて、位置情報、姿勢情報及び変換情報を求める。
【００９７】
この他にも、取り外し可能なＧＮＳＳ受信器を油圧ショベル１００の所定の位置、例えば走行体５又は作業機２の所定の位置に取り付けて、ＧＮＳＳ受信器を位置検出器とすることで、前述した自車の位置を検出する位置検出システムを位置検出器とした場合と同様に変換情報が得られる。
【００９８】
作業機械は、少なくとも一対の撮像装置３０を備え、少なくとも一対の撮像装置３０を用いてステレオ方式で対象を三次元計測するものであれば油圧ショベル１００に限定されない。作業機械は、作業機を有していればよく、例えばホイールローダー又はブルドーザのような作業機械であってもよい。
【００９９】
実施形態において、位置情報、姿勢情報及び変換情報を求める際に、刃９にターゲットＴｇを設けたが、これらは必ずしも必要ではない。例えば、図４に示される入力装置５２によって、少なくとも一対の撮像装置３０によって撮像された対象の画像内に、処理部２１が位置を求める部分、例えばバケット８の刃９の部分が指定されてもよい。
【０１００】
以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。
【符号の説明】
【０１０１】
１  車体
２  作業機
３  旋回体
３Ｔ  前端
４  運転室
５  走行体
６  ブーム
７  アーム
８  バケット
９，９Ｌ，９Ｃ，９Ｒ  刃
１０  ブームシリンダ
１１  アームシリンダ
１２  バケットシリンダ
１８Ａ  第１角度検出部
１８Ｂ  第２角度検出部
１８Ｃ  第３角度検出部
２０  処理装置
２１  記憶部
２１  処理部
２２  記憶部
２３  入出力部
３０，３０ａ，３０ｂ，３０ｃ，３０ｄ  撮像装置
５０  校正システム
１００  油圧ショベル
Ｔｇ，Ｔｇ１，Ｔｇ２，Ｔｇ３，Ｔｇ４，Ｔｇ５，Ｔｇｌ，Ｔｇｃ，Ｔｇｒ  ターゲット
【図１】
2016148309.tif 000003
【図２】
2016148309.tif 000004
【図３】
2016148309.tif 000005
【図４】
2016148309.tif 000006
【図５】
2016148309.tif 000007
【図６】
2016148309.tif 000008
【図７】
2016148309.tif 000009
【図８】
2016148309.tif 000010
【図９】
2016148309.tif 000011
【図１０】
2016148309.tif 000012
【図１１】
2016148309.tif 000013
【図１２】
2016148309.tif 000014
【国際調査報告】
2016148309.tif 000015
2016148309.tif 000016