(57)【要約】【課題】キャリブレーションにおける手間や時間の増加を抑制しつつ、キャリブレーションの精度を向上することができる作業機械を提供すること。【解決手段】合成映像を合成条件に基づいて生成して表示装置１７に出力するコントローラ１２は、校正処理に用いる予め定めたキャリブレーションマーカ２０の形状を記憶し、複数のカメラ１１ａ〜１１ｄで撮影した映像におけるキャリブレーションマーカ２０の位置を特定し、複数のカメラ１１ａ〜１１ｄで撮影した映像に基づいて、複数のカメラ１１ａ〜１１ｄからキャリブレーションマーカ２０における複数の特徴点までの距離を算出し、算出した距離に基づいて、複数のカメラ１１ａ〜１１ｄのキャリブレーションマーカ２０に対する取り付け位置および取り付け角度を算出し、算出した取り付け位置および取り付け角度に基づいて、合成映像を生成する際の合成条件を特定する。【選択図】  図４
2020045687.tif 000002
【特許請求の範囲】
【請求項１】
下部走行体と、
前記下部走行体に対して旋回可能に設けられた上部旋回体と、
前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラと、
前記複数のカメラによって撮影された映像から合成された合成映像を表示する表示装置と、
前記合成映像を合成条件に基づいて生成し、前記表示装置に出力するコントローラとを備えた作業機械において、
前記コントローラは、前記複数のカメラで撮影した映像において、校正処理に用いる予め定めた形状のキャリブレーションマーカの位置を特定し、前記複数のカメラで撮影した映像に基づいて、前記複数のカメラから前記キャリブレーションマーカにおける複数の特徴点までの距離を算出し、算出した距離に基づいて、前記複数のカメラの前記キャリブレーションマーカに対する取り付け位置および取り付け角度を算出し、算出した取り付け位置および取り付け角度に基づいて、前記合成映像を生成する際の前記合成条件を特定し、特定した合成条件に基づいて合成映像を合成して前記表示装置に出力することを特徴とする作業機械。
【請求項２】
請求項１記載の作業機械において、
前記合成映像は、前記上部旋回体及び前記下部走行体からなる車体の上空から前記車体と周囲の状況とを俯瞰的に撮影した映像を擬似的に合成した俯瞰映像であり、
前記コントローラは、前記複数のカメラでそれぞれ撮影された複数の映像から前記俯瞰映像を生成する際の合成条件を特定することを特徴とする作業機械。
【請求項３】
請求項２記載の作業機械において、
前記コントローラは、前記複数のカメラから前記キャリブレーションマーカにおける少なくとも３点以上の特徴点までの距離に基づいて、前記複数のカメラの取り付け位置および取り付け角度をそれぞれ算出し、前記複数のカメラで撮影した映像における前記キャリブレーションマーカの３点以上の特徴点の位置に基づいて、前記合成条件を特定することを特徴とする作業機械。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機械に関する。
【背景技術】
【０００２】
近年、作業機械の電子化、情報化が進み、多くの電子機器が搭載されるようになっている。例えば、油圧ショベル等の作業機械には、車体の周囲を複数のカメラによって撮影し、その映像をキャブ内の表示部に表示することにより、キャブ内の作業者が運転席に着座したまま映像を確認することができ、車体の周囲の状況を知ることができるものがある。特に、油圧ショベル等の作業機械では、構造上の理由によりキャブ内の作業者の車体の周囲に対する視界が制限され易いので、キャブ内の作業者が表示部の映像から車体の周囲の状況をより正確に把握できる技術が重要となっている。
【０００３】
このようなキャブ内の作業者の視界を補助する従来技術として、例えば、特許文献１には、車体に搭載された複数のカメラで車体の周囲を撮影し、撮影した映像を合成処理することで車体の上空から車体と周囲の状況を俯瞰的に撮影した映像（以降、便宜的に俯瞰映像と称する）を生成し、キャブ内の表示部に表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１２５８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術のように、複数の映像から合成した俯瞰映像などを表示部に表示する際には、カメラの取付位置や取付角度の設計値（設定値）からの誤差（以降、取付位置誤差及び取付角度誤差と称する）により、合成した俯瞰映像にラップやずれが発生するので、カメラの取付位置誤差及び取付角度誤差を補正する（すなわち、キャリブレーションを行う）必要がある。各カメラの取付位置誤差及び取付角度誤差のキャリブレーション方法としては、例えば、各カメラの撮影範囲の予め定めた範囲などにマーカ（目印）となるものを設置した後、各カメラで撮影された映像中のマーカを基準点にして各カメラ（各映像）間のラップやずれを補正する補正値を算出する方法があり、その補正値を俯瞰映像の生成処理に適用することによってラップやずれを抑制している。
【０００６】
しかしながら、複数のカメラのキャリブレーションを行う場合には、車両の周囲に複数のマーカを配置する必要があるため、マーカの配置などキャリブレーションの準備に係る手間や、キャリブレーションそのものに要する時間が増加してしまうことが考えられる。このようなキャリブレーションに要する時間の増加を抑制することは、実運用上の重要な課題である。特に、工場の量産設備などの生産ラインにおける機械の組立時や、稼動現場において稼動途中の機械のカメラの取付け位置がずれてしまった際など、時間的な制約条件が厳しい状況の中では、キャリブレーションに要する手間や時間の増加を抑制することがより一層重要である。
【０００７】
本発明は上記に鑑みてなされたものであり、キャリブレーションにおける手間や時間の増加を抑制しつつ、キャリブレーションの精度を向上することができる作業機械を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、下部走行体と、前記下部走行体に対して旋回可能に設けられた上部旋回体と、前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラと、前記複数のカメラによって撮影された映像から合成された合成映像を表示する表示装置と、前記合成映像を合成条件に基づいて生成し、前記表示装置に出力するコントローラとを備えた作業機械において、前記コントローラは、前記複数のカメラで撮影した映像において、校正処理に用いる予め定めた形状のキャリブレーションマーカの位置を特定し、前記複数のカメラで撮影した映像に基づいて、前記複数のカメラから前記キャリブレーションマーカにおける複数の特徴点までの距離を算出し、算出した距離に基づいて、前記複数のカメラの前記キャリブレーションマーカに対する取り付け位置および取り付け角度を算出し、算出した取り付け位置および取り付け角度に基づいて、前記合成映像を生成する際の前記合成条件を特定し、特定した合成条件に基づいて合成映像を合成して前記表示装置に出力するものとする。
【発明の効果】
【０００９】
本発明によれば、キャリブレーションにおける手間や時間の増加を抑制しつつ、キャリブレーションの精度を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す側面図である。
【図２】本発明の一実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す上面図である。
【図３】作業機械の周囲表示装置を模式的に示す図である。
【図４】コントローラの映像合成部の処理機能を示す機能ブロック図である。
【図５】校正処理を示すフローチャートである。
【図６】映像に映るキャリブレーションマーカの様子を示す図である。
【図７】隣り合うカメラの撮影範囲の重複範囲にキャリブレーションマーカが位置する様子を示す図である。
【図８】カメラからキャリブレーションマーカまでの距離を算出する様子を示す図である。
【図９】カメラのヨー、ロール、ピッチを示す図である。
【図１０】隣り合うカメラの位置関係を示す図である。
【図１１】左後方にキャリブレーションマーカを配置した様子を示す図である。
【図１２】隣り合うカメラの位置関係を示す図である。
【図１３】右後方にキャリブレーションマーカを配置した様子を示す図である。
【図１４】隣り合うカメラの位置関係を示す図である。
【図１５】左前方にキャリブレーションマーカを配置した様子を示す図である。
【図１６】隣り合うカメラの位置関係を示す図である。
【図１７】右前方にキャリブレーションマーカを配置した様子を示す図である。
【図１８】隣り合うカメラの位置関係を示す図である。
【図１９】キャリブレーションマーカとカメラの位置関係を示す図である。
【図２０】カメラの映像における映像合成位置の一例を示す図である。
【図２１】映像合成位置を用いて合成した俯瞰映像の様子を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態を図面を参照しつつ説明する。なお、本実施の形態では、作業機械の一例としてクローラ式の下部走行体と上部旋回体とで車体を構成する油圧ショベルを例示して説明するが、例えば、ホイール式油圧ショベルやクレーンのように旋回動作を行う上部旋回体を有する作業機械であれば、油圧駆動型や電動駆動型などの駆動方式によらず本発明の適用が可能である。
【００１２】
図１は本実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す側面図であり、図２は上面図である。
【００１３】
図１において、油圧ショベル１は、上部旋回体３と、前記上部旋回体３の前側に俯仰動可能に支持された多関節型のフロント作業機４と、上部旋回体３を旋回可能に支持する自走可能なクローラ式の下部走行体２とで構成されている。上部旋回体３と下部走行体２は、油圧ショベル１の車体を構成している。
【００１４】
上部旋回体３は、支持構造体をなす旋回フレーム５を有しており、旋回フレーム５の前側にはフロント作業機４の基端部が回動可能に支持されている。また、旋回フレーム５の後側には、フロント作業機４との重量バランスをとるためのカウンタウエイト１０が取付けられている。旋回フレーム５の前方左側には、油圧ショベル１を操作するオペレータが乗り込むためのキャブ６が配設されている。
【００１５】
キャブ６内には、オペレータが着座する座席や、フロント作業機４の駆動操作、上部旋回体３の旋回操作、下部走行体２の走行操作などを行う操作装置（いずれも図示せず）のほか、座席に着座したオペレータが見やすい位置であってオペレータによる外部視野の妨げにならない位置に表示装置１７が配置されている。
【００１６】
また、カウンタウエイト１０の前側には、内部にエンジン、油圧ポンプ、熱交換装置等の搭載機器類（いずれも図示せず）を収容する建屋カバー７が配設されている。建屋カバー７は、旋回フレーム５の左右両側に位置して前後方向に延びた左右の側面板７Ａと、各側面板７Ａの上端部間を接続する水平方向に延びた上面板７Ｂとにより大略構成され、建屋カバー７の後側はカウンタウエイト１０によって閉塞されている。建屋カバー７の上面板７Ｂ上には、建屋カバー７内に収容された搭載機器類を上方から覆うエンジンカバー８が設けられている。
【００１７】
上部旋回体３の前側におけるキャブ６の前側上部と、上部旋回体３の左右それぞれの上部（つまり、建屋カバー７の上面板７Ｂの左右端部）であって前後方向の中央付近と、カウンタウエイト１０の左右中央位置とには、それぞれ、車体近傍を含む車体周囲が撮影範囲となるように配置されたカメラ１１ａ〜１１ｄが設置されている。
【００１８】
図１及び図２においては、キャリブレーションマーカ２０をキャブ６からみて後方に配置した様子を例示している。キャリブレーションマーカ２０は、本実施の形態における周囲表示装置の校正処理に用いるものであり、例えば、シート状の部材に描画された予め定めた形状（以降、形状とは形および大きさを含むものとする）を有する図形である。すなわち、キャリブレーションマーカ２０を既知の性能のカメラ１１ａ〜１１ｄで撮影した場合には、その映像中におけるキャリブレーションマーカ２０の形状と、予め定めたキャリブレーションマーカ２０の形状とから、キャリブレーションマーカ２０とカメラ１１ａ〜１１ｄとの位置関係を求めることができる。なお、このことについては後に詳述する。
【００１９】
図３は、本実施の形態に係る作業機械の周囲表示装置を模式的に示す図である。
【００２０】
図３にいて周囲表示装置は、複数（例えば、本実施の形態では４台）のカメラ１１ａ〜１１ｄと、複数のカメラ１１ａ〜１１ｄによって撮影された映像を表示するモニタ（液晶モニタ）などの表示装置１７と、周囲表示装置の全体の動作を制御するコントローラ１２と、コントローラ１２と共動して種々の制御を行うパソコン１３とを備えている。
【００２１】
表示装置１７には、各カメラ１１ａ〜１１ｄで撮影された映像や、これらの映像を鉛直上方から撮影したように（つまり、上方視点となるように）視点変換した映像、或いは、各カメラ１１ａ〜１１ｄで撮影した映像１８ａ〜１８ｄを合成処理して生成した俯瞰映像１８（車体の上空から車体と周囲の状況を俯瞰的に撮影したような映像を擬似的に合成した合成映像）を映し出す画面１５が設けられている。
【００２２】
図３に示す例では、表示装置１７の画面１５に俯瞰映像１８が表示されている場合を示している。俯瞰映像１８は、例えば、俯瞰映像１８における自車の形状および大きさを概略的に示す自車アイコン１６を中央に配置し、自車アイコン１６の上下左右にカメラ１１ａ，１１ｃ，１１ｂ，１１ｄで撮影した映像を自車が中心となるような上方視点の映像１８ａ，１８ｃ，１８ｂ，１８ｄにそれぞれ変換して配置することで形成されている。また、コントローラ１２には、画面１５に映し出される映像の種類を切り替える映像切替スイッチ１４が接続されている。
【００２３】
本願発明は上記のように構成した作業機械に適用されるものであり、本実施の形態に係る作業機械の周囲表示装置のコントローラ１２は、カメラ１１ａ〜１１ｄの映像から表示装置１７に表示する映像を生成する合成映像生成部１２０を有している。
【００２４】
図４はコントローラの映像合成部の処理機能を示す機能ブロック図である。
【００２５】
図４において、コントローラ１２の合成映像生成部１２０は、カメラ１１ａ〜１１ｄによって撮影された映像を取得する映像取得部１２１と、キャリブレーションマーカ２０の予め定めた形状を記憶するマーカ形状記憶部１２７と、複数のカメラ１１ａ〜１１ｄで撮影した映像におけるキャリブレーションマーカ２０の位置を特定する映像マーカ位置特定部１２２と、複数のカメラ１１ａ〜１１ｄで撮影した映像に基づいて、複数のカメラ１１ａ〜１１ｄからキャリブレーションマーカ２０における複数の特徴点までの距離を算出するマーカ距離算出部１２３と、マーカ距離算出部１２３の算出結果に基づいて、複数のカメラ１１ａ〜１１ｄのキャリブレーションマーカ２０に対する取り付け位置および取り付け角度を算出するカメラ取付位置特定部１２４と、カメラ取付位置特定部１２４の算出結果に基づいて、合成映像を生成する際の合成条件を特定する映像合成位置特定部１２５と、映像合成位置特定部１２５で特定した合成条件に基づいて、映像取得部１２１で取得したカメラ１１ａ〜１１ｄからの合成映像（俯瞰映像１８）を合成し、表示装置１７に出力する映像合成部１２６とを有している。
【００２６】
マーカ形状記憶部１２７には、校正処理に用いるキャリブレーションマーカ２０の形状（形および大きさ）が記憶されている。マーカ形状記憶部１２７に記憶されるキャリブレーションマーカ２０の形状は、マーカ形状設定部１３０により予め設定される。マーカ形状設定部１３０は、例えば、複数のキャリブレーションマーカの候補からオペレータが選択的に校正処理に使用するキャリブレーションマーカ２０を設定するものであり、パソコン１３にその機能を持たせても良く、或いは、コントローラ１２に設定装置（図示せず）を設けても良い。
【００２７】
図５は、校正処理を示すフローチャートである。
【００２８】
図５において、コントローラ１２における合成映像生成部１２０の映像取得部１２１は、まず、カメラ１１ａ〜１１ｄからの映像を取得する（ステップＳ１００）。続いて、図示しない入力装置などにより校正処理の開始が指示されると、映像マーカ位置特定部１２２は、マーカ形状記憶部１２７に記憶されたキャリブレーションマーカ２０の形状（形および大きさ）に基づき、取得した映像中のキャリブレーションマーカ２０の位置を特定する（ステップＳ１１０）。
【００２９】
例えば、図２に示したように、上部旋回体３の後方のカメラ１１ｃの撮影範囲にキャリブレーションマーカ２０を配置した場合には、図６に示すように、カメラ１１ｃにより撮影された映像１１２ｃにキャリブレーションマーカ２０が映り、映像１１２ｃにおけるキャリブレーションマーカ２０の位置が特定される。なお、キャリブレーションマーカ２０の位置の特定方法には特に制限はなく、例えば、パターンマッチングなどの手法を用いて、映像中におけるキャリブレーションマーカ２０の位置が特定できれば良い。
【００３０】
続いて、映像マーカ位置特定部１２２は、校正する２つのカメラに同一のキャリブレーションマーカ２０が映るっているかどうか、すなわち、隣り合うカメラの撮影範囲が重複する位置にキャリブレーションマーカ２０が映っているかどうかを判定し（ステップＳ１２０）、判定結果がＮＯの場合には、判定結果がＹＥＳになるまでステップＳ１００，Ｓ１１０の処理を繰り返す。
【００３１】
本実施の形態においてキャリブレーションマーカ２０は、図７に示すように、例えば、隣り合うカメラ１１ｃ，１１ｄのそれぞれの撮影範囲１１１ｃ，１１１ｄの重複範囲に位置するように配置する。すなわち、同様に、隣り合うカメラ１１ａ，１１ｂの撮影範囲の重複範囲、隣り合うカメラ１１ｂ，１１ｃの撮影範囲の重複範囲、および、隣り合うカメラ１１ａ，１１ｄの撮影範囲の重複範囲のそれぞれにキャリブレーションマーカ２０が位置するように配置して撮影を行う。なお、複数の重複範囲で同時にキャリブレーションマーカ２０が撮影される必要はなく、各重複範囲で最低１回ずつキャリブレーションマーカ２０が撮影（すなわち、映像マーカ位置特定部１２２で位置が特定）されればよい。
【００３２】
したがって、各重複範囲に個別にキャリブレーションマーカ２０を配置するのではなく、例えば、車体の周囲に１つのキャリブレーションマーカ２０を配置し、上部旋回体３を下部走行体２に対して旋回させ、撮影範囲の各重複範囲でキャリブレーションマーカ２０を撮影すればよい。このとき、上部旋回体３のある単一の旋回動作において全ての重複範囲でキャリブレーションマーカ２０が撮影される必要はない。すなわち、キャリブレーションマーカ２０を撮影できない重複範囲があった場合には、その重複範囲についてのみキャリブレーションマーカ２０の位置を移動させてキャリブレーションマーカ２０が撮影できるようにすれば足りる。
【００３３】
続いて、ステップＳ１２０での判定結果がＹＥＳの場合、すなわち、全ての重複範囲でキャリブレーションマーカ２０が少なくとも１回以上撮影され、映像における位置が特定された場合には、マーカ距離算出部１２３は、複数のカメラ１１ａ〜１１ｄのそれぞれからキャリブレーションマーカ２０までの距離を算出する（ステップＳ１３０）。
【００３４】
すなわち、図８に示すように、マーカ距離算出部１２３では、カメラ１１ａ〜１１ｄでそれぞれ撮影された映像１１２ａ〜１１２ｄ（カメラ投影面とも言える）におけるキャリブレーションマーカ２１（ここでは、地面１０１に配置されたキャリブレーションマーカ２０と区別して示す）の位置および形状（形および大きさ）に基づいて、カメラ１１ａ〜１１ｄのそれぞれの中心（View Point）から地面１０１に配置されたキャリブレーションマーカ２０上の特徴点までの距離を算出する。なお、距離の算出方向に特に制限はなく、例えば、ＶＩＯ（Visual Inertial Odometry）機能などを用いることができる。マーカ距離算出部１２３では、例えば、キャリブレーションマーカ２０上のカメラ１１ａ〜１１ｄから近い順に３つ以上の端点を特徴点として測定するようにする。
【００３５】
続いて、カメラ取付位置特定部１２４は、マーカ距離算出部１２３での算出結果に基づいて、複数のカメラ１１ａ〜１１ｄのキャリブレーションマーカ２０に対する取り付け位置（例えば、互いに直行するｘ軸、ｙ軸、及び、ｚ軸により規定されるｘｙｚ座標系における相対位置）および取り付け角度（図９に示すようなｘｙｚ座標系におけるヨー、ロール、ピッチ）を算出する（ステップＳ１４０）。カメラ取付位置特定部１２４では、マーカ距離算出部１２３で求めたキャリブレーションマーカ２０上の３点以上の特徴点までの距離を用いるので、複数のカメラ１１ａ〜１１ｄとキャリブレーションマーカ２０との位置関係（取り付け位置および取り付け角度）を一意に求めることができる。
【００３６】
また、カメラ取付位置特定部１２４は、カメラ１１ａ〜１１ｄとキャリブレーションマーカ２０との位置関係から、同じシーンで同時に撮像したキャリブレーションマーカを基準に隣り合ったカメラ１１ａ〜１１ｄの位置関係を特定する（ステップＳ１５０）。すなわち、例えば、図１１に示すように、上部旋回体３の左後方にキャリブレーションマーカ２０が位置し、隣り合うカメラ１１ｃ，１１ｄの重複する撮影範囲においてキャリブレーションマーカ２０を撮影した映像を用いて求めたカメラ１１ｃ，１１ｄのそれぞれとキャリブレーションマーカ２０との位置関係から、図１０に示すように、隣り合うカメラ１１ｃ，１１ｄの位置関係を特定する。
【００３７】
同様に、図１３に示すように、上部旋回体３の右後方にキャリブレーションマーカ２０が位置し、隣り合うカメラ１１ｂ，１１ｃの重複する撮影範囲においてキャリブレーションマーカ２０を撮影した映像を用いて求めたカメラ１１ｂ，１１ｃのそれぞれとキャリブレーションマーカ２０との位置関係から、図１２に示すように、隣り合うカメラ１１ｂ，１１ｃの位置関係を特定する。また、同様に、図１５に示すように、上部旋回体３の左前方にキャリブレーションマーカ２０が位置し、隣り合うカメラ１１ａ，１１ｄの重複する撮影範囲においてキャリブレーションマーカ２０を撮影した映像を用いて求めたカメラ１１ａ，１１ｄのそれぞれとキャリブレーションマーカ２０との位置関係から、図１４に示すように、隣り合うカメラ１１ａ，１１ｄの位置関係を特定する。また、同様に、図１７に示すように、上部旋回体３の右前方にキャリブレーションマーカ２０が位置し、隣り合うカメラ１１ａ，１１ｂの重複する撮影範囲においてキャリブレーションマーカ２０を撮影した映像を用いて求めたカメラ１１ａ，１１ｂのそれぞれとキャリブレーションマーカ２０との位置関係から、図１６に示すように、隣り合うカメラ１１ａ，１１ｂの位置関係を特定する。
【００３８】
このように、図１９に示すように、隣り合うカメラ１１ａ〜１１ｄの重複する撮影範囲においてキャリブレーションマーカ２０を撮影した映像を用いて求めたカメラ１１ａ〜１１ｄのそれぞれとキャリブレーションマーカ２０との位置関係から、図１８に示すように、隣り合うカメラ１１ａ〜１１ｄの位置関係を特定することができる。
【００３９】
続いて、映像合成位置特定部１２５は、カメラ取付位置特定部１２４の算出結果に基づいて、合成映像を生成する際の合成条件として映像合成位置を特定し、映像合成部１２６に出力して（ステップＳ１６０）、処理を終了する。
【００４０】
図２０は、カメラの映像における映像合成位置の一例を示す図である。また、図２１は、映像合成位置を用いて合成した俯瞰映像の様子を模式的に示す図である。
【００４１】
図２０に示すように、映像合成位置特定部１２５では、カメラ取付位置特定部１２４の算出結果に基づいて、俯瞰映像１８を生成する際の合成条件として映像合成位置を特定する。ここで、映像合成位置とは、俯瞰映像１８を生成する際に、隣り合う２つのカメラで撮影された映像の位置を合わせるポイント（貼り合わせポイント）のことである。例えば、図２０及び図２１に示すカメラ１１ａの映像１１２ａにおけるカメラ１１ｂの映像１１２ｂとの映像合成位置は、貼り合わせポイントＡ，Ａ’，Ａ’’である。また、カメラ１１ａの映像１１２ａにおけるカメラ１１ｄの映像１１２ｄとの映像合成位置は、貼り合わせポイントＢ，Ｂ’，Ｂ’’である。なお、本実施の形態では、カメラ取付位置特定部１２４で特定した隣り合うカメラ１１ａ〜１１ｄの位置関係から貼り合わせポイントを求める場合を例示して説明しているが、例えば、マーカ距離算出部１２３等で用いたキャリブレーションマーカ２０上の３点以上の特徴点を貼り合わせポイントとして用いることもできる。
【００４２】
映像合成位置特定部１２５で合成条件として特定された映像合成位置は、映像合成部１２６に送られて記憶される。すなわち、映像合成部１２６では、校正処理において映像合成位置特定部１２５で合成条件として特定した映像合成位置（貼り合わせポイント）を記憶して用いることで、車体全周囲の映像をより精度の高い俯瞰映像１８として合成することができる。なお、映像マーカ位置特定部１２２から映像合成位置特定部１２５による校正処理を行っていない場合は、映像合成位置特定部１２５は、記憶した合成条件を用いて俯瞰映像１８の合成を行う。
【００４３】
以上のように構成した本実施の形態における効果を説明する。
【００４４】
複数のカメラのキャリブレーションを行う場合には、車両の周囲に複数のマーカを配置する必要があるため、マーカの配置などキャリブレーションの準備に係る手間や、キャリブレーションそのものに要する時間が増加してしまうことが考えられる。このようなキャリブレーションに要する時間の増加を抑制することは、実運用上の重要な課題である。特に、工場の量産設備などの生産ラインにおける機械の組立時や、稼動現場において稼動途中の機械のカメラの取付け位置がずれてしまった際など、時間的な制約条件が厳しい状況の中では、キャリブレーションに要する手間や時間の増加を抑制することがより一層重要である。
【００４５】
これに対して本実施の形態においては、下部走行体２と、下部走行体２に対して旋回可能に設けられた上部旋回体３と、上部旋回体３に配置され、下部走行体２と上部旋回体３とにより構成された車体の周囲を撮影する複数のカメラ１１ａ〜１１ｄと、複数のカメラ１１ａ〜１１ｄによって撮影された映像から合成された合成映像（例えば、俯瞰映像１８）を表示する表示装置１７と、合成映像を合成条件に基づいて生成し、表示装置１７に出力するコントローラ１２とを備えた作業機械（例えば、油圧ショベル１）において、コントローラ１２は、校正処理に用いる予め定めたキャリブレーションマーカ２０の形状を記憶するマーカ形状記憶部１２７と、複数のカメラ１１ａ〜１１ｄで撮影した映像におけるキャリブレーションマーカ２０の位置を特定する映像マーカ位置特定部１２２と、複数のカメラ１１ａ〜１１ｄで撮影した映像に基づいて、複数のカメラ１１ａ〜１１ｄからキャリブレーションマーカ２０における複数の特徴点までの距離を算出するマーカ距離算出部１２３と、マーカ距離算出部１２３の算出結果に基づいて、複数のカメラ１１ａ〜１１ｄのキャリブレーションマーカ２０に対する取り付け位置および取り付け角度を算出するカメラ取付位置特定部１２４と、カメラ取付位置特定部１２４の算出結果に基づいて、合成映像を生成する際の合成条件を特定する映像合成位置特定部１２５とを有するように構成したので、キャリブレーションにおける手間や時間の増加を抑制しつつ、キャリブレーションの精度を向上することができる。
【００４６】
次に上記の各実施の形態の特徴について説明する。
【００４７】
（１）上記の実施の形態では、下部走行体２と、前記下部走行体に対して旋回可能に設けられた上部旋回体３と、前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラ１１ａ〜１１ｄと、前記複数のカメラによって撮影された映像から合成された合成映像（例えば、俯瞰映像１８）を表示する表示装置１７と、前記合成映像を合成条件に基づいて生成し、前記表示装置に出力するコントローラ１２とを備えた作業機械（例えば、油圧ショベル１）において、前記コントローラは、校正処理に用いる予め定めたキャリブレーションマーカ２０の形状を記憶するマーカ形状記憶部１２７と、前記複数のカメラで撮影した映像における前記キャリブレーションマーカの位置を特定する映像マーカ位置特定部１２２と、前記複数のカメラで撮影した映像に基づいて、前記複数のカメラから前記キャリブレーションマーカにおける複数の特徴点までの距離を算出するマーカ距離算出部１２３と、前記マーカ距離算出部の算出結果に基づいて、前記複数のカメラの前記キャリブレーションマーカに対する取り付け位置および取り付け角度を算出するカメラ取付位置特定部１２４と、前記カメラ取付位置特定部の算出結果に基づいて、前記合成映像を生成する際の前記合成条件を特定する映像合成位置特定部１２５とを有するものとした。
【００４８】
これにより、キャリブレーションにおける手間や時間の増加を抑制しつつ、キャリブレーションの精度を向上することができる。
【００４９】
（２）また、上記の実施の形態では、（１）の作業機械において、前記合成映像は、前記上部旋回体３及び前記下部走行体２からなる車体の上空から前記車体と周囲の状況とを俯瞰的に撮影した映像を擬似的に合成した俯瞰映像１８であり、前記映像合成位置特定部１２５は、前記複数のカメラ１１ａ〜１１ｄでそれぞれ撮影された複数の映像から前記俯瞰映像を生成する際の合成条件を特定するものとした。
【００５０】
（３）また、上記の実施の形態では、（１）の作業機械において、前記カメラ取付位置特定部１２４は、前記複数のカメラ１１ａ〜１１ｄから前記キャリブレーションマーカ２０における少なくとも３点以上の特徴点までの距離に基づいて、前記複数のカメラの取り付け位置および取り付け角度をそれぞれ算出し、前記映像合成位置特定部１２５は、前記複数のカメラで撮影した映像における前記キャリブレーションマーカの３点以上の特徴点の位置に基づいて、前記合成条件を特定するものとした。
【００５１】
＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
【符号の説明】
【００５２】
１…油圧ショベル、２…下部走行体、３…上部旋回体、４…フロント作業機、５…旋回フレーム、６…キャブ、７…建屋カバー、７Ａ…側面板、７Ｂ…上面板、８…エンジンカバー、１０…カウンタウエイト、１１ａ〜１１ｄ…カメラ、１２…コントローラ、１３…パソコン、１４…映像切替スイッチ、１５…画面、１６…自車アイコン、１７…表示装置、１８…俯瞰映像、１８ａ〜１８ｄ…映像、２０，２１…キャリブレーションマーカ、１０１…地面、１１１ｃ，１１１ｄ…撮影範囲、１１２ａ〜１１２ｄ…映像、１２０…合成映像生成部、１２１…映像取得部、１２２…映像マーカ位置特定部、１２３…マーカ距離算出部、１２４…カメラ取付位置特定部、１２５…映像合成位置特定部、１２６…映像合成部、１２７…マーカ形状記憶部、１３０…マーカ形状設定部
【図１】
2020045687.tif 000003
【図２】
2020045687.tif 000004
【図３】
2020045687.tif 000005
【図４】
2020045687.tif 000006
【図５】
2020045687.tif 000007
【図６】
2020045687.tif 000008
【図７】
2020045687.tif 000009
【図８】
2020045687.tif 000010
【図９】
2020045687.tif 000011
【図１０】
2020045687.tif 000012
【図１１】
2020045687.tif 000013
【図１２】
2020045687.tif 000014
【図１３】
2020045687.tif 000015
【図１４】
2020045687.tif 000016
【図１５】
2020045687.tif 000017
【図１６】
2020045687.tif 000018
【図１７】
2020045687.tif 000019
【図１８】
2020045687.tif 000020
【図１９】
2020045687.tif 000021
【図２０】
2020045687.tif 000022
【図２１】
2020045687.tif 000023