(57)【要約】【課題】キャリブレーションに係る判定において一定以上の精度を安定して得ることができる周囲表示システム及びそれを備えた作業機械を提供すること。【解決手段】油圧ショベル１の車体の周囲を撮影する複数のカメラ１１ａ〜１１ｄによって撮影された映像から、車体の上空から車体と周囲の状況を俯瞰的に示すような合成映像１８を生成するコントローラ１２は、複数のカメラで１１ａ〜１１ｄ撮影した複数の映像において、キャリブレーション処理に用いるための予め定めた形状のキャリブレーションマーカ２０の位置をそれぞれ特定し、キャリブレーションマーカ２０の特徴点の車体座標系における座標を複数の映像のそれぞれについて算出し、キャリブレーションマーカ２０の特徴点の複数の映像における座標差を算出し、座標差に基づいてキャリブレーション処理の要否を判定し、判定結果を表示装置１７に出力する。【選択図】  図６
2020147962.tif 000002
【特許請求の範囲】
【請求項１】
作業機械の車体の周囲を撮影する複数のカメラと、
前記車体の上空から車体と周囲の状況を俯瞰的に示すように、前記複数のカメラによって撮影された映像から合成された合成映像を表示する表示装置と、
前記合成映像を合成条件に基づいて生成し、前記表示装置に出力するコントローラとを備えた周囲表示システムにおいて、
前記コントローラは、前記複数のカメラで撮影した複数の映像において、キャリブレーション処理に用いるための予め定めた形状のキャリブレーションマーカの位置をそれぞれ特定し、前記キャリブレーションマーカの特徴点の車体座標系における座標を前記複数の映像のそれぞれについて算出し、前記キャリブレーションマーカの特徴点の前記複数の映像における座標差を算出し、前記座標差に基づいて前記キャリブレーション処理の要否を判定し、判定結果を前記表示装置に出力することを特徴とする周囲表示システム。
【請求項２】
請求項１記載の周囲表示システムにおいて、
前記コントローラは、前記キャリブレーションマーカの特徴点の前記複数の映像における座標差が予め定めた閾値以上の場合に、前記キャリブレーション処理が合格であると判定することを特徴とする周囲表示システム。
【請求項３】
請求項１記載の周囲表示システムにおいて、
前記コントローラは、前記合成映像における前記複数の映像の境界部分の境界に垂直な方向の座標差が予め定めた閾値以上の場合に、前記キャリブレーション処理が合格であると判定することを特徴とする周囲表示システム。
【請求項４】
前記複数のカメラが設置された車体と、
請求項１記載の周囲表示システムと
を備えたことを特徴とする作業機械。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲表示システム及びそれを備えた作業機械に関する。
【背景技術】
【０００２】
近年、作業機械の電子化、情報化が進み、多くの電子機器が搭載されるようになっている。例えば、油圧ショベル等の作業機械には、車体の周囲を複数のカメラによって撮影し、その映像をキャブ内の表示部に表示することにより、キャブ内の作業者が運転席に着座したまま映像を確認することができ、車体の周囲の状況を知ることができるものがある。特に、油圧ショベル等の作業機械では、構造上の理由によりキャブ内の作業者の車体の周囲に対する視界が制限され易いので、キャブ内の作業者が表示部の映像から車体の周囲の状況をより正確に把握できる技術が重要となっている。
【０００３】
このような作業機械におけるキャブ内の作業者の視界を補助する従来技術として、例えば、特許文献１には、車体に搭載された複数のカメラで車体の周囲を撮影し、撮影した映像を合成処理することで車体の上空から車体と周囲の状況を俯瞰的に撮影した映像（以降、便宜的に俯瞰映像と称する）を生成し、キャブ内の表示部に表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１２５８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カメラを新たに設置した場合や取り付け直した場合、或いは、カメラのズレ等が発覚した場合などには、複数の映像から合成した俯瞰映像にラップやずれが発生しないよう、カメラの取付位置誤差及び取付角度誤差を補正する作業（すなわち、キャリブレーション）を行う必要がある。キャリブレーション方法としては、例えば、各カメラの撮影範囲の予め定めた範囲などにマーカ（目印）となるものを設置した後、各カメラで撮影された映像中のマーカを基準点にして各カメラ（各映像）間のラップやずれを補正する補正値を算出する方法があり、その補正値を俯瞰映像の生成処理に適用することによってラップやずれを修正するものがある。
【０００６】
その一方で、キャリブレーションの要否の判定、或いは、キャリブレーション結果の合否の判定をオペレータやサービスマンなどが行う場合、判定精度が人によって異なるため、キャリブレーションに係る判定の精度が必ずしも一定ではなく、必要な精度が得られないことも考えられる。
【０００７】
本発明は上記に鑑みてなされたものであり、キャリブレーションに係る判定において一定以上の精度を安定して得ることができる周囲表示システム及びそれを備えた作業機械を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車体の周囲を撮影する複数のカメラと、前記複数のカメラによって撮影された映像から合成された合成映像を表示する表示装置と、前記合成映像を合成条件に基づいて生成し、前記表示装置に出力するコントローラとを備えた作業機械において、前記コントローラは、前記複数のカメラで撮影した複数の映像において、キャリブレーション処理に用いるための予め定めた形状のキャリブレーションマーカの位置をそれぞれ特定し、前記キャリブレーションマーカの特徴点の車体座標系における座標を前記複数の映像のそれぞれについて算出し、前記キャリブレーションマーカの特徴点の前記複数の映像における座標差を算出し、前記座標差に基づいて前記キャリブレーション処理の要否を判定し、判定結果を前記表示装置に出力するものとする。
【発明の効果】
【０００９】
本発明によれば、キャリブレーションに係る判定において一定以上の精度を安定して得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す側面図である。
【図２】本発明の一実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す上面図である。
【図３】作業機械の周囲表示システムを模式的に示す図である。
【図４】カメラの撮影範囲と車体の周囲に配置したキャリブレーションマーカとの関係の一例を示す図である。
【図５】コントローラのキャリブレーション判定に係る処理機能を抜き出して示す機能ブロック図である。
【図６】キャリブレーション判定の処理内容を示すフローチャートである。
【図７】キャリブレーションマーカの座標の差分の一例を示す図である。
【図８】キャリブレーション判定の判定結果の表示装置における表示例を示す図であり、合格であると判定された場合の表示例を示す図である。
【図９】キャリブレーション判定の判定結果の表示装置における表示例を示す図であり、不合格であると判定された場合の表示例を示す図である。
【図１０】車体の周囲にキャリブレーションマーカが配置された状態において表示装置に表示される俯瞰映像の一部を拡大して例示する図である。
【図１１】車体の周囲にキャリブレーションマーカが配置された状態において表示装置に表示される俯瞰映像の一部を拡大して例示する図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態を図面を参照しつつ説明する。なお、本実施の形態では、作業機械の一例として油圧ショベルを例示して説明するが、例えば、ダンプトラックのような作業機械においても本発明の適用が可能である。
【００１２】
図１及び図２は、本実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す図であり、図１側面図、図２は上面図である。
【００１３】
図１において、油圧ショベル１は、上部旋回体３と、前記上部旋回体３の前側に俯仰動可能に支持された多関節型のフロント作業機４と、上部旋回体３を旋回可能に支持する自走可能なクローラ式の下部走行体２とで構成されている。上部旋回体３と下部走行体２は、油圧ショベル１の車体を構成している。
【００１４】
上部旋回体３は、支持構造体をなす旋回フレーム５を有しており、旋回フレーム５の前側にはフロント作業機４の基端部が回動可能に支持されている。また、旋回フレーム５の後側には、フロント作業機４との重量バランスをとるためのカウンタウエイト１０が取付けられている。旋回フレーム５の前方左側には、油圧ショベル１を操作するオペレータが乗り込むためのキャブ６が配設されている。
【００１５】
キャブ６内には、オペレータが着座する座席や、フロント作業機４の駆動操作、上部旋回体３の旋回操作、下部走行体２の走行操作などを行う操作装置（いずれも図示せず）のほか、座席に着座したオペレータが見やすい位置であってオペレータによる外部視野の妨げにならない位置に表示装置１７が配置されている。
【００１６】
また、カウンタウエイト１０の前側には、内部にエンジン、油圧ポンプ、熱交換装置等の搭載機器類（いずれも図示せず）を収容する建屋カバー７が配設されている。建屋カバー７は、旋回フレーム５の左右両側に位置して前後方向に延びた左右の側面板７Ａと、各側面板７Ａの上端部間を接続する水平方向に延びた上面板７Ｂとにより大略構成され、建屋カバー７の後側はカウンタウエイト１０によって閉塞されている。建屋カバー７の上面板７Ｂ上には、建屋カバー７内に収容された搭載機器類を上方から覆うエンジンカバー８が設けられている。
【００１７】
上部旋回体３の前側におけるキャブ６の前側上部と、上部旋回体３の左右それぞれの上部（つまり、建屋カバー７の上面板７Ｂの左右端部）であって前後方向の中央付近と、カウンタウエイト１０の左右中央位置とには、それぞれ、車体近傍を含む車体周囲が撮影範囲となるように配置されたカメラ１１ａ〜１１ｄが設置されている。
【００１８】
図１及び図２においては、キャリブレーションマーカ２０をキャブ６からみて後方に配置した様子を例示している。キャリブレーションマーカ２０は、本実施の形態における周囲表示システムのキャリブレーション処理に用いるものであり、例えば、シート状の部材に描画された予め定めた形状（以降、形状とは形および大きさを含むものとする）を有する図形である。すなわち、キャリブレーションマーカ２０を既知の性能のカメラ１１ａ〜１１ｄで撮影した場合には、その映像中におけるキャリブレーションマーカ２０の形状と、予め定めたキャリブレーションマーカ２０の形状とから、キャリブレーションマーカ２０とカメラ１１ａ〜１１ｄとの位置関係を求めることができる。なお、このことについては後に詳述する。
【００１９】
図３は、本実施の形態に係る作業機械の周囲表示システムを模式的に示す図である。
【００２０】
図３にいて周囲表示システムは、複数（例えば、本実施の形態では４台）のカメラ１１ａ〜１１ｄと、複数のカメラ１１ａ〜１１ｄによって撮影された映像を表示するモニタ（液晶モニタ）などの表示装置１７と、周囲表示システムの全体の動作を制御するコントローラ１２と、コントローラ１２と共動して種々の制御を行うパソコン１３とを備えている。
【００２１】
表示装置１７には、各カメラ１１ａ〜１１ｄで撮影された映像や、これらの映像を鉛直上方から撮影したように（つまり、上方視点となるように）視点変換した映像、或いは、各カメラ１１ａ〜１１ｄで撮影した映像１８ａ〜１８ｄを合成処理して生成した俯瞰映像１８（車体の上空から車体と周囲の状況を俯瞰的に撮影したような映像を擬似的に合成した合成映像）を映し出す画面１５が設けられている。
【００２２】
図３に示す例では、表示装置１７の画面１５に俯瞰映像１８が表示されている場合を示している。俯瞰映像１８は、例えば、俯瞰映像１８における自車の形状および大きさを概略的に示す自車アイコン１６を中央に配置し、自車アイコン１６の上下左右にカメラ１１ａ，１１ｃ，１１ｂ，１１ｄで撮影した映像を自車が中心となるような上方視点の映像１８ａ，１８ｃ，１８ｂ，１８ｄにそれぞれ変換して配置することで形成されている。
【００２３】
本願発明は上記のように構成した作業機械に適用されるものであり、本実施の形態に係る作業機械の周囲表示システムのコントローラ１２は、カメラ１１ａ〜１１ｄの映像から表示装置１７に表示する俯瞰映像などを生成する映像生成機能や俯瞰映像の合成に用いる合成条件を調整するキャリブレーション機能のほかに、キャリブレーション機能による合成条件の調整の要否や調整結果の合否を判定するキャリブレーション判定機能を有している。
【００２４】
映像生成機能は、俯瞰映像などを生成する機能であり、例えば、カメラ１１ａ〜１１ｄによって撮影された映像を取得し、複数のカメラ１１ａ〜１１ｄの車体に対する取り付け位置および取り付け角度の情報に基づいて合成映像を生成する際の合成条件を特定し、特定した合成条件に基づいてカメラ１１ａ〜１１ｄによって撮影された映像から合成映像（俯瞰映像１８）を合成し、表示装置１７に出力する機能である。
【００２５】
図４は、カメラの撮影範囲と車体の周囲に配置したキャリブレーションマーカとの関係の一例を示す図である。図４においては、後方のカメラ１１ｃの撮影範囲１１１ｃと左側方のカメラ１１ｄの撮影範囲１１１ｄの重複する範囲１１１ｃｄにキャリブレーションマーカ２０を配置した場合を例示して示している。
【００２６】
キャリブレーション機能は、俯瞰映像の合成に用いる合成条件を調整する機能であり、例えば、図４に示すように、隣り合うカメラ１１ａ〜１１ｄの重複する範囲１１１ｃｄにおいてキャリブレーションマーカ２０を撮影した映像をそれぞれ取得し、カメラ１１ａ〜１１ｄのそれぞれとキャリブレーションマーカ２０との位置関係から隣り合うカメラ１１ａ〜１１ｄの位置関係を特定し、その結果に基づいて合成条件として映像合成位置を特定する。
【００２７】
図５は、コントローラのキャリブレーション判定に係る処理機能を抜き出して示す機能ブロック図である。また、図６は、キャリブレーション判定の処理内容を示すフローチャートである。
【００２８】
図５において、コントローラ１２は、キャリブレーション判定に係る処理機能部として、映像取得部１２１、映像マーカ位置特定部１２２、マーカ座標算出部１２３、マーカ座標差算出部１２４、キャリブレーション判定部１２５、及び、マーカ形状記憶部１２６を有している。
【００２９】
図６において、コントローラ１２は、パソコン１３や他の操作装置による操作によってキャリブレーション判定の開始が指示されると、まず、映像取得部１２１において、カメラ１１ａ〜１１ｄからの映像を取得する（ステップＳ１００）。ステップＳ１００では、図４に示したように隣り合うカメラ１１ａ〜１１ｄの重複する撮影範囲（例えば、カメラ１１ｃ，１１ｄについては範囲１１１ｃｄ）にキャリブレーションマーカ２０が配置されている状態での映像を取得する。なお、ステップＳ１００における映像の取得は、その方法を限定するものではないが、例えば、カメラ１１ａ〜１１ｄの重複する撮影範囲（本実施の形態では４つ存在する）のそれぞれにキャリブレーションマーカ２０を配置した状態で行う場合や、重複する撮影範囲にキャリブレーションマーカ２０を移動させつつ個別に映像を取得する場合、或いは、一定の位置にキャリブレーションマーカ２０を配置した状態で上部旋回体３を旋回駆動し、重複する撮影範囲にそれぞれキャリブレーションマーカ２０が含まれる状態となったときに映像を取得する場合などが考えられる。
【００３０】
続いて、映像マーカ位置特定部１２２において、ステップＳ１００で取得された映像のそれぞれについて、マーカ形状記憶部１２６に記憶されたキャリブレーションマーカの形状に基づき、映像中のキャリブレーションマーカ２０の車体座標系における位置（座標）を特定する（ステップＳ１１０）。なお、車体座標系は、例えば、図１や図２などに示したように、上部旋回体３の旋回軸に沿って上方を正とするｚ軸を、ｚ軸に垂直に前方を正とするｘ軸を、ｚ軸及びｘ軸に垂直に左側方を正とするｙ軸をそれぞれ設定したものとする。
【００３１】
マーカ形状記憶部１２６には、キャリブレーション処理に用いるキャリブレーションマーカ２０の形状（形および大きさ）が記憶されている。マーカ形状記憶部１２６に記憶されるキャリブレーションマーカ２０の形状は、パソコン１３が有するマーカ形状設定部１３０の設定機能などにより予め設定される。マーカ形状設定部１３０の設定機能は、例えば、複数のキャリブレーションマーカの候補からオペレータが選択的にキャリブレーション処理に使用するキャリブレーションマーカ２０を設定するものである。なお、マーカ形状設定部１３０の設定機能は、コントローラ１２に持たせても良い。
【００３２】
映像マーカ位置特定部１２２では、まず、映像中のキャリブレーションマーカ２０のカメラ座標系における位置（座標）を特定し、予め記憶されている各カメラ１１ａ〜１１ｄの取り付け情報（車体座標系における取り付け方向や角度など）に基づいて、キャリブレーションマーカ２０の車体座標系における位置（座標）を算出する。なお、キャリブレーションマーカ２０の位置の特定方法には特に制限はなく、例えば、パターンマッチングなどの手法を用いて、映像中におけるキャリブレーションマーカ２０の位置が特定できれば良い。
【００３３】
続いて、マーカ座標差算出部１２４において、隣り合うカメラ１１ａ〜１１ｄの重複する撮影範囲で撮影されたキャリブレーションマーカ２０の位置（座標）の各カメラ１１ａ〜１１ｄ間での差分を算出する（ステップＳ１２０）。
【００３４】
図７は、キャリブレーションマーカの座標の差分の一例を示す図である。
【００３５】
図７においては、カメラ１１ｃの撮影範囲１１１ｃで撮影された映像におけるキャリブレーションマーカ２０ｃの車体座標系における位置と、カメラ１１ｄの撮影範囲１１１ｄで撮影された映像におけるキャリブレーションマーカ２０ｄの車体座標系における位置とを例示している。マーカ座標差算出部１２４における座標の差分の算出は、ｘ座標及びｙ座標のそれぞれにおいて、カメラ１１ａ〜１１ｄの設置位置の座標が各座標軸で大きい方から小さい方を引くことで求めるものとする（差分算出条件）。すなわち、例えば、キャリブレーションマーカ２０ｃの特徴点、例えば、特徴点Ｃ（ｘ１，ｙ１）と、キャリブレーションマーカ２０ｄの特徴点、例えば、特徴点Ｄ（ｘ２，ｙ２）との差分を考える場合、差分（ｘ２−ｘ１，ｙ２−ｙ１）を算出する。なお、他のカメラ１１ａ〜１１ｄで取得した映像間でのキャリブレーションマーカ２０の座標差の算出についても同様である。
【００３６】
続いて、キャリブレーション判定部１２５において、ステップＳ１２０で算出された座標差に基づいて各軸の座標差が予め定めた閾値以上であるかどうかを判定することで、キャリブレーション処理の要否を判定し（ステップＳ１３０）、判定結果がＹＥＳの場合、すなわち、合格であると判定した場合には、合格である旨のメッセージを判定結果として表示装置１７に出力し（ステップＳ１４０）、処理を終了する。また、キャリブレーション判定部１２５は、ステップＳ１３０での判定結果がＮＯの場合、すなわち、不合格であると判定した場合には、不合格である旨のメッセージを判定結果として表示装置１７に出力し（ステップＳ１５０）、処理を終了する。
【００３７】
図８及び図９は、キャリブレーション判定の判定結果の表示装置における表示例を示す図であり、図８は合格であると判定された場合の表示例を、図９は不合格であると判定された場合の表示例をそれぞれ示す図である。キャリブレーション判定部１２５は、キャリブレーション判定が合格であると判定した場合には、図８に示すように合格である旨のメッセージを判定結果として表示装置１７に出力して表示させ、また、不合格であると判定した場合には、図９に示すように不合格である旨のメッセージとともに、必要に応じて再キャリブレーションの実行を促すメッセージを判定結果として表示装置１７に出力して表示させる。
【００３８】
なお、キャリブレーション判定部１２５におけるキャリブレーション判定の方法としては、ステップＳ１３０に示したように各軸の座標差が両方とも予め定めた閾値以上であるかどうかによって判定するものに限らない。
【００３９】
以下に、キャリブレーション判定の方法の他の例について説明する。
【００４０】
図１０及び図１１は、車体の周囲にキャリブレーションマーカが配置された状態において表示装置に表示される俯瞰映像の一部を拡大して例示する図である。
【００４１】
図１０及び図１１に示したような俯瞰映像においては、隣り合うカメラ１１ａ〜１１ｄの映像との境界線（例えば、境界線１８ｂｃ，１８ｃｄなど）をマスク線と称し、マスク線１８ｂｃ，１８ｃｄに対して垂直な方向をラップ方向、マスク線１８ｂｃ，１８ｃｄに沿う方向をずれ方向と定義する。
【００４２】
図１０に示す状態は、マスク線１８ｃｄ部分でキャリブレーションマーカ２０の全体が映像１８ｃ又は映像１８ｄの何れかに映っており、俯瞰映像１８において隣り合うカメラ１１ｃ，１１ｄで撮影された何れの映像にも映らない範囲（言い換えると死角）が無い場合であるといえる。一方、図１１に示す状態は、マスク線１８ｃｄの部分でキャリブレーションマーカ２０の一部が映像１８ｃ及び映像１８ｄの何れにも映っていない場合であり、俯瞰映像１８において隣り合うカメラ１１ｃ，１１ｄで撮影された何れの映像にも映らない範囲（言い換えると死角）が有る場合であるといえる。そして、本願発明においては、俯瞰映像１８において少なくとも死角の無い状態をキャリブレーション判定の合格であると判定する。
【００４３】
具体的には、キャリブレーション判定部１２５でのキャリブレーション判定において、合成映像（俯瞰映像１８）における複数の映像の境界部分の境界（マスク線１８ｂｃ，１８ｃｄ）に垂直な方向（ラップ方向）の座標差、（つまり、特徴点間のラップ方向の距離であって、前述の差分算出条件を満たすもの）を予め定めた閾値と比較し、閾値以上である場合には合格、閾値よりも小さい場合には不合格であると判定する。この場合、閾値を０（ゼロ）に設定することで、境界線１８ｂｃ，１８ｃｄの部分で死角が無い場合がキャリブレーション判定の合格となる。なお、閾値は０（ゼロ）である必要はなく、例えば、オペレータによる合成映像１８での車体周囲監視のしやすさを考慮してある範囲で、正の値であってもよい。
【００４４】
また、本実施の形態においては、閾値として下限を設定する場合を例示して説明したが、閾値を上限と下限を規定する範囲とすることで、キャリブレーション判定において要否判定された俯瞰映像の精度を任意に調整することができるとともに、一定以上の精度を安定して得ることができる。
【００４５】
以上のように構成した本実施の形態における効果を説明する。
【００４６】
従来技術においては、カメラの取付位置や取付角度のキャリブレーションを行う場合において、キャリブレーションの要否の判定、或いは、キャリブレーション結果の合否の判定をオペレータやサービスマンなどが行うと、判定精度が人によって異なるため、キャリブレーションに係る判定の精度が必ずしも一定ではなく、必要な精度が得られないことが考えられる。
【００４７】
これに対して本実施の形態においては、油圧ショベル１の車体の周囲を撮影する複数のカメラ１１ａ〜１１ｄと、車体の上空から車体と周囲の状況を俯瞰的に示すように、複数のカメラ１１ａ〜１１ｄによって撮影された映像から合成された合成映像１８を表示する表示装置１７と、合成映像１８を合成条件に基づいて生成し、表示装置１７に出力するコントローラ１２とを備えた周囲表示システムにおいて、コントローラ１２は、複数のカメラで１１ａ〜１１ｄ撮影した複数の映像において、キャリブレーション処理に用いるための予め定めた形状のキャリブレーションマーカ２０の位置をそれぞれ特定し、キャリブレーションマーカ２０の特徴点の車体座標系における座標を複数の映像のそれぞれについて算出し、キャリブレーションマーカ２０の特徴点の複数の映像における座標差を算出し、座標差に基づいてキャリブレーション処理の要否を判定し、判定結果を表示装置１７に出力するように構成したので、キャリブレーションに係る判定において一定以上の精度を安定して得ることができる。
【００４８】
次に上記の各実施の形態の特徴について説明する。
【００４９】
（１）上記の実施の形態では、作業機械（例えば、油圧ショベル１）の車体（例えば、上部旋回体３及び下部走行体２）の周囲を撮影する複数のカメラ１１ａ〜１１ｄと、前記車体の上空から車体と周囲の状況を俯瞰的に示すように、前記複数のカメラによって撮影された映像から合成された合成映像１８を表示する表示装置１７と、前記合成映像を合成条件に基づいて生成し、前記表示装置に出力するコントローラ１２とを備えた周囲表示システムにおいて、前記コントローラは、前記複数のカメラで撮影した複数の映像において、キャリブレーション処理に用いるための予め定めた形状のキャリブレーションマーカ２０の位置をそれぞれ特定し、前記キャリブレーションマーカの特徴点の車体座標系における座標を前記複数の映像のそれぞれについて算出し、前記キャリブレーションマーカの特徴点の前記複数の映像における座標差を算出し、前記座標差に基づいて前記キャリブレーション処理の要否を判定し、判定結果を前記表示装置に出力するものとした。
【００５０】
これにより、キャリブレーションに係る判定において一定以上の精度を安定して得ることができる。
【００５１】
（２）また、上記の実施の形態では、（１）の周囲表示システムにおいて、前記コントローラ１２は、前記キャリブレーションマーカ２０の特徴点の前記複数の映像における座標差が予め定めた閾値以上の場合に、前記キャリブレーション処理が合格であると判定するものとした。
【００５２】
（３）また、上記の実施の形態では、（１）の周囲表示システムにおいて、前記コントローラは、前記合成映像における前記複数の映像の境界部分の境界に垂直な方向の座標差が予め定めた閾値以上の場合に、前記キャリブレーション処理が合格であると判定するものとした。
【００５３】
（４）また、上記の実施の形態では、前記複数のカメラが設置された車体と、（１）の周囲表示システムとを備えたものとした。
【００５４】
＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
【符号の説明】
【００５５】
１…油圧ショベル、２…下部走行体、３…上部旋回体、４…フロント作業機、５…旋回フレーム、６…キャブ、７…建屋カバー、７Ａ…側面板、７Ｂ…上面板、８…エンジンカバー、１０…カウンタウエイト、１１ａ〜１１ｄ…カメラ、１２…コントローラ、１３…パソコン、１５…画面、１６…自車アイコン、１７…表示装置、１８…合成映像（俯瞰映像）、１８ａ〜１８ｄ…映像、１８ｂｃ，１８ｃｄ…境界線（マスク線）、２０，２０ｃ，２０ｄ…キャリブレーションマーカ、１１１ｃ，１１１ｄ…撮影範囲、１１１ｄｃ…範囲、１２１…映像取得部、１２２…映像マーカ位置特定部、１２３…マーカ座標算出部、１２４…マーカ座標差算出部、１２５…キャリブレーション判定部、１２６…マーカ形状記憶部、１３０…マーカ形状設定部
【図１】
2020147962.tif 000003
【図２】
2020147962.tif 000004
【図３】
2020147962.tif 000005
【図４】
2020147962.tif 000006
【図５】
2020147962.tif 000007
【図６】
2020147962.tif 000008
【図７】
2020147962.tif 000009
【図８】
2020147962.tif 000010
【図９】
2020147962.tif 000011
【図１０】
2020147962.tif 000012
【図１１】
2020147962.tif 000013