(57)【要約】【課題】作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握する。【解決手段】作業機械は、車体と、車体に取り付けられた作業機とを含む。カメラは、作業機械の進行方向における周辺画像を撮影する。プロセッサは、周辺画像を示す画像データを取得する。プロセッサは、ガイド表示と周辺画像とを合成して、周辺画像とガイド表示とを含む画像を生成する。ガイド表示は、作業機械の車幅方向の間隔を示す。ディスプレイは、プロセッサからの信号に基づき、周辺画像とガイド表示とを含む画像を表示する。【選択図】図５
2020120232.tif 000002
【特許請求の範囲】
【請求項１】
車体と、前記車体に取り付けられた作業機とを含む作業機械と、
前記作業機械の進行方向における周辺画像を撮影するカメラと、
前記周辺画像を示す画像データを取得し、前記作業機械の車幅方向の間隔を示すガイド表示と、前記周辺画像とを合成して、前記周辺画像と前記ガイド表示とを含む画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記周辺画像と前記ガイド表示とを含む前記画像を表示するディスプレイと、
を備えるシステム。
【請求項２】
前記プロセッサは、
前記作業機械の姿勢を示す姿勢データを取得し、
前記作業機械の姿勢に応じて、前記ガイド表示を表示する、
請求項１に記載のシステム。
【請求項３】
前記姿勢データは、前記車体のロール角を含み、
前記プロセッサは、前記ロール角に応じた角度で、前記ガイド表示を表示する、
請求項２に記載のシステム。
【請求項４】
前記プロセッサは、
前記作業機の位置を取得し、
前記作業機の位置に応じて、前記ガイド表示を表示する、
請求項１に記載のシステム。
【請求項５】
前記ガイド表示は、前記作業機械の車幅方向に延びる車幅ガイド線を含む、
請求項１に記載のシステム。
【請求項６】
前記車幅ガイド線は、前記作業機の車幅方向における両端よりも外方に向かって延びる線を含む、
請求項５に記載のシステム。
【請求項７】
前記ガイド表示は、前記車幅ガイド線に沿って、所定間隔ごとに付された目盛りを含む、
請求項５に記載のシステム。
【請求項８】
前記ガイド表示は、車幅方向に所定間隔ごとに付された目盛りを含む、
請求項１に記載のシステム。
【請求項９】
前記プロセッサは、前記作業機械の前進中、又は後進中に、前記周辺画像と前記ガイド表示とを含む前記画像を前記ディスプレイに表示させる、
請求項１に記載のシステム。
【請求項１０】
車体と、前記車体に取り付けられた作業機とを含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
前記作業機械の進行方向における周辺画像を示す画像データを取得することと、
前記作業機械の車幅方向の間隔を示すガイド表示と、前記周辺画像とを合成して、前記周辺画像と前記ガイド表示とを含む画像を生成することと、
前記周辺画像と前記ガイド表示とを含む前記画像を、前記ディスプレイに表示すること、
を備える方法。
【請求項１１】
前記作業機械の姿勢を示す姿勢データを取得することをさらに備え、
前記画像を表示することは、前記作業機械の姿勢に応じて、前記ガイド表示を表示することを含む、
請求項１０に記載の方法。
【請求項１２】
前記姿勢データは、前記車体のロール角を含み、
前記画像を表示することは、前記ロール角に応じた角度で、前記ガイド表示を表示することを含む、
請求項１１に記載の方法。
【請求項１３】
前記作業機の位置を取得することをさらに備え、
前記画像を表示することは、前記作業機の位置に応じて、前記ガイド表示を表示することを含む、
請求項１０に記載の方法。
【請求項１４】
前記ガイド表示は、前記作業機械の車幅方向に延びる車幅ガイド線を含む、
請求項１０に記載の方法。
【請求項１５】
前記車幅ガイド線は、前記作業機の車幅方向における両端よりも外方に向かって延びる線を含む、
請求項１４に記載の方法。
【請求項１６】
前記ガイド表示は、前記車幅ガイド線に沿って、所定間隔ごとに付された目盛りを含む、
請求項１４に記載の方法。
【請求項１７】
前記ガイド表示は、車幅方向に所定間隔ごとに付された目盛りを含む、
請求項１０に記載の方法。
【請求項１８】
前記周辺画像と前記ガイド表示とを含む前記画像は、前記作業機械の前進中、又は後進中に、前記ディスプレイに表示される、
請求項１０に記載の方法。
【請求項１９】
車体と、前記車体に取り付けられた作業機とを含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
前記作業機械の進行方向における周辺画像を示す画像データを取得することと、
前記作業機械の側方において前方、又は後方に向かって延びる一対の側方ガイド線を含むガイド表示と、前記周辺画像とを合成して、前記周辺画像と前記ガイド表示とを含む画像を生成することと、
前記周辺画像と前記ガイド表示とを含む前記画像を、前記ディスプレイに表示すること、
を備える方法。
【請求項２０】
前記一対の側方ガイド線は、前記作業機の車幅方向における両端を示す位置からそれぞれ後方に延びている、
請求項１９に記載の方法。
【請求項２１】
前記ガイド表示は、前記一対の側方ガイド線から車幅方向における外方に向かって延びる一対の車幅ガイド線をさらに含む、
請求項１０に記載の方法。
【請求項２２】
前記周辺画像と前記ガイド表示とを含む前記画像は、前記作業機械の後進中に、前記ディスプレイに表示される、
請求項１９に記載の方法。
【請求項２３】
作業機械の進行方向における周辺画像を示す画像データを取得し、前記作業機械の車幅方向の間隔を示すガイド表示と、前記周辺画像とを合成して、前記周辺画像と前記ガイド表示とを含む画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記周辺画像と前記ガイド表示とを含む前記画像を表示するディスプレイと、
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示は、作業機械のためのシステム及び方法に関する。
【背景技術】
【０００２】
従来、作業機械とその周辺を示す画像をディスプレイに表示するシステムが知られている。例えば、特許文献１では、システムは、作業機械に取り付けられる複数のカメラとコントローラとを含む。複数のカメラは、作業機械の周辺を撮影する。コントローラは、複数のカメラによって撮影された画像から、作業機械の周辺を示す画像を合成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１６／０３１００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
オペレータは、ディスプレイ上で上述した画像を見ることで、作業機械の周辺を確認することができる。その際、作業機械と、その周辺との位置関係を、オペレータが精度良く把握することができれば、作業効率をより向上させることができる。例えば、作業機械と、作業機械の周辺の道との幅方向の位置関係を、オペレータが精度よく把握することができれば、作業機械が当該道を通過できるかを容易に判断することができる。
【０００５】
本開示は、作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握することを目的とする。
【課題を解決するための手段】
【０００６】
第１の態様に係るシステムは、作業機械と、カメラと、プロセッサと、ディスプレイとを含む。作業機械は、車体と、車体に取り付けられた作業機とを含む。カメラは、作業機械の進行方向における周辺画像を撮影する。プロセッサは、周辺画像を示す画像データを取得する。プロセッサは、ガイド表示と周辺画像とを合成して、周辺画像とガイド表示とを含む画像を生成する。ガイド表示は、作業機械の車幅方向の間隔を示す。ディスプレイは、プロセッサからの信号に基づき、周辺画像とガイド表示とを含む画像を表示する。
【０００７】
第２の態様に係る方法は、作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法である。作業機械は、車体と、車体に取り付けられた作業機とを含む。当該方法は、以下の処理を含む。第１の処理は、作業機械の進行方向における周辺画像を示す画像データを取得することである。第２の処理は、ガイド表示と周辺画像とを合成して、周辺画像とガイド表示とを含む画像を生成することである。ガイド表示は、作業機械の車幅方向の間隔を示す。第３の処理は、プロセッサからの信号に基づき、周辺画像とガイド表示とを含む画像をディスプレイに表示することである。
【０００８】
第３の態様に係る方法は、作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法である。作業機械は、車体と、車体に取り付けられた作業機とを含む。当該方法は、以下の処理を含む。第１の処理は、作業機械の進行方向における周辺画像を示す画像データを取得することである。第２の処理は、ガイド表示と周辺画像とを合成して、周辺画像とガイド表示とを含む画像を生成することである。ガイド表示は、一対の側方ガイド線を含む。一対の側方ガイド線は、作業機械の側方において前方、又は後方に向かって延びる。第３の処理は、周辺画像とガイド表示とを含む画像をディスプレイに表示することである。
【０００９】
第４の態様に係るシステムは、プロセッサとディスプレイとを備える。プロセッサは、画像データを取得する。画像データは、作業機械の進行方向における周辺画像を示す。プロセッサは、ガイド表示と周辺画像とを合成して、周辺画像とガイド表示とを含む画像を生成する。ガイド表示は、作業機械の車幅方向の間隔を示す。ディスプレイは、プロセッサからの信号に基づき、周辺画像とガイド表示とを含む画像を表示する。
【発明の効果】
【００１０】
本開示によれば、作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る作業機械を示す側面図である。
【図２】実施形態に係るシステムの構成を示す図である。
【図３】システムの構成、及び、システムによる処理の流れを示すブロック図である。
【図４】ディスプレイに表示される画像の一例を示す図である。
【図５】前進中の画像の一例を示す図である。
【図６】前進中の画像の他の例を示す図である。
【図７】後進中の画像の一例を示す図である。
【図８】変形例に係るシステムの構成を示す図である。
【図９】変形例に係る前進中の画像を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、実施形態に係る作業機械のシステムについて説明する。図1は、実施形態に係る作業機械１を示す側面図である。本実施形態において、作業機械１はブルドーザである。作業機械１は、車体２と、作業機３と、走行装置４とを含む。なお、以下の説明では、車体２に対して作業機３が配置されている方向が前方、その反対が後方と定義される。また、左右は、車体２から前方を見たときの左右の各方向を意味するものとする。
【００１３】
車体２は、エンジン室１１を含む。エンジン室１１の後方には、運転室１２が配置されている。車体２の後部には、リッパ装置５が取り付けられている。走行装置４は、作業機械１を走行させるための装置である。走行装置４は、一対の履帯１３を含む。履帯１３は、車体２の左右の側方に配置される。履帯１３が駆動されることにより作業機械１が走行する。
【００１４】
作業機３は、車体２の前方に配置されている。作業機３は、掘削、運土、或いは整地などの作業に用いられる。作業機３は、ブレード１４と、リフトシリンダ１５と、チルトシリンダ１６と、アーム１７とを有する。ブレード１４は、アーム１７を介して車体２に取り付けられている。ブレード１４は、上下方向に動作可能に設けられている。リフトシリンダ１５とチルトシリンダ１６とは、後述する油圧ポンプ２２から吐出された作動油によって駆動され、ブレード１４の姿勢を変更する。
【００１５】
図２は、作業機械１を制御するためのシステム１００の構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、制御弁２４とを含む。エンジン２１と、油圧ポンプ２２と、動力伝達装置２３とは、エンジン室１１に配置されている。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、リフトシリンダ１５及びチルトシリンダ１６に供給される。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。
【００１６】
動力伝達装置２３は、エンジン２１の駆動力を走行装置４に伝達する。動力伝達装置２３は、例えば、HST（Hydro Static Transmission）であってもよい。或いは、動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。
【００１７】
制御弁２４は、比例制御弁であり、入力される指令信号に応じて制御される。制御弁２４は、油圧アクチュエータと油圧ポンプ２２との間に配置される。油圧アクチュエータは、リフトシリンダ１５及びチルトシリンダ１６を含む。制御弁２４は、油圧ポンプ２２からリフトシリンダ１５及びチルトシリンダ１６に供給される作動油の流量を制御する。なお、制御弁２４は、圧力比例制御弁であってもよい。或いは、制御弁２４は、電磁比例制御弁であってもよい。
【００１８】
システム１００は、第１コントローラ３１と、第２コントローラ３２と、入力装置３３と、通信装置３４，３５とを含む。第１コントローラ３１と通信装置３４とは、作業機械１に搭載されている。第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業機械１の外部に配置されている。例えば、第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業現場から離れたコントロールセンタ内に配置される。作業機械１は、入力装置３３によって遠隔操縦可能である。
【００１９】
第１コントローラ３１と第２コントローラ３２とは、作業機械１を制御するようにプログラムされている。第１コントローラ３１は、メモリ３１１とプロセッサ３１２とを含む。メモリ３１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３１１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第１コントローラ３１は、走行装置４、或いは動力伝達装置２３を制御することで、作業機械１を走行させる。第１コントローラ３１は、制御弁２４を制御することで、作業機３を動作させる。
【００２０】
第２コントローラ３２は、メモリ３２１とプロセッサ３２２とを含む。メモリ３２１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３２１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３２２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第２コントローラ３２は、入力装置３３から操作信号を受信する。
【００２１】
入力装置３３は、オペレータによる操作を受け付け、操作に応じた操作信号を出力する。入力装置３３は、第２コントローラ３２に操作信号を出力する。入力装置３３は、走行装置４と作業機３とを操作するための操作レバー、ペダル、或いはスイッチ等の操作子を含む。入力装置３３は、タッチパネルを含んでもよい。入力装置３３の操作に応じて、作業機械１の前進及び後進などの走行が制御される。また、入力装置３３の操作に応じて、作業機３の上昇及び下降などの動作が制御される。
【００２２】
第２コントローラ３２は、第１コントローラ３１と、通信装置３４，３５を介して無線により通信可能である。第２コントローラ３２は、入力装置３３からの操作信号から操作データを取得し、操作データを第１コントローラ３１に送信する。操作データは、走行装置４と作業機３とを操作するための入力装置３３の操作を示す。第１コントローラ３１は、操作データに応じて、走行装置４及び作業機３を制御する。
【００２３】
図３は、作業機械１及びその周辺の画像を表示するためのシステム１００の構成、及び、システムによる処理の流れを示すブロック図である。図３に示すように、システム１００は、複数のカメラＣ１−Ｃ４を含む。複数のカメラＣ１−Ｃ４は、車体２に取り付けられている。
【００２４】
複数のカメラＣ１−Ｃ４は、魚眼カメラである。複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度である。ただし、複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度より小さくてもよい。或いは、複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度より大きくてもよい。複数のカメラＣ１−Ｃ４は、前カメラＣ１と、第１サイドカメラＣ２と、後カメラＣ３と、第２サイドカメラＣ４とを有する。
【００２５】
図１に示すように、前カメラＣ１は、車体２の前部に取り付けられる。後カメラＣ３は、車体２の後部に取り付けられる。
【００２６】
第１サイドカメラＣ２は、車体２の一方の側部に取り付けられている。第２サイドカメラＣ４は、車体２の他方の側部に取り付けられている。本実施形態では、第１サイドカメラＣ２は、車体２の左側部に取り付けられ、第２サイドカメラＣ４は、車体２の右側部に取り付けられている。ただし、第１サイドカメラＣ２が、車体２の右側部に取り付けられ、第２サイドカメラＣ４が、車体２の左側部に取り付けられてもよい。
【００２７】
前カメラＣ１は、車体２の前方の画像を取得する。後カメラＣ３は、作業機械１の後方の画像を取得する。第１サイドカメラＣ２は、車体２の左方の画像を取得する。第２サイドカメラＣ４は、車体２の右方の画像を取得する。カメラＣ１−Ｃ４は、取得した画像を示す画像データを出力する。
【００２８】
システム１００は、姿勢センサ３７と位置センサ３８とを含む。姿勢センサ３７は、作業機械１の姿勢を検出し、姿勢を示す姿勢データＤ１を出力する。姿勢センサ３７は、例えばＩＭＵ（慣性計測装置：Inertial Measurement Unit）である。姿勢データＤ１は、車両前後方向の水平に対する角度（ピッチ角）と、車両横方向の水平に対する角度（ロール角）とを含む。姿勢センサは、姿勢データＤ１を出力する。
【００２９】
位置センサ３８は、例えばＧＰＳ（Global Positioning System）などのＧＮＳＳ(Global Navigation Satellite System)レシーバを含む。位置センサ３８は、衛星より測位信号を受信する。位置センサ３８は、測位信号から位置データＤ２を取得する。位置データＤ２は、作業機械１の位置座標を示す。位置センサ３８は、位置データＤ２を出力する。
【００３０】
システム１００は、画像コントローラ４１とディスプレイ４２とを含む。画像コントローラ４１は、作業機械１及びその周辺を示す画像ＩＣを生成してディスプレイ４２に表示するようにプログラムされている。画像コントローラ４１は、メモリ４１１とプロセッサ４１２とを含む。メモリ４１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ４１１は、画像ＩＣを生成するためのプログラム及びデータを記憶している。プロセッサ４１２は、例えばＣＰＵ（Central Processing Unit）である。プロセッサ４１２は、プログラムに従って、画像ＩＣを生成してディスプレイ４２に表示させるための処理を実行する。
【００３１】
画像コントローラ４１は、第１コントローラ３１と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、第２コントローラ３２と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、作業機械１に搭載されてもよい。画像コントローラ４１は、第１コントローラ３１と一体であってもよく、別体であってもよい。
【００３２】
或いは、画像コントローラ４１は、作業機械１の外部に配置されてもよい。例えば、画像コントローラ４１は、コントロールセンタ内に配置されてもよい。画像コントローラ４１は、第２コントローラ３２と一体であってもよく、別体であってもよい。
【００３３】
画像コントローラ４１は、カメラＣ１−Ｃ４と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、カメラＣ１−Ｃ４から画像データを受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像データを受信してもよい。
【００３４】
画像コントローラ４１は、姿勢センサ３７及び位置センサ３８と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、姿勢センサ３７から姿勢データＤ１を受信する。画像コントローラ４１は、位置センサ３８から位置データＤ２を受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、姿勢データＤ１、及び位置データＤ２を受信してもよい。
【００３５】
ディスプレイ４２は、例えばＣＲＴ、ＬＣＤ或いはＯＥＬＤである。ただし、ディスプレイ４２は、これらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ４２は、画像コントローラ４１からの信号に基づいて画像を表示する。ディスプレイ４２は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像コントローラ４１からの信号を受信してもよい。
【００３６】
画像コントローラ４１は、上述した画像データと、姿勢データＤ１と、位置データＤ２とに基づいて、画像ＩＣを生成する。図４は、画像ＩＣの一例を示す図である。画像ＩＣは、作業機械１及びその周辺を含む。以下、画像ＩＣの生成について説明する。
【００３７】
まず、カメラＣ１−Ｃ４が作業機械１及びその周辺を撮影する。それにより、図３に示すように、画像コントローラ４１は、カメラＣ１−Ｃ４から、前方画像ＩＡ１と、左方画像ＩＡ２と、後方画像ＩＡ３と、右方画像ＩＡ４とを取得する。前方画像ＩＡ１は、車体２の前方の画像である。左方画像ＩＡ２は、車体２の左方の画像である。後方画像ＩＡ３は、車体２の後方の画像である。右方画像ＩＡ４は、車体２の右方の画像である。
【００３８】
画像コントローラ４１は、カメラＣ１−Ｃ４が取得した画像ＩＡ１−ＩＡ４から周辺画像ＩＢ１を生成する。周辺画像ＩＢ１は、作業機械１の周辺を俯瞰的に示す合成画像である。図４に示すように、画像コントローラ４１は、３次元投影モデルＭ１に、カメラＣ１−Ｃ４が取得した画像ＩＡ１−ＩＡ４をテクスチャマッピングにより投影することで、周辺画像ＩＢ１を生成する。３次元投影モデルＭ１は、作業機械１の周辺の形状を示すポリゴンメッシュで構成される。画像コントローラ４１は、予め保存された３次元投影モデルＭ１を使用してもよい。或いは、画像コントローラ４１は、ＬＩＤＡＲ（Light Detection and Ranging）などの計測装置によって、作業機械１の周辺を計測して、３次元投影モデルＭ１を生成してもよい。
【００３９】
次に、画像コントローラ４１は、作業機械１を示す機械画像ＩＢ２と周辺画像ＩＢ１とを合成する。機械画像ＩＢ２は、作業機械１自体を３次元的に示す画像である。画像コントローラ４１は、姿勢データＤ１から画像ＩＣ上の機械画像ＩＢ２の姿勢と向きとを決定する。画像コントローラ４１は、位置データＤ２から画像ＩＣ上の機械画像ＩＢ２の位置を決定する。画像コントローラ４１は、画像ＩＣ上の機械画像ＩＢ２の姿勢、向き、及び位置とが、作業機械１の実際の姿勢、向き、及び位置と一致するように、画像ＩＣに機械画像ＩＢ２を合成する。
【００４０】
なお、画像コントローラ４１は、カメラＣ１−Ｃ４が取得した画像ＩＡ１−ＩＡ４から機械画像ＩＢ２を生成してもよい。例えば、カメラＣ１−Ｃ４が取得した画像中に作業機械１の部分がそれぞれ含まれており、画像コントローラ４１は、機械モデルＭ２に、画像中の各部分を投影することで機械画像ＩＢ２を生成してもよい。或いは、機械モデルＭ２は、作業機械１の形状を有する投影モデルであり、メモリ４１１に保存されていてもよい。機械画像ＩＢ２は、予め撮影された既定の画像、或いは予め作成された３次元のコンピュータグラフィックスであってもよい。
【００４１】
ディスプレイ４２は、画像ＩＣを表示する。画像ＩＣは、リアルタイムに更新され、動画としてディスプレイ４２に表示される。従って、作業機械１が走行しているときには、作業機械の周辺の実際の変化に応じて、画像ＩＣ中の周辺画像ＩＢ１も、リアルタイムに変化して表示される。また、作業機械１が走行しているときには、作業機械１の姿勢、向き、及び位置の実際の変化に応じて、機械画像ＩＢ２の姿勢、向き、及び位置も、リアルタイムに変化して表示される。
【００４２】
画像ＩＣの合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。“Visualization of the surrounding environment and operational part in a 3DCG model for the teleoperation of construction machines,” （Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.）において示されている手法が用いられてもよい。
【００４３】
図４では、画像ＩＣは、作業機械１及びその周辺を左方から見た画像である。しかし、画像コントローラ４１は、前方、後方、右方、上方、或いは、各方向の斜め方向の視点から、作業機械１及びその周辺を見た画像に、画像ＩＣを切り換えることができる。
【００４４】
画像コントローラ４１は、作業機械１の前進中には、図５に示す画像ＩＣ＿Ｆを生成して、ディスプレイ４２に表示させる。図５に示す前進中の画像ＩＣ＿Ｆは、作業機械１の後方且つ上方の視点からの画像である。前進中の画像ＩＣ＿Ｆは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、前進中の画像ＩＣ＿Ｆでは、作業機械１の前方が後方よりも広くなるように視点及び作業機械１の位置を決定する。
【００４５】
また、前進中の画像ＩＣ＿Ｆは、ガイド表示ＩＢ３を含む。画像コントローラ４１は、ガイド表示ＩＢ３と、上述した周辺画像ＩＢ１と機械画像ＩＢ２とを合成して、画像ＩＣを生成する。ガイド表示ＩＢ３は、作業機械１の車幅方向の間隔を示す。詳細には、ガイド表示ＩＢ３は、ブレード１４の車幅方向の間隔を示す。ただし、ガイド表示ＩＢ３は、車体２の車幅方向の間隔を示してもよい。
【００４６】
画像コントローラ４１は、作業機械１の姿勢に応じて、画像ＩＣ中にガイド表示ＩＢ３を表示する。詳細には、画像コントローラ４１は、姿勢データＤ１と位置データＤ２とから、ブレード１４の位置と姿勢とを算出する。画像コントローラ４１は、画像ＩＣにおけるブレード１４上の位置にガイド表示ＩＢ３を表示する。ただし、画像コントローラ４１は、ブレード１４より前方の位置にガイド表示ＩＢ３を表示してもよい。
【００４７】
ガイド表示ＩＢ３は、車幅ガイド線Ｇと目盛りＳ１−Ｓ８とを含む。車幅ガイド線Ｇは、作業機械１の車幅方向に延びる直線である。車幅ガイド線Ｇは、左ガイド線Ｇ１と右ガイド線Ｇ２と中央ガイド線Ｇ３とを含む。左ガイド線Ｇ１は、ブレード１４の左端よりも左方に向かって延びている。右ガイド線Ｇ２は、ブレード１４の右端よりも右方に向かって延びている。中央ガイド線Ｇ３は、左ガイド線Ｇ１と右ガイド線Ｇ２との間に位置している。中央ガイド線Ｇ３は、ブレード１４の左端と右端との間で延びている。
【００４８】
目盛りＳ１−Ｓ８は、車幅ガイド線Ｇに沿って、所定間隔ごとに付されている。目盛りＳ１−Ｓ４は、左ガイド線Ｇ１に沿って、所定間隔ごとに付されている。目盛りＳ１は、ブレード１４の左端の位置を示す。目盛りＳ５−Ｓ８は、右ガイド線Ｇ２に沿って、所定間隔ごとに付されている。目盛りＳ５は、ブレード１４の右端の位置を示す。所定間隔は、例えば、１ｍ、或いは１ｆｔである。ただし、所定間隔は、１ｍ、或いは１ｆｔと異なる数値であってもよい。或いは、所定間隔は、ブレード１４の幅、或いは、車体２の幅であってもよい。或いは、オペレータが、入力装置３３によって、所定間隔を選択可能であってもよい。
【００４９】
上述したように、画像コントローラ４１は、作業機械１の姿勢に応じて、画像ＩＣ＿Ｆ中にガイド表示ＩＢ３を表示する。例えば、作業機械１が左右にロールしているときには、図６に示すように、画像コントローラ４１は、ロール角Ａ１に応じた角度で、画像ＩＣ＿Ｆ中にガイド表示ＩＢ３を表示する。すなわち、ガイド表示ＩＢ３は、機械画像ＩＢ２と共に、ロール角Ａ１分、傾いて画像ＩＣに表示される。
【００５０】
画像コントローラ４１は、作業機械１の後進中には、図７に示す画像ＩＣ＿Ｒを生成して、ディスプレイ４２に表示させる。図７に示す後進中の画像ＩＣ＿Ｒは、作業機械１の前方且つ上方の視点からの画像である。後進中の画像ＩＣ＿Ｒは、作業機械１の全体と作業機械１の周辺とを示す。画像コントローラ４１は、後進中の画像ＩＣ＿Ｒでは、作業機械１の後方が前方よりも広くなるように視点及び作業機械１の位置を決定する。
【００５１】
後進中の画像ＩＣ＿Ｒは、ガイド表示ＩＢ４を含む。コントローラは、ガイド表示ＩＢ４と、上述した周辺画像ＩＢ１と機械画像ＩＢ２とを合成して、画像ＩＣ＿Ｒを生成する。ガイド表示ＩＢ４は、作業機械１の車幅方向の間隔を示す。詳細には、ガイド表示ＩＢ４は、ブレード１４の車幅方向の間隔を示す。ただし、ガイド表示ＩＢ４は、車体２の車幅方向の間隔を示してもよい。
【００５２】
ガイド表示ＩＢ４は、側方ガイド線Ｇａ１，Ｇａ２と、車幅ガイド線Ｇｂ１，Ｇｂ２と、目盛りＳ１１−Ｓ１４とを含む。側方ガイド線Ｇａ１，Ｇａ２は、作業機械１の側方において後方に向かって延びる直線である。側方ガイド線Ｇａ１，Ｇａ２は、左側方ガイド線Ｇａ１と右側方ガイド線Ｇａ２とを含む。左側方ガイド線Ｇａ１は、ブレード１４の左端から後方に延びている。右側方ガイド線Ｇａ２は、ブレード１４の右端から後方に延びている。
【００５３】
車幅ガイド線Ｇｂ１，Ｇｂ２は、作業機械１の車幅方向に延びる直線である。車幅ガイド線Ｇｂ１，Ｇｂ２は、左車幅ガイド線Ｇｂ１と右車幅ガイド線Ｇｂ２とを含む。左車幅ガイド線Ｇｂ１は、左側方ガイド線Ｇａ１から左方に向かって延びている。右車幅ガイド線Ｇｂ２は、右側方ガイド線Ｇａ２から右方に向かって延びている。詳細には、左車幅ガイド線Ｇｂ１は、左側方ガイド線Ｇａ１の後端から左方に向かって延びている。右車幅ガイド線Ｇｂ２は、右側方ガイド線Ｇａ２の後端から右方に向かって延びている。左側方ガイド線Ｇａ１と左車幅ガイド線Ｇｂ１とは、Ｌ字型、或いは、逆Ｌ字型に屈曲した形状を有している。右側方ガイド線Ｇａ２と右車幅ガイド線Ｇｂ２とは、Ｌ字型、或いは、逆Ｌ字型に屈曲した形状を有している。
【００５４】
目盛りＳ１１，Ｓ１２は、左車幅ガイド線Ｇｂ１に沿って、所定間隔ごとに付されている。目盛りＳ１１，Ｓ１２は、右車幅ガイド線Ｇｂ２に沿って、所定間隔ごとに付されている。所定間隔については、前進中の画像ＩＣ＿Ｆと同様である。また、前進中の画像ＩＣ＿Ｆと同様に、後進中の画像ＩＣ＿Ｒにおいても、画像コントローラ４１は、作業機械１の姿勢に応じてガイド表示ＩＢ４を表示する。
【００５５】
以上説明した本実施形態に係るシステム１００では、画像ＩＣ＿Ｆ，ＩＣ＿Ｒにおいて、作業機械１の車幅方向の間隔を示すガイド表示ＩＢ３，ＩＢ４が表示される。そのため、作業機械１と、その周辺との位置関係を、オペレータが精度良く把握することができる。それにより、作業効率を向上させることができる。
【００５６】
ガイド表示ＩＢ３が、前進中の画像ＩＣ＿Ｆに表示される。また、ガイド表示ＩＢ４が、後進中の画像ＩＣ＿Ｒとにおいて表示される。そのため、作業機械１の走行中に、作業機械１と、その周辺との位置関係を、オペレータが精度良く把握することができる。それにより、オペレータは、作業機械１の走行操作を容易に行うことができる。
【００５７】
作業機械１の姿勢に応じてガイド表示ＩＢ３，ＩＢ４が画像ＩＣ＿Ｆ，ＩＣ＿Ｒに表示される。そのため、作業機械１が大きくロールしながら走行するときであっても、作業機械１と、その周辺との位置関係を、オペレータが精度良く把握することができる。
【００５８】
ガイド表示ＩＢ３は、車幅ガイド線Ｇと目盛りＳ１−Ｓ８とを含む。ガイド表示ＩＢ４は、車幅ガイド線Ｇｂ１，Ｇｂ２と目盛りＳ１１−Ｓ４とを含む。そのため、ブレード１４に対する作業機械１の周辺との位置関係を、オペレータが精度良く把握することができる。
【００５９】
後進中の画像ＩＣ＿Ｒは、側方ガイド線Ｇａ１，Ｇａ２を含む。そのため、ブレード１４から離れた作業機械１の後方の位置においても、ブレード１４に対する作業機械１の周辺との位置関係を、オペレータが精度良く把握することができる。
【００６０】
以上、実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、作業機械１は、ブルドーザに限らず、ホイールローダ、或いは油圧ショベルなどの他の種類のものであってもよい。
【００６１】
作業機械１は、遠隔操作ではなく、運転室内で操作されてもよい。図８は、変形例に係る作業機械１の構成を示す図である。図８に示すように、作業機械１は、作業機械１に搭載されたコントローラ３０を含んでもよい。コントローラ３０は、上述した第１コントローラ３１及び第２コントローラ３２と同様の構成であるため、詳細な説明を省略する。この場合、入力装置３３は、運転室内に配置されてもよい。
【００６２】
第１コントローラ３１は、一体に限らず、複数のコントローラに分かれていてもよい。第２コントローラ３２は、一体に限らず、複数のコントローラに分かれていてもよい。コントローラ３０は、一体に限らず、複数のコントローラに分かれていてもよい。上述した画像ＩＣを生成する処理の一部又は全部は、画像コントローラ４１ではなく、他のコントローラによって実行されてもよい。
【００６３】
カメラの数は、４つに限らず、３つ以下、或いは５つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。姿勢センサ３７は、ＩＭＵに限らず、他のセンサであってもよい。位置センサ３８は、ＧＮＳＳレシーバに限らず、他のセンサであってもよい。
【００６４】
前進中の画像、或いは後進中の画像は、上述した視点と異なる視点からの画像であってもよい。ガイド表示は、線に限らず、点などの他の形状であってもよい。ガイド表示の目盛りの数は、上記の実施形態のものに限らず、変更されてもよい。ガイド表示は、前進中の画像と後進中の画像との一方のみにおいて表示されてもよい。或いは、ガイド表示は、前進中、或いは後進中以外の画像において表示されてもよい。
【００６５】
後進中のガイド表示ＩＢ４と同様のガイド表示が、前進中に表示されてもよい。たとえば図９に示すように、前進中にガイド表示ＩＢ５がディスプレイ４２に表示されてもよい。ガイド表示ＩＢ５は、側方ガイド線Ｇｃ１，Ｇｃ２と、車幅ガイド線Ｇｄ１，Ｇｄ２と、目盛りＳ２１−Ｓ２４とを含む。側方ガイド線Ｇｃ１，Ｇｃ２は、作業機械１の側方において前方に向かって延びる直線である。車幅ガイド線Ｇｄ１，Ｇｄ２は、作業機械１の車幅方向に延びる直線である。側方ガイド線Ｇｃ１，Ｇｃ２と、車幅ガイド線Ｇｄ１，Ｇｄ２と、目盛りＳ２１−Ｓ２４とは、ガイド表示ＩＢ４の側方ガイド線Ｇａ１，Ｇａ２と、車幅ガイド線Ｇｂ１，Ｇｂ２と、目盛りＳ１１−Ｓ１４とそれぞれ同様であるため、説明を省略する。
【産業上の利用可能性】
【００６６】
本開示によれば、作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握することができる。
【符号の説明】
【００６７】
１          作業機械
３          作業機
４２        ディスプレイ
４１２      プロセッサ
Ｃ１−Ｃ４  カメラ
【図１】
2020120232.tif 000003
【図２】
2020120232.tif 000004
【図３】
2020120232.tif 000005
【図４】
2020120232.tif 000006
【図５】
2020120232.tif 000007
【図６】
2020120232.tif 000008
【図７】
2020120232.tif 000009
【図８】
2020120232.tif 000010
【図９】
2020120232.tif 000011