(57)【要約】【課題】作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握する。【解決手段】プロセッサは、作業機械の進行方向における周辺の形状を示す形状データを取得する。プロセッサは、ガイド線を生成する。ガイド線は、作業機械に対して離れて配置される。ガイド線は、作業機械の進行方向における周辺の形状を示す。プロセッサは、周辺画像とガイド線とを合成して、作業機械の周辺画像とガイド線とを含む画像を生成する。ディスプレイは、プロセッサからの信号に基づき、周辺画像とガイド線とを含む画像を表示する。【選択図】図５
2020120233.tif 000002
【特許請求の範囲】
【請求項１】
車体と、前記車体に取り付けられた作業機とを含む作業機械と、
前記作業機械の進行方向における周辺画像を撮影するカメラと、
前記作業機械の進行方向における周辺の形状を計測するセンサと、
前記周辺画像を示す画像データを取得し、前記作業機械の進行方向における周辺の形状を示す形状データを取得し、前記作業機械に対して離れて配置され、前記作業機械の進行方向における周辺の形状を示すガイド線を生成し、前記周辺画像と前記ガイド線とを合成して、前記周辺画像と前記ガイド線とを含む画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記周辺画像と前記ガイド線とを含む前記画像を表示するディスプレイと、
を備えるシステム。
【請求項２】
前記ガイド線は、前記作業機械の周辺の表面の形状を示す、
請求項１に記載のシステム。
【請求項３】
前記ガイド線は、前記作業機械の周辺の表面の高低差を示す、
請求項１に記載のシステム。
【請求項４】
前記作業機は、ブレードを含み、
前記ガイド線の位置は、前記ブレードの位置に基づいて決定される、
請求項１に記載のシステム。
【請求項５】
前記ガイド線の位置は、前記ブレードの下端部の位置に基づいて決定される、
請求項１に記載のシステム。
【請求項６】
前記周辺画像は、前記作業機械の後方且つ上方の視点からの画像である、
請求項１に記載のシステム。
【請求項７】
前記プロセッサは、前記作業機械の進行方向に互いに離れて配置される複数の前記ガイド線を生成し、前記周辺画像と前記複数のガイド線とを含む前記画像を生成する、
請求項１に記載のシステム。
【請求項８】
前記複数のガイド線は、前記作業機械の進行方向に等間隔に配置されている、
請求項７に記載のシステム。
【請求項９】
前記プロセッサは、前記作業機械を示す機械画像を、前記周辺画像と前記ガイド線とに合成して、前記周辺画像と前記ガイド線と前記機械画像とを含む画像を生成して、前記ディスプレイに表示させる、
請求項１に記載のシステム。
【請求項１０】
前記機械画像は、透過画像である、
請求項９に記載のシステム。
【請求項１１】
車体と、前記車体に取り付けられた作業機とを含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
前記作業機械の進行方向における周辺画像を示す画像データを取得することと、
前記作業機械の進行方向における周辺の形状を示す形状データを取得することと、
前記作業機械に対して離れて配置され、前記作業機械の進行方向における周辺の形状を示すガイド線を生成することと、
前記周辺画像と前記ガイド線とを合成して、前記周辺画像と前記ガイド線とを含む画像を生成することと、
前記周辺画像と前記ガイド線とを含む前記画像を、前記ディスプレイに表示すること、
を備える方法。
【請求項１２】
前記ガイド線は、前記作業機械の周辺の表面の形状を示す、
請求項１１に記載の方法。
【請求項１３】
前記ガイド線は、前記作業機械の周辺の表面の高低差を示す、
請求項１１に記載の方法。
【請求項１４】
前記作業機は、ブレードを含み、
前記ガイド線の位置は、前記ブレードの位置に基づいて決定される、
請求項１１に記載の方法。
【請求項１５】
前記ガイド線の位置は、前記ブレードの下端部の位置に基づいて決定される、
請求項１１に記載の方法。
【請求項１６】
前記周辺画像は、前記作業機械の後方且つ上方の視点からの画像である、
請求項１１に記載のシステム。
【請求項１７】
前記作業機械の進行方向に互いに離れて配置される複数の前記ガイド線を生成することと、
前記周辺画像と前記複数のガイド線とを合成して、前記周辺画像と前記複数のガイド線とを含む前記画像を生成することと、
前記周辺画像と前記複数のガイド線とを含む前記画像を、前記ディスプレイに表示すること、
を備える請求項１１に記載の方法。
【請求項１８】
前記複数のガイド線は、前記作業機械の進行方向に等間隔に配置されている、
請求項１７に記載の方法。
【請求項１９】
前記プロセッサは、前記作業機械を示す機械画像を、前記周辺画像と前記ガイド線とに合成して、前記周辺画像と前記ガイド線と前記機械画像とを含む画像を生成して、前記ディスプレイに表示させる、
請求項１１に記載の方法。
【請求項２０】
前記機械画像は、透過画像である、
請求項１９に記載の方法。
【請求項２１】
作業機械の進行方向における周辺画像を示す画像データを取得し、前記作業機械の進行方向における周辺の形状を示す形状データを取得し、前記作業機械に対して離れて配置され、前記作業機械の進行方向における周辺の形状を示すガイド線を生成し、前記周辺画像と前記ガイド線とを合成して、前記周辺画像と前記ガイド線とを含む画像を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記周辺画像と前記ガイド線とを含む前記画像を表示するディスプレイと、
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、作業機械のためのシステム及び方法に関する。
【背景技術】
【０００２】
従来、作業機械とその周辺を示す画像をディスプレイに表示するシステムが知られている。例えば、特許文献１では、システムは、作業機械に取り付けられる複数のカメラとコントローラとを含む。複数のカメラは、作業機械の周辺を撮影する。コントローラは、複数のカメラによって撮影された画像から、作業機械の周辺を示す画像を合成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１６／０３１００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
オペレータは、ディスプレイ上で上述した画像を見ることで、作業機械の周辺を確認することができる。その際、作業機械と、その周辺との位置関係を、オペレータが精度良く把握することができれば、作業効率をより向上させることができる。例えば、作業機械の前方の地形と作業機械との位置関係を、オペレータが精度よく把握することができれば、掘削等の作業を効率よく行うことができる。
【０００５】
本開示は、作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握することを目的とする。
【課題を解決するための手段】
【０００６】
第１の態様に係るシステムは、作業機械と、カメラと、センサと、プロセッサと、ディスプレイとを含む。作業機械は、車体と、車体に取り付けられた作業機とを含む。カメラは、作業機械の進行方向における周辺画像を撮影する。センサは、作業機械の進行方向における周辺の形状を計測する。プロセッサは、周辺画像を示す画像データを取得する。プロセッサは、作業機械の進行方向における周辺の形状を示す形状データを取得する。プロセッサは、ガイド線を生成する。ガイド線は、作業機械に対して離れて配置される。ガイド線は、作業機械の進行方向における周辺の形状を示す。プロセッサは、周辺画像とガイド線とを合成して、周辺画像とガイド線とを含む画像を生成する。ディスプレイは、プロセッサからの信号に基づき、周辺画像とガイド線とを含む画像を表示する。
【０００７】
第２の態様に係る方法は、作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法である。作業機械は、車体と、車体に取り付けられた作業機とを含む。当該方法は、以下の処理を含む。第１の処理は、作業機械の進行方向における周辺画像を示す画像データを取得することである。第２の処理は、作業機械の進行方向における周辺の形状を示す形状データを取得することである。第３の処理は、ガイド線を生成することである。ガイド線は、作業機械に対して離れて配置される。ガイド線は、作業機械の進行方向における周辺の形状を示す。第４の処理は、周辺画像とガイド線とを合成して、周辺画像とガイド線とを含む画像を生成することである。第５の処理は、周辺画像とガイド線とを含む画像を、ディスプレイに表示することである。
【０００８】
第３の態様に係るシステムは、プロセッサとディスプレイとを含む。プロセッサは、作業機械の進行方向における周辺画像を示す画像データを取得する。プロセッサは、作業機械の進行方向における周辺の形状を示す形状データを取得する。プロセッサは、ガイド線を生成する。ガイド線は、作業機械に対して離れて配置される。ガイド線は、作業機械の進行方向における周辺の形状を示す。プロセッサは、周辺画像とガイド線とを合成して、周辺画像とガイド線とを含む画像を生成する。ディスプレイは、プロセッサからの信号に基づき、周辺画像とガイド線とを含む画像を表示する。
【発明の効果】
【０００９】
本開示によれば、作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る作業機械を示す側面図である。
【図２】実施形態に係るシステムの構成を示す図である。
【図３】システムの構成、及び、システムによる処理の流れを示すブロック図である。
【図４】ディスプレイに表示される画像の一例を示す図である。
【図５】掘削中の画像の一例を示す図。
【図６】変形例に係るシステムの構成を示す図である。
【図７】後進中の画像の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態に係る作業機械のシステムについて説明する。図1は、実施形態に係る作業機械１を示す側面図である。本実施形態において、作業機械１はブルドーザである。作業機械１は、車体２と、作業機３と、走行装置４とを含む。なお、以下の説明では、車体２に対して作業機３が配置されている方向が前方、その反対が後方と定義される。また、左右は、車体２から前方を見たときの左右の各方向を意味するものとする。
【００１２】
車体２は、エンジン室１１を含む。エンジン室１１の後方には、運転室１２が配置されている。車体２の後部には、リッパ装置５が取り付けられている。走行装置４は、作業機械１を走行させるための装置である。走行装置４は、一対の履帯１３を含む。履帯１３は、車体２の左右の側方に配置される。履帯１３が駆動されることにより作業機械１が走行する。
【００１３】
作業機３は、車体２の前方に配置されている。作業機３は、掘削、運土、或いは整地などの作業に用いられる。作業機３は、ブレード１４と、リフトシリンダ１５と、チルトシリンダ１６と、アーム１７とを有する。ブレード１４は、アーム１７を介して車体２に取り付けられている。ブレード１４は、上下方向に動作可能に設けられている。リフトシリンダ１５とチルトシリンダ１６とは、後述する油圧ポンプ２２から吐出された作動油によって駆動され、ブレード１４の姿勢を変更する。
【００１４】
図２は、作業機械１を制御するためのシステム１００の構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、制御弁２４とを含む。エンジン２１と、油圧ポンプ２２と、動力伝達装置２３とは、エンジン室１１に配置されている。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、リフトシリンダ１５及びチルトシリンダ１６に供給される。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。
【００１５】
動力伝達装置２３は、エンジン２１の駆動力を走行装置４に伝達する。動力伝達装置２３は、例えば、HST（Hydro Static Transmission）であってもよい。或いは、動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。
【００１６】
制御弁２４は、比例制御弁であり、入力される指令信号に応じて制御される。制御弁２４は、油圧アクチュエータと油圧ポンプ２２との間に配置される。油圧アクチュエータは、リフトシリンダ１５及びチルトシリンダ１６を含む。制御弁２４は、油圧ポンプ２２からリフトシリンダ１５及びチルトシリンダ１６に供給される作動油の流量を制御する。なお、制御弁２４は、圧力比例制御弁であってもよい。或いは、制御弁２４は、電磁比例制御弁であってもよい。
【００１７】
システム１００は、第１コントローラ３１と、第２コントローラ３２と、入力装置３３と、通信装置３４，３５とを含む。第１コントローラ３１と通信装置３４とは、作業機械１に搭載されている。第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業機械１の外部に配置されている。例えば、第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業現場から離れたコントロールセンタ内に配置される。作業機械１は、入力装置３３によって遠隔操縦可能である。
【００１８】
第１コントローラ３１と第２コントローラ３２とは、作業機械１を制御するようにプログラムされている。第１コントローラ３１は、メモリ３１１とプロセッサ３１２とを含む。メモリ３１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３１１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第１コントローラ３１は、走行装置４、或いは動力伝達装置２３を制御することで、作業機械１を走行させる。第１コントローラ３１は、制御弁２４を制御することで、作業機３を動作させる。
【００１９】
第２コントローラ３２は、メモリ３２１とプロセッサ３２２とを含む。メモリ３２１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３２１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３２２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第２コントローラ３２は、入力装置３３から操作信号を受信する。
【００２０】
入力装置３３は、オペレータによる操作を受け付け、操作に応じた操作信号を出力する。入力装置３３は、第２コントローラ３２に操作信号を出力する。入力装置３３は、走行装置４と作業機３とを操作するための操作レバー、ペダル、或いはスイッチ等の操作子を含む。入力装置３３は、タッチパネルを含んでもよい。入力装置３３の操作に応じて、作業機械１の前進及び後進などの走行が制御される。また、入力装置３３の操作に応じて、作業機３の上昇及び下降などの動作が制御される。
【００２１】
第２コントローラ３２は、第１コントローラ３１と、通信装置３４，３５を介して無線により通信可能である。第２コントローラ３２は、入力装置３３からの操作信号から操作データを取得し、操作データを第１コントローラ３１に送信する。操作データは、走行装置４と作業機３とを操作するための入力装置３３の操作を示す。第１コントローラ３１は、操作データに応じて、走行装置４及び作業機３を制御する。
【００２２】
図３は、作業機械１及びその周辺の画像を表示するためのシステム１００の構成、及び、システムによる処理の流れを示すブロック図である。図３に示すように、システム１００は、複数のカメラＣ１−Ｃ４を含む。複数のカメラＣ１−Ｃ４は、車体２に取り付けられている。
【００２３】
複数のカメラＣ１−Ｃ４は、魚眼カメラである。複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度である。ただし、複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度より小さくてもよい。或いは、複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度より大きくてもよい。複数のカメラＣ１−Ｃ４は、前カメラＣ１と、第１サイドカメラＣ２と、後カメラＣ３と、第２サイドカメラＣ４とを有する。
【００２４】
図１に示すように、前カメラＣ１は、車体２の前部に取り付けられる。詳細には、図１に示すように、車体２は支持部材１８を含む。支持部材１８は、車体２の前部から上方、且つ、前方に延びている。前カメラＣ１は、支持部材１８に取り付けられている。後カメラＣ３は、車体２の後部に取り付けられる。
【００２５】
第１サイドカメラＣ２は、車体２の一方の側部に取り付けられている。第２サイドカメラＣ４は、車体２の他方の側部に取り付けられている。本実施形態では、第１サイドカメラＣ２は、車体２の左側部に取り付けられ、第２サイドカメラＣ４は、車体２の右側部に取り付けられている。ただし、第１サイドカメラＣ２が、車体２の右側部に取り付けられ、第２サイドカメラＣ４が、車体２の左側部に取り付けられてもよい。
【００２６】
前カメラＣ１は、車体２の前方の画像を取得する。後カメラＣ３は、作業機械１の後方の画像を取得する。第１サイドカメラＣ２は、車体２の左方の画像を取得する。第２サイドカメラＣ４は、車体２の右方の画像を取得する。カメラＣ１−Ｃ４は、取得した画像を示す画像データを出力する。
【００２７】
システム１００は、姿勢センサ３７と、位置センサ３８と、形状センサ３９とを含む。姿勢センサ３７は、作業機械１の姿勢を検出し、姿勢を示す姿勢データＤ１を出力する。姿勢センサ３７は、例えばＩＭＵ（慣性計測装置：Inertial Measurement Unit）である。姿勢データＤ１は、車両前後方向の水平に対する角度（ピッチ角）と、車両横方向の水平に対する角度（ロール角）とを含む。姿勢センサは、姿勢データＤ１を出力する。
【００２８】
位置センサ３８は、例えばＧＰＳ（Global Positioning System）などのＧＮＳＳ(Global Navigation Satellite System)レシーバを含む。位置センサ３８は、衛星より測位信号を受信する。位置センサ３８は、測位信号から位置データＤ２を取得する。位置データＤ２は、作業機械１の位置座標を示す。位置センサ３８は、位置データＤ２を出力する。
【００２９】
形状センサ３９は、作業機械１の周辺の形状を計測する。形状センサ３９は、作業機械１の周辺の形状を示す形状データＤ３を出力する。形状センサ３９は、支持部材１８に取り付けられている。形状センサ３９は、作業機械１の前方の地形を計測する。形状センサ３９は、例えば、ＬＩＤＡＲ（Light Detection and Ranging）である。
【００３０】
システム１００は、画像コントローラ４１とディスプレイ４２とを含む。画像コントローラ４１は、作業機械１及びその周辺を示す画像ＩＣを生成してディスプレイ４２に表示するようにプログラムされている。画像コントローラ４１は、メモリ４１１とプロセッサ４１２とを含む。メモリ４１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ４１１は、画像ＩＣを生成するためのプログラム及びデータを記憶している。プロセッサ４１２は、例えばＣＰＵ（Central Processing Unit）である。プロセッサ４１２は、プログラムに従って、画像ＩＣを生成してディスプレイ４２に表示させるための処理を実行する。
【００３１】
画像コントローラ４１は、第１コントローラ３１と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、第２コントローラ３２と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、作業機械１に搭載されてもよい。画像コントローラ４１は、第１コントローラ３１と一体であってもよく、別体であってもよい。
【００３２】
或いは、画像コントローラ４１は、作業機械１の外部に配置されてもよい。例えば、画像コントローラ４１は、コントロールセンタ内に配置されてもよい。画像コントローラ４１は、第２コントローラ３２と一体であってもよく、別体であってもよい。
【００３３】
画像コントローラ４１は、カメラＣ１−Ｃ４と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、カメラＣ１−Ｃ４から画像データを受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像データを受信してもよい。
【００３４】
画像コントローラ４１は、姿勢センサ３７、位置センサ３８、及び形状センサ３９と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、姿勢センサ３７から姿勢データＤ１を受信する。画像コントローラ４１は、位置センサ３８から位置データＤ２を受信する。画像コントローラ４１は、形状センサ３９から形状データＤ３を受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、姿勢データＤ１、位置データＤ２、及び形状データＤ３を受信してもよい。
【００３５】
ディスプレイ４２は、例えばＣＲＴ、ＬＣＤ或いはＯＥＬＤである。ただし、ディスプレイ４２は、これらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ４２は、画像コントローラ４１からの信号に基づいて画像を表示する。ディスプレイ４２は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像コントローラ４１からの信号を受信してもよい。
【００３６】
画像コントローラ４１は、上述した画像データと、姿勢データＤ１と、位置データＤ２と、形状データＤ３とに基づいて、画像ＩＣを生成する。図４は、画像ＩＣの一例を示す図である。画像ＩＣは、作業機械１及びその周辺を含む。以下、画像ＩＣの生成について説明する。
【００３７】
まず、カメラＣ１−Ｃ４が作業機械１及びその周辺を撮影する。それにより、図３に示すように、画像コントローラ４１は、カメラＣ１−Ｃ４から、前方画像ＩＡ１と、左方画像ＩＡ２と、後方画像ＩＡ３と、右方画像ＩＡ４とを取得する。前方画像ＩＡ１は、車体２の前方の画像である。左方画像ＩＡ２は、車体２の左方の画像である。後方画像ＩＡ３は、車体２の後方の画像である。右方画像ＩＡ４は、車体２の右方の画像である。
【００３８】
画像コントローラ４１は、カメラＣ１−Ｃ４が取得した画像ＩＡ１−ＩＡ４から周辺画像ＩＢ１を生成する。周辺画像ＩＢ１は、作業機械１の周辺を俯瞰的に示す合成画像である。図４に示すように、画像コントローラ４１は、３次元投影モデルＭ１に、カメラＣ１−Ｃ４が取得した画像ＩＡ１−ＩＡ４をテクスチャマッピングにより投影することで、周辺画像ＩＢ１を生成する。３次元投影モデルＭ１は、作業機械１の周辺の形状を示すポリゴンメッシュで構成される。画像コントローラ４１は、予め保存された３次元投影モデルＭ１を使用してもよい。或いは、画像コントローラ４１は、形状データＤ３に基づいて、３次元投影モデルＭ１を生成してもよい。
【００３９】
次に、画像コントローラ４１は、作業機械１を示す機械画像ＩＢ２と周辺画像ＩＢ１とを合成する。機械画像ＩＢ２は、作業機械１自体を３次元的に示す画像である。画像コントローラ４１は、姿勢データＤ１から画像ＩＣ上の機械画像ＩＢ２の姿勢と向きとを決定する。画像コントローラ４１は、位置データＤ２から画像ＩＣ上の機械画像ＩＢ２の位置を決定する。画像コントローラ４１は、画像ＩＣ上の機械画像ＩＢ２の姿勢、向き、及び位置とが、作業機械１の実際の姿勢、向き、及び位置と一致するように、画像ＩＣに機械画像ＩＢ２を合成する。
【００４０】
なお、画像コントローラ４１は、カメラＣ１−Ｃ４が取得した画像ＩＡ１−ＩＡ４から機械画像ＩＢ２を生成してもよい。例えば、カメラＣ１−Ｃ４が取得した画像中に作業機械１の部分がそれぞれ含まれており、画像コントローラ４１は、機械モデルＭ２に、画像中の各部分を投影することで機械画像ＩＢ２を生成してもよい。或いは、機械モデルＭ２は、作業機械１の形状を有する投影モデルであり、メモリ４１１に保存されていてもよい。機械画像ＩＢ２は、予め撮影された既定の画像、或いは予め作成された３次元のコンピュータグラフィックスであってもよい。機械画像ＩＢ２からは、支持部材１８などの作業機械１の構成の一部が省略されてもよい。
【００４１】
ディスプレイ４２は、画像ＩＣを表示する。画像ＩＣは、リアルタイムに更新され、動画としてディスプレイ４２に表示される。従って、作業機械１が走行しているときには、作業機械の周辺の実際の変化に応じて、画像ＩＣ中の周辺画像ＩＢ１も、リアルタイムに変化して表示される。また、作業機械１が走行しているときには、作業機械１の姿勢、向き、及び位置の実際の変化に応じて、機械画像ＩＢ２の姿勢、向き、及び位置も、リアルタイムに変化して表示される。
【００４２】
画像ＩＣの合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。“Visualization of the surrounding environment and operational part in a 3DCG model for the teleoperation of construction machines,” （Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.）において示されている手法が用いられてもよい。
【００４３】
図４では、画像ＩＣは、作業機械１及びその周辺を左方から見た画像である。しかし、画像コントローラ４１は、前方、後方、右方、上方、或いは、各方向の斜め方向の視点から、作業機械１及びその周辺を見た画像に、画像ＩＣを切り換えることができる。
【００４４】
画像コントローラ４１は、掘削中には、図５に示す画像ＩＣ＿Ｆを生成して、ディスプレイ４２に表示させる。画像コントローラ４１は、作業機械１が掘削中であることを自動的に判定してもよい。例えば、画像コントローラ４１は、入力装置３３からの操作信号に基づいて、作業機械１が掘削中であることを判定してもよい。或いは、画像コントローラ４１は、オペレータが入力装置３３を操作することによって、画像ＩＣ＿Ｆを、ディスプレイ４２に表示させてもよい。
【００４５】
図５に示す掘削中の画像ＩＣ＿Ｆは、作業機械１の後方且つ上方の視点からの画像である。画像ＩＣ＿Ｆは、作業機械１と作業機械１の周辺とを示す。画像コントローラ４１は、画像ＩＣ＿Ｆでは、作業機械１の前方が後方よりも広くなるように視点及び作業機械１の位置を決定する。機械画像ＩＢ２は、ブレード１４の幅が画像ＩＣ＿Ｆの幅の約１／３となるように、画像ＩＣ＿Ｆに表示される。ただし、画像ＩＣ＿Ｆ中での機械画像ＩＢ２の大きさは、これ限られず、変更されてもよい。
【００４６】
また、画像ＩＣ＿Ｆは、ガイド表示ＩＢ３を含む。画像コントローラ４１は、ガイド表示ＩＢ３と、上述した周辺画像ＩＢ１と、機械画像ＩＢ２とを合成して、画像ＩＣ＿Ｆを生成する。機械画像ＩＢ２は、透過画像である。すなわち、機械画像ＩＢ２と重なる周辺画像ＩＢ１の一部が、機械画像ＩＢ２を透過して視認可能である。例えば、機械画像ＩＢ２は、スケルトン画像であってもよい。或いは、機械画像ＩＢ２は、完全な透明ではないが、高透過度を有する画像であってもよい。
【００４７】
ガイド表示ＩＢ３は、複数のガイド線Ｇ１−Ｇ４を含む。複数のガイド線Ｇ１−Ｇ４は、作業機械１の前方に互いに離れて配置されている。複数のガイド線Ｇ１−Ｇ４は、作業機３から前方に、等間隔に配置されている。例えば、複数のガイド線Ｇ１−Ｇ４は、作業機３から前方に、１ｍ、或いは１ｆｔ間隔で配置されている。複数のガイド線Ｇ１−Ｇ４の間隔は、オペレータが入力装置を操作することで、変更可能であってもよい。
【００４８】
ガイド線Ｇ１は、複数のガイド線Ｇ１−Ｇ４の中で最も作業機械１に近い。ガイド線Ｇ１の位置は、作業機３の位置に基づいて決定される。例えば、ガイド線Ｇ１は、ブレード１４から所定距離、前方の位置に表示される。ガイド線Ｇ１は、ブレード１４の下端部から所定距離、前方の位置に表示されてもよい。或いは、ガイド線Ｇ１は、ブレード１４上の位置に表示されてもよい。
【００４９】
複数のガイド線Ｇ１−Ｇ４のそれぞれは、作業機械１の車幅方向に延びている。複数のガイド線Ｇ１−Ｇ４は、作業機械１の周辺の形状を示す。複数のガイド線Ｇ１−Ｇ４のそれぞれは、作業機械１の周辺の表面の高低差を示す等高線に相当する。複数のガイド線Ｇ１−Ｇ４のそれぞれは、作業機械１の周辺の表面に沿った形状を有する。例えば、作業機械１の周辺の表面が凹凸のある形状である場合、複数のガイド線Ｇ１−Ｇ４のそれぞれは、作業機械１の周辺の表面に沿った凹凸のある形状となる。或いは、作業機械１の周辺の表面が直線状である場合、複数のガイド線Ｇ１−Ｇ４のそれぞれは、作業機械１の周辺の表面に沿った直線状となる。
【００５０】
以上説明した本実施形態に係るシステム１００では、画像ＩＣ＿Ｆにおいて、複数のガイド線Ｇ１−Ｇ４を含むガイド表示ＩＢ３が表示される。そのため、オペレータは、作業機械１の前方の地形と、作業機械１と当該地形との位置関係とを、精度良く把握することができる。それにより、掘削などの作業効率を向上させることができる。
【００５１】
複数のガイド線Ｇ１−Ｇ４は、等間隔に配置されている。そのため、オペレータは、作業機械１の前方の距離感を容易に把握することができる。
【００５２】
以上、本開示の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、作業機械１は、ブルドーザに限らず、ホイールローダ、或いは油圧ショベルなどの他の種類のものであってもよい。
【００５３】
作業機械１は、遠隔操作ではなく、運転室内で操作されてもよい。図６は、変形例に係る作業機械１の構成を示す図である。図６に示すように、作業機械１は、作業機械１に搭載されたコントローラ３０を含んでもよい。コントローラ３０は、上述した第１コントローラ３１及び第２コントローラ３２と同様の構成であるため、詳細な説明を省略する。この場合、入力装置３３は、運転室内に配置されてもよい。
【００５４】
第１コントローラ３１は、一体に限らず、複数のコントローラに分かれていてもよい。第２コントローラ３２は、一体に限らず、複数のコントローラに分かれていてもよい。コントローラ３０は、一体に限らず、複数のコントローラに分かれていてもよい。上述した画像ＩＣ＿Ｆを生成する処理の一部又は全部は、画像コントローラ４１ではなく、他のコントローラによって実行されてもよい。
【００５５】
カメラの数は、４つに限らず、３つ以下、或いは５つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。姿勢センサ３７は、ＩＭＵに限らず、他のセンサであってもよい。位置センサ３８は、ＧＮＳＳレシーバに限らず、他のセンサであってもよい。形状センサ３９は、ＬＩＤＡＲに限らず、ステレオカメラなどの他の装置であってもよい。
【００５６】
掘削中の画像ＩＣ＿Ｆは、上記の実施形態の画像に限らず、変更されてもよい。例えば、掘削作業中の画像ＩＣ＿Ｆにおいて、機械画像ＩＢ２は透過画像でなくてもよい。掘削中の画像ＩＣ＿Ｆは、上述した視点と異なる視点からの画像であってもよい。例えば、掘削中の画像ＩＣ＿Ｆは、作業機械１の前方且つ上方の視点からの画像であってもよい。或いは、掘削中の画像ＩＣ＿Ｆは、作業機械１の側方の視点からの画像であってもよい。その場合も、複数のガイド線Ｇ１−Ｇ４は、作業機械１を基準として、作業機械１の前方に互いに離れて配置されてもよい。
【００５７】
上記の実施形態では、ガイド線の数は４つである。しかし、ガイド線の数は、４より少なくてもよく、或いは４より多くてもよい。ガイド線の数は、１つであってもよい。ガイド表示は、掘削中以外の画像において表示されてもよい。例えば、ガイド表示は、作業機械１が前進中の画像に表示されてもよい。その場合、複数のガイド線Ｇ１−Ｇ４は、図５と同様に、作業機械１の前方に表示されてもよい。
【００５８】
或いは、作業機械１が後進中の画像に、ガイド表示が表示されてもよい。例えば、画像コントローラ４１は、作業機械１の後進中には、図７に示す画像ＩＣ＿Ｒを生成して、ディスプレイ４２に表示させてもよい。図７に示す後進中の画像ＩＣ＿Ｒは、作業機械１の前方且つ上方の視点からの画像である。後進中の画像ＩＣ＿Ｒは、作業機械１と作業機械１の周辺とを示す。画像コントローラ４１は、後進中の画像ＩＣ＿Ｒでは、作業機械１の後方が前方よりも広くなるように視点及び作業機械１の位置を決定する。
【００５９】
後進中の画像ＩＣ＿Ｒは、ガイド表示ＩＢ４を含む。コントローラは、ガイド表示ＩＢ４と、上述した周辺画像ＩＢ１と機械画像ＩＢ２とを合成して、画像ＩＣ＿Ｒを生成する。ガイド表示ＩＢ４は、複数のガイド線Ｇ１１−Ｇ１４を含む。複数のガイド線Ｇ１１−Ｇ１４は、作業機械１の後方に、互いに離れて配置されている。複数のガイド線Ｇ１１−Ｇ１４は、上述した複数のガイド線Ｇ１−Ｇ４と同様である。この場合、オペレータは、作業機械１の後方の地形と、作業機械１と当該地形との位置関係とを、精度良く把握することができる。
【００６０】
或いは、複数のガイド線は、作業機械１の車幅方向に、互いに離れて配置されてもよい。その場合、複数のガイド線は、作業機械１の前後方向に延びていてもよい。複数のガイド線は、作業機械１の左方に、互いに離れて配置されてもよい。複数のガイド線は、作業機械１の右方に、互いに離れて配置されてもよい。
【産業上の利用可能性】
【００６１】
本開示によれば、作業機械とその周辺との位置関係を、オペレータが画像によって精度良く把握することができる。
【符号の説明】
【００６２】
１          作業機械
３          作業機
３９        形状センサ
４２        ディスプレイ
４１２      プロセッサ
Ｃ１−Ｃ４  カメラ
【図１】
2020120233.tif 000003
【図２】
2020120233.tif 000004
【図３】
2020120233.tif 000005
【図４】
2020120233.tif 000006
【図５】
2020120233.tif 000007
【図６】
2020120233.tif 000008
【図７】
2020120233.tif 000009