(57)【要約】ショベルによる作業を支援するための情報画像を表示する際に、より直感的なオペレータの把握を促すことが可能な技術を提供する。本開示の一実施形態に係る表示装置は、ショベル１００から作業領域やアタッチメントを見た周囲の画像、或いは、ショベル１００から作業領域やアタッチメントを見たオペレータの視野の中に、掘削作業に関する情報画像を表示する。また、本開示の他の実施形態に係るショベル１００は、上述の機能を有する表示装置（表示装置５０）を備える。また、本開示の更に他の実施形態に係る管理装置２００は、上述の機能を有する表示装置（遠隔操作用表示装置２３０Ａ）と、ショベル１００と通信を行う通信装置２２０と、通信装置２２０を介して、ユーザがショベル１００を遠隔操作するための遠隔操作装置２４０Ａと、を備える。
2020175645.tif 000002
【特許請求の範囲】
【請求項１】
ショベルから作業領域を見た周囲の画像、又は、ユーザの視野の中に、掘削作業に関する情報画像を表示する、
表示装置。
【請求項２】
前記ショベルに搭載される撮像装置により取得される画像情報に基づき、前記周囲の画像を表示すると共に、表示した前記周囲の画像の中に、前記掘削作業に関する情報画像を重畳して表示する、
請求項１に記載の表示装置。
【請求項３】
前記ショベルから作業領域を見たユーザの視野の中にある透過型の投影面に、前記掘削作業に関する情報画像を表示する、
請求項１に記載の表示装置。
【請求項４】
前記掘削作業に関する情報画像は、前記掘削作業の作業効率が相対的に高いエリアに関する情報画像を含む、
請求項１に記載の表示装置。
【請求項５】
前記掘削作業に関する情報画像は、予定されている複数の施工対象を含む掘削作業の段取りに関する情報画像を含む、
請求項１に記載の表示装置。
【請求項６】
前記掘削作業に関する情報画像は、前記ショベルのマシンコントロール機能に関する制御限界に関する情報画像を含む、
請求項１に記載の表示装置。
【請求項７】
前記掘削作業に関する情報画像は、アタッチメントの先端が届く範囲を示す情報画像を含む、
請求項１に記載の表示装置。
【請求項８】
前記掘削作業に関する情報画像は、アタッチメントの操作を誘導する情報画像を含む、
請求項１に記載の表示装置。
【請求項９】
ユーザが携帯可能に構成される、
請求項１に記載の表示装置。
【請求項１０】
キャビン内に、請求項１に記載の表示装置を備える、
ショベル。
【請求項１１】
請求項１に記載の表示装置と、
前記ショベルと通信を行う通信装置と、
前記通信装置を介して、ユーザが前記ショベルを遠隔操作するための操作装置と、を備える、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示装置等に関する。
【背景技術】
【０００２】
例えば、キャビン内の表示装置にショベルによる作業を支援する情報画像を表示させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／０２６４６９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、表示装置に表示される情報画像だけでは、オペレータにとって、直感的な把握が難しい場合が有りうる。【０００５】
そこで、上記課題に鑑み、ショベルによる作業を支援するための情報画像を表示する際に、より直感的なオペレータの把握を促すことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本開示の一実施形態では、
ショベルから作業領域を見た周囲の画像、又は、ユーザの視野の中に、掘削作業に関する情報画像を表示する、
表示装置が提供される。【０００７】
また、本開示の他の実施形態では、
キャビン内に、上述の表示装置を備える、
ショベルが提供される。【０００８】
また、本開示の更に他の実施形態では、
上述の表示装置と、
前記ショベルと通信を行う通信装置と、
前記通信装置を介して、ユーザが前記ショベルを遠隔操作するための操作装置と、を備える、
情報処理装置が提供される。
【発明の効果】
【０００９】
上述の実施形態によれば、ショベルによる作業を支援するための情報画像を表示する際に、より直感的なオペレータの把握を促すことが可能な技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係るショベルの一例を示す側面図である。
【図２Ａ】一実施形態に係るショベルの構成の一例を示すブロック図である。
【図２Ｂ】一実施形態に係るショベルの構成の他の例を示すブロック図である。
【図３】視野重畳表示機能の第１例を説明する図である。
【図４】視野重畳表示機能の第２例を説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して実施形態について説明する。
【００１２】
［ショベルの概要］  
まず、図１を参照して、本実施形態に係るショベル１００の概要について説明をする。
【００１３】
図１は、本実施形態に係るショベル１００の一例を示す側面図である。
【００１４】
本実施形態に係るショベル１００は、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、アタッチメントを構成するブーム４、アーム５、及びバケット６と、オペレータが搭乗するキャビン１０とを備える。以下、ショベル１００の前方は、ショベル１００を上部旋回体３の旋回軸に沿って真上から平面視（以下、単に「平面視」と称する）で見たときに、上部旋回体３に対するアタッチメントの延出方向に対応する。また、ショベル１００の左方及び右方は、それぞれ、キャビン１０内のオペレータから見た左方及び右方に対応する。
【００１５】
下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ１Ｌ，１Ｒ（図２Ａ、図２Ｂ参照）で油圧駆動されることにより、ショベル１００を走行させる。
【００１６】
上部旋回体３は、旋回機構２が旋回油圧モータ２Ａ（図２Ａ、図２Ｂ参照）で油圧駆動されることにより、下部走行体１に対して旋回する。
【００１７】
ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。
【００１８】
ブーム４、アーム５、及びバケット６は、それぞれ、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
【００１９】
キャビン１０は、オペレータが搭乗する操縦室（運転室）であり、例えば、上部旋回体３の前部左側に搭載される。
【００２０】
［ショベルの構成］
次に、図１に加えて、図２（図２Ａ、図２Ｂ）を参照して、ショベル１００の具体的な構成について説明する。
【００２１】
図２Ａ、図２Ｂは、それぞれ、本実施形態に係るショベル１００の構成の一例及び他の例を示すブロック図である。
【００２２】
尚、図中において、機械的動力ラインは二重線、高圧油圧ラインは実線、パイロットラインは破線、電気駆動・制御ラインは点線でそれぞれ示される。
【００２３】
＜油圧駆動系＞
本実施形態に係るショベル１００の油圧駆動系は、上述の如く、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等のそれぞれの被駆動要素を油圧駆動する油圧アクチュエータを含む。当該油圧アクチュエータには、上述の如く、走行油圧モータ１Ｌ，１Ｒ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。
【００２４】
エンジン１１は、油圧駆動系におけるメイン動力源であり、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載され、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。
【００２５】
レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。
【００２６】
メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。
【００２７】
コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載され、オペレータの操作装置２６に対する操作内容、或いは、コントローラ３０から出力される、ショベル１００の自動動作に対応する制御指令（以下、「自動制御指令」）に応じて、油圧アクチュエータの制御を行う油圧制御装置である。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、操作装置２６の操作状態、或いは、コントローラ３０から出力される自動制御指令に応じて、油圧アクチュエータ（走行油圧モータ１Ｌ，１Ｒ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等）に選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（方向切換弁とも称する）を含む。
【００２８】
＜操作系＞
本実施形態に係るショベル１００の油圧駆動系に関する操作系は、パイロットポンプ１５と、操作装置２６とを含む。また、図２Ａに示すように、ショベル１００の油圧駆動系に関する操作系は、操作装置２６が油圧パイロット式である場合、シャトル弁３２を含む。
【００２９】
パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。
【００３０】
操作装置２６は、キャビン１０の内部の操縦席付近に設けられ、オペレータが各種被駆動要素（下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等）の操作を行うための操作入力手段である。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータ（即ち、走行油圧モータ１Ｌ，１Ｒ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等）の操作を行うための操作入力手段である。操作装置２６は、例えば、ブーム４（ブームシリンダ７）、アーム５（アームシリンダ８）、バケット６（バケットシリンダ９）、及び上部旋回体３（旋回油圧モータ２Ａ）のそれぞれを操作するレバー装置を含む。また、操作装置２６は、例えば、下部走行体１の左右のクローラ（走行油圧モータ１Ｌ，１Ｒ）のそれぞれを操作するペダル装置或いはレバー装置を含む。
【００３１】
例えば、図２Ａに示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びパイロットライン２５から分岐されるパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用して、操作内容に応じたパイロット圧をその二次側のパイロットライン２７に出力する。パイロットライン２７は、シャトル弁３２を介してコントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等の操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。
【００３２】
また、例えば、図２Ｂに示すように、操作装置２６は、電気式である。具体的には、操作装置２６は、操作内容に応じた電気信号を出力し、当該電気信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、電気信号の内容、つまり、操作装置２６に対する操作内容に応じた制御指令（以下、自動制御指令と区別し、「操作制御指令」）を比例弁３１に出力する。これにより、比例弁３１からコントロールバルブ１７に操作装置２６に対する操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、オペレータ等の操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。
【００３３】
尚、コントロールバルブ１７に内蔵される制御弁（方向切換弁）が電磁ソレノイド式である場合、操作装置２６から出力される電気信号が直接的にコントロールバルブ１７、つまり、電磁ソレノイド式の制御弁に入力される態様であってもよい。
【００３４】
図２Ａに示すように、シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（左右のクローラ、上部旋回体３、ブーム４、アーム５、及びバケット６等）ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置或いはペダル装置）に接続され、他方が比例弁３１に接続される。シャトル弁３２の出口ポートは、パイロットラインを通じて、コントロールバルブ１７の対応する制御弁（具体的には、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータに対応する制御弁）のパイロットポートに接続される。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６が生成するパイロット圧と比例弁３１が生成するパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、後述するコントローラ３０は、操作装置２６から出力される二次側のパイロット圧よりも高いパイロット圧を比例弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメント）の動作を自動制御することができる。
【００３５】
＜制御系＞
本実施形態に係るショベル１００の制御系は、コントローラ３０と、演算装置３０Ｅと、比例弁３１と、周囲情報取得装置４０と、自機情報取得装置４２と、表示装置５０と、入力装置５２と、通信装置６０とを含む。また、図２Ａに示すように、本実施形態に係るショベル１００の制御系は、操作装置２６が油圧パイロット式である場合、操作圧センサ２９を含む。
【００３６】
コントローラ３０は、ショベル１００に関する各種制御を行う。コントローラ３０は、その機能が任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、インタフェース装置等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、補助記憶装置にインストールされる一以上のプログラムをＣＰＵ上で実行することにより各種機能を実現する。
【００３７】
コントローラ３０は、例えば、演算装置３０Ｅの演算結果に基づき、オペレータによる操作装置２６を通じたショベル１００の手動操作をガイド（案内）するマシンガイダンス機能を実現する。具体的には、コントローラ３０は、演算装置３０Ｅにより生成される、施工対象の目標施工面とアタッチメントの先端部（具体的には、バケット６の爪先や背面等の作業部位）との距離や、施工対象の目標施工面の基準面からの深さ（つまり、掘削すべき深さ）等の作業情報を生成し、後述の表示装置５０等を通じて、オペレータに提示してよい。
【００３８】
また、コントローラ３０は、例えば、演算装置３０Ｅの演算結果に基づき、オペレータの操作装置２６に対する操作を自動で支援する、或いは、オペレータの操作装置２６に対する操作に依らず自動で作業を行うマシンコントロール機能を実現する。具体的には、コントローラ３０は、演算装置３０Ｅにより生成される、油圧アクチュエータの駆動指令に基づき、比例弁３１を制御し（具体的には、比例弁３１に自動制御指令を出力し）、油圧アクチュエータを自動で動作させる。これにより、例えば、コントローラ３０は、目標施工面に関するデータに基づき、ショベル１００（自機）の下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の少なくとも一部を自動で動作させ、目標施工面を自動で完成させることができる。
【００３９】
また、コントローラ３０は、例えば、演算装置３０Ｅの演算結果に基づき、表示装置５０を用いて、キャビン１０内のオペレータから見たショベル１００（自機）の周囲（例えば、前方）の視野（視界）に、ショベル１００の各種作業（例えば、掘削作業、転圧作業、均し作業等）に関する情報画像（例えば、上述のマシンガイダンス機能に関する作業情報等）を重畳して表示させる機能（以下、「視野重畳表示機能」）を実現する。これにより、オペレータは、操縦席に着座しショベル１００の周囲を見ている状態のままで、視野の中に重畳的に表示される情報画像を確認することができる。そのため、オペレータは、情報画像の内容を、目の前の視野の状況と併せて把握することができる。つまり、オペレータは、情報画像の内容を直感的に理解することができる。視野重畳表示機能の詳細は、後述する（図３、図４参照）。
【００４０】
尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。例えば、マシンガイダンス機能及びマシンコントロール機能を実現するコントローラと、視野重畳表示機能を実現するコントローラとは、別であってよい。
【００４１】
演算装置３０Ｅは、コントローラ３０の制御下で、コントローラ３０の各種機能（例えば、上述のマシンガイダンス機能、マシンコントロール機能、視野重畳表示機能等）に関する演算処理を行う。演算装置３０Ｅは、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、演算装置３０Ｅは、ＧＰＵ（Graphical Processing Unit），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（field-programmable gate array）等を含み、高速演算処理を実現する。
【００４２】
演算装置３０Ｅは、例えば、周囲情報取得装置４０の出力情報に基づき、ショベル１００（自機）の周囲の状況を認識する（例えば、自機の周囲の物体やその物体との距離を認識する）。また、演算装置３０Ｅは、自機情報取得装置４２の出力情報に基づき、自機の位置や自機の姿勢状態（例えば、アタッチメントの姿勢状態、上部旋回体３の姿勢状態等）を認識する。そして、演算装置３０Ｅは、認識したショベル１００の周囲の状況やショベル１００の各種状態に基づき、マシンガイダンス機能に関する作業情報を生成したり、マシンコントロール機能に関する油圧アクチュエータの駆動指令を演算し生成したりする。
【００４３】
尚、演算装置３０Ｅは、例えば、周囲情報取得装置４０の出力情報に基づき認識される、ショベル１００（自機）の周囲の物体の位置の変化に基づき、自機の位置や上部旋回体３の姿勢状態（例えば、傾斜状態や旋回状態）を認識することもできる。また、演算装置３０Ｅは、例えば、周囲情報取得装置４０の出力情報からショベル１００のアタッチメントやその位置を認識可能である場合、周囲情報取得装置４０の出力情報に基づき、アタッチメントの姿勢状態を認識することもできる。そのため、他の条件（例えば、認識精度等）に適合するのであれば、自機情報取得装置４２は、省略されてもよい。
【００４４】
また、演算装置３０Ｅは、例えば、操作装置２６の操作状態、周囲情報取得装置４０の出力情報、入力装置５２や通信装置６０を通じて入力される情報等に基づき、表示装置５０に表示させる情報画像を生成する。
【００４５】
比例弁３１は、操作装置２６の操作対象の被駆動要素（左右のクローラ、上部旋回体３、ブーム４、アーム５、及びバケット６）ごとに設けられる。比例弁３１は、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５（図２Ａの場合、パイロットライン２５から分岐するパイロットライン２５Ｂ）に設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成される。これにより、比例弁３１は、パイロットライン２５（パイロットライン２５Ｂ）を通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側に出力することができる。そのため、比例弁３１は、図２Ａに示すように、シャトル弁３２を介して、或いは、図２Ｂに示すように、直接的に、コントローラ３０からの制御指令に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。つまり、コントローラ３０は、電気式の操作装置２６からの電気信号に応じた操作制御指令を比例弁３１に出力することで、比例弁３１から操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。また、コントローラ３０は、オペレータにより操作装置２６が操作されていない場合であっても、自動制御指令を比例弁３１に出力することで、比例弁３１から所定のパイロット圧をコントロールバルブ１７に供給させ、ショベル１００の自動化（マシンコントロール機能）を実現することができる。
【００４６】
周囲情報取得装置４０は、ショベル１００の周囲の三次元空間の状況に関する情報（具体的には、ショベル１００の周囲の物体やその位置に関する検出情報）を出力する。周囲情報取得装置４０は、例えば、超音波センサ、ミリ波レーダ、単眼カメラ、ステレオカメラ、デプスカメラ、ＬＩＤＡＲ（Light Detection and Ranging）、距離画像センサ、赤外線センサ等を含みうる。本実施形態では、周囲情報取得装置４０は、キャビン１０の上面前端に取り付けられた前方センサ４０Ｆ、上部旋回体３の上面後端に取り付けられた後方センサ４０Ｂ、上部旋回体３の上面左端に取り付けられた左方センサ４０Ｌ、及び、上部旋回体３の上面右端に取り付けられた右方センサ４０Ｒを含む。また、上部旋回体３の上方の三次元空間の状況に関する情報（例えば、上部旋回体３の上方に存在する物体に関する検出情報）を出力する上方センサがショベル１００に取り付けられていてもよい。また、後方センサ４０Ｂ、左方センサ４０Ｌ、右方センサ４０Ｒ、及び上方センサの一部又は全部は、ショベル１００の自動動作に要求される性能によっては、省略されてもよい。周囲情報取得装置４０の出力情報は、演算装置３０Ｅに取り込まれる。
【００４７】
自機情報取得装置４２は、ショベル１００（自機）の各種状態（例えば、ショベル１００の位置、向き、姿勢等の状態）に関する情報を取得する。例えば、自機情報取得装置４２は、自機の位置に関する情報を取得する測位装置（例えば、ＧＮＳＳ（Global Navigation Satellite System）モジュール等）を含んでよい。また、自機情報取得装置４２は、アタッチメントのブーム４、アーム５、及びバケット６のそれぞれの姿勢状態（例えば、回動軸回りの姿勢角）に関する情報を取得する姿勢センサや、上部旋回体３の姿勢状態（例えば、傾斜角や旋回角）を検出する姿勢センサを含みうる。このとき、姿勢センサには、例えば、ロータリエンコーダ、加速度センサ、角加速度センサ、６軸センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等が含まれうる。また、アタッチメントに関する姿勢センサには、ブームシリンダ７、アームシリンダ８、バケットシリンダ９等のシリンダ位置を検出するシリンダセンサが含まれうる。自機情報取得装置４２の出力情報は、演算装置３０Ｅに取り込まれる。
【００４８】
表示装置５０は、キャビン１０から周囲の作業領域を見たオペレータ（ユーザの一例）の視野の中に、直接的に情報画像を表示する。具体的には、表示装置５０は、コントローラ３０及び演算装置３０Ｅの制御下で、ＡＲ（Augmented Reality：拡張現実）技術が適用されることにより、キャビン１０から周囲の作業領域を見たオペレータの視野の中に、直接的に情報画像を表示してよい。
【００４９】
表示装置５０は、例えば、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）である。この場合、ヘッドアップディスプレイは、キャビン１０のフロントガラス、或いは、フロントガラスの内側に取り付けられるコンバイナに情報画像を投影する。また、ヘッドアップディスプレイは、キャビン１０内の左側のサイドガラス、或いは、サイドガラスに取り付けられるコンバイナに情報画像を投影してもよい。これにより、キャビン１０から見たオペレータの前方や左側方の視野の中に、ヘッドアップディスプレイから投影される情報画像が重畳的に表示される。
【００５０】
また、表示装置５０は、例えば、透過型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）やスマートグラス（Smartglasses）等の携帯型のウェアラブル表示端末であってもよい。この場合、ウェアラブル表示端末は、透過型の投影面に情報画像を投影する。これにより、オペレータは、透過型の投影面の奥に見える、ショベル１００（自機）の周囲の様子を視認しながら、透過型の投影面、つまり、自身の視野の中に投影される情報画像を視認することができる。つまり、キャビン１０から周囲の作業領域を見たオペレータの前方や左側方の視野の中に、ウェアラブル表示端末の投影面に投影される情報画像が重畳的に表示される。
【００５１】
尚、表示装置５０は、コントローラ３０及び演算装置３０Ｅの制御下で、オペレータから見たショベル１００（自機）の周囲の視野に相当する画像（周囲の画像の一例）を表示した上で、その上に情報画像を重畳的に表示する態様であってもよい。例えば、非透過型のヘッドマウントディスプレイの非透過型の投影面に、カメラとしての前方センサ４０Ｆや左方センサ４０Ｌで撮像される画像、或いは、ヘッドマウントディスプレイに取り付けられるカメラで撮像される画像、つまり、ショベル１００（自機）から見た周囲の視野に相当する画像を投影した上で、情報画像を重畳的に投影してもよい。
【００５２】
以下、表示装置５０は、ヘッドアップディスプレイである場合を中心に説明を続ける。
【００５３】
入力装置５２は、キャビン１０内に設けられ、オペレータからの入力を受け付ける。入力装置５２は、例えば、キャビン１０内の着座したオペレータから手が届く範囲に設けられ、オペレータによる各種操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、タッチパネル、タッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６に設けられるノブスイッチ等のハードウェアによる操作入力手段を含む。また、操作入力装置は、例えば、キャビン１０内の表示装置５０の投影面や他のディスプレイ等に表示される各種操作画面に表示される仮想的な操作対象（例えば、操作アイコン）等のハードウェアの操作入力手段によって操作可能なソフトウェアの操作入力手段を含んでもよい。また、入力装置５２は、オペレータの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、キャビン１０内のオペレータの音声データを取得するマイクロフォンを含んでよい。また、ジェスチャ入力装置は、例えば、オペレータのジェスチャを検出可能なセンサ（例えば、カメラ）を含んでよい。入力装置５２に対する入力の内容に対応する信号は、コントローラ３０に取り込まれる。
【００５４】
通信装置６０は、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、インターネット網等を含みうる所定の通信ネットワークに接続し、ショベル１００の外部装置（例えば、管理装置２００）と通信を行う。通信装置６０は、例えば、３Ｇ（3rd Generation）、４Ｇ（4th Generation）、ＬＴＥ（Long Term Evolution）、５Ｇ（5th Generation）等の所定の移動体通信規格に準拠する移動体通信モジュールであってよい。
【００５５】
図２Ａに示すように、操作圧センサ２９は、操作装置２６の二次側（パイロットライン２７）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６における下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、操作装置２６の操作内容を把握することができる。  
【００５６】
＜その他の構成＞
上述の如く、ショベル１００に関連する構成として、管理装置２００（情報処理装置の一例）がある。管理装置２００は、例えば、ショベル１００と相互に通信可能に構成され、ショベル１００の遠隔操作を支援する。
【００５７】
管理装置２００は、例えば、ショベル１００の作業現場の外部に設置される管理センタ内のクラウドサーバであってよい。また、管理装置２００は、例えば、ショベル１００の作業現場内の仮設事務所や作業現場から相対的に近い場所（例えば、基地局や局舎等）に設けられるエッジサーバであってもよい。また、管理装置２００は、例えば、ショベル１００の作業現場内の仮設事務所等に設けられる定置型の端末であってもよい。定置型の端末は、例えば、デスクトップ型のコンピュータ端末であってよい。また、管理装置２００は、例えば、ショベル１００の作業現場の管理者、監督者、作業者等が携帯可能な携帯端末であってもよい。携帯端末は、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等であってよい。
【００５８】
図２Ａ、図２Ｂに示すように、管理装置２００は、制御装置２１０と、通信装置２２０と、出力装置２３０と、入力装置２４０とを含む。
【００５９】
制御装置２１０は、管理装置２００に関する制御を行う。制御装置２１０は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。制御装置２１０は、例えば、ＣＰＵ、ＲＡＭ等のメモリ装置、ＲＯＭ等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成されてよい。
【００６０】
通信装置２２０は、所定の通信ネットワークを通じて、ショベル１００等の外部装置と通信を行う。
【００６１】
出力装置２３０は、制御装置２１０の制御下で、管理装置２００のユーザ（以下、「管理装置ユーザ」）に向けて情報を出力する。
【００６２】
出力装置２３０は、例えば、管理装置ユーザに視覚的に情報を出力（通知）する表示装置を含んでよい。表示装置は、例えば、液晶ディスプレイや有機ＥＬディスプレイであってよい。以下、遠隔操作用表示装置２３０Ａについても同様であってよい。また、出力装置２３０は、例えば、管理装置ユーザに聴覚的に情報を通知する音出力装置を含んでよい。音出力装置は、例えば、スピーカであってよい。また、出力装置２３０は、例えば、管理装置ユーザがショベル１００の遠隔操作を行うための情報画像を表示する遠隔操作用表示装置２３０Ａを含んでもよい。
【００６３】
遠隔操作用表示装置２３０Ａ（表示装置の一例）には、例えば、制御装置２１０の制御下で、ショベル１００から作業領域を見た周囲の画像（以下、「周囲画像」）が表示されてよい。具体的には、周囲画像は、例えば、撮像装置（カメラ）としての前方センサ４０Ｆや左方センサ４０Ｌの撮像画像を含んでよく、更に、撮像装置（カメラ）としての右方センサ４０Ｒや後方センサ４０Ｂの撮像画像を含んでもよい。制御装置２１０は、ショベル１００から受信される撮像画像のデータに基づき、周囲画像を遠隔操作用表示装置に表示させてよい。これにより、管理装置ユーザは、遠隔操作用表示装置２３０Ａに表示される周囲画像を確認しながら、ショベル１００の遠隔操作を行うことができる。遠隔操作用表示装置２３０Ａは、ショベル１００の表示装置５０の場合と同様、定置型の表示装置であってもよいし、ヘッドマウントディスプレイやスマートグラス等の携帯型のウェアラブル表示端末であってもよい。
【００６４】
入力装置２４０は、管理装置ユーザからの入力を受け付ける。入力装置２４０により受け付けられる入力の内容を表す信号は、制御装置２１０に取り込まれる。
【００６５】
入力装置２４０は、例えば、管理装置ユーザからの操作入力を受け付ける操作入力装置を含んでよい。操作入力装置は、例えば、キーボード、マウス、出力装置２３０（表示装置）の表示領域に実装されるタッチパネル等を含んでよい。また、入力装置２４０は、管理装置ユーザの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。また、入力装置２４０は、ショベル１００の遠隔操作を行うための遠隔操作装置２４０Ａを含んでもよい。
【００６６】
遠隔操作装置２４０Ａ（操作装置の一例）は、例えば、ショベル１００の操作装置２６と同様に、レバー装置を中心に構成されてよい。制御装置２１０は、通信装置２２０を通じて、遠隔操作装置２４０Ａから取り込まれる遠隔操作の内容を表す信号（以下、「遠隔操作信号」）をショベル１００に送信する。これにより、制御装置２１０は、ショベル１００の遠隔操作を支援することができる。そして、ショベル１００のコントローラ３０は、通信装置６０により受信される遠隔操作信号で指定される遠隔操作の内容に応じた制御指令（以下、「遠隔操作指令」）を比例弁３１に出力してよい。これにより、コントローラ３０は、管理装置ユーザによる遠隔操作の内容に応じたショベル１００の動作を実現させることができる。
【００６７】
［視野重畳表示機能の詳細］
次に、図３、図４を参照して、ショベル１００の視野重畳表示機能の詳細について説明する。
【００６８】
＜視野重畳表示機能の第１例＞
図３は、視野重畳表示機能の第１例を説明する図である。具体的には、図３は、キャビン１０内のオペレータからフロントガラスを見たときの前方視野の様子の第１例（前方視野３１０）を示す図である。
【００６９】
図３に示すように、オペレータの前方視野３１０には、上部旋回体３の前方の作業領域が含まれると共に、右上部にアタッチメント（ブーム４、アーム５、及びバケット６）が含まれる。また、表示装置５０は、オペレータの前方視野３１０の中に（具体的には、キャビン１０の投影面としてのフロントウィンドウに）、情報画像３１１〜３１４を表示（投影）する。
【００７０】
尚、情報画像３１１、３１４に対応する情報画像は、オペレータの左側方の視野（つまり、キャビン１０の左側のサイドガラス）に表示（投影）されてもよい。また、情報画像３１１〜３１４は、入力装置５２に対する所定の操作に応じて、表示或いは非表示の切替が可能であってもよい。つまり、情報画像３１１〜３１４は、入力装置５２により受け付けられる所定の入力に応じて、選択的に表示される態様であってもよい。
【００７１】
情報画像３１１は、上部旋回体３の旋回動作も考慮して、現在のショベル１００の位置からアタッチメントの先端、具体的には、バケット６の爪先や背面等の作業部位が届く範囲、換言すれば、アタッチメントが作業可能な範囲（以下、「作業可能範囲」）を三次元的に表示する。
【００７２】
例えば、オペレータは、土砂等をバケットの背面で前方に押しのける掃い作業を手動で或いはマシンコントロール機能を利用してショベル１００に行わせる場合に、土砂を遠くへ押しのけようとしても届かない場合が有りうる。この場合、オペレータが作業開始前に想定していた段取り通りに作業を行うことができないため、作業効率が低下する場合がありうる。
【００７３】
これに対して、作業可能範囲がオペレータの前方視野３１０の中に重畳的に表示されることにより、オペレータは、作業開始前に、現在のショベル１００の位置でどの範囲まで掃い作業を行うことができるかどうかを直感的に把握することができる。よって、ショベル１００の作業効率を向上させることができる。
【００７４】
情報画像３１２は、アタッチメント（ブーム４、アーム５、及びバケット６）の稼働平面を三次元的に表示する。これにより、オペレータは、自機の周囲の作業領域のうち、ショベル１００の現在位置及び上部旋回体３の現在の旋回角度の状態でアタッチメントによる作業可能な範囲を直感的に把握することができる。
【００７５】
情報画像３１３は、アタッチメントの稼働平面の中で、所定の作業（例えば、掘削作業）の作業効率が相対的に高いエリア（換言すれば、相対的に高い掘削力を出力し易いエリア）（以下、「高効率エリア」）を三次元的に表示する。これにより、オペレータは、作業効率の高いアタッチメントの姿勢状態を直感的に把握することができる。そのため、オペレータにより作業効率の高い作業を促し、ショベル１００の作業効率を向上させることができる。
【００７６】
また、情報画像３１３は、高効率エリアの中での相対的な作業効率の高低をグラデーションによって表示する。本例では、作業効率が相対的に低いことを示す"黒"から相対的に作業効率が高いことを示す"白"に変化するグラデーションが採用されている。これにより、オペレータは、高効率エリア内における作業効率の高低を直感的に把握することができる。そのため、オペレータにより作業効率の高い作業を促し、ショベル１００の作業効率を更に向上させることができる。
【００７７】
尚、情報画像３１３に代えて、或いは、加えて、表示装置５０は、コントローラ３０及び演算装置３０Ｅの制御下で、作業効率の数値（例えば、現在のアタッチメントの姿勢に対応する作業効率の数値等）をフロントガラスに表示（投影）させてもよい。また、表示装置５０は、コントローラ３０及び演算装置３０Ｅの制御下で、キャビン１０内のオペレータから見たショベル１００の周囲（前方）の作業領域の地形に沿う態様で、作業効率が相対的に高いエリアをフロントガラスに表示（投影）してもよい。
【００７８】
情報画像３１４は、盛土により施工（形成）される予定の法面の目標施工面を三次元的に表示する。これにより、オペレータは、完成後の法面形状に対応する三次元データを現在の地形形状と比較しながら直感的に把握することができる。よって、オペレータは、目標施工面の三次元データを見ながら、現在の地形形状と三次元データとの差分により進捗を確認しながら、効率的に、盛土作業や盛土後の転圧作業等を進めることができる。目標施工面に関するデータは、入力装置５２を通じたオペレータの操作によりコントローラ３０に入力されてもよいし、通信装置６０を通じて所定の外部装置（例えば、ショベル１００の運用や施工情報等を管理する管理装置２００等）から入力されてもよい。以下、後述する図４の場合（情報画像４１１〜４１４）についても同様である。
【００７９】
尚、情報画像３１４は、掘削や切土等により施工（形成）される目標施工面の三次元データであってもよい（例えば、後述の図４参照）。
【００８０】
このように、本例では、表示装置５０は、作業の現状進捗に対応する自機の周囲の作業領域の実際の地形形状に合わせて、作業目標（目標施工面に対応する情報画像３１４）や作業可能範囲等を同時に或いは選択的に一部だけ表示することができる。これにより、オペレータは、作業に関する情報を直感的に把握し、効率的にショベル１００による作業を進めることができる。
【００８１】
＜視野重畳表示機能の第２例＞
図４は、視野重畳表示機能の第２例を説明する図である。具体的には、図４は、キャビン１０内のオペレータからフロントガラスを見たときの前方視野の様子の第２例（前方視野４１０）を示す図である。
【００８２】
図４に示すように、オペレータの前方視野４１０には、図３の場合と同様、上部旋回体３の前方の作業領域が含まれると共に、右上部にアタッチメント（ブーム４、アーム５、及びバケット６）が含まれる。また、表示装置５０は、オペレータの前方視野４１０の中に（具体的には、キャビン１０の投影面としてのフロントウィンドウに）、情報画像４１１〜４１４を表示（投影）する。
【００８３】
尚、情報画像４１１〜４１４に対応する情報画像は、オペレータの左側方の視野（つまり、キャビン１０の左側のサイドガラス）に表示（投影）されてもよい。
【００８４】
表示装置５０は、図３の場合と同様、オペレータの前方視野４１０の中に、情報画像４１１〜４１４を表示（投影）してもよい。
【００８５】
情報画像４１１〜４１３は、それぞれ、ショベル１００（上部旋回体３）の前方の作業領域に施工される予定の三本の溝に対応する目標施工面を三次元的に表示している。これにより、オペレータは、完成後の溝の形状に対応する三次元データを現在の地形形状と比較しながら直感的に把握することができる。よって、オペレータは、目標施工面の三次元データを見ながら、現在の地形形状と三次元データとの差分により進捗を確認しながら、効率的に、掘削作業を進めることができる。
【００８６】
情報画像４１４は、情報画像４１１〜４１３に対応する三つの溝の施工順番に関する情報、つまり、施工の段取りを表示する。つまり、情報画像４１４は、予定されている複数の掘削作業の段取りを表示する。本例では、情報画像４１１に対応する溝が１番目、情報画像４１２に対応する溝が２番目、及び情報画像４１３に対応する溝が３番目に施工する段取りであることが示される。これにより、オペレータは、予め規定された段取りに従い効率的に複数の作業を順次進めていくことができる。
【００８７】
尚、表示装置５０は、複数の異なる種類の作業（例えば、掘削作業、盛土作業、埋設作業、埋め戻し作業等）の段取りに関する情報画像をフロントガラスに表示（投影）してもよい。
【００８８】
このように、本例では、表示装置５０は、自機の周囲の作業領域の実際の地形形状に合わせて、予定されている複数の作業に関する目標（目標施工面に対応する情報画像４１１〜４１３）や複数の施工対象（情報画像４１１〜４１３に対応する３つの溝）を含む作業の段取り（情報画像４１４）等を表示する。これにより、オペレータは、予定されている複数の作業に関する情報を直感的に把握し、効率的にショベル１００による作業を進めることができる。
【００８９】
＜視野重畳表示機能の他の例＞
表示装置５０は、図３、図４とは異なる態様の情報画像を、オペレータの前方視野に重畳的に表示させてもよい。
【００９０】
表示装置５０は、例えば、ショベル１００（自機）のマシンコントロール機能に関するアタッチメントの制御限界に関する情報画像を、オペレータから見たショベル１００（自機）の周囲のオペレータの視野の中に重畳的に表示する。ブーム４、アーム５、及びバケット６により構成されるリンク機構であるアタッチメントは、その姿勢状態によって、その動作速度の限界が異なる。具体的には、オペレータが操作装置２６を通じてアーム５に関する操作のみを行い、バケット６の爪先をある軌道に従って動作させる場合、オペレータによって操作されるアーム５の速度に追従可能なブーム４及びバケット６の限界速度は、アーム５の速度、ショベル１００の機械特性、ショベル１００の姿勢状態、目標施工面の形状等によって決定される。例えば、表示装置５０は、図３の前方視野３１０におけるアタッチメントの稼働面に相当する三次元データ（情報画像３１２）上に、リンク（例えば、ブーム４）の限界速度が相対的に高いエリアを表示してよい。また、表示装置５０は、例えば、図３の前方視野３１０におけるアタッチメントの稼働面に相当する三次元データ（情報画像３１２）上に、リンクの限界速度の高低を示すグラデーションマップを表示してもよい。これにより、オペレータは、例えば、マシンコントロール機能によって手動操作をアシストしてもらう場合に、マシンコントロール機能における制御限界にかかりにくくなるような位置にショベル１００を移動させて作業を行わせることができる。よって、ショベル１００の作業効率を向上させることができる。
【００９１】
また、表示装置５０は、例えば、マシンガイダンス機能に関する情報、つまり、上述の作業情報を、オペレータから見たショベル１００（自機）の周囲の視野の中に重畳的に表示する。この場合、表示装置５０は、作業情報を、オペレータから見た前方の視野のバケット６の位置に合わせるように表示してもよい。これにより、オペレータは、マシンガイダンス機能に対応する作業情報（例えば、目標施工面とバケット６の作業部位との距離等）を直感的に把握し、効率的に作業を進めることができる。よって、ショベル１００の作業効率を向上させることができる。
【００９２】
また、表示装置５０は、例えば、各種作業の経路（例えば、掘削作業における掘削方向や、相対的に広い作業領域を少しずつ移動しながら作業を進める場合の移動経路等）を、オペレータから見たショベル１００（自機）の周囲の視野の中に重畳的に表示してもよい。例えば、表示装置５０は、図４の前方視野４１０における三つの溝の目標施工面（情報画像４１１〜４１３）のそれぞれに合わせて、掘削方向を示す情報画像（例えば、矢印等）を表示してよい。これにより、オペレータは、予め規定される作業経路を直感的に把握することができると共に、当該経路に沿って、効率的に作業を進めることができる。よって、ショベル１００の作業効率を向上させることができる。
【００９３】
また、表示装置５０は、例えば、オペレータのアタッチメントに関する操作を誘導する情報画像を、オペレータから見たショベル１００（自機）の周囲の視野の中に重畳的に表示する。例えば、表示装置５０は、図４の前方視野４１０において、仮想的なアタッチメントの画像（以下、「アタッチメント画像」）を表示させ、アタッチメントの稼働面に沿う態様で、相対的に効率の高い動作（つまり、推奨動作）を動的にアタッチメント画像に行わせてもよい。これにより、オペレータは、所定の作業（例えば、掘削作業）を行うにあたって、適切なアタッチメントの動作を直感的に把握することができる。そのため、オペレータは、表示される推奨動作を模倣する態様で、効率的に作業を進めることができる。つまり、ショベル１００（コントローラ３０）は、オペレータを、より効率的な操作に誘導することができる。よって、ショベル１００の作業効率を向上させることができる。
【００９４】
［作用］
次に、本実施形態に係るショベル１００（表示装置５０）の作用について説明する。
【００９５】
本実施形態では、表示装置５０は、ショベル１００（キャビン１０）から作業領域を見た周囲の画像、又は、ショベル１００（キャビン１０）から作業領域を見たユーザ（オペレータ）の視野の中に、掘削作業に関する情報画像を表示する。
【００９６】
これにより、ユーザは、情報画像を作業領域の状況と共に視認することができる。そのため、ユーザは、情報画像の内容を作業領域の状況と併せてより直感的に把握することができる。よって、ユーザは、より効率的にショベル１００による掘削作業を進めることができる。
【００９７】
尚、表示装置５０には、掘削作業以外の作業（例えば、埋設作業、転圧作業、均し作業等）に関する情報画像が表示されてもよい。
【００９８】
また、本実施形態では、表示装置５０は、ショベル１００から作業領域を見た周囲の画像又はユーザの視野の中に、掘削作業の作業効率が相対的に高いエリアを表示してよい。
【００９９】
これにより、ユーザは、掘削作業の作業効率が相対的に高いエリアをより直感的に把握することができる。よって、ユーザは、更に効率的にショベル１００による掘削作業を進めることができる。
【０１００】
また、本実施形態では、表示装置５０は、ショベル１００から作業領域を見た周囲の画像又はユーザの視野の中に、予定されている複数の施工対象を含む掘削作業の段取りに関する情報画像を表示してよい。
【０１０１】
これにより、ユーザは、ショベル１００による複数の施工対象を含む掘削作業の段取りをより直感的に把握することができる。よって、ユーザは、複数の施工対象がある場合であっても、所定の段取りに沿って、更に効率的にショベル１００による掘削作業を進めることができる。
【０１０２】
また、本実施形態では、表示装置５０は、ショベル１００から作業領域を見た周囲の画像又はユーザの視野の中に、ショベル１００のマシンコントロール機能に関する制御限界に関する情報画像を表示してよい。
【０１０３】
これにより、ユーザは、ショベル１００のマシンコントロール機能に関する制御限界をより直感的に理解することができる。そのため、ユーザは、マシンコントロール機能を利用して掘削作業を進める場合、アタッチメントの制御限界にかかりにくいような場所にショベル１００を移動させたり、アタッチメントの制御限界を考慮したアタッチメントの操作を行うようにしたりすることができる。よって、ユーザは、更に効率的にショベル１００による掘削作業を進めることができる。
【０１０４】
また、本実施形態では、表示装置５０は、ショベル１００から作業領域を見た周囲の画像又はユーザの視野の中に、アタッチメントの先端が届く範囲を示す情報画像を表示してよい。
【０１０５】
これにより、ユーザは、アタッチメントの先端が届く範囲をより直感的に把握することができる。そのため、ユーザは、例えば、掘削作業の対象領域内にアタッチメントの先端が届くように、ショベル１００の位置を予め設定することができる。よって、ユーザは、更に効率的にショベル１００による掘削作業を進めることができる。
【０１０６】
また、本実施形態では、表示装置５０は、ショベル１００から作業領域を見た周囲の画像又はユーザの視野の中に、アタッチメントの操作を誘導する情報画像を表示してよい。
【０１０７】
これにより、ユーザは、アタッチメントの操作を誘導する情報画像をより直感的に理解することができる。そのため、ユーザは、当該情報画像の内容に合わせて、アタッチメントを容易に操作することができる。よって、ユーザは、更に効率的にショベル１００による掘削作業を進めることができる。
【０１０８】
［変形・変更］
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【０１０９】
例えば、上述した実施形態において、表示装置５０を用いるショベル１００のユーザ（キャビン１０内のオペレータ等）向けの視野重畳表示機能を説明したが、ショベル１００の遠隔操作を行う管理装置ユーザ向けに同様の機能が提供されてもよい。具体的には、管理装置２００の遠隔操作用表示装置２３０Ａは、制御装置２１０の制御下で、ショベル１００の表示装置５０の場合と同様、ＡＲ技術が適用されることにより、周囲画像の中に、直接的にショベル１００の所定の作業に関する情報画像を表示させてよい。これにより、ショベル１００を遠隔操作するユーザは、情報画像を作業領域の状況と共に視認することができるため、情報画像の内容を作業領域の状況と併せて直感的に把握することができる。
【０１１０】
また、上述した実施形態及び変形例では、操作装置２６を通じてショベル１００を操作する、或いは、ショベル１００を遠隔操作するオペレータ向けの視野重畳表示機能を説明したが、ショベル１００のオペレータ以外のユーザ向けに同様の機能が提供されてもよい。この場合、視野重畳表示機能が適用される表示装置は、ショベル１００の操作を行うため機器（操作装置２６や遠隔操作装置２４０Ａ等）とは別に独立して利用されてよい。即ち、視野重畳表示機能が適用される表示装置は、ショベル１００の操作を行うための機器と組み合わせて利用されてもよいし、当該機器とは別に独立して利用されてもよい。
【０１１１】
例えば、ショベル１００の作業現場の管理者や監督者等がショベル１００（キャビン１０）からの視点でショベル１００の稼働状況を確認するための表示装置（以下、「確認用表示装置」）に視野重畳表示機能が適用されてもよい。この場合、ショベル１００は、オペレータの操作で稼働されていてもよいし、マシンコントロール機能によりオペレータの操作によらず、完全自動運転で稼働されていてもよい。確認用表示装置は、表示装置５０と同様に、定置型の表示装置であってもよいし、携帯型の表示装置（例えば、スマートフォン、タブレット端末、ウェアラブル表示端末等）であってもよい。具体的には、確認用表示装置は、管理装置２００の遠隔操作用表示装置の場合と同様、作業中の周囲画像の中に、直接的にショベル１００の所定の作業に関する情報画像を表示させてよい。これにより、作業現場の管理者や監督者等は、例えば、ショベル１００の外部から施工目標等に対するショベル１００の稼働状況を確認することができる。そのため、例えば、ショベル１００が完全自動運転で作業を行っている状況で、ショベル１００の稼働状況に問題があるような場合、管理者や監督者は、ショベル１００の作業を停止させたり、ショベル１００の作業の段取りなどを見直したりすることができる。
【０１１２】
また、例えば、通常、ショベル１００とは関わりがない一般のユーザ（以下、「一般ユーザ」）に、ショベル１００の作業現場外からショベル１００の稼働状況を体験してもらうための表示装置（以下、「体験用表示装置」）に視野重畳表示機能が適用されてもよい。体験用表示装置は、表示装置５０と同様に、定置型の表示装置であってもよいし、携帯型の表示端末（例えば、スマートフォン、タブレット端末、ウェアラブル表示端末等）であってもよい。具体的には、体験用表示装置は、管理装置２００の遠隔操作用表示装置の場合と同様、作業中のショベル１００の周囲画像の中に、直接的にショベル１００の所定の作業に関する情報画像を表示させてよい。これにより、一般ユーザは、例えば、情報画像として表示される施工目標（例えば、目標施工面の三次元データ等）と、施工目標の完成に向けたショベル１００の実際の作業状況とを視覚的に体験することができる。
【０１１３】
また、上述した実施形態及び変形例では、ショベル１００は、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の各種被駆動要素を全て油圧駆動する構成であったが、その一部が電気駆動される構成であってもよい。つまり、上述した実施形態で開示される構成等は、ハイブリッドショベルや電動ショベル等に適用されてもよい。
【０１１４】
最後に、本願は、２０１９年２月２８日に出願した日本国特許出願２０１９−０３６４８２号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。
【符号の説明】
【０１１５】
１  下部走行体
２  旋回機構
３  上部旋回体
４  ブーム
５  アーム
６  バケット
３０  コントローラ
３０Ｅ  演算装置
３１  比例弁
３２  シャトル弁
４０  周囲情報取得装置
４２  自機情報取得装置
５０  表示装置
５２  入力装置
６０  通信装置
１００  ショベル
２００  管理装置（情報処理装置）
２１０  制御装置
２２０  通信装置
２３０  出力装置
２３０Ａ  遠隔操作用表示装置（表示装置）
２４０  入力装置
２４０Ａ  遠隔操作装置（操作装置）
【図１】
2020175645.tif 000003
【図２Ａ】
2020175645.tif 000004
【図２Ｂ】
2020175645.tif 000005
【図３】
2020175645.tif 000006
【図４】
2020175645.tif 000007
【手続補正書】
【提出日】令和3年8月26日(2021.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
上部旋回体に搭載される複数の撮像手段を有するショベルから作業領域を見た周囲の画像、又は、ユーザの視野の中に、掘削作業に関する情報画像を表示する、
表示装置。
【請求項２】
前記撮像手段は、前記上部旋回体の前方、後方、左方、又は右方を撮像可能なように、前記上部旋回体に取り付けられる、
請求項１に記載の表示装置。
【請求項３】
前記撮像手段により取得される画像情報に基づき、前記周囲の画像を表示すると共に、表示した前記周囲の画像の中に、前記掘削作業に関する情報画像を重畳して表示する、
請求項１又は２に記載の表示装置。
【請求項４】
前記周囲の画像は、前記撮像手段により撮像される、前記上部旋回体の前方、後方、左方、又は右方の画像である、
請求項３に記載の表示装置。
【請求項５】
前記ショベルから作業領域を見たユーザの視野の中にある透過型の投影面に、前記掘削作業に関する情報画像を表示する、
請求項１又は２に記載の表示装置。
【請求項６】
前記掘削作業に関する情報画像は、前記掘削作業の作業効率が相対的に高いエリアに関する情報画像を含む、
請求項１乃至５の何れか一項に記載の表示装置。
【請求項７】
前記掘削作業に関する情報画像は、予定されている複数の施工対象を含む掘削作業の段取りに関する情報画像を含む、
請求項１乃至６の何れか一項に記載の表示装置。
【請求項８】
前記掘削作業に関する情報画像は、前記ショベルのマシンコントロール機能に関する制御限界に関する情報画像を含む、
請求項１乃至７の何れか一項に記載の表示装置。
【請求項９】
前記掘削作業に関する情報画像は、アタッチメントの先端が届く範囲を示す情報画像を含む、
請求項１乃至８の何れか一項に記載の表示装置。
【請求項１０】
前記掘削作業に関する情報画像は、アタッチメントの操作を誘導する情報画像を含む、
請求項１乃至９の何れか一項に記載の表示装置。
【請求項１１】
ユーザが携帯可能に構成される、
請求項１乃至１０の何れか一項に記載の表示装置。
【請求項１２】
キャビン内に、請求項１乃至１０の何れか一項に記載の表示装置を備える、
ショベル。
【請求項１３】
請求項１乃至１０の何れか一項に記載の表示装置と、
前記ショベルと通信を行う通信装置と、
前記通信装置を介して、ユーザが前記ショベルを遠隔操作するための操作装置と、を備える、
情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本開示の一実施形態では、
上部旋回体に搭載される複数の撮像手段を有するショベルから作業領域を見た周囲の画像、又は、ユーザの視野の中に、掘削作業に関する情報画像を表示する、
表示装置が提供される。
【国際調査報告】
2020175645.tif 000008
2020175645.tif 000009
2020175645.tif 000010
2020175645.tif 000011