(57)【要約】【課題】遠隔操作による微操作時にオペレータが必要とする映像を遠隔地に設けられた表示装置に適切なタイミングでわかりやすく表示させることにより微操作時の作業性を向上させることができる建設機械の遠隔操作装置を提供する。【解決手段】遠隔操作装置１０１は、操作判定部５１によりオペレータの操作が微操作であると判定され、かつ、姿勢判定部５２によりオペレータの姿勢が基準姿勢から注視姿勢に変化したと判定された場合に、建設機械の作業映像のうちアイトラッキング装置４１により取得された視線位置に関連する部分を拡大した拡大映像を生成し、当該拡大映像を表示装置に表示させる映像生成部５３を備える。【選択図】図３
2020077173.tif 000002
【特許請求の範囲】
【請求項１】
アタッチメントを有する建設機械から離れた遠隔地において前記建設機械を遠隔操縦するための遠隔操作装置であって、
前記建設機械の作業映像を取得する映像取得装置と、
前記遠隔地において前記作業映像を表示する表示装置と、
前記遠隔地においてオペレータが着座するための運転席と、
前記アタッチメントを動作させるために前記運転席に着座する前記オペレータが行う操作を受ける遠隔操作レバーと、
前記運転席に着座する前記オペレータの視線位置を取得するアイトラッキング装置と、
前記運転席に着座する前記オペレータの姿勢に関する姿勢情報を取得する姿勢トラッキング装置と、
前記遠隔操作レバーが受ける前記操作に関する操作情報に基づいて前記操作が微操作であるか否かを判定する操作判定部と、
前記姿勢情報に基づいて前記オペレータの基準姿勢を特定するとともに、前記姿勢情報に基づいて前記オペレータの前記姿勢が前記基準姿勢から前記微操作に関連する注視姿勢に変化したか否かを判定する姿勢判定部と、
前記操作判定部により前記操作が前記微操作であると判定され、かつ、前記姿勢判定部により前記オペレータの前記姿勢が前記基準姿勢から前記注視姿勢に変化したと判定された場合に、前記作業映像のうち前記アイトラッキング装置により取得される前記視線位置に関連する部分を拡大した拡大映像を生成し、当該拡大映像を前記表示装置に表示させる映像生成部と、を備える遠隔操作装置。
【請求項２】
請求項１に記載の遠隔操作装置であって、
前記映像取得装置とは異なる視野を有し、前記映像取得装置により取得される前記作業映像とは異なる別映像を取得する別映像取得装置をさらに備え、
前記映像生成部は、前記映像取得装置により取得される前記作業映像及び前記映像生成部により生成される前記拡大映像の少なくとも一方と、前記別映像取得装置により取得される前記別映像とを前記表示装置に同時に表示させるように構成されている、遠隔操作装置。
【請求項３】
請求項２に記載の遠隔操作装置であって、
前記別映像取得装置は、前記別映像として前記アタッチメントの特定部位の映像を取得するように構成されている、遠隔操作装置。
【請求項４】
請求項３に記載の遠隔操作装置であって、
前記アタッチメントは、当該アタッチメントの先端部を構成する先端アタッチメントを含み、
前記別映像取得装置は、前記別映像として少なくとも前記先端アタッチメントの映像を取得するように構成されている、遠隔操作装置。
【請求項５】
請求項１〜４の何れか１項に記載の遠隔操作装置であって、
前記アタッチメントが動作する方向である動作方向を判定する動作方向判定部と、
前記アイトラッキング装置により取得された前記視線位置から前記動作方向に対応する方向に離れた位置である補正視線位置を演算する補正部と、をさらに備え、
前記映像生成部は、前記作業映像のうち前記補正視線位置に関連する部分を拡大した拡大映像を生成し、当該拡大映像を前記表示装置に表示させるように構成されている、遠隔操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建設機械から離れた遠隔地において前記建設機械を遠隔操縦するための遠隔操作装置に関する。
【背景技術】
【０００２】
一般に、油圧ショベルなどの建設機械は、地面を掘削する掘削作業、掘削された土砂をダンプカーなどの荷台に移す移載作業などに用いられる。これらの作業の他に、当該建設機械は、例えば地面を整地する整地作業などのように先端アタッチメントの位置（具体的にはバケットの位置）を精度よく調節することが要求される微操作による作業にも用いられる。当該微操作による作業では、オペレータは、前記バケットの位置を目視で確認しながら操作レバーを慎重に操作する。
【０００３】
また、近年は、オペレータが前記建設機械から離れた遠隔地に設けられた表示装置に表示される建設機械を目視で確認しながら遠隔操作レバーを操作することにより建設機械を遠隔操縦する技術が提案されている。このような遠隔地においてオペレータが前記微操作を行う場合において、当該微操作に係る作業の作業性を向上させるためには、当該微操作時にオペレータが目視する対象（例えばバケットの部分）を前記表示装置に適切なタイミングでわかりやすく表示させることが重要である。
【０００４】
特許文献１は、運転者が運転中に視線を向けた注視対象の画像を、リアルタイムで且つわかりやすく運転者が視認できるようにするための運転支援装置を開示している。この特許文献１の運転支援装置では、運転者が運転中に注視した注視対象を撮影し、それを拡大画像として、車外風景中におけるその注視対象の存在位置に重畳表示する。
【０００５】
特許文献２は、オペレータによる操作に応じて自動的に映像の切り換えを行わせるようにすることで、作業の中断を解消して作業効率の向上を図る建設機械の監視カメラ装置を開示している。具体的に、特許文献２の建設機械の監視カメラ装置では、走行操作が行われたことを示す走行検出信号がオンになると、ディスプレイに映す映像を、前方監視カメラによる映像から後方監視カメラによる映像へ切り換える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−４３００３号公報
【特許文献２】特開２００２−２９４７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示されている運転支援装置は、運転者の注視対象を常に拡大表示するものであり、したがって、微操作と通常操作とを精度よく判別することはできず、そのため、遠隔操作による微操作時にオペレータが必要とする映像を遠隔地に設けられた表示装置に適切なタイミングで表示させることはできない。また、当該特許文献１は、そのような課題についても何ら示唆されていない。
【０００８】
また、映像を切り換える基準としてのオペレータによる操作レバーの操作情報は、特許文献２のように建設機械の走行操作の有無を判定する基準として用いることは可能であるかもしれない。しかしながら、オペレータが前記微操作を行う意志を有するか否かの判定が操作レバーの操作情報のみに基づいて行われた場合には、その判定の精度は必ずしも高くはない。
【０００９】
本発明は、遠隔操作による微操作時にオペレータが必要とする映像を遠隔地に設けられた表示装置に適切なタイミングでわかりやすく表示させることにより前記微操作時の作業性を向上させることができる建設機械の遠隔操作装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するために、本発明者らは、例えば前記掘削作業、前記移載作業などの通常作業が行われるときのオペレータの姿勢と、例えばバケットによる整地作業や圧砕機やグラップルなどによる把持作業のようにアタッチメントの位置を高い精度で調節することが要求される微操作に係る作業が行われるときのオペレータの姿勢に着目した。具体的に、オペレータは、前記通常操作を行うときには、運転席から目視可能な作業領域のうち比較的広い領域を目視することが多く、このため、運転席に深く腰かける傾向にある。一方、オペレータは、前記微操作を行うときには、運転席から目視可能な作業領域のうち比較的狭い領域、具体的には例えばバケット、圧砕機、グラップルなどの先端アタッチメントのみを注視することが多く、このため、運転席に浅く腰かけ、上半身が前のめりになる傾向にある。つまり、作業時のオペレータの姿勢は、オペレータが行う作業の種類と高い関連性を有する。したがって、オペレータが前記微操作を行う意志を有するか否かの判定の基準として、遠隔操作レバーが受ける操作に関する操作情報だけでなく、オペレータの姿勢に関する姿勢情報も含めることにより、オペレータが微操作を行う意志を有することを精度よく判定することが可能になり、これにより、微操作時にオペレータが必要とする映像を遠隔地に設けられた表示装置に適切なタイミングでわかりやすく表示させることが可能になる。
【００１１】
本発明は、このような観点からなされたものである。本発明により提供されるのは、アタッチメントを有する建設機械から離れた遠隔地において前記建設機械を遠隔操縦するための遠隔操作装置であって、前記建設機械の作業映像を取得する映像取得装置と、前記遠隔地において前記作業映像を表示する表示装置と、前記遠隔地においてオペレータが着座するための運転席と、前記アタッチメントを動作させるために前記運転席に着座する前記オペレータが行う操作を受ける遠隔操作レバーと、前記運転席に着座する前記オペレータの視線位置を取得するアイトラッキング装置と、前記運転席に着座する前記オペレータの姿勢に関する姿勢情報を取得する姿勢トラッキング装置と、前記遠隔操作レバーが受ける前記操作に関する操作情報に基づいて前記操作が微操作であるか否かを判定する操作判定部と、前記姿勢情報に基づいて前記オペレータの基準姿勢を特定するとともに、前記姿勢情報に基づいて前記オペレータの前記姿勢が前記基準姿勢から前記微操作に関連する注視姿勢に変化したか否かを判定する姿勢判定部と、前記操作判定部により前記操作が前記微操作であると判定され、かつ、前記姿勢判定部により前記オペレータの前記姿勢が前記基準姿勢から前記注視姿勢に変化したと判定された場合に、前記作業映像のうち前記アイトラッキング装置により取得された前記視線位置に関連する部分を拡大した拡大映像を生成し、当該拡大映像を前記表示装置に表示させる映像生成部と、を備える。
【００１２】
本発明の建設機械の遠隔操作装置では、前記操作判定部により前記操作が前記微操作であると判定され、かつ、前記姿勢判定部により前記オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したと判定された場合には、オペレータが前記微操作を行う意志を有する可能性が高く、かかる場合に、前記視線位置に関連する部分を拡大して生成された前記拡大映像が前記表示装置に自動的に表示される。したがって、遠隔操作による微操作時にオペレータが必要とする映像を遠隔地に設けられた表示装置に適切なタイミングでわかりやすく表示させることができる。これにより、オペレータは、高い精度が要求される前記微操作を、前記表示装置に表示された前記拡大映像を目視しながら効率よく行うことができるので、微操作時の作業性が向上する。
【００１３】
なお、本発明において、前記微操作は、オペレータが建設機械を遠隔操縦するために前記遠隔操作レバーに与える操作であって、前記アタッチメントの位置を精度よく調節するために、遠隔地に設けられた前記表示装置にオペレータの視線位置に関連する部分を拡大した拡大映像を表示させる必要性の高い操作である。また、前記注視姿勢は、前記微操作に関連するオペレータの姿勢であって、オペレータが前記アタッチメントの一部分を注視するときの姿勢である。
【００１４】
前記遠隔操作装置は、前記映像取得装置とは異なる視野を有し、前記映像取得装置により取得される前記作業映像とは異なる別映像を取得する別映像取得装置をさらに備え、前記映像生成部は、前記映像取得装置により取得される前記作業映像及び前記映像生成部により生成される前記拡大映像の少なくとも一方と、前記別映像取得装置により取得される前記別映像とを前記表示装置に同時に表示させるように構成されているのが好ましい。
【００１５】
この態様では、オペレータが前記作業映像や前記拡大映像だけでなく、前記別映像取得装置により取得される前記別映像も考慮しながら前記微操作に係る作業を行うことが可能になり、これにより、前記微操作時の作業性がさらに向上する。
【００１６】
また、前記遠隔操作装置において、前記別映像取得装置は、前記別映像として前記アタッチメントの特定部位の映像を取得するように構成されているのが好ましい。
【００１７】
この態様では、前記微操作に係る作業において、オペレータは、前記アタッチメントにおいて注意して目視すべき部位、又は注意して目視したい部位を前記表示装置で確認することができる。
【００１８】
さらに、前記遠隔操作装置において、前記アタッチメントは、当該アタッチメントの先端部を構成する先端アタッチメントを含み、前記別映像取得装置は、前記別映像として少なくとも前記先端アタッチメントの映像を取得するように構成されているのがより好ましい。
【００１９】
前記微操作に係る作業においては、オペレータは前記先端アタッチメントを注視することが多い。したがって、本態様では、オペレータは、前記拡大映像を考慮するとともに、前記別映像としての前記先端アタッチメントの映像も考慮しながら、前記微操作をさらに効率よく行うことができる。
【００２０】
前記遠隔操作装置は、前記アタッチメントが動作する方向である動作方向を判定する動作方向判定部と、前記アイトラッキング装置により取得された前記視線位置から前記動作方向に対応する方向に離れた位置である補正視線位置を演算する補正部と、をさらに備え、前記映像生成部は、前記作業映像のうち前記補正視線位置に関連する部分を拡大した拡大映像を生成し、当該拡大映像を前記表示装置に表示させるように構成されているのが好ましい。
【００２１】
この態様では、前記補正視線位置に関連する部分を拡大した拡大映像、すなわち、オペレータが前記建設機械の前記アタッチメントの移動先を目視しやすい拡大映像が前記表示装置に表示されるので、オペレータは、前記アタッチメントの移動先がどのような状況にあるかについて判断しやすくなる。これにより、前記微操作時の作業性がさらに向上する。
【発明の効果】
【００２２】
以上のように、本発明によれば、遠隔操作による微操作時にオペレータが必要とする映像を遠隔地に設けられた表示装置に適切なタイミングでわかりやすく表示させることにより前記微操作時の作業性を向上させることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る遠隔操作装置により遠隔操縦される建設機械の一例を示す側面図である。
【図２】前記遠隔操作装置の表示装置、運転席、遠隔操作レバー、アイトラッキング装置、及び姿勢トラッキング装置を示す斜視図である。
【図３】本発明の実施形態に係る遠隔操作装置の機能構成を示すブロック図である。
【図４】前記遠隔操作装置の前記運転席に着座するオペレータの基準姿勢を示す概略の側面図である。
【図５】前記遠隔操作装置の前記運転席に着座するオペレータが微操作を行うときのオペレータの姿勢（注視姿勢）を示す概略の側面図である。
【図６】前記遠隔操作装置における表示装置に表示される映像の一例を示す図である。
【図７】前記遠隔操作装置における表示装置に表示される映像の他の例を示す図である。
【図８】前記遠隔操作装置における表示装置に表示される映像のさらに他の例を示す図である。
【図９】前記遠隔操作装置における表示装置に表示される映像のさらに他の例を示す図である。
【図１０】前記遠隔操作装置における表示装置に表示される映像のさらに他の例を示す図である。
【図１１】前記遠隔操作装置における表示装置に表示される映像のさらに他の例を示す図である。
【図１２】前記遠隔操作装置における表示装置に表示される映像のさらに他の例を示す図である。
【図１３】前記遠隔操作装置のコントローラが行う演算制御動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の好ましい実施の形態について図面を参照しながら説明する。
【００２５】
図１は、本発明の実施形態に係る遠隔操作装置により遠隔操縦される建設機械の一例である油圧ショベル１００を示す側面図である。図２は、前記遠隔操作装置１０１を示す斜視図である。図３は、遠隔操作装置１０１の機能構成を示すブロック図である。前記建設機械（本実施形態では油圧ショベル１００）と前記遠隔操作装置１０１は、遠隔操作システムを構成している。
【００２６】
なお、図１及び図２には、「上」、「下」、「左」、「右」、「前」および「後」の方向が示されているが、当該方向は、本発明の実施形態に係る遠隔操作装置１０１及び油圧ショベル１００の構造を説明するために便宜上示すものであり、油圧ショベル１００の移動方向や使用態様などを限定するものではない。
【００２７】
図１に示すように、前記油圧ショベル１００は、下部走行体１と、その上に旋回可能に搭載される上部旋回体２と、当該上部旋回体２に搭載されるアタッチメント６と、を備える。前記上部旋回体２は、前記下部走行体１に連結される旋回フレーム２ａと、当該旋回フレーム２ａ上に搭載されるキャブ７と、を有する。前記アタッチメント６は、前記旋回フレーム２ａの前端部に起伏可能に連結されるブーム３と、当該ブーム３の先端部に回動可能に連結されるアーム４と、当該アーム４の先端部に回動可能に連結されるバケット５（先端アタッチメントの一例）と、を含む。前記キャブ７は、前記旋回フレーム２ａの前部であって当該旋回フレーム２ａの左右方向において前記ブーム３と隣接する部位に搭載され、前記油圧ショベルの操縦を行うための運転室を構成する。
【００２８】
前記油圧ショベル１００は、さらに、前記アタッチメント６を動作させるための複数の油圧アクチュエータ３ａ，４ａ，５ａと、前記上部旋回体２を旋回させるための図略の旋回モータと、下部走行体１を走行させるための図略の走行モータと、を備える。前記複数の油圧アクチュエータは、ブーム３を動作させるためのブームシリンダ３ａと、アーム４を動作させるためのアームシリンダ４ａと、バケット５を動作させるためのバケットシリンダ５ａ（先端アタッチメントシリンダ）と、を含む。
【００２９】
本実施形態に係る遠隔操作装置１０１は、油圧ショベル１００から離れた遠隔地において当該油圧ショベル１００を遠隔操縦するための装置である。図１〜図３に示す実施形態では、前記遠隔操作装置１０１は、複数のカメラ１１〜１５と、モニタ２１と、運転席３１と、一対の遠隔操作レバー３２，３２と、一対の走行ペダル３３，３３と、アイトラッキング装置４１（視線計測装置）と、姿勢トラッキング装置４２（姿勢計測装置）と、アタッチメント姿勢検出装置４３と、コントローラ５０と、通信装置６１，６２と、を備える。
【００３０】
前記複数のカメラ１１〜１５、アタッチメント姿勢検出装置４３及び通信装置６１は、図１に示す前記油圧ショベル１００又はその近傍に設けられている。前記モニタ２１、運転席３１、一対の遠隔操作レバー３２，３２、一対の走行ペダル３３，３３、アイトラッキング装置４１、姿勢トラッキング装置４２及び通信装置６２は、前記油圧ショベル１００から離れた図２に示す遠隔地に設けられている。
【００３１】
前記複数のカメラ１１〜１５は、メインカメラ１１（映像取得装置の一例）と、複数の別視点カメラ１２〜１５（別映像取得装置の一例）とを含む。前記複数のカメラ１１〜１５は、映像を撮影することが可能な装置であり、具体的には、動画を撮影可能な装置である。前記複数のカメラ１１〜１５のそれぞれは、所定の視野角（例えば図１において二点鎖線で示される視野角）を有し、その視野範囲の映像を撮影可能に構成されている。前記複数のカメラ１１〜１５により取得された映像に関する情報（映像信号）は、図３に示す通信装置６１，６２を介して前記遠隔地に設けられたコントローラ５０に入力される。
【００３２】
図１に示すように、前記メインカメラ１１は、前記油圧ショベル１００の作業領域の映像であってキャブ７の運転室の座席に座るオペレータの視野に対応するメインの映像（作業映像）を取得する。前記メインカメラ１１は、例えば、キャブ７の運転室の座席に座るオペレータの目線に対応する高さ位置に配置され、アタッチメント６の要部、例えばアーム４やバケット５を撮影可能なように前方に広がる視野を有する。
【００３３】
前記複数の別視点カメラ１２〜１５は、メインカメラ１１とは異なる視野を有し、前記メインカメラ１１により取得される前記作業映像とは異なる別映像を取得する。前記複数の別視点カメラ１２〜１５のうち、別視点カメラ１２，１３は、バケット５（先端アタッチメントの一例）の映像（別映像）を取得するための先端アタッチメントカメラである。具体的には、別視点カメラ１２は、ブーム３に設けられており、当該ブーム３に取り付けられた位置からおおよそ下方に広がる視野を有する。別視点カメラ１３は、上部旋回体２に設けられており、当該上部旋回体２に取り付けられた位置からおおよそ前方に広がる視野を有する。これらの別視点カメラ１２，１３によってバケット５の映像が取得される。別視点カメラ１４は、ブーム３やアーム４の映像（別映像）を取得するためのカメラである。具体的に、別視点カメラ１４は、ブーム３に取り付けられており、当該ブーム３に取り付けられた位置からおおよそ前方に広がる視野を有する。別視点カメラ１５は、油圧ショベル１００の全体的な映像を取得するためのカメラである。具体的には、別視点カメラ１５は、例えば油圧ショベル１００の全体的な映像を当該油圧ショベル１００の後方から撮影可能な位置に配置されている。
【００３４】
モニタ２１は、前記複数のカメラ１１〜１５により取得された映像を、前記遠隔地において表示するための表示装置の一例である。モニタ２１には、前記通信装置６１，６２を介してコントローラ５０に入力された映像に関する情報（映像信号）を受け、当該映像を表示する。モニタ２１は、複数のカメラ１１〜１５により取得された複数の映像を、複数に分割された画面領域において同時に表示することが可能である。また、モニタ２１は、複数のカメラ１１〜１５により取得された複数の映像のうち一部の映像のみを選択して表示することも可能である。これらの映像の表示の切り換えは、後述するコントローラ５０の映像生成部５３によって制御される。
【００３５】
当該モニタ２１は、例えば図２に示すように、液晶ディスプレイ、有機ＥＬディスプレイなどのディスプレイであってもよく、かかる場合には、当該モニタ２１は、運転席３１に着座するオペレータが当該モニタ２１に表示される映像を目視可能な位置に設けられる。また、前記モニタ２１は、後述する図４及び図５に示すように、オペレータの頭部に装着するヘッドマウントディスプレイ２１であってもよい。ただし、本発明における前記表示装置は、これらのディスプレイに限られず、例えば、映像をスクリーンなどに投影する図略のプロジェクタなどであってもよい。
【００３６】
前記運転席３１は、前記遠隔地において前記オペレータが着座するための座席である。運転席３１は、座部３４と、背もたれ部３５と、ヘッドレスト３６と、左右のアームレスト３７，３７と、を含む。前記座部３４は、オペレータの下半身、具体的には臀部と脚部の一部（太もも）とを支持する。背もたれ部３５は、オペレータの上半身、具体的には背中を支持する。ヘッドレスト３６は、オペレータの頭部、具体的には後頭部を支持する。
【００３７】
前記左右のアームレスト３７，３７は、運転席３１に着座するオペレータが前記操作レバー３２，３２を操作するときにオペレータの前腕を支持するためのものであり、オペレータの前腕を支えることができるように前後方向に延びる形状を有する。前記左右のアームレスト３７，３７は、前記座部３４の左側方及び右側方にそれぞれ配置されている。
【００３８】
一対の遠隔操作レバー３２，３２のそれぞれは、前記遠隔地において前記運転席３１に着座するオペレータによる操作を受けて前後左右に回動する。当該操作は、前記アタッチメント６を動作させるための操作である。当該アタッチメント６を動作させるための前記操作には、前記上部旋回体２に対して前記ブーム３を起伏させる起伏動作のための起伏操作、前記ブーム３に対して前記アーム４を回動させる回動動作のための回動操作、前記アーム４に対して前記バケット５を回動させる回動動作のための回動操作、前記下部走行体１に対して前記上部旋回体２を旋回させて前記アタッチメント６を旋回させる旋回動作のための旋回操作などが含まれる。
【００３９】
前記一対の走行ペダル３３，３３は、下部走行体１を走行させるペダルである。運転席３１に着座するオペレータは、当該運転席３１の前方に位置する左右の走行ペダル３３，３３を踏み込むことで、下部走行体１を走行させることができる。
【００４０】
各遠隔操作レバー３２は、オペレータによる操作を受けると、その操作量、操作方向などに応じて決まる当該操作レバー３２の状態（操作状態）に応じた操作信号（操作系信号）を生成し、当該操作信号をコントローラ５０に入力する。すなわち、各遠隔操作レバー３２の前記操作量、前記操作方向などに応じて決まる前記操作状態が電気信号に変換され、当該電気信号（操作信号）がコントローラ５０に入力される。同様に、各走行ペダル３３は、オペレータによる踏み込み操作を受けると、その踏み込み量に応じた操作信号を生成し、当該操作信号をコントローラ５０に入力する。
【００４１】
当該コントローラ５０に入力された前記操作信号は、前記通信装置６１，６２を介して油圧ショベル１００の図略のコントローラに入力される。油圧ショベル１００の前記コントローラは、入力された前記操作信号に基づいて適宜演算等の信号処理を行い、前記操作信号に対応する指令信号を生成する。当該指令信号は、前記ブームシリンダ３ａ、前記アームシリンダ４ａ、前記バケットシリンダ５ａ、前記旋回モータ、前記走行モータなどを動作させるためのコントロールバルブ等に入力される。したがって、オペレータは、遠隔操作レバー３２，３２を操作することにより、油圧ショベル１００の種々の動作、具体的には、アタッチメント６（上部旋回体２）の旋回動作、ブーム３の起伏動作、アーム４の回動動作、バケット５の回動動作、下部走行体１の走行動作などの動作を実行させることができる。
【００４２】
前記アイトラッキング装置４１は、前記遠隔地において前記オペレータの視線位置に関する視線情報を取得するアイトラッキング機能を有する。当該アイトラッキング機能を実現する手段は、特に限定されず、アイトラッキング機能に関する公知の種々の技術を採用可能である。アイトラッキング装置４１は、オペレータの視線の動きをリアルタイムで追跡し、オペレータの視線位置を連続的に計測することができる。前記アイトラッキング装置４１により取得されるオペレータの視線位置に関する視線情報は、コントローラ５０に入力される。当該アイトラッキング装置４１は、例えばオペレータの頭部に装着される。前記表示装置が前記ヘッドマウントディスプレイである場合には、アイトラッキング装置４１は、当該ヘッドマウントディスプレイに搭載される。
【００４３】
前記姿勢トラッキング装置４２は、前記運転席に着座している前記オペレータの姿勢に関する姿勢情報を取得する姿勢トラッキング機能を有する。本実施形態では、当該姿勢トラッキング機能は、例えば前記掘削作業、前記移載作業などの通常作業が行われるときのオペレータの姿勢（以下、基準姿勢という。）と、例えば前記整地作業などのようにアタッチメント６の位置を高い精度で調節することが要求される微操作が行われるときのオペレータの姿勢（以下、注視姿勢という。）と、を判別するために用いられる。本実施形態では、姿勢トラッキング装置４２は、オペレータの姿勢の変化をリアルタイムで追跡し、オペレータの姿勢を連続的に計測することができる。具体例を挙げると次の通りである。
【００４４】
前記姿勢トラッキング装置４２は、例えば図２に示すように、オペレータの上半身や頭部を撮像可能な撮像装置４２ａと、当該撮像装置４２ａにより撮像された画像に関するデータに基づいて画像処理を行うことによりオペレータの上半身の位置や頭部の位置の変化、すなわち、オペレータの姿勢の変化に関する情報を演算可能な画像処理部４２ｂと、を備える。当該画像処理部４２ｂにより演算されるオペレータの姿勢の変化に関する情報は、コントローラ５０に入力される。
【００４５】
図４は、運転席３１に着座するオペレータの基準姿勢を示す概略の側面図である。図５は、運転席３１に着座するオペレータが微操作を行うときの注視姿勢を示す概略の側面図である。オペレータの姿勢が図５に示す前記注視姿勢である場合には、図４に示す前記基準姿勢に比べて、オペレータの上半身が前傾していたり、オペレータの頭部が前方に位置していたりする。具体的には、図４に示すようにオペレータの姿勢が前記基準姿勢である場合には、オペレータの頭部は位置Ａ１に位置しているが、図５に示すようにオペレータの姿勢が前記注視姿勢である場合には、オペレータの頭部は位置Ａ１よりも前方の位置Ａ２に位置している。したがって、後述するコントローラ５０の姿勢判定部５２は、前記姿勢トラッキング装置４２の画像処理部４２ｂから入力されるオペレータの姿勢の変化に関する情報に基づいてオペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したか否かを判定することができる。
【００４６】
また、前記姿勢トラッキング装置４２は、例えば図４及び図５に示すように、オペレータに装着されるマーカ４２ｄと、当該マーカ４２ｄを撮影する撮像装置４２ａ（図２参照）と、を備えるものであってもよい。当該マーカ４２ｄは、例えばオペレータの頭部に装着される。撮像装置４２ａによりマーカ４２ｄが撮影されることによりマーカ４２ｄの動きが捉えられる。これにより、オペレータの位置（具体的には頭部の位置）の変化、すなわち、オペレータの姿勢の変化が検出される。
【００４７】
また、前記姿勢トラッキング装置４２は、例えば図４及び図５に示すように、オペレータに装着される発信機４２ｅと、当該発信機４２ｅから出力される信号を受信可能な図略の受信機と、を備えるものであってもよい。前記発信機４２ｅは電波を発信し、前記受信機は当該電波を受信する。前記発信機４２ｅは、例えばオペレータの頭部に装着される。前記受信機は、例えば複数のアンテナによって構成される。当該複数のアンテナは、例えば運転席３１における互いに異なる位置に設けられる。前記発信機４２ｅから発信される前記電波が複数のアンテナにより受信され、当該複数のアンテナによりそれぞれ受信される電波強度に基づいて、オペレータの位置（具体的には頭部の位置）の変化、すなわち、オペレータの姿勢の変化が検出される。
【００４８】
また、前記姿勢トラッキング装置４２は、例えば図４及び図５に示すように、オペレータが運転席３１に着座することにより当該運転席３１に作用する圧力（圧力分布）を検出可能な圧力センサ４２ｃを備えていてもよい。当該圧力センサ４２ｃは、座部３４、背もたれ部３５、ヘッドレスト３６及びアームレスト３７の少なくとも一つに設けられる。オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化すると、前記座部３４の前部に作用する圧力が増加し、前記座部３４の後部に作用する圧力が減少する。また、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化すると、前記背もたれ部３５に作用する圧力及び前記ヘッドレスト３６に作用する圧力は減少する。また、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化すると、前記アームレスト３７の前部に作用する圧力が増加し、前記アームレスト３７の後部に作用する圧力が減少する。当該圧力センサ４２ｃにより出力される圧力に関する信号は、コントローラ５０に入力される。コントローラ５０の姿勢判定部５２は、前記姿勢トラッキング装置４２の前記圧力センサ４２ｃから入力される前記信号に基づいてオペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したか否かを判定する。前記姿勢トラッキング装置４２が前記圧力センサ４２ｃにより構成される場合には、前記姿勢トラッキング装置４２が前記撮像装置４２ａと画像処理部４２ｂとにより構成される場合に比べて、姿勢トラッキング機能を簡素な構成で安価に実現することができる。
【００４９】
前記アタッチメント姿勢検出装置４３（図３参照）は、前記アタッチメント６の姿勢を検出する機能を有する。アタッチメント姿勢検出装置４３は、前記アタッチメント６の姿勢の変化をリアルタイムで追跡し、アタッチメント６の姿勢を連続的に計測することができる。当該アタッチメント姿勢検出装置４３により検出される前記アタッチメント６の姿勢に関する情報に基づいて、後述するコントローラ５０の動作方向判定部５４は、前記アタッチメント６の動作する動作方向（具体的には、例えばバケット５の動作する動作方向）を判定することができる。具体例を挙げると次の通りである。
【００５０】
前記アタッチメント姿勢検出装置４３は、例えば、上部旋回体２に対するブーム３の角度を検出可能な図略のブーム角度センサと、ブーム３に対するアーム４の角度を検出可能な図略のアーム角度センサと、アーム４に対するバケット５の角度を検出可能な図略のバケット角度センサと、下部走行体１に対する上部旋回体２の角度（旋回角度）を検出可能な図略の旋回角度センサと、を含む。ブーム角度、アーム角度、バケット角度及び旋回角度が特定されると、これらの情報に基づいてバケット５の位置が特定される。これらの角度センサは、例えばロータリーエンコーダなどにより構成される。これらの角度センサにより出力される検出信号は、コントローラ５０に入力される。
【００５１】
また、前記アタッチメント姿勢検出装置４３は、例えば、衛星測位システムを利用するものであってもよい。かかる場合には、前記アタッチメント姿勢検出装置４３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）に関するデータを受信可能なＧＰＳセンサ、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）に関するデータを受信可能なＧＮＳＳセンサなどを備える。図１に示すように、前記ＧＰＳセンサ４３ａやＧＮＳＳセンサ４３ａは、アタッチメント６（具体的には例えばバケット５）に取り付けられる。これにより、当該アタッチメント姿勢検出装置４３は、アタッチメント６の姿勢（具体的にはバケット５の位置）を検出することができる。
【００５２】
通信装置６１（送受信装置）は、前記油圧ショベル１００又はその近傍に設けられる。当該通信装置６１は、前記複数のカメラ１１〜１５、アタッチメント姿勢検出装置４３などから出力される信号を受けて、当該信号を前記遠隔地に設けられた通信装置６２（送受信装置）に向けて送信する機能と、当該通信装置６２から送信される信号を受信する機能と、を有する。
【００５３】
通信装置６２（送受信装置）は、前記遠隔地に設けられる。当該通信装置６２は、前記通信装置６１が送信する信号を受信し、当該信号をコントローラ５０に入力する機能と、当該コントローラ５０から出力される信号を受けて、当該信号を前記油圧ショベル１００又はその近傍に設けられた前記通信装置６１に向けて送信する機能と、を有する。
【００５４】
本実施形態では、通信装置６１と通信装置６２は、無線通信により互いに信号の送受信を行うように構成されているが、これに限られず、有線通信により信号の送受信を行うように構成されていてもよい。
【００５５】
前記コントローラ５０は、例えばコンピュータなどにより構成される。図３に示すように、前記コントローラ５０は、操作判定部５１と、姿勢判定部５２と、映像生成部５３と、動作方向判定部５４と、補正部５５と、を機能として有する。
【００５６】
前記操作判定部５１は、前記遠隔操作レバー３２，３２が受ける前記操作に関する操作情報に基づいて前記操作が微操作であるか否かを判定する機能を有する。言い換えると、前記操作判定部５１は、前記遠隔操作レバー３２，３２から受ける操作系信号に基づいて前記油圧ショベル１００の作業を判断する機能（稼働制御機能）を有する。具体的に、例えば、前記操作判定部５１は、前記遠隔操作レバー３２，３２が受ける前記操作の中立位置からの操作量が予め設定された基準値以下である場合に、前記操作が微操作であると判定し、前記操作量が前記基準値を超える場合には、前記操作が前記微操作ではない通常操作であると判定する。
【００５７】
前記通常作業では、前記遠隔操作レバー３２がフルストローク（フルレバー）又はこれに近いストロークとなる操作量で操作されることが多く、前記微操作では、前記遠隔操作レバー３２がハーフストローク（ハーフレバー）又はこれ以下のストロークとなる操作量で操作されることが多い。したがって、前記基準値は、例えばハーフレバーの操作量や前記ハーフレバーとフルレバーとの間の操作量に対応する値に設定することができる。
【００５８】
前記操作判定部５１は、中立状態にある操作レバー３２が操作を受けたときからの操作量の時間的変化（オペレータが操作レバー３２の操作を開始したときからの操作量の時間的変化）に基づいて、前記操作が微操作であるか否かを判定してもよい。この場合、前記操作判定部５１は、操作レバー３２が前記中立位置から予め設定された基準値よりも遅い速さで操作された場合、すなわち、操作レバー３２が前記中立位置から予め設定された基準値よりも遅い速さで倒された場合に、前記操作が前記微操作であると判定し、操作レバー３２が前記中立位置から前記基準値以上の速さで操作された場合には、前記操作が前記通常操作であると判定する。
【００５９】
前記操作判定部５１は、前記微操作に関わる操作として予め設定された特定操作が検出されるか否かに基づいて前記操作が微操作であるか否かを判定してもよい。前記特定操作としては、例えば、細かい刻みでアタッチメントを動かす操作（インチング操作）を挙げることができる。言い換えると、当該インチング操作は、小さな振幅でバケット５（先端アタッチメント）を動作させるための操作である。前記操作判定部５１は、前記インチング操作が検出された場合に、前記操作レバー３２が受ける操作が微操作であると判定し、前記インチング操作が検出されない場合には、前記操作が微操作ではないと判定する。具体的に、前記操作判定部５１は、例えば、予め設定された基準時間内に、予め設定された基準回数以上の前記操作レバー３２の往復操作が行われた場合に、前記操作が前記インチング操作（微操作）であると判定し、前記基準時間内に前記基準回数以上の前記往復操作が行われなかった場合に、前記操作が前記インチング操作（微操作）ではないと判定してもよい。
【００６０】
微操作モードを搭載している建設機械においては、前記操作判定部５１は、前記操作レバー３２が受ける操作が前記微操作であるか否かについて次のように判定してもよい。前記微操作モードを搭載する建設機械は、オペレータが微操作モードのオンとオフを切り換え可能な図略の切り換え部を備える。当該切り換え部は、例えば、微操作モードのオンとオフを切り換えるための切換スイッチを有する。当該切り換え部がオン状態である場合、すなわち、操作モードが微操作モードである場合には、アタッチメント６の動作速度が予め設定された速度以下に制限され、これにより、オペレータは前記微操作を簡単に行うことができる。一方、前記切り換え部がオフ状態である場合、すなわち、操作モードが通常操作モードである場合には、アタッチメント６の動作速度が制限されず、オペレータは前記通常操作を行うことができる。前記切り換え部は、前記操作モードが前記微操作モードであることを示す信号又は前記操作モードが前記通常操作モードであることを示す信号をコントローラ５０に入力する。このような建設機械においては、前記操作判定部５１は、前記操作モードが前記微操作モードであるか否かに基づいて、前記操作レバー３２が受ける操作が前記微操作であるか否かを判定してもよい。言い換えると、前記操作判定部５１は、前記切り換え部による前記操作モードの切り換えに基づいて前記微操作であるか否かを判定することができる。
【００６１】
前記姿勢判定部５２は、運転席３１に着座するオペレータの姿勢に関する前記姿勢情報に基づいてオペレータの基準姿勢を特定するとともに、前記姿勢情報に基づいてオペレータの姿勢が前記基準姿勢から前記微操作に関連する注視姿勢に変化したか否かを判定する。
【００６２】
前記姿勢判定部５２は、例えば、前記基準姿勢の特定を次のようにして行う。
【００６３】
前記姿勢判定部５２は、前記掘削作業、前記移載作業などの通常作業が行われるときのオペレータの姿勢を前記基準姿勢として特定する。前記通常作業が行われているか否かの判定は、前記遠隔操作レバー３２，３２が受ける前記操作に関する操作情報に基づいて前記操作判定部５１が行う。
【００６４】
具体的には、前記姿勢判定部５２は、前記操作判定部５１により前記操作が前記通常操作であると判定されたときのオペレータの姿勢（例えば図４に示す姿勢）を前記基準姿勢として特定し、特定された前記基準姿勢を記憶する。また、前記姿勢判定部５２は、次のようにして前記基準姿勢を特定してもよい。すなわち、前記姿勢判定部５２は、前記操作判定部５１により前記操作が前記通常操作であると判定され、かつ、前記通常操作が予め設定された基準時間保持された場合に、そのときのオペレータの姿勢を前記基準姿勢として特定してもよい。後者の場合には、前者の場合に比べて、前記基準姿勢の判定の精度が向上する。
【００６５】
前記姿勢トラッキング装置４２が前記撮像装置４２ａと前記画像処理部４２ｂとを備えるものである場合には、前記基準姿勢は、例えばオペレータの姿勢に関する画像のデータとして前記姿勢判定部５２に記憶される。また、前記姿勢トラッキング装置４２が前記圧力センサ４２ｃを備えるものである場合には、前記基準姿勢は、例えば前記圧力センサ４２ｃにより検出された圧力に関するデータ（圧力分布に関するデータ）として前記姿勢判定部５２に記憶される。また、前記姿勢トラッキング装置４２が発信機４２ｅと受信機（例えば、複数のアンテナ）とを備えるものである場合には、前記基準姿勢は、例えば前記受信機により検出された電波強度として前記姿勢判定部５２に記憶される。
【００６６】
当該基準姿勢の判定は、油圧ショベル１００を用いた作業の初期段階において１回だけ行われてもよく、また、油圧ショベル１００を用いた作業において複数回行われてもよい。前記基準姿勢の判定が複数回行われる場合には、前記基準姿勢は、前回特定された基準姿勢が最も新しく特定された基準姿勢に更新される。前記基準姿勢の判定が複数回行われる場合の具体例として、例えば、油圧ショベル１００を用いた作業において前記通常作業が行われる度に前記基準姿勢の判定が行われてもよい。
【００６７】
前記姿勢判定部５２は、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したか否かの判定を例えば次のようにして行う。
【００６８】
前記姿勢判定部５２は、前記整地作業などにおいて微操作が行われるときのオペレータの姿勢を注視姿勢として特定するための予め設定された条件（注視姿勢判定条件）を記憶している。前記姿勢トラッキング装置４２が前記撮像装置４２ａと前記画像処理部４２ｂとを備えるものである場合には、前記注視姿勢判定条件は、オペレータの前傾姿勢の角度に関する閾値（角度閾値）や、オペレータの頭部の位置に関する閾値（位置閾値）として設定されている。また、前記姿勢トラッキング装置４２が前記圧力センサ４２ｃを備えるものである場合には、前記注視姿勢判定条件は、圧力や圧力分布に関する閾値（圧力閾値）として設定されている。また、前記姿勢トラッキング装置４２が発信機４２ｅと受信機（例えば、複数のアンテナ）とを備えるものである場合には、前記注視姿勢判定条件は、電波強度に関する閾値（電波強度閾値）として設定されている。
【００６９】
具体的には、前記姿勢判定部５２は、前記姿勢トラッキング装置４２により取得される前記姿勢情報に基づいて、オペレータの姿勢が、前記基準姿勢に比べて、前記注視姿勢判定条件としての前記閾値以上変化している場合には、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したと判定することができる。具体例を挙げると、例えば図４及び図５に示すように、図４に示す基準姿勢のときのオペレータの頭部の位置Ａ１と、図５に示す姿勢のときのオペレータの頭部の位置Ａ２とが比較され、位置Ａ２と位置Ａ１との距離が予め設定された前記閾値以上である場合には、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したと判定することができる。
【００７０】
また、前記姿勢判定部５２は、前記姿勢トラッキング装置４２により取得される前記姿勢情報に基づいて、オペレータの姿勢が前記基準姿勢に比べて前記閾値以上変化し、かつ、当該閾値以上に相当する姿勢が予め設定された判定時間保持された場合に、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したと判定してもよい。後者の場合には、前者の場合に比べて、前記基準姿勢から前記注視姿勢に変化したことの判定の精度が向上する。
【００７１】
前記映像生成部５３は、前記通常作業時には、図６に示すように、メインカメラ１１により取得される作業映像Ｖ１をモニタ２１に表示させる。そして、前記映像生成部５３は、油圧ショベル１００の作業が前記通常作業から前記微操作に係る作業（例えば、インチング作業）に変化した場合には、以下に示すような制御が行われることにより、拡大映像Ｖ２をモニタ２１に表示させる。なお、図６〜図１２に示す映像は、キャブ７内に配置されたメインカメラ１１により撮影された映像（作業映像）をモニタ２１に表示したものであるので、映像中にキャブ７を構成する枠体（ガラスを保持する枠体）が映り込んでいる。図６〜図１２において符号７を付している部分は、キャブ７の枠体である。
【００７２】
前記映像生成部５３は、前記操作判定部５１により前記操作が前記微操作であるという第１の条件が満たされたと判定され、かつ、前記姿勢判定部５２によりオペレータの前記姿勢が前記基準姿勢から前記注視姿勢に変化したという第２の条件が満たされたと判定された場合に、前記モニタ２１に表示されている前記作業映像のうち前記アイトラッキング装置４１により取得される前記視線位置に関連する部分を拡大した拡大映像を生成し、当該拡大映像を前記モニタ２１に表示させる。
【００７３】
具体的には、例えば、前記映像生成部５３は、前記作業映像Ｖ１のうちオペレータの視線位置Ｐ１に対応する部位（図７参照）を中心とした拡大映像Ｖ２を生成し、図８に示すように、当該拡大映像Ｖ２が前記作業映像Ｖ１に重畳されるように前記拡大映像Ｖ２をモニタ２１に表示させる。すなわち、前記拡大映像Ｖ２がモニタ２１にポップアップ表示される。図７では、オペレータの前記視線位置Ｐ１は、前記アタッチメント６（具体的にはバケット５）に位置している。
【００７４】
また、前記映像生成部５３は、前記第１の条件と前記第２の条件が満たされたと判定され、かつ、前記視線位置が、予め設定された注視時間以上の間、予め設定された注視範囲内に保持されている場合に、前記視線位置Ｐ１に対応する部位を中心とした拡大映像Ｖ２を生成して当該拡大映像Ｖ２をモニタ２１に重畳表示させてもよい。
【００７５】
生成された前記拡大映像Ｖ２は、予め設定された表示条件が満たされるまでの間、前記モニタ２１に継続して表示される。前記表示条件としては、例えば、前記注視姿勢が前記基準姿勢に戻るまでの間、表示し続けるという条件を例示できる。かかる場合、映像生成部５３は、前記拡大映像Ｖ２がモニタ２１に表示された時点から前記注視姿勢が前記基準姿勢に変化するまでの間、前記拡大映像Ｖ２を前記モニタ２１に継続して表示する。なお、前記表示条件は、上記のものに限られず、例えば前記拡大映像Ｖ２がモニタ２１に表示された時点から予め設定された表示時間が経過するという条件であってもよい。
【００７６】
また、本実施形態では、図９及び図１０に示すように、前記映像生成部５３は、前記拡大映像Ｖ２とともに前記別映像を前記モニタ２１に表示させるように構成されている。具体的には、前記映像生成部５３は、前記メインカメラ１１により取得される前記作業映像Ｖ１及び前記拡大映像Ｖ２の少なくとも一方と、前記別視点カメラ１２〜１５により取得される前記複数の別映像の少なくとも一つとを前記モニタ２１に表示させるように構成されている。図９に示す表示例では、映像生成部５３は、前記作業映像Ｖ１に前記拡大映像Ｖ２を重畳表示させるとともに、別視点カメラ１２により取得された別映像Ｖ３を重畳表示させている。図１０に示す表示例では、映像生成部５３は、前記作業映像Ｖ１に前記拡大映像Ｖ２を重畳表示させるとともに、別視点カメラ１２〜１４により取得された別映像Ｖ３〜Ｖ５を重畳表示させている。
【００７７】
具体的に、前記別映像Ｖ３は、別視点カメラ１２により撮影されたバケット５の映像である。前記別映像Ｖ４は、別視点カメラ１４により撮影されたブーム３とアーム４の回動部の映像である。前記別映像Ｖ５は、別視点カメラ１３により撮影されたバケット５の下部およびその下方の映像である。前記映像生成部５３は、これらの別映像Ｖ３〜Ｖ５の表示と非表示とを、必要に応じて個別に切り替え可能である。また、前記映像生成部５３は、これらの別映像Ｖ３〜Ｖ５をモニタ２１において表示させる位置を個別に切り換え可能（互いに入れ替え可能）である。前記映像生成部５３は、建設機械を見下ろす視点を撮影する別視点カメラ１５の映像に切り替えて当該映像をモニタ２１に表示させることもできる。
【００７８】
上記のように本実施形態では、前記映像生成部５３は、前記作業映像Ｖ１、前記拡大映像Ｖ２及び前記別映像Ｖ３〜Ｖ５から選ばれる一つ又は複数の映像を生成（合成）して前記モニタ２１に表示させる機能（映像合成機能）を有する。
【００７９】
また、本実施形態では、前記映像生成部５３は、前記視線位置Ｐ１に代えて以下に示す補正視線位置Ｐ２に関連する部分を拡大した拡大映像Ｖ２’を生成してもよい。具体的には次の通りである。
【００８０】
前記動作方向判定部５４は、前記アタッチメント６が動作する方向である動作方向を判定する。具体的に、本実施形態では、前記動作方向判定部５４は、前記アタッチメント姿勢検出装置４３により検出される前記アタッチメント６の姿勢に関する情報に基づいて、前記アタッチメント６の前記動作方向（例えばバケット５の動作する動作方向）を判定する。具体的には、例えば、ブーム３が上方に起立する起立動作をしながら上部旋回体２が右に旋回動作をする場合には、前記アタッチメント６の動作方向（バケット５の動作方向）は、右斜め上方となる。また、前記ブーム３の起伏動作、アーム４の回動動作及びバケット５の回動動作が行われず、上部旋回体２のみが右に旋回動作する場合には、前記アタッチメント６の動作方向（バケット５の動作方向）は、右方となる。また、上部旋回体２が旋回動作せずに、前記ブーム３の起伏動作、アーム４の回動動作及びバケット５の回動動作のうちの少なくとも一つの動作が行われる場合には、前記アタッチメント６の動作方向（バケット５の動作方向）は、上下方向となる。
【００８１】
前記補正部５５は、図１１に示すように、前記アイトラッキング装置４１により取得された前記視線位置Ｐ１から前記動作方向Ｍ（前記アタッチメント６の動作方向Ｍ）に対応する方向に離れた位置である補正視線位置Ｐ２を演算する。具体的に、前記補正部５５は、予め設定された補正方法に基づいて前記視線位置Ｐ１を補正して前記補正視線位置Ｐ２を演算する。前記補正方法としては、例えば、前記作業映像Ｖ１において前記視線位置Ｐ１に対して前記動作方向Ｍに予め設定された補正値の分だけはずれた位置を補正視線位置Ｐ２に設定するという方法が挙げられる。また、例えば前記アタッチメント６の前記動作方向Ｍへの動作速度が大きくなるのに応じて、前記補正値が大きくなるように設定されていてもよい。
【００８２】
そして、映像生成部５３は、図１２に示すように、上記のように設定された補正視線位置Ｐ２に対応する部位を中心とした拡大映像Ｖ２’（補正拡大映像）を生成し、当該拡大映像Ｖ２’を前記モニタ２１に表示させるように構成されている。
【００８３】
以下、図１３に示すフローチャートに基づいて本実施形態に係る遠隔操作装置１０１のコントローラ５０が行う演算制御動作について説明する。
【００８４】
前記油圧ショベル１００の作業が開始されると、コントローラ５０の姿勢判定部５２は、上述した特定方法により前記基準姿勢を特定する（ステップＳ１）。
【００８５】
次に、前記操作判定部５１は、前記遠隔操作レバー３２，３２が受ける前記操作に関する情報（操作系信号）に基づいて前記操作が微操作であるか否かを判定する（ステップＳ２）。前記操作が前記微操作ではないと判定された場合には（ステップＳ２においてＮＯ）、前記操作判定部５１はステップＳ２の判定を繰り返す。
【００８６】
一方、前記操作が前記微操作であると判定された場合には（ステップＳ２においてＹＥＳ）、前記姿勢判定部５２は、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したか否かを判定する（ステップＳ３）。オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化していないと判定された場合には（ステップＳ３においてＮＯ）、上記のステップＳ２,Ｓ３の処理が繰り返される。
【００８７】
一方、オペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したと判定された場合には（ステップＳ３においてＹＥＳ）、アイトラッキング装置４１は、オペレータの視線位置Ｐ１を取得する（ステップＳ４）。
【００８８】
次に、前記動作方向判定部５４は、前記アタッチメント姿勢検出装置５４により検出される前記アタッチメント６の姿勢に関する情報に基づいて前記アタッチメント６の動作方向を判定する（ステップＳ５）。
【００８９】
次に、前記補正部５５は、前記アイトラッキング装置４１により取得された前記視線位置Ｐ１と前記動作方向判定部５４により演算された前記動作方向Ｍとに基づいて、前記視線位置から前記動作方向Ｍに対応する方向に離れた位置である補正視線位置Ｐ２を演算する（ステップＳ６）。
【００９０】
次に、コントローラ５０は、前記モニタ２１に前記拡大映像とともに表示する別映像を取得する別視点カメラを決定する（ステップＳ７）。具体的には、コントローラ５０は、複数の別視点カメラ１２〜１５の中から１つ又は複数の別視点カメラを選択する。具体的には、コントローラ５０は、例えば、複数の別視点カメラ１２〜１５の中からオペレータの前記視線位置Ｐ１に対応する部位を含む別映像を取得可能な別視点カメラを選択するのが好ましい。
【００９１】
次に、前記映像生成部５３は、前記モニタ２１に表示されている前記作業映像Ｖ１のうち前記補正部５５により演算された前記補正視線位置Ｐ２に対応する部位を中心として拡大した拡大映像Ｖ２’を生成し、当該拡大映像Ｖ２’を前記モニタ２１に表示させる（ステップＳ８）。そして、コントローラ５０は、上記ステップＳ２〜Ｓ８の処理を繰り返す。
【００９２】
以上説明した本実施形態に係る遠隔操作装置１０１によれば、前記操作判定部５１によりオペレータの前記操作が前記微操作であるという第１の条件が満たされたと判定され、かつ、前記姿勢判定部５２によりオペレータの姿勢が前記基準姿勢から前記注視姿勢に変化したという第２の条件が満たされたと判定された場合には、オペレータが前記微操作を行う意志を有する可能性が高く、かかる場合に、前記視線位置Ｐ１に関連する部分を拡大して生成された前記拡大映像Ｖ２が前記モニタ２１に自動的に表示される。したがって、遠隔操作による微操作時にオペレータが必要とする映像を遠隔地に設けられたモニタ２１に適切なタイミングでわかりやすく表示させることができる。これにより、オペレータは、高い精度が要求される前記微操作を、前記モニタ２１に表示された前記拡大映像Ｖ２を目視しながら効率よく行うことができるので、微操作時の作業性が向上する。
【００９３】
また、前記実施形態では、前記第１の条件及び前記第２の条件が共に満たされた場合のみに前記拡大映像Ｖ２がモニタ２１に表示され、それ以外の場合には前記拡大映像Ｖ２はモニタ２１に表示されず、メインカメラ１１により取得される前記作業映像Ｖ１がモニタ２１に表示される。すなわち、前記拡大映像Ｖ２の表示が必要とされる場合に限って当該拡大映像Ｖ２がモニタ２１に表示され、前記拡大映像Ｖ２の表示が不要とされる場合には当該拡大映像Ｖ２がモニタ２１に表示されずに、拡大映像Ｖ２に比べて広い視野範囲の映像である前記作業映像Ｖ１がモニタに表示される。これにより、種々の作業に適したモニタ２１の表示切り換えが可能になり、作業性、操作性が向上する。
【００９４】
また、前記実施形態では、前記映像生成部５３は、前記メインカメラ１１により取得される前記作業映像Ｖ１及び前記映像生成部５３により生成される前記拡大映像Ｖ２の少なくとも一方と、前記別視点カメラ１２〜１５により取得される前記別映像の一部又は全部とを前記モニタ２１に同時に表示させるように構成されている。したがって、オペレータは前記作業映像Ｖ１や前記拡大映像Ｖ２だけでなく、前記別視点カメラ１１〜１５により取得される前記別映像Ｖ３〜Ｖ５も考慮しながら前記微操作を行うことが可能になる。これにより、オペレータは、様々な角度から撮影された映像を同意に目視しながら前記微操作を行うことが可能になる。
【００９５】
また、前記微操作に係る作業において、オペレータは、前記拡大映像Ｖ２を考慮するとともに、前記別映像としての前記バケット５の映像も考慮しながら、前記微操作をさらに効率よく行うことができる。
【００９６】
また、前記実施形態において、前記映像生成部５３は、前記作業映像Ｖ１のうち前記補正視線位置Ｐ２に関連する部分を拡大した拡大映像Ｖ２’を生成し、当該拡大映像Ｖ２’を前記モニタ２１に表示させるのが好ましい。かかる場合、オペレータが前記油圧ショベル１００の前記アタッチメント６の移動先を目視しやすい拡大映像Ｖ２’が前記モニタ２１に表示されるので、オペレータは、前記アタッチメント６の移動先がどのような状況にあるかについて判断しやすくなる。これにより、前記微操作時の作業性がさらに向上する。
【００９７】
［変形例］
なお、本発明は以上説明した実施の形態に限定されない。本発明は、例えば次のような態様を包含する。
【００９８】
（Ａ）建設機械について
本発明の遠隔操作装置は、前記実施形態において例示した油圧ショベル１００に限らず、例えばクレーン、ドーザーなどの他の建設機械にも広く適用され得るものである。
【００９９】
（Ｂ）先端アタッチメントについて
本発明の遠隔操作装置において、前記先端アタッチメントは、前記実施形態において例示したバケット５に限られない。前記先端アタッチメントは、例えば、スクラップヤード等においてスクラップを把持し搬送するためのグラップル、コンクリート構造物等の解体作業を行うための圧砕機（破砕機）、岩盤の掘削、岩石の小割、コンクリートの破砕などに使用するためのブレーカ、運搬物を把持するためのフォークなどであってもよい。
【０１００】
（Ｃ）映像取得装置について
本発明の遠隔操作装置は、少なくとも映像取得装置（メインカメラ１１）を備えていればよく、別映像取得装置（別視点カメラ１２〜１５）は省略可能である。
【０１０１】
（Ｄ）微操作及び注視姿勢について
前記実施形態では、前記微操作として、油圧ショベル１００のバケット５を用いた整地作業が行われるときにオペレータが前記遠隔操作レバー３２に与えるインチング操作を例示し、前記注視姿勢として、前記整地作業時の前記操作に関連するオペレータの姿勢を例示したが、本発明における前記微操作は、前記インチング操作に限られず、前記注視姿勢は、前記インチング操作に関連する姿勢に限られない。すなわち、本発明において、前記微操作は、オペレータが建設機械を遠隔操縦するために前記遠隔操作レバーに与える操作であって、前記アタッチメントの位置を精度よく調節するために、遠隔地に設けられた前記表示装置にオペレータの視線位置に関連する部分を拡大した拡大映像を表示させる必要性の高い操作であればよいので、前記建設機械の種類や作業の種類などに応じて適宜決定されうるものである。また、本発明において、前記注視姿勢は、前記微操作に関連するオペレータの姿勢であって、オペレータが前記アタッチメントの一部分を注視するときの姿勢であればよいので、前記建設機械の種類や作業の種類などに応じて適宜決定された前記微操作に関連するように適宜決定されうるものである。さらに、本発明において、前記微操作は、前記実施形態で例示した前記整地作業に限られず、前記アタッチメントの位置を精度よく調節するために前記アタッチメントを少しずつゆっくりと動作させる種々の作業を広く含む。
【０１０２】
（Ｅ）特定部位について
前記別映像取得装置が取得する前記アタッチメントの特定部位は、前記実施形態において例示した部位に限られない。具体的には、前記実施形態では、前記特定部位として、別視点カメラ１２により撮影されるバケット５、別視点カメラ１３により撮影されるバケット５の下部、別視点カメラ１４により撮影されるブーム３とアーム４の回動部を例示したが、前記特定部位は、これらの部位に限られず、前記微操作に係る作業において、オペレータが注視すべき他の部位又は注視したい他の部位に適宜設定され得る。
【符号の説明】
【０１０３】
３  ブーム
４  アーム
５  バケット（先端アタッチメントの一例）
６  アタッチメント
１１  メインカメラ（映像取得装置の一例）
１２〜１５  別視点カメラ（別映像取得装置の一例）
２１  モニタ（表示装置の一例）
３１  運転席
３２  遠隔操作レバー
４１  アイトラッキング装置
４２  姿勢トラッキング装置
５０  コントローラ
５１  操作判定部
５２  姿勢判定部
５３  映像生成部
５４  動作方向判定部
５５  補正部
１００  油圧ショベル（建設機械の一例）
１０１  遠隔操作装置
【図１】
2020077173.tif 000003
【図２】
2020077173.tif 000004
【図３】
2020077173.tif 000005
【図４】
2020077173.tif 000006
【図５】
2020077173.tif 000007
【図６】
2020077173.tif 000008
【図７】
2020077173.tif 000009
【図８】
2020077173.tif 000010
【図９】
2020077173.tif 000011
【図１０】
2020077173.tif 000012
【図１１】
2020077173.tif 000013
【図１２】
2020077173.tif 000014
【図１３】
2020077173.tif 000015