(57)【要約】【課題】作業機、表示装置および作業機の遠隔操作のための表示システムであって、表示装置に表示される表示画像を操作者の視線の動きに追従させることができる表示システムを提供する。【解決手段】作業機は、カメラ部と、カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した操作者の頭部または眼球の動きに応じて、撮影画像の切り取り角度を調整する調整処理を行う画像処理装置と、を備えている。画像処理装置は、操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて調整処理または切り取り処理を行う。【選択図】図６
2020031435.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、
を備えた作業機であって、
前記画像処理装置は、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機。
【請求項２】
請求項１に記載の作業機であって、
前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機。
【請求項３】
作業機に設けられたカメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る画像処理装置から受信した前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知して、検知した前記操作者の頭部または眼球の動きを前記画像処理装置に送信する作業機の遠隔操作のための表示装置であって、
前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示することを特徴とする作業機の遠隔操作のための表示装置。
【請求項４】
請求項３に記載の表示装置であって、
前記作業補助情報は、作業計画、または、前記作業機の作動可能範囲であることを特徴とする作業機の遠隔操作のための表示装置。
【請求項５】
カメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、
を備えた作業機であって、
前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機。
【請求項６】
請求項５に記載の作業機であって、
前記カメラ部は、昇降可能および垂直方向に回動可能な支持部材に設けられていることを特徴とする作業機。
【請求項７】
請求項５または請求項６に記載の作業機であって、
前記カメラ部の周辺部に照明装置が設けられていることを特徴とする作業機。
【請求項８】
作業機の遠隔操作のための表示システムであって、
前記作業機に設けられたカメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、
前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、
を備え、
前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整する調整処理を行い、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
【請求項９】
作業機の遠隔操作のための表示システムであって、
前記作業機に設けられたカメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、
前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、
を備え、
前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、
前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示し、
前記作業補助情報は、作業計画、または、前記作業機の作動可能範囲であることを特徴とする作業機の遠隔操作のための表示システム。
【請求項１０】
作業機の遠隔操作のための表示システムであって、
前記作業機に設けられたカメラ部と、
前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、
前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、
を備え、
前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、
前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
【請求項１１】
請求項８から請求項１０までの何れか１つに記載の作業機の遠隔操作のための表示システムであって、
前記カメラ部は、昇降可能および垂直方向に回動可能な支持部材に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
【請求項１２】
請求項８から請求項１１までの何れか１つに記載の作業機の遠隔操作のための表示システムであって、
前記カメラ部の周辺部に照明装置が設けられていることを特徴とする作業機の遠隔操作のための表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機、表示装置および作業機を遠隔操作するために作業機から送られてくる画像を表示する表示システムに関する。
【背景技術】
【０００２】
作業機を遠隔操作するために作業機から送られてくる画像を表示する表示システムとして、作業機が作業を行う作業現場から離れた場所で遠隔操作される作業機にカメラが設けられ、カメラで撮影した画像（動画像）を遠隔操作側に無線通信により送信し、得られた画像を遠隔操作側の表示装置にリアルタイムに表示する表示システムは、従来から知られている。
【０００３】
例えば、特許文献１は、作業機の周辺状況のパノラマ画像を表示装置にリアルタイムに表示する表示システムを開示している。
【０００４】
また、特許文献２は、電波法の制約から２．４ＧＨｚの小電力無線通信で建設機械に搭載されたカメラから送信されたデータに基づいて作業現場の画像を表示装置にリアルタイムに表示する表示システムを開示している。
【特許文献１】特開２００８−１１１２６９号公報
【特許文献２】特開２００２−３４５０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、作業機の遠隔操作のための表示システムにおいては、遠隔操作の操作性を向上させるという観点から、表示装置に表示される表示画像を操作者の視線の動きに追従させることが望まれる。
【０００６】
しかしながら、特許文献１は、切換ペダルの操作に応じてパノラマ画像を切換える表示システムを開示しているに過ぎず、表示装置に表示される表示画像を操作者の視線の動きに追従させる構成ではないので操作感覚が良いとは言えない。また、特許文献２についても、表示装置に表示される表示画像を操作者の視線の動きに追従させる表示システムを開示しているわけではない。
【０００７】
なお、本発明に関連する技術として、以下に示す特許文献を挙げることができるが、何れにしても、本発明を構成するものではない。
米国特許第６７９５１０９号
米国特許第８２７４５５０号
米国特許第６１９５２０４号
米国特許出願公開第２００６／０１０３７２３号
米国特許出願公開第２００７／０１８２８１２号
米国特許第８３５５０４１号
【０００８】
そこで、本発明は、作業機、表示装置および作業機の遠隔操作のための表示システムであって、表示装置に表示される表示画像を操作者の視線の動きに追従させることができる作業機、表示装置および表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決するために、次の第１態様および第２態様の作業機、表示装置並びに第１態様から第３態様の作業機の遠隔操作のための表示システムを提供する。
【００１０】
（１）作業機
（１−１）第１態様の作業機
カメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、を備えた作業機であって、前記画像処理装置は、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機。
【００１１】
（１−２）第２態様の作業機
カメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行い、外部装置から受信した前記操作者の頭部または眼球の動きに応じて、前記撮影画像の前記切り取り角度を調整する調整処理を行う画像処理装置と、を備えた作業機であって、前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機。
【００１２】
（２）表示装置
作業機に設けられたカメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る画像処理装置から受信した前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知して、検知した前記操作者の頭部または眼球の動きを前記画像処理装置に送信する作業機の遠隔操作のための表示装置であって、前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示することを特徴とする作業機の遠隔操作のための表示装置。
【００１３】
（３）表示システム
（３−１）第１態様の表示システム
作業機の遠隔操作のための表示システムであって、前記作業機に設けられたカメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、を備え、前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整する調整処理を行い、前記操作者の頭部または眼球の動きの応答速度が所定の応答速度よりも速い場合には該応答速度を遅延させて前記調整処理または前記切り取り処理を行うことを特徴とする作業機の遠隔操作のための表示システム。
【００１４】
（３−２）第２態様の表示システム
作業機の遠隔操作のための表示システムであって、前記作業機に設けられたカメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、を備え、前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、前記表示装置は、前記撮影画像に対応する作業補助情報を前記撮影画像と共に前記撮影画像に対応させて表示し、前記作業補助情報は、作業計画、または、前記作業機の作動可能範囲であることを特徴とする作業機の遠隔操作のための表示システム。
【００１５】
（３−３）第３態様の表示システム
作業機の遠隔操作のための表示システムであって、前記作業機に設けられたカメラ部と、前記カメラ部によって撮影された撮影画像を操作者の視認角度に相当する所定の切り取り角度で切り取る切り取り処理を行う画像処理装置と、前記画像処理装置から送信された前記撮影画像を表示し、前記操作者の頭部または眼球の動きを検知し前記画像処理装置に送信する表示装置と、を備え、前記画像処理装置は、前記表示装置から送られてきた前記操作者の頭部または眼球の動きに応じて、前記表示装置に送信する前記撮影画像の前記切り取り角度を調整し、前記カメラ部は、該カメラ部のレンズが前記作業機の作業者が座席に着座した場合における目線高さに相当する高さ位置に設けられていることを特徴とする作業機の遠隔操作のための表示システム。
【発明の効果】
【００１６】
本発明によると、作業機、表示装置および作業機の遠隔操作のための表示システムであって、表示装置に表示される表示画像を操作者の視線の動きに追従させることができる作業機、表示装置および表示システムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、第１実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。
【図２】図２は、図１に示す作業機に設けられた支持部材における支持体および支持体に支持された複数のカメラ部の概略構成を示す斜視図である。
【図３】図３は、第１実施形態に係る表示システムにおける作業機側の画像処理装置のシステム構成を示すブロック図である。
【図４】図４は、画像処理装置によりパノラマ画像の一部を切り取る切り取り処理を説明するための説明図である。
【図５】図５は、第１実施形態に係る表示システムにおける遠隔操作側の遠隔制御装置のシステム構成を示すブロック図である。
【図６】図６は、画像処理装置により操作者の頭部の動きに応じてパノラマ画像の一部を調整する調整処理を説明するための説明図である。
【図７】図７は、第１実施形態に係る表示システムの制御動作の一例を示すフローチャートである。
【図８】図８は、第２実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。
【図９】図９は、第３実施形態に係る作業機の遠隔操作のための表示システムにおける作業機側の画像処理装置のシステム構成を示すブロック図である。
【図１０】図１０は、第３実施形態に係る表示システムにおける遠隔操作側の遠隔制御装置のシステム構成を示すブロック図である。
【図１１】図１１は、第３実施形態に係る表示システムの制御動作の一例を示すフローチャートである。
【図１２】図１２は、第４実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。
【図１３】図１３は、第５実施形態に係る作業機の遠隔操作のための表示システムを模式的に示す概略構成図である。
【図１４】図１４は、第６実施形態に係る作業機の遠隔操作のための表示システムにおけるカメラ部を構成する一対のカメラおよび一対のカメラに設けられた照明装置の一例を正面から視た概略構成図である。
【図１５】図１５は、第７実施形態に係る作業機の遠隔操作のための表示システムにおいて、パノラマ画像の一部に対応する作業補助情報の一部をパノラマ画像の一部と共にパノラマ画像の一部に対応させて追加的に表示装置に表示している表示画面の一例を示す表示図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
【００１９】
（第１実施形態）
図１は、第１実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。
【００２０】
図１に示すように、作業機２００の遠隔操作のための表示システム１００は、作業機２００が作業を行う作業現場から離れた場所で遠隔操作される作業機２００にカメラ部３１０〜３１０が設けられ、カメラ部３１０〜３１０で撮影した画像（動画像）を遠隔操作側１２０に無線通信により送信し、得られた画像を遠隔操作側１２０の表示装置４１０にリアルタイムに表示する構成とされている。
【００２１】
表示システム１００では、作業機２００は、無人作業機とされており、作業現場から離れた場所で作業機２００を遠隔操作する操作者５００が表示装置４１０の表示画面を確認しながら遠隔操作側１２０から操作指令を送ることにより、遠隔操作される構成とされている。これにより、作業機２００は、人間が入っていけないような危険な作業現場（例えば汚染された作業現場）で作業することができる。
【００２２】
作業機２００は、水平方向に旋回可能かつ垂直方向に揺動可能な作業部２２０を有している。この例では、作業機２００は、建設作業機（具体的にはショベルカー）とされている。作業機２００は、クローラを構成する走行体２１０を有し、走行体２１０に対して作業部２２０が水平方向に（垂直方向に沿った軸線回りに）旋回可能に設けられている。作業部２２０は、走行体２１０に対して水平方向に旋回可能な上部体２２１と、上部体２２１に対して垂直方向に（水平方向に沿った軸線回りに）揺動可能なブーム２２２と、ブーム２２２に対して垂直方向に揺動可能なアーム２２３と、アーム２２３に対して垂直方向に揺動可能なバケット２２４とを有している。ここで、「水平方向」および「垂直方向」は、作業機２００が水平面に設置された場合での方向である。
【００２３】
なお、アーム２２３の先端部に取り付けられるアタッチメントは、この例では、バケット２２４とされているが、それに限定されるものではなく、アーム２２３の先端部には、作業内容に応じたアタッチメントを適宜交換することができる。
【００２４】
また、作業機２００は、この例では、ショベルカーとしたが、それに限定されるものではなく、他の建設作業機であってもよいし、農業作業機であってもよい。
【００２５】
作業機２００は、遠隔操作装置２３０をさらに有している。遠隔操作装置２３０は、作業機２００本体を遠隔操作するものであり、作業機２００本体と無線通信を行う構成とされている。遠隔操作装置２３０は、操作者５００による操作を受け付け、受け付けた操作に基づく操作指令を無線通信により作業機２００本体に送信する。遠隔操作装置２３０は、作業部２２０（具体的には上部体２２１、ブーム２２２、アーム２２３およびバケット２２４等の構成部材）を操作するための操作レバー等の操作部２３１を備えている。
【００２６】
表示システム１００は、作業機側１１０の構成要素３００と、遠隔操作側１２０の構成要素４００とで構成されている。
【００２７】
作業機側１１０の構成要素３００は、作業機２００に設けられた複数のカメラ部３１０〜３１０および画像処理装置３２０を備えている。遠隔操作側１２０の構成要素４００は、表示装置４１０および遠隔制御装置４２０を備えている。
【００２８】
作業機側１１０の構成要素３００は、支持部材３３０をさらに備えている。支持部材３３０は、下端部が作業機２００の作業部２２０における上部体２２１に支持される（この例では固定される）一方、上端部が複数のカメラ部３１０〜３１０を該複数のカメラ部３１０〜３１０が水平姿勢になるように支持する（この例では固定する）構成とされている。ここで、水平姿勢は、作業機２００が水平面に設置された場合での姿勢である。
【００２９】
支持部材３３０は、複数のカメラ部３１０〜３１０を支持する支持体３３１と、上端部で支持体３３１を支持する一方、下端部で上部体２２１に支持される支持台（この例では支柱３３２）とを有している。
【００３０】
図２は、図１に示す作業機２００に設けられた支持部材３３０における支持体３３１および支持体３３１に支持された複数のカメラ部３１０〜３１０の概略構成を示す斜視図である。なお、図２では、支持体３３１に設けられる複数（この例では５つ）のカメラ部３１０〜３１０のうち一部を支持体３３１から取り外した状態を示しており、実際には、複数（この例では５つ）のカメラ部３１０〜３１０の全てが支持体３３１に設けられる。
【００３１】
図２に示すように、複数のカメラ部３１０〜３１０は、何れも、左目用および右目用の一対のカメラ３１１，３１２からなっている。詳しくは、一対のカメラ３１１，３１２は、操作者５００の左目に相当する左目用のカメラ３１１および操作者５００の右目に相当する右目用のカメラ３１２で構成されている。一対のカメラ３１１，３１２は、レンズの中心位置の間隔ｄが平均的な人の瞳の中心位置の間隔と同じとされている。複数のカメラ部３１０〜３１０を構成する一対のカメラ３１１，３１２は、この例では、何れも同一タイプの小型デジタルビデオカメラとされている。
【００３２】
支持体３３１は、複数のカメラ部３１０〜３１０により撮影された撮影画像が所定の撮影面積比率でオーバーラップするように、複数のカメラ部３１０〜３１０を全方位的または略全方位的に支持する構成とされている。具体的には、支持体３３１は、左目用の複数のカメラ３１１〜３１１により撮影された左目用の撮影画像が所定の撮影面積比率でオーバーラップするように、左目用の複数のカメラ３１１〜３１１を全方位的または略全方位的に支持し、かつ、右目用の複数のカメラ３１２〜３１２により撮影された右目用の撮影画像が所定の撮影面積比率でオーバーラップするように、右目用の複数のカメラ３１２〜３１２を全方位的または略全方位的に支持する構成とされている。
【００３３】
詳しくは、支持体３３１は、カメラ部３１０が２つの場合には、予め定めた所定の距離をおいて相対する位置に２つのカメラ部３１０，３１０を設けることができ、カメラ部３１０が３つ以上の場合には、予め定めた所定の半径の仮想円上において放射状にかつ均等または略均等な位置に３つ以上のカメラ部３１０〜３１０を設けることができる。
【００３４】
具体的には、支持体３３１は、板状のものとされており、カメラ部３１０の数に応じた数の辺を有する形状とされている。支持体３３１は、例えば、カメラ部３１０が２つの場合には、平面視でカメラ部３１０，３１０が並設される方向に長い長尺状のものとすることができ、３つ以上の場合には、カメラ部３１０〜３１０の数と同じ数で同一距離の辺を有する正多角形状（具体的には３つのカメラ部３１０〜３１０では平面視で正三角形状、４つのカメラ部３１０〜３１０では平面視で正方形状、５つのカメラ部３１０〜３１０では平面視で正五角形状、…）のものとすることができる。また、支持体３３１は、平面視で円形状のものであってもよい。
【００３５】
この例では、カメラ部３１０〜３１０は、５つ（すなわちカメラ部３１０〜３１０を構成するカメラ３１１，３１２の合計台数は１０台）とされており、平面視で五角形状の支持体３３１に対して支持体３３１の中心位置から所定の半径の仮想円上において放射状にかつ均等または略均等な位置（各辺の中央位置）に固定部材３３１ａを介して固定されている。
【００３６】
このように、支持体３３１は、複数のカメラ部３１０〜３１０を相反する位置または放射状にかつ均等または略均等な位置に支持することで、複数のカメラ部３１０〜３１０全体として水平方向における３６０°の視界をカバーすることができる。なお、カメラ部３１０〜３１０を構成する一対のカメラ３１１，３１２の画角は、カメラ部３１０の配設位置によって適宜決定することができる。この例では、一対のカメラ３１１，３１２の垂直方向の画角は、１４０°（具体的には仮想水平面を基準として上下７０°ずつの角度）とされている。
【００３７】
複数のカメラ部３１０〜３１０（図１参照）は、作業機２００に設けられるべき座席（この例では、作業機２００が有人作業機であると想定した場合での作業者が運転する際に座る座席）の水平方向（具体的には前後方向および左右方向の双方）における位置に相当する配設位置に設けられている。また、複数のカメラ部３１０〜３１０は、カメラ部３１０におけるレンズの中心位置が作業機２００の仕向地（例えば欧米仕様やアジア仕様）の平均的な体格（例えば身長や座高）を有する作業者（例えば欧米人やアジア人の作業者）が作業機２００に設けられるべき座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられている。
【００３８】
この例では、上部体２２１の前部には、進行方向に向かって左右方向における中央部にブーム２２２が設けられていることから、支持部材３３０は、上部体２２１の前側の左右方向における一方側（図１の例では左側）に立設されている。
【００３９】
また、支持部材３３０は、作業者が作業機２００に設けられるべき座席に着座したと想定した場合での目線高さに相当する高さ位置に複数のカメラ部３１０〜３１０におけるレンズの中心位置が位置するように複数のカメラ部３１０〜３１０を支持するようになっている。
【００４０】
画像処理装置３２０は、この例では、作業機２００における作業部２２０に設けられている。但し、それに限定されるものではなく、画像処理装置３２０は、支持部材３３０や走行体２１０に設けられていてもよい。
【００４１】
画像処理装置３２０は、複数のカメラ部３１０〜３１０によって撮影された複数の撮影画像（動画像データ）に基づいてパノラマ画像（パノラマ動画像データ）を生成し、生成したパノラマ画像の一部を切り取り、切り取ったパノラマ画像の一部を無線通信により送信する構成とされている。画像処理装置３２０は、この例では、コンピュータ（具体的にはパーソナルコンピュータ）で構成されている。
【００４２】
図３は、第１実施形態に係る表示システム１００における作業機側１１０の画像処理装置３２０のシステム構成を示すブロック図である。
【００４３】
図３に示すように、画像処理装置３２０は、各種のプログラムや各種の演算処理等の処理を実行する制御部３２１と、各種データを記憶する記憶部３２２とを備えている。
【００４４】
画像処理装置３２０は、複数のカメラ部３１０〜３１０と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルＣＢ１を介して複数のカメラ部３１０〜３１０と電気的に接続されるようになっている。これにより、画像処理装置３２０は、複数のカメラ部３１０〜３１０によって撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭ（動画像データ）を受信することができる。
【００４５】
複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信インターフェースは、この例では、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インターフェース（具体的にはＵＳＢ３．０規格対応のインターフェース）とされている。なお、複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信インターフェースは、ＵＳＢインターフェースに限定されるものではなく、他の何れの通信インターフェースであってもよい。また、複数のカメラ部３１０〜３１０と画像処理装置３２０との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
【００４６】
記憶部３２２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性メモリおよびハードディスク装置やフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部３２１により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース（例えば記録媒体やインターネット上のサーバ）からのプログラムを含むソフトウェアが予め格納（インストール）される。
【００４７】
また、画像処理装置３２０は、遠隔操作側１２０の遠隔制御装置４２０における通信部４２３と無線通信（この例では短距離無線通信）を行う通信部３２３をさらに備えている。
【００４８】
ここで、短距離無線通信としては、数メートルから１００メートル程度の短距離で通信を行う無線通信を例示でき、例えば、数十メートル〜１００メートル程度の短距離で通信を行う無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）通信や、数メートル〜数十メートル程度の短距離で通信を行う無線ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）通信を挙げることができる。
【００４９】
無線ＬＡＮ通信としては、例えば、ＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を挙げることができる。無線ＰＡＮ通信としては、例えば、ＩＥＥＥ８０２．１５規格の無線ＰＡＮ通信を挙げることができる。
【００５０】
通信部３２３は、遠隔制御装置４２０における通信部４２３との間で短距離無線通信を利用してデータの送受信を行うものであり、この例では、ＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を行うようになっている。
【００５１】
なお、画像処理装置３２０と遠隔制御装置４２０との間の通信は、短距離無線通信に限定されるものではなく、１００ｍ程度を超える遠距離無線通信であってもよい。
【００５２】
画像処理装置３２０は、複数のカメラ部３１０〜３１０を構成する一対のカメラ３１１〜３１１，３１２〜３１２によってそれぞれ撮影された左目用の撮影画像ＩＭ〜ＩＭ（動画像）および右目用の撮影画像ＩＭ〜ＩＭ（動画像）に基づいて左目用のパノラマ画像ＰＩ（パノラマ動画像）および右目用のパノラマ画像ＰＩ（パノラマ動画像）をそれぞれ生成する構成とされている。
【００５３】
パノラマ画像を生成する手法では、例えば、左目用のパノラマ画像ＰＩの場合、撮影画像ＩＭ〜ＩＭがオーバーラップするように全方位的または略全方位的に配置した左目用の複数のカメラ３１１〜３１１によりそれぞれ撮影された左目用の複数の撮影画像ＩＭ〜ＩＭのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、左目用のパノラマ画像ＰＩ（パノラマ動画像）を生成する。同様に、右目用のパノラマ画像ＰＩの場合、撮影画像ＩＭ〜ＩＭがオーバーラップするように全方位的または略全方位的に配置した右目用の複数のカメラ３１２〜３１２によりそれぞれ撮影された右目用の複数の撮影画像ＩＭ〜ＩＭのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、右目用のパノラマ画像ＰＩ（パノラマ動画像）を生成する。パノラマ画像ＰＩを生成する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。
【００５４】
画像処理装置３２０は、生成した左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを一旦記憶部３２２に格納する。
【００５５】
画像処理装置３２０は、記憶部３２２に格納した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取る切り取り処理を行う構成とされている。
【００５６】
図４は、画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を説明するための説明図である。なお、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩは、実質的に同じ構成であるため、図４では、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを１つの図で示し、それらの切り取り処理をまとめて説明する。
【００５７】
画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理は、図４に示すように、全方位的または略全方位的（この例では略全方位的）にパノラマ画像ＰＩ，ＰＩを構成した中空球体の中心に操作者５００の頭部５１０を配置することで、理解しやすくなる。
【００５８】
画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩを、予め定めた所定の基準点α（例えば作業機２００の前方のヨーイング基準角度φｙ、ローリング基準角度φｒ、ピッチング基準角度φｐ）を基準にして、操作者５００の視認角度に相当する予め定めた所定の切り取り角度（β，γ）で一部ＰＩＰ，ＰＩＰを切り取る構成とされている。切り取り角度（β，γ）は、記憶部３２２に予め設定（記憶）されている。
【００５９】
所定の基準点αとしては、例えば、複数のカメラ部３１０〜３１０のうちの一つのカメラ部３１０を作業機２００の前方位置に位置するように設けた場合、作業機２００の前方位置のカメラ部３１０から送られてきた画像の全体画素領域における中心画素を挙げることができる。また、所定の切り取り角度（β，γ）としては、平均的な人の視野角以下の角度に対応する角度とすることができ、例えば、水平方向の切り取り角度βで２００°程度以下、垂直方向の切り取り角度γで１２５°（具体的には仮想水平面を基準として下７５°および上５０°）程度以下を挙げることができる。
【００６０】
画像処理装置３２０（図３参照）は、切り取った左目用のパノラマ画像ＰＩ（パノラマ動画像データ）の一部ＰＩＰおよび右目用のパノラマ画像ＰＩ（パノラマ動画像データ）の一部ＰＩＰを遠隔操作側１２０の遠隔制御装置４２０に無線通信によりそれぞれ送信する構成とされている。詳しくは、画像処理装置３２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを圧縮し、リアルタイムで遠隔制御装置４２０に無線通信によりそれぞれ送信する。この例では、無線通信で送信されるデータは、暗号化されたデータとされている。
【００６１】
遠隔操作側１２０の遠隔制御装置４２０は、画像処理装置３２０から送られてきた左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ受信し、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信する構成とされている。遠隔制御装置４２０は、この例では、コンピュータ（この例ではタブレット型コンピュータ）で構成されている。
【００６２】
図５は、第１実施形態に係る表示システム１００における遠隔操作側１２０の遠隔制御装置４２０のシステム構成を示すブロック図である。
【００６３】
図５に示すように、遠隔制御装置４２０は、各種のプログラムや各種の演算処理等の処理を実行する制御部４２１と、各種データを記憶する記憶部４２２とを備えている。
【００６４】
遠隔制御装置４２０は、表示装置４１０と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルＣＢ２を介して表示装置４１０と電気的に接続されるようになっている。これにより、遠隔制御装置４２０は、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信することができる。
【００６５】
遠隔制御装置４２０と表示装置４１０との間の通信インターフェースは、この例では、高精細度マルチメディアインターフェース〔ＨＤＭＩ（登録商標）：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ〕とされている。なお、遠隔制御装置４２０と表示装置４１０との間の通信インターフェースは、ＨＤＭＩ（登録商標）に限定されるものでなく、他の何れの通信インターフェースであってもよい。また、遠隔制御装置４２０と表示装置４１０との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
【００６６】
記憶部４２２は、ＲＡＭ等の揮発性メモリおよびフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部４２１により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース（例えば記録媒体やインターネット上のサーバ）からのプログラムを含むソフトウェアが予め格納（インストール）される。
【００６７】
また、遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０における通信部３２３と無線通信（この例では短距離無線通信）を行う通信部４２３をさらに備えている。
【００６８】
遠隔制御装置４２０における通信部４２３による無線通信は、画像処理装置３２０における通信部３２３による無線通信と同じ通信であり、ここでは、説明を省略する。
【００６９】
遠隔制御装置４２０は、この例では、タブレット型コンピュータとされているが、この他、例えば、ノート型コンピュータ、多機能型携帯電話機（所謂スマートフォン）、腕時計型端末装置や、衣服に装着可能な端末装置といった持ち運び可能な端末装置であってもよい。遠隔制御装置４２０は、表示装置４１０に設けられてもよい。また、遠隔制御装置４２０は、持ち運び可能な端末装置の限定されるものではなく、卓上型のコンピュータであってもよい。また、操作者５００は、作業機２００を立った状態で遠隔操作してもよいし、座った状態で遠隔操作してもよい。
【００７０】
詳しくは、遠隔制御装置４２０は、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを一旦記憶部４２２に格納しつつ表示装置４１０にそれぞれ送信する構成とされている。
【００７１】
遠隔操作側１２０の表示装置４１０は、遠隔制御装置４２０から送られてきた左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ受信しつつ表示する構成とされている。詳しくは、表示装置４１０は、遠隔制御装置４２０からリアルタイムで送られてくる左目用のパノラマ画像ＰＩ（パノラマ動画像）の一部ＰＩＰおよび右目用のパノラマ画像ＰＩ（パノラマ動画像）の一部ＰＩＰを受信しながら再生（表示）するストリーミング再生を行うようになっている。
【００７２】
これにより、表示装置４１０は、リアルタイムで（生で）かつ３次元的な視界表示（いわゆる３Ｄ画像）を実現することができる。表示装置４１０による３次元的な視界表示を実現する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。
【００７３】
表示装置４１０（図１参照）は、この例では、操作者５００の頭部５１０（具体的には目の部分）に装着される構成とされている。詳しくは、表示装置４１０は、頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）とされている。なお、表示装置４１０は、頭部装着型表示装置（ＨＭＤ）に限定されるものではなく、卓上型表示装置（モニター）や、ビデオプロジェクタであってもよい。
【００７４】
遠隔操作側１２０の構成要素４００は、操作者５００の視線の動きを検知する視線検知部４１１（図１および図５参照）をさらに備えている。視線検知部４１１は、この例では、操作者５００（図１参照）の頭部５１０の姿勢を検知する姿勢検知部とされている。
【００７５】
視線検知部４１１は、図１に示すように、操作者５００の頭部５１０に装着され、頭部５１０の基準姿勢（例えば操作者５００が水平方向を視た姿勢）を基準にして、操作者５００の頭部５１０の垂直方向に沿った軸線ｙ回りのヨーイング（ｙａｗｉｎｇ）角度θｙ、前後方向に沿った軸線ｒ回りのローリング（ｒｏｌｌｉｎｇ）角度θｒおよび左右方向に沿った軸線ｐ回りのピッチング（ｐｉｔｃｈｉｎｇ）角度θｐを検知することができるようになっている。なお、基準姿勢の基準値は、操作者５００の頭部５１０を検知するに先立って予め設定しておくことができる。
【００７６】
視線検知部４１１は、本例のように姿勢検知部とした場合、例えば、３次元ジャイロセンサ、３次元重力加速度センサ、ロータリーエンコーダー、ポテンショメータ等の各種センサを用いることができる。視線検知部４１１は、従来公知のものを用いることができ、ここでは詳しい説明を省略する。
【００７７】
また、視線検知部４１１（図５参照）は、検知した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを遠隔制御装置４２０に送信するようになっている。
【００７８】
本実施の形態では、視線検知部４１１は、表示装置４１０に備えられている。すなわち、表示装置４１０は、視線検知部４１１を備え、視線検知部４１１により操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）を検知し、視線検知部４１１にて検知した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを遠隔制御装置４２０に送信するようになっている。
【００７９】
視線検知部４１１（この例では表示装置４１０）から遠隔制御装置４２０への操作者５００の頭部５１０の動きの送信は、遠隔制御装置４２０と表示装置４１０との間の通信と同様の通信とすることができる。また、視線検知部４１１（この例では表示装置４１０）から遠隔制御装置４２０への操作者５００の頭部５１０の動きの送信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
【００８０】
遠隔制御装置４２０は、視線検知部４１１（この例では表示装置４１０）から送られてきた操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを作業機側１１０の画像処理装置３２０に無線通信により送信する構成とされている。
【００８１】
作業機側１１０の画像処理装置３２０は、遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）のデータを受信し、受信した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）に応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整する構成とされている。
【００８２】
図６は、画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理を説明するための説明図である。なお、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩは、実質的に同じ構成であるため、図６では、左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを１つの図で示し、それらの調整処理をまとめて説明する。
【００８３】
画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理は、図６に示すように、全方位的または略全方位的（この例では略全方位的）にパノラマ画像ＰＩ，ＰＩを構成した中空球体の中心に操作者５００の頭部５１０を配置することで、理解しやすくなる。
【００８４】
画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおける所定の基準点α（例えば作業機２００の前方のヨーイング基準角度φｙ、ローリング基準角度φｒ、ピッチング基準角度φｐ）から、受信した操作者５００の頭部５１０の動き（具体的には頭部５１０の基準姿勢に対するヨーイング角度θｙ、ローリング角度θｒおよびピッチング角度θｐ）だけ移動させた相対基準点Δα（例えば作業機２００の前方の基準点に対する相対ヨーイング基準角度φｙ＋θｙ、相対ローリング基準角度φｒ＋θｒ、相対ピッチング基準角度φｐ＋θｐ）を算出する。
【００８５】
また、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る構成とされている。詳しくは、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩから、算出した相対基準点Δαを基準にして、操作者５００の視認角度に相当する切り取り角度（β，γ）で一部ＰＩＰ，ＰＩＰを切り取る構成とされている。
【００８６】
なお、この例では、視線検知部４１１は、操作者５００の頭部５１０の姿勢を検知する姿勢検知部とされているが、操作者５００の視線（眼球の動き）を検知する視線検知部であってもよい。この場合、画像処理装置３２０は、視線検知部からの応答速度が速すぎる場合には該応答速度を遅延させて調整処理または切り取り処理を行うようにすることができる。
【００８７】
図７は、第１実施形態に係る表示システム１００の制御動作の一例を示すフローチャートである。
【００８８】
第１実施形態に係る表示システム１００の制御動作では、図７に示すように、先ず、作業機側１１０の画像処理装置３２０は、複数のカメラ部３１０〜３１０で撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭによりパノラマ画像ＰＩ，ＰＩを生成する（ステップＳ１０１）。
【００８９】
次に、画像処理装置３２０は、生成したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を行う（ステップＳ１０２）。
【００９０】
次に、画像処理装置３２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを遠隔操作側１２０の遠隔制御装置４２０に無線通信により送信する（ステップＳ１０３）。
【００９１】
次に、遠隔操作側１２０の遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示装置４１０に送信する（ステップＳ１０４）。
【００９２】
次に、表示装置４１０は、遠隔制御装置４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示する（ステップＳ１０５）。
【００９３】
次に、表示装置４１０は、操作者５００の頭部５１０の動きを検知しながら遠隔制御装置４２０に送信する（ステップＳ１０６）。
【００９４】
次に、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きを受信しながら作業機側１１０の画像処理装置３２０に無線通信により送信する（ステップＳ１０７）。
【００９５】
次に、作業機側１１０の画像処理装置３２０は、遠隔操作側１２０の遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動きを受信しながら頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する（ステップＳ１０８）。
【００９６】
そして、第１実施形態に係る表示システム１００は、前記したステップＳ１０１〜Ｓ１０８の処理を処理動作が終了するまで繰り返す（ステップＳ１０９）。
【００９７】
以上説明した第１実施形態に係る表示システム１００によれば、画像処理装置３２０は、遠隔制御装置４２０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整するので、操作者５００の頭部５１０の動きに合わせて表示装置４１０に表示される３次元的な視界を調整することができ、従って、表示装置４１０に表示される表示画像を操作者５００の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを遠隔制御装置４２０に無線通信により送信するので、全てのパノラマ画像ＰＩ，ＰＩを遠隔制御装置４２０に無線通信により送信する場合に比べて、無線通信上のトラフィック負荷を低減させることができる。
【００９８】
ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。
【００９９】
この点、第１実施形態に係る表示システム１００では、画像処理装置３２０においてパノラマ画像ＰＩ，ＰＩ（全方位的な画像または略全方位的な画像）を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。
【０１００】
また、第１実施形態では、複数のカメラ部３１０〜３１０は、作業機２００に設けられるべき座席の水平方向（具体的には前後方向および左右方向の双方）における位置に相当する配設位置であって、該カメラ部３１０〜３１０におけるレンズの中心位置が作業機２００の仕向地の平均的な体格（例えば身長や座高）を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることで、作業者が実際に座席に着座した場合の視界と同様のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを表示装置４１０に表示することができる。
【０１０１】
（第２実施形態）
図８は、第２実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。
【０１０２】
図８に示すように、第２実施形態に係る表示システム１００は、第１実施形態に係る表示システム１００において、遠隔操作側１２０の遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を、複数の遠隔制御装置４２０〜４２０にそれぞれ対応する複数の表示装置４１０〜４１０としたものである。
【０１０３】
第２実施形態に係る表示システム１００において、第１実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第１実施形態に係る表示システム１００とは異なる点を中心に説明する。
【０１０４】
作業機側１１０の画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを切り取り、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを無線通信により遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０に送信するように構成されている。ここで、作業機側１１０の画像処理装置３２０と遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０との間の通信は、一つの伝送路で複数の信号を同時的に伝送する多重化通信とすることができる。多重化通信としては、それには限定されないが、例えば、周波数分割多重化（ＦＤＭ：Ｆｒｅｑｕｅｎｃｙ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅｘｉｎｇ）通信や時分割多重化（ＴＤＭ：Ｔｉｍｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅｘｉｎｇ）通信等の多重化通信を挙げることができる。
【０１０５】
遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを、それぞれ対応する複数の表示装置４１０〜４１０に送信するように構成されている。
【０１０６】
遠隔操作側１２０の複数の表示装置４１０〜４１０は、それぞれ対応する複数の遠隔制御装置４２０〜４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ表示する。複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）は、それぞれ対応する複数の操作者５００〜５００の頭部５１０〜５１０の動きをそれぞれ検知し、検知した複数の操作者５００〜５００の頭部５１０〜５１０の動きを、それぞれ対応する複数の遠隔制御装置４２０〜４２０に送信する。複数の遠隔制御装置４２０〜４２０は、それぞれ対応する複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きを画像処理装置３２０に無線通信により送信する。
【０１０７】
作業機側１１０の画像処理装置３２０は、複数の遠隔制御装置４２０〜４２０から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ調整する。
【０１０８】
また、画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ切り取る。
【０１０９】
第２実施形態に係る表示システム１００の処理の流れは、遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を複数の表示装置４１０〜４１０とした以外は図７に示す第１実施形態に係る表示システム１００の処理の流れと実質的に同じであり、ここでは説明を省略する。
【０１１０】
第２実施形態に係る表示システム１００によれば、複数の操作者５００〜５００は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置４１０〜４１０に表示される表示画像を視認することができ、これにより、第１実施形態の如く、一人の操作者５００が表示装置４１０に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。
【０１１１】
（第３実施形態）
第３実施形態に係る表示システム１００は、第１実施形態に係る表示システム１００において作業機側１１０の画像処理装置３２０で行っていた、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰの切り取り処理および調整処理を、遠隔操作側１２０の遠隔制御装置４２０で行うように構成したものである。
【０１１２】
第３実施形態に係る表示システム１００において、第１実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第１実施形態に係る表示システム１００とは異なる点を中心に説明する。
【０１１３】
図９は、第３実施形態に係る作業機２００の遠隔操作のための表示システム１００における作業機側１１０の画像処理装置３２０のシステム構成を示すブロック図である。また、図１０は、第３実施形態に係る表示システム１００における遠隔操作側１２０の遠隔制御装置４２０のシステム構成を示すブロック図である。
【０１１４】
図９に示すように、作業機側１１０の画像処理装置３２０は、生成した左目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）および右目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）を遠隔操作側１２０の遠隔制御装置４２０に無線通信によりそれぞれ送信する構成とされている。
【０１１５】
図１０に示すように、遠隔操作側１２０の遠隔制御装置４２０は、画像処理装置３２０から送られてきた左目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）および右目用のパノラマ画像ＰＩ（全てのパノラマ画像ＰＩのデータ）を受信し、受信した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取り、切り取った左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを表示装置４１０にそれぞれ送信する構成とされている。
【０１１６】
詳しくは、遠隔制御装置４２０は、受信した左目用のパノラマ画像ＰＩおよび右目用のパノラマ画像ＰＩを一旦記憶部４２２に格納する。
【０１１７】
遠隔制御装置４２０は、記憶部４２２に格納した左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを切り取る切り取り処理を行う構成とされている。
【０１１８】
なお、遠隔制御装置４２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理は、図４に示す画像処理装置３２０によりパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理と同様の処理であり、ここでは説明を省略する。
【０１１９】
遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整する。
【０１２０】
なお、遠隔制御装置４２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理は、図６に示す画像処理装置３２０により操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理と同様の処理であり、ここでは説明を省略する。
【０１２１】
また、遠隔制御装置４２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰをそれぞれ切り取る。
【０１２２】
図１１は、第３実施形態に係る表示システム１００の制御動作の一例を示すフローチャートである。
【０１２３】
第３実施形態に係る表示システム１００の制御動作では、図１１に示すように、先ず、作業機側１１０の画像処理装置３２０は、複数のカメラ部３１０〜３１０で撮影された複数の撮影画像ＩＭ〜ＩＭ，ＩＭ〜ＩＭによりパノラマ画像ＰＩ，ＰＩを生成する（ステップＳ２０１）。
【０１２４】
次に、画像処理装置３２０は、生成したパノラマ画像ＰＩ，ＰＩを遠隔操作側１２０の遠隔制御装置４２０に無線通信により送信する（ステップＳ２０２）。
【０１２５】
次に、遠隔操作側１２０の遠隔制御装置４２０は、作業機側１１０の画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩを受信しながらパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取る切り取り処理を行う（ステップＳ２０３）。
【０１２６】
次に、遠隔制御装置４２０は、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを表示装置４１０に送信する（ステップＳ２０４）。
【０１２７】
次に、表示装置４１０は、遠隔制御装置４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを受信しながら表示する（ステップＳ２０５）。
【０１２８】
次に、表示装置４１０は、操作者５００の頭部５１０の動きを検知しながら遠隔制御装置４２０に送信する（ステップＳ２０６）。
【０１２９】
次に、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きを受信しながら頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する（ステップＳ２０７）。
【０１３０】
そして、第３実施形態に係る表示システム１００は、前記したステップＳ２０１〜Ｓ２０７の処理を処理動作が終了するまで繰り返す（ステップＳ２０８）。
【０１３１】
第３実施形態に係る表示システム１００によれば、遠隔制御装置４２０は、表示装置４１０から送られてきた操作者５００の頭部５１０の動きに応じて、表示装置４１０に送信する左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰをそれぞれ調整するので、操作者５００の頭部５１０の動きに合わせて表示装置４１０に表示される３次元的な視界を調整することができ、従って、表示装置４１０に表示される表示画像を操作者５００の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、操作者５００の頭部５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを調整する調整処理を遠隔操作側１２０の遠隔制御装置４２０で行うので、該調整処理を作業機側１１０の画像処理装置３２０で行う場合に比べて、遠隔操作側１２０の遠隔制御装置４２０から作業機側１１０の画像処理装置３２０に頭部５１０の動きを送信するための時間を短縮することができる。
【０１３２】
ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。
【０１３３】
この点、第３実施形態に係る表示システム１００では、遠隔制御装置４２０においてパノラマ画像ＰＩ，ＰＩ（全方位的な画像または略全方位的な画像）を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。
【０１３４】
（第４実施形態）
図１２は、第４実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略構成図である。
【０１３５】
図１２に示すように、第４実施形態に係る表示システム１００は、第３実施形態に係る表示システム１００において、遠隔操作側１２０の遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を、複数の遠隔制御装置４２０〜４２０にそれぞれ対応する複数の表示装置４１０〜４１０としたものである。
【０１３６】
第４実施形態に係る表示システム１００において、第３実施形態に係る表示システム１００と実質的に同じ構成要素には同一符号を付し、第３実施形態に係る表示システム１００とは異なる点を中心に説明する。
【０１３７】
作業機側１１０の画像処理装置３２０は、パノラマ画像ＰＩ，ＰＩ（全てのパノラマ画像ＰＩ，ＰＩのデータ）を無線通信により遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０に送信するように構成されている。ここで、作業機側１１０の画像処理装置３２０と遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０との間の通信は、第２実施形態の場合と同様であり、ここでは説明を省略する。
【０１３８】
遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、画像処理装置３２０から送られてきたパノラマ画像ＰＩ，ＰＩをそれぞれ受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを切り取り、切り取ったパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを、それぞれ対応する複数の表示装置４１０〜４１０に送信するように構成されている。
【０１３９】
遠隔操作側１２０の複数の表示装置４１０〜４１０は、それぞれ対応する複数の遠隔制御装置４２０〜４２０から送られてきたパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰを受信し、受信したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ表示する。複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）は、それぞれ対応する複数の操作者５００〜５００の頭部５１０〜５１０の動きをそれぞれ検知し、検知した複数の操作者５００〜５００の頭部５１０〜５１０の動きを、それぞれ対応する複数の遠隔制御装置４２０〜４２０に送信する。
【０１４０】
遠隔操作側１２０の複数の遠隔制御装置４２０〜４２０は、複数の視線検知部４１１〜４１１（この例では複数の表示装置４１０〜４１０）から送られてきた複数の操作者５００〜５００の頭部５１０〜５１０の動きに応じてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ調整する。
【０１４１】
また、遠隔制御装置４２０は、パノラマ画像ＰＩ，ＰＩにおいて、調整したパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ〜ＰＩＰ，ＰＩＰ〜ＰＩＰをそれぞれ切り取る。
【０１４２】
第４実施形態に係る表示システム１００の処理の流れは、遠隔制御装置４２０を複数の遠隔制御装置４２０〜４２０とし、表示装置４１０を複数の表示装置４１０〜４１０とした以外は図１１に示す第３実施形態に係る表示システム１００の処理の流れと実質的に同じであり、ここでは説明を省略する。
【０１４３】
第４実施形態に係る表示システム１００によれば、複数の操作者５００〜５００は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置４１０〜４１０に表示される表示画像を視認することができ、これにより、第３実施形態の如く、一人の操作者５００が表示装置４１０に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。
【０１４４】
（第５実施形態）
図１３は、第５実施形態に係る作業機２００の遠隔操作のための表示システム１００を模式的に示す概略側面図である。
【０１４５】
図１３に示すように、第５実施形態に係る表示システム１００は、第１実施形態から第４実施形態に係る表示システム１００〜１００において、作業機２００に設けられた支持部材３３０に代えて、昇降可能および垂直方向に回動可能な支持部材３４０を設けたものである。
【０１４６】
第５実施形態に係る表示システム１００において、第１実施形態から第４実施形態に係る表示システム１００〜１００と実質的に同じ構成要素には同一符号を付し、その説明を省略する。
【０１４７】
支持部材３４０は、複数のカメラ部３１０〜３１０を支持する支持体３３１と、上端部で支持体３３１を複数のカメラ部３１０〜３１０が水平姿勢を維持するように支持する一方、下端部で上部体２２１に支持される支持台（この例では支持アーム３４２）とを有している。
【０１４８】
支持アーム３４２は、この例では、上端部で支持体３３１を左右方向に沿った軸線（第１支点３４２ａ）回りに回動自在に支持する一方、下端部で上部体２２１に左右方向に沿った軸線（第２支点３４２ｂ）回りに回動自在に支持される構成とされている。詳しくは、支持アーム３４２は、左右方向に沿った軸線（第２支点３４２ｂ）回りの回動に拘わらず、第２支点３４２ｂが第１支点３４２ａよりも後方に位置するように構成されている。支持アーム３４２は、複数（この例では前後方向で２本）の支持アーム３４２〜３４２とされている。複数の支持アーム３４２〜３４２は、前後方向に沿って平行に並設された状態で支持体３３１を上下移動可能に支持する平行リンク構成とされている。複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとの間の距離は、複数のカメラ部３１０〜３１０が水平姿勢を維持する距離とされている。この例では、複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとは、水平方向に沿って設けられており、複数の支持アーム３４２〜３４２の第１支点３４２ａ〜３４２ａと第２支点３４２ｂ〜３４２ｂとの間の距離は、何れも同一距離とされている。これにより、支持部材３４０は、複数の支持アーム３４２〜３４２の左右方向に沿った軸線（第２支点３４２ｂ〜３４２ｂ）回りの回動に拘わらず、複数のカメラ部３１０〜３１０を水平姿勢に維持することができる。ここで、水平姿勢は、既述のとおり、作業機２００が水平面に設置された場合での姿勢である。
【０１４９】
また、支持部材３４０は、支持アーム３４２〜３４２を駆動する駆動部３４３を備えている。駆動部３４３は、遠隔操作側１２０の遠隔操作装置２３０から操作指令が送信されることで作動し、支持アーム３４２〜３４２を回動および複数のカメラ部３１０〜３１０を昇降するようになっている。これにより、操作者５００は、支持アーム３４２〜３４２の回動動作を遠隔操作することにより、複数のカメラ部３１０〜３１０を昇降させることができる。
【０１５０】
この例では、支持部材３４０は、カメラ部３１０〜３１０におけるレンズの中心位置の昇降方向における移動範囲Ｒが作業機２００の仕向地の平均的な体格（例えば身長や座高）を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置Ｈを含むように構成されている。ここで、画像処理装置３２０は、カメラ部３１０〜３１０におけるレンズの中心位置の昇降方向における現在の高さ位置を遠隔制御装置４２０に送信し、遠隔制御装置４２０は、現在の高さ位置を表示装置４１０に送信し、表示装置４１０は、カメラ部３１０〜３１０におけるレンズの中心位置の最大高さ位置ＭＡＸ、最小高さ位置ＭＩＮさらには着座高さ位置Ｈ等の各種の指標位置を表示した状態で、現在の高さ位置を表示するようになっていてもよい。これにより、操作者５００は、カメラ部３１０〜３１０におけるレンズの中心位置の現在の高さ位置を認識することが可能となる。
【０１５１】
また、支持部材３４０は、カメラ部３１０〜３１０におけるレンズの中心位置が着座高さ位置Ｈに位置しているときに、カメラ部３１０〜３１０が作業機２００に設けられるべき座席の水平方向（具体的には前後方向）における位置に相当する配設位置に位置するように構成されている。
【０１５２】
なお、支持アーム３４２は、上端部で支持体３３１を固定した状態で支持体３３１を昇降可能に支持する構成とされていてもよい。
【０１５３】
第５実施形態に係る表示システム１００によれば、複数のカメラ部３１０〜３１０は、昇降可能および垂直方向に回動可能な支持部材３４０に設けられていることで、操作者５００は、必要に応じて複数のカメラ部３１０〜３１０におけるレンズの中心位置の高さ、ひいては、操作者５００の視野高さを調整することができる。その結果、例えば、操作者５００は、鳥瞰的な視野により作業機２００の周囲状況のより広い視野を把握することが可能となる。また、複数のカメラ部３１０〜３１０の高さ位置が低くなるように支持部材３４０を作動させることで、作業機２００は、たとえ作業現場が穴の中や天井が低い場所であっても該作業現場に容易に入っていくことが可能となる。さらに、操作者５００が周囲状況を直視して（直接確認して）操作している場合は、複数のカメラ部３１０〜３１０が作業機２００に納まるように支持部材３４０を作動させることで、複数のカメラ部３１０〜３１０を作業機２００に格納することができる。また、支持アーム３４２〜３４２は、第２支点３４２ｂ〜３４２ｂが第１支点３４２ａ〜３４２ａよりも後方に位置するように構成されていることで、カメラ部３１０〜３１０は作業部２２０における第１支点３４２ａ〜３４２ａより前方の作業状態を確実に撮影することが可能となる。
【０１５４】
（第６実施形態）
第６実施形態に係る表示システム１００は、第１実施形態から第５実施形態に係る表示システム１００〜１００において、複数のカメラ部３１０〜３１０の周辺部（近傍或いは近接した位置）に設けられた照明装置３５０〜３５０，３５０〜３５０を備えたものである。
【０１５５】
図１４は、第６実施形態に係る作業機２００の遠隔操作のための表示システム１００におけるカメラ部３１０を構成する一対のカメラ３１１，３１２および一対のカメラ３１１，３１２に設けられた照明装置３５０，３５０の一例を正面から視た概略構成図である。なお、複数のカメラ部３１０〜３１０にそれぞれ設けられる照明装置３５０〜３５０，３５０〜３５０は、何れも同じ構成であり、図１４では、複数のカメラ部３１０〜３１０のうちの１つのカメラ部３１０に設けられた照明装置３５０，３５０に代表させて示している。
【０１５６】
図１４に示すように、照明装置３５０，３５０は、一対のカメラ３１１，３１２のレンズ３１１ａ，３１２ａの周縁部の少なくとも一部に（この例では全周にわたって）光出射側が被写体側を向くように設けられている。この例では、照明装置３５０，３５０は、一対のカメラ３１１，３１２のレンズ３１１ａ，３１２ａの周縁部の全周に亘ってそれぞれ設けられた複数（この例では８個）の発光素子３５１〜３５１，３５１〜３５１（具体的には発光ダイオード）を備えている。複数の発光素子３５１〜３５１，３５１〜３５１は、レンズ３１１ａ，３１２ａの周方向に沿って均等または略均等に設けられている。
【０１５７】
第６実施形態に係る表示システム１００によれば、複数のカメラ部３１０〜３１０の周辺部に照明装置３５０〜３５０，３５０〜３５０が設けられていることで、照明装置３５０〜３５０，３５０〜３５０から照射される光により、複数のカメラ部３１０〜３１０によって撮影された撮影画像に影が入ることを効果的に防止することが可能となる。
【０１５８】
（第７実施形態）
ところで、作業現場では、作業計画（例えばどの程度の深さや範囲で掘削するのかといった作業計画）、作業部２２０の回動範囲（具体的には上部体２２１の旋回範囲やブーム２２２、アーム２２３およびバケット２２４の揺動範囲）またはガス管や水道管等の埋設管の位置などを操作者５００が予め認識して作業することは、作業の効率性や安全性といった作業性を向上させる上で極めて重要である。
【０１５９】
かかる観点から、第７実施形態に係る表示システム１００は、第１実施形態から第６実施形態に係る表示システム１００〜１００において、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑ（例えば作業計画、作業部２２０の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報）の一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示装置４１０に表示させて拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を実現する構成とされている。ここで、拡張現実は、現実環境の情報に現実環境に関連する視覚情報を付け加える技術、詳しくは、カメラ部３１０〜３１０で撮影された現実環境の映像にコンピュータによる現実環境に関連する映像をリアルタイムでカメラ部３１０〜３１０の映像の動きに合わせて合成する技術である。
【０１６０】
図１５は、第７実施形態に係る作業機２００の遠隔操作のための表示システム１００において、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示装置４１０に表示している表示画面Ｄ，Ｄの一例を示す表示図である。図１５では、作業補助情報Ｑ，Ｑとして、地面Ｇ，Ｇの下に埋められた配管網の地図に基づいたガス管や水道管等の埋設管（作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１）の例を示している。また、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰは、実質的に同じ構成であるため、図１５では、左目用のパノラマ画像ＰＩの一部ＰＩＰおよび右目用のパノラマ画像ＰＩの一部ＰＩＰを１つの図で示し、それらの拡張現実の処理をまとめて説明する。
【０１６１】
第１実施形態および第３実施形態での遠隔制御装置４２０，４２０または第１実施形態での画像処理装置３２０は、表示システム１００において予め準備されたデータベース（例えば遠隔制御装置４２０における記憶部４２２または画像処理装置３２０における記憶部３２２に予め格納されたデータベース）、または、表示システム１００とは別の場所に設けられたデータベース（例えばインターネット上のサーバからダウンロードされたデータベース）に基づいて切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１を切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて切り取り処理後のパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに付加する構成とされている。
【０１６２】
或いは、第１実施形態および第３実施形態での画像処理装置３２０，３２０または第３実施形態での遠隔制御装置４２０は、表示システム１００において予め準備されたデータベース（例えば遠隔制御装置４２０における記憶部４２２または画像処理装置３２０における記憶部３２２に予め格納されたデータベース）、または、表示システム１００とは別の場所に設けられたデータベース（例えばインターネット上のサーバからダウンロードされたデータベース）に基づいて切り取り処理前のパノラマ画像ＰＩ，ＰＩに対応する作業補助情報Ｑ，Ｑを切り取り処理前のパノラマ画像ＰＩ，ＰＩに対応させて切り取り処理前のパノラマ画像ＰＩ，ＰＩに付加する構成とされている。そして、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰを切り取り処理では、対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１も切り取る。
【０１６３】
このデータベースとしては、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）モデルに存在するデータベースを挙げることができる。なお、パノラマ画像ＰＩ，ＰＩは、例えば、作業機２００における全地球測位システム（ＧＮＮＳ：Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）を用いた位置情報（緯度、経度）を含んでいる。また、作業補助情報Ｑ，Ｑは、例えば、パノラマ画像ＰＩ，ＰＩの位置情報（緯度、経度）に対応した位置情報（緯度、経度）を含むパノラマ画像を構成する情報とされている。
【０１６４】
そして、表示装置４１０は、パノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示する構成とされている。
【０１６５】
これにより、操作者５００は、作業補助情報Ｑ，Ｑを予め認識することができる。例えば、操作者５００は、作業部２２０の回動位置（具体的には上部体２２１の旋回位置並びにブーム２２２、アーム２２３およびバケット２２４の揺動位置）が作業計画の所定の基準値に達しているか否か（例えば基準作業深さや所定の基準作業範囲を超えるか否か）、作業現場の作業範囲に達しているか否か（例えば作業現場の天井に接触するか否か）、また、作業現場の埋設物に達しているか否か（例えばガス管や水道管等の埋設管Ｑ１に接触するか否か）を認識することができる。
【０１６６】
なお、かかる拡張現実を実現する構成は、従来公知の手法を用いて実現することができ、ここでは詳しい説明を省略する。
【０１６７】
第７実施形態に係る表示システム１００によれば、表示装置４１０は、表示システム１００において予め準備されたデータベース、または、表示システム１００とは別の場所に設けられたデータベースに基づいてパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応する作業補助情報Ｑ，Ｑの一部Ｑ１，Ｑ１をパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰと共にパノラマ画像ＰＩ，ＰＩの一部ＰＩＰ，ＰＩＰに対応させて追加的に表示することで、操作者５００は、作業補助情報Ｑ，Ｑ（例えば作業計画、前記作業部の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報）を予め認識することができ、これにより、作業の効率性や安全性といった作業性を向上させることが可能となる。
【０１６８】
本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、かかる実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【０１６９】
本発明は、作業機の遠隔操作のための表示システムに係るものであり、特に、表示装置に表示される表示画像を操作者の視線の動きに追従させるための用途に適用できる。
【符号の説明】
【０１７０】
１００    表示システム
１１０    作業機側
１２０    遠隔操作側
２００    作業機
２１０    走行体
２２０    作業部
２２１    上部体
２２２    ブーム
２２３    アーム
２２４    バケット
２３０    遠隔操作装置
２３１    操作部
３００    作業機側の構成要素
３１０    カメラ部
３１１    左目用のカメラ
３１１ａ  レンズ
３１２    右目用のカメラ
３１２ａ  レンズ
３２０    画像処理装置
３２１    制御部
３２２    記憶部
３２３    通信部
３３０    支持部材
３３１    支持体
３３１ａ  固定部材
３３２    支柱
３４０    支持部材
３４２    支持アーム
３４２ａ  第１支点
３４２ｂ  第２支点
３４３    駆動部
３５０    照明装置
３５１    発光素子
４００    遠隔操作側の構成要素
４１０    表示装置
４１１    視線検知部
４２０    遠隔制御装置
４２１    制御部
４２２    記憶部
４２３    通信部
５００    操作者
５１０    頭部
ＣＢ１    接続ケーブル
ＣＢ２    接続ケーブル
Ｄ        表示画面
Ｇ        地面
Ｈ        着座高さ位置
ＩＭ      撮影画像
ＭＡＸ    最大高さ位置
ＭＩＮ    最小高さ位置
ＰＩ      パノラマ画像
ＰＩＰ    パノラマ画像の一部
Ｑ        作業補助情報
Ｑ１      作業補助情報の一部
Ｒ        移動範囲
ｄ        間隔
Δα      相対基準点
α        基準点
β        水平方向の切り取り角度
γ        垂直方向の切り取り角度
θｐ      ピッチング角度
θｒ      ローリング角度
θｙ      ヨーイング角度
φｐ      ピッチング基準角度
φｒ      ローリング基準角度
φｙ      ヨーイング基準角度
【図１】
2020031435.tif 000003
【図２】
2020031435.tif 000004
【図３】
2020031435.tif 000005
【図４】
2020031435.tif 000006
【図５】
2020031435.tif 000007
【図６】
2020031435.tif 000008
【図７】
2020031435.tif 000009
【図８】
2020031435.tif 000010
【図９】
2020031435.tif 000011
【図１０】
2020031435.tif 000012
【図１１】
2020031435.tif 000013
【図１２】
2020031435.tif 000014
【図１３】
2020031435.tif 000015
【図１４】
2020031435.tif 000016
【図１５】
2020031435.tif 000017