(57)【要約】【課題】オペレーターの経験及び勘に依存せずに、作業の効率性及び安全性を向上させることができる作業機械用画像生成装置を提供する。【解決手段】作業機械用画像生成装置１は、作業機械１００に備えられるアーム１４２の長手方向を中心にアームを囲む方向に沿ってアームに配置され、アームに取り付けられたアタッチメント（バケット１４３）に向けて光軸が設定された複数のカメラ２−１〜２−５が撮影した複数の画像Ｉｍ−１〜Ｉｍ−５を用いて、アタッチメント及びこの周囲が写された合成画像ＩＭを生成する生成部４１と、を備える。【選択図】図２
2019203285.tif 000002
【特許請求の範囲】
【請求項１】
作業機械に備えられるアームの長手方向を中心に前記アームを囲む方向に沿って前記アームに配置され、前記アームに取り付けられたアタッチメントに向けて光軸が設定された複数のカメラが撮影した複数の画像が入力する入力部と、
複数の前記画像を用いて、前記アタッチメント及び前記アタッチメントの周囲が写された合成画像を生成する生成部と、備える、作業機械用画像生成装置。
【請求項２】
前記作業機械用画像生成装置は、前記アタッチメントの種類に応じて定められた、前記合成画像を生成するための複数の前記画像の編集情報について、前記アタッチメントの複数の種類と複数の前記編集情報とを紐付けて予め記憶する記憶部をさらに備え、
前記生成部は、前記アームに取り付けられた前記アタッチメントの種類に紐付けられた前記編集情報を選択し、前記合成画像を生成する、請求項１に記載の作業機械用画像生成装置。
【請求項３】
前記作業機械用画像生成装置は、前記合成画像を表示部に表示させる表示制御部をさらに備え、
前記入力部、前記生成部、前記表示制御部、及び、前記表示部が、前記作業機械に搭載可能にされている、請求項１又は２に記載の作業機械用画像生成装置。
【請求項４】
前記生成部は、遠隔操作される前記作業機械に対して、前記合成画像を生成する、請求項１又は２に記載の作業機械用画像生成装置。
【請求項５】
表示部、及び、前記合成画像を前記表示部に表示させる表示制御部が、前記遠隔操作をする場所に配置可能にされている、請求項４に記載の作業機械用画像生成装置。
【請求項６】
前記入力部及び前記生成部が、前記作業機械に搭載可能にされ、
前記作業機械用画像生成装置は、前記作業機械に搭載可能にされ、前記合成画像を送信する送信部をさらに備え、
前記合成画像を受信する受信部が、前記場所に配置可能にされ、
前記表示制御部は、前記受信部が受信した前記合成画像を前記表示部に表示させる、請求項５に記載の作業機械用画像生成装置。
【請求項７】
前記入力部が、前記作業機械に搭載可能にされ、
前記生成部が、前記場所に配置可能にされ、
前記作業機械用画像生成装置は、前記作業機械に搭載可能にされ、前記入力部に入力した複数の前記画像を送信する送信部をさらに備え、
複数の前記画像を受信する受信部が、前記場所に配置可能にされ、
前記生成部は、前記受信部が受信した複数の前記画像を用いて前記合成画像を生成する、請求項５に記載の作業機械用画像生成装置。
【請求項８】
前記入力部及び前記生成部が、前記作業機械に搭載可能にされ、
前記作業機械用画像生成装置は、前記作業機械に搭載可能にされ、前記合成画像を携帯端末装置に送信する送信部をさらに備える、請求項４に記載の作業機械用画像生成装置。
【請求項９】
作業機械に備えられるアームの長手方向を中心に前記アームを囲む方向に沿って前記アームに配置され、前記アームに取り付けられたアタッチメントに向けて光軸が設定された複数のカメラで、複数の画像を撮影する撮影ステップと、
複数の前記画像を用いて、前記アタッチメント及び前記アタッチメントの周囲が写された合成画像を生成する生成ステップと、
前記合成画像を表示部に表示させる表示制御ステップと、を備える、作業機械用画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが搭載された作業機械に関する技術である。
【背景技術】
【０００２】
作業機械（例えば、建設機械、金属リサイクル機械、建物解体機）のオペレータが、作業機械の操作中に作業範囲を見やすくするために、例えば、キャブ室に設置されたステレオカメラが撮影した作業範囲の画像をキャブ室内に配置されたモニターに表示させる装置を備える作業機械（特許文献１）、キャブ室を昇降できる昇降機構を備える作業機械（特許文献２）、キャブ室を傾斜できるチルト機構を備える作業機械（特許文献３）がある。
【０００３】
しかし、いずれの作業機械も、オペレータが見ることができない領域（死角領域）が不可避的に発生する。これを非特許文献１に開示された作業機械を例にして説明する。図２０は、作業機械１０００のキャブ室１００１に取り付けられたカメラ１００２の撮影範囲１０１０の例を示す模式図である。キャブ室１００１（オペレータ）から見て、ブーム１００３、アーム１００４及びバケット１００５（アタッチメントの一例）の後方が、死角領域１０１１となる。また、掘削作業の場合、キャブ室１００１から見て、ブーム１００３、アーム１００４及びバケット１００５の手前であっても、穴１０１２が深くなるに従って、死角領域１０１３が大きくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−０７２４２５号公報
【特許文献２】特開２００３−１８４１２７号公報
【特許文献３】特開２０１７−０４４０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
死角領域での作業は、オペレータの経験及び勘が頼りとなる。しかし、オペレータの経験及び勘に任せていては、オペレーターが熟練していない場合、作業効率が低下し、作業の安全性を確保できなくなる。
【０００６】
本発明の目的は、オペレーターの経験及び勘に依存せずに、作業の効率性及び安全性を向上させることができる作業機械用画像生成装置及び作業機械用画像生成方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る作業機械用画像生成装置は、作業機械に備えられるアームの長手方向を中心に前記アームを囲む方向に沿って前記アームに配置され、前記アームに取り付けられたアタッチメントに向けて光軸が設定された複数のカメラが撮影した複数の画像が入力する入力部と、複数の前記画像を用いて、前記アタッチメント及び前記アタッチメントの周囲が写された合成画像を生成する生成部と、備える。
【０００８】
アタッチメント（例えば、バケット、つかみ具、切断具）は、作業機械のアームの先端部に取り付けられる作業具であり、用途に応じて取り換えられる。作業機械において、アタッチメントが、作業対象（例えば、掘削作業の場合は地面、金属リサイクル作業の場合は金属スクラップの山、建物解体作業の場合は建物）に作用する部分である。例えば、掘削作業の場合、バケットが地面を削り、削られた土を取り出す。
【０００９】
本発明者は、アタッチメントが作業対象に作用する部分なので、オペレータが作業機械を操作中に、アタッチメント及びこの周囲を把握できれば、作業の効率性及び安全性を向上できることを見出し、本発明を創作した。
【００１０】
複数のカメラは、アームの長手方向（アームが延びる方向）を中心にアームを囲む方向に沿ってアームに配置され、アタッチメントに向けて光軸が設定されている。これにより、アタッチメント及びこの周囲が写された合成画像を生成することができる。本発明の一態様に係る作業機械用画像生成装置は、このような合成画像をオペレータに見せることができるので、オペレータは、作業機械の操作中に、アタッチメント及びこの周囲の状況を把握することができる。よって、オペレーターの経験及び勘に依存せずに、作業の効率性及び安全性を向上させることができる。
【００１１】
複数のカメラがアタッチメントに配置された場合、作業中、これらのカメラが作業対象と衝突し、故障、破壊するおそれがある。複数のカメラがアームに配置されることより、これらを防止することができる。
【００１２】
複数のカメラがブームでなく、アームに配置されることにより、以下の効果が生じる。アタッチメントは、アームに取り付けられる。このため、複数のカメラがブームに配置された場合、ブームの角度とアームの角度とアタッチメントの角度との関係によって、合成画像にアタッチメント及びこの周囲が写らないことがある。複数のカメラが、アームに配置されることにより、上記３つの角度に関係なく、アタッチメント及びこの周囲が写された合成画像にすることができる。
【００１３】
上記構成において、前記作業機械用画像生成装置は、前記アタッチメントの種類に応じて定められた、前記合成画像を生成するための複数の前記画像の編集情報について、前記アタッチメントの複数の種類と複数の前記編集情報とを紐付けて予め記憶する記憶部をさらに備え、前記生成部は、前記アームに取り付けられた前記アタッチメントの種類に紐付けられた前記編集情報を選択し、前記合成画像を生成する。
【００１４】
アタッチメントには様々な種類があり、アタッチメントの種類に応じて、アタッチメントの形状、大きさが異なる。このため、アタッチメントの種類に応じて、合成画像を生成するための複数の画像の編集情報（例えば、画像から切り出される部分の座標、画像の歪みを補正する射影変換行列）が異なる。アタッチメントの種類に応じて、編集情報が定められていれば、見やすい合成画像を生成することができる。この構成によれば、アタッチメントの種類に応じて定められた編集情報について、アタッチメントの複数の種類と複数の編集情報とを紐付けて記憶しているので、様々な種類のアタッチメントに適用することができる。
【００１５】
上記構成において、前記作業機械用画像生成装置は、前記合成画像を表示部に表示させる表示制御部をさらに備え、前記入力部、前記生成部、前記表示制御部、及び、前記表示部が、前記作業機械に搭載可能にされている。
【００１６】
作業機械の操作には、作業機械に搭乗したオペレータによる操作とオペレータによる遠隔操作と、がある。この構成は、前者を前提としている。この構成によれば、作業機械に搭乗したオペレータは、合成画像を見ながら作業機械を操作することができる。
【００１７】
上記構成において、前記生成部は、遠隔操作される前記作業機械に対して、前記合成画像を生成する。
【００１８】
この構成は、オペレータによる遠隔操作を前提とする。この構成によれば、オペレータは、合成画像を見ながら作業機械を遠隔操作することができる。
【００１９】
上記構成において、表示部、及び、前記合成画像を前記表示部に表示させる表示制御部が、前記遠隔操作をする場所に配置可能にされている。
【００２０】
この構成によれば、作業機械を遠隔操作する場所で、合成画像を表示させることができる。オペレータによる遠隔操作を前提とする場合、合成画像が作業機械側で生成されてもよいし（タイプ１）、遠隔操作をする場所側で生成されてもよい（タイプ２）。
【００２１】
上記構成において、前記入力部及び前記生成部が、前記作業機械に搭載可能にされ、前記作業機械用画像生成装置は、前記作業機械に搭載可能にされ、前記合成画像を送信する送信部をさらに備え、前記合成画像を受信する受信部が、前記場所に配置可能にされ、前記表示制御部は、前記受信部が受信した前記合成画像を前記表示部に表示させる。
【００２２】
この構成は、タイプ１である。
【００２３】
上記構成において、前記入力部が、前記作業機械に搭載可能にされ、前記生成部が、前記場所に配置可能にされ、前記作業機械用画像生成装置は、前記作業機械に搭載可能にされ、前記入力部に入力した複数の前記画像を送信する送信部をさらに備え、複数の前記画像を受信する受信部が、前記場所に配置可能にされ、前記生成部は、前記受信部が受信した複数の前記画像を用いて前記合成画像を生成する。
【００２４】
この構成は、タイプ２である。この構成では、複数のカメラで撮影された複数の画像が、遠隔操作をする場所に送られる。従って、この場所にいるオペレータは、これらの画像を見て、遠隔操作することができる。
【００２５】
合成画像を生成する処理は、比較的負荷が高い処理である。タイプ２によれば、合成画像を生成する生成部は、遠隔操作をする場所に配置されている。従って、作業機械用画像生成装置のうち、作業機械に搭載される部品の負荷が軽くなるので、この部品について小型化することができる。
【００２６】
上記構成において、前記入力部及び前記生成部が、前記作業機械に搭載可能にされ、前記作業機械用画像生成装置は、前記作業機械に搭載可能にされ、前記合成画像を携帯端末装置に送信する送信部をさらに備える。
【００２７】
この構成によれば、携帯端末装置に合成画像を表示させることができるので、オペレータ以外の者も、場所を問わずに、合成画像を見ることができる。よって、オペレータ以外の者も作業の安全性を確認することができる。また、作業現場に、作業機械が複数ある場合、一台の携帯端末装置で、これらの作業機械に関する合成画像を見ることができる。従って、オペレータ以外の者は、作業の安全性を効率的に確認することができる。
【００２８】
本発明の他の態様に係る作業機械用画像生成方法は、作業機械に備えられるアームの長手方向を中心に前記アームを囲む方向に沿って前記アームに配置され、前記アームに取り付けられたアタッチメントに向けて光軸が設定された複数のカメラで、複数の画像を撮影する撮影ステップと、複数の前記画像を用いて、前記アタッチメント及び前記アタッチメントの周囲が写された合成画像を生成する生成ステップと、前記合成画像を表示部に表示させる表示制御ステップと、を備える。
【００２９】
本発明の他の態様に係る作業機械用画像生成方法は、本発明の一態様に係る作業機械用画像生成装置を方法の観点から規定しており、本発明の一態様に係る作業機械用画像生成装置と同様の作用効果を有する。
【発明の効果】
【００３０】
本発明によれば、オペレーターの経験及び勘に依存せずに、作業の効率性及び安全性を向上させることができる。
【図面の簡単な説明】
【００３１】
【図１】実施形態１〜実施形態３に係る作業機械を示す模式図である。
【図２】図１に示す作業機械に備えられるアームの基端部側からバケットを見た模式図である。
【図３】実施形態１に係る作業機械用画像生成装置の構成を示すブロック図である。
【図４】画像Ｉｍ−１〜Ｉｍ−５のそれぞれの模式図である。
【図５】画像Ｉｍ−１〜Ｉｍ−５を用いて生成された合成画像の模式図である。
【図６】画像Ｉｍ−１と画像Ｉｍ−２との重複関係を示す模式図である。
【図７】画像Ｉｍ−３と画像Ｉｍ−４との重複関係を示す模式図である。
【図８】画像Ｉｍ−４と画像Ｉｍ−５との重複関係を示す模式図である。
【図９】画像Ｉｍ−１と画像Ｉｍ−４との重複関係を示す模式図である。
【図１０】画像Ｉｍ−２と画像Ｉｍ−４との重複関係を示す模式図である。
【図１１】画像Ｉｍ−２と画像Ｉｍ−３との重複関係を示す模式図である。
【図１２】画像Ｉｍ−１と画像Ｉｍ−５との重複関係を示す模式図である。
【図１３】実施形態１に係る作業機械用画像生成装置の動作を説明するフローチャートである。
【図１４】実施形態１に係る作業機械が掘削をしている状態を示す模式図である。
【図１５】実施形態２に係る作業機械用画像生成装置の構成を示すブロック図である。
【図１６】実施形態２で実行される合成画像の生成と表示に関する一連の動作について説明するフローチャートである。
【図１７】実施形態２の変形例の構成を示すブロック図である。
【図１８】実施形態３に係る作業機械用画像生成装置の構成を示すブロック図である。
【図１９】実施形態３で実行される合成画像の生成と表示に関する一連の動作について説明するフローチャートである。
【図２０】作業機械のキャブ室に取り付けられたカメラの撮影範囲の例を示す模式図である。
【発明を実施するための形態】
【００３２】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、カメラ２）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、カメラ２−１）。
【００３３】
本発明の実施形態には、実施形態１、実施形態２、実施形態３がある。これらの実施形態が適用される作業機械は、例えば、建設機械、金属リサイクル機械、建物解体機である。実施形態１〜実施形態３では、作業機械として、油圧ショベルを例にして説明する。図１は、実施形態１〜実施形態３に係る作業機械１００を示す模式図である。
【００３４】
作業機械１００は、左走行クローラ１０１Ｌ及び右走行クローラを有する下部走行体１０１と、下部走行体１０１上に旋回可能に設けられたアッパーフレーム１０２と、アッパーフレーム１０２上に設けられ、その内部にエンジン（図示せず）等を配置した機械室１０３と、アッパーフレーム１０２上に起伏可能に設けられた作業アタッチメント１０４と、作業機械１００を操作するオペレータが乗車するキャブ室１０５（キャビン）と、を備える。
【００３５】
作業アタッチメント１０４は、ブーム１４１と、ブーム１４１の先端部に連結されたアーム１４２と、アーム１４２の先端部に揺動可能に取り付けられたバケット１４３とを有する。ブーム１４１は、ブームシリンダ１４４ａの伸縮動作によってアッパーフレーム１０２に対して起伏する。アーム１４２は、アームシリンダ１４４ｂの伸縮動作によってブーム１４１に対して揺動する。バケット１４３は、バケットシリンダ１４４ｃの伸縮動作によってアーム１４２に対して揺動する。ブームシリンダ１４４ａ、アームシリンダ１４４ｂ及びバケットシリンダ１４４ｃは、それぞれ油圧式の油圧シリンダからなる。
【００３６】
アーム１４２とバケット１４３との関係についてさらに説明する。バケット１４３は、アーム１４２の先端部に取り付けられるアタッチメントの例である。アタッチメントは、建設作業の用途に応じて取り換えられる。アーム１４２の先端部とバケット１４３とは、リンクアーム１４５によって連結されている。アーム１４２は、バケットブラケット１４６を備えており、バケットブラケット１４６は、アーム１４２の基端部の上面に設けられている。バケットブラケット１４６は、バケットシリンダ１４４ｃのシリンダ部１４４ｃ１とピン結合されている。バケットシリンダ１４４ｃのロッド部１４４ｃ２は、リンクアーム１４５とピン結合されている。
【００３７】
図２は、アーム１４２の基端部側からバケット１４３を見た模式図である。アーム１４２は、バケットブラケット１４６が設けられた上面１４２ａと、上面ａと対向する下面１４２ｂと、上面１４２ａと下面１４２ｂとをつなぐ第１側面１４２ｃと、上面１４２ａと下面１４２ｂとをつなぎ、第１側面１４２ｃと対向する第２側面１４２ｄと、を有する。
【００３８】
アーム１４２の基端部には、５台のカメラ２（カメラ２−１〜２−５）が取り付けられている。カメラ２−１〜２−５がそれぞれ撮影した画像（５つの画像）を用いて、バケット１４３及びこの周囲が写された合成画像が生成される。この合成画像を生成するために、５台のカメラ２が、アーム１４２の長手方向（延びる方向）を中心にアーム１４２を囲む方向に沿ってアーム１４２の基端部に配置され、バケット１４３に向けて光軸が設定されている。実施形態では、カメラ２の数が５つを例にして説明するが、カメラ２の数は、複数であればよい。カメラ２は、取り付け治具によって、アーム１４２の基端部に固定されている。
【００３９】
アーム１４２の基端部において、上面１４２ａに、バケットブラケット１４６を挟んでカメラ２−１及びカメラ２−２が取り付けられ、第１側面１４２ｃの中央に、カメラ２−３が取り付けられ、下面１４２ｂの中央に、カメラ２−４が取り付けられ、第２側面１４２ｄの中央に、カメラ２−５が取り付けられている。
【００４０】
カメラ２−１〜２−５の光軸は、バケット１４３に向けられている。カメラ２−１及びカメラ２−２は、図１に示すキャブ室１０５（キャビン）から見てアーム１４２の後方側（上面１４２ａ側）からバケット１４３を撮影する。カメラ２−４は、キャブ室１０５から見てアーム１４２の前方側（下面１４２ｂ側）からバケット１４３を撮影する。カメラ２−３は、キャブ室１０５から見てアーム１４２の側方の一方側（第１側面１４２ｃ側）からバケット１４３を撮影する。カメラ２−５は、キャブ室１０５から見てアーム１４２の側方の他方側（第２側面１４２ｄ側）からバケット１４３を撮影する。
【００４１】
アーム１４２の上面１４２ａ側からバケット１４３を撮影するカメラ２が、２台である理由を説明する。アーム１４２の各面の中央にカメラ２が配置できれば、バケット１４３及びこの周囲が写された合成画像を生成できる。アーム１４２の基端部において、上面１４２ａの中央に、バケットブラケット１４６が設けられている。このため、上面１４２ａの中央にカメラ２を配置できないので、バケットブラケット１４６を挟んで、カメラ２−１及びカメラ２−２が配置されている。
【００４２】
図３は、実施形態１に係る作業機械用画像生成装置１（以下、画像生成装置１と記載する）の構成を示すブロック図である。画像生成装置１は、図１に示すキャブ室１０５（キャビン）に配置されている。画像生成装置１は、画像入力部３と、制御処理部４と、表示部５と、操作部６と、を備える。
【００４３】
画像入力部３（入力部）は、カメラ２−１が撮影した画像Ｉｍ−１（動画）、カメラ２−２が撮影した画像Ｉｍ−２（動画）、カメラ２−３が撮影した画像Ｉｍ−３（動画）、カメラ２−４が撮影した画像Ｉｍ−４（動画）、カメラ２−５が撮影した画像Ｉｍ−５（動画）を入力する。画像入力部３は、入力インターフェース（入力インターフェース回路）により実現される。
【００４４】
制御処理部４は、画像生成装置１の各種制御及び各種処理をするハードウェアプロセッサであり、機能ブロックとして、生成部４１と、記憶部４２と、表示制御部４３と、を備える。制御処理部４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等のハードウェア、上記機能ブロックの機能を実行するためのプログラムおよびデータ等によって実現される。
【００４５】
生成部４１は、画像入力部３に入力した画像１ｍ−１〜１ｍ−５を用いて、バケット１４３（図１）及びこの周囲が写された合成画像（合成画像の動画）を生成する。図４は、画像１ｍ−１〜１ｍ−５のそれぞれの模式図である。図５は、画像１ｍ−１〜１ｍ−５を用いて生成された合成画像ＩＭの模式図である。
【００４６】
図２及び図４を参照して、カメラ２−１が撮影した画像Ｉｍ−１、カメラ２−２が撮影した画像Ｉｍ−２、カメラ２−３が撮影した画像Ｉｍ−３、カメラ２−４が撮影した画像Ｉｍ−４、カメラ２−５が撮影した画像Ｉｍ−５のそれぞれには、バケット１４３の一部が写されている。
【００４７】
図６は、画像Ｉｍ−１と画像Ｉｍ−２との重複関係を示す模式図である。図４及び図６を参照して、カメラ２−１の撮影範囲とカメラ２−２の撮影範囲とは、一部重複しており、重複範囲Ｒ−１が発生する。これにより、画像Ｉｍ−１の右側と画像Ｉｍ−２の左側とに同じ像が写されている。
【００４８】
図７は、画像Ｉｍ−３と画像Ｉｍ−４との重複関係を示す模式図である。図４及び図７を参照して、カメラ２−３の撮影範囲とカメラ２−４の撮影範囲とは、一部重複しており、重複範囲Ｒ−２が発生する。これにより、画像Ｉｍ−４の右側と画像Ｉｍ−３の左側とに同じ像が写されている。
【００４９】
図８は、画像Ｉｍ−４と画像Ｉｍ−５との重複関係を示す模式図である。図４及び図８を参照して、カメラ２−４の撮影範囲とカメラ２−５の撮影範囲とは、一部重複しており、重複範囲Ｒ−３が発生する。これにより、画像Ｉｍ−４の左側と画像Ｉｍ−５の右側とに同じ像が写されている。
【００５０】
図９は、画像Ｉｍ−１と画像Ｉｍ−４との重複関係を示す模式図である。図４及び図９を参照して、カメラ２−１の撮影範囲とカメラ２−４の撮影範囲とは、一部重複しており、重複範囲Ｒ−４が発生する。これにより、画像Ｉｍ−１の右下側と画像Ｉｍ−４の左上側とに同じ像が写されている。
【００５１】
図１０は、画像Ｉｍ−２と画像Ｉｍ−４との重複関係を示す模式図である。図４及び図１０を参照して、カメラ２−２の撮影範囲とカメラ２−４の撮影範囲とは、一部重複しており、重複領域Ｒ−５が発生する。これにより、画像Ｉｍ−２の左下側と画像Ｉｍ−４の右上側とに同じ像が写されている。
【００５２】
図１１は、画像Ｉｍ−２と画像Ｉｍ−３との重複関係を示す模式図である。図４及び図１１を参照して、カメラ２−２の撮影範囲とカメラ２−３の撮影範囲とは、一部重複しており、重複領域Ｒ−６が発生する。これにより、画像Ｉｍ−２の下側と画像Ｉｍ−３の上側とに同じ像が写されている。
【００５３】
図１２は、画像Ｉｍ−１と画像Ｉｍ−５との重複関係を示す模式図である。図４及び図１２を参照して、カメラ２−１の撮影範囲とカメラ２−５の撮影範囲とは、一部重複しており、重複領域Ｒ−７が発生する。これにより、画像Ｉｍ−１の下側と画像Ｉｍ−５の上側とに同じ像が写されている。
【００５４】
図３を参照して、生成部４１は、図４に示す画像Ｉｍ−１〜Ｉｍ−５のそれぞれに対して、画像の歪みを補正する。そして、生成部４１は、画像Ｉｍ−１〜Ｉｍ−５のそれぞれから、合成画像ＩＭに必要となる部分画像を切り出し、これらの部分画像を組み合わせることにより、図５に示す合成画像ＩＭを生成する。このように、生成部４１は、画像Ｉｍ−１〜Ｉｍ５を編集して、合成画像ＩＭを生成する。
【００５５】
記憶部４２は、この編集に必要な編集情報ＥＩを予め記憶している。編集情報ＥＩは、合成画像ＩＭの生成に必要な情報（例えば、画像Ｉｍ−１〜Ｉｍ−５から切り出される部分画像の座標、画像Ｉｍ−１〜Ｉｍ−５の歪みを補正する射影変換行列）である。
【００５６】
アタッチメントには様々な種類があり（例えば、バケット１４３、つかみ具、切断具）、アタッチメントの種類に応じて、アタッチメントの形状、大きさが異なる。このため、アタッチメントの種類に応じて、合成画像ＩＭを生成するための複数の画像の編集情報ＥＩが異なる。アタッチメントの種類に応じて、編集情報ＥＩが定められていれば、見やすい合成画像ＩＭを生成することができる。そこで、記憶部４２は、アタッチメントの種類に応じて定められた編集情報ＥＩについて、アタッチメントの複数の種類と複数の編集情報ＥＩとを紐付けて記憶しているので、様々な種類のアタッチメントに適用することができる。
【００５７】
オペレータは、アーム１４２に取り付けるアタッチメントの種類を、操作部６を用いて、制御処理部４に入力する。生成部４１は、記憶部４２に記憶されている複数の編集情報ＥＩから、入力されたアタッチメントの種類に紐付けられた編集情報ＥＩを選択し、合成画像ＩＭを生成する。
【００５８】
表示制御部４３は、各種の画像、各種の情報等を表示部５に表示させる。例えば、表示制御部４３は、作業機械１００の作動中に合成画像ＩＭ（合成画像ＩＭの動画）をリアルタイムで表示部５に表示させる。
【００５９】
表示部５は、液晶ディスプレイ、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ  ｄｉｓｐｌａｙ）等によって実現される。
【００６０】
操作部６は、画像生成装置１のユーザー（作業機械１００のオペレータ）が、画像生成装置１を操作する入力したり、画像生成装置１の設定に必要な情報（例えば、アタッチメントの種類）を入力したりする装置である。操作部６は、タッチパネル、ハードキー等によって実現される。
【００６１】
実施形態１に係る画像生成装置１の動作を説明する。図１３は、この動作を説明するフローチャートである。図２及び図１３を参照して、生成部４１は、編集情報ＥＩを予め選択している。カメラ２−１〜２−５は、作業機械１００の作動中に画像Ｉｍ１〜Ｉｍ５（動画）を撮影し（ステップＳ１）、撮影した画像Ｉｍ１〜Ｉｍ−５をリアルタイムで画像入力部３に送る。画像入力部３は、カメラ２−１〜２−５が撮影した画像Ｉｍ１〜Ｉｍ−５を入力し（ステップＳ２）、制御処理部４に画像Ｉｍ１〜Ｉｍ−５を送る。
【００６２】
生成部４１は、制御処理部４に送られた画像Ｉｍ−１〜Ｉｍ−５を編集して、合成画像ＩＭを生成する（ステップＳ３）。
【００６３】
表示制御部４３は、合成画像ＩＭを表示部５に表示させる（ステップＳ４）。キャブ室１０５（図１）内のオペレータは、目視及び表示部５に表示された合成画像ＩＭを基にして、作業機械１００を操作する。
【００６４】
実施形態１の主な効果を説明する。図１４は、実施形態１に係る作業機械１００が掘削をしている状態を示す模式図である。合成画像ＩＭには、バケット１４３及びこの周囲が写されるので、バケット１４３の周囲に人物がいれば、人物が写される。従って、キャブ室１０５（オペレータ）から見て、ブーム１４１、アーム１４２及びバケット１４３（アタッチメント）の後方が、死角領域にならない。
【００６５】
掘削において、穴１５１が深くなり、オペレータがバケット１４３及びこの周囲を目視できなくても、オペレータは、合成画像ＩＭを見ることにより、バケット１４３及びこの周囲の状況を把握することができる。
【００６６】
実施形態１においても、死角領域１５０が発生する。死角領域１５０は、図２０に示す死角領域１０１１より小さくすることができる。なぜならば、実施形態１では、カメラ２から見てバケット１４３の影となる領域が死角領域１５０となるのに対して、図２０に示す例では、カメラ１００２から見てブーム１００３、アーム１００４及びバケット１００５の影となる領域が死角領域１０１１となるからである。
【００６７】
実施形態２を説明する。実施形態２は、遠隔操作室２００にいるオペレータが、作業機械１００を遠隔操作することを前提とし、オペレータは、遠隔操作室２００で合成画像ＩＭを見ることができる。図１５は、実施形態２に係る作業機械用画像生成装置７（以下、画像生成装置７）の構成を示すブロック図である。画像生成装置７について、図３に示す実施形態１に係る画像生成装置１との相違点を説明する。
【００６８】
作業機械１００は無人なので、画像生成装置７は、図３に示す表示制御部４３、表示部５及び操作部６を備えていない。画像生成装置７は、通信部８をさらに備える。通信部８は、遠隔操作室２００に配置された通信部１０と通信する通信インターフェース（通信インターフェース回路）である。通信は、有線通信でもよいし、無線通信でもよい。無線通信としては、例えば、特定小電力無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話通信、無線ＬＡＮがある。制御処理部４は、通信部８に合成画像ＩＭを送信させる。
【００６９】
キャブ室１０５（図１）には、作業機械１００の操作に必要な各種操作レバー１６１が配置されている。各種操作とは、例えば、図１に示す下部走行体１０１、アッパーフレーム１０２、作業アタッチメント１０４等の操作である。作業機械１００は、各種操作レバー１６１を無人で動かすための駆動機構１６２（モータ等）と、駆動機構１６２を制御する駆動機構制御部１６３と、をさらに備える。
【００７０】
通信部８は、通信部１０から送信されてきた遠隔操作信号ＣＳを受信する。遠隔操作信号ＣＳは、各種操作レバー１６１を遠隔操作する信号である。駆動機構制御部１６３は、遠隔操作信号ＣＳに基づいて、駆動機構１６２を制御するハードウェアプロセッサである。駆動機構制御部１６３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、および、ＨＤＤ等のハードウェア、駆動機構制御部１６３の機能を実行するためのプログラムおよびデータ等によって実現される。
【００７１】
作業機械１００には、全方向カメラ２１、俯瞰カメラ２２、メインカメラ２３がさらに取り付けられている。全方向カメラ２１は、作業機械１００を中心にして３６０度方向を写した全方向動画Ｖ１を撮影する。俯瞰カメラ２２は、作業機械１００及び作業現場を俯瞰した俯瞰動画Ｖ２を撮影する。メインカメラ２３は、キャブ室１０５から作業現場を写したメイン動画Ｖ３を撮影する。これらのカメラが撮影した動画が、画像入力部３に入力される。制御処理部４は、これらの動画を通信部８に送信させる。
【００７２】
遠隔操作室２００には、制御処理部９、通信部１０、表示制御部１１、表示部１２及び操作部１３が配置されている。制御処理部９は、作業機械１００の遠隔操作に関する各種制御及び各種処理をするハードウェアプロセッサである。制御処理部９は、ＣＰＵ、ＲＡＭ、ＲＯＭ、および、ＨＤＤ等のハードウェア、遠隔操作を実行するためのプログラムおよびデータ等によって実現される。
【００７３】
通信部１０は、通信部８と通信する通信インターフェース（通信インターフェース回路）である。通信部１０は、通信部８が送信した合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３を受信し、遠隔操作信号ＣＳを送信する。
【００７４】
表示制御部１１は、通信部１０が受信した合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３を、表示部１２に表示させる表示制御回路である。表示部１２は、液晶ディスプレイ、有機ＥＬディスプレイ等によって実現される。合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３は、一つの表示部１２で表示されてもよいし、複数の表示部１２で表示されてもよい。後者は、例えば、合成画像ＩＭを表示する表示部１２、全方向動画Ｖ１を表示する表示部１２、俯瞰動画Ｖ２を表示する表示部１２、メイン動画Ｖ３を表示する表示部１２がそれぞれ設けられる。
【００７５】
操作部１３は、操作レバー、各種スイッチ等により構成される。オペレータが、作業機械１００を遠隔操作するために、表示部１２に写された画像（合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３）を見ながら、操作部１３の操作レバーを操作したとき、制御処理部９は、この操作に対応する遠隔操作信号ＣＳを生成し、通信部１０に遠隔操作信号ＣＳを送信させる。また、オペレータは、操作部１３を操作して、表示部１２に写された上記画像の各種調整（例えば、ズーム）をすることができる。
【００７６】
実施形態２で実行される合成画像ＩＭの生成と表示に関する一連の動作について説明する。図１６は、この動作を説明するフローチャートである。図１５及び図１６を参照して、ステップＳ１、ステップＳ２及びステップＳ３の処理は、図１３に示すステップＳ１、ステップＳ２及びステップＳ３の処理と同じである。制御処理部４は、通信部８に合成画像ＩＭを送信させる（ステップＳ５）。ステップＳ１〜Ｓ５の処理が繰り返される。
【００７７】
制御処理部９は、通信部１０が合成画像ＩＭを受信したか否かを判断する（ステップＴ１）。制御処理部９は、通信部１０が合成画像ＩＭを受信していないと判断したとき（ステップＴ１でＮｏ）、ステップＴ１の処理を繰り返す。制御処理部９は、通信部１０が合成画像ＩＭを受信したと判断したとき（ステップＴ１でＹｅｓ）、表示制御部１１は、ステップＴ１で受信された合成画像ＩＭを表示部１２に表示させる（ステップＴ２）。ステップＴ１，Ｔ２の処理が繰り返される。
【００７８】
実施形態２の主な効果を説明する。遠隔操作の場合、オペレータが作業機械１００に搭乗して実際に操作する場合と比べて、オペレータの視野が制限されるので、作業の効率性及び安全性が良くない。実施形態２によれば、オペレータは、合成画像ＩＭを見ることができるので、作業の効率性及び安全性を向上させることができる。
【００７９】
実施形態２の変形例を説明する。図１７は、実施形態２の変形例の構成を示すブロック図である。実施形態２の変形例が、図１５に示す実施形態２と相違するのは、携帯端末装置１５でも、合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３を見ることができる点である。
【００８０】
携帯端末装置１５は、通信部８と無線通信することができる。無線通信としては、例えば、特定小電力無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話通信、無線ＬＡＮがある。携帯端末装置１５は、例えば、タブレット端末、スマートフォンである。
【００８１】
携帯端末装置１５は、通信部８から送信されてきた合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３を受信し、表示させることができる。この動作のフローチャートは、図１６に示すフローチャートと同様である。
【００８２】
携帯端末装置１５のユーザ（例えば、アーム１４２にアタッチメントを取り付けた者）が、携帯端末装置１５に、アーム１４２に取り付けられたアタッチメントの種類を入力し、この情報を通信部８に送信する操作をする。通信部８は、アタッチメントの種類を示す情報を受信し、生成部４１は、この情報を示す種類と紐付けられた編集情報ＥＩを選択し、この編集情報ＥＩを基にして合成画像ＩＭを生成する。従って、携帯端末装置１５のユーザは、アタッチメントの種類に応じた適切な合成画像ＩＭを見ることができる。
【００８３】
実施形態２の変形例の主な効果を説明する。この変形例によれば、携帯端末装置１５に合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３を表示させることができるので、オペレータ以外の者も、場所を問わずに、これらを見ることができる。よって、オペレータ以外の者も作業の安全性を確認することができる。また、作業現場に、作業機械１００が複数ある場合、一台の携帯端末装置１５で、これらの作業機械１００に関する合成画像ＩＭ、全方向動画Ｖ１、俯瞰動画Ｖ２、メイン動画Ｖ３を見ることができる。従って、オペレータ以外の者は、作業の安全性を効率的に確認することができる。
【００８４】
実施形態３を説明する。実施形態３は、実施形態２と同じく、オペレータが遠隔操作室２００から作業機械１００を遠隔操作することを前提とする。実施形態２では、合成画像ＩＭが作業機械１００側で生成されるが、実施形態３では、合成画像ＩＭが、遠隔操作室２００側で生成される。図１８は、実施形態３に係る作業機械用画像生成装置１４（以下、画像生成装置１４）の構成を示すブロック図である。画像生成装置１４について、図１５に示す実施形態２に係る画像生成装置７との相違点を説明する。
【００８５】
画像生成装置１４は、図１５に示す制御処理部９、通信部１０、表示制御部１１、表示部１２及び操作部１３をさらに備える。生成部４１及び記憶部４２は、制御処理部４に備えられておらず、制御処理部９に備えられている。従って、生成部４１及び記憶部４２は、作業機械１００に搭載されておらず、遠隔操作室２００に配置されている。
【００８６】
制御処理部４は、画像Ｉｍ−１〜Ｉｍ−５を通信部８に送信される。通信部１０は、通信部８から送信されてきた画像Ｉｍ−１〜Ｉｍ−５を受信する。生成部４１は、通信部１０が受信した画像Ｉｍ−１〜Ｉｍ−５を基にして、合成画像ＩＭを生成する。
【００８７】
実施形態３で実行される合成画像ＩＭの生成と表示に関する一連の動作について説明する。図１９は、この動作を説明するフローチャートである。図１８及び図１９を参照して、ステップＳ１及びステップＳ２の処理は、図１６に示すステップＳ１及びステップＳ２の処理と同じである。制御処理部４は、ステップＳ２で画像入力部３に入力された画像Ｉｍ１〜Ｉｍ−５を、通信部８に送信させる（ステップＳ６）。ステップＳ１、ステップＳ２、ステップＳ６の処理が繰り返される。
【００８８】
制御処理部９は、通信部１０が画像Ｉｍ−１〜Ｉｍ−５を受信したか否かを判断する（ステップＴ３）。制御処理部９は、通信部１０が画像Ｉｍ−１〜Ｉｍ−５を受信していないと判断したとき（ステップＴ３でＮｏ）、ステップＴ３の処理を繰り返す。制御処理部９は、通信部１０が画像Ｉｍ−１〜Ｉｍ−５を受信したと判断したとき（ステップＴ３でＹｅｓ）、生成部４１は、ステップＴ３で受信された画像Ｉｍ−１〜Ｉｍ−５を基にして、合成画像ＩＭを生成する（ステップＴ４）。表示制御部１１は、この合成画像ＩＭを表示部１２に表示させる（ステップＴ５）。ステップＴ３〜ステップＴ５の処理が繰り返される。
【００８９】
実施形態３の主な効果を説明する。実施形態３では、５台のカメラ２で撮影された画像Ｉｍ−１〜Ｉｍ−５が通信部１０で受信され、制御処理部９に送られる。従って、表示制御部１１が画像Ｉｍ−１〜Ｉｍ−５を表示部１２に表示させることができる。よって、遠隔操作室２００にいるオペレータは、画像Ｉｍ−１〜Ｉｍ−５を見て、遠隔操作することができる。
【００９０】
合成画像ＩＭを生成する処理は、比較的負荷が高い処理である。実施形態３によれば、合成画像ＩＭを生成する生成部４１を備える制御処理部９は、遠隔操作室２００に配置されている。従って、画像生成装置１４のうち、作業機械１００に搭載される制御処理部４の負荷が軽くなるので、小型の制御処理部４を用いることができる。
【符号の説明】
【００９１】
１，７，１４  作業機械用画像生成装置
２−１〜２−５  カメラ
２１  全方向カメラ
２２  俯瞰カメラ
２３  メインカメラ
１００  作業機械
１０５  キャブ室（キャビン）
１４１  ブーム
１４２  アーム
１４２ａ  上面
１４２ｂ  下面
１４２ｃ  第１側面
１４２ｄ  第２側面
１４３  バケット
１５０  死角領域
１５１  穴
ＣＳ  遠隔操作信号
ＥＩ  編集情報
Ｉｍ−１〜Ｉｍ−５  画像
ＩＭ  合成画像
Ｒ−１〜Ｒ−７  撮影範囲の重複範囲
Ｖ１  全方向動画
Ｖ２  俯瞰動画
Ｖ３  メイン動画
【図１】
2019203285.tif 000003
【図２】
2019203285.tif 000004
【図３】
2019203285.tif 000005
【図４】
2019203285.tif 000006
【図５】
2019203285.tif 000007
【図６】
2019203285.tif 000008
【図７】
2019203285.tif 000009
【図８】
2019203285.tif 000010
【図９】
2019203285.tif 000011
【図１０】
2019203285.tif 000012
【図１１】
2019203285.tif 000013
【図１２】
2019203285.tif 000014
【図１３】
2019203285.tif 000015
【図１４】
2019203285.tif 000016
【図１５】
2019203285.tif 000017
【図１６】
2019203285.tif 000018
【図１７】
2019203285.tif 000019
【図１８】
2019203285.tif 000020
【図１９】
2019203285.tif 000021
【図２０】
2019203285.tif 000022