(57)【要約】【課題】複数の画像センサの取付状態をそれぞれ確認し、必要に応じて調整する作業の作業性を向上させることが可能な取付状態表示装置を提供する。【解決手段】画像センサに設けられ、画像センサの取付状態を取得する取付状態取得装置と、取付状態取得装置が取得した取付状態が適正か否かを判定する判定手段と、表示装置３と、判定手段による画像センサ毎の判定結果を表示装置３に一度に表示させる表示制御手段と、を有する。【選択図】図５
2020051168.tif 000002
【特許請求の範囲】
【請求項１】
作業機械の異なる複数の位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの取付状態をそれぞれ表示する取付状態表示装置であって、
前記画像センサに設けられ、前記画像センサの前記取付状態を取得する取付状態取得装置と、
前記取付状態取得装置が取得した前記取付状態が適正か否かを判定する判定手段と、
表示装置と、
前記判定手段による前記画像センサ毎の判定結果を前記表示装置に一度に表示させる表示制御手段と、
を有することを特徴とする取付状態表示装置。
【請求項２】
前記表示装置が、情報処理端末に設けられていることを特徴とする請求項１に記載の取付状態表示装置。
【請求項３】
前記画像センサの正規の前記取付状態である正規状態を、前記画像センサ毎に記憶する記憶装置をさらに有し、
前記判定手段は、前記取付状態取得装置が取得した前記取付状態と、前記記憶装置が記憶する前記正規状態とに基づいて、前記取付状態が適正か否かを判定することを特徴とする請求項１又は２に記載の取付状態表示装置。
【請求項４】
前記複数の画像センサの中から対象とする前記画像センサを選択する選択手段をさらに有し、
前記表示制御手段は、前記選択手段により選択された前記画像センサにおける前記取付状態と前記正規状態とを、前記表示装置にそれぞれ表示させることを特徴とする請求項３に記載の取付状態表示装置。
【請求項５】
前記表示装置が、情報処理端末に設けられており、
前記情報処理端末は、自身の位置情報を取得する位置情報取得手段を有し、
前記選択手段は、前記位置情報に最も近い前記画像センサを選択することを特徴とする請求項４に記載の取付状態表示装置。
【請求項６】
前記判定手段および前記表示制御手段が、前記作業機械に設けられていることを特徴とする請求項１〜５のいずれか１項に記載の取付状態表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機械に取り付けられた複数の画像センサの取付状態をそれぞれ表示する取付状態表示装置に関する。
【背景技術】
【０００２】
特許文献１には、自動車等の車輌に搭載されるカメラにより車輌前方の景色を撮像し、画像認識装置によって走行状態を認識する車輌監視システムに用いられ、画像認識装置でカメラの取付位置の検査を行って適正か否かを判断し、車載ナビゲーション装置に接続された表示モニタにその結果を表示する、車載カメラの検査方法が開示されている。作業者は、表示モニタに表示された結果に応じて、カメラの取付位置の調整を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−９５０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、油圧ショベル等の作業機械では、自動車に比べて死角が多いことから、特許文献１のカメラのような画像センサが複数取り付けられる。これら複数の画像センサの取付状態をそれぞれ確認し、必要に応じて調整する場合に、表示モニタに取付状態を１つずつ表示させていたのでは、作業性が悪い。
【０００５】
本発明の目的は、複数の画像センサの取付状態をそれぞれ確認し、必要に応じて調整する作業の作業性を向上させることが可能な取付状態表示装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、作業機械の異なる複数の位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの取付状態をそれぞれ表示する取付状態表示装置であって、前記画像センサに設けられ、前記画像センサの前記取付状態を取得する取付状態取得装置と、前記取付状態取得装置が取得した前記取付状態が適正か否かを判定する判定手段と、表示装置と、前記判定手段による前記画像センサ毎の判定結果を前記表示装置に一度に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によると、画像センサ毎の、取付状態が適正か否かの判定結果が、表示装置に一度に表示される。これにより、作業者は、複数の画像センサの取付状態が適正か否かを一目で確認することができる。よって、複数の画像センサの取付状態をそれぞれ確認し、必要に応じて調整する作業の作業性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】作業機械の上面図である。
【図２】画像センサの斜視図である。
【図３】取付状態表示装置の回路図である。
【図４】情報処理端末の斜視図である。
【図５】表示装置の画面を示す図である。
【図６】表示制御のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。
【００１０】
（作業機械の構成）
本実施形態による取付状態表示装置は、作業機械の異なる複数の位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの取付状態をそれぞれ表示するものである。作業機械１０は、作業機械１０の上面図である図１に示すように、例えば油圧ショベルである。作業機械１０は、下部走行体１１と、上部旋回体１２と、作業装置１３と、を備えている。
【００１１】
下部走行体１１は、作業機械１０を走行させる部分である。上部旋回体１２は、旋回装置を介して下部走行体１１の上部に旋回可能に設けられている。上部旋回体１２の前部には、キャブ（運転室）１４が設けられている。
【００１２】
作業装置１３は、上部旋回体１２に取り付けられている。作業装置１３は、ブームと、アームと、バケットと、を備える。
【００１３】
作業機械１０には、複数の画像センサ２０がそれぞれ取り付けられている。これら画像センサ２０は、作業機械１０の異なる複数の位置にそれぞれ取り付けられており、それぞれが画像を取得する。本実施形態では、４つの画像センサ２０が、異なる４つの位置Ａ〜Ｄにそれぞれ取り付けられている。
【００１４】
画像センサ２０は、赤外線センサやＴＯＦ（Time of Flight）カメラ等である。画像センサ２０が取得する画像には、距離画像が含まれる。なお、画像センサ２０は、２次元平面にマトリクス状に配置した複数の赤外線センサにより垂直方向の距離を同時計測することで得られる３次元の点群データに基づいて、距離を計測するものや、カメラを２台以上使用して立体視を行うことで、対象物との距離を計測するものであってもよい。
【００１５】
画像センサ２０の斜視図である図２に示すように、画像センサ２０は、センサ本体２１と、支持部材２２と、を有している。支持部材２２は、センサ本体２１のピッチング角度およびヨーイング角度を調整可能に、センサ本体２１を支持している。
【００１６】
（取付状態表示装置の構成）
取付状態表示装置１の回路図である図３に示すように、取付状態表示装置１は、取付状態取得装置２と、表示装置３と、記憶装置４と、通信装置５と、コントローラ６と、を有している。
【００１７】
取付状態取得装置２は、画像センサ２０に設けられており、画像センサ２０の取付状態を取得する。本実施形態において、取付状態取得装置２は、画像センサ２０が取得する画像を、画像センサ２０の取付状態として取得する。
【００１８】
なお、取付状態取得装置２は、画像センサ２０の姿勢を、画像センサ２０の取付状態として取得してもよい。具体的には、センサ本体２１のピッチング角度、ローリング角度、および、ヨーイング角度を、画像センサ２０の姿勢として取得してよい。
【００１９】
本実施形態において、表示装置３は、情報処理端末３０に設けられている。情報処理端末３０は、タブレットＰＣや、スマートフォン、モバイルＰＣなどである。なお、表示装置３は、キャブ１４内に取り付けられていてもよい。
【００２０】
記憶装置４は、画像センサ２０の正規の取付状態である正規状態を、画像センサ２０毎に記憶している。
【００２１】
通信装置５は、情報処理端末３０の通信装置３１と通信を行うことが可能である。
【００２２】
コントローラ（判定手段）６は、取付状態取得装置２が取得した画像センサ２０の取付状態が適正か否かを判定する。より具体的には、コントローラ６は、取付状態取得装置２が取得した取付状態と、記憶装置４が記憶する正規状態とに基づいて、画像センサ２０の取付状態が適正か否かを判定する。
【００２３】
ここで、情報処理端末３０の斜視図である図４に示すように、コントローラ（表示制御手段）６は、取付状態取得装置２が取得した取付状態と、記憶装置４が記憶する正規状態とを重畳させた調整画面を、表示装置３に表示させる。なお、ここでは、４つの画像センサ２０のいずれかが選択され、選択された画像センサ２０における取付状態と正規状態とが表示装置３にそれぞれ表示されているものとして説明する。
【００２４】
上述のように、取付状態取得装置２が取得する取付状態は、画像センサ２０が取得する画像である。画像センサ２０の取付状態が適正であれば、画像センサ２０が取得する画像には、作業機械１０の一部が構造物Ｓとして写り込む。一方、記憶装置４が記憶する正規状態には、画像センサ２０の取付状態が適正であれば写り込むであろう構造物Ｓの輪郭線Ｏが含まれている。したがって、取付状態取得装置２が取得した取付状態に写り込んだ構造物Ｓの端が、記憶装置４が記憶する正規状態の輪郭線Ｏと一致すれば、画像センサ２０の取付状態が適正であることになる。
【００２５】
コントローラ６は、取付状態取得装置２が取得した取付状態に移り込んだ構造物Ｓの端が、記憶装置４が記憶する正規状態の輪郭線Ｏと一致するか否かを判定し、一致する場合に、画像センサ２０の取付状態が適正であると判定する。
【００２６】
このように、画像センサの現在の取付状態と、その画像センサの正規の取付状態である正規状態とに基づいて、取付状態が適正か否かが判定される。これにより、取付状態の適正を正確に判定することができる。
【００２７】
また、表示装置３の画面を示す図である図５に示すように、コントローラ（表示制御手段）６は、判定画面を表示装置３に表示させる。この判定画面においては、画像センサ２０毎の判定結果が一度に表示される。判定画面の中央には、作業機械１０を上方から見た画像が表示されるとともに、判定画面が４分割され、４つの画像センサ２０の位置Ａ〜Ｄに対応する分割画面に、それぞれの判定結果が表示される。図５では、位置Ａに取り付けられた画像センサ２０の判定結果が「ＮＧ」で、位置Ｂ〜Ｄに取り付けられた３つの画像センサ２０の判定結果がそれぞれ「ＯＫ」である場合を示している。
【００２８】
このように、画像センサ２０毎の、取付状態が適正か否かの判定結果が、表示装置３に一度に表示される。これにより、作業者は、複数の画像センサ２０の取付状態が適正か否かを一目で確認することができる。よって、複数の画像センサ２０の取付状態をそれぞれ確認し、必要に応じて調整する作業の作業性を向上させることができる。
【００２９】
また、図４に示す調整画面や、図５に示す判定画面が、情報処理端末３０の表示装置３に表示される。作業者は、判定画面で取付状態を確認し、調整画面を見ながら取付状態の調整を行う。
【００３０】
ここで、作業機械１０では、画像センサ２０は、キャブ１４外であって、地上から手が届かない箇所に設置される場合が多い。そのため、画像センサ２０がキャブ１４外に設けられ、キャブ１４内に表示装置３が設けられている場合には、作業者はキャブ１４内とキャブ１４外とを往復しながら、取付状態の確認や調整を行わなければならず、手間がかかる。そこで、情報処理端末３０の表示装置３に取付状態が適正か否かの判定結果を表示させることで、作業者は情報処理端末３０を携帯しながら、図５に示す判定画面により、取付状態が適正か否かの確認を容易に行うことができる。また、情報処理端末３０の表示装置３に図４に示す調整画面を表示させることで、作業者は情報処理端末３０を携帯しながら、取付状態の調整を容易に行うことができる。
【００３１】
図３に示すように、情報処理端末３０は、自身の位置情報を取得する端末コントローラ（位置情報取得手段）３２を有している。位置情報は、ＧＰＳ信号やＧＮＳＳ信号などである。なお、位置情報は、通信装置５と通信装置３１との間の電波強度の変化、音の反射時間や反射による周波数の変化もしくは反射時間を基に得てもよい。
【００３２】
コントローラ（選択手段）６は、複数の画像センサ２０の中から対象とする画像センサ２０を選択する。本実施形態では、コントローラ６は、情報処理端末３０の位置情報に最も近い画像センサ２０を選択する。
【００３３】
図４に示すように、コントローラ（表示制御手段）６は、選択された画像センサ２０における取付状態と正規状態とを、表示装置３に表示させる。よって、作業者は、取付状態と正規状態とを見比べることで、取付状態の確認や調整を容易に行うことができる。
【００３４】
また、情報処理端末３０の位置に最も近い画像センサ２０における取付状態と正規状態とが、情報処理端末３０の表示装置３に表示される。つまり、情報処理端末３０を携帯する作業者が最も近づいた画像センサ２０における調整画面（図４参照）が、情報処理端末３０の表示装置３に表示される。よって、対象とする画像センサ２０を選択する手間が省けるので、取付状態の調整をすばやく行うことができる。
【００３５】
なお、画像センサ２０の取付状態のずれを自動で調整する構成であってもよい。即ち、図２において、画像センサ２０は、センサ本体２１および支持部材２２を回転可能なアクチュエータを備え、コントローラ６がこれらアクチュエータを制御することで、センサ本体２１のピッチング角度およびヨーイング角度を自動で調整してもよい。
【００３６】
本実施形態では、図３に示すように、コントローラ６が、取付状態が適正か否かを判定し、判定結果を表示装置３に一度に表示させている。つまり、取付状態が適正か否かを判定する判定手段と、判定結果を表示装置３に一度に表示させる表示制御手段とが、作業機械１０に設けられている。これにより、判定手段および表示制御手段の少なくとも一方が画像センサ２０に設けられている場合に比べて、画像センサ２０の構成を簡略化し、画像センサ２０のコストを下げることができる。
【００３７】
なお、情報処理端末３０の端末コントローラ３２が、取付状態が適正か否かの判定、および、判定結果を表示装置３に一度に表示させる制御の少なくとも一方を行う構成であってもよい。
【００３８】
（取付状態表示装置の動作）
次に、表示制御のフローチャートである図６を用いて、取付状態表示装置１の動作を説明する。
【００３９】
まず、コントローラ６は、取付状態取得装置２を介して画像センサ２０の取付状態を取得する（ステップＳ１）。次に、コントローラ６は、取付状態が適正か否かを判定する（ステップＳ２）。そして、コントローラ６は、図５に示す判定画面を表示装置３に表示させる（ステップＳ３）。
【００４０】
次に、コントローラ６は、情報処理端末３０に最も近い画像センサ２０を選択する（ステップＳ４）。そして、コントローラ６は、選択した画像センサ２０の取付状態と正規状態とを、図４に示す調整画面として表示装置３に表示させる（ステップＳ５）。そして、本フローを終了する。作業者は、調整画面を見ながら、必要に応じて取付状態の調整を行うことになる。
【００４１】
（効果）
以上に述べたように、本実施形態に係る取付状態表示装置１によれば、画像センサ２０毎の、取付状態が適正か否かの判定結果が、表示装置３に一度に表示される。これにより、作業者は、複数の画像センサ２０の取付状態が適正か否かを一目で確認することができる。よって、複数の画像センサ２０の取付状態をそれぞれ確認し、必要に応じて調整する作業の作業性を向上させることができる。
【００４２】
また、表示装置３が、情報処理端末３０に設けられている。作業機械１０では、画像センサ２０は、キャブ１４外であって、地上から手が届かない箇所に設置される場合が多い。そのため、画像センサ２０がキャブ１４外に設けられ、キャブ１４内に表示装置３が設けられている場合には、作業者はキャブ１４内とキャブ１４外とを往復しながら、取付状態の確認や調整を行わなければならず、手間がかかる。そこで、情報処理端末３０の表示装置３に取付状態が適正か否かの判定結果を表示させることで、作業者は情報処理端末３０を携帯しながら、取付状態が適正か否かの確認を容易に行うことができる。
【００４３】
また、画像センサ２０の現在の取付状態と、その画像センサ２０の正規の取付状態である正規状態とに基づいて、取付状態が適正か否かが判定される。これにより、取付状態の適正を正確に判定することができる。
【００４４】
また、選択された画像センサ２０における取付状態と正規状態とが、表示装置３に表示される。よって、作業者は、取付状態と正規状態とを見比べることで、取付状態の確認や調整を容易に行うことができる。
【００４５】
また、複数の画像センサ２０の中から、情報処理端末３０に最も近い画像センサ２０が選択される。そして、情報処理端末３０に最も近い画像センサ２０における取付状態と正規状態とが、情報処理端末３０の表示装置３に表示される。よって、対象とする画像センサ２０を選択する手間が省けるので、取付状態の調整をすばやく行うことができる。
【００４６】
また、判定手段および表示制御手段が、作業機械１０に設けられている。これにより、判定手段および表示制御手段の少なくとも一方が画像センサ２０に設けられている場合に比べて、画像センサ２０の構成を簡略化し、画像センサ２０のコストを下げることができる。
【００４７】
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。
【００４８】
例えば、取付状態取得装置２が、画像センサ２０の姿勢を、画像センサ２０の取付状態として取得する場合には、取付状態取得装置２が取得した、センサ本体２１のピッチング角度、ローリング角度、および、ヨーイング角度と、記憶装置４が記憶するセンサ本体２１の正規のピッチング角度、ローリング角度、および、ヨーイング角度とに基づいて、取付状態が適正か否かを判定してよい。また、図４に示す調整画面において、画像センサ２０が取得する画像や構造物Ｓの輪郭線Ｏに代えて、取付状態取得装置２が取得した、センサ本体２１のピッチング角度、ローリング角度、および、ヨーイング角度の数値と、記憶装置４が記憶するセンサ本体２１の正規のピッチング角度、ローリング角度、および、ヨーイング角度の数値とを、同時に表示させてよい。
【符号の説明】
【００４９】
１  取付状態表示装置
２  取付状態取得装置
３  表示装置
４  記憶装置
５  通信装置
６  コントローラ（判定手段、表示制御手段、選択手段）
１０  作業機械
１１  下部走行体
１２  上部旋回体
１３  作業装置
１４  キャブ
２０  画像センサ
２１  センサ本体
２２  支持部材
３０  情報処理端末
３１  通信装置
３２  端末コントローラ（位置情報取得手段）
【図１】
2020051168.tif 000003
【図２】
2020051168.tif 000004
【図３】
2020051168.tif 000005
【図４】
2020051168.tif 000006
【図５】
2020051168.tif 000007
【図６】
2020051168.tif 000008