(57)【要約】  一時記憶装置が、撮像装置で取得された画像データを一時的に記憶する。複数のセンサが、それぞれショベルの動作状態に関わる複数の物理量を検出する。制御装置が、センサで検出された検出値に基づいて動作の異常判定を行う。異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データを、一時記憶装置から異常情報記憶装置に転送する。ショベルの動作状態の異常の原因の特定を容易にする。
2012157603.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
異常情報記憶装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する制御装置とを有するショベル。
【請求項２】
前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を前記異常情報記憶装置に格納する請求項１に記載のショベル。
【請求項３】
前記制御装置は、
動作が異常と判定されると、さらに、動作が異常と判定された時刻よりも後の第２の時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する請求項１または２に記載のショベル。
【請求項４】
前記制御装置は、
正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
前記単位空間の中心から、前記複数のセンサで検出された評価対象の検出値までのマハラノビス距離を算出し、
算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項１乃至３のいずれか１項に記載のショベル。
【請求項５】
前記一時記憶装置は、空きの記憶領域がなくなると、最も古い画像データを新しい画像データで上書きするリングバッファ構造を有し、
前記制御装置は、前記一時記憶装置に記憶される画像データの解像度を指定する画像取込モードを記憶する画像取込モード記憶部を有し、
前記画像取込モード記憶部に記憶されている画像取込モードで指定された解像度で、前記撮像装置で取得された画像データを前記一時記憶装置に格納する請求項１乃至４のいずれか１項に記載のショベル。
【請求項６】
さらに、画像を表示する出力装置を有し、
前記制御装置は、
前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１乃至５のいずれか１項に記載のショベル。
【請求項７】
前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項６に記載のショベル。
【請求項８】
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
前記データを送信する送信装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの、前記一時記憶装置に記憶されている画像データを、前記送信装置から送信する制御装置と
を有するショベル。
【請求項９】
前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を、前記送信装置から送信する請求項８に記載のショベル。
【請求項１０】
前記制御装置は、
異常と判定すると、さらに、動作が異常と判定された時刻よりも後の第２の時刻までの前記画像データを、前記送信装置から送信する請求項８または９に記載のショベル。
【請求項１１】
前記制御装置は、
正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
前記単位空間の中心から、前記複数のセンサで取得された評価対象の検出値までのマハラノビス距離を算出し、
算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項８乃至１０のいずれか１項に記載のショベル。
【請求項１２】
ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
異常情報記憶装置と、
制御装置と
を有し、
前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
前記コマンドに応答して、前記ショベルから前記送受信機に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置。
【請求項１３】
さらに、
画像を表示する出力装置を有し、
前記制御装置は、
前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１２に記載のショベルの監視装置。
【請求項１４】
前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項１３に記載のショベルの監視装置。
【請求項１５】
撮像装置、前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置、ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサ、及び前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、前記画像データを、前記一時記憶装置から取り出して前記ショベルの監視装置に送信するローカル制御装置を有するショベルから画像データを受信する受信装置と、
画像データを記憶する異常情報記憶装置と、
画像を表示する出力装置と、
制御装置と
を有するショベルの監視装置であって、
前記制御装置は、前記受信装置で受信した画像データを前記異常情報記憶装置に格納し、前記異常情報記憶装置に格納されている画像データを、前記出力装置に画像として表示するショベルの監視装置。
【請求項１６】
前記制御装置は、
前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１５に記載のショベルの監視装置。
【請求項１７】
ショベルに搭載された撮像装置で取得された画像データを表示するショベルの出力装置であって、
前記ショベルの異常判定時刻よりも前の第１の時刻から、少なくとも異常判定時刻までの前記画像データを表示するショベルの出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作の異常を判定するショベル、ショベルの監視装置、及び動作の異常を判定するショベルに搭載される出力装置に関する。
【背景技術】
【０００２】
建設機械に搭載されたセンサで検出された検出値に基づいて、建設機械の故障判定を行う方法が知られている（特許文献１）。故障情報がセンタに送られ、センタでは、異常値を検出したセンサに基づいて、故障診断手順が抽出される。建設機械のオペレータは、この故障診断手順に従って故障診断を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３３２６６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
故障診断手順が示されても、センサの検出値及び故障診断手順に従った診断のみでは、故障の原因を特定することが困難である場合がある。特に、ショベルでは、ブーム等のアタッチメントやキャビンが旋回体に搭載されているため、前後方向だけではなく左右方向にも移動する。このように、作業領域が広範囲に及ぶため、故障に結び付いてしまう状況が発生しやすい。本発明の目的は、故障時の状況を確認することで、故障の原因の特定を容易にするショベル、及びその監視装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の一観点によると、
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
異常情報記憶装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する制御装置とを有するショベルが提供される。【０００６】
本発明の他の観点によると、
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
前記データを送信する送信装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの、前記一時記憶装置に記憶されている画像データを、前記送信装置から送信する制御装置と
を有するショベルが提供される。【０００７】
本発明のさらに他の観点によると、
ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
異常情報記憶装置と、
制御装置とを有し、
前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
前記コマンドに応答して、前記ショベルから前記送受信機に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置が提供される。
【発明の効果】
【０００８】
動作状態が異常であると判定された時点の画像データを利用して、異常の原因を究明することができる。
【図面の簡単な説明】
【０００９】
【図１】図１Ａ及び図１Ｂは、それぞれ実施例１によるショベルの側面図及び平面図である。
【図２】図２は、実施例１によるショベルのブロック図である。
【図３】図３は、実施例１によるショベルの画像取込制御装置の処理を示すフローチャートである。
【図４】図４は、実施例１によるショベルの制御装置の処理を示すフローチャートである。
【図５】図５は、実施例１によるショベルの出力装置に表示される画像の一例を示す図である。
【図６】図６は、実施例２によるショベルの制御装置の処理を示すフローチャートである。
【図７】図７は、センサで検出された検出値の一例を示す図表である。
【図８】図８は、実施例２によるショベルの出力装置に表示される画像の一例を示す図である。
【図９】図９は、実施例３によるショベル及び監視装置のブロック図である。
【図１０】図１０は、実施例３によるショベルの制御装置の処理を示すフローチャートである。
【図１１】図１１は、実施例４によるショベル及び監視装置のブロック図である。
【図１２】図１２は、実施例４による監視装置の制御装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施例１］
図１Ａ及び図１Ｂに、それぞれ実施例１によるショベルの側面図及び平面図を示す。実施例１では、ショベルの例として、油圧ショベルが示されているが、実施例１は、その他のショベル、例えばハイブリッド型ショベルや電動ショベル等にも適用することが可能である。
【００１１】
下部走行体１０に、旋回軸受け１１を介して上部旋回体１２が搭載されている。上部旋回体１２は、下部走行体１０に対して、時計回り、または反時計周りに旋回する。上部旋回体１２に、ブーム１３が取り付けられ、その先端にアーム１５が連結され、その先端にバケット１７が取り付けられている。ブーム１３は、油圧シリンダ１４により駆動され、アームは、油圧シリンダ１６により駆動され、バケット１７は、油圧シリンダ１８により駆動される。さらに、上部旋回体１２にキャビン１９が搭載されている。運転者がキャビン１９に乗り込んで、油圧ショベルを操作する。
【００１２】
上部旋回体１２に、撮像装置２０が搭載されている。撮像装置２０は、前方撮像装置２０Ｆ、右方撮像装置２０Ｒ、左方撮像装置２０Ｌ、及び後方撮像装置２０Ｂで構成される。前方撮像装置２０Ｆ、右方撮像装置２０Ｒ、左方撮像装置２０Ｌ、及び後方撮像装置２０Ｂは、それぞれ上部旋回体１２の前方、右方、左方、及び後方を撮像する。前方撮像装置２０Ｆは、例えばキャビン１９とブーム１３との間に搭載されている。これらの撮像装置で得られた画像を合成することにより、全方位の画像を得ることができる。
【００１３】
図２に、ショベルの異常判定機能のブロックを示す。画像取込制御装置２４が、撮像装置２０で撮像された画像データを、一定の周期で一時記憶装置２５に格納する。一時記憶装置２５は、例えばリングバッファ構造を有する。すなわち、空きの記憶領域がなくなると、最も古い画像データに、新しい画像データが上書きされる。
【００１４】
画像取込モード記憶部２６に、画像データの取込方法を指定する情報、例えば、解像度、及び取込周期が記憶されている。解像度を指定する変数は、例えば、「高解像度」、「通常解像度」、「低解像度」のいずれかの値をとる。取込周期を指定する変数は、例えば、「長周期」、「通常周期」、「短周期」のいずれかの値をとる。解像度と取込周期とにより、画像取込モードが決定される。画像取込モードは、オペレータが入力装置３３を操作することにより、制御装置３０に入力され、画像取込モード記憶部２６に設定される。画像取込周期は、例えば数百ｍｓ〜１ｓ程度とする。
【００１５】
画像取込制御装置２４は、画像取込モード記憶部２６に設定されている画像取込モードに基づいて、撮像装置２０で撮像された画像データを一時記憶装置２５に格納する。画像の解像度を低下させることにより、または取込周期を長くすることにより、長時間の画像データを一時記憶装置２５に格納することができる。逆に、画像の解像度を高くし、取込周期を短くすれば、所定時間内の画像データの情報量を多くすることができる。
【００１６】
ショベルに、複数のセンサ３４が搭載されている。センサ３４は、ショベルの動作状態に関わる物理量を検出する。動作状態に関わる物理量として、例えば、エンジン回転数、ラジエター冷却水温度、燃料温度、大気圧力、エンジンオイル圧力、ブースト温度、吸気温度、作動油温度、ブースト圧力、バッテリ電圧、各部位の油圧、機械操作時間、走行操作時間、旋回操作時間、アイドル時間等が挙げられる。
【００１７】
制御装置３０が、一時記憶装置２５、画像取込モード記憶部２６、出力装置３１、異常情報記憶装置３２等を制御する。入力装置３３を介して、オペレータの指示が制御装置３０に入力される。センサ３４で検出された検出値が制御装置３０に入力される。出力装置３１には、例えば液晶表示装置等が用いられる。出力装置３１と入力装置３３とを兼ねる装置として、タッチパネル式の液晶表示装置を用いてもよい。
【００１８】
図３に、画像取込制御装置２４の動作のフローチャートを示す。ショベルのエンジンスタートキーがオンになると、ステップＳＡ１において、撮像装置２０から画像データを取得する。画像取込モードで指定されている解像度になるように、画像データの解像度を変換した後、一時記憶装置２５に格納する。画像データを格納する空き領域がない場合には、最も古い画像データを、新しい画像データで上書きする。
【００１９】
ステップＳＡ２において、画像取込モードで指定される取込周期の経過を待つ。その後、ステップＳＡ３において、ショベルのスタートキーが停止状態にされているか否かを判定する。停止状態の場合には、処理を終了する。停止状態でない場合には、ステップＳＡ１に戻る。
【００２０】
図４に、制御装置３０の動作のフローチャートを示す。ショベルのエンジンスタートキーがオンになると、ステップＳＢ１において、センサ３４で検出された検出値を取得する。ステップＳＢ２において、取得された検出値が、その許容範囲に収まっているか否かを判定する。許容範囲は、動作状態に関わる物理量ごとに、予め設定されている。
【００２１】
ステップＳＢ３において、動作状態が異常か否かの判定を行う。例えば、少なくとも１つの検出値が許容範囲を外れると、ショベルの動作状態が異常であると判定する。すべての検出値が許容範囲に収まっている場合には、動作状態は正常である判定する。動作状態が正常であると判定された場合には、ステップＳＢ５において、ショベルが停止状態か否かを判定する。動作状態が異常であると判定された場合には、ステップＳＢ４を実行した後に、ステップＳＢ５において、停止状態か否かを判定する。
【００２２】
以下、ステップＳＢ４の処理について説明する。一時記憶装置２５に記憶されている画像データのうち、異常と判定された時点よりも前の第１の時刻から、現在までの画像データを読み出し、異常情報記憶装置３２に格納する。さらに、異常と判定された時点の各センサ３４の検出値を、異常情報記憶装置３２に格納する。格納された画像データと、センサ３４の検出値とは、相互に関連付けられている。例えば、画像データとセンサ３４の検出値とにインデックスを付して、両者を関連付けてもよいし、データ取得時点の時刻に基づいて、両者を関連付けてもよい。
【００２３】
異常と判定された時点よりも過去の画像データに加えて、その時点以降の画像データを異常情報記憶装置３２に格納するようにしてもよい。例えば、異常と判定された時点よりも後の第２の時刻まで待機し、第２の時刻になった時点で、第１の時刻から第２の時刻までの画像データを、一時記憶装置２５から異常情報記憶装置３２に転送してもよい。第１の時刻から異常と判定された時点までの時間は、例えば３０秒〜５分程度とし、異常と判定された時点から第２の時刻までの時間は、例えば１０秒〜１分程度とする。
【００２４】
さらに、動作状態が異常であることをオペレータに知らせるために、出力装置３１を通して警報を発出するようにしてもよい。
【００２５】
ステップＳＢ５において、ショベルが停止状態であると判定された場合には、処理を終了する。停止状態ではないと判定された場合には、ステップＳＢ６において所定の時間待機した後、ステップＳＢ１に戻る。ステップＳＢ６の待機時間は、例えば数百ｍｓから１ｓとする。
【００２６】
実施例１においては、動作が異常と判定された時点よりも前の、または前後の画像データが、異常情報記憶装置３２に格納されている。この画像データは、異常が発生した原因を特定する際に、有益な情報になる。ショベルに何らかの異常が発生すると、保守者が入力装置３３（図２）を操作することにより、異常の原因探索を行うことができる。
【００２７】
図５に、異常の原因探索を行うときに、出力装置３１に表示される画像の一例を示す。表示画面に、画像表示窓３５、進行状況バー３６、操作子３７、及び文字情報表示窓３８が表示される。図５には、一例として、２０１２年４月２６日の１０時３５分２０秒の時点で、異常が発生したと判定されたときの表示画面を示している。
【００２８】
進行状況バー３６は、異常情報記憶装置３２（図２）に記憶されている画像データのデータ収集開始時刻から終了時刻までの時間を表している。進行状況バー３６内に表示されているスライダ３６Ａをスライドさせると、スライダ３６Ａの位置に対応する時刻の画像が、画像表示窓３５に表示される。進行状況バー３６の、異常発生時刻に対応する位置に、異常発生時刻表示マーク３６Ｂが表示される。進行状況バー３６及びスライダ３６Ａは、画像表示窓３５に表示すべき画像の時刻を指示する時刻指示器として機能する。進行状況バー３６の長さは、スライダ３６Ａで時刻を指示可能な時間幅に相当する。時刻指示器として、スライダ３６Ａに代えて、時刻を数値で入力するための数値入力窓を表示してもよい。
【００２９】
操作子３７を操作することにより、動画の再生、コマ送り、一時停止等を行うことができる。また、操作子３７に、異常発生時へジャンプするための指示ボタンが準備されている。この指示ボタンを操作すると、図４に示したステップＳＢ２で異常と判定された時点の画像が、画像表示窓３５に表示される。異常発生時へジャンプするための指示ボタンを準備することにより、異常時の直前の画像を迅速に表示することができる。
【００３０】
図５には、油圧の異常が検出された時点の画像の一例を示す。図５に示した画像から、上部旋回体１２とバケット１７（図１Ａ、図１Ｂ）との間に、トラックが侵入していることがわかる。トラックが油圧配管に接触したことにより、油圧配管が破損し、油圧の異常が検出されたと推定できる。このように、異常発生時の前後の画像データを調査することにより、異常が発生した原因を特定することが可能になる。
【００３１】
［実施例２］
実施例２によるショベルの機能ブロック図は、図２に示した実施例１によるショベルの機能ブロック図と同一である。
【００３２】
図６に実施例２によるショベルの制御装置３０（図２）の動作のフローチャートを示す。実施例２によるショベルの制御装置３０には、単位空間定義済みフラグ、及び相関行列の逆行列記憶領域が準備されている。
【００３３】
ステップＳＣ１において、センサ３４（図２）から検出値を取得する。ステップＳＣ２において、単位空間が定義済みか否かを判定する。具体的には、単位空間定義済みフラグに、「定義済み」が設定されているか、「未定義」が設定されているかを判定する。単位空間は、後のステップで、マハラノビスタグチ法を用いた異常判定を行う際に、判定の基準として用いられる。単位空間が未定義である場合には、ステップＳＣ３において、センサ３４の検出値をサンプルとして蓄積する。ステップＳＣ４において、蓄積されているサンプル数が十分か否かを判定する。サンプル数が十分である場合には、ステップＳＣ５において、単位空間を定義する。具体的には、単位空間を構成するサンプルの物理量の相関行列及びその逆行列を求める。
【００３４】
以下、単位空間を定義する方法について説明する。
【００３５】
図７に、センサ３４で検出された検出値の一例を示す。検出対象の物理量の数をＫとし、蓄積されたサンプルの数をＮとする。Ｎ個のサンプルの検出値によって単位空間が構成される。サンプル番号ｎのサンプルにおける物理量ｋの検出値をｘ（ｎ，ｋ）と表す。各物理量の検出値の平均値及び標準偏差を求める。物理量ｋの平均値をｍ（ｋ）、標準偏差をσ（ｋ）と表す。
【００３６】
各サンプルの検出値を基準化し、基準化検出値を求める。サンプル番号ｎのサンプルにおける物理量ｋの検出値ｘ（ｎ，ｋ）の基準化検出値Ｘ（ｎ，ｋ）は、以下の式で表される。
【００３７】
【数１】
2012157603.tif 000003
【００３８】
基準化検出値Ｘ（ｎ，ｋ）に基づいて、物理量の間の相関係数を求める。物理量ｉと物理量ｊとの相関係数ｒ（ｉ，ｊ）は、以下の式で求められる。
【００３９】
【数２】
2012157603.tif 000004
【００４０】
物理量１〜物理量Ｋの相関行列Ｒは、以下の式で表される。
【００４１】
【数３】
2012157603.tif 000005
【００４２】
相関行列Ｒの逆行列Ａを求める。逆行列Ａは、後のステップで利用できるように、制御装置３０内に記憶しておく。
【００４３】
ステップＳＣ６において、単位空間定義済みフラグに、「定義済み」を設定する。ステップＳＣ４で、サンプル数が十分ではないと判定された場合、及びステップＳＣ６で、単位空間定義済みフラグに「定義済み」を設定した後、ステップＳＣ１１において、所定時間待機する。待機時間は、例えば、数百ｍｓ〜１ｓ程度とする。待機後、ステップＳＣ１に戻る。
【００４４】
なお、単位空間定義済みフラグは、オペレータの操作によってリセットすることができる。すなわち、単位空間定義済みフラグに、「未定義」を設定することができる。
【００４５】
ステップＳＣ２で、単位空間定義済みと判定された場合には、ステップＳＣ７において、各センサ３４で検出された検出値（検証データ）のマハラノビス距離（ＭＤ）を計算する。以下、マハラノビス距離の計算方法について説明する。
【００４６】
センサ３４で検出されたＫ個の検出値（検証データ）のうち物理量ｋの値をｙ（ｋ）とする。検出値ｙ（ｋ）を基準化して、基準化検出値Ｙ（ｋ）を求める。基準化検出値Ｙ（ｋ）は、以下の式で算出することができる。
【００４７】
【数４】
2012157603.tif 000006
【００４８】
検証データのマハラノビス距離の２乗（Ｄ２）は、相関行列Ｒの逆行列Ａを用いて、以下の式で算出することができる。
【００４９】
【数５】
2012157603.tif 000007
【００５０】
マハラノビス距離ＭＤ（またはマハラノビス距離の２乗Ｄ２）が求められたら、ステップＳＣ８において、マハラノビス距離ＭＤと、閾値とを比較する。閾値は、予め設定されている。例えば、閾値として２が採用される。上述の式で定義されたマハラノビス距離の２乗Ｄ２のまま閾値と比較する場合には、閾値として２２＝４が採用される。マハラノビス距離ＭＤが閾値より大きい場合、ステップＳＣ９の処理を行う。ステップＳＣ９の処理は、実施例１のステップＳＢ４（図４）の処理と同一である。
【００５１】
ステップＳＣ９の処理が終了すると、またはステップＳＣ８でマハラノビス距離ＭＤが閾値以下であると判定された場合には、ステップＳＣ１０において、ショベルが停止状態か否かを判定する。停止状態である場合には、処理を終了する。停止状態でない場合には、ステップＳＣ１１において、所定時間待機した後、ステップＳＣ１に戻る。
【００５２】
実施例２では、運転状態が異常であるか否かの判定を行う方法として、マハラノビスタグチ法が適用される。このため、センサ３４の検出値ごとに許容範囲を設定しておく必要はない。
【００５３】
上述の実施例１においては、検出値の許容範囲は、例えば、過去の異常発生の事例等に基づいて設定される。従って、過去に発生していない新規な異常を検出できない場合もある。マハラノビスタグチ法を適用すると、検出値の許容範囲を、過去の事例に基づいて設定する必要がない。このため、過去に発生していないような新規な異常を検出することも可能である。
【００５４】
また、実施例２では、複数の検出値の、許容値からのずれ量が、マハラノビス距離（ＭＤ）に統合されているため、容易に、異常か否かを判定することができる。
【００５５】
図８に、実施例２によるショベルで異常原因の探索を行うときに、出力装置３１（図２）に表示される画像の一例を示す。以下、図５に示した実施例１との相違点について説明する。実施例２では、画像表示窓３５、進行状況バー３６、操作子３７、及び文字情報表示窓３８の他に、警報レベル変動表示窓３９が表示される。警報レベル変動表示窓３９には、スライダ３６Ａで時刻指定できる時間幅に対応して、警報レベルの経時変動グラフが表示される。警報レベル変動表示窓３９には、スライダ３６Ａで指示されている時刻（表示されている画像の時刻）に対応する位置に表示画像時刻線３９Ａが表示されている。さらに、異常発生時刻表示マーク３６Ｂに対応する位置に、異常発生時刻線３９Ｂが表示されている。警報レベルは、ショベルに異常が発生している可能性の高さを表している。警報レベルとして、例えばステップＳＣ７（図６）で算出されたマハラノビス距離が採用される。警報レベルが急激に増大した直前に、異常が発生する何らかの原因が生じていたと考えられる。
【００５６】
［実施例３］
図９に、実施例３によるショベル及び監視装置の機能ブロック図を示す。以下、実施例１によるショベルとの相違点に着目して説明し、同一の構成については説明を省略する。
【００５７】
実施例１では、異常判定処理、及び異常時のデータの蓄積が、ショベルに閉じて行われた。実施例２では、異常判定処理は、ショベル５０に搭載されたローカル制御装置３０で行われる。異常と判定されたときの画像データ等は、監視装置６０に蓄積される。ショベル５０に、画像データ等の各種データを通信回線４５を通して監視装置６０に送信するための送受信装置４０が搭載されている。
【００５８】
監視装置６０に、送受信装置４１、制御装置６１、出力装置６２、入力装置６３、及び異常情報記憶装置３２が設置されている。送受信装置４１は、ショベル５０から通信回線４５を通して送信されたデータを受信する。制御装置６１は、出力装置６２、入力装置６３、及び異常情報記憶装置３２を制御する。
【００５９】
図１０に、ショベル５０に搭載されたローカル制御装置３０で行われる処理のフローチャートを示す。ステップＳＢ１、ＳＢ２、ＳＢ３、ＳＢ５、ＳＢ６は、それぞれ図４に示した実施例１のステップＳＢ１、ＳＢ２、ＳＢ３、ＳＢ５、ＳＢ６と同一である。実施例１のステップＳＢ４に代えて、ステップＳＤ４の処理が実行される。以下、ステップＳＤ４について説明する。
【００６０】
ローカル制御装置３０は、ステップＳＢ３で異常と判定すると、判定時刻よりも後の第２の時刻まで、一時記憶装置２５に画像データが蓄積されるまで待機する。一時記憶装置２５に格納されている画像データのうち、異常と判定された時点より前の第１の時刻から、第２の時刻までの画像データ、及び異常と判定されたときのセンサ３４の検出値を、送受信装置４０から、監視装置６０に送信する。なお、一時記憶装置２５に格納されている画像データのうち、異常と判定された時点より前の第１の時刻から、異常と判定された時刻までの画像データを送信するようにしてもよい。さらに、出力装置３１から警報を発出し、オペレータに異常を通知する。
【００６１】
次に、監視装置６０の制御装置６１の処理について説明する。ショベル５０から、異常と判定された前後の画像データ及びセンサの検出値を受信すると、異常情報記憶装置３２に、これらのデータを格納する。同時に、出力装置６２から警報を発出する。
【００６２】
監視装置６０の監視者が、入力装置６３から、データ表示を指令すると、制御装置６１は、異常情報記憶装置３２に蓄積されているセンサの検出値及び画像データを、出力装置６２に出力する。監視者が、異常発生原因を特定する際に、異常検出時の前後の画像データが有益な情報となる。出力装置６２に表示される画像は、図５に示した実施例１による出力装置３１に出力される画像、または図８に示した実施例２による出力装置３１に出力される画像と同一である。
【００６３】
［実施例４］
図１１に、実施例４によるショベル及び監視装置の機能ブロック図を示す。以下、実施例３によるショベル及び監視装置との相違点に着目して説明し、同一の構成については説明を省略する。
【００６４】
実施例３では、ショベル５０に搭載されたローカル制御装置３０が異常判定処理を行ったが、実施例４では、監視装置６０に設置された制御装置６１が異常判定処理を行う。ショベル５０は、一定の周期で、監視装置６０に対して、異常判定要求を、センサ３４の検出値と共に送信する。
【００６５】
図１２に、監視装置６０の制御装置６１が行う処理のフローチャートを示す。ステップＳＥ１において、ショベル５０から異常判定要求を受信したか否かを判定する。異常判定要求が受信されていない場合には、異常判定要求を受信するまでステップＳＥ１を繰り返す。
【００６６】
異常判定要求があった場合には、ステップＳＥ２において、ショベル５０から受信したセンサの検出値に基づいて、異常判定を行う。異常判定処理は、実施例１のステップＳＢ２、ＳＢ３（図４）、または実施例２のステップＳＣ７、ＳＣ８（図６）の異常判定処理と同一である。
【００６７】
ステップＳＥ３において、異常と判定された場合には、ステップＳＥ４において、ショベル５０に対して、画像データの送信を指令する。この指令には、送信すべき画像データの開始時刻（第１の時刻）と終了時刻（第２の時刻）とが含まれている。ショベル５０は、画像データの送信指令を受信すると、その応答として、一時記憶装置２５に蓄積されている画像データのうち、第１の時刻から第２の時刻までの画像データを、監視装置６０に送信する。なお、画像データは、送信前にデータ圧縮を行うことが好ましい。
【００６８】
ステップＳＥ５において、ショベル５０から受信した画像データ、及び異常と判定された時点のセンサの検出値を、両者を関連付けて、異常情報記憶装置３２に格納する。ステップＳＥ５の処理が終了すると、ステップＳＥ６において、監視装置６０の運用が停止状態であるか否かを判定する。ステップＳＥ３で異常ではないと判定された場合にも、ステップＳＥ６において、監視装置６０の運用が停止状態であるか否かを判定する。
【００６９】
ステップＳＥ６において、停止状態ではないと判定された場合には、ステップＳＥ１に戻る。停止状態と判定された場合には、処理を終了する。
【００７０】
実施例４においても、監視装置６０の監視者は、異常発生原因を特定するために、出力装置６２に表示される異常検出時の前後の画像を利用することができる。出力装置６２に表示される画像は、図５に示した実施例１による出力装置３１に出力される画像、または図８に示した実施例２による出力装置３１に出力される画像と同一である。
【００７１】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。
【符号の説明】
【００７２】
１０  下部走行体
１１  旋回機構
１２  上部旋回体
１３  ブーム
１４  油圧シリンダ
１５  アーム
１６  油圧シリンダ
１７  バケット
１８  油圧シリンダ
１９  キャビン
２０Ｆ  前方撮像装置
２０Ｒ  右方撮像装置
２０Ｌ  左方撮像装置
２０Ｂ  後方撮像装置
２４  画像制御装置
２５  一時記憶装置
２６  動作モード記憶部
２７  センサ
３０  制御装置
３１  出力装置
３２  異常情報記憶装置
３３  入力装置
３４  センサ
３５  画像表示窓
３６  進行状況バー
３６Ａ  スライダ
３６Ｂ  異常発生時刻表示マーク
３７  操作子
３８  文字情報表示窓
３９  警報レベル変動表示窓
３９Ａ  表示画像時刻線
３９Ｂ  異常発生時刻線
４０、４１  送受信装置
４５  通信回線
５０  ショベル
６０  監視装置
６１  制御装置６２  出力装置
６３  入力装置
【図１】
2012157603.tif 000008
【図２】
2012157603.tif 000009
【図３】
2012157603.tif 000010
【図４】
2012157603.tif 000011
【図５】
2012157603.tif 000012
【図６】
2012157603.tif 000013
【図７】
2012157603.tif 000014
【図８】
2012157603.tif 000015
【図９】
2012157603.tif 000016
【図１０】
2012157603.tif 000017
【図１１】
2012157603.tif 000018
【図１２】
2012157603.tif 000019
【手続補正書】
【提出日】平成24年10月11日(2012.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
異常情報記憶装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する制御装置とを有するショベル。
【請求項２】
前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を前記異常情報記憶装置に格納する請求項１に記載のショベル。
【請求項３】
前記制御装置は、
動作が異常と判定されると、さらに、動作が異常と判定された時刻よりも後の第２の時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する請求項１または２に記載のショベル。
【請求項４】
前記制御装置は、
正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
前記単位空間の中心から、前記複数のセンサで検出された評価対象の検出値までのマハラノビス距離を算出し、
算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項１乃至３のいずれか１項に記載のショベル。
【請求項５】
前記一時記憶装置は、空きの記憶領域がなくなると、最も古い画像データを新しい画像データで上書きするリングバッファ構造を有し、
前記制御装置は、前記一時記憶装置に記憶される画像データの解像度を指定する画像取込モードを記憶する画像取込モード記憶部を有し、
前記画像取込モード記憶部に記憶されている画像取込モードで指定された解像度で、前記撮像装置で取得された画像データを前記一時記憶装置に格納する請求項１乃至４のいずれか１項に記載のショベル。
【請求項６】
さらに、画像を表示する出力装置を有し、
前記制御装置は、
前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１乃至５のいずれか１項に記載のショベル。
【請求項７】
前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項６に記載のショベル。
【請求項８】
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
前記データを送信する送信装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの、前記一時記憶装置に記憶されている画像データを、前記送信装置から送信する制御装置と
を有するショベル。
【請求項９】
前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を、前記送信装置から送信する請求項８に記載のショベル。
【請求項１０】
前記制御装置は、
異常と判定すると、さらに、動作が異常と判定された時刻よりも後の第２の時刻までの前記画像データを、前記送信装置から送信する請求項８または９に記載のショベル。
【請求項１１】
前記制御装置は、
正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
前記単位空間の中心から、前記複数のセンサで取得された評価対象の検出値までのマハラノビス距離を算出し、
算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項８乃至１０のいずれか１項に記載のショベル。
【請求項１２】
ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
異常情報記憶装置と、
制御装置と
を有し、
前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
前記コマンドに応答して、前記ショベルから前記送受信機に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置。
【請求項１３】
さらに、
画像を表示する出力装置を有し、
前記制御装置は、
前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１２に記載のショベルの監視装置。
【請求項１４】
前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項１３に記載のショベルの監視装置。
【請求項１５】
撮像装置、前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置、ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサ、及び前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、前記画像データを、前記一時記憶装置から取り出して前記ショベルの監視装置に送信するローカル制御装置を有するショベルから画像データを受信する受信装置と、
画像データを記憶する異常情報記憶装置と、
画像を表示する出力装置と、
制御装置と
を有するショベルの監視装置であって、
前記制御装置は、前記受信装置で受信した画像データを前記異常情報記憶装置に格納し、前記異常情報記憶装置に格納されている画像データを、前記出力装置に画像として表示するショベルの監視装置。
【請求項１６】
前記制御装置は、
前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項１５に記載のショベルの監視装置。
【請求項１７】
ショベルに搭載された撮像装置で取得された画像データを表示するショベルの出力装置であって、
前記ショベルの異常判定時刻よりも前の第１の時刻から、少なくとも異常判定時刻までの前記画像データを表示するショベルの出力装置。
【請求項１８】
ショベルに搭載されている撮像装置で取得された画像データを、一時記憶装置に一時的に記憶する工程と、
前記ショベルに搭載された複数のセンサで、それぞれ前記ショベルの動作状態に関わる複数の物理量を検出し、検出された検出値に基づいて動作の異常判定を行う工程と、
前記異常判定を行う工程で、異常と判定されると、前記画像データを、前記一時記憶装置から取り出して前記ショベルの監視装置に送信する工程と、
前記監視装置で受信された前記画像データを、前記監視装置の異常情報記憶装置に記憶する工程と、
前記異常情報記憶装置に記憶されている前記画像データを、前記監視装置の出力装置に画像として表示する工程と
を有するショベルの監視方法。
【請求項１９】
さらに、
前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示する工程と、
オペレータが、前記時刻指示器を通して、時刻を指示する工程と、
を有し、
前記出力装置に画像として表示する工程において、前記異常情報記憶装置に記憶されている画像データのうち、オペレータによって指示された時刻の画像データを、前記出力装置に画像として表示する請求項１８に記載のショベルの監視方法。
【請求項２０】
ショベルに搭載された撮像装置で取得された画像データを取得する工程と、
前記画像データを取得する工程で取得された前記画像データのうち、前記ショベルの異常判定時刻よりも前の第１の時刻から、少なくとも異常判定時刻までの前記画像データを、出力装置に表示する工程と
を有するショベルの監視方法。
【手続補正書】
【提出日】平成25年9月4日(2013.9.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明のさらに他の観点によると、
ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
異常情報記憶装置と、
制御装置とを有し、
前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
前記コマンドに応答して、前記ショベルから前記送受信装置に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置が提供される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
図２に、ショベルの異常判定機能のブロック図を示す。画像取込制御装置２４が、撮像装置２０で撮像された画像データを、一定の周期で一時記憶装置２５に格納する。一時記憶装置２５は、例えばリングバッファ構造を有する。すなわち、空きの記憶領域がなくなると、最も古い画像データに、新しい画像データが上書きされる。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１２
【補正方法】変更
【補正の内容】
【請求項１２】
ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
異常情報記憶装置と、
制御装置と
を有し、
前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第１の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
前記コマンドに応答して、前記ショベルから前記送受信装置に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置。
【国際調査報告】
2012157603.tif 000020
2012157603.tif 000021
2012157603.tif 000022
2012157603.tif 000023