(57)【要約】      （修正有）【課題】機器の異常状態を特定するための機器構成を最小限としながら異常状態をユーザが容易に確認できる異常状態検出装置、異常状態検出方法、及び異常状態検出プログラムを提供する。【解決手段】異常状態検出装置１０は、ＬＥＤで異常状態を表示する機器３０の画像を取得する撮像部と、画像におけるＬＥＤの発光パターンから機器の異常状態の解析を行った解析結果に基づいて異常状態を示す補助情報を生成する解析部と、補助情報を表示部１０１に出力する表示制御部を備える。【選択図】図１
2019087178.tif 000002
【特許請求の範囲】
【請求項１】
異常状態の出力をＬＥＤで行う機器の画像を取得する撮像部と、
前記画像における、前記ＬＥＤの発光パターンから前記機器の前記異常状態を解析し、その解析結果に基づいて、前記異常状態を示す補助情報を生成する解析部と、
前記補助情報を表示部に出力する表示制御部と、
を備える、異常状態検出装置。
【請求項２】
前記表示制御部は、前記補助情報を前記画像の一部に重ねて表示する、請求項１に記載の異常状態検出装置。
【請求項３】
前記解析部は、
前記撮像部が連続して取得した複数の前記画像を用いて、解析を行った解析結果に基づいて、前記補助情報を生成する、
請求項１または請求項２に記載の異常状態検出装置。
【請求項４】
前記解析部は、前記画像から複数の前記異常状態を解析する、請求項１乃至請求項３のいずれかに記載の異常状態検出装置。
【請求項５】
前記画像と、前記異常状態と、前記補助情報と、を関連付けて保存する保存部を有し、
前記解析部は、
前記保存部に保存されている、前記画像または前記異常状態に基づいて、
前記補助情報を得る、
請求項１乃至請求項４のいずれかに記載の異常状態検出装置。
【請求項６】
前記解析部は、
前記異常状態と、前記画像と、前記補助情報とを関連付けて、
前記保存部に保存させる、
請求項５に記載の異常状態検出装置。
【請求項７】
前記解析部は、
前記異常状態の変化に伴い、前記補助情報を段階的に変化させる、
請求項１乃至請求項６のいずれかに記載の異常状態検出装置。
【請求項８】
前記画像または前記解析結果を送信し、前記補助情報を受信する通信部を備えた、
請求項１乃至請求項７のいずれかに記載の異常状態検出装置。
【請求項９】
異常状態検出装置は、
異常状態の機器の画像を取得する工程と、
前記画像から前記機器の前記異常状態を解析した、解析結果に基づいて、前記異常状態を示す補助情報を生成する工程と、
前記補助情報を表示部に出力する工程と、を実行する、
異常状態検出方法。
【請求項１０】
異常状態の機器の画像を取得する処理と、
前記画像から前記機器の前記異常状態を解析して、解析結果に基づいて、前記異常状態を示す補助情報を生成する処理と、
前記補助情報を表示部に出力する処理、をコンピュータに実行させる、異常状態検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、機器の異常状態を表示するための技術に関する。
【背景技術】
【０００２】
特許文献１に記載の装置は、監視カメラを用いて、検出対象の機器の外観を撮影し、さらに、専用の通信手段を用いて、機器の状態を特定する情報を受信している。機器に異常が発生した場合には、当該機器の映像に対して、異常状態を特定する情報を重畳して表示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−０１８６０５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示した技術を用いた場合、専用の通信手段を用いて、機器の状態を受信する必要がある。また、通信手段を確保するために、機器や該機器を設置するための場所、該機器の構築、メンテナンスが必要となり、利便性が良くない。
【０００５】
したがって、本発明の目的は、機器の異常状態を特定するための機器構成を最小限としながら、異常状態を容易に確認することである。
【課題を解決するための手段】
【０００６】
この異常状態検出装置は、異常状態の出力をＬＥＤで行う機器の画像を取得する撮像部と、画像における、ＬＥＤの発光パターンから機器の異常状態の解析を行い、その解析結果に基づいて、異常状態を示す補助情報を生成する解析部と、補助情報を表示部に出力する表示制御部を備える。
【０００７】
この構成では、機器の異常の種類がＬＥＤの発光パターンに関連づいてことを利用し、ＬＥＤの発光パターンの画像から機器の異常状態を解析できる。該解析結果に基づいて、機器の異常状態もしくは異常状態を解決するための補助情報を生成して、表示できる。
【０００８】
この異常状態検出装置の表示制御部は、画像の一部に補助情報を重ねて表示しても良い。
【０００９】
この構成では、機器の点灯状態と補助情報とを同一画面に表示することができるため、視認性が良い。
【００１０】
この異常状態検出装置の解析部は、撮像部が連続して取得した複数の画像を用いて、解析を行った結果に基づいて補助情報を生成しても良い。
【００１１】
この構成では、点滅パターン等を解析することができるため、多様で詳細な補助情報を表示することができる。
【００１２】
この異常状態検出装置の解析部は、画像の複数箇所から異常状態を解析しても良い。
【００１３】
この構成では、検出対象の機器が複数のＬＥＤを有する場合や、複数の機器が表示されている場合においても、それぞれに異常状態を解析することができる。
【００１４】
この異常状態検出装置は、画像と、異常状態と、補助情報と、を関連付けて保存されており、解析部は、保存部に保存されている、画像または異常状態に基づいて、前記補助情報を得ても良い。
【００１５】
この構成では、複数の情報が関連付けられているので、効率良く、補助情報を検索することができる。
【００１６】
この異常状態検出装置の解析部は、異常状態と、画像とに、補助情報を関連付けて、補助情報を保存させても良い。
【００１７】
この構成では、補助情報が存在しない場合でも、異常状態と画像を関連付けて保存することができる。これにより、次回の解析に利用できる。
【００１８】
この異常状態検出装置の解析部は、異常状態の変化に伴い、補助情報を段階的に変化させても良い。
【００１９】
この構成では、異常状態が変化することによって、必要となる補助情報が変化した場合でも、適切な補助情報を得ることができる。これにより、異常状態の解決をスムーズに行うことができる。
【００２０】
この異常状態検出装置の通信部は、画像、または解析結果を送信することにより、補助情報を受信しても良い。
【００２１】
この構成では、外部機器（装置）において、画像を解析して補助情報を得る、もしくは解析結果から補助情報を得ることができ、異常状態検出装置を最小構成にすることができる。
【発明の効果】
【００２２】
この発明によれば、機器の異常状態を特定するための機器構成を最小限としながら、異常状態をユーザが容易に確認できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施形態に係る異常状態検出装置の概要を示す図である。
【図２】本発明の第１の実施形態に係る異常状態検出装置の表示を拡大した図である。
【図３】本発明の第１の実施形態に係る異常状態検出装置の異常状態を検出する手順を示したイメージ図である。
【図４】本発明の第１の実施形態に係る異常状態検出装置のブロック図である。
【図５】本発明の第１の実施形態に係る異常状態検出装置における補助情報を表示するフローチャートである。
【図６】本発明の第２の実施形態に係る異常状態検出装置のブロック図である。
【図７】本発明の第２の実施形態に係る異常状態検出装置における補助情報を登録、表示するフローチャートである。
【図８】本発明の第３の実施形態に係る異常状態検出装置のブロック図である。
【発明を実施するための形態】
【００２４】
・適用例  
まず、図４を用いて、本発明が適用される一例について説明する。図４は、第１の実施形態に係る異常状態検出装置の機能を表したブロック図である。
【００２５】
図４に示すように、異常状態検出装置１０は、表示部１０１と、表示制御部１０２と、撮像部１０３と、解析部１０４とを備えている。
【００２６】
撮像部１０３は、異常状態を検出したい機器（図示せず）の画像を取得する。撮像部１０３は、取得した画像を解析部１０４へ出力する。解析部１０４は、取得した画像に基づき、機器の異常状態を判断する。解析部１０４は、判断結果に基づいて、該異常状態の内容等を示す補助情報を生成し、表示制御部１０２に補助情報を出力する。表示制御部１０２は、表示部１０１の機器画像に重畳するよう補助情報を出力する。
【００２７】
これにより、撮像した画像に基づいて、異常状態を判断できる。さらに、異常状態を判断した結果に基づき、補助情報を生成し、異常状態を含む補助情報を表示することができる。
【００２８】
・構成例１  
図１は、本発明の第１の実施形態に係る異常状態検出装置の概要を示す図である。図２は、本発明の第１の実施形態に係る異常状態検出装置の表示画面を拡大した図である。図３は、本発明の第１の実施形態に係る異常状態検出装置の異常状態を検出する手順を示したイメージ図である。図４は、上述のように、本発明の第１の実施形態に係る異常状態検出装置のブロック図である。図５は、本発明の第１の実施形態に係る異常状態検出装置における補助情報を表示するフローチャートである。
【００２９】
まず、図１、図２を用いて、第１の実施形態に係る異常状態検出装置の概要について説明する。
【００３０】
図１に示す例では、異常状態検出装置１０が有する撮像部（カメラ）１０３で、機器３０の画像を取得する。異常状態検出装置１０の表示部１０１には、機器３０の全体像が表示されている。異常状態検出装置１０は、例えば、スマートフォン、タブレットのような撮像（カメラ）機能を有する、電子機器であればよい。
【００３１】
図２に示すように、機器３０は、ＬＥＤ（発光ダイオード）を用いた、状態表示領域ＳＲ１、ＳＲ２を有する。また、図２に示すように表示部１０１には、補助情報表示領域ＡＲ１、ＡＲ２が設定されており、補助情報表示領域ＡＲ１は、状態表示領域ＳＲ１の補助情報を表示する領域に該当し、同様に、補助情報表示領域ＡＲ２は、状態表示領域ＳＲ２の補助情報を表示する領域に該当する。
【００３２】
状態表示領域ＳＲ１、ＳＲ２は、機器３０の画像に対して、既知の画像認識技術を用いることによって、特定可能である。
【００３３】
状態表示領域ＳＲ１内のＬＥＤが異常状態を示すことにより、補助情報表示領域ＡＲ１に補助情報を表示する。同様に、状態表示領域ＳＲ２内のＬＥＤが異常状態を示すことにより、補助情報表示領域ＡＲ２に補助情報を表示する。
【００３４】
本実施形態においては、機器３０の全体像を撮像する例を示したが、上述のとおり状態表示領域ＳＲ１、ＳＲ２等のＬＥＤ等の異常状態を示すことができる領域が、少なくとも撮像されていればよい。
【００３５】
図３に示す例では、補助情報表示領域ＡＲ１に補助情報を表示する流れを示し、ステップ１、ステップ２、ステップ５において、ＬＥＤ３００が発光することにより、異常状態を示すものとする。
【００３６】
撮像部（カメラ）１０３で取得したステップ１の画像において、ＬＥＤ３００は、発光していない。
【００３７】
撮像部（カメラ）１０３で取得したステップ２の画像において、ＬＥＤ３００は、赤色発光する。
【００３８】
ステップ２から、ステップ５（ステップ３、ステップ４は省略）までの間で、継続してＬＥＤ３００が赤色発光した場合、ステップ５において、これらの画像に基づいて、解析部１０４は、異常状態が発生したと判断する。
【００３９】
次に、解析部１０４は、補助情報を生成する。解析部１０４は、表示制御部１０２に補助情報を伝達する。
【００４０】
表示制御部１０２は、表示部１０１の機器３０の撮像画像に重畳して、補助情報を補助情報表示領域ＡＲ１に表示する。
【００４１】
なお、補助情報とは、例えば、異常状態を表す単語であり、さらには異常状態の内容の説明や、異常状態を解決するための解決手段を表す文言である。また、異常状態を解説手段と組み合わせた情報を補助情報としてもよい。
【００４２】
補助情報表示領域ＡＲ１に表示できない文字数の文言である場合は、補助情報表示領域ＡＲ１をスクロールする、または、異常状態を段階的に解決できるよう、解決方法を分割した状態（解決方法をステップ化したもの）で表示してもよい。
【００４３】
ここで、補助情報を補助情報表示領域ＡＲ１に表示するための、具体的な方法について説明する。
【００４４】
補助情報表示領域ＡＲ１を構成するために、例えば、拡張現実技術であるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いる。本発明においては、ＡＲ技術を用いて、機器３０における、異常状態が発生していると判断したＬＥＤ３００の位置の近傍に重畳して、異常状態の種別、対処方法を表示する。
【００４５】
例えば、マーカーレス型であるビジョンベースＡＲ技術を用いる。ＬＥＤ３００の発光パターンを解析し、異常状態であると判断した場合に、ＬＥＤ３００が発光している箇所の近傍へ、補助情報表示領域ＡＲ１を重畳する。
【００４６】
次に、図４、図５を用いて、具体的な処理の流れを説明する。上述のとおり、撮像部１０３は、異常状態を検出したい機器（図示せず）のＬＥＤが画像に含まれるよう、画像を連続して取得する、もしくは動画を取得する。
【００４７】
上述のとおり、異常状態検出装置１０は、表示部１０１と、表示制御部１０２と、撮像部１０３と、解析部１０４とを備えている。
【００４８】
撮像部１０３は、取得した画像を解析部１０４へ出力する。連続して取得した画像を出力することにより、解析精度をより高めることができる。
【００４９】
解析部１０４は、取得した複数の画像からＬＥＤの発光パターンを解析する。画像を用いたＬＥＤの発光パターンの具体的な解析方法としては、例えば複数の画像のＬＥＤの輝度を比較する方法である。同一ＬＥＤの輝度の変位を取得することにより、ＬＥＤの発光パターンを判別できる。また、動画を用いたＬＥＤの発光パターンの解析方法は、例えば、動画のフレームレートを規定し、フレームレート毎に、画像である場合と同様に、同一ＬＥＤの輝度の変位を取得方法である。このことによって、ＬＥＤの発光パターンを判別できる。
【００５０】
ＬＥＤの発光パターンと、異常状態とは関連付けられている。したがって、解析部１０４は、発光パターンから異常状態を検出できる。
【００５１】
なお、複数のＬＥＤが存在する場合でも、同様の処理によって、異常状態を解析し、さらに、２つ以上のＬＥＤの組み合わせによる補助情報についても取得することができる。
【００５２】
解析部１０４は、ＡＲ技術を用いて、補助情報を表示制御部１０２へ出力する。表示制御部１０２は、表示部１０１へ補助情報を出力する。表示部１０１は、撮像した機器の画像に重畳し、補助情報を表示する。
【００５３】
図５のフローチャートを用いて、処理の流れを説明する。
【００５４】
撮像部１０３は、画像、もしくは動画を取得する（Ｓ１０１）。
【００５５】
解析部１０４は、撮像部１０３から画像、または、動画を受信し、異常状態を解析する（Ｓ１０２）。解析部１０４は、異常状態の解析が可能な回数（指定回数：ｎ回）であるかどうかを判断する（Ｓ１０３）。指定回数内である場合（Ｓ１０３：Ｙｅｓ）、画像取得（Ｓ１０１）、異常状態の解析（Ｓ１０２）のステップを繰り返し、異常状態を取得する（Ｓ１０４）。
【００５６】
解析部１０４は、保存部１０５から、補助情報を取得する（Ｓ１０５）。解析部１０４は、表示制御部１０２に補助情報を出力する。また、表示制御部１０２は、表示部１０１に補助情報を表示する（Ｓ１０６）。
【００５７】
解析部１０４は、再解析が必要かどうかを判断する（Ｓ１０７）。異常状態が変化することによって、異常状態が完全に復旧していなければ、再解析が必要であるとして（Ｓ１０７：Ｙｅｓ）、撮像部１０３は、画像、もしくは動画を再度取得する（Ｓ１０１）。
【００５８】
解析部１０４は、異常状態が正常状態に遷移し、再解析が不要であると判断して（Ｓ１０７：Ｎｏ）、処理を終了する。
【００５９】
なお、再解析が必要であるかどうかを判定するステップ（Ｓ１０７）において、再解析を継続させた場合でも、異常状態を復旧ができないと判断した場合には、フローを終了させても良い。
【００６０】
また、指定回数を超えた場合（Ｓ１０３：Ｎｏ）、ステップの繰り返しを終了し、異常状態を取得するステップ（Ｓ１０４）を実行し、後続のステップを実行する。
【００６１】
なお、異常状態を特定できない（Ｓ１０２）場合は、解析部１０４は、フローを終了させてもよい。
【００６２】
・構成例２  
次に、図６、図７を用いて、第２の実施形態に係る異常状態検出装置の概要について説明する。図６は、本発明の第２の実施形態に係る異常状態検出装置のブロック図である。図７は、本発明の第２の実施形態に係る異常状態検出装置における補助情報を登録、表示するフローチャートである。
【００６３】
図６に示すように、異常状態検出装置１０Ａは、表示部１０１と、表示制御部１０２と、撮像部１０３と、解析部１０４と、保存部１０５とを備えている。第２の実施形態に係る異常状態検出装置１０Ａは、第１の実施形態に係る異常状態検出装置１０に対して、保存部１０５を備えている点と、補助情報を登録する機能を有する点において異なる。異常状態検出装置１０Ａの他の構成は異常状態検出装置１０と同様であり、同様の箇所の説明は省略する。
【００６４】
図６、図７に示すように、保存部１０５には、発光パターンと異常状態と、補助情報とが、関連付けられ記憶されている。解析部１０４は、必要に応じて、保存部１０５へ問い合わせを行う。解析部１０４は、発光パターンに基づき、保存部１０５に登録されている補助情報を取得する。
【００６５】
撮像部１０３は、画像、もしくは動画を取得する（Ｓ２０１）。
【００６６】
解析部１０４は、撮像部１０３から画像、または、動画を受信し、異常状態を解析する（Ｓ２０２）。解析部１０４は、異常状態の解析が可能な回数（指定回数：ｎ回）であるかどうかを判断する（Ｓ２０３）。指定回数内である場合（Ｓ２０３：Ｙｅｓ）、画像取得（Ｓ２０１）、異常状態の解析（Ｓ２０２）のステップを繰り返し、異常状態を特定する（Ｓ２０４）。
【００６７】
解析部１０４は、保存部１０５から、補助情報を取得できるかどうかを判断する（Ｓ２０５）。補助情報が取得できない場合（Ｓ２０５：Ｎｏ）は、解析部１０４は、発生している異常状態を登録するかどうかを判断する（Ｓ２０６）。異常状態を登録する場合（Ｓ２０６：Ｙｅｓ）、解析部１０４は、撮像部１０３が取得した、画像、動画と、当該画像、動画に関連付ける補助情報とを関連付けて登録する（Ｓ２０７）。異常状態の登録可否については、図示しない操作入力部によって選択できる。
【００６８】
解析部１０４は、表示制御部１０２に補助情報を出力し、表示制御部１０２は、表示部１０１に補助情報を表示する（Ｓ２０８）。
【００６９】
また、指定回数を超えた場合（Ｓ２０３：Ｎｏ）、ステップの繰り返しを終了し、異常状態を特定するステップ（Ｓ２０４）を実行し、後続のステップを実行する。
【００７０】
補助情報が取得できる場合（Ｓ２０５：Ｙｅｓ）は、解析部１０４は、表示制御部１０２に補助情報を出力し、表示制御部１０２は、表示部１０１に補助情報を表示する（Ｓ２０８）。
【００７１】
補助情報を登録しない場合（Ｓ２０６：Ｎｏ）は、解析部１０４は、フローを終了させる。
【００７２】
なお、全てのＬＥＤの発光パターンに対して、保存部１０５へ問い合わせを行う必要はなく、解析部１０４のみでＬＥＤの発光パターンから補助情報を取得しても良い。
【００７３】
なお、補助情報を登録する場合における入力は、異常状態検出装置１０Ａが有するソフトウェアキーボード等を用いることにより入力してもよい。
【００７４】
・構成例３  
次に、図８を用いて、第３の実施形態に係る異常状態検出装置の概要について説明する。図８は、本発明の第３の実施形態に係る異常状態検出装置のブロック図である。
【００７５】
図８に示すように、第３の実施形態に係る異常状態検出装置１０Ｂは、第１の実施形態に係る異常状態検出装置１０に対して、保存部１０５、通信部１０６を備えている点において異なる。異常状態検出装置１０Ｂの他の構成は異常状態検出装置１０と同様であり、同様の箇所の説明は省略する。
【００７６】
異常状態検出装置１０Ｂは、表示部１０１と、表示制御部１０２と、撮像部１０３と、解析部１０４と、保存部１０５と、通信部１０６とを備えている。
【００７７】
撮像部１０３は、取得した画像を解析部１０４へ出力する。
【００７８】
解析部１０４は、取得した複数の画像におけるＬＥＤの発光パターンを解析する。解析部１０４は、ＬＥＤの発光パターンを通信部１０６に送信する。通信部１０６は、図示しない、異常状態保存部を有する外部機器へ送信する。通信部１０６は、ＬＥＤの発光パターンから異常状態と解析方法を外部機器から受信する。
【００７９】
通信部１０６は、異常状態と解決方法を解析部１０４へ出力する。解析部１０４は、取得した異常状態と、解析方法に基づき、補助情報を生成する。
【００８０】
この方法を用いることでも、表示部１０１は、撮像した機器の画像に重畳し、補助情報を表示できる。
【００８１】
なお、上述における通信部１０６は、外部機器と通信すると記載した。しかしながら、ＬＥＤの発光パターンを汎用のインターネット、クラウド等のネットワークを用いることにより、異常状態を取得してもよい。
【符号の説明】
【００８２】
ＡＲ１、ＡＲ２…補助情報表示領域
ＳＲ１、ＳＲ２…状態表示領域
１０、１０Ａ、１０Ｂ…異常状態検出装置
３０…機器
１０１…表示部
１０２…表示制御部
１０３…撮像部
１０４…解析部
１０５…保存部
１０６…通信部
３００…ＬＥＤ
【図１】
2019087178.tif 000003
【図２】
2019087178.tif 000004
【図３】
2019087178.tif 000005
【図４】
2019087178.tif 000006
【図５】
2019087178.tif 000007
【図６】
2019087178.tif 000008
【図７】
2019087178.tif 000009
【図８】
2019087178.tif 000010