(57)【要約】【課題】被写体の状態を適切に検出し続けることが可能なカメラデバイス、状態検出システム及びコンピュータプログラムを提供する。【解決手段】撮像部と、該撮像部が撮像した画像の画像データを記憶する記憶部とを備えるカメラデバイスにおいて、撮像部により撮像される画像内の被写体が写る範囲を示す範囲情報を記憶部に記憶しておき、撮像部により新たに撮像された画像中で被写体が写っていると特定される被写体範囲と、範囲情報が示す範囲との間の変位の有無を判断する判断部と、該判断部によって変位ありと判断された場合に、被写体範囲に基づいて前記範囲情報を補正する補正部とを備える。【選択図】  図７
2019140570.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、該撮像部が撮像した画像の画像データを記憶する記憶部とを備えるカメラデバイスにおいて、
前記撮像部により撮像される画像内の被写体が写る範囲を示す範囲情報を前記記憶部に記憶しておき、
前記撮像部により新たに撮像された画像中で前記被写体が写っていると特定される被写体範囲と、前記範囲情報が示す範囲との間の変位の有無を判断する判断部と、
該判断部によって変位ありと判断された場合に、前記被写体範囲に基づいて前記範囲情報を補正する補正部と
を備えるカメラデバイス。
【請求項２】
前記被写体は、工場内の装置又は設備に取り付けられた表示灯であり、
前記判断部は、前記画像にて所定値以上である画素値が連続する範囲を前記表示灯の点灯部分に対応する部分とし、該部分を含む範囲を前記被写体範囲として特定する
請求項１に記載のカメラデバイス。
【請求項３】
前記被写体は、工場内の装置又は設備に取り付けられた表示灯であり、
前記記憶部は、前記工場内の不動である背景物が写る範囲を示す背景範囲情報を記憶してあり、
前記判断部は、前記新たに撮像された画像における前記背景物が写っている範囲と、前記背景範囲情報が示す範囲との間に変位があるか否かを判断し、
変位ありと判断された場合、前記補正部は前記変位に対応する補正量を決定し、前記表示灯に対する範囲情報を、決定された補正量に基づいて補正する
請求項１に記載のカメラデバイス。
【請求項４】
前記範囲情報に対応付けて、前記被写体を写した被写体画像を記憶しておき、
前記判断部は、前記撮像部が撮像した画像中で前記被写体が写っている被写体範囲を前記被写体画像と合致する範囲を探索することにより特定し、
前記判断部により変位ありと判断された場合、前記補正部による補正後の前記範囲情報が示す範囲の部分画像によって前記被写体画像を更新する
請求項１に記載のカメラデバイス。
【請求項５】
前記画像中の前記範囲情報が示す範囲の部分画像から前記被写体の状態を検出する検出部と、
該検出部による検出結果を送信する送信部と
を備える請求項１から４のいずれか１項に記載のカメラデバイス。
【請求項６】
工場内に設置されており、通信部、撮像部、及び該撮像部が前記工場内の複数の装置又は設備に取り付けられた表示灯を撮像した撮像画像の画像データを記憶する記憶部を備え、前記画像データに基づく情報を前記通信部により送信する複数のカメラデバイスと、
該複数のカメラデバイスからの情報を受信する通信装置と
を含み、
前記カメラデバイスは、
前記撮像部により撮像される画像内の前記表示灯が写る範囲を示す範囲情報を前記記憶部に記憶しておき、
前記撮像部により新たに撮像された画像中の前記範囲情報が示す範囲の部分画像から前記表示灯の状態を検出する検出部と、
該検出部による検出結果を送信する送信部と、
前記撮像部により新たに撮像された画像中で前記表示灯が写っていると特定される被写体範囲と、前記範囲情報が示す範囲との間の変位の有無を判断する判断部と、
該判断部によって変位ありと判断された場合に、前記被写体範囲に基づいて前記範囲情報を補正する補正部と
を備え、
前記通信装置は、
前記複数のカメラデバイスから送信された前記検出結果を集約して記憶する検出結果記憶部と、
該検出結果を集約させて前記表示灯の状態を表わす画面を作成する作成部と、
該作成部が作成した画面を出力する出力部と
を備える状態検出システム。
【請求項７】
コンピュータに、
撮像部から撮像画像を取得するステップ、
前記撮像画像内の被写体が写る範囲を示す範囲情報を記憶部に記憶しておくステップ、
前記撮像部により新たに撮像された画像中で前記被写体が写っている被写体範囲を特定するステップ、
特定された被写体範囲と前記範囲情報が示す範囲との間の変位の有無を判断するステップ、及び
変位ありと判断された場合に、前記被写体範囲に基づいて前記範囲情報を補正するステップ
を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の状態を適切に検出し続けることが可能なカメラデバイス、状態検出システム及びコンピュータプログラムに関する。
【背景技術】
【０００２】
工場に設置される装置又は設備に対する保守の負担を軽減すべく、各装置又は設備の作動状況又は稼働状況を取得する監視装置を複数設置し、監視装置が取得した各状況を、ネットワークを介してサーバ装置へ送信できるようにし、サーバ装置で解析を行なうシステムが提案されている（特許文献１等）。しかしながら特許文献１に開示されているシステムを実現するためには対象の装置又は設備毎に、監視装置及びネットワーク資源を設置する必要がある。また監視対象となる装置又は設備側では、自己診断により警告灯を点灯させたり、警告ブザーから音を出力させたりする機能はあっても、監視装置へ向けて状況を送信する機能を元々有していないことがある。この場合、送信機能及び機能を実現するハードウェアを追加しなければならず、各装置又は設備の状況を通信により取得するシステムを実現するにはコスト及び工数を要する。
【０００３】
特許文献２には、装置又は設備が稼働状態を可視化するために、稼働状況を異なる色による点灯で表示する信号灯を用いた工場の管理システムが開示されている。信号灯を持つ複数の装置又は設備を網羅するようにして撮像するカメラを工場内に複数設置し、複数のカメラで撮像された画像に写っている信号灯の色を判別し、装置の作動状況又は稼働状況を特定することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３４１８２２号公報
【特許文献２】特開２００７−１１４９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている方法では、設置されるカメラの撮像範囲は２台で工場内を網羅するほどに充分広い。特許文献１では、画像データに基づく画像における輝度分布に基づいて信号灯が写っている範囲を特定し、その色を認識している。この場合、監視対象の信号灯であるか否かを分別することなく認識することになり、対象外の信号灯、また信号灯ではない点灯部分（ボタン等）を有する装置を誤って認識する可能性もある。特許文献１では撮像した画像はモニタリング用に、常時全体画像をディスプレイに表示されるから、撮像範囲の変位による誤認識についての考慮は不要である。
【０００６】
ＩｏＴ（Internet of Things）技術の普及により、カメラ及び無線通信モジュールを備えて撮像された画像データ又は映像データを、該画像データ又は映像データを要求する装置に逐次送信するＩｏＴカメラデバイスが普及している。このようなＩｏＴカメラデバイスは、送信される映像データをモニタしながら遠隔操作ができる機能を有していない限り、設置された位置から所定の角度で撮像を続ける。このような遠隔操作ができないＩｏＴカメラデバイスを用いることで簡易な監視システムを構成することが可能であるが、誤って設置箇所又は撮像角度が変動した場合には、設置箇所へ管理者が赴き、修正する必要がある。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、撮像中の画像内での被写体の移動に対して被写体が写る領域を自律的に補正し、被写体の状態を適切に検出し続けることが可能なカメラデバイス、状態検出システム及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示に係るカメラデバイスは、撮像部と、該撮像部が撮像した画像の画像データを記憶する記憶部とを備えるカメラデバイスにおいて、前記撮像部により撮像される画像内の被写体が写る範囲を示す範囲情報を前記記憶部に記憶しておき、前記撮像部により新たに撮像された画像中で前記被写体が写っていると特定される被写体範囲と、前記範囲情報が示す範囲との間の変位の有無を判断する判断部と、該判断部によって変位ありと判断された場合に、前記被写体範囲に基づいて前記範囲情報を補正する補正部とを備える。
【０００９】
本開示に係るカメラデバイスは、前記被写体は、工場内の装置又は設備に取り付けられた表示灯であり、前記判断部は、前記画像にて所定値以上である画素値が連続する範囲を前記表示灯の点灯部分に対応する部分とし、該部分を含む範囲を前記被写体範囲として特定する。
【００１０】
本開示に係るカメラデバイスは、前記被写体は、工場内の装置又は設備に取り付けられた表示灯であり、前記記憶部は、前記工場内の不動である背景物が写る範囲を示す背景範囲情報を記憶してあり、前記判断部は、前記新たに撮像された画像における前記背景物が写っている範囲と、前記背景範囲情報が示す範囲との間に変位があるか否かを判断し、変位ありと判断された場合、前記補正部は前記変位に対応する補正量を決定し、前記表示灯に対する範囲情報を、決定された補正量に基づいて補正する。
【００１１】
本開示に係るカメラデバイスは、前記範囲情報に対応付けて、前記被写体を写した被写体画像を記憶しておき、前記判断部は、前記撮像部が撮像した画像中で前記被写体が写っている被写体範囲を前記被写体画像と合致する範囲を探索することにより特定し、前記判断部により変位ありと判断された場合、前記補正部による補正後の前記範囲情報が示す範囲の部分画像によって前記被写体画像を更新する。
【００１２】
本開示に係るカメラデバイスは、前記画像中の前記範囲情報が示す範囲の部分画像から前記被写体の状態を検出する検出部と、該検出部による検出結果を送信する送信部とを備える。
【００１３】
本開示に係る状態検出システムは、工場内に設置されており、通信部、撮像部、及び該撮像部が前記工場内の複数の装置又は設備に取り付けられた表示灯を撮像した撮像画像の画像データを記憶する記憶部を備え、前記画像データに基づく情報を前記通信部により送信する複数のカメラデバイスと、該複数のカメラデバイスからの情報を受信する通信装置とを含み、前記カメラデバイスは、前記撮像部により撮像される画像内の前記表示灯が写る範囲を示す範囲情報を前記記憶部に記憶しておき、前記撮像部により新たに撮像された画像中の前記範囲情報が示す範囲の部分画像から前記表示灯の状態を検出する検出部と、該検出部による検出結果を送信する送信部と、前記撮像部により新たに撮像された画像中で前記表示灯が写っていると特定される被写体範囲と、前記範囲情報が示す範囲との間の変位の有無を判断する判断部と、該判断部によって変位ありと判断された場合に、前記被写体範囲に基づいて前記範囲情報を補正する補正部とを備え、前記通信装置は、前記複数のカメラデバイスから送信された前記検出結果を集約して記憶する検出結果記憶部と、該検出結果を集約させて前記表示灯の状態を表わす画面を作成する作成部と、該作成部が作成した画面を出力する出力部とを備える。
【００１４】
本開示に係るコンピュータプログラムは、コンピュータに、撮像部から撮像画像を取得するステップ、前記撮像画像内の被写体が写る範囲を示す範囲情報を記憶部に記憶しておくステップ、前記撮像部により新たに撮像された画像中で前記被写体が写っている被写体範囲を特定するステップ、特定された被写体範囲と前記範囲情報が示す範囲との間の変位の有無を判断するステップ、及び変位ありと判断された場合に、前記被写体範囲に基づいて前記範囲情報を補正するステップを実行させる。
【００１５】
本開示の一態様では、カメラデバイスは、より効率的に状態を検出するために、予め記憶部に記憶してある撮像画像における被写体が写る範囲を示す範囲情報を、撮像を行なう都度に適宜補正する。
【００１６】
本開示の一態様では、カメラデバイスは表示灯の点灯部分、即ち撮像画像における輝度が高いほど大きい画素値となる範囲を基準にして表示灯が写っている範囲を特定し、予め記憶してある範囲情報に対して変位（ズレ）が発生しているか否かが判断される。装置又は設備個々の移動に対して補正が可能である。
【００１７】
本開示の一態様では、カメラデバイスは状態検出対象である表示灯ではなく、工場内で不動である背景物の撮像画像内における位置から、範囲情報の変位が発生しているか否かが判断される。カメラデバイス自身の一又は角度が変動した場合の補正が効率的になる。
【００１８】
本開示の一態様では、カメラデバイスは状態検出対象のパターン画像を記憶しておき、撮像がされる都度に撮像画像内でパターンマッチングにより状態検出対象の被写体を探索する。個々に異なる表示灯に対して正確に状態を検出することが可能となる。
【００１９】
本開示の一態様では、カメラデバイス自身で、撮像画像から抽出された部分画像に基づき被写体である状態検出対象の状態を特定し、外部装置へ送信するようにしてもよい。
【００２０】
本開示の一態様では、複数のカメラデバイスで撮像された撮像画像から得られる検出結果が通信装置へ送信され、通信装置では複数のカメラデバイスによる検出結果を集約して複数の表示灯の状態を文字又は画像で表わす画面を出力させることができる。カメラデバイスでは、被写体である検出対象の表示灯が写る範囲を逐次補正しているので通信装置側では検出結果に対して特に修正等を行なうことなく出力することで、各表示灯の状態を視覚化させることができる。
【発明の効果】
【００２１】
本開示のカメラデバイス及び該カメラデバイスを用いた状態検出システムによる場合、被写体が写っているはずの範囲を示す範囲情報が適宜補正されるので、被写体が元々の場所から移動した場合であっても、自動的に追従して人為的な修正が不要である。
【図面の簡単な説明】
【００２２】
【図１】実施の形態における状態検出システムの概要を示す図である。
【図２】カメラデバイス及びサーバ装置の内部構成を示すブロック図である。
【図３】検出範囲情報の具体例を示す説明図である。
【図４】カメラデバイスにおける処理手順の一例を示すフローチャートである。
【図５】検出範囲情報の補正処理手順の一例を示すフローチャートである
【図６】カメラデバイスにおける処理手順の他の一例を示すフローチャートである。
【図７】補正方法の一例を示す説明図である。
【図８】補正方法の他の一例を示す説明図である。
【図９】サーバ装置における処理手順の一例を示すフローチャートである。
【図１０】稼働状況を示す表示画面例を示す図である。
【図１１】複数のカメラデバイスの撮像画像の内容例を示す図である。
【図１２】補正方法の他の一例を示す図である。
【発明を実施するための形態】
【００２３】
本発明をその実施の形態を示す図面を参照して具体的に説明する。
【００２４】
図１は、実施の形態における状態検出システム１００の概要を示す図である。状態検出システム１００は、工場内に設置されている複数のカメラデバイス１と、カメラデバイス１から情報を収集するサーバ装置２とを含む。カメラデバイス１は夫々、工場内の装置又は設備に取り付けられている信号灯Ｌを撮像範囲に含むように設置されている。カメラデバイス１は通信機能を有し、工場内ＬＡＮ３を介して情報をサーバ装置２へ送信する。工場内ＬＡＮ３は、図１に示すように無線通信を実現するアクセスポイントＡＰを含んでもよい。なおカメラデバイス１は全方位カメラであって、１つのみ設置されている構成としてもよい。
【００２５】
図２は、カメラデバイス１及びサーバ装置２の内部構成を示すブロック図である。カメラデバイス１は、処理部１０、記憶部１１、通信部１２、及び撮像部１３を備える。サーバ装置２は、処理部２０、記憶部２１、及び通信部２２を備える。サーバ装置２には別途モニタとしてディスプレイ４が接続されていてもよい。
【００２６】
カメラデバイス１の処理部１０は、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）等のプロセッサと、該プロセッサが使用する情報を一時的に記憶するメモリ、クロック回路等を用いる。なお処理部１０は、プロセッサ、メモリ、更には記憶部１１及び通信部１２を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。
【００２７】
記憶部１１はフラッシュメモリを用い、デバイスプログラム１Ｐ、検出範囲情報１１１及び検出結果１１２を記憶する。デバイスプログラム１Ｐは、撮像部１３による画像撮像制御、撮像された画像からの信号灯Ｌの灯色検出処理、及び検出範囲情報１１１の補正処理を処理部１０に実行させる。検出範囲情報１１１は、撮像部１３により撮像された画像内における灯色検出対象の信号灯Ｌが写るはずの範囲を示す情報である。検出範囲情報１１１は例えば、画像内における座標情報及び範囲の大きさを示す情報を含む。なお記憶部１１には、後述の補正処理のために信号灯Ｌの認識情報（パターン画像等）を記憶するとよい。検出結果１１２は処理部２０による灯色検出処理の結果であり、画像データそのもの又は検出結果を示す数値若しくは記号の情報であって、クロック回路により特定できる検出時刻と共に記憶される。
【００２８】
通信部１２は、社内ＬＡＮ３への通信接続を実現する通信モジュールである。通信部１２は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。通信部１２は、カメラデバイス１同士で直接的に通信を行なう通信モジュールを含んでもよい（Bluetooth（登録商標）等）。
【００２９】
撮像部１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）、又はＣＣＤ（Charge Coupled Device ）等の可視光イメージセンサを含むカメラモジュールを用いる。処理部１０は、撮像部１３で撮像された撮像画像を取得し、記憶部１１に記憶させることが可能である。なお撮像部１３は赤外光対応のイメージセンサであってもよい。カメラモジュールは、カメラデバイス１とは別体として構成されてもよい。
【００３０】
サーバ装置２の処理部２０は、ＣＰＵ、ＧＰＵ等のプロセッサと、メモリ等を用いる。処理部２０は、記憶部２１に記憶されているサーバプログラム２Ｐに基づき、カメラデバイス１から送信される情報を集約する処理、集約した情報を記憶部２１に検出結果として記録する処理、集約された情報を視覚化するための画面情報を作成する処理を行なう。
【００３１】
記憶部２１は、ハードディスクを用い、サーバプログラム２Ｐのほか、処理部２０の処理によって集約された信号灯Ｌに対する検出結果の情報を記憶する。
【００３２】
通信部２２は、工場内ＬＡＮ３に接続されているEthernet（登録商標）又は光通信用のネットワークカードを用い、ネットワークＮを介して外部装置との通信を実現する。
【００３３】
カメラデバイス１の記憶部１１に記憶されている検出範囲情報１１１について説明する。図３は、検出範囲情報１１１の具体例を示す説明図である。図３では、検出範囲情報１１１により特定される検出範囲１０１を、線図により表した撮像画像上で示している。図３Ａは、検出範囲と検出対象とが合致している例、図３Ｂは、検出範囲と検出対象とに変位が発生している例を示している。
【００３４】
検出範囲情報１１１は、状態検出システム１００に含まれるカメラデバイス１夫々に対し、撮像範囲に含まれている信号灯Ｌ毎に予め記憶されている。カメラデバイス１の撮像部１３の設置位置、設置高さ、撮像の向き等の情報と対応付けて記憶部１１に記憶されているとよい。検出範囲情報１１１は具体的には、図３Ａに示すように、撮像画像中に写っている信号灯Ｌの点灯部分に対応する領域を所定の余白を含んで囲む矩形の検出範囲１０１を示す画像内での座標情報である。座標情報は例えば、矩形範囲の中心点、即ち信号灯Ｌの点灯部分の中心座標であってもよいし、矩形範囲の基準点及び範囲の大きさ（ height, width）を示す情報であってもよい。また検出範囲情報１１１は、信号灯Ｌの各色の点灯部分を分別する座標情報、例えば各部分の中心座標を含むとよい（図３Ａ中、符号Ｘ、Ｙ、Ｚで示す）。検出範囲情報１１１の態様はこれに限らず、矩形領域である場合には４隅の座標情報でもよいし、矩形以外の多角形である場合は各頂点の座標、円形を含む楕円形である場合には中心点又は焦点の座標及び径の情報でもよい。
【００３５】
図３に示したように、カメラデバイス１毎に、灯色の検出対象の信号灯Ｌに対応する範囲を示す検出範囲情報１１１が予め記憶されている。これにより、撮像範囲に含まれる信号灯Ｌ以外で、同様の色に点灯する設備のボタン、ディスプレイ等を誤認識することを回避することができる。また例えば複数のカメラデバイス１の撮像範囲に含まれる信号灯Ｌが重複している場合、複数のカメラデバイス１で重複して検出することを回避することも可能である。
【００３６】
図３Ａに示す検出範囲情報１１１で特定される検出範囲は、画像内における範囲を示している。したがって検出対象である装置又は設備が移動されたケース、撮像部１３の位置、高さ、傾きが変化するケース等、図３Ｂに示すように、検出対象となる信号灯Ｌに対応する部分と検出範囲とに変位が発生するケースがあり、このようなケースでは信号灯Ｌの検出が困難になる。
【００３７】
本実施の形態における状態検出システム１００では、カメラデバイス１が夫々、自身が記憶している検出範囲情報１１１が示す検出範囲の変位の発生の有無を自律的に判断し、変位が発生していると判断された場合に自動的に検出範囲情報１１１を修正する。これにより、人手によりカメラデバイス１の位置、高さ、傾き等を修正したり、装置又は設備を少しずらすなど若干のレイアウト変更があった場合に、人手により検出範囲情報１１１を設定し直したりする手間を不要とすることができる。
【００３８】
各カメラデバイス１における自律的な修正の手順について、フローチャート及び具体例を挙げて以下に説明する。図４は、カメラデバイス１における処理手順の一例を示すフローチャートである。処理部１０は起動後、エラー等の発生を検知しない限り、図４のフローチャートに示す処理手順を、所定の待機時間（例えば１０ミリ秒から１０秒）が経過する都度、繰り返し実行し続ける。
【００３９】
処理部１０は、撮像部１３から撮像画像を取得する（ステップＳ１）。ステップＳ１で取得する撮像画像はその時点で最新の画像であることが好ましいが、この限りではない。
【００４０】
処理部１０は、記憶部１１に記憶してある検出範囲情報１１１の内、１つを選択する（ステップＳ２）。ステップＳ２にて処理部１０は、記憶部１１が記憶されている検出範囲情報１１１に対応する装置又は設備の識別情報毎に選択するとよい。
【００４１】
処理部１０は、ステップＳ１にて取得した撮像画像から、選択した検出範囲情報１１１が示す検出範囲１０１にて部分画像を抽出する（ステップＳ３）。処理部１０は、抽出された部分画像の画像データを検出結果１１２として、ステップＳ１にて撮像画像を取得した時刻と共に対応付けて記憶する（ステップＳ４）。
【００４２】
そして抽出された部分画像における画素値に基づき信号灯Ｌの灯色を検出し、検出した灯色を検出結果１１２として記憶部１１に記憶する（ステップＳ５）。ステップＳ５で処理部１０は、検出された灯色が、稼働状態を示す状態情報に対応付けて、状態毎に予め記憶部１１に記憶してある灯色の画素値範囲のいずれに合致するか否かに応じて状態情報を特定して記憶部１１に記憶するようにしてもよい。この場合カメラデバイス１にて状態の検出まで行なうことになる。この場合、処理部１０は、記憶部１１に記憶した灯色の履歴から、灯色のみならず、点滅を検知するようにしてもよい。
【００４３】
ステップＳ４及びＳ５の処理はいずれか一方を行なう構成としてもよい。灯色の認識は信号灯Ｌの製造元、工場内の撮像環境等の影響を受けるので容易でない。したがってカメラデバイス１での状態の検出までは行なわず、ステップＳ４の処理にとどめてもよいし、画像データの記憶及び送信の記憶容量の負荷、通信負荷が懸念される場合は、検出を行なってから記憶してもよい。
【００４４】
次に処理部１０は、検出範囲１０１の変位の発生の有無を判断する（ステップＳ６）。ステップＳ６の判断を行なうために前処理として例えば処理部１０は、検出範囲１０１内の点灯部分に対応する部分、即ち輝度又は画素値が大きい部分の中心点の座標を、検出範囲１０１内にて特定しておく。この場合ステップＳ６において処理部１０は、検出された灯色について予め検出範囲情報１１１に含まれる中心座標と、前記中心点の座標との距離を算出し、距離が所定値以上であるか否かによって判断する。また、検出範囲１０１の中心点と、点灯部分の中心点との間の距離を算出し、算出された距離が検出範囲１０１に基づく所定長以上であるか否かによって判断してもよい。所定長は、検出範囲１０１の幅方向（高さ方向でもよい）の長さに対する割合で予め記憶部１１に記憶されている。更に、処理部１０は前処理として、点灯部分に対応する部分の大きさの検出範囲１０１に対する割合を算出しておいてもよい。この場合、ステップＳ６において処理部１０は、算出された割合が所定の割合未満であるか否かによって判断する。所定の割合は予め記憶部１１に記憶されている。処理部１０は、検出範囲１０１で抽出される部分画像における画素値の最高値（最も明るい場所の画素値）が所定の明るさに対応する値未満である場合には、信号灯Ｌの点灯部分が検出範囲１０１外となったとして変位ありと判断するようにしてもよい。
【００４５】
ステップＳ６にて変位なしと判断された場合（Ｓ６：ＮＯ）、処理部１０は、ステップＳ２にて記憶部１１に記憶してある検出範囲情報１１１全てを選択したか否かを判断する（ステップＳ７）。処理部１０は、全てを選択していないと判断された場合（Ｓ７：ＮＯ）、処理をステップＳ２へ戻す。ステップＳ７にて全てを選択したと判断された場合（Ｓ７：ＹＥＳ）、処理部１０は補正の要否を判断する（ステップＳ８）。補正不要と判断された場合（Ｓ８：ＮＯ）、そのまま１回の撮像画像に対する検出結果１１２を通信部１２からサーバ装置２へ向けて送信し（ステップＳ１１）、処理を終了する。この場合処理部１０は、所定の待機時間が経過した後、ステップＳ１から再度処理を開始する。
【００４６】
ステップＳ１１の送信は、記憶部１１に記憶している検出結果１１２の履歴により、処理部１０が検出された灯色に変化があったかを判断し、変化があったと判断されたときにのみ送信するようにしてもよい。
【００４７】
ステップＳ６にて変位ありと判断された場合（Ｓ６：ＹＥＳ）、処理部１０は、ステップＳ２で選択された検出範囲情報１１１を、補正要であることを示す情報を対応付けて記憶し（ステップＳ９）、処理をステップＳ７へ進める。
【００４８】
ステップＳ９の補正要の情報の記憶により、ステップＳ８にて補正要と判断された場合（Ｓ８：ＹＥＳ）、処理部１０は、後述にて詳細を説明する補正処理を実行し（ステップＳ１０）、ステップＳ１１の処理を実行し、処理を終了する。この場合処理部１０は、所定の待機時間が経過した後、補正された検出範囲情報１１１に基づいてステップＳ１から再度処理を開始する。
【００４９】
図５は、検出範囲情報１１１の補正処理手順の一例を示すフローチャートである。図５のフローチャートに示す処理手順は、図４のフローチャートに示す処理の内のステップＳ１０の詳細に対応する。
【００５０】
処理部１０は、要因が状態検出対象の装置又は設備の移動による変位であるか否かを判断する（ステップＳ１０１）。ステップＳ１０１において処理部１０は、例えば、補正要で記憶された検出範囲情報１１１が複数であるか否かを判断し、複数である場合にはカメラモジュール自身の移動又は角度変動があったと推測され、ステップＳ１０１にて否と判断する。また処理部１０は、予め撮像範囲に入る壁、柱等の不動物に特徴的な物が撮像される場合には、この物の画像を背景画像として、該物が写る領域の画像内における座標情報と対応付けて記憶しておき、背景画像の変位の有無により判断してもよい。
【００５１】
ステップＳ１０１にて装置又は設備の移動による変位であると判断された場合（Ｓ１０１：ＹＥＳ）、処理部１０は、補正要として記憶された検出範囲情報１１１の内の１つを選択する（ステップＳ１０２）。処理部１０は、対象の撮像画像に対し、選択された検出範囲情報１１１が示す検出範囲１０１から所定の大きさ拡張させた拡張範囲に対応する部分画像を抽出する（ステップＳ１０３）。処理部１０は、抽出された部分画像の内、点灯部分が写っている範囲を特定する（ステップＳ１０４）。このとき処理部１０は、所定値以上である画素値又は輝度値が連続する部分を点灯範囲として特定するとよい。また処理部１０は、記憶部１１に信号灯Ｌの認識情報（パターン画像）が記憶されている場合、検出範囲１０１を基準にして信号灯Ｌの点灯部分が写っている範囲を探索するようにしてもよい。
【００５２】
ステップＳ１０４にて点灯部分が写っている範囲を特定できない場合、処理部１０は拡張範囲を更に拡張して抽出する処理を所定回数まで繰り返すとよい。
【００５３】
処理部１０は、ステップＳ１０４にて特定した範囲の座標により、ステップＳ１０２で選択した検出範囲情報１１１を更新する（ステップＳ１０５）。処理部１０は、更新後の検出範囲情報１１１が示す検出範囲１０１で抽出した部分画像の画像データを検出結果１１２として記憶し（ステップＳ１０６）、また部分画像から、灯色を検出して検出結果１１２に記憶する（ステップＳ１０７）。ステップＳ１０６及びＳ１０７は図４のフローチャートにおけるステップＳ４及びＳ５同様にいずれか一方のみであってもよい。
【００５４】
次に処理部１０は、補正要の検出範囲情報１１１を全て選択したか否かを判断する（ステップＳ１０８）。ステップＳ１０８にて全て選択したと判断された場合（Ｓ１０８：ＹＥＳ）、処理部１０は、補正処理を終了して図４のフローチャートにおけるステップＳ１１へ処理を戻す。
【００５５】
ステップＳ１０８にて全て選択していないと判断された場合（Ｓ１０８：ＮＯ）、処理部１０は処理をステップＳ１０２へ戻す。
【００５６】
ステップＳ１０１にて、装置又は設備の移動による変位でないと判断された場合（Ｓ１０１：ＮＯ）、撮像部１３のカメラモジュール自体の移動であることが推測されるから、処理部１０は、補正要として記憶された検出範囲情報１１１全てに対する補正量を算出する（ステップＳ１０９）。
【００５７】
処理部１０は、ステップＳ１０９で算出された補正量にて、補正要として記憶された検出範囲情報１１１を更新する（ステップＳ１１０）。処理部１０は、更新後の検出範囲情報１１１に基づき、各信号灯Ｌについて、更新後の検出範囲１０１で抽出した部分画像の画像データを検出結果１１２として記憶し（ステップＳ１１１）、また抽出した部分画像から、灯色を検出して検出結果１１２に記憶する（ステップＳ１１２）。処理部１０は、補正処理を終了して図４のフローチャートにおけるステップＳ１１へ処理を戻す。なおステップＳ１１０では、背景画像が記憶部１１に記憶されている場合には、背景画像に対応付けられている座標情報も更新しておく。
【００５８】
なおステップＳ１０１にて、装置又は設備の移動による変位でないと判断された場合であっても（Ｓ１０１：ＮＯ）、ステップＳ１０２からＳ１０８の処理によって個別に補正することが可能である。
【００５９】
なお、図４及び図５のフローチャートにおける処理手順は一例であって、図４のフローチャートにおけるステップＳ６及びＳ１０の実行タイミングはこれに限られない。図６は、カメラデバイス１における処理手順の他の一例を示すフローチャートである。図６のフローチャート内に示される処理手順は、図４及び図５のフローチャートに示した処理手順と順序が異なるのみであるから、共通する手順には同一のステップ番号を付して詳細な説明は省略する。図６のフローチャートにおいては、検出範囲１０１の変位の発生の有無の判断（Ｓ６）を行なうタイミングを、カメラモジュール自体の変位と、検出範囲情報１１１が示す検出範囲１０１個々の変位とで別個に行なう。具体的には処理部１０は、撮像部１３から撮像画像を取得すると（Ｓ１）、撮像部１３のカメラモジュール自体の移動による変位が発生しているか否かの判断を先に行なう（ステップＳ１２１）。変位が発生していると判断された場合には（Ｓ１２１：ＹＥＳ）、処理部１０は、全体に対する補正量の算出（Ｓ１０９）及び補正量による検出範囲情報１１１の更新（Ｓ１１０）を行なう。ステップＳ１２１で発生していないと判断された場合（Ｓ１２１：ＮＯ）、処理部１０は検出範囲情報１１１を１つずつ選択し（Ｓ２）、検出範囲１０１の変位の発生の有無の判断（Ｓ６）を、部分画像を抽出した後（Ｓ３）に行なう。ステップＳ６にて変位なしと判断された場合（既に全体的に補正された後）には、処理部１０は検出範囲１０１にてそのまま検出処理（Ｓ４，Ｓ５）を行ない、変位が発生している場合には、検出処理（Ｓ４、Ｓ５）の前に検出範囲情報１１１を更新する（Ｓ１０３からＳ１０６）。
【００６０】
図５又は図６のフローチャートにより説明した補正処理について具体的に説明する。図７は、補正方法の一例を示す説明図である。図７では、線図により表した撮像画像上の検出範囲１０１の変位と、補正後の検出範囲１０１とを示している。図７Ａは、検出範囲１０１と検出対象とに変位が発生している例を示し（図３Ｂ）、図７Ｂは、補正後の検出範囲１０１を示している。図７に示す例は、図５のフローチャートにおけるステップＳ１０２からＳ１０８の処理による補正に対応する。
【００６１】
図７に示す例では、処理部１０は補正要として記憶された検出範囲情報１１１に基づく破線で示す検出範囲１０１を拡張させた拡張範囲１０２に基づき、点灯部分の範囲を特定する（Ｓ１０４）。処理部１０は、特定された範囲の中心点Ｗに基づき、新たな検出範囲１０１を更新する（Ｓ１０５）。これにより、移動された装置又は設備に対する検出範囲を自律的に補正し、信号灯Ｌの灯色の検出を続行することができる。
【００６２】
図８は、補正方法の他の一例を示す説明図である。図８では、線図により表した撮像画像上の検出範囲１０１の変位と、補正後の検出範囲１０１とを示している。また、図８に示す方法では、図８中の符号１０３で示す背景画像を記憶しており、この背景画像１０３の画像内における位置によってカメラモジュール自体の変動によって検出範囲１０１全てで変位が発生していることを認識できる。図８Ａは、検出範囲１０１と検出対象とに変位が発生している例を示し、図８Ｂは、補正後の検出範囲１０１を示している。図８に示す例は、図５のフローチャートにおけるステップＳ１０９及びＳ１１０の処理による補正に対応する。
【００６３】
図８に示す例では、処理部１０は特徴的な背景画像１０３に基づいて、図８中の白抜きの矢符で表すベクトル量により補正量を算出し（Ｓ１０９）、検出範囲１０１を算出された補正量で補正して検出範囲情報１１１を更新する（Ｓ１１０）。これにより、カメラモジュール自体が移動した場合でも装置又は設備に対する検出範囲を自律的に補正し、信号灯Ｌの灯色の検出を続行することができる。
【００６４】
なお背景画像１０３に基づいて補正する場合、背景画像１０３は複数記憶しておくことが望ましい。単一の背景画像１０３を用いる場合、１ミリ秒から１００ミリ秒程度で図４のフローチャートに示す処理を繰り返し実行するケースでは、背景画像１０３が写らないことがあり、誤って補正要と判断される。複数の背景画像１０３を元に、多数決で背景画像１０３に対応する画像内の位置の変位が発生している場合に、撮像部１３自体の位置が変動していると判断することが好ましい。
【００６５】
パターン認識による補正の場合、処理部１０は、検出範囲情報１１１を信号灯Ｌの画像認識に基づいて信号灯Ｌを逐次追従することで自律的に補正を行なう。この場合、カメラモジュール自体が移動するケースにも、装置又は設備が移動するケースにどちらにも適用でき、信号灯Ｌの灯色の検出を続行することができる。ステップＳ１０６又はステップＳ１１１に処理により、最新の信号灯Ｌを撮像した画像の画像データを記憶しておき、この画像によるパターンマッチングによって追従が可能である。
【００６６】
なおカメラデバイス１が全方位カメラであって１つのみ設置される構成では、処理部１０は、異なる角度で撮像した画像を繋ぎ合わせたパノラマ画像を用いて処理を行なう。具体的には、検出範囲情報としてパノラマ画像における各信号灯Ｌの検出範囲１０１を示す検出範囲情報１１１を記憶しておき、定期的に撮像して得られるパノラマ画像に対し、各検出範囲１０１と信号灯Ｌの点灯部分を撮像した領域との変位の発生の有無を判断し、その結果に基づき自律的に検出範囲情報１１１を補正する。１つのカメラデバイス１を用いても、撮像範囲に含まれる限りにおいて、装置又は設備の移動、カメラデバイス１の移動があったとしても自律的に補正を行なって信号灯Ｌの灯色の検出を続行することが可能である。
【００６７】
そしてカメラデバイス１は上述のように、各々撮像範囲における信号灯Ｌに対する検出範囲１０１を示す検出範囲情報１１１を随時自律的に補正しながら、信号灯Ｌの灯色を検出し、検出結果１１２を記憶部１１に記憶し、サーバ装置２へ送信する。
【００６８】
図９は、サーバ装置２における処理手順の一例を示すフローチャートである。サーバ装置２の処理部２０は、各カメラデバイス１から検出結果を通信部２２により受信し（ステップＳ２０１）、受信した検出結果を逐次記憶部２１に記憶する（ステップＳ２０２）。
【００６９】
処理部２０は、複数のカメラデバイス１からの検出結果を集約した情報を作成する（ステップＳ２０３）。処理部２０はステップＳ２０３において、検出結果が画像データである場合には、各信号灯Ｌの画像を並べた合成画像を作成してもよいし、検出結果が灯色に対応する状態情報である場合には各装置又は設備の稼働状況の表を作成してもよい。
【００７０】
処理部２０は、作成した集約情報に基づき、状態検出システム１００の検知対象の稼働状況を視覚的に示す画面情報を作成し（ステップＳ２０４）、ディスプレイ４へ表示させるべく出力する（ステップＳ２０５）。
【００７１】
処理部２０は、カメラデバイス１のいずれかから検出結果を受信する都度に、図９のフローチャートに示す処理を実行し、ディスプレイ４における画面を更新するとよい。
【００７２】
図１０は、稼働状況を示す表示画面例を示す図である。図１０には、状態検出システム１００の対象となる工場の装置又は設備のレイアウトと共に、各装置又は設備の箇所に稼働状況の推移を、信号灯Ｌの灯色にて示す推移画面４０２を各含むモニタ画面４０１を示している。図１０に示す推移画面４０２には、カメラデバイス１毎に、検出結果として検出範囲１０１に基づき抽出された部分画像の画像データを用い、該画像データに基づく画像の横方向を、中央を含む所定幅分までトリミングしたものが時系列に横方向に連結させて作成された画像（Ｓ２０４）が表示されている。これにより、各装置又は設備の稼働状況の推移が灯色によって示される。ディスプレイ４を視認するオペレータは稼働状況を直感的に把握することが可能になる。部分画像の画像データを連結させて作成された画像を用いることで、信号灯Ｌがいずれかの色で点灯している場合も、オペレータはこれを直感的に把握することが可能である。
【００７３】
稼働状況を通知する機能を有していない既存の装置又は設備の稼働状況を把握するべく、各信号灯Ｌに受光センサを設け、受光センサからの光強度の信号を通信によりサーバ装置２へ送信することも可能である。しかしながら、この場合、信号灯Ｌの数と、色の数に応じて受光センサが必要になり、また信号線の配策が煩雑である。上述したように複数の信号灯Ｌを１台で、又は複数台で撮像した画像を用いて一度に稼働状況を夫々検出することができ、またカメラデバイス１を１つ又は複数設置すればよいので簡易に状態検出システム１００を実現することが可能である。
【００７４】
（変形例）
図１に示すように、状態検出システム１００では、複数のカメラデバイス１で工場内を撮像している。図１１は、複数のカメラデバイス１の撮像画像の内容例を示す図である。図１１Ａは、図１中の中央部に示される柱に取り付けられたカメラデバイス１からの撮像画像を線図により模式的に示し、図１１Ｂは、図１中の右部に示されているカメラデバイス１からの撮像画像を線図により模式的に示している。なお図１１Ｂは、図３Ａに示した例と同一である。図１１Ａにおける右部に写っている信号灯Ｌと、図１１Ｂにおける右端に写っている信号灯Ｌとは、同一の信号灯Ｌである。カメラデバイス１は夫々、記憶部１１に、自身の撮像部１３の撮像範囲に含まれる全信号灯Ｌに対応する検出範囲情報１１１を装置又は設備の識別情報と対応付けて記憶している。処理部１０は他のカメラデバイス１とのPeer to Peer通信により、識別情報に基づいて重複する信号灯Ｌについていずれのカメラデバイス１にて検出を行なうか否かを調整する。図１１の例では、破線で示すように、図１１Ｂに対応するカメラデバイス１にて重複する信号灯Ｌについての検出を初期的には検出対象から外すこととする。
【００７５】
なお重複する検出範囲情報１１１を記憶している複数のカメラデバイス１同士で、いずれのカメラデバイス１が検出するかの決定については、サーバ装置２の処理部２０が行なってもよいし、処理部２０がディスプレイ４を介してオペレータからの設定を受け付けてもよい。
【００７６】
図１１Ａ及び図１１Ｂに示した検出範囲情報１１１に基づいて異なるカメラデバイス１にて夫々検出処理を行なっている間に、重複していた信号灯Ｌに対応する装置のレイアウトが変えられるケースがある。このケースでは、信号灯Ｌの検出範囲１０１を逐次追従して更新したとしても、信号灯Ｌが撮像範囲外へ移動し、検出範囲情報１１１の補正が困難、又は不可能になる可能性がある。図１２は、補正方法の他の一例を示す図である。図１２は、図１１に対してレイアウト変更後の撮像画像を線図により模式的に示している。図１２Ａは、図１１Ａに対応し、図１２Ｂは図１１Ｂに対応する。
【００７７】
図１２Ａに示されているように、右部に写っていた信号灯Ｌは一部が撮像範囲外となり、検出範囲情報１１１の補正で検出を続行することが困難となった場合、処理部１０は、検出外となった信号灯Ｌに対応する装置又は設備の識別情報を対応付けて他のカメラデバイス１へ通知する。他のカメラデバイス１の処理部１０は、通知に対応付けられている識別情報に基づき、記憶部１１に該識別情報に対応する検出範囲情報１１１を記憶していると判断し、自身の検出対象とする。処理部１０は、記憶してある初期的な検出範囲情報１１１に対し、最新の撮像画像に基づき図５のフローチャートに示した補正処理を行なう。これにより、図１２Ｂに示すように、補正後の検出範囲情報１１１に基づき検出を続行することが可能になる。
【００７８】
このようにして、複数のカメラデバイス１を用いる場合であっても図４及び図５のフローチャートに示した処理を拡張することによって、装置又は設備の移動、カメラモジュール自体の変動に応じて、異なるカメラデバイス１間で検出範囲情報１１１を自律的に補正することも可能になる。
【００７９】
なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８０】
１  カメラデバイス
１０  処理部
１１  記憶部
１３  撮像部
１Ｐ  デバイスプログラム
２  サーバ装置
２０  処理部
【図１】
2019140570.tif 000003
【図２】
2019140570.tif 000004
【図３】
2019140570.tif 000005
【図４】
2019140570.tif 000006
【図５】
2019140570.tif 000007
【図６】
2019140570.tif 000008
【図７】
2019140570.tif 000009
【図８】
2019140570.tif 000010
【図９】
2019140570.tif 000011
【図１０】
2019140570.tif 000012
【図１１】
2019140570.tif 000013
【図１２】
2019140570.tif 000014