(57)【要約】【課題】信号灯の表示状態を精度良く判別できる信号灯表示判別装置を提供する。【解決手段】信号灯表示判別装置は、撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、情報取得部により取得された第１領域及び第２領域についての画像に関する情報に基づいて、第１領域に含まれる表示部の表示状態を判別する判別部と、を有する。【選択図】図８
2020160510.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、
前記情報取得部により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別部と、
を有する信号灯表示判別装置。
【請求項２】
前記情報取得部により取得された前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正部をさらに有し、
前記判別部は、前記補正部により補正された前記第１領域の画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
請求項１に記載の信号灯表示判別装置。
【請求項３】
前記撮像部により撮像された画像から明度を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された明度を含む、
請求項１又は２に記載の信号灯表示判別装置。
【請求項４】
前記撮像部により撮像された画像から色相を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された色相を含む、
請求項１から３のいずれか１項に記載の信号灯表示判別装置。
【請求項５】
前記撮像部により撮像された画像は、模様を含む、
請求項１から４のいずれか１項に記載の信号灯表示判別装置。
【請求項６】
前記画像に関する情報の所定の期間における変化の割合を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された前記画像に関する情報の所定の期間における変化の割合を含む、
請求項１から５のいずれか１項に記載の信号灯表示判別装置。
【請求項７】
前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の第１灯火部及び第２灯火部の領域についての画像に関する情報を取得する、
請求項１から６のいずれか１項に記載の信号灯表示判別装置。
【請求項８】
前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の灯火部及び非灯火部の領域についての画像に関する情報を取得する、
請求項１から７のいずれか１項に記載の信号灯表示判別装置。
【請求項９】
前記情報取得部は、前記撮像部により撮像された信号灯毎に、前記第１領域及び前記第２領域についての画像に関する情報を取得する、
請求項１から８のいずれか１項に記載の信号灯表示判別装置。
【請求項１０】
前記表示部は、３以上の灯火部を備え、
前記情報取得部は、前記撮像部により撮像された信号灯の表示部を含む領域である、前記第１領域に近接する第３領域の画像に関する情報をさらに取得し、
前記判別部は、前記第２領域及び前記第３領域の画像に関する情報に基づいて、前記第１領域の表示状態を判別する、
請求項１から９のいずれか１項に記載の信号灯表示判別装置。
【請求項１１】
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別ステップと、
を有する信号灯表示判別方法。
【請求項１２】
コンピュータに、
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得し、
取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
ように機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号灯表示判別装置、信号灯表示判別方法及びプログラムに関する。
【背景技術】
【０００２】
信号灯は、表示状態によって装置の稼働状況を報知するために用いられる。装置管理者は、信号灯の表示を目視して確認することにより、装置の稼働状況を確認する。装置管理者の負担を軽減するために、特許文献１に示すような技術がある。
【０００３】
特許文献１に記載の発明では、カメラで撮影した信号灯の画像を点灯状態の平均輝度及び消灯状態の平均輝度と比較して、信号灯の表示状態を判別する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３５３２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば積層型の信号灯のように発光部同士が近接した信号灯の場合、特許文献１に記載の発明では、隣接する発光部からの光漏れ等により、消灯している発光部を発光していると誤検出する可能性が高くなる。
【０００６】
そこで、本発明は、上記問題を解決するためになされたものであり、信号灯の表示状態を精度良く判別できる信号灯表示判別装置、信号灯表示判別方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の信号灯表示判別装置は、
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、
前記情報取得部により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別部と、
を有する。
【発明の効果】
【０００８】
本発明によれば、信号灯の表示状態を精度良く判別することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る生産設備管理システムの構成図である。
【図２】本発明の実施形態に係る信号灯の概略を示す図である。
【図３】本発明の実施形態に係る信号灯表示判別装置のブロック図である。
【図４】本発明の実施形態に係るガンマ補正のグラフである。
【図５】本発明の実施形態に係る信号灯表示判別装置が算出する明度の構成を示す図である。
【図６】本発明の実施形態に係る信号灯表示判別装置の信号灯の判別処理のフローチャートである。
【図７】本発明の実施形態に係る信号灯表示判別装置の信号灯位置情報設定処理のフローチャートである。
【図８】本発明の実施形態に係る信号灯表示判別装置の信号灯表示判別処理のフローチャートである。
【図９】本発明の変形例に係る信号灯の概略を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態に係る信号灯表示判別装置を備える生産設備管理システムについて、以下、図面を参照して詳細に説明する。
【００１１】
［生産設備管理システムの構成］
図１に示すように、生産設備管理システム１００は、例えば工場の生産設備に設置される積層型の信号灯群１０（信号灯１１，１２，１３）と、信号灯１１，１２，１３の表示状態を撮像して判別する信号灯表示判別装置２０と、を備える。工場の生産設備管理者は、生産設備管理システム１００の信号灯表示判別装置２０を監視することにより、工場の生産設備の稼働状況等を把握する。
【００１２】
（信号灯の構成）
図２に示すように、信号灯１１，１２，１３は、積層型の信号灯であり、生産設備のコンベア（図示せず）の稼働状態を報知するためのものである。信号灯１１，１２，１３は、基部１４、表示部１５、生産設備のコンベアの稼働状態を感知するセンサ（図示せず）、表示部１５及びセンサ等を制御する制御部（図示せず）を備える。
【００１３】
基部１４は、表示部１５を挟持する。基部１４は、不透明の、例えばＡＢＳ（Ａｃｒｙｌｏｎｉｔｒｉｌｅ  Ｂｕｔａｄｉｅｎｅ  Ｓｔｙｒｅｎｅ）樹脂製の筒状体であり、下部を床、壁面又はコンベア等に固定されている。本実施形態において、表示部１５は、灯火（灯火部）１６，１７，１８の３灯の灯火を備える。灯火１６，１７，１８は、透光性を有するアクリル樹脂製の筒状体と、筒状体内部に配置されたＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）とを有する。灯火１６のＬＥＤは、赤色に点灯し、灯火１７のＬＥＤは、黄色に点灯し、灯火１８のＬＥＤは、緑色に点灯する。灯火１６は、生産ラインが異常停止している時に点灯する。灯火１７は、生産設備のコンベアが所定の速度未満である時に点灯する。灯火１８は、生産設備のコンベアが所定の速度以上である時に点灯する。従業員の休憩や生産設備の点検等で生産設備が停止している時には、灯火１６〜灯火１８のいずれも点灯しない。信号灯１１，１２，１３に不具合等がある場合には、灯火１６，１７，１８のうち複数の灯火が点灯する場合がある。信号灯１１，１２，１３は、それぞれ別のコンベアに設置されている。
【００１４】
（信号灯表示判別装置の構成）
信号灯表示判別装置２０は、信号灯１１，１２，１３のそれぞれの灯火１６，１７，１８が点灯しているか消灯しているかを判別し、判別結果をユーザに提示する装置である。図３に示すように、信号灯表示判別装置２０は、撮像部３０と、制御部４０と、記憶部５０と、表示部６０と、を備える。信号灯表示判別装置２０は、撮像部３０によって信号灯１１，１２，１３を同時に撮像することができる位置に配置されている。
【００１５】
撮像部３０は、信号灯１１，１２，１３を撮像する。撮像部３０は、撮像装置（カメラ）を１台備え、撮像装置３１は、本実施形態では、一般的なデジタルカメラと同じ機能を有する。撮像装置３１は、信号灯１１，１２，１３との距離を５ｍ以上の距離を確保して配置されている。撮像部３０は、本実施形態において、生産設備が稼働中に、画角１００度、３０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）で撮像装置３１により信号灯１１，１２，１３を撮像する。撮像部３０は、撮像した画像を制御部４０に送信する。
【００１６】
制御部４０は、撮像部３０から送信された画像から信号灯１１，１２，１３を検出し、太陽光や隣接する灯火の影響を補正し、各灯火１６，１７，１８の明度及び明度の変化の割合を算出して、信号灯１１，１２，１３の各表示部１５の表示状態を判別する。制御部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等で構成され、記憶部５０に記憶されたプログラムを実行することにより、後述する各部（設定部４１、検出部４２、算出部４３、情報取得部４４、補正部４５、判別部４６）の機能を実現する。また、制御部４０は、時計（図示せず）を備え、現在日時の取得や経過時間のカウントをすることができる。
【００１７】
記憶部５０は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ)、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、設定記憶部５１や明度記憶部５２を含む。ＲＯＭには制御部４０のＣＰＵが実行するプログラム（例えば、後述する表示部１５の明度の算定をはじめとする信号灯表示判別処理に係るプログラム）や、プログラムを実行する上で予め必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり変更されたりするデータが記憶される。
【００１８】
設定記憶部５１には、後述する設定部４１で設定される信号灯１１，１２，１３の位置情報や各種初期設定等が記憶される。
【００１９】
明度記憶部５２には、後述する制御部４０で算出された信号灯１１，１２，１３の各灯火１６，１７，１８のフレーム毎の明度Ｖが記憶される。信号灯１１，１２，１３の各灯火１６，１７，１８のフレーム毎の色相や模様等を保存してもよい。
【００２０】
表示部６０は、制御部４０から送信された、信号灯１１，１２，１３の灯火１６，１７，１８の表示状況を表示する。表示部６０は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）から構成された表示装置６１を備える。
【００２１】
表示装置６１としては、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などを採用できる。
【００２２】
次に、信号灯表示判別装置２０の制御部４０の機能的構成について説明する。制御部４０は、設定部４１、検出部４２、算出部４３、情報取得部４４、補正部４５、判別部４６の機能を実現し、撮像された画像から信号灯１１，１２，１３の各灯火１６，１７，１８のフレーム毎の明度Ｖや明度の変化の割合ｒａｔｅを算出し、各表示部１５の表示状態を判別する。
【００２３】
設定部４１は、信号灯１１，１２，１３の表示部１５の位置情報の設定を行う。位置情報には、撮像画像内での表示部１５の領域の位置や範囲、撮像装置３１の画角やズーム倍率等が含まれる。撮像画像内での表示部１５の領域の設定は、撮像装置３１設置時に信号灯１１，１２，１３の全点灯時及び全消灯時の静止画画像の差分をとることにより行われる。設定部４１は、図２に破線で示すように、設定された表示部１５の領域を３分割し、上から灯火１６の領域、灯火１７の領域、灯火１８の領域と設定する。詳細は後述する。画角やズーム倍率は、設定部４１によって、撮像装置３１から自動的に取得される。
【００２４】
図３に戻り、検出部４２は、撮像部３０から受信した画像から、設定部４１によって設定された画像内での表示部１５の領域についての画素値Ｃを検出し、算出部４３に送信する。画像を取り込む際のガンマ補正は、図４に示すように、リニア設定にて処理する。
【００２５】
図３に戻り、算出部４３は、検出された画素値Ｃを、輝度信号（Ｙ）と色差（輝度信号と赤色成分の差、輝度信号と青色成分の差であるＵ及びＶ）の組み合わせで表した８ｂｉｔ入力のＹＵＶ色空間からＨＳＶ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｖａｌｕｅ）色空間に変換する。算出部４３は、画像から算出して得られた明度を情報取得部４４に送信する。
【００２６】
情報取得部４４は、取得した明度に対して、最小値０、最大値１００（パーセント）とする正規化を行って、フレームにおける明度Ｖを算出する。情報取得部４４は、新たなフレームを取得する毎に信号灯１１，１２，１３の各灯火１６，１７，１８の領域内の明度Ｖの平均値Ｖｈを算出し、それぞれ明度記憶部５２に、図５に示すように、フレーム０、フレーム１、フレーム２、…、フレームＮにＶｈ１、Ｖｈ２、…ＶｈＮとして記憶する。また、情報取得部４４は、新たなフレームを取得する毎に、明度Ｖｈを用いて所定の期間ｔ、本実施形態では１０フレームの間における信号灯１１，１２，１３の各灯火１６，１７，１８の明度の移動平均値ａｖｅ０、ａｖｅ１、ａｖｅ２、…、ａｖｅＮを算出し、補正部４５に送信する。本実施形態では、フレームレートが３０ｆｐｓであるので、商用電源周波数の６０Ｈｚや５０Ｈｚの公約数となる１０のフレームについて移動平均を用いることで、蛍光灯の揺らぎや明度が低い時の撮像素子ノイズの影響を低減させることができる。
【００２７】
図３に戻り、補正部４５は、隣接する灯火の現在の画像（フレームＮ）における明度ＶｈＮ２及び所定の期間ｔ、本実施形態では、現在の画像の直前の１０フレームの平均値ａｖｅＮ２に基づいて、判別する灯火の現在の画像における明度ＶｈＮ１と所定の期間ｔの画像の移動平均値の明度ａｖｅＮ１とをそれぞれ補正する。補正の詳細は後述する。補正部４５は、判別する灯火について、補正された明度ＶｈＮ１を明度ａｖｅＮ１で除した後１００を掛けて、判別する灯火の明度の変化の割合ｒａｔｅＮを算出する。
【００２８】
判別部４６は、補正部４５から送信されたｒａｔｅＮが所定の閾値以上、本実施形態では１２５以上であれば、その灯火の表示状態が点灯状態に変化したと判別する。また、判別部４６は、ｒａｔｅＮが所定の閾値未満、本実施形態では８０未満であれば、その灯火の表示状態が消灯状態に変化したと判別する。判別部４６は、灯火の表示状態の判別結果を表示部６０に送信する。
【００２９】
以上、生産設備管理システム１００の機能・構成について説明した。次に、生産設備管理システム１００の信号灯表示判別装置２０の信号灯の判別処理について図６を用いて説明する。
【００３０】
まず、信号灯表示判別装置２０の電源がＯＮされ、信号灯表示判別装置２０の各種設定が初期化される。また、信号灯１１，１２，１３の電源もＯＮされる。設定部４１は、信号灯表示判別装置２０の初期設定である信号灯位置情報設定処理を行う（ステップＳ１０１）。詳細は後述する。
【００３１】
次に、測光方法を設定する。設定部４１は、測光方式を、平均測光とし（ステップＳ１０２）、撮像装置３１のレンズのフォーカス設定を、過焦点に設定する（ステップＳ１０３）。信号灯１１，１２，１３と撮像装置３１との距離を５ｍ以上確保していることにより、過焦点より遠くにピントが合うので、信号灯表示判別装置の稼働中でのフォーカス位置の変更が不要になり、画角の変動もない。
【００３２】
設定部４１は、ホワイトバランスを、オート設定とし（ステップＳ１０４）、顔検出等の機能はＯＦＦにする（ステップＳ１０５）。ガンマ補正（階調補正）は、リニア設定とする（ステップＳ１０６）。一般的なカメラでは、表示デバイスやプリントの関係等から、カーブ１．８や２．２などの曲線が一般的であるが、信号灯１１，１２，１３のそれぞれの灯火１６，１７，１８の変化を、ありのままに把握するためにリニア設定を採用する。設定部４１は、上記の各種設定を設定記憶部５１に記憶させ、信号灯群１０及び信号灯表示判別装置２０の設定に変更がない場合に、設定記憶部５１の設定を利用し、起動時の再設定を省略する。
【００３３】
その後、信号灯表示判別処理が行われ、判別部４６は、信号灯１１，１２，１３のそれぞれの灯火１６，１７，１８に点灯、消灯があったか否かを判別し、判別結果を制御部４０に送信する（ステップＳ１０７）。信号灯表示判別処理の詳細は後述する。
【００３４】
制御部４０は、信号灯表示判別処理の結果を表示部６０に表示する（ステップＳ１０８）。生産設備管理者は、表示部６０を目視することにより、信号灯１１，１２，１３を直接目視確認すること無く、信号灯１１，１２，１３の表示状態を確認できる。
【００３５】
信号灯表示判別装置２０の電源がＯＦＦされた場合（ステップＳ１０９：Ｙｅｓ）、終了する。
【００３６】
信号灯表示判別装置２０の電源がＯＦＦされていない場合（ステップＳ１０９：Ｎｏ）、ステップＳ１０７に戻る。
【００３７】
以上、信号灯表示判別装置２０の信号灯の判別処理を説明した。次に、信号灯位置情報設定処理について図７を用いて説明する。
【００３８】
まず、設定部４１は、信号灯１１，１２，１３の全ての灯火１６，１７，１８が消灯された状態の画像Ｐを撮像し、設定記憶部５１に保存する（ステップＳ２０１）。
【００３９】
次に、設定部４１は、信号灯１１，１２，１３の全ての灯火１６，１７，１８が点灯された状態の画像Ｌを撮像し、設定記憶部５１に保存する（ステップＳ２０２）。
【００４０】
設定部４１は、画像Ｐと画像Ｌとの差分Ｄを取った後に二値化画像処理を行って得られた画像Ｇを表示部６０に表示する（ステップＳ２０３）。
【００４１】
画像Ｐ、画像Ｌの撮像の際に、移動する人や物等がノイズとして差分Ｄに表示される場合があるので、設定部４１は、画像Ｇへのフィルター処理を行い、差分Ｄからノイズを除去する（ステップＳ２０４）。
【００４２】
設定部４１は、ノイズ除去された画像Ｇに、領域ごとにラベリングを行い、本実施形態では、信号灯１１，１２，１３の表示部１５の領域に番号が付される。これにより、設定部４１は、信号灯の台数を判別する（ステップＳ２０５）。
【００４３】
設定部４１は、ラベル情報を元に枠（信号灯１１，１２，１３の表示部１５の領域の境界）を検出する。これにより、設定部４１は、信号灯１１，１２，１３の表示部１５の位置を設定し設定記憶部５１に記憶する（ステップＳ２０６）。なお、本実施形態では、表示部１５は灯火１６，１７，１８の３灯を有するので、設定部４１は、表示部１５の領域を３分割し、上から灯火１６，１７，１８の３つの領域に設定する。また、設定部４１は、画像Ｌや画像Ｐより撮像装置３１の画角を設定し設定記憶部５１に記憶する。設定部４１は、フレームレートを、本実施形態では、３０ｆｐｓに設定し、設定記憶部５１に記憶して終了する。
【００４４】
以上、信号灯表示判別装置２０の信号灯位置情報設定処理を説明した。次に信号灯表示判別処理について図８を用いて説明する。例として、フレームＮの元となる画像が撮像部３０に撮像される時点において、信号灯１１の灯火１６の表示状態に変化があったか否かを判別する場合について説明する。なお、説明を簡略化するために、後述する所定の期間ｔ（１０フレーム）の途中では、いずれの灯火１６，１７，１８も、点灯及び消灯しないものとする。
【００４５】
まず、撮像部３０は、撮像装置３１に信号灯群１０（信号灯１１，１２，１３）の画像を撮像させる。撮像部３０は、撮像した画像を検出部４２に送信する（ステップＳ３０１）。
【００４６】
検出部４２は、撮像された画像から、信号灯１１について、設定部４１に指定された灯火１６及び灯火１７の画素値Ｃを検出し、算出部４３に送信する（ステップＳ３０２）。
【００４７】
算出部４３は、検出された画素値ＣをＹＵＶによる色空間の情報からＨＳＶによる色空間の情報へと変換する。算出部４３は、画像から算出して得られた灯火１６及び灯火１７の明度を情報取得部４４に送信する（ステップＳ３０３）。
【００４８】
情報取得部４４は、取得した明度を用いて、信号灯１１の表示部１５の灯火１６及び灯火１７について、以下の（１）式によってｍ＝０，Ｍ＝１００（最小値０、最大値１００（パーセント））とする正規化を行い、フレームにおける明度Ｖｔ１、Ｖｔ２を算出する（ステップＳ３０４）。
【数１】
2020160510.tif 000003
【００４９】
情報取得部４４は、フレーム毎に信号灯１１の灯火１６，１７の領域内の明度Ｖｔ１、Ｖｔ２の平均値Ｖｈ１、Ｖｈ２を算出し、それぞれ明度記憶部５２に、図５に示すように、フレーム０、フレーム１、フレーム２、…、フレームＮ−１にＶｈ１１、Ｖｈ１２、…Ｖｈ１Ｎ−１、Ｖｈ２１、Ｖｈ２２、…Ｖｈ２Ｎ−１として記憶する。また、情報取得部４４は、明度Ｖｈ１、Ｖｈ２の平均値を用いて所定の期間ｔである（最新のフレームＮを除く）１０フレームにおける信号灯１１の灯火１６，１７の最新の移動平均明度ａｖｅＮ１、ａｖｅＮ２を算出し、補正部４５に送信する（ステップＳ３０５）。
【００５０】
また、情報取得部４４は、灯火１６，１７の指定範囲毎に、撮像した最新のフレームＮの画素の明度平均値ｎｅｗＮ１、ｎｅｗＮ２を算出し、補正部４５に送信する（ステップＳ３０６）。
【００５１】
補正部４５は、灯火１６の指定範囲について、明度の変化の割合ｒａｔｅ１を、以下の（２）式によって算出する。
ｒａｔｅ１＝ｎｅｗＮ１÷ａｖｅＮ１×１００（パーセント）…（２）
【００５２】
また、補正部４５は、灯火１６に隣接する灯火１７の指定範囲について、ｒａｔｅ２を、ｎｅｗＮ１をｎｅｗＮ２に、ａｖｅＮ１をａｖｅＮ２に置き換えて（２）式により算出する（ステップＳ３０７）。
【００５３】
補正部４５は、本実施形態において、ｒａｔｅ２が１２５以上となった場合（隣接する灯火１７が点灯した場合）、ｒａｔｅ２が８０未満となった場合（灯火１７が消灯した場合）、フレームＮ以前のフレームにおいて判別部４６が灯火１７が点灯したと判別した後ｒａｔｅ２が８０未満になっていない場合、のいずれかに該当する場合（ステップＳ３０８；Ｙｅｓ）、ｒａｔｅ１を以下の式（３）により補正して灯火１６の明度の変化の割合ｒａｔｅ＿ＬＴを算出し、判別部４６に送信する（ステップＳ３０９）。ステップＳ３０８を満たす３つの場合には、灯火１６の明度の変化に灯火１７の明度の影響があると考えられるので、その影響を低減させるために下記（３）式を用いて灯火１６の明度の変化の割合を補正する。
ｒａｔｅ＿ＬＴ＝ｒａｔｅ１÷ｒａｔｅ２×１００（パーセント）…（３）
【００５４】
ｒａｔｅ２が８０以上１２５未満となった場合（ステップＳ３０８；Ｎｏ）、補正部４５は、ｒａｔｅ＿ＬＴを、（２）式で算出されたｒａｔｅ１の値とし（ステップＳ３１５）、ｒａｔｅ＿ＬＴを判別部４６に送信し、ステップＳ３１０に進む。
【００５５】
ステップＳ３１０において、判別部４６は、ｒａｔｅ＿ＬＴが１２５以上である場合（ステップＳ３１０；Ｙｅｓ）、灯火１６が点灯したと判別し（ステップＳ３１１）、判別結果を制御部４０に送信して終了する。
【００５６】
ｒａｔｅ＿ＬＴが１２５未満である場合（ステップＳ３１０；Ｎｏ）、ステップＳ３１２に進む。判別部４６は、ｒａｔｅ＿ＬＴが８０未満である場合（ステップＳ３１２；Ｙｅｓ）、灯火１６が消灯したと判別し（ステップＳ３１３）、判別結果を制御部４０に送信して終了する。
【００５７】
ｒａｔｅ＿ＬＴが８０以上である場合（ステップＳ３１２；Ｎｏ）、灯火１６の表示状態に変化なしと判別し（ステップＳ３１４）、判別結果を制御部４０に送信して終了する。
【００５８】
上記の説明は、灯火１６について判別する場合の説明であったが、灯火１７について判別する場合は、灯火１６，１８の明度の変化の影響を考慮する。灯火１８について判別する場合は、上記説明同様に、灯火１７の明度の変化の影響を考慮する。
【００５９】
また、上記の説明は、所定の期間ｔである１０フレーム内では、灯火１６，１７は、点灯及び消灯しない場合についてのものであったが、１０フレーム内に灯火１６，１７のいずれか又は両方が点灯又は消灯した場合には、明度に大きく変化があった後、１１フレーム以上経過してから、灯火１６の表示状態の判別を行うものとすればよい。
【００６０】
以上説明したように、信号灯表示判別装置２０は、隣接する灯火１７の明度の変化（点灯や消灯等）の割合に基づいて信号灯１１の灯火１６の明度の変化の割合を判別するので、隣接する灯火１７の明度の変化の影響（例えば灯火１７の点灯による反射板や接合部からの光漏れ等、灯火１７の消灯等の影響）を低減できる。従って、信号灯表示判別装置２０は、信号灯１１の灯火１６の表示状態を精度良く判別できる。特に、積層型信号灯等のように灯火が互いに隣接又は近接している場合に判別精度が向上する。また、灯火１６，１７の明度の変化の割合を最新のフレームに対応した所定の期間での移動平均に基づいて算出しているので、信号灯表示判別装置２０は、信号灯１１の灯火１６の表示状態の判別を、例えばゆっくりと変化する日照の変化等にも対応して行うことができる。
【００６１】
（変形例）
上記の実施形態では、隣接する灯火の影響を考慮したが、環境光の変化、例えば窓からの太陽光の変化や工場内の照明等を考慮することにより、信号灯の表示状態の判別精度をさらに向上させることができる。具体的には、図９に破線で示すように、灯火１８直下の基部１４の参照領域（非灯火部）１９を領域に設定する。この参照領域１９は発光することもなく、内部からの光の透過もないので、この参照領域１９の明度の変化は、環境光の変化を精度よく表すものになる。参照領域１９の変化の割合ｒａｔｅＲを、上記（３）式から除し、１００を掛けることで、環境光の変化による灯火の明度の変化の影響を低減させることができ、灯火の表示状態の判別精度を向上させることができる。また、隣接する灯火１７の代わりに、参照領域１９の明度を使用してもよい。参照領域１９は、灯火１６，１７，１８に隣接していなくてよく、灯火１６，１７，１８と環境光の影響がほぼ同程度である範囲で近接しているとよい。
【００６２】
上記の実施形態では、明度の変化により信号灯の表示状態を判別したが、色相の変化により信号灯の表示状態を判別してもよいし、明度及び色相の変化により信号灯の表示状態を判別してもよい。色相の変化を考慮する場合、数色の表示が可能な１灯式の信号灯の表示状態を判別することができる。例えば、前段落の参照領域１９の色相をグレー１８パーセントと設定し、この参照領域１９の色相を基準にして環境光の影響を考慮しつつ各灯火の色相を補正する。これにより、信号灯の灯火の表示状態を色相を基準に精度よく判別することができる。なお、色相を基準に信号灯の表示状態の判別を行う場合、領域の設定は、上記実施形態のように各灯火で行うのではなく、各信号灯で行えば足りる。
【００６３】
また、上記の実施形態では、隣接する灯火の影響を考慮したが、他の灯火、例えば、灯火１６の表示状態を判別する場合に隣接する灯火１７の明度だけでなく灯火１８の明度の影響も考慮してもよい。この場合、灯火１７の明度のほうが灯火１８よりも灯火１６の明度への影響が大きいので、灯火１８の明度の影響が小さくなるように数式（３）の調整を行うとよい。
【００６４】
上記の実施形態では、明度の変化により信号灯の表示状態を判別したが、模様の変化により信号灯の表示状態を判別してもよいし、明度、色相、模様のいずれか２つ以上の変化により信号灯の表示状態を判別してもよい。模様の変化の判別は、例えば、画像認識により行うとよい。模様としては、例えば、矢印、縞模様、市松模様、部品の形状、○×等、または、文字等を利用できる。或いは、画像に関する情報から取得できる他の要素、例えば、輝度や彩度等を利用してもよい。
【００６５】
また、上記の実施形態では、明度の変化の割合ｒａｔｅ１を補正したが、明度の変化の割合の補正を行わず、例えば、隣接する灯火１７と灯火１６との明度差と点灯、消灯の判別のための閾値との対応テーブル等を作成し、利用することにより、隣接する灯火等の影響を低減させてもよい。
【００６６】
上記の実施形態では、隣接する灯火１７の影響を図８のステップＳ３０８で場合分けしてｒａｔｅ１を補正したが、ステップＳ３０８で場合分けする事なくｒａｔｅ１にｒａｔｅ２を反映させてもよい。
【００６７】
上記の実施形態では、同一の信号灯１１の灯火１６に隣接する灯火１７の影響を考慮したが、他の信号灯１２，１３の灯火１６，１７，１８の影響を考慮してもよい。他の信号灯１２，１３が信号灯１１に近接している場合などには、信号灯１１の表示状態の判別の精度を向上できる。
【００６８】
上記の実施形態では、３灯の信号灯について表示状態を判別したが、２灯の信号灯、或いは４灯以上の信号灯について表示状態を判別してもよい。また、灯火の色や灯火の色の組み合わせも、上記の実施形態以外の灯火の色や灯火の色の組み合わせであってもよい。
【００６９】
上記の実施形態では、ＹＵＶ色空間からＨＳＶ色空間への変換を行ったが、他の変換、例えば輝度信号（Ｙ）と色差（輝度信号と青色成分の差、輝度信号と赤色成分の差であるＰｂ及びＰｒ）の組み合わせで表したＹＰｂＰｒ色空間からＨＬＳ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｌｕｍｉｎａｔｉｏｎ）色空間への変換を行う等、変換前後の色空間は他の色空間であってもよい。
【００７０】
上記の実施形態では、１０フレームの移動平均明度を使用したが、１０フレーム以外のフレーム数の移動平均明度でもよいし、１フレームの明度を使用してもよい。
【００７１】
上記の実施形態では、明度について正規化を行ったが、正規化を行わなくてもよい。
【００７２】
上記の実施形態では、判別部４６は、ｒａｔｅ＿ＬＴが１２５以上となった場合に点灯、ｒａｔｅ＿ＬＴが８０未満となった場合に消灯と判別したが、判別部４６が点灯、消灯と判別するしきい値は、これらの数値以外であってもよい。
【００７３】
上記の実施形態では、灯火１６，１７，１８のそれぞれ全体を領域に設定したが、例えば、灯火１６，１７，１８のＬＥＤの近くの領域だけを設定したり、灯火１６，１７，１８の右半分或いは左半分の領域を設定したりしてもよい。また、図１に示すように、灯火１６，１７，１８は、互いに離れていてもよく、互いの領域の表示状態に影響を与える位置に近接して配置されていればよい。灯火１６，１７，１８は、縦に並んでいるのでは無く、横や斜めに並んでいてもよい。
【００７４】
上記の実施形態では、信号灯表示判別装置２０は、生産設備管理システム１００に使用されていたが、信号灯表示判別装置２０は、例えば、物流設備を管理するシステム等、生産設備や倉庫等の様々な設備の管理に使用することができる。
【００７５】
上記の実施形態では、信号灯表示判別装置２０の表示部６０に信号灯の表示状況を表示していたが、信号灯表示判別装置２０が通信部を備え、通信部を介して外部機器のモニター等に信号灯の表示状況を表示してもよい。
【００７６】
上記の実施形態では、信号灯表示判別装置２０の撮像部３０は撮像装置３１を備えていたが、信号灯表示判別装置２０が通信部を備え、撮像装置を備えておらず、通信部を介して外部機器のカメラ等から信号灯の表示状況を撮像して画像を取得してもよい。また、撮像部３０は撮像措置を複数台有していてもよく、複数台の撮像装置によってより多くの信号灯を撮像させることができる。
【００７７】
上記の実施形態では、設定部４１により、表示部１５の位置情報の設定を行っていたが、ユーザに信号灯１１，１２，１３の表示部１５の位置情報の設定を行わせてもよい。位置情報の設定は、撮像装置３１設置時に静止画画像を取得し、取得した静止画画像を参照してユーザに信号灯１１，１２，１３の表示部１５及び参照領域１９の位置をＰＣやタブレットを用いて指定させることにより行われる。
【００７８】
この発明の信号灯表示判別装置２０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、信号灯表示判別装置２０が行う信号灯表示判別処理のプログラムが、記憶部５０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）及びＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
【００７９】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００８０】
（付記）
（付記１）
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、
前記情報取得部により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別部と、
を有する信号灯表示判別装置。
【００８１】
（付記２）
前記情報取得部により取得された前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正部をさらに有し、
前記判別部は、前記補正部により補正された前記第１領域の画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
付記１に記載の信号灯表示判別装置。
【００８２】
（付記３）
前記撮像部により撮像された画像から明度を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された明度を含む、
付記１又は２に記載の信号灯表示判別装置。
【００８３】
（付記４）
前記撮像部により撮像された画像から色相を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された色相を含む、
付記１から３のいずれか１つに記載の信号灯表示判別装置。
【００８４】
（付記５）
前記撮像部により撮像された画像は、模様を含む、
付記１から４のいずれか１つに記載の信号灯表示判別装置。
【００８５】
（付記６）
前記画像に関する情報の所定の期間における変化の割合を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された前記画像に関する情報の所定の期間における変化の割合を含む、
付記１から５のいずれか１つに記載の信号灯表示判別装置。
【００８６】
（付記７）
前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の第１灯火部及び第２灯火部の領域についての画像に関する情報を取得する、
付記１から６のいずれか１つに記載の信号灯表示判別装置。
【００８７】
（付記８）
前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の灯火部及び非灯火部の領域についての画像に関する情報を取得する、
付記１から７のいずれか１つに記載の信号灯表示判別装置。
【００８８】
（付記９）
前記情報取得部は、前記撮像部により撮像された信号灯毎に、前記第１領域及び前記第２領域についての画像に関する情報を取得する、
付記１から８のいずれか１つに記載の信号灯表示判別装置。
【００８９】
（付記１０）
前記表示部は、３以上の灯火部を備え、
前記情報取得部は、前記撮像部により撮像された信号灯の表示部を含む領域である、前記第１領域に近接する第３領域の画像に関する情報をさらに取得し、
前記判別部は、前記第２領域及び前記第３領域の画像に関する情報に基づいて、前記第１領域の表示状態を判別する、
付記１から９のいずれか１つに記載の信号灯表示判別装置。
【００９０】
（付記１１）
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別ステップと、
を有する信号灯表示判別方法。
【００９１】
（付記１２）
コンピュータに、
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得し、
取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
ように機能させるためのプログラム。
【符号の説明】
【００９２】
１０…信号灯群、１１，１２，１３…信号灯、１４…基部、１５…表示部、１６，１７，１８…灯火（灯火部）、１９…参照領域（非灯火部）、２０…信号灯表示判別装置、３０…撮像部、３１…撮像装置、４０…制御部、４１…設定部、４２…検出部、４３…算出部、４４…情報取得部、４５…補正部、４６…判別部、５０…記憶部、５１…設定記憶部、５２…明度記憶部、６０…表示部、６１…表示装置、１００…生産設備管理システム
【図１】
2020160510.tif 000004
【図２】
2020160510.tif 000005
【図３】
2020160510.tif 000006
【図４】
2020160510.tif 000007
【図５】
2020160510.tif 000008
【図６】
2020160510.tif 000009
【図７】
2020160510.tif 000010
【図８】
2020160510.tif 000011
【図９】
2020160510.tif 000012
【手続補正書】
【提出日】令和2年7月2日(2020.7.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記目的を達成するため、本発明の信号灯表示判別装置は、
撮像手段により撮像された信号灯の表示手段の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得手段と、
前記情報取得手段により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第２領域に含まれる前記表示手段の表示状態を判別する判別手段と、
前記判別手段により前記第２領域に含まれる前記表示手段の表示状態が閾値未満の状態を所定の期間継続していないと判別された場合、前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正手段と、
を備える。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像手段により撮像された信号灯の表示手段の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得手段と、
前記情報取得手段により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第２領域に含まれる前記表示手段の表示状態を判別する判別手段と、
前記判別手段により前記第２領域に含まれる前記表示手段の表示状態が閾値未満の状態を所定の期間継続していないと判別された場合、前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正手段と、
を備えることを特徴とする信号灯表示判別装置。
【請求項２】
前記判別手段は更に、前記補正手段により補正された前記第１領域の画像に関する情報に基づいて、前記第１領域に含まれる前記表示手段の表示状態を判別する、
ことを特徴とする請求項１に記載の信号灯表示判別装置。
【請求項３】
前記判別手段は前記第２領域に含まれる前記表示手段の表示状態が、閾値未満の状態を所定の期間継続していると判別した場合、更に取得された前記第１領域の画像に関する情報に基づいて、前記第１領域に含まれる前記表示手段の表示状態を判別する、
ことを特徴とする請求項１に記載の信号灯表示判別装置。
【請求項４】
前記撮像された信号灯の表示手段の少なくとも一部を含む領域の明度を算出する明度算出手段を更に備え、
前記画像に関する情報は、前記明度算出手段により算出された明度を含む、
ことを特徴とする請求項１から３のいずれか１項に記載の信号灯表示判別装置。
【請求項５】
前記撮像された信号灯の表示手段の少なくとも一部を含む領域の色相を算出する色相算出手段を更に備え、
前記画像に関する情報は、前記色相算出手段により算出された色相を含む、
ことを特徴とする請求項１から４のいずれか１項に記載の信号灯表示判別装置。
【請求項６】
前記撮像された信号灯の表示手段の少なくとも一部を含む領域は、前記信号灯の模様を含む、
ことを特徴とする請求項１から５のいずれか１項に記載の信号灯表示判別装置。
【請求項７】
前記画像に関する情報の所定の期間における変化の割合を算出する変化割合算出手段を更に備え、
前記画像に関する情報は、前記変化割合算出手段により算出された前記画像に関する情報の所定の期間における変化の割合を含む、
ことを特徴とする請求項１から６のいずれか１項に記載の信号灯表示判別装置。
【請求項８】
前記情報取得手段は、前記第１領域及び前記第２領域として、前記撮像手段により撮像された信号灯の第１灯火部及び第２灯火部の領域についての画像に関する情報を取得する、
ことを特徴とする請求項１から７のいずれか１項に記載の信号灯表示判別装置。
【請求項９】
前記情報取得手段は、前記第１領域及び前記第２領域として、前記撮像手段により撮像された信号灯の灯火部及び非灯火部の領域についての画像に関する情報を取得する、
ことを特徴とする請求項１から８のいずれか１項に記載の信号灯表示判別装置。
【請求項１０】
前記情報取得手段は、前記撮像手段により撮像された信号灯毎に、前記第１領域及び前記第２領域についての画像に関する情報を取得する、
ことを特徴とする請求項１から９のいずれか１項に記載の信号灯表示判別装置。
【請求項１１】
前記信号灯の前記表示手段は、３以上の灯火部を備え、
前記情報取得手段は、前記撮像手段により撮像された信号灯の表示手段を含む領域である、前記第１領域に近接する第３領域の画像に関する情報をさらに取得し、
前記判別手段は、前記第２領域及び前記第３領域の画像に関する情報に基づいて、前記第１領域の表示状態を判別する、
ことを特徴とする請求項１から１０のいずれか１項に記載の信号灯表示判別装置。
【請求項１２】
撮像手段により撮像された信号灯の表示手段の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得ステップと、
前記情報取得ステップにて取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第２領域に含まれる前記表示手段の表示状態を判別する判別ステップと、
前記判別ステップにて前記第２領域に含まれる前記表示手段の表示状態が閾値未満の状態を所定の期間継続していないと判別された場合、前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正ステップと、
を含むことを特徴とする信号灯表示判別方法。
【請求項１３】
コンピュータに、
撮像手段により撮像された信号灯の表示手段の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得手段、
前記情報取得手段により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第２領域に含まれる前記表示手段の表示状態を判別する判別手段、
前記判別手段により前記第２領域に含まれる前記表示手段の表示状態が閾値未満の状態を所定の期間継続していないと判別された場合、前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正手段、
として機能させるためのプログラム。