(57)【要約】【課題】対象部分の状態を判断するにあたり判断速度およびコストの点で改善された情報処理装置を提供する。【解決手段】情報処理装置は、複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得する画像取得部と、取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断する状態判断部と、を備える。【選択図】  図１
2020042426.tif 000002
【特許請求の範囲】
【請求項１】
複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得する画像取得部と、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断する状態判断部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記画像取得部は、前記対象部分を複数含むエリアを撮像するカメラから撮像画像を取得し、
前記状態判断部は、取得した撮像画像から各対象部分に対応する領域の画像をそれぞれ抽出し、対象部分ごとに、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて当該対象部分の状態を判断する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像取得部は、前記カメラから連続した複数の撮像画像を取得し、
前記状態判断部は、取得した複数の撮像画像から前記対象部分に対応する領域の画像をそれぞれ抽出し、予め用意された複数の状態のマスター画像とそれぞれ比較して類似度を算出し、類似度が最も高くなった回数が最も多いマスター画像から前記対象部分の状態を判断する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記画像取得部は、前記対象部分と一定の外見を呈する参照部分とを含むエリアを撮像するカメラから撮像画像を取得し、
前記状態判断部は、取得した撮像画像から前記対象部分に対応する領域の画像と前記参照部分に対応する領域の画像とを抽出し、前記参照部分に対応する領域の画像を予め用意された参照部分についてのマスター画像と比較して第１類似度を算出し、算出した第１類似度に基づいて前記参照部分が写っているか否かを判定し、前記参照部分が写っていると判定された場合には、前記対象部分に対応する領域の画像を予め用意された複数の状態のマスター画像と比較して第２類似度を算出し、算出した第２類似度に基づいて前記対象部分の状態を判断する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
２つの状態に応じて互いに異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得する画像取得部と、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された一方の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断する状態判断部と、
を備えたことを特徴とする情報処理装置。
【請求項６】
前記対象部分は、スイッチまたはランプである、
ことを特徴とする請求項１〜５のいずれかに記載の情報処理装置。
【請求項７】
前記対象部分は、０〜９のいずれかの数字を表示する数字表示部である、
ことを特徴とする請求項１〜４のいずれかに記載の情報処理装置。
【請求項８】
前記対象部分は、複数の状態に応じてそれぞれ異なる画像を表示する画像表示部である、
ことを特徴とする請求項１〜５のいずれかに記載の情報処理装置。
【請求項９】
前記対象部分は、ドアまたは窓である、
ことを特徴とする請求項１〜５のいずれかに記載の情報処理装置。
【請求項１０】
類似度の算出方法は、ＳＳＤ、ＳＡＤ、ＮＣＣ、ＺＮＣＣのいずれかである、
ことを特徴とする請求項１〜９のいずれかに記載の情報処理装置。
【請求項１１】
複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得するステップと、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断するステップと、
を備えたことを特徴とする情報処理方法。
【請求項１２】
コンピュータに、
複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得するステップと、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断するステップと、
を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
現在、既存の分電盤や制御盤は、複数のセンサーを制御したり、情報を確認したりするような使い方が一般的であるが、その多くはアナログセンサーを制御するものであるため、ネットワークやコンピュータにそのまま接続することができず、情報収集しにくい。そのため、現状は、人の巡回などでその確認作業や操作を行っている。
【０００３】
また、近年、監視カメラの映像に気温や湿度などの測定データを紐づけて記憶するなど、カメラシステムとセンサーとを連動させる仕組みが広まりつつあるが、ネットワークに接続できるセンサーがまだまだ少なく、高価なものとなっている。また、既存のセンサーの多くがアナログセンサーであり、カメラシステムとの連動が難しい。
【０００４】
特許文献１には、積算電力量計などの計測機器の数字をカメラで撮像し、ＯＣＲ（光学文字認識）の方式で数字の読み取りを行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−１５００６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、センサーの状態を表示するランプの色や数字の判断を、特許文献１で提案されているように、文字認識や状態認識といった画像解析で行う場合には、画像解析に相当な計算時間（たとえば１０〜２０秒）がかかるため、確認できるセンサーの数が少数に限られてしまうという問題がある。また、特殊なフォントが使用されている場合には、相当な計算時間をかけたとしても、画像解析では文字や数字を読み取ることができないことがある。
【０００７】
また、カメラの前を人が通過したりすることがあるため、信頼度を高めるためには、連続した複数枚の画像で判断する必要があるものの、１枚の画像の解析に１０〜２０秒もかかることから、連続した複数枚の画像を解析することは現実的ではない。また、画像解析を行うためには高解像度のカメラで撮影する必要があるため、コストが高くなってしまう。
【０００８】
本発明は、以上のような点を考慮してなされたものである。本発明の目的は、対象部分の状態を判断するにあたり判断速度およびコストの点で改善された情報処理装置、情報処理方法および情報処理プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の態様に係る情報処理装置は、
複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得する画像取得部と、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断する状態判断部と、
を備える。
【００１０】
このような態様によれば、状態判断部が、カメラの撮像画像から対象部分に対応する領域の画像を抽出し、抽出された画像に対し、文字認識や状態認識といった画像解析を行って対象部分の状態を判断するのではなく、予め用意されたマスター画像と比較して（すなわち画像同士を比較して）対象部分の状態を判断するため、判断速度を大幅に改善することができる。また、画像解析を行うわけではないので、カメラの解像度は低くてもよく、安価に実現することができる。
【００１１】
本発明の第２の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、
前記画像取得部は、前記対象部分を複数含むエリアを撮像するカメラから撮像画像を取得し、
前記状態判断部は、取得した撮像画像から各対象部分に対応する領域の画像をそれぞれ抽出し、対象部分ごとに、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて当該対象部分の状態を判断する。
【００１２】
このような態様によれば、状態を確認すべき対象部分が複数あっても、それらの状態を一元的に把握することができる。また、対象部分の状態を、文字認識や状態認識といった画像解析を行って判断するのではなく、予め用意されたマスター画像と比較して判断するため、１か所当たりの状態判断に時間がかからない。したがって、２５６か所くらいまでの多数の対象部分に対応することが可能である。
【００１３】
本発明の第３の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、
前記画像取得部は、前記カメラから連続した複数の撮像画像を取得し、
前記状態判断部は、取得した複数の撮像画像から前記対象部分に対応する領域の画像をそれぞれ抽出し、予め用意された複数の状態のマスター画像とそれぞれ比較して類似度を算出し、類似度が最も高くなった回数が最も多いマスター画像から前記対象部分の状態を判断する。
【００１４】
このような態様によれば、連続した複数枚の画像で判断するため、対象部分とカメラとの間を人が通過して対象部分が一時的に遮蔽される場合であっても、対象部分の状態を確実に判断することができ、信頼度を高めることができる。また、対象部分の状態を、文字認識や状態認識といった画像解析を行って判断するのではなく、予め用意されたマスター画像と比較して判断するため、連続した複数の画像であっても実用的な時間内に判断を終えることができる。
【００１５】
本発明の第４の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、
前記画像取得部は、前記対象部分と一定の外見を呈する参照部分とを含むエリアを撮像するカメラから撮像画像を取得し、
前記状態判断部は、取得した撮像画像から前記対象部分に対応する領域の画像と前記参照部分に対応する領域の画像とを抽出し、前記参照部分に対応する領域の画像を予め用意された参照部分についてのマスター画像と比較して第１類似度を算出し、算出した第１類似度に基づいて前記参照部分が写っているか否か判定し、前記参照部分が写っていると判定された場合には、前記対象部分に対応する領域の画像を予め用意された複数の状態のマスター画像と比較して第２類似度を算出し、算出した第２類似度に基づいて前記対象部分の状態を判断する。
【００１６】
このような態様によれば、一定の外見を呈する参照部分が写っている場合のみ、撮像画像を利用して対象部分の状態を判断するため、たとえばカメラの前を人が通過して対象部分と参照部分とが一時的に遮蔽された場合の撮像画像を利用して、対象部分の状態を誤認識してしまうことを防止でき、信頼度を高めることができる。
【００１７】
本発明の第５の態様に係る情報処理装置は、
２つの状態に応じて互いに異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得する画像取得部と、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された一方の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断する状態判断部と、
を備える。
【００１８】
このような態様によれば、状態判断部が、カメラの撮像画像から抽出された対象部分に対応する領域の画像に対し、文字認識や状態認識といった画像解析を行って対象部分の状態を判断するのではなく、予め用意されたマスター画像と比較して対象部分の状態を判断するため、判断速度を大幅に改善することができる。また、画像解析を行うわけではないので、カメラの解像度は低くてもよく、安価に実現することができる。また、対象部分がとり得る２つの状態のうち、両方の状態のマスター画像を用意しておく必要はなく、一方の状態のマスター画像のみを用意しておけばよいため、簡便である。
【００１９】
本発明の第６の態様に係る情報処理装置は、第１〜５のいずれかの態様に係る情報処理装置であって、
前記対象部分は、スイッチまたはランプである。
【００２０】
本発明の第７の態様に係る情報処理装置は、第１〜４のいずれかの態様に係る情報処理装置であって、
前記対象部分は、０〜９のいずれかの数字を表示する数字表示部である。
【００２１】
本発明の第８の態様に係る情報処理装置は、第１〜５のいずれかの態様に係る情報処理装置であって、
前記対象部分は、複数の状態に応じてそれぞれ異なる画像を表示する画像表示部である。
【００２２】
本発明の第９の態様に係る情報処理装置は、第１〜５のいずれかの態様に係る情報処理装置であって、
前記対象部分は、ドアである。
【００２３】
本発明の第１０の態様に係る情報処理装置は、第１〜９のいずれかの態様に係る情報処理装置であって、
類似度の算出方法は、ＳＳＤ、ＳＡＤ、ＮＣＣ、ＺＮＣＣのいずれかである。
【００２４】
本発明の第１１の態様に係る情報処理方法は、
複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得するステップと、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断するステップと、
を備える。
【００２５】
本発明の第１２の態様に係る情報処理プログラムは、
コンピュータに、
複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラから撮像画像を取得するステップと、
取得した撮像画像から前記対象部分に対応する領域の画像を抽出し、予め用意された複数の状態のマスター画像と比較して類似度を算出し、算出した類似度に基づいて前記対象部分の状態を判断するステップと、
を実行させる。
【発明の効果】
【００２６】
本発明によれば、対象部分の状態を判断するにあたり判断速度およびコストの点で改善された情報処理装置、情報処理方法および情報処理プログラムを提供できる。
【図面の簡単な説明】
【００２７】
【図１】図１は、第１の実施形態に係る情報処理装置を含む情報処理システムの概略的な構成を示す図である。
【図２】図２は、図１に示す情報処理装置による情報処理方法の一例を示すフローチャートである。
【図３】図３は、図１に示す情報処理装置による情報処理方法の第１の変形例を示すフローチャートである。
【図４】図４は、図１に示す情報処理装置による情報処理方法の第２の変形例を示すフローチャートである。
【図５】図５は、図１に示す情報処理装置による情報処理方法の第３の変形例を示すフローチャートである。
【図６】図６は、図１に示す情報処理装置による情報処理方法の第４の変形例を示すフローチャートである。
【図７】図７は、カメラで撮像された撮像画像の一例を示す図である。
【図８Ａ】図８Ａは、ＯＮ状態のスイッチのマスター画像を示す図である。
【図８Ｂ】図８Ｂは、ＯＦＦ状態のスイッチのマスター画像を示す図である。
【図９】図９は、カメラで撮像された撮像画像の別の一例を示す図である。
【図１０Ａ】図１０Ａは、「１」を表示する数字表示部のマスター画像を示す図である。
【図１０Ｂ】図１０Ｂは、「４」を表示する数字表示部のマスター画像を示す図である。
【図１０Ｃ】図１０Ｃは、「５」を表示する数字表示部のマスター画像を示す図である。
【図１１Ａ】図１１Ａは、運転停止中の画像を表示する画像表示部のマスター画像を示す模式図である。
【図１１Ｂ】図１１Ｂは、運転中の画像を表示する画像表示部のマスター画像を示す模式図である。
【図１２】図１２は、カメラで撮像された撮像画像の別の一例を示す図である。
【図１３Ａ】図１３Ａは、照明点灯時における開状態のドアのマスター画像を示す図である。
【図１３Ｂ】図１３Ｂは、照明点灯時における閉状態のドアのマスター画像を示す図である。
【図１３Ｃ】図１３Ｃは、消灯時における開状態のドアのマスター画像を示す図である。
【図１３Ｄ】図１３Ｄは、消灯時における閉状態のドアのマスター画像を示す図である。
【発明を実施するための形態】
【００２８】
以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。
【００２９】
（第１の実施形態）
図１は、第１の実施の形態に係る情報処理装置２を含む情報処理システム１の概略的な構成を示す図である。
【００３０】
図１に示すように、情報処理システム１は、情報処理装置２と、カメラ３とを有している。情報処理装置２とカメラ３とは、ネットワーク４を介して互いに接続されている。ネットワーク４は、有線回線と無線回線のいずれでもよく、回線の種類や形態は問わない。
【００３１】
このうちカメラ３は、複数の状態に応じてそれぞれ異なる外見を呈する１または複数の対象部分が撮影範囲に含まれる位置に固定されて設置されており、当該対象部分を含む所定のエリアを撮像して撮像画像を生成する。生成される撮像画像は、静止画像と動画像のいずれであってもよい。
【００３２】
なお、「対象部分」は、複数の状態に応じてそれぞれ異なる外見を呈するものであれば、ＯＮ状態とＯＦＦ状態との間で外見が切り替わるスイッチやランプであってもよいし、０〜９のいずれかの数字を表示する液晶表示部などの数字表示部であってもよいし、複数の状態（たとえば、運転中の状態と運転停止中の状態）に応じてそれぞれ異なる画像を表示する液晶表示部などの画像表示部であってもよい。また、「対象部分」は、複数の状態に応じてそれぞれ異なる外見を呈するものであれば、上述したような電子機器５の一部分に限定されるものでもなく、たとえば開状態と閉状態との間で外見が切り替わるドア（扉）や窓であってもよい。
【００３３】
図７は、カメラ３で撮像された撮像画像の一例を示す図である。図７に示す例では、工作機械の制御盤の盤面がカメラ３で撮像されており、符号６１〜６３が付された矩形領域にはそれぞれ、ＯＮ状態／ＯＦＦ状態に応じてインジケータの向きが変わる回転スイッチが写っており、符号６４が付された矩形領域には、ＯＮ状態／ＯＦＦ状態に応じて点灯／消灯するＬＥＤランプ付きの押しボタンスイッチが写っている。
【００３４】
図９は、カメラ３で撮像された撮像画像の別の一例を示す図である。図９に示す例では、生産機械の制御盤の盤面がカメラ３で撮像されており、符号６５ａ〜６５ｃが付された矩形領域にはそれぞれ、０〜９のいずれかの数字を表示する数字表示部が写っており、符号６６が付された矩形領域には、運転中／運転停止中のいずれかの画像を表示する画像表示部が写っている。
【００３５】
図１２は、カメラ３で撮像された撮像画像のさらに別の一例を示す図である。図１２に示す例では、会議室の室内がカメラ３で撮像されており、符号６７が付された矩形領域には、開閉可能なドアが写っている。
【００３６】
カメラ３は、１または複数の対象部分に加えて、一定の外見を呈する参照部分を含む所定のエリアを撮像して撮像画像を生成してもよい。「参照部分」は、一定の外見を呈するものであれば、特に限定されるものではないが、たとえば常時点灯可能なＬＥＤランプであってもよい。
【００３７】
次に、情報処理装置２の構成について説明する。図１に示すように、情報処理装置２は、たとえばクラウド型のサーバであり、通信部２１と、制御部２２と、記憶部２３とを有している。各部は、バスやネットワークを介して互いに通信可能に接続されている。
【００３８】
このうち通信部２１は、情報処理装置２とネットワーク４との間の通信インターフェースである。通信部２１は、ネットワーク４を介してカメラ３と情報処理装置２との間で情報を送受信する。
【００３９】
記憶部２３は、たとえばハードディスク等の固定型データストレージである。記憶部２３には、制御部２２が取り扱う各種データが記憶される。たとえば、記憶部２３は、「対象部分」ごとに、予め用意された複数の状態のマスター画像２３ａと、撮像画像の中から当該対象部分に対応する領域を指定するための位置情報２３ｂとを記憶している。記憶部２３は、撮影画像の中から、一定の外見を呈する参照部分に対応する領域を指定するための位置情報と、予め用意された参照部分についてのマスター画像とをさらに記憶していてもよい。
【００４０】
位置情報２３ｂは、撮像画像の中で１つの矩形領域を特定できる情報であれば、４つの頂点（左上、右上、右下、左下）の画素位置の情報であってもよいし、いずれか１つ頂点の画素位置と縦および横の画素数の情報であってもよい。位置情報２３ｂは、たとえば撮影画像上にグリッドが表示され、そのグリッドがユーザにより選択されることで、記憶部２３に登録されるようになっていてもよい。
【００４１】
対象部分についての複数の状態のマスター画像２３ａは、たとえば、以下の手順で用意される。すなわち、電子機器５の試験動作時に、ユーザの手で第１の状態に設定された対象部分がカメラ３で撮像され、その撮像画像の中から、上述した位置情報２３ｂによって特定される矩形領域の画像が切り出されることで、第１の状態のマスター画像が用意される。次いで、ユーザの手で対象部分が第１の状態から第２の状態に切り換えられ、第２状態に設定された対象部分がカメラ３で撮像され、その撮像画像の中から、同じ位置情報２３ｂによって特定される矩形領域の画像が切り出されることで、第２の状態のマスター画像が用意される。同様にして、ユーザの手で第ｎ（ｎは２以上の自然数）の状態から第ｎ＋１の状態に切り換えられたのち、第ｎ＋１の状態に設定された対象部分がカメラ３で撮像され、その撮像画像の中から、同じ位置情報２３ｂによって特定される矩形領域の画像が切り出されることで、第ｎ＋１の状態のマスター画像が用意され得る。
【００４２】
０〜９の数字のマスター画像に２３ａは、以下の手順で用意されてもよい。すなわち、テストモードにて０〜９の数字を繰り返し表示する数字表示部がカメラ３で連続して撮像され、最初の撮像画像の中から、上述した位置情報２３ｂによって特定される矩形領域の画像が切り出されることで、第１の数字のマスター画像が生成される。次いで、そのあとの撮像画像の中から、同じ位置情報２３ｂによって特定される矩形領域の画像が切り出され、１つ前の矩形領域の画像と一致するか否かが判定される。そして、一致しないと判定された場合には、当該新たな矩形領域の画像が、第２の数字のマスター画像として採用される。この手順を繰り返すことで、１０通りの数字のマスター画像が生成される。その後、１０通りの数字のマスター画像をユーザが目視で確認しながら０〜９のいずれかの数字をそれぞれ関連づけることで、０〜９の数字のマスター画像が用意され得る。
【００４３】
図８Ａおよび図８Ｂは、ＯＮ状態／ＯＦＦ状態に応じてインジケータの向きが変わる回転スイッチについてのマスター画像の一例を示す図であり、図８Ａは、ＯＮ状態のマスター画像を示しており、図８Ｂは、ＯＦＦ状態のマスター画像を示している。
【００４４】
図１０Ａ〜図１０Ｃは、０〜９のいずれかの数字を表示する数字表示部についてのマスター画像の一例を示す図であり、図１０Ａは「１」の状態のマスター画像を示しており、図１０Ｂは「４」を状態のマスター画像を示しており、図１０Ｃは「５」の状態のマスター画像を示している。なお、「０」「２」「３」「６」「７」「８」「９」の状態のマスター画像については図示を省略する。
【００４５】
図１１Ａおよび図１１Ｂは、運転中／運転停止中のいずれかの画像を表示する画像表示部についてのマスター画像の一例を示す図であり、図１１Ａは、運転中の状態のマスター画像の模式図を示しており、図１１Ｂは、運転停止中の状態のマスター画像の模式図を示している。
【００４６】
なお、上述した例では、マスター画像は、対象部分の状態ごとに１種類ずつ用意されていたが、これに限定されるものではなく、たとえば昼夜の状態などの明るさの違いに応じて、対象部分の状態ごとに複数種類ずつ用意されていてもよい。たとえば、図１３Ａ〜図１３Ｄは、会議室のドアについてのマスター画像の一例を示す図であり、図１３Ａは、昼間の開状態のマスター画像を示しており、図１３Ｂは、昼間の閉状態のマスター画像を示しており、図１３Ｃは、夜間の開状態のマスター画像を示しており、図１３Ｄは、夜間の閉状態のマスター画像を示している。すなわち、図示された例では、開状態のドアのマスター画像として、図１３Ａおよび図１３Ｃの２種類が用意されており、閉状態のドアのマスター画像として、図１３Ｂおよび図１３Ｄの２種類が用意されている。このように、マスター画像が対象部分の状態ごとに複数種類ずつ用意されることにより、昼夜の状態などの明るさの違いに依らず、対象部分の状態をより確実に判断することが可能となる。
【００４７】
図１に示すように、制御部２２は、画像取得部２２ａと、状態判断部２２ｂとを有している。これらの各部は、情報処理装置２内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。
【００４８】
画像取得部２２ａは、カメラ３からネットワーク４を介して撮像画像を取得する。画像取得部２２ａは、カメラ３からネットワーク４を介して連続した複数の撮像画像を取得してもよい。画像取得部２２ａにより取得された撮像画像は、記憶部２３に記憶されてもよい。
【００４９】
状態判断部２２ｂは、記憶部２３に記憶された位置情報２３ｂを参照し、画像取得部２２ａにより取得された撮像画像から、対象部分に対応する領域の画像を抽出する。また、状態判断部２２ｂは、記憶部２３に記憶されたマスター画像２３ａを参照し、撮像画像から抽出した画像を、予め用意された複数の状態のマスター画像と比較して類似度を算出する。類似度の算出方法としては、たとえば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ  ｍｅａｎｓ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）のいずれかが用いられ得る。
【００５０】
状態判断部２２ｂは、算出した類似度に基づいて、対象部分の状態を判断する。たとえば、状態判断部２２ｂは、算出した類似度が最も高かったマスター画像が示す状態を、対象部分の状態として判断する。また、状態判断部２２ｂは、算出した類似度がいずれも所定の閾値より低かった場合には、対象部分の状態が、マスター画像が示す状態のいずれでもない（不明な状態である）と判断してもよい。あるいは、状態判断部２２ｂは、算出した類似度がいずれも所定の閾値より低かった場合には、抽出した画像とマスター画像２３ａの両方に対し、２値化や反転などの画像処理を行い、画像処理後の抽出画像とマスター画像２３ａとを比較することで類似度を再計算してもよい。
【００５１】
画像取得部２２ａが、対象部分を複数含むエリアを撮像するカメラ３から撮像画像を取得した場合には、状態判断部２２ｂは、取得した撮像画像から各対象部分に対応する領域（たとえば、図７に示す撮像画像における矩形領域６１〜６４）の画像をそれぞれ抽出し、対象部分ごとに、予め用意された複数の状態のマスター画像２３ａと比較して類似度を算出し、算出した類似度に基づいて当該対象部分の状態を判断してもよい。
【００５２】
また、画像取得部２２ａが、カメラ３から連続した複数の撮像画像を取得した場合には、状態判断部２２ｂは、取得した複数の撮像画像から対象部分に対応する領域の画像をそれぞれ抽出し、予め用意された複数の状態のマスター画像２３ａとそれぞれ比較して類似度を算出し、類似度が最も高くなった回数が最も多いマスター画像２３ａから対象部分の状態を判断してもよい。具体的には、たとえば、５枚の連続した撮像画像のうち、４枚の撮像画像から抽出された対象部分の画像は、ＯＮ状態のマスター画像との類似度が高かったものの、残りの１枚の撮像画像から抽出された対象部分の画像は、ＯＮ状態のマスター画像との類似度が低かった場合には、当該１枚の撮像画像には何らかの不具合が生じている可能性があるため、状態判断部２２ｂは、４枚の撮像画像から算出された類似度に基づいて、対象状態がＯＮ状態であると判断してもよい。
【００５３】
また、画像取得部２２ａが、対象部分と参照部分とを含むエリアを撮像するカメラ３から撮像画像を取得した場合には、状態判断部２２ｂは、取得した撮像画像から対象部分に対応する領域の画像と参照部分に対応する領域の画像とをそれぞれ抽出し、参照部分に対応する領域の画像を予め用意された参照部分についてのマスター画像と比較して第１類似度を算出し、算出した第１類似度に基づいて参照部分が写っているか否かを判定し、参照部分が写っていると判定された場合には、対象部分に対応する領域の画像を予め用意された対象部分についての複数の状態のマスター画像２３ａと比較して類似度を算出し、算出した類似度に基づいて対象部分の状態を判断してもよい。
【００５４】
また、画像取得部２２ａが、２つの状態に応じて互いに異なる外見を呈する対象部分を含むエリアを撮像するカメラ３から撮像画像を取得した場合には、状態判断部２２ｂは、取得した撮像画像から対象部分に対応する領域の画像を抽出し、予め用意された一方の状態のマスター画像２３ａと比較して類似度を算出し、算出した類似度に基づいて対象部分の状態を判断してもよい。具体的には、たとえば、対象部分が開閉可能なドアである場合には、状態判断部２２ｂは、取得した撮像画像から当該ドアに対応する領域の画像を抽出し、予め用意された閉状態のドアのマスター画像と比較して類似度を算出し、類似度が所定の閾値より高かった場合には、当該ドアが閉まっていると判断し、類似度が所定の閾値以下であった場合には、当該ドアが開いていると判断してもよい。
【００５５】
（情報処理方法の一例）
次に、図２を参照して、情報処理装置２による情報処理方法の一例について説明する。図２は、情報処理装置２による情報処理方法の一例を示すフローチャートである。
【００５６】
まず、図２に示すように、画像取得部２２ａが、複数の状態に応じてそれぞれ異なる外見を呈する対象部分を含むエリアを撮像するカメラ３から、ネットワーク４を介して撮像画像を取得する（ステップＳ１１）。画像取得部２２ａにより取得された撮像画像は、記憶部２３に記憶される。
【００５７】
次に、状態判断部２２ｂが、記憶部２３に記憶された位置情報２３ｂを参照し、取得された撮像画像から、対象部分に対応する領域の画像を抽出する（ステップＳ１２）。
【００５８】
次いで、状態判断部２２ｂは、記憶部２３に記憶されたマスター画像２３ａを参照し、抽出された画像を、予め用意された複数の状態のマスター画像２３ａと比較して類似度を算出する（ステップＳ１３）。類似度の算出方法としては、たとえば、ＳＳＤ、ＳＡＤ、ＮＣＣ、ＺＮＣＣのいずれかが用いられ得る。
【００５９】
そして、状態判断部２２ｂは、算出した類似度に基づいて、対象部分の状態を判断する（ステップＳ１４）。具体的には、たとえば、状態判断部２２ｂは、ＯＮ状態のマスター画像の類似度がＯＦＦ状態のマスター画像の類似度より高かった場合には、対象部分がＯＮ状態であると判断し、逆に、ＯＦＦ状態のマスター画像の類似度がＯＮ状態のマスター画像の類似度より高かった場合には、対象部分がＯＦＦ状態であると判断してもよい。また、状態判断部２２ｂは、ＯＮ状態のマスター画像の類似度とＯＦＦ状態のマスター画像の類似度のいずれも所定の閾値より低かった場合には、対象部分の状態が不明であると判断してもよい。
【００６０】
あるいは、状態判断部２２ｂは、「ｍ」（ｍは０〜９のいずれかの数字）の数字のマスター画像の類似度が、他のすべての数字のマスター画像の類似度より高かった場合には、対象部分が「ｍ」の数字であると判断してもよい。また、状態判断部２２ｂは、０〜９の数字のマスター画像のいずれも所定の閾値より低かった場合には、対象部分の数字が不明であると判断してもよい。
【００６１】
ところで、発明が解決しようとする課題の欄でも言及したように、センサーの状態を表示するランプの色や数字の判断を、文字認識や状態認識といった画像解析で行う場合には、画像解析に相当な計算時間（たとえば１０〜２０秒）がかかるため、確認できるセンサーの数が少数に限られてしまうという問題があった。また、特殊なフォントが使用されている場合には、相当な計算時間をかけたとしても、画像解析では文字や数字を読み取ることができないことがあった。
【００６２】
また、カメラ３の前を人が通過したりすることがあるため、信頼度を高めるためには、連続した複数枚の画像で判断する必要があるものの、１枚の画像解析に１０〜２０秒もかかることから、連続した複数枚の画像を解析することは現実的ではなかった。また、画像解析を行うためには高解像度のカメラで撮影する必要があるため、コストが高くなっていた。
【００６３】
これに対し、本実施の形態によれば、状態判断部２２ｂが、カメラ３の撮像画像から対象部分に対応する領域の画像を抽出し、抽出された画像に対し、文字認識や状態認識といった画像解析を行って対象部分の状態を判断するのではなく、予め用意されたマスター画像と比較して（すなわち画像同士を比較して）対象部分の状態を判断するため、判断速度を大幅に改善することができる。また、画像解析を行うわけではないので、カメラの解像度は低くてもよく、安価に実現することができる。また、画像解析を行うわけではなく、画像同士を比較するだけであるため、特殊なフォントが使用されている場合であっても、文字や数字を確実に判断することができる。
【００６４】
（情報処理方法の第１の変形例）
次に、図３を参照し、情報処理装置２による情報処理方法の第１の変形例について説明する。図３は、情報処理装置２による情報処理方法の第１の変形例を示すフローチャートである。
【００６５】
図３に示す例では、まず、画像取得部２２ａが、複数の対象部分を含むエリアを撮像するカメラ３から、ネットワーク４を介して撮像画像を取得する（ステップＳ２１）。画像取得部２２ａにより取得された撮像画像は、記憶部２３に記憶される。
【００６６】
次に、状態判断部２２ｂが、記憶部２３に記憶された位置情報２３ｂを参照し、取得された撮像画像から、各対象部分に対応する領域の画像を抽出する（ステップＳ２２）。たとえば、図７に示す例では、状態判断部２２ｂは、符号６１〜６４を付した各矩形領域の画像をそれぞれ抽出する。
【００６７】
次いで、状態判断部２２ｂは、対象部分ごとに、記憶部２３に記憶されたマスター画像２３ａを参照し、抽出された画像を、予め用意された複数の状態のマスター画像２３ａと比較して類似度を算出する（ステップＳ２３）。そして、状態判断部２２ｂは、対象部分ごとに、算出した類似度に基づいて、当該対象部分の状態を判断する（ステップＳ２４）。
【００６８】
その後、状態判断部２２ｂは、全ての対象部分について、その状態を判断済みかどうか判定する（ステップＳ２５）。そして、まだ状態の判断をしていない対象部分が残っていた場合には（ステップＳ２５：ＮＯ）、状態判断部２２ｂは、その残っている対象部分に対して、ステップＳ２３からの処理を繰り返す。
【００６９】
以上のような第１の変形例によれば、状態を確認すべき対象部分が複数あっても、それらの状態を一元的に把握することができる。また、対象部分の状態を、文字認識や状態認識といった画像解析を行って判断するのではなく、予め用意されたマスター画像と比較して判断するため、１か所当たりの状態判断に時間がかからない。したがって、２５６か所くらいまでの多数の対象部分に対応することが可能である。
【００７０】
（情報処理方法の第２の変形例）
次に、図４を参照し、情報処理装置２による情報処理方法の第２の変形例について説明する。図４は、情報処理装置２による情報処理方法の第２の変形例を示すフローチャートである。
【００７１】
図４に示す例では、まず、画像取得部２２ａが、対象部分を含むエリアを連続して複数撮像するカメラ３から、ネットワーク４を介して連続した複数の撮像画像を取得する（ステップＳ３１）。画像取得部２２ａにより取得された撮像画像は、記憶部２３に記憶される。
【００７２】
次に、状態判断部２２ｂが、記憶部２３に記憶された位置情報２３ｂを参照し、取得された複数の撮像画像から、対象部分に対応する領域の画像をそれぞれ抽出する（ステップＳ３２）。
【００７３】
次いで、状態判断部２２ｂは、記憶部２３に記憶されたマスター画像２３ａを参照し、抽出された画像ごとに、予め用意された複数の状態のマスター画像２３ａと比較して類似度を算出する（ステップＳ３３）。
【００７４】
次に、状態判断部２２ｂは、マスター画像２３ａごとに、類似度が最も高くなった回数を集計する（ステップＳ３４）。そして、状態判断部２２ｂは、類似度が最も高くなった回数が最も多いマスター画像が示す状態を、対象部分の状態として判断する（ステップＳ３５）。
【００７５】
以上のような第２の変形例によれば、連続した複数枚の画像で判断するため、対象部分とカメラ３との間を人が通過して対象部分が一時的に遮蔽される場合であっても、対象部分の状態を確実に判断することができ、信頼度を高めることができる。また、対象部分の状態を、文字認識や状態認識といった画像解析を行って判断するのではなく、予め用意されたマスター画像と比較して判断するため、連続した複数の画像であっても実用的な時間内に判断を終えることができる。
【００７６】
（情報処理方法の第３の変形例）
次に、図５を参照し、情報処理装置２による情報処理方法の第３の変形例について説明する。図５は、情報処理装置２による情報処理方法の第３の変形例を示すフローチャートである。
【００７７】
図５に示す例では、まず、画像取得部２２ａが、一定の外見を呈する参照部分と対象部分とを含むエリアを撮像するカメラ３から、ネットワーク４を介して撮像画像を取得する（ステップＳ４１）。画像取得部２２ａにより取得された撮像画像は、記憶部２３に記憶される。
【００７８】
次に、状態判断部２２ｂが、記憶部２３に記憶された位置情報２３ｂを参照し、取得された撮像画像から、対象部分に対応する領域の画像と参照部分に対応する領域の画像とをそれぞれ抽出する（ステップＳ４２）。
【００７９】
次いで、状態判断部２２ｂは、参照部分に対応する領域の画像を予め用意された参照部分についてのマスター画像と比較して類似度（第１類似度）を算出する（ステップＳ４３）。そして、状態判断部２２ｂは、算出した類似度（第１類似度）に基づいて、参照部分に対応する領域の画像に参照部分が写っているか否かを判定する（ステップＳ４４）。
【００８０】
参照部分に対応する領域の画像に参照部分が写っていると判定された場合には（ステップＳ４５：ＹＥＳ）、記憶部２３に記憶された対象部分についてのマスター画像２３ａを参照し、対象部分に対応する領域の画像を、予め用意された対象部分についての複数の状態のマスター画像２３ａと比較して類似度（第２類似度）を算出する（ステップＳ４６）。そして、状態判断部２２ｂは、算出した類似度（第２類似度）に基づいて、対象部分の状態を判断する（ステップＳ４７）。
【００８１】
一方、参照部分に対応する領域の画像に参照部分が写っていないと判定された場合には（ステップＳ４５：ＮＯ）、撮像画像に何らかの不具合が生じている可能性があるため、制御部２２は、ステップＳ４１から処理をやり直す。
【００８２】
以上のような第３の変形例によれば、一定の外見を呈する参照部分が写っている場合のみ、撮像画像を利用して対象部分の状態を判断するため、たとえばカメラ３の前を人が通過して対象部分と参照部分とが一時的に遮蔽された場合の撮像画像を利用して、対象部分の状態を誤認識してしまうことを防止でき、信頼度を高めることができる。
【００８３】
（情報処理方法の第４の変形例）
次に、図６を参照し、情報処理装置２による情報処理方法の第４の変形例について説明する。図６は、情報処理装置２による情報処理方法の第４の変形例を示すフローチャートである。
【００８４】
図６に示す例では、まず、画像取得部２２ａが、２つの状態に応じて互いに異なる外見を呈する対象部分（たとえば開閉可能なドア）を含むエリアを撮像するカメラ３から、ネットワーク４を介して撮像画像を取得する（ステップＳ５１）。画像取得部２２ａにより取得された撮像画像は、記憶部２３に記憶される。図１２は、撮像画像の一例を示している。
【００８５】
次に、状態判断部２２ｂが、記憶部２３に記憶された位置情報２３ｂを参照し、取得された撮像画像から、対象部分に対応する領域６７の画像を抽出する（ステップＳ５２）。
【００８６】
次いで、状態判断部２２ｂは、記憶部２３に記憶されたマスター画像２３ａを参照し、対象部分に対応する領域６７の画像を、予め用意された一方の状態（たとえば、ドアが閉まっている状態）のマスター画像（図１３Ｂおよび図１３Ｄ参照）と比較して類似度を算出する（ステップＳ５４）。
【００８７】
そして、状態判断部２２ｂは、算出した類似度に基づいて、対象部分の状態を判断する（ステップＳ５５）。具体的には、たとえば、閉状態のドアのマスター画像（図１３Ｂおよび図１３Ｄ）と比較して算出された類似度が、所定の閾値より高かった場合には、状態判断部２２ｂは、ドアが閉まっていると判断する。一方、閉状態のドアのマスター画像（図１３Ｂおよび図１３Ｄ）と比較して算出された類似度が、所定の閾値以下であった場合には、状態判断部２２ｂは、ドアが開いていると判断する。
【００８８】
以上のような第４の変形例によれば、対象部分がとり得る２つの状態のうち、両方の状態のマスター画像を用意しておく必要はなく、一方の状態のマスター画像のみを用意しておけばよいため、簡便である。
【００８９】
なお、上述した実施の形態および個々の変形例の記載ならびに図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の形態および個々の変形例の記載または図面の開示によって特許請求の範囲に記載された発明が限定されることはない。上述した実施の形態および個々の変形例の構成要素は、発明の主旨を逸脱しない範囲で任意に組み合わせることが可能である。
【００９０】
また、本実施の形態に係る情報処理装置はコンピュータシステムによって構成され得るが、コンピュータシステムに情報処理装置を実現させるためのプログラム及び当該プログラムを記録した記録媒体も、本件の保護対象である。
【符号の説明】
【００９１】
１      情報処理システム
２      情報処理装置
２１    通信部
２２    制御部
２２ａ  画像取得部
２２ｂ  状態判断部
２３    記憶部
２３ａ  マスター画像
２３ｂ  位置情報
３      カメラ
４      ネットワーク
５      電子機器
【図１】
2020042426.tif 000003
【図２】
2020042426.tif 000004
【図３】
2020042426.tif 000005
【図４】
2020042426.tif 000006
【図５】
2020042426.tif 000007
【図６】
2020042426.tif 000008
【図７】
2020042426.tif 000009
【図８Ａ】
2020042426.tif 000010
【図８Ｂ】
2020042426.tif 000011
【図９】
2020042426.tif 000012
【図１０Ａ】
2020042426.tif 000013
【図１０Ｂ】
2020042426.tif 000014
【図１０Ｃ】
2020042426.tif 000015
【図１１Ａ】
2020042426.tif 000016
【図１１Ｂ】
2020042426.tif 000017
【図１２】
2020042426.tif 000018
【図１３Ａ】
2020042426.tif 000019
【図１３Ｂ】
2020042426.tif 000020
【図１３Ｃ】
2020042426.tif 000021
【図１３Ｄ】
2020042426.tif 000022