(57)【特許請求の範囲】
【請求項１】
映像撮影装置と、映像入力装置と、データ処理装置と、記憶装置とから構成され、
前記映像撮影装置は、前記映像入力装置へ向け、常時撮影結果を送信し、
前記記憶装置は、背景イメージデータと該背景イメージデータの特徴点及び設定値が記録された個別環境データとを記憶し、
前記データ処理装置は、映像取得手段と障害物確認手段と汚れ等確認手段とを有し、
前記映像取得手段は、前記映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行い、
前記障害物確認手段は、前記背景イメージデータの特徴点と前記映像取得手段により取得された静止画イメージデータの特徴点とを、個別環境データに定められた特徴点ごとのグレイ値について比較し、特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わず前記映像取得手段に戻り、
前記汚れ等確認手段は、予め背景イメージデータのグレイ値の範囲をしきい値として決めておき、前記映像取得手段で取得した静止画イメージデータをグレイ値で比較し、しきい値を超えるグレイ値を示す部分が検出された場合には、汚れと判断し、監視員への連絡や記録への転記、針検知の補正ロジックの起動をし、
前記データ処理装置は、前記背景イメージデータと取得した静止画イメージデータとから、障害要素を取り除いた後、予め定めた指針のグレイ値および特徴量から指針を認識し、指し示す値の記録を行う、画像認識による指針式メーター測定システム。
【請求項２】
前記データ処理装置は、映像取得手段と、背景イメージデータ取得手段と、障害物確認手段と、汚れ等確認手段と、領域抽出手段と、グレイ値検出手段と、ラベリング手段と、特徴量抽出手段と、検知記録手段とから構成され、
前記映像取得手段は、前記映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行い、
前記背景イメージデータ取得手段は、前記記憶装置中に予め撮影、格納された背景イメージデータの取得を行い、各ビットのグレイ値量をデータセットとして記録し、そのうち指針の変化により影響を受けないビットを数箇所選択し特徴点とし、
前記障害物確認手段は、前記背景イメージデータの特徴点と前記映像取得手段で取得した静止画イメージデータの特徴点をグレイ値で比較し、特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わず前記映像取得手段に戻り、
前記汚れ等確認手段は、予め背景イメージデータのグレイ値の範囲をしきい値として決めておき、前記映像取得手段で取得した静止画イメージデータをグレイ値で比較し、しきい値を超えるグレイ値を示す部分が検出された場合には、汚れと判断し、監視員への連絡や記録への転記、針検知の補正ロジックの起動をし、前記領域抽出手段は、予め定義された検知対象エリアだけに取得した静止画イメージデータを抽出する処理を行い、
前記グレイ値抽出手段は、予め定義された検知対象のグレイ値を持つビットを抽出する処理を行い、
前記ラベリング手段は、互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭をとり、図形として認識、区別後それぞれの図形にラベルをつける処理を行ない、
前記特徴量抽出手段は、予め定めた針の特徴量を楕円の長軸短軸比および面積による認識を行い、
前記検知記録手段は、針の角度から指し示す値を類推し、記録を行い、異常値を予め設定しておき、監視者への通知処理を行い、
前記映像取得手段から、前記検知記録手段までを繰り返し、連続する静止画イメージデータを処理、長時間のメーターの変動を測定する、請求項１に記載の画像認識による指針式メーター測定システム。
【請求項３】
映像撮影装置と、映像入力装置と、データ処理装置と、記憶装置とから構成され、
前記映像撮影装置は、前記映像入力装置へ向け、常時撮影結果を送信し、
前記データ処理装置は、映像取得手段と、テンプレートイメージデータ取得手段と、障害物確認手段と、汚れ等確認手段と、領域抽出手段と、画像差検出手段と、ラベリング手段と、特徴量抽出手段と、検知記録手段とから構成され、
前記記憶装置は、事前に背景のみ写っているフレームデータを予め用意し、背景イメージデータとして記憶し、及び該背景イメージデータの特徴点及び設定値が記録された個別環境データを記憶し、及び事前にメーターの文字盤のみを切り出し、編集処理により指針を消した状態の映像を文字盤イメージデータとして記憶し、
前記映像取得手段は、前記映像入力装置に映像の１フレームデータを取得する命令を発行し、格納し、
前記テンプレートイメージ取得手段は、前記記憶装置中に予め記憶されている前記背景イメージデータおよび前記文字盤イメージデータを取得し、それぞれ格納し、
前記障害物確認手段は、前記背景イメージデータの特徴点と前記映像取得手段により取得された静止画イメージデータの特徴点とを、個別環境データに定められた特徴点ごとのグレイ値について比較し、特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わず前記映像取得手段に戻り、
前記汚れ等確認手段は、予め背景イメージデータのグレイ値の範囲をしきい値として決めておき、前記映像取得手段で取得した静止画イメージデータをグレイ値で比較し、しきい値を超えるグレイ値を示す部分が検出された場合には、汚れと判断し、監視員への連絡や記録への転記、針検知の補正ロジックの起動をし、前記領域抽出手段は、予め定義された検知対象エリアだけに取得した静止画イメージデータを抽出する処理を行い、
前記画像差検出手段は、前記静止画イメージデータと前記文字盤イメージデータとの差分をとり差異のある部分を格納し、
前記ラベリング手段は、差異のある部分について、同じグレイ値を持つビットを検知し、連結させることにより、画像中に存在するオブジェクトを判断、分類し、それぞれにラベルをつけ、配列として格納し、
前記特徴量抽出手段は、ラベリングされた画像に対して検知対象となる指針の形状として特徴的な要素である面積、楕円の長軸短軸比をしきい値として設定し、一定の面積があり、指針の長さ、幅を満足する図形を指針と認識し、格納し、前記検知記録手段は、指針の図形の傾きから指針の差す値を測定、記録を行い、必要に応じ、障害物の判断、汚れの存在とともに測定値を監視者へ通知を行う、画像認識による指針式メーター測定システム。
【請求項４】
映像撮影装置により、映像入力装置へ向け、常時撮影結果を送信するステップと、
記憶装置により、背景イメージデータと該背景イメージデータの特徴点及び設定値が記録された個別環境データとを記憶するステップと、
映像取得手段により、前記映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行うステップと、
障害物確認手段により、前記背景イメージデータの特徴点と前記映像取得手段により取得された静止画イメージデータの特徴点とを、個別環境データに定められた特徴点ごとのグレイ値について比較し、特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わず前記映像取得手段に戻るステップと、
汚れ等確認手段により、予め背景イメージデータのグレイ値の範囲をしきい値として決めておき、前記映像取得手段で取得した静止画イメージデータをグレイ値で比較し、しきい値を超えるグレイ値を示す部分が検出された場合には、汚れと判断し、監視員への連絡や記録への転記、針検知の補正ロジックの起動をするステップと、
データ処理装置により、前記背景イメージデータと取得した静止画イメージデータとから、障害要素を取り除いた後、予め定めた指針のグレイ値および特徴量から指針を認識し、指し示す値の記録を行うステップとを有する、画像認識による指針式メーター測定方法。
【請求項５】
映像撮影装置により、映像入力装置へ向け、常時撮影結果を送信するステップと、
記憶装置により、背景イメージデータと該背景イメージデータの特徴点及び設定値が記録された個別環境データとを記憶するステップと、
映像取得手段により、前記映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行うステップと、
背景イメージデータ取得手段により、前記記憶装置中に予め撮影、格納された背景イメージデータの取得を行い、各ビットのグレイ値量をデータセットとして記録し、そのうち指針の変化により影響を受けないビットを数箇所選択し特徴点とするステップと、
障害物確認手段により、前記背景イメージデータの特徴点と前記映像取得手段で取得した静止画イメージデータの特徴点をグレイ値で比較し、特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わず前記映像取得手段に戻るステップと、
汚れ等確認手段により、予め背景イメージデータのグレイ値の範囲をしきい値として決めておき、前記映像取得手段で取得した静止画イメージデータをグレイ値で比較し、しきい値を超えるグレイ値を示す部分が検出された場合には、汚れと判断し、監視員への連絡や記録への転記、針検知の補正ロジックの起動をするステップと、
領域抽出手段により、予め定義された検知対象エリアだけに取得した静止画イメージデータを抽出する処理を行うステップと、
グレイ値抽出手段により、予め定義された検知対象のグレイ値を持つビットを抽出する処理を行うステップと、
ラベリング手段により、互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭をとり、図形として認識、区別後それぞれの図形にラベルをつける処理を行うステップと、
特徴量抽出手段により、予め定めた針の特徴量を楕円の長軸短軸比および面積による認識を行うステップと、
検知記録手段により、針の角度から指し示す値を類推し、記録を行い、異常値を予め設定しておき、監視者への通知処理を行うステップと、
前記映像取得手段から、前記検知記録手段までを繰り返し、連続する静止画イメージデータを処理、長時間のメーターの変動を測定するステップとを有する、画像認識による指針式メーター測定方法。
【請求項６】
映像撮影装置により、前記映像入力装置へ向け、常時撮影結果を送信するステップと、
記憶装置により、事前に背景のみ写っているフレームデータを予め用意し、背景イメージデータとして記憶し、及び該背景イメージデータの特徴点及び設定値が記録された個別環境データを記憶し、及び事前にメーターの文字盤のみを切り出し、編集処理により指針を消した状態の映像を文字盤イメージデータとして記憶するステップと、
映像取得手段により、前記映像入力装置に映像の１フレームデータを取得する命令を発行し、格納するステップと、
テンプレートイメージ取得手段により、前記記憶装置中に予め記憶されている前記背景イメージデータおよび前記文字盤イメージデータを取得し、それぞれ格納するステップと、
障害物確認手段により、前記背景イメージデータの特徴点と前記映像取得手段により取得された静止画イメージデータの特徴点とを、個別環境データに定められた特徴点ごとのグレイ値について比較し、特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わず前記映像取得手段に戻るステップと、
汚れ等確認手段により、予め背景イメージデータのグレイ値の範囲をしきい値として決めておき、前記映像取得手段で取得した静止画イメージデータをグレイ値で比較し、しきい値を超えるグレイ値を示す部分が検出された場合には、汚れと判断し、監視員への連絡や記録への転記、針検知の補正ロジックの起動をするステップと、
領域抽出手段により、予め定義された検知対象エリアだけに取得した静止画イメージデータを抽出する処理を行うステップと、
画像差検出手段により、前記静止画イメージデータと前記文字盤イメージデータとの差分をとり差異のある部分を格納するステップと、
ラベリング手段により、差異のある部分について、同じグレイ値を持つビットを検知し、連結させることにより、画像中に存在するオブジェクトを判断、分類し、それぞれにラベルをつけ、配列として格納するステップと、
特徴量抽出手段により、ラベリングされた画像に対して検知対象となる指針の形状として特徴的な要素である面積、楕円の長軸短軸比をしきい値として設定し、一定の面積があり、指針の長さ、幅を満足する図形を指針と認識し、格納するステップと、
検知記録手段により、指針の図形の傾きから指針の差す値を測定、記録を行い、必要に応じ、障害物の判断、汚れの存在とともに測定値を監視者へ通知を行うステップとを有する、画像認識による指針式メーター測定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識による指針式メーター測定システム及び指針式メーター測定方法に関する。
【０００２】
【従来の技術】
メーターは従来より人間が直接見て判断する目的が第一に設計されている。昨今では、その値を自動的に記録する等の仕組みをもったメーターが開発されている中、その様な機能をもったメーターが少ないことも事実である。また、記録し続けることが重要な目的のメーターがある一方で、ある一定の値を超えるか超えないかを判断する為のメーターも存在する。
【０００３】
【発明が解決しようとする課題】
上述の従来の技術においては、記録、通知機能を付加したメーターに取り替えることにより、人間が確認するという作業を減らすことは十分可能であるが、取り替えについては追加の作業が必要になることや、対応できないという状況も十分に考えられる。
【０００４】
本発明の目的は、従来のメーターを継続して利用しながら、画像認識によりメーターの記録や、監視員への通知を行う為の指針式メーター測定システム及び指針式メーター測定方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、指針式メーターを連続撮影しているカメラ映像を切り出し、静止画として扱い、連続する静止画中の指針を認識し、指針が指し示す値の測定、記録を行う機能を構成するものである。
【０００６】
映像取得手段は、映像撮影装置で撮影される映像の１フレームを映像入力装置を経由して静止画イメージデータとして取得し、記憶する。
【０００７】
背景イメージデータ取得手段は、あらかじめ撮影され記憶装置に記憶される背景イメージデータを取得する。
【０００８】
障害物確認手段では、予め背景イメージデータの特徴点が記録された個別環境データを読込み、映像取得手段で取得した映像中にある特徴点のグレイ値から、障害物が映像に撮影されていないことを確認する。障害物が撮影されている場合には、監視者に通知を行い、以下の対象映像の判断は行わないことをあらかじめ設定することが可能である。
【０００９】
汚れ等確認手段は、予め背景イメージデータのグレイ値の範囲をしきい値として決めておき、映像取得手段で取得した映像中に汚れ等が撮影されていないかを確認する。
【００１０】
領域抽出手段は、個別環境データに予め設定しておいたメーターの領域を読込み、検出対象となる静止画像をその領域内で抽出を行う。抽出した領域を対象に、グレイ値検出手段は個別環境データに予め設定しておいた指針と同じグレイ値を持つビットを抽出する。
【００１１】
ラベリング手段は、個別環境データに予め設定しておいた指針のグレイ値付近を持つビットを抽出し、同じグレイ値を持つビット同士を連結分類、ラベル付けし、特徴量抽出手段において記憶装置の個別環境データに記録された特徴量条件に合致したものを指針として認識する。
【００１２】
検知記録手段では、指針の角度から値を判断し、記録する。
【００１３】
従って、本発明の構成によりカメラ映像を元にメーター測定が可能である。
【００１４】
また、本発明の構成により測定対象の指針にあわせた値測定が可能である。
【００１５】
また、本発明の構成により他の画像認識機能との共存が可能である。
【００１６】
また、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易になり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易である。
【００１７】
また、ソフトウェアで画像認識を実現することにより、多様な測定結果通知手段が容易であり、様々な支援機能への対応、追加が容易である。
【００１８】
また、障害物、汚れ等を判断要素に加えることが可能である。
【００１９】
【発明の実施の形態】
（発明の第1の実施の形態）
図１を参照すると、本実施の形態は、カメラ等の映像撮影装置１と、画像入力ボード、ネットワークインタフェースボード等の映像入力装置２と、電子計算機等のデータ処理装置３、記憶装置４を含む。
【００２０】
映像撮影装置１は映像入力装置２へ向け、常時撮影結果を送信している。
【００２１】
データ処理装置３は、映像取得手段３１、背景イメージデータ取得手段３２、障害物確認手段３３、汚れ等確認手段３４、領域抽出手段３５、グレイ値検出手段３６、ラベリング手段３７、特徴量抽出手段３８、検知記録手段３９からなり、背景イメージデータと取得した静止画イメージデータから、障害要素を取り除いた後、予め定めた指針のグレイ値および特徴量から指針を認識し、指し示す値の記録を行う。
【００２２】
映像取得手段３１は、映像入力装置２に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行う。
【００２３】
背景イメージデータ取得手段３２は、記憶装置４中に予め撮影、格納された背景イメージデータの取得を行い、各ビットのグレイ値量をデータセットとして記録する。また、そのうち指針の変化により影響を受けないビット、例えばメーター外のフレーム部等を数箇所選択し、それを特徴点とする。
【００２４】
障害物確認手段３３は、背景イメージデータの特徴点と映像取得手段３１で取得した静止画イメージデータの特徴点をグレイ値で比較し、障害物がメーターとカメラの間にないことを確認する。図２を参照するとイメージ(a)背景イメージデータの５つの特徴点と、イメージ(b)取得した静止画イメージデータの５つの特徴点を比較し、すべての特徴点が同じグレイ値を示さない為、間には障害物があるとの判断を行う。これらの判断をもとに、警告や以下の処理を行わない等の利用が想定される。
【００２５】
汚れ等確認手段３４は、検知するエリアについて障害物確認手段３３と同様の処理を行う。図３を参照すると、イメージ(a)背景イメージデータが示すグレイ値は、文字盤の白と針の黒の２極に分割される。イメージ(b)取得した静止画イメージデータでは中間の灰色のグレイ値を示す部分がある。これらのグレイ値が検出された場合には、汚れと判断し、監視員への連絡や記録への転記、針検知の補正ロジックの起動などの利用が想定される。
【００２６】
領域抽出手段３５は、予め定義された検知対象エリアだけに取得したイメージデータを抽出する処理を行う。図４を参照すると、イメージ(a)が予め定義された「領域」であり、イメージ(b)取得した静止画イメージデータの検知対象エリアをその領域だけに絞り、結果としてイメージ(b)中の灰色の網掛部のみが以降の処理対象を行うイメージデータとなる。
【００２７】
グレイ値抽出手段３６は、予め定義された検知対象のグレイ値を持つビットを抽出する処理を行う。図５を参照するとイメージ(a)が検知対象領域であり、予め定義された針の色を黒色付近のグレイ値とした場合、結果としてイメージ(b)の通り針が検知されることとなる。
【００２８】
ラベリング手段３７は、互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭をとり、図形として認識、区別後それぞれの図形にラベルをつける処理を行う。針が黒色に近く、文字盤の文字も黒色に近い場合、ラベル付けされた図形の中には文字盤の文字も存在することになる。
【００２９】
特徴量抽出手段３８では、予め定めた針の特徴量を楕円の長軸短軸比および面積による認識を行う。長軸短軸比の利用により、同一の物体が回転する指針式メーターに対応可能となる。
【００３０】
検知記録手段３９では、針の角度から指し示す値を類推し、記録を行う。また、異常値を予め設定しておき、針の差す値を記録するだけでなく、監視者への通知処理も行う。
【００３１】
上記映像取得手段３１から、検知記録手段３９までを繰り返し連続する静止画イメージデータを処理、長時間のメーターの変動を測定する。
【００３２】
次に、図１及び図６を参照して本実施の形態の動作について詳細に説明する。
【００３３】
映像撮影装置１で撮影された映像がリアルタイムに映像入力装置３に常時送信される。
【００３４】
データ処理装置３では、初期稼動時に記憶装置４中に予め記憶される背景イメージデータ４１および個別環境データ４２を読み込む。読み込まれた背景イメージデータは、各ビットごとのグレイ値を対象とした初期映像状態のデータセットとして"Background"に格納される。また、障害物確認手段３３にて利用する特徴点を複数設定i[x,y,j]しておきそのグレイ値を別に保存する。個別環境データ４２には、以降の処理で使用される各種設定値、具体的には汚れ等確認手段３４の汚れとして設定するグレイ値、領域抽出手段３５にて使用する領域の座標データ、針及び文字盤のグレイ値、特徴量抽出手段３７にて使用する針の長軸短軸比、面積等の特徴量が機能設置時に設定される。
【００３５】
映像取得手段３１は、映像入力装置２に映像の１フレームデータを取得する命令を発行し、"Image[n](n = 1)"に格納する（ステップＡ２）。カメラ映像がNTSCで撮影されている白黒8bit映像の場合、本データは640×480の大きさ、グレイ値0〜255の範囲でグレイ値の濃淡が分布する映像となる。
【００３６】
障害物確認手段３３は、映像取得手段３１により取得された静止画イメージデータ"Image[1]"に対し、個別環境データ４１に定められた特徴点ごとのグレイ値を比較し、障害物がないことを確認する。例えば特徴点が６箇所指定された場合、"Background"と"Image[1]"の間で1[x1の座標、y1の座標、1のグレイ値]から6[x6の座標、y6の座標、6のグレイ値]までのグレイ値に変化がないことを確認する。特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わずステップＡ２に戻る（ステップＡ３）。
【００３７】
汚れ等確認手段３４は、映像取得手段３１により取得された静止画イメージデータ"Image[1]"に対し、グレイ値による汚れ等の確認を行う。"Image[1]"は、障害物や汚れがない場合、文字盤、針、文字が表示されるだけであり、一定のグレイ値分布が保たれる。例えば、文字盤が白であり、針、文字が黒である場合のグレイ値は、白付近のグレイ値と黒付近のグレイ値に偏り、中間のグレイ値をもつ物質は本来撮影されていないはずである。したがって中間のグレイ値が検出された場合、それは検知対象以外のものであると判断できる。メーターや映像撮影装置のレンズ汚れによりこれらの状況は発生し、それらの汚れは指針検知の正確性を阻害する可能性がある為、検知を行う（ステップＡ４）。
【００３８】
汚れ等がなく正常なメーター映像が撮影されている場合、以下の処理を行う。また、汚れ等がある場合にはその情報を加え、以下の処理を行うことも可能である。
【００３９】
領域抽出手段３５は、以下の処理を高速化する為、領域の絞込みを行う。"Image[1]"を個別環境データ４２に予め設定された検知対象エリアだけに絞込み、"Regioned[1]"に格納する。映像はメーターだけでなく周囲の背景が写っている可能性や、メーター内でも針が差すことのないエリアが存在することがある。"Image[1]"を実際に針が指し示すエリアだけに限定することにより、処理は高速化される。例えば、640×480ピクセルの映像のうち、検知対象をすべての面積とした場合は30,720平方ピクセルとなるが、メーターの針が差し示すエリアが、10,000平方ピクセルである場合は、すべての面積を処理した場合と比較し、約３分の１の処理でよいこととなる（ステップＡ５）。
【００４０】
グレイ値検出手段３６は、"Regioned[1]"に対し、検知する指針のグレイ値付近のビットだけに絞り込み、"Grayed[1]"に格納する。例えば、指針が200から250の付近のグレイ値を持つ場合、そのグレイ値に該当するビットだけを切り出すことになる。この時点で白い文字盤などは検知対象外となる（ステップＡ６）。
【００４１】
ラベリング手段３７は、"Grayed[1]"を図形として認識する処理を行う。同じグレイ値を持つビットを検知し、連結させることにより、画像中に存在するオブジェクトを判断、分類し、それぞれにラベルをつけ、配列として"labeled[1]"に格納する。本手段により、同じグレイ値が連結しているものを連結成分とみなし、その連結成分で囲まれた図形をひとつの物体であると認識、物体ごとにＩＤ番号を振る（ステップＡ７）。
【００４２】
特徴量抽出手段３８は、ラベリングされた画像"labeled[1]"に対して検知対象となる指針の形状として特徴的な要素である面積、楕円の長軸短軸比をしきい値として設定し、一定の面積があり、指針の長さ、幅を満足する図形を指針と認識し、"selected[1]"に格納する（ステップＡ８）。
【００４３】
検知記録手段３９は、"selected[1]"の傾きから指針の差す値を測定、記録を行う（ステップＡ９）。必要に応じ、障害物の判断、汚れ等の存在とともに測定値を監視者へ通知を行う。
【００４４】
（発明の第２の実施の形態）
次に、本発明の第２の実施の形態について図７を参照して詳細に説明する。
【００４５】
図７を参照すると、本実施の形態はデータ処理装置３に背景イメージデータ取得手段３２、グレイ値検出手段３６がなく、背景イメージデータ取得手段３２に替わりテンプレートイメージ取得手段３１０が、グレイ値検出手段３６に替わり画像差検出手段３１１が備わる。また、記憶装置４中に文字盤イメージデータ４３が追加されている。
【００４６】
事前に背景のみ写っているフレームデータをあらかじめ用意し、背景イメージデータ４１として記憶しておく。また、事前にメーターの文字盤のみを切り出し、編集処理により指針を消した状態の映像を文字盤イメージデータ４３として記憶しておく。
【００４７】
映像撮影装置１で撮影された映像がリアルタイムに映像入力装置３に常時送信される。
【００４８】
データ処理装置３では、初期稼動時にテンプレートイメージ取得手段３１０にて記憶装置４中に予め記憶されている背景イメージデータ４１および文字盤イメージデータ４３を取得し、それぞれ"Background"、"Panel Image"に格納する。
【００４９】
映像取得手段３１は、映像入力装置２に映像の１フレームデータを取得する命令を発行し、"Image[n](n = 1)"に格納する（ステップＡ２）。カメラ映像がNTSCで撮影されている白黒8bit映像の場合、本データは640×480の大きさ、グレイ値0〜255の範囲でグレイ値の濃淡が分布する映像となる。
【００５０】
障害物確認手段３３は、映像取得手段３１により取得された静止画イメージデータ"Image[1]"に対し、個別環境データ４２に定められた特徴点ごとのグレイ値を比較し、障害物がないことを確認する。例えば特徴点が６箇所指定された場合、"Background"と"Image[1]"の間で1[x1の座標、y1の座標、1のグレイ値]から6[x6の座標、y6の座標、6のグレイ値]までのグレイ値に変化がないことを確認する。特徴点のグレイ値に変化がない場合は障害物がないと判断し、グレイ値に大きな変化が確認される場合には障害物がある為に計測不能であることを記録、通知を行い、以降の処理を行わず映像取得手段３１に戻る。
【００５１】
汚れ等確認手段３４は、映像取得手段３１により取得された静止画イメージデータ"Image[1]"に対し、グレイ値による汚れ等の確認を行う。"Image[1]"は、障害物や汚れがない場合、文字盤、針、文字が表示されるだけであり、一定のグレイ値分布が保たれる。例えば、文字盤が白であり、針、文字が黒である場合のグレイ値は、白付近のグレイ値と黒付近のグレイ値に偏り、中間のグレイ値をもつ物質は本来撮影されていないはずである。したがって中間のグレイ値が検出された場合、それは検知対象以外のものであると判断できる。メーターや映像撮影装置のレンズ汚れによりこれらの状況は発生し、それらの汚れは指針検知の正確性を阻害する可能性がある為、検知を行う。
【００５２】
汚れ等がなく正常なメーター映像が撮影されている場合、以下の処理を行う。また、汚れ等がある場合にはその情報を加え、以下の処理を行うことも可能である。
【００５３】
領域抽出手段３５は、以下の処理を高速化する為、領域の絞込みを行う。"Image[1]"を個別環境データ４２に予め設定された検知対象エリアだけに絞込み、"Regioned[1]"に格納する。映像はメーターだけでなく周囲の背景が写っている可能性や、メーター内でも針が差すことのないエリアが存在することがある。"Image[1]"を実際に針が指し示すエリアだけに限定することにより、処理は高速化される。例えば、640×480ピクセルの映像のうち、検知対象をすべての面積とした場合は30,720平方ピクセルとなるが、メーターの針が差し示すエリアが、10,000平方ピクセルである場合は、すべての面積を処理した場合と比較し、約３分の１の処理でよいこととなる。
【００５４】
画像差検出手段３１１は、"Image[1]"と"Panel Image"の差分をとり差異のある部分を"Difference"に格納する。"Difference"には針の位置を中心としたビットが残ることになる。
【００５５】
ラベリング手段３７は、"Difference"を図形として認識する処理を行う。同じグレイ値を持つビットを検知し、連結させることにより、画像中に存在するオブジェクトを判断、分類し、それぞれにラベルをつけ、配列として"labeled[1]"に格納する。本手段により、同じグレイ値が連結しているものを連結成分とみなし、その連結成分で囲まれた図形をひとつの物体であると認識、物体ごとにＩＤ番号を振る。
【００５６】
特徴量抽出手段３８は、ラベリングされた画像"labeled[1]"に対して検知対象となる指針の形状として特徴的な要素である面積、楕円の長軸短軸比をしきい値として設定し、一定の面積があり、指針の長さ、幅を満足する図形を指針と認識し、"selected[1]"に格納する。
【００５７】
検知記録手段３９は、"selected[1]"の傾きから指針の差す値を測定、記録を行う。必要に応じ、障害物の判断、汚れ等の存在とともに測定値を監視者へ通知を行う。
【００５８】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００５９】
第一の効果は、本発明の構成によりカメラ映像を元にメーター測定が可能であるということである。
【００６０】
第二の効果は、本発明の構成により測定対象の指針にあわせた値測定が可能であるということである。
【００６１】
第三の効果は、本発明の構成により他の画像認識機能との共存が可能であるということである。
【００６２】
第四の効果は、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易になり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易であるという点である。
【００６３】
第五の効果は、ソフトウェアで画像認識を実現することにより、多様な測定結果通知手段が容易であり、様々な支援機能への対応、追加が容易であるという点である。
【００６４】
第六の効果は、障害物、汚れ等を判断要素に加えることが可能であるという点である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示す図である。
【図２】イメージ(a)背景イメージデータの５つの特徴点と、イメージ(b)取得したイメージデータの５つの特徴点を比較する図である。
【図３】イメージ(a)背景イメージデータが示すグレイ値は、文字盤の白と針の黒の２極に分割され、イメージ(b)取得したイメージデータでは中間の灰色のグレイ値を示す部分があることを示す図である。
【図４】イメージ(a)が予め定義された「領域」であり、イメージ(b)取得したイメージデータの検知対象エリアをその領域だけに絞り、結果としてイメージ(b)中の灰色の網掛部のみが以降の処理対象を行うイメージデータとなることを示す図である。
【図５】イメージ(a)が検知対象領域であり、予め定義された針の色を黒色付近のグレイ値とした場合、結果としてイメージ(b)の通り針が検知されることとなることを示す図である。
【図６】本発明の第１の実施の形態の動作を示すフローチャート図である。
【図７】本発明の第２の実施の形態の構成を示す図である。
【符号の説明】
１    映像撮影装置
２    映像入力装置
３    データ処理装置
４    記憶装置
３１    映像取得手段
３２    背景イメージデータ取得手段
３３    障害物確認手段
３４    汚れ等確認手段
３５    領域抽出手段
３６    グレイ値検出手段
３７    ラベリング手段
３８    特徴量抽出手段
３６    背景更新手段
３９    検知記録手段
４１    背景イメージデータ
４２    個別環境データ
４３    文字盤イメージデータ
３１０    テンプレートイメージ取得手段
３１１    画像差検出手段
【図１】
0003649278.tif 000002
【図２】
0003649278.tif 000003
【図３】
0003649278.tif 000004
【図４】
0003649278.tif 000005
【図５】
0003649278.tif 000006
【図６】
0003649278.tif 000007
【図７】
0003649278.tif 000008