(57)【特許請求の範囲】
【請求項１】
複数桁からなる数字車の回転によって直接指示値を表示する現字形計器の指示値を、画像認識処理によって読み取る現字形計器認識処理装置であって、
現字形計器の指示値表示部およびその周辺部を撮像し、画像データを取得する画像撮像手段を有し、
イニシャル処理として、
画像撮像手段で回転中の数字を連続的にとらえた複数の画像データを用いて、回転順に数字を縦に並べた照合用モデル画像を自動的に作成する照合用モデル画像作成手段を有し、
また、認識処理として、
画像撮像手段によって取得した画像データの中から、各桁について、数字表示枠の画像領域をそれぞれ個別に切り出す数字表示枠画像切り出し手段と、
切り出した数字表示枠画像から数字部分を抽出し、その数字部分と、照合用モデル画像内の数字部分とを比較し、最も近似した形状を示す縦位置を検索する照合位置抽出手段と、
照合位置抽出手段で求められた縦位置から、各桁について、それぞれ整数部および小数部からなる指示値を算出する桁単位指示値算出手段と、
最下位桁を除いた全ての桁について、一つ下位桁の指示値の整数部および小数部ならびに最下位桁指示値の小数部を用いて整数値に補正した上で、複数桁からなる指示値を算出する読み取り値算出手段と、
を有することを特徴とする現字形計器認識処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、現字形計器の指示値表示部およびその周辺領域が撮像された画像データを画像認識処理し、現字形計器の指示値を読み取るための現字形計器認識処理装置に関する。
【０００２】
【従来の技術】
まず、現字形計器について説明する。図２９は現字形計器の計器表示部およびその周辺領域を示す外観図、図３０は数字車および表示枠を説明する説明図、図３１は色が異なる数値を説明する説明図である。
ここで述べる「現字形計器」とは、図２９，図３０で示すように、数字図柄が配置された複数桁の数字車を機械的に回転させることによって、現在の測定値を指示値表示部に表示する方式の計器を指す。このような「現字形計器」は、一般に「電力量計」、「ガス計器」、「距離計器」、「水量計」などに用いられている。
このような現字形計器は、図３０で示すように、数字車の一部が表示枠から見えているというものである。このような現字形計器は、以下の（１）〜（１１）で説明する共通の特徴を持つ。今回は、このような特徴を満たす現字形計器を読取り対象とする。
【０００３】
（１）数字車図柄は０，１，２，３，４，５，６，７，８，９の数字が、上から順に配置されている。
（２）数字車は、図３０の回転方向（矢印Ａ）で示すように下から上へ回転する。
（３）指示値が複数桁で表現される場合、最小桁が測定値に合わせてスムーズに回転する。他桁は、通常時は停止しているが、一つ下位桁が９から０に移行するタイミング（桁上がり）とともに＋１加算回転し、再び停止する。
（４）１数字車内の各数字図柄の大きさが統一されている。
（５）１数字車の色は、図柄と背景それぞれ単色で、計２色で構成される。（ただし、桁毎に異なる色が用いられる場合がある。例：最小桁赤色、他桁白色，図３１参照）
（６）１数字車内の各数字図柄が等間隔で配置されている。（それぞれの数字ｎ図柄の高さ中心がｎ．０の位置に相当する）
（７）表示枠の大きさは、１数字図柄よりも一回り以上大きい。
（８）表示枠内で、一度に確認できる数字図柄は２つ以下。
（９）計器が複数桁の場合でも、各数字車毎の数字フォントは共通である。
（１０）複数桁の場合でも、各数字車の数字車半径が共通であるため、全数字車において数字図柄の配置の割合がすべて同じである。ただし、文字幅や文字間隔は数字車によって異なる場合がある。
（１１）ほとんどの計器最小桁には、小数点以下の値を示す目盛りが描画され、表示枠外にその目盛りを読み取る位置が記されている。つまり、数字車の数＋１桁の精度で測定値を表示する。
【０００４】
さて、このような特徴を有する現字形計器であるが、近年、現字形計器の指示値を撮像カメラ等で撮像して画像データを取得し、この画像データをコンピュータあるいはＣＰＵがプログラム処理し、現字形計器の指示値を自動的に読み取る画像認識処理が行われている。
このような現字形計器の指示値の画像認識に関する従来技術として、例えば特開平７−３２５８８０号公報（発明の名称：ワットアワーメータ文字認識装置）により開示された発明がある。
【０００５】
従来技術によれば、文字認識に際し使用される辞書は、通常の０，１，・・・，９という文字が表れた画像データをそれぞれ別個に登録した通常辞書、および、数字車の回転途中で表れ、例えば０の下半分および１の上半分が表れた画像データをそれぞれ別個に登録した分割辞書を使用している。そして、認識された文字と辞書に登録された文字とを比較して、認識された文字を特定する作業を行っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、認識された文字と辞書に登録された文字とがそのまま一致するということはない。例えば、 認識された文字が、数字車の回転途中で表れ、例えば０の下側１／４および１の上側３／４が登場するような場合である。この場合、認識された文字は辞書に登録されていないため、直ちに文字認識がされないという問題点があった。
このような問題点を克服し、判定精度をより確実なものにしたいという要請もあった。
【０００７】
そこで、本発明は、これらの不都合を低減せんとするものであり、その目的は、従来より簡易な構成で、しかも判定精度を向上させるような現字形計器認識処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１に記載の現字形計器認識処理装置によれば、
複数桁からなる数字車の回転によって直接指示値を表示する現字形計器の指示値を、画像認識処理によって読み取る現字形計器認識処理装置であって、
現字形計器の指示値表示部およびその周辺部を撮像し、画像データを取得する画像撮像手段を有し、
イニシャル処理として、
画像撮像手段で回転中の数字を連続的にとらえた複数の画像データを用いて、回転順に数字を縦に並べた照合用モデル画像を自動的に作成する照合用モデル画像作成手段を有し、
また、認識処理として、
画像撮像手段によって取得した画像データの中から、各桁について、数字表示枠の画像領域をそれぞれ個別に切り出す数字表示枠画像切り出し手段と、
切り出した数字表示枠画像から数字部分を抽出し、その数字部分と、照合用モデル画像内の数字部分とを比較し、最も近似した形状を示す縦位置を検索する照合位置抽出手段と、
照合位置抽出手段で求められた縦位置から、各桁について、それぞれ整数部及び小数部からなる指示値を算出する桁単位指示値算出手段と、
最下位桁を除いた全ての桁について、一つ下位桁の指示値の整数部と小数部、ならびに最下位桁指示値の小数部を用いて整数値に補正した上で、複数桁からなる指示値を算出する読み取り値算出手段と、
を備えることを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の現字形計器認識処理装置の実施形態について説明する。
図１は、本実施形態の現字形計器認識処理装置の構成図である。図１で示すように、現字形計器認識処理装置１０は、撮像カメラ１および画像処理部（ＰＣ）２を備えている。
【００１１】
監視カメラ１は、現字形計器２０の指示値表示部およびその周辺を撮像して、指示値を含む画像データを取得する。
画像処理部（ＰＣ）２は、監視カメラ１から出力された画像データを用いて画像認識処理を行い、指示値を読み取る。この画像処理部２は、具体的には、DOSとしてWindows（ＮＴ、2000など）が搭載されたパーソナルコンピュータ（ＰＣ）である。これにより、撮像カメラ１と画像処理部２との間にネットワーク等を介在させることも可能である。
【００１２】
続いて、このような現字形計器認識処理装置による画像処理について説明する。
まず、前提となる読み取りの条件について説明する。読み取り条件は、以下の（１）〜（５）で示すような条件である。
（１）数字車に表示されている０，１，２，３，４，５，６，７，８，９の図柄を認識する。
（２）最小桁については、０→１、１→２など、次の数字へ移行途中の値（例：０．５、１．７など）を読み取り、小数点（第１位まで）表記で結果を算出する。その他の桁については、整数の値を算出する。全桁の算出値を合計した値を、指示値として読みとる。
（３）読み取りを行う画像は、１枚の静止画を前提とする。（動画の場合でも、キャプチャした１枚の静止画を用いて、連続した前後の画像や算出値を参照しない。）
（４）あらかじめ、表示枠と桁の設定を行う。（桁数の上限は設けない。画像処理部２となる装置の許容範囲に依存する。）
（５）読み取りを行う画像は、表示枠の設定を行った画像の画角と同じとする。（固定カメラによる撮影）
【００１３】
続いて、現字形計器の指示値を自動で読み取る画像処理について説明する。画像は静止画像を対象とする。図２は、画像認識処理の概要を説明する説明図である。
読取りを行うには数字図柄の特徴を格納した辞書データが必須である。現字形計器の数字図柄は、そのメーカーによって異なるフォントを採用している。異なるフォント間で信頼性の高い読取りを実現するために、それぞれに適した辞書データを用意することとした。
【００１４】
画像認識処理の概要であるが、０から９の数字を縦に並べた照合用モデル画像（数字車図柄を平面展開したものに相当）をあらかじめ用意し、照合用モデル画像データとして画像処理部２の図示しない記憶装置に登録しておく。そして、取得された指示値が、数字車のどの位置に最も一致するかを比較・検索し、検出された位置情報から、表示されている値を算出する、というものである。
【００１５】
続いて現字形計器認識処理装置により実行される各手段について説明する。図３は、本実施形態の現字形計器認識処理のイニシャル処理に係るフローチャート、図４は、本実施形態の現字形計器認識処理の認識処理に係るフローチャートである。
現字形計器認識処理は二段階の処理があり、イニシャル処理（図３参照）と認識処理（図４参照）との二段階がある。
【００１６】
まずイニシャル処理について説明する。画像認識による指示値読み取りを開始する前に、ユーザにより予め各種の設定を行う必要がある。イニシャル処理では、このような設定を行う処理である。
イニシャル処理は、図３で示すように、照合用モデル画像作成手段（ステップＳ１）を備えている。
【００１７】
続いて各手段について説明する。
ステップＳ１の照合用モデル画像作成手段は、撮像カメラ１などの画像撮像手段で回転中の数字を連続的にとらえた複数の画像データを用いて、回転順に数字を縦に並べた照合用モデル画像を自動的に作成する手段である。
まず、認識処理時の表示枠の設定（処理領域の設定）を行う。認識処理時の認識対象となる数字車の表示枠の設定を行って、認識処理を行う領域を限定するとともに、処理に必要な情報を学習する。
【００１８】
なお、計器のメーカーや型式を限定しない前提において、自動的に読取りを行う表示枠（処理領域）を限定することは、困難であると判断し、ユーザによる処理領域の設定を行うこととした。これにより、画像認識処理を行う領域を限定するとともに、処理に必要な情報を学習する。
【００１９】
図５は指示値を含む画像データの修正を説明する説明図、図６は処理領域設定を説明する説明図、図７は処理領域設定時に取得される情報の説明図である。
以下これら図を参照しつつ、照合用モデル画像作成手段のうち画像認識処理時の表示枠の設定の詳細を示す。
【００２０】
（１）画像の垂直補正
現字形計器は、数字車が縦方向に回転する特徴を持つ。そのため、読み取る画像が傾いている場合は垂直に補正することが望ましい。また、これにより表示枠の設定が行い易くなる。
設定用に取得した画像を、ユーザの操作でアフィン変換によって垂直に補正する。この変換角度を記録しておく（図５参照）。
（２）表示枠の描画
ユーザの操作により、数字車の表示枠（矩形）を描画する（図６参照）。表示枠の横幅の描画時において、１を除く他の数字の横幅に合わせる（理由は後述する）。設定できる表示枠の高さの範囲は、数字一文字の高さ以上、図柄が表示される高さ以下とする。設定された表示枠の情報を記録しておく。
（３）目盛を読み取る位置の指定
ユーザの操作により、小数目盛りを読み取る位置（数字図柄ｎの中央横軸が達したときの値が、ちょうどｎ．０を示す軸位置）を指定する（図６参照）。
【００２１】
つづいて、各種情報が取得される。設定時に取得する情報を図７に示す。これらの情報は、後述する読み取り方法に必要とされる情報である。目盛を読む位置までの距離、図柄の色情報、数字（表示枠）の幅、表示枠の高さ等が取得される。
【００２２】
（４）図柄の色選択
図柄の色情報（白・黒・カラー）を指定する（図７参照）。
（５）複数桁の場合には、（２）〜（４）の設定を繰り返す。
【００２３】
なお、上記の設定条件を満たすため、取得する設定用画像における数字車の表示は、「１」以外の数字のうち１つ（詳しくは０，２〜９）が、枠内に完全に現れた状態であることが望ましい（※「１」以外としたのは、一般に、「１」は他の数字に比べ幅が狭いので、正確な幅の設定が難しいためである。）。
【００２４】
続いて、照合用モデル画像作成手段（Ｓ１）のうちの照合用モデル画像データ作成について説明する。
まず、照合用モデル画像の概要について説明する。図８は照合用モデル画像の概要を説明する説明図である。
一般的な文字認識技術では、膨大な辞書データの中から最も特徴量の近似する文字を検索する。ただし、表示される数字は０から９の１０種類のみであり、次の数字へ移行途中の状態を読み取る必要があるため、辞書データの形式として、照合用モデル画像を使用することとした。
【００２５】
照合用モデル画像は、数字車に印刷されている図柄を展開した１枚の２値画像である。表示されている図柄と比較し、その位置関係から現字形計器の指示値を認識するためのものである。データサイズが非常にコンパクトであり、かつ数字の移行途中の状態を読み取るために必要なさまざまな情報を取り出すことができる特徴を持つ。
【００２６】
照合用モデル画像は、読み取りを開始する前に、ビットマップ形式の画像ファイルとしてあらかじめ作成しておく。また、照合用モデル画像の、読み取りを開始する前に自動的に作成する手段を持つ。
なお、１つの照合用モデル画像をすべての桁に用いることができる。
【００２７】
照合用モデル画像の条件は以下に示す（１）〜（３）のようになる。
（１）数字図柄を、上から９，０，１，２，３，４，５，６，７，８，９，０の順に並べ、各数字の大きさと数字ごとの間隔を実際の数字車と一致させる。
（２）幅は、数字図柄の最大幅とする。
（３）２値画像（数字図柄を白、背景を黒）のビットマップファイルとする。
現字形計器の種類によって数字のフォント（書体、太さなど）が異なるため、認識率および精度の高い読み取りを行いたい場合には、それぞれに適した照合用モデル画像を用意することが望ましい。（図８の例１〜例３参照）。
【００２８】
続いて、照合用モデル画像の作成について説明する。
あらかじめ作成した照合用モデル画像ファイルを、設定時に指定し読み込むことで、読み取りを開始する。
また、以下の作成手段は、照合用モデル画像を自動的に作成する手段である。よって、リアルタイム入力の条件下において、照合用モデル画像を自動的に作成した後、そのまま読み取りを開始することができ、照合用モデル画像を作成する作業を省略できる。
【００２９】
動画像による照合用モデル画像の自動作成について説明する。
図９は照合用モデル画像作成手段を説明する説明図である。動作中の現字形計器を、読み取り時と同じ条件で、固定されたビデオカメラなどで録画した映像、もしくは撮像カメラ１がリアルタイムで撮影している画像を連続で取り込み、指定された数字車（主に最小桁）が一回転する間に、計１０個（０，１，２，３，４，５，６，７，８，９）の数字図柄を自動的に取得し、それらを縦方向に並べた１枚の画像を記録する。ただし、数字車の回転速度が、数字図柄を取得する処理速度に十分適していることを条件とする。目安として、数字が１つ移行する間（例：０から１）に画像の取り込みと図柄の抽出・判定処理が５回以上実行できる速度である。具体的には以下の（１）〜（１３）で示すようになる。
【００３０】
（１）設定用に取得した画像（条件として１以外の数字が完全に現れている状態）を、ユーザの操作でアフィン変換によって垂直に補正する。この変換角度を記録しておく。
（２）ユーザの操作により、該当する数字車の表示枠（矩形）を描画する。表示枠の横幅は、１以外の数字の横幅に合わせる。設定できる表示枠の高さの範囲は、数字一文字の高さ以上、図柄が表示される高さ以下とする。
（３）図柄の色情報（白・黒・カラー）を指定する。
（４）同時に、２値化した画像から、数字一文字の高さを算出し、取得しておく。
（５）設定終了。
（６）静止画像の連続取り込みを開始する。
（７）取得した画像を、アフィン変換によって垂直に補正し、２値化により表示枠内の図柄を抽出する。
（８）抽出された図柄の１つが、数字一文字の高さに十分であり、表示枠のほぼ中央に位置するならば、それを数字の１つとして記録し、以降の数字記録をいったん禁止する。
（９）図９に示すように、表示枠の中央横軸ライン上に、抽出された図柄が存在しなければ数字と数字間の余白部分が通過したとみなし、次の数字記録（８）を許可する。このとき、余白部分の高さを取得しておく。
（１０）（６）〜（９）の手順を繰り返し、計１０個の数字図柄が記録された画像の読み取りを終了する。数字の取りこぼしが無ければ、昇順｛ｎ，・・・，９，０，・・・，（ｎ−１）｝に数字図柄が記録されている。
（１１）記録された数字から、「０」（最も穴の大きい図柄）を決定する。
（１２）「０」を基準に、数字図柄の大きさと余白部分の高さが一致するように各数字図柄を１つの画像内に配置し、照合用モデル画像を作成する。
（１３）ユーザにより、作成された照合用モデル画像が妥当かを確認し、照合用モデル画像データの保存を行う。
【００３１】
続いて現字形認識処理装置による認識処理について説明する。
認識処理開始により、まず、図４のステップＳ１１の数字表示枠画像切り出し手段が行われる。ステップＳ１１の数字表示枠画像切り出し手段は、撮像カメラ１等の画像撮像手段によって取得した画像データの中から、各桁について、数字表示枠の画像領域をそれぞれ個別に切り出す手段である。
【００３２】
以下の認識方式は、撮像カメラ１の画角が常に固定されている、または、マーカによる画像補正を用い、画像内計器の大きさや角度、位置が設定時と同等に与えられることを前提とする。図１０は指示値の切り出しを説明する説明図、図１１は、陰影補正を説明する説明図である。
先に説明したイニシャル処理により、照合用モデル画像の画像を読み込み、数字車表示枠が設定されているものとする。
【００３３】
指示値を含む画像データを取得し、表示枠が垂直になるように補正（アフィン変換）する。
画像から、設定された表示枠より左右に余白（表示枠の幅×１．２）を持たせた部分を切り出す（図１０参照）。切り出した画像から、輝度値（カラーの場合は加えて色相値と彩度値）を基に２値化し、数字図柄を抽出する。抽出された指示値画像データは、図示しないメモリなどの記憶装置に保存される。
【００３４】
続いて、取得した指示値画像データから影による影響を除去する陰影補正を行う。
ドラム構造上、数字車表面が湾曲しているため、表示部の上下に輝度むらが現れやすい（表示部の上下側が暗くなりやすい）。輝度むらがある状態のまま２値化を行うと、暗い部分の数字図柄が抽出しにくい（図１１（ｂ）参照）。精度の高い認識を行うためには、確実な数字図柄の抽出が不可欠であるため、以下の手段で２値化を行う。図１１（ｃ）で示すように、指示値画像をいくつか上下に数分割し、２分割毎に画像範囲を限定し、引き伸ばしスケーリング処理をした後、２値化を行う。画像範囲を１ブロック分ずつすらしながらこれを行い、加算合成する。特に、暗い部分で引き伸ばしを行うことにより、コントラストが明確になり、図柄と背景の分離に有効である。
【００３５】
そして、個々に抽出された図柄を合成し、全体の数字図柄を生成する。さらに、数字図柄がカラーの場合には、彩度がある一定値より低い部分と、設定時に取得した色相値の範囲をある一定値超えた部分を除外する。
空白部分（数字と数字の間）の情報から、抽出された図柄の２つ（もしくは１つ）に分解する。
分解された一図柄の高さが少量（例：数字の高さの１／５以下）の場合は、特徴量の信頼性が低いのでそれを除外する。
【００３６】
続いて、表示枠幅を補正する。図１２は、表示枠幅の限定を説明する説明図である。図１２で示すように、抽出された数字図柄を囲む最小矩形の中心縦軸を基準にして、設定時の表示枠幅で数字図柄を切り出す。これにより、ドラムのがたつき等による左右のずれによって、数字図柄が表示枠からはみ出してしまう現象を軽減し、設定された表示枠幅で数字図柄を抽出することが出来る。
【００３７】
さらに、切り出した画像の幅を、照合用モデル画像の幅と一致するように拡大（縮小）する。図１３は、余白部分の削除を説明する説明図である。
表示枠内に１つの数字のみ現れているなど、取得した比較用画像の上下に余白がある場合には、その余白の高さ分を削除したものを新たに比較用画像とする。このときは、記録されている目盛を読み取る位置を補正しておく。
【００３８】
続いて、ステップＳ１２の照合位置抽出手段を実行する。ステップＳ１２の照合位置抽出手段は、切り出した数字表示枠画像から数字部分を抽出し、その数字部分と、照合用モデル画像内の数字部分とを比較し、最も近似した形状を示す縦位置を検索する手段である。図１４は、比較抽出を説明する説明図である。図１４で示すように、照合用モデル画像から、比較用画像と同サイズの部分を切り出し、比較用画像と比較する。切り出す部分を、下方向へ少しずつずらしながら、比較を繰り返し行っていく（比較手段と指示値の算出手段の詳細については、後述。）。そして、最も一致すると判定された部分が、相対的に照合用モデル画像のどの位置に存在するかを求め、表示されている数字図柄を識別する。
【００３９】
続いて、この比較手段の詳細について説明する。比較手段は複数手段があるため、別途説明をするものである。比較手段は、数字図柄上の表示部分を認識するために、見本画像と取得画像のさまざまな観点から比較を行い、以下に説明する何れかの比較手段を用いて見本画像と取得画像の比較を行いながら、総合評価を行う。
【００４０】
比較手段１（画像の差分による比較）
図１５は画像の差分による比較を説明する説明図である。図１５で示すように、取得した比較用画像（画像Ａ：図１５（ａ）参照）と、抜き出した見本画像（画像Ｂ：図１５（ｂ）参照）を図１５（ｃ）で示すように重ね合わせる。ただし、ドラムのがたつきなどによる左右のずれを考慮し、画像Ａと画像Ｂの文字領域最大幅の中心軸を揃えてから重ね合わせる。そして、交差しなかった部分（図１５（ｄ）の白色の部分参照）の要素数（面積）を算出し、これを記録する。
【００４１】
ここに比較式は以下のようになる。
Ａ＝画像Ａの数字領域の要素数（面積）
Ｂ＝画像Ｂの数字領域の要素数（面積）
交差しなかった要素数ＤｉｆｆＡＢ＝（Ａ∪Ｂ）−（Ａ∩Ｂ）
交差しなかった要素数が少ないほど、近似した画像と判断することができる。
取得した比較用画像と全く同じ部分が、照合用モデル画像上に必ず存在するならば、この手段のみで認識することができるといえる。しかし、実際に取得される画像はさまざまな要因により変形するため、加えて以下のような手段を用いる。
【００４２】
Ｂ．比較手段２（数字の穴部数の比較手段）
図１６は数字の穴部数の比較手段を説明する説明図である。図１６で示すように、切り出した見本画像と作成した比較用画像内の、数字領域が持つ穴部の有無を比較し、結果を記録する。穴部の大きさが十分で数が一致する場合は、取得した比較用画像に近似しているとし、評価に加える。（評価値：一致する＝０、一致しない＝１）
ただし、表示枠に対し、穴部の位置が大きく異なる場合には一致していないものとして評価する。
【００４３】
Ｃ．比較手段３（表示部上下における数字の切断面の比較）
図１７，図１８は、表示部上下における数字の切断面の比較を説明する説明図である。
数字車が次の数字へ移行する途中は、２，３，５，６，８，９，０等の上下が湾曲している数字の判別は、誤認識しやすく、注意が必要である。そこで、表示部上下における数字の切断面（湾曲）に着目し、その湾曲が閉じられた領域（閉領域）を構成しているかどうかを調べ、結果を評価に加味する。
【００４４】
これは、図１７で示すように、閉領域を構成している８，９の上部と６，８の下部、閉じられていない２，３，６の上部と３，５，９の下部の判別（特に５→６，８→９、９→０の３パターン）を明確に判別するのに効果的である。
そして、図１８で示すように、上部および下部の切断面に、架空の数字要素領域として太さＷのライン領域を加え、生成された新たな数字要素領域が持つ穴部の数を比較する。湾曲が表示枠と閉領域を構成している場合には、ラインを加えられたことによって閉領域を生成する。
【００４５】
これを、取得した比較用画像と、切り出した見本画像にて行い、生成される閉領域の数を比較して、結果を評価に加える。
比較は、数字が２つに確認された場合のみ行い、上部のラインを加えた場合と、下部のラインを加えた場合の２通り行う。（評価値：一致する＝０、一致しない＝１）
【００４６】
Ｄ．比較手段４（細線化によるチェインコードの比較）
図１９，図２０，図２１は細線化によるチェインコードの比較を説明する説明図である。
図１９で示すように、照合用モデル画像と取得画像が若干異なる場合（抽出された図柄の太さ、ずれなど）でも効果を期待できる手段として、細線化によるチェインコードの比較を加える。
【００４７】
見本画像と取得画像をそれぞれ細線化し、それを構成するチェインコードの数と配置関係を用いて比較を行う。図柄の骨格が、どのような方向成分で構成されているかを分析し、その特徴量を比較する。
チェインコードは、図２０で示すように、隣接した２ピクセルの配置関係によって計算される。
【００４８】
そして、図２１で示すように、細線化した画像をいくつかのブロック（小ブロック）（例：５×５ブロック）に分割する。分割された画像を、数ブロック単位（大ブロック）（例：３×３ブロック毎）でまとめて切り出し、大ブロック毎の各チェインコード（０〜３）の総数を算出する。
【００４９】
表示部の輪郭周辺は、細線化したときの結果が安定しない。大ブロック単位で評価することにより、表示部輪郭付近のチェインコード評価の重みを軽減するとともに、ブロック境界付近のずれを平均化する。ただし、その度合が大きすぎると、表示部中央付近の重みが増大し、かえって認識率の低下を招く恐れがあるので、適正なブロック数を検討する必要がある。
【００５０】
これを、取得した比較画像と、見本画像にて行い、取得したチェインコード数を比較する。比較は、ユークリッド距離を用い、計算結果を記録する。
ただし、ドラムのがたつきなどによる左右のずれを考慮し、比較画像と見本画像の図柄領域の最大幅の中心軸を揃えてから重ね合わせる。
また、処理速度の向上を図り、あらかじめ照合用モデル画像全体画像に対して細線化処理を行い、チェインコードのデータ化を行っておき、該当するデータ部分を切り出して比較を行う。
【００５１】
ここに、
GetChain(b,n)＝取得した比較用画像の、大ブロック毎の各チェインコード数
CompareChain(b,n)＝見本画像の、大ブロック毎の各チェインコード数
b＝１〜大ブロック数（大ブロックのインデックス）
n＝０，１，２，３（チェインコード）
とした場合、ユークリッド距離は次式のように表される。
【００５２】
【数１】
0003915973.tif 000002
【００５３】
このユークリッド距離が小さいほど近似していると判定することができる。
【００５４】
Ｅ．比較手段５（表示されている数字領域の大きさの比較）
図２２は、表示されている数字領域の大きさの比較を説明する説明図である。
表示枠内に出現している、２つの数字図柄部分の高さの比を用いて比較を行う。
照合用モデル画像上をすべて検索することは、処理速度の低下を招き、無駄が多い。表示されている数字領域の高さ情報を用いれば、比較部分を限定することができる。
表示枠内に出現している２つの数字図柄部分の高さの比を用いて比較を行う。
ユークリッド距離を用いて比較し、算出されたユークリッド距離が近いほど、近似した画像として評価する。算出値は０．０〜１．０の値をとる。
【００５５】
ここに、
GetUpH＝比較用画像の上側数字図柄の高さ
GetLowH＝比較用画像の下側数字図柄の高さ
CompareUpH＝見本画像の上側数字図柄の高さ
CompareLowH＝見本画像の下側数字図柄の高さ
CharHeight＝本来の数字の高さ
とすると、ユークリッド距離は次式のようになる。
【００５６】
【数２】
0003915973.tif 000003
【００５７】
なお、比較を行う数字図柄が双方とも１つの場合には、ユークリッド距離＝０とする。
また、比較する数字図柄の数が異なる（１対２、あるいは、２対１）場合は、数字図柄が１つの画像において、比較相手（数字図柄が２つの画像）の上下大きい側の高さ＝CharHeight、小さい側の高さ＝０として上式に適用し、比較する。
【００５８】
各比較手段による結果の総合評価
上記の比較手段１〜５に示す各手段による比較結果を融合し、照合用モデル画像から切り出された部分ごとの評価値を算出する。最終的に、算出された評価値を比較することにより、比較用画像が照合用モデル画像のどの部分に近似しているかを特定する。
【００５９】
まず、照合用モデル画像各部分ごとの評価値を算出する。図２３は、各比較手段と結果値結果値・標準化された結果値とを説明する説明図である。図２４は、比較結果の総合評価グラフである。図２４で示すような比較手段による見本画像と比較用画像の比較結果より、以下の手段で照合用モデル画像から切り出された部分ごとの評価値を算出する。
【００６０】
上記各手段による見本画像と比較画像の比較結果により、以下の手段で照合用モデル画像から切り出された部分ごとの評価値を算出する。それらを合計した評価値が小さいほど、近似しているとする。
上記の比較手段において、手段１と手段４の結果値が核であると判断し、手段２，３，５の比較結果をそれらの補助的な位置付けとしてとらえ、以下のように評価値を算出する。
【００６１】
１．比較手段５の比較結果による比較部分の限定
まず、手段５による比較を表示されている数字領域の大きさの比較結果が、ある一定値（例：０．３）を超えている照合用モデル画像の部分は、相違が明確なのでその時点で評価対象から除外する。
一定値以内の部分のみ以下の比較評価を適用する。これにより、処理速度の向上が図れる。これに該当する部分がない場合には、図柄の抽出が不十分であるとし、認識不可とする。以降の桁の読取りを省略して、次の画像の読取りを開始する。
【００６２】
２．方式１〜４による比較結果値の算出
手段５により限定された照合用モデル画像の切り出し部分について、それぞれ方式１〜４により比較結果値を算出する。
【００６３】
３．比較結果値の標準化
照合用モデル画像すべての評価が終了したら、手段１による比較結果値の平均値を求め、それを基準値とする。基準値を基に、手段２〜５の比較結果値の標準化を行う。
手段４については、その比較結果値の平均値が基準値に合わせてから、重み付けをする。
【００６４】
４．照合用モデル画像各部分ごとの評価値の算出
標準化された各手段の比較結果値を、それぞれ設定された重み付けを行ってから合計する。そして、照合用モデル画像各部分ごとの評価値とする。評価値が小さい部分ほど近似しているといえる。
【００６５】
５．一致する部分の確定
最終的に、照合用モデル画像上の合計評価値が最も小さかった部分を表示部と確定する。ただし小さかった部分の評価値が、最小評価値に近似している場合（例：最小評価値×１．１＞次点評価値  の場合）はその解が不審であるとし、その旨を表示（または記録）する。
各比較手段と標準化された比較結果値を図２３に示す。
比較結果の総合評価グラフは図２４で示すようになる。
【００６６】
続いて、ステップＳ１３の桁単位指示値算出手段を行う。ステップＳ１３の桁単位指示値算出手段は、照合位置抽出手段で求められた縦位置から、各桁について、それぞれ整数部および小数部からなる指示値を算出する手段である。最小位１桁（最右桁）の数字車における指示値（小数点以下第１位まで）の算出を対象とする。図２５は桁単位指示値算出手段を説明する説明図である。
【００６７】
画像を取得したら、表示枠内の画像を切り出し、比較用画像を生成する。
生成した比較用画像の目盛を読み取る位置を、照合用モデル画像が値９．５を示す位置（ここをｙ＝０とする）に合わせ、比較を開始する。ｙの値を増加しながら比較を繰り返し、照合用モデル画像値が９．４を示す位置（ｙ＝CharHeight＊１０−１）で終了する。
【００６８】
最も一致した照合用モデル画像のｙ座標（＝ｐ）から、指示値を算出する。ここに、
ｐ＝最も一致した照合用モデル画像のｙ座標、
CharHeight＝照合用モデル画像の高さ÷１２（１数字あたりの高さ）
とすると、
算出値ａ＝（ｐ÷CharHeight）−０．５
（ただし、ａ＜０のときａ＋１０，ａ＞１０のときａ−１０）
そして、算出値ａの小数点以下第２位を切り捨てた値を指示値とする。
【００６９】
続いてステップＳ１４の読み取り値算出手段が実行される。ステップＳ１４の読み取り値補正算出手段は、最下位桁を除いた全ての桁について、一つ下位桁の指示値の整数部および小数部ならびに最下位桁指示値の小数部を用いて整数値に補正した上で、複数桁からなる指示値を算出する手段である。図２６，図２７，図２８は、読み取り値算出手段を説明する説明図である。
【００７０】
まず、概要について説明する。
１桁の場合と同様にして、各桁の値を算出する。最小桁を除くすべての桁は、整数値で算出する必要があるので補正する。図２７で示すように、補正された各整数値を、各桁の単位に変換して加算した合計値を、指示値とする。例えば読み取り値が０．１でも、整数である場合には現字形計器が位置ずれを起こしていると判断して０に補正して読み取るというものである。
【００７１】
計器が理想的な動作をする場合、一つ下位桁が０．０以上９．０以下の値を表示している間、該当桁（算出しようとする桁）はちょうどｎ．０の値（ｎ＝０，１，２，３，・・・，９）を示した状態で停止する。また、一つ下位桁が９．１以上９．９以下の値を表示している間、該当桁は一つ下位桁の動きに合わせて回転するので（図２６参照）、小数点以下が一つ下位桁と同じ値を示すことになる。
【００７２】
ただし実際の数字車機械構造では、一つ下位桁が９．１から９．９へ移行するときの、該当桁の動作に遅れやギアの噛み合わせなどによる誤差が生じ、必ずしも小数点以下が最小桁と同じ値を示すとは限らない。また、一つ下位桁が０．０以上９．０以下の値を表示している場合でも、該当桁がちょうどｎ．０の値を示して停止しているとは限らない。
しがたって、算出値を整数値に補正する際には、誤差をふまえた補正を行う必要がある。さらに、一つ下位桁の値によって異なる補正手段を適用しなければならない。
【００７３】
図２８は、補正を説明する説明図である。左側写真は指示値が１９から２０へ移動する場合を示しており、その場合の補正について説明している。
一つ下位桁の算出値に対する左桁の理想値と、読み取り値の誤差範囲±αの設定可能範囲を、０．０≦α≦０．４とする。該当桁の算出値が、理想値±αの範囲内になければ読み取りエラーとする。最小桁を除く一つ下位桁の算出値は、補正後の値とする。
【００７４】
（１）一つ下位桁の算出値が、０．０以上９．０以下の場合
補正値＝該当桁の算出値を、小数点以下第１位で四捨五入した整数値。
（※ただし、補正値≧１０のとき、補正値＝０）
（２）一つ下位桁の算出値が、９．１以上９．９以下の場合
補正値＝｛該当桁の算出値−最小桁の小数値（０．１〜０．９）｝を、小数点以下第１位で四捨五入した整数値。
（※ただし、補正値≧１０のとき、補正値＝０）
【００７５】
以上説明したような現字形計器画像認識処理を行うことで、現字形計器の指示値を確実に読み取ることができる。
【００７６】
【発明の効果】
以上本発明によれば、従来より簡易な構成で、しかも判定精度を向上させるような現字形計器認識処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態の現字形計器認識処理装置の構成図である。
【図２】画像認識処理の概要を説明する説明図である。
【図３】本発明の実施形態の現字形計器認識処理のイニシャル処理に係るフローチャートである。
【図４】本発明の実施形態の現字形計器認識処理の認識処理に係るフローチャートである。
【図５】指示値を含む画像データの修正を説明する説明図である。
【図６】処理領域設定を説明する説明図である。
【図７】処理領域設定時に取得される情報の説明図である。
【図８】照合用モデル画像の概要を説明する説明図である。
【図９】照合用モデル画像作成手段を説明する説明図である。
【図１０】指示値の切り出しを説明する説明図である。
【図１１】陰影補正を説明する説明図である。
【図１２】表示枠幅の限定を説明する説明図である。
【図１３】余白部分の削除を説明する説明図である。
【図１４】比較抽出を説明する説明図である。
【図１５】画像の差分による比較を説明する説明図である。
【図１６】数字の穴部数の比較手段を説明する説明図である。
【図１７】表示部上下における数字の切断面の比較を説明する説明図である。
【図１８】表示部上下における数字の切断面の比較を説明する説明図である。
【図１９】細線化によるチェインコードの比較を説明する説明図である。
【図２０】細線化によるチェインコードの比較を説明する説明図である。
【図２１】細線化によるチェインコードの比較を説明する説明図である。
【図２２】表示されている数字領域の大きさの比較を説明する説明図である。
【図２３】各比較手段と結果値結果値・標準化された結果値とを説明する説明図である。
【図２４】比較結果の総合評価グラフである。
【図２５】桁単位指示値算出手段を説明する説明図である。
【図２６】読み取り値算出手段を説明する説明図である。
【図２７】読み取り値算出手段を説明する説明図である。
【図２８】読み取り値算出手段を説明する説明図である。
【図２９】現字形計器の計器表示部およびその周辺領域を示す外観図である。
【図３０】数字車および表示枠を説明する説明図である。
【図３１】色が異なる数値を説明する説明図である。
【符号の説明】
１０        現字形計器認識処理装置
１        撮像カメラ
２        画像処理部（ＰＣ）
２０        現字形計器
【図１】
0003915973.tif 000004
【図２】
0003915973.tif 000005
【図３】
0003915973.tif 000006
【図４】
0003915973.tif 000007
【図５】
0003915973.tif 000008
【図６】
0003915973.tif 000009
【図７】
0003915973.tif 000010
【図８】
0003915973.tif 000011
【図９】
0003915973.tif 000012
【図１０】
0003915973.tif 000013
【図１１】
0003915973.tif 000014
【図１２】
0003915973.tif 000015
【図１３】
0003915973.tif 000016
【図１４】
0003915973.tif 000017
【図１５】
0003915973.tif 000018
【図１６】
0003915973.tif 000019
【図１７】
0003915973.tif 000020
【図１８】
0003915973.tif 000021
【図１９】
0003915973.tif 000022
【図２０】
0003915973.tif 000023
【図２１】
0003915973.tif 000024
【図２２】
0003915973.tif 000025
【図２３】
0003915973.tif 000026
【図２４】
0003915973.tif 000027
【図２５】
0003915973.tif 000028
【図２６】
0003915973.tif 000029
【図２７】
0003915973.tif 000030
【図２８】
0003915973.tif 000031
【図２９】
0003915973.tif 000032
【図３０】
0003915973.tif 000033
【図３１】
0003915973.tif 000034