(57)【要約】【課題】データ収集の技術において、文字認識などの画像処理やその手段を現地システム側に配置することにより、データ伝送量を低減し適用の拡大を図る。【解決手段】画像判定手段６０が、第二の操作信号に応じて表示装置１４に画面表示され取込んだ画像データごとに、基準データ記憶手段６２に記憶されている判定基準データと照合することにより、目的の画面と一致するか否かを判定する。目的の画面と一致した画像データについては、画像解析手段６４が、パタン認識処理に代表される画像解析を用いた認識により文字データに変換する。画像解析手段６４で変換した文字データを、データ送信手段３０が通信ネットワークＮ経由でセンタシステム８０に送信する。【選択図】図１
2009175967.tif 000002
【特許請求の範囲】
【請求項１】
操作の入力装置と、情報の表示装置と、内部に保有しているデータである管理データを前記入力装置からの操作に基づいて前記表示装置に画面表示する処理手段と、を有する対象システムに設けられ、その対象システムから前記管理データを収集して通信ネットワーク経由で所定のセンタシステムへ転送するコンピュータであるデータ収集装置において、
前記入力装置からの操作信号である第一の操作信号の形式に準じ、収集しようとする前記管理データを含む目的の画面を前記表示装置に画面表示させるための第二の操作信号を生成する信号生成手段と、
前記信号生成手段からの前記第二の操作信号を、前記入力装置から前記処理手段へ前記第一の操作信号を伝達する信号回線に入力する信号合成手段と、
前記第二の操作信号に応じて前記処理手段が前記表示装置に画面表示した画像を画像データとして取込む画像データ取込手段と、
前記画像データを、画像解析を用いた認識により文字データに変換するとともに所定の記憶手段に記憶させる画像解析手段と、
前記画像解析手段で変換した文字データを、前記通信ネットワーク経由で前記センタシステムに送信するデータ送信手段と、
を有することを特徴とするデータ収集装置。
【請求項２】
画面の種類ごとに、その特徴として、画面の部位を表す位置情報と、そこに有るはずの色データ又は部分画像の組合せを一又は二以上含む判定基準データを予め記憶した基準データ記憶手段と、
前記第二の操作信号に応じて前記表示装置に画面表示され取込んだ前記画像データごとに、前記判定基準データと照合することにより、前記目的の画面と一致するか否かを判定するとともに、不一致の場合は前記画像解析手段又は前記信号生成手段に処理を中止させる、画像判定手段と、
を設けたことを特徴とする請求項１記載のデータ収集装置。
【請求項３】
請求項１又は２記載のデータ収集装置と、遠隔に設けたコンピュータであるセンタシステムと、を通信ネットワーク経由で接続したデータ収集システムであって、
前記センタシステムは、前記現地システムから前記通信ネットワーク経由で送信される前記文字データを受信するとともに、所定の記憶手段に収集データとして記憶させる、データ受信手段を有することを特徴とするデータ収集システム。
【請求項４】
操作の入力装置と、情報の表示装置と、内部に保有しているデータである管理データを前記入力装置からの操作に基づいて前記表示装置に画面表示する処理手段と、を有する対象システムに設けられ、その対象システムから前記管理データを収集して通信ネットワーク経由で所定のセンタシステムへ転送するコンピュータであるデータ収集装置を用いるデータ収集方法において、
前記データ収集装置において、
電子回路により又は演算制御部とコンピュータプログラムにより、信号生成手段と、信号合成手段と、画像データ取込手段と、画像解析手段と、を実現すると共に、
前記信号生成手段により、前記入力装置からの操作信号である第一の操作信号の形式に準じ、収集しようとする前記管理データを含む目的の画面を前記表示装置に画面表示させるための第二の操作信号を生成する処理ステップと、
前記信号合成手段により、前記信号生成手段からの前記第二の操作信号を、前記入力装置から前記処理手段へ前記第一の操作信号を伝達する信号回線に入力する処理ステップと、
前記画像データ取込手段により、前記第二の操作信号に応じて前記処理手段が前記表示装置に画面表示した画像を画像データとして取込む処理ステップと、
前記画像解析手段により、前記画像データを、画像解析を用いた認識により文字データに変換するとともに所定の記憶手段に記憶させる処理ステップと、
前記データ送信手段により、前記画像解析手段で変換した文字データを、前記通信ネットワーク経由で前記センタシステムに送信する処理ステップと、
を含むことを特徴とするデータ収集方法。
【請求項５】
前記データ収集装置において、
電子回路により又は演算制御部とコンピュータプログラムにより、基準データ記憶手段と、画像判定手段と、を実現すると共に、
画面の種類ごとに、その特徴として、画面の部位を表す位置情報と、そこに有るはずの色データ又は部分画像の組合せを一又は二以上含む判定基準データを、前記基準データ記憶手段に予め記憶し、
前記画像判定手段により、前記第二の操作信号に応じて前記表示装置に画面表示され取込んだ前記画像データごとに、前記判定基準データと照合することにより、前記目的の画面と一致するか否かを判定するとともに、不一致の場合は前記画像解析手段又は前記信号生成手段に処理を中止させる、処理ステップを実行する
ことを特徴とする請求項４記載のデータ収集方法。
【請求項６】
操作の入力装置と、情報の表示装置と、内部に保有しているデータである管理データを前記入力装置からの操作に基づいて前記表示装置に画面表示する処理手段と、を有する対象システムに設けられ、その対象システムから前記管理データを収集して通信ネットワーク経由で所定のセンタシステムへ転送するコンピュータであるデータ収集装置を制御するコンピュータプログラムであるデータ収集プログラムにおいて、
そのプログラムは、前記データ収集装置の演算制御部を制御することにより、
信号生成手段と、信号合成手段と、画像データ取込手段と、画像解析手段と、を実現すると共に、
前記信号生成手段に、前記入力装置からの操作信号である第一の操作信号の形式に準じ、収集しようとする前記管理データを含む目的の画面を前記表示装置に画面表示させるための第二の操作信号を生成させ、
前記信号合成手段に、前記信号生成手段からの前記第二の操作信号を、前記入力装置から前記処理手段へ前記第一の操作信号を伝達する信号回線に入力させ、
前記画像データ取込手段に、前記第二の操作信号に応じて前記処理手段が前記表示装置に画面表示した画像を画像データとして取込ませ、
前記画像解析手段に、前記画像データを、画像解析を用いた認識により文字データに変換するとともに所定の記憶手段に記憶させ、
前記データ送信手段に、前記画像解析手段で変換した文字データを、前記通信ネットワーク経由で前記センタシステムに送信させる
ことを特徴とするデータ収集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータからデータを収集する技術の改良に関する。
【背景技術】
【０００２】
ビル・工場・上下水道などの設備監視、店舗や倉庫などの在庫管理、事業所毎の売り上げ管理や環境会計管理など、さまざまな産業分野でコンピュータを利用した管理システムが導入され、それら各種の管理システムは産業用管理コンピュータとも総称できる。
【０００３】
これらの既存の管理システム用コンピュータがその内部に保有している管理データを、そのコンピュータ（以下「対象システム」と呼ぶこととする）を改造することなく外部へ取り出すことを可能にする技術を本出願人らは提案し、既に特許出願を行った（特許文献１参照）。
【０００４】
その概要は、電力設備など既存の監視制御用コンピュータを対象システムとし、対象システムが備えるキーボードやマウスに代表される入力装置を、その操作信号と同形式の模擬操作信号を外部から与えて自動操作することで管理データを集約した画面等を呼び出し、その画面をキャプチャして文字認識などの画像解析により数値データに変換するもので、仮に、データ収集システムと呼ぶこととする。
【０００５】
このようなデータ収集システムは、従来では、現地の対象システム側に設ける部分（仮に「現地システム」と呼ぶ）と、データを収集するサーバ側となる部分（仮に「センタシステム」と呼ぶ）を、通信ネットワークで接続していた。
【０００６】
そして、センタシステムで生成した模擬操作信号を現地システムへ送り、現地システムの伝送装置や信号合成器を介して、対象システムである例えば監視制御用コンピュータへ伝達させ、その結果として画面表示された日報等のエネルギーデータ画面を現地システムでキャプチャした画像データをセンタシステムへ返送させ、センタシステムでＯＣＲ（工学文字読取）などの解析による文字認識処理で、エネルギーデータの数値といった文字データに変換し、格納や利用に供していた。
【０００７】
このような従来の構成は、模擬操作信号の生成や、画像データの解析による文字認識などの画像処理やその手段を、センタシステム側に配置したもので、現地システム側は機器構成や負荷が少なくコンパクトとなり、また複数の対象システムで一つのセンタシステムを共用できるなどのメリットがあった。
【特許文献１】特開２００７−１７９５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記のような従来技術では、模擬操作信号の生成や、画像データの解析による文字認識などの画像処理やその手段を、センタシステム側に配置した結果、現地でキャプチャした画像データをそのままセンタシステムへ伝送するため、伝送容量が大きくなるという課題があった。
【０００９】
このため、大容量回線を要するなど回線費用が高額となるだけでなく、画像伝送に時間がかかり、特に収集画面数が多い場合にデータ収集に長時間を要したり、また、間違った画像データが送られてきた場合にそのことが判明するまでにも時間がかかるため、その間に誤った処理を続行して無駄が生じる問題もあった。
【００１０】
本発明は、上記のような従来技術の課題を解決するもので、その目的は、データ収集の技術において、文字認識などの画像処理やその手段を現地システム側に配置することにより、データ伝送量を低減し適用の拡大を図ることである。
【課題を解決するための手段】
【００１１】
上記の目的をふまえ、本発明の一態様は、操作の入力装置と、情報の表示装置と、内部に保有しているデータである管理データを前記入力装置からの操作に基づいて前記表示装置に画面表示する処理手段と、を有する対象システムに設けられ、その対象システムから前記管理データを収集して通信ネットワーク経由で所定のセンタシステムへ転送するコンピュータであるデータ収集装置において、前記入力装置からの操作信号である第一の操作信号の形式に準じ、収集しようとする前記管理データを含む目的の画面を前記表示装置に画面表示させるための第二の操作信号を生成する信号生成手段と、前記信号生成手段からの前記第二の操作信号を、前記入力装置から前記処理手段へ前記第一の操作信号を伝達する信号回線に入力する信号合成手段と、前記第二の操作信号に応じて前記処理手段が前記表示装置に画面表示した画像を画像データとして取込む画像データ取込手段と、前記画像データを、画像解析を用いた認識により文字データに変換するとともに所定の記憶手段に記憶させる画像解析手段と、前記画像解析手段で変換した文字データを、前記通信ネットワーク経由で前記センタシステムに送信するデータ送信手段と、を有することを特徴とする。
【００１２】
本発明の他の態様は、上記態様を方法という見方からとらえたもので、操作の入力装置と、情報の表示装置と、内部に保有しているデータである管理データを前記入力装置からの操作に基づいて前記表示装置に画面表示する処理手段と、を有する対象システムに設けられ、その対象システムから前記管理データを収集して通信ネットワーク経由で所定のセンタシステムへ転送するコンピュータであるデータ収集装置を用いるデータ収集方法において、前記データ収集装置において、電子回路により又は演算制御部とコンピュータプログラムにより、信号生成手段と、信号合成手段と、画像データ取込手段と、画像解析手段と、を実現すると共に、前記信号生成手段により、前記入力装置からの操作信号である第一の操作信号の形式に準じ、収集しようとする前記管理データを含む目的の画面を前記表示装置に画面表示させるための第二の操作信号を生成する処理ステップと、前記信号合成手段により、前記信号生成手段からの前記第二の操作信号を、前記入力装置から前記処理手段へ前記第一の操作信号を伝達する信号回線に入力する処理ステップと、前記画像データ取込手段により、前記第二の操作信号に応じて前記処理手段が前記表示装置に画面表示した画像を画像データとして取込む処理ステップと、前記画像解析手段により、前記画像データを、画像解析を用いた認識により文字データに変換するとともに所定の記憶手段に記憶させる処理ステップと、前記データ送信手段により、前記画像解析手段で変換した文字データを、前記通信ネットワーク経由で前記センタシステムに送信する処理ステップと、を含むことを特徴とする。
【００１３】
本発明の他の態様は、上記態様をコンピュータプログラムという見方からとらえたもので、操作の入力装置と、情報の表示装置と、内部に保有しているデータである管理データを前記入力装置からの操作に基づいて前記表示装置に画面表示する処理手段と、を有する対象システムに設けられ、その対象システムから前記管理データを収集して通信ネットワーク経由で所定のセンタシステムへ転送するコンピュータであるデータ収集装置を制御するコンピュータプログラムであるデータ収集プログラムにおいて、そのプログラムは、前記データ収集装置の演算制御部を制御することにより、信号生成手段と、信号合成手段と、画像データ取込手段と、画像解析手段と、を実現すると共に、前記信号生成手段に、前記入力装置からの操作信号である第一の操作信号の形式に準じ、収集しようとする前記管理データを含む目的の画面を前記表示装置に画面表示させるための第二の操作信号を生成させ、前記信号合成手段に、前記信号生成手段からの前記第二の操作信号を、前記入力装置から前記処理手段へ前記第一の操作信号を伝達する信号回線に入力させ、前記画像データ取込手段に、前記第二の操作信号に応じて前記処理手段が前記表示装置に画面表示した画像を画像データとして取込ませ、前記画像解析手段に、前記画像データを、画像解析を用いた認識により文字データに変換するとともに所定の記憶手段に記憶させ、前記データ送信手段に、前記画像解析手段で変換した文字データを、前記通信ネットワーク経由で前記センタシステムに送信させることを特徴とする。
【００１４】
本発明の他の態様は、センタシステムを含むデータ収集システムとしてとらえたもので、上記いずれかの態様のデータ収集装置と、遠隔に設けたコンピュータであるセンタシステムと、を通信ネットワーク経由で接続したデータ収集システムであって、前記センタシステムは、前記現地システムから前記通信ネットワーク経由で送信される前記文字データを受信するとともに、所定の記憶手段に収集データとして記憶させる、データ受信手段を有することを特徴とする。
【００１５】
以上のように、対象システムに設ける現地システムであるデータ収集装置の側で、画像データから文字データに変換のうえセンタシステムへ伝送することにより、必要な伝送速度すなわち帯域幅が少なくて済み、電話回線など小容量のいわゆるナローバンド回線も利用可能となるので、通信の設備規模やコストが低減可能となる。
【００１６】
本発明の他の態様は、さらに、上記いずれかの態様におけるデータ収集装置において、さらに、画面の種類ごとに、その特徴として、画面の部位を表す位置情報と、そこに有るはずの色データ又は部分画像の組合せを一又は二以上含む判定基準データを予め記憶した基準データ記憶手段と、前記第二の操作信号に応じて前記表示装置に画面表示され取込んだ前記画像データごとに、前記判定基準データと照合することにより、前記目的の画面と一致するか否かを判定するとともに、不一致の場合は前記画像解析手段又は前記信号生成手段に処理を中止させる、画像判定手段と、を設けたことを特徴とする。
【００１７】
本発明の他の態様は、上記態様を方法という見方からとらえたもので、上記いずれかの態様におけるデータ収集方法において、さらに、前記データ収集装置において、電子回路により又は演算制御部とコンピュータプログラムにより、基準データ記憶手段と、画像判定手段と、を実現すると共に、画面の種類ごとに、その特徴として、画面の部位を表す位置情報と、そこに有るはずの色データ又は部分画像の組合せを一又は二以上含む判定基準データを、前記基準データ記憶手段に予め記憶し、前記画像判定手段により、前記第二の操作信号に応じて前記表示装置に画面表示され取込んだ前記画像データごとに、前記判定基準データと照合することにより、前記目的の画面と一致するか否かを判定するとともに、不一致の場合は前記画像解析手段又は前記信号生成手段に処理を中止させる、処理ステップを実行することを特徴とする。
【００１８】
このように、取込んだ画像データが目的の画面のものであることを判定し確認のうえ画像解析などの処理を続行することにより、自動操作の信頼性が改善し、誤ったデータの収集や、想定外の画面で模擬操作信号を送り込むことで予期せぬ誤操作となるリスクが回避可能となる。
【発明の効果】
【００１９】
以上のような本発明によれば、データ収集の技術において、文字認識などの画像処理やその手段を現地システム側に配置することにより、データ伝送量を低減し適用の拡大を図ることが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の実施形態について、図面にそって説明する。なお、背景技術や課題での説明と共通の前提事項については、適宜省略する。
【００２１】
〔１．第１実施形態〕
（構成）
第１実施形態は、産業用管理コンピュータを対象システムとして、そのような対象システムのもつデータ（「管理データ」と呼ぶこととする）を通信ネットワーク経由で収集するデータ収集システムである。ここで、「産業用管理コンピュータ」は、ビル・工場・上下水道などの設備監視、店舗や倉庫などの在庫管理、事業所毎の売り上げ管理や環境会計管理など、さまざまな産業分野で用いるコンピュータ利用の情報処理システムを広く意味し、コンピュータ、計算機、システム、監視制御装置など名称の如何は問わない。
【００２２】
ここで、図１は、第１実施形態の構成を示すもので、まず、対象システム１０は、キーボード、マウスなど操作の入力装置１２と、液晶モニタなど情報の表示装置１４と、情報の処理手段１８と、を有する。処理手段１８は、電子回路により又はＣＰＵなどの演算制御部とコンピュータプログラムにより実現され、対象システム１０の目的に応じて構成される。
【００２３】
そのような対象システム１０からデータを収集する第１実施形態のデータ収集システムは、対象システム１０と共に設けたデータ収集装置（以下「現地システム」と呼ぶこととする）２０と、遠隔に設けたコンピュータであるセンタシステム８０と、をインターネットやＶＰＮなどの通信ネットワークＮ経由で接続し両者間の通信により管理データ１６を収集するもので、現地システム２０は、対象システム１０から管理データ１６を収集して通信ネットワークＮ経由で所定のセンタシステム８０へ転送するコンピュータである。
【００２４】
このうち、現地システム２０は、電子回路により又はＣＰＵなどの演算制御部とコンピュータプログラムにより実現され第１実施形態の後述するような各機能作用を実現実行する処理手段として、信号生成手段２２と、信号合成手段２４と、画像信号分配器２６と、画像データ取込手段２８と、データ送信手段３０と、画面呼出手段５２と、画像データ記憶手段５８と、画像判定手段６０と、画像解析手段６４と、認識データ記憶手段６６と、を有する。
【００２５】
また、現地システム２０は、取込んだ画像が目的の画像かの判定に用いるため、画面の種類ごとにその特徴を表した判定基準データを予め記憶した基準データ記憶手段６２を有する。ここで、判定基準データの最も単純な例としては、画面の種類ごとに、その特徴として、画面の部位を表す位置情報と、そこに有るはずの色データとを組み合わせたペアを一又は二以上、セットにしたものである。
【００２６】
データの意味は、例えば、画面に映っているのが「履歴呼出画面」であれば、ヘッダとなる中央最上部が水色で、かつ、右下隅の取消マークが赤色のはず、といったものである。
【００２７】
色データを用いる上記の例では、一つの画面の判定基準データを構成する単位となるのは、位置情報と色データのペアで、画面の部位を表す位置情報は、判定基準となる特定の画素のＸ，Ｙ座標や、矩形範囲を既定する二つの座標などである。また、そこに有るはずの色データは、形式は自由であるが、例えば色要素成分などであり、黄色なら「Ｒ２５５，Ｇ２５５，Ｂ０」といったものである。そのような位置情報と色データのペアを、通常は数個から数十程度組み合わせてセットとして用いるが、実際の内容や数などは自由である。
【００２８】
また、センタシステム８０は、電子回路により又はＣＰＵなどの演算制御部とコンピュータプログラムにより実現され第１実施形態の後述するような各機能作用を実現実行する処理手段として、収集データ記憶手段８２と、画像データ受信手段８６と、を有する。他に、センタシステム８０は、一般に情報の加工や出力などのための構成要素を有するが、本発明の主旨とは関連が低いため省略する。
【００２９】
（作用）
上記のように構成された第１実施形態におけるデータ収集の処理手順を、図２のフローチャートに示す。すなわち、現地システム２０の画面呼出手段５２が、予め設定されたスケジュールに従って、対象システム１０のどの画面を呼び出すかを決定し、その画面を呼び出すための模擬操作信号を信号生成手段２２が生成する（ステップＳ３２）。
【００３０】
ここで、現地システム２０の処理する操作信号は二種あり、操作員等が実際に入力装置１２を操作して発生する操作信号を第一の操作信号と呼ぶこととし、データ収集のために対象システム１０を動作させるための模擬的な操作信号を第二の操作信号もしくは模擬操作信号と呼ぶこととする。
【００３１】
すなわち、現地システム２０の信号生成手段２２は、入力装置１２からの操作信号である第一の操作信号の形式に準じ、収集しようとする管理データ１６を表示装置１４に画面表示させるための第二の操作信号すなわち模擬操作信号を生成し（ステップＳ３２）、信号合成手段２４へ渡す。
【００３２】
そして、信号合成手段２４は、入力装置１２からの第一の操作信号が存在するときはその第一の操作信号を、また、信号生成手段２２からの模擬操作信号が存在するときはその模擬操作信号を、それぞれ、入力装置１２から処理手段１８への信号回線に入力する（ステップＳ３４）。
【００３３】
このような模擬操作信号の入力を受けた対象システム１０の処理手段１８は（ステップＳ０２）、それを第一の操作信号と区別することなく、内部に保有しているデータである管理データ１６を、模擬操作信号の内容に応じて表示装置１４に画面表示する（ステップＳ０４）。
【００３４】
上記のように模擬操作信号に応じて処理手段１８が表示装置１４に画面表示した画像は（ステップＳ０４）、現地システム２０の画像信号分配器２６が画像データ取込手段２８にも分配し、この分配された画像を画像データ取込手段２８がキャプチャし画像データとして取込み（ステップＳ３６）、画像データ記憶手段５８に一旦記憶する。
【００３５】
続いて、画像判定手段６０が、第二の操作信号に応じて表示装置１４に画面表示され取込んだ前記画像データごとに、基準データ記憶手段６２に記憶されている上記のような判定基準データと照合することにより、目的の画面と一致するか否かを判定（「画像判定」と呼ぶこととする）するとともに（ステップＳ３８）、不一致の場合は画像解析手段６４又は信号生成手段２２に処理を中止させるなど、所定のエラー処理を行う（ステップＳ４０）。なお、画像判定のための上記のような照合においては、位置座標や色要素成分の一致程度や一致する画素数などに許容誤差を適宜設ける。
【００３６】
目的の画面と一致した画像データについては、画像解析手段６４が、パタン認識処理に代表される画像解析を用いた認識により文字データに変換し（ステップＳ４２）、所定の認識データ記憶手段６６に記憶させる（ステップＳ４４）。なお、ここでいう「文字データ」は、画像（イメージ）データそのままではなく、認識された文字ベースのデータの意であり、文字コードに限らず、数値やビット値等の各種形式を含む概念である。
【００３７】
そして、画像解析手段６４で変換した文字データを、データ送信手段３０が通信ネットワークＮ経由でセンタシステム８０に送信し（ステップＳ４６）、センタシステム８０では、データ受信手段８６が、現地システム２０から通信ネットワークＮ経由で送信された前記文字データを受信するとともに（ステップＳ７４）、収集データ記憶手段６６に収集データとして記憶させる（ステップＳ７６）
【００３８】
（効果）
以上のように、第１実施形態では、対象システム１０に設ける現地システム２０であるデータ収集装置の側で、画像データから文字データに変換のうえセンタシステム８０へ伝送することにより、必要な伝送速度すなわち帯域幅が少なくて済み、電話回線など小容量のいわゆるナローバンド回線も利用可能となるので、通信の設備規模やコストが低減可能となる。
【００３９】
また、第１実施形態では、取込んだ画像データが目的の画面のものであることを判定し確認のうえ画像解析などの処理を続行することにより、自動操作の信頼性が改善し、誤ったデータの収集や、想定外の画面で模擬操作信号を送り込むことで予期せぬ誤操作となるリスクが回避可能となる。
【００４０】
〔２．第２実施形態〕
第２実施形態は、上記の第１実施形態に準じた構成において、さらに、画像判定に用いる判定基準データとして、より具体的な部分画像データの集合である基準画像データを用いることで、より精密な判定を行う例である。
【００４１】
この第２実施形態では、判定基準データとして、図３に示すような画面識別データ２１０を用いる。この図３に示すように、画面識別データ２１０は、異なる種別の画面毎に、画面の種別を示す名称または番号（画面種別）２１１と、画面をその画面に特徴的な部分画像データの集合として表現する基準画像データ２１２と、当該種別の画面を表示させる元となる操作信号を特定する操作信号特定データ２１３を組合せて構成されている。
【００４２】
この場合、個々の種別の画面を表示させる元となる操作信号を個別に特定可能な名称または番号などの固有の操作信号名が存在する場合には、その固有の操作信号名を操作信号特定データ２１３として使用すればよい。これに対して、基準画像データ２１２は、部分画像データの集合として表現される実体的なデータであるが、基準画像データの具体的なデータ構成は適宜選択可能である。例えば、個々の基準画像データを特定可能な名称または番号などの固有の基準画像データ名を使用して、この基準画像データ名を画面種別や操作信号特定データと関係付けるテーブルを管理すると共に、その基準画像データ名を付加した実体的な基準画像データのファイルを別に管理するようにしてもよい。
【００４３】
次に、図４〜図６は、第２実施形態における画像判定で用いる画面識別データ２１０中の基準画像データ２１２（図３）の具体例を示す図である。このうち、図４は、判定対象画面の特徴を表現する複数の部分画像を示す図である。また、図５は、図４に示す判定対象画面の部分画像を示す名称または番号（部分画像名）と、その位置を特定する座標、および当該部分画像データが保存される画像ファイル名を関係付けた部分画像テーブルを示す図である。
【００４４】
この図４、図５に示す例において、基準画像データ２１２は、判定対象画面について、他の画面と異なる特徴を有する特徴的な部分画像データを予め複数抽出して構成される。部分画像の形状は、データの簡略化および処理の簡略化の観点から、一般的には、図４、図５に示すように、左上座標と右下座標の２つの座標によって画定される矩形状とすることが望ましい。
【００４５】
さらに、図６は、図５の部分画像テーブルに示された各画像ファイル名に対応する個々の画像ファイルのデータ構成を示す図である。この図６に示す画像ファイルにおいては、図５の部分画像テーブルで当該画像ファイル名に関係付けられた部分画像を構成するピクセル毎に、当該ピクセルを特定する名称または番号（ピクセル名）と、当該ピクセルを構成する色要素成分として、赤要素成分（Ｒ要素、Ｒ0）、緑要素成分（Ｇ要素、Ｇ0）、青要素成分（Ｂ要素、Ｂ0）の大きさがそれぞれ記述される。なお、説明の簡略化のため、この図中において、色要素成分の大きさの具体的な数値の記述は省略する。
【００４６】
次に、図７は、図４〜図６に示す基準画像データ２１２を用いた場合における画像判定の処理手順を示すフローチャートである。この図７に示す処理手順では、画像判定手段６０は、生成したキーボード／マウス操作信号すなわち模擬操作信号に関係付けられた基準画像データ２１２の画像ファイルと部分画像テーブルを用いて、当該基準画像データにおける個々の部分画像データの座標範囲に対して、実際に表示された判定対象画面の画像データと当該部分画像データとの間でピクセル毎の色要素成分の大きさが一致するか否かを判定する処理を行う。
【００４７】
この処理は（図７）、判定基準となるＮ個の部分画像について順に、キャプチャした画像データから取り出したＭ個のピクセルの要素成分と比較し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の相違割合が所定値αを超えた数が、所定値βまでなら目的の画面と一致するものと判定している。
【００４８】
〔３．他の実施形態〕
なお、本発明は上記のような実施形態に限定されるものではなく、以下に例示するもの及びそれ以外の他の態様も含むものである。例えば、本発明は、画像解析の処理や手段などを現地システムに設けるものであるが、従来技術との比較では一長一短があるとも言えるので、複数の対象システムや現地システムが存在する場合、全ての現地システムについて本発明の構成をとらなければならないものではなく、目的や用途によって使い分けることが望ましい。
【００４９】
すなわち、画像解析の処理や手段を現地側とすれば、長所としては、数値変換後に伝送するため電話回線など小容量回線を利用可能となる反面、短所として、現地側の処理負荷や装置構成が増大し、構成によっては余分な装置の設置スペースを要するほか、センタシステムに設けた画像解析手段を複数の現地システムで共用することは困難となる。
【００５０】
一方、画像解析手段などをセンタシステム側に設置すれば、現地側に設置する機器や負荷は少なくコンパクトに縮小でき、また複数の現地システムを一つのセンタシステムで共用できるなどのメリットがある反面、現地で収集した画像をそのままセンタシステムへ伝送するため伝送容量が大きくなり、大容量回線を要するなど回線費用が高額となり、画像伝送に時間がかかるため特に収集画面数が多い場合にデータ収集に長時間を要する、といったデメリットがある。
【００５１】
このため、既に存在する通信回線の種類や帯域幅、現地のスペースの余裕、システム稼動のタイムスケジュールなどの事情に応じて使い分けることにより、本発明の利点を最大限に活用可能となる。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態の構成を示す図。
【図２】本発明の実施形態における処理手順を示すフローチャート。
【図３】本発明の第２実施形態における判定基準データである画面識別データのデータ構成を示す図。
【図４】図３における基準画像データの具体例を示す図であり、判定対象画面の特徴を表現する複数の部分画像を示す図。
【図５】図３における基準画像データの具体例を示す図であり、図４に示す判定対象画面の部分画像名と、その位置を特定する座標、および画像ファイル名を関係付けた部分画像テーブルを示す図。
【図６】図３における基準画像データの具体例を示す図であり、図５の部分画像テーブルに示された各画像ファイル名に対応する個々の画像ファイルのデータ構成を示す図。
【図７】図４〜図６に示す基準画像データを用いた場合の画像判定処理の一例を示すフローチャート。
【符号の説明】
【００５３】
１０…対象システム
１２…入力装置
１４…表示装置
１６…管理データ
１８…処理手段
２０…現地システム
２２…信号生成手段
２４…信号合成手段
２６…画像信号分配器
２８…画像データ取込手段
３０…データ送信手段
５８…画像データ記憶手段
６０…画像判定手段
６２…基準データ記憶手段
６４…画像解析手段
６６…認識データ記憶手段
８０…センタシステム
８２…収集データ記憶手段
８６…画像データ受信手段
Ｎ…通信ネットワーク
【図１】
2009175967.tif 000003
【図２】
2009175967.tif 000004
【図３】
2009175967.tif 000005
【図４】
2009175967.tif 000006
【図５】
2009175967.tif 000007
【図６】
2009175967.tif 000008
【図７】
2009175967.tif 000009