(57)【要約】【課題】  ユーザー側のネットワーク環境に左右されることなく、画像処理装置と端末装置との間での通信を実行できるようにする。【解決手段】  生産現場の画像処理装置１に対し、遠隔地の端末装置２Ａ，２Ｂ，２Ｃからインターネット３を介してアクセスする。各端末装置２Ａ，２Ｂ，２Ｃが、画像処理装置１にＨＴＴＰプロトコルに基づく画像送信要求を送信すると、画像処理装置１は、最新の表示用画像を含む応答データを作成して、要求元の端末装置２Ａ，２Ｂ，２Ｃに返送する。端末装置２Ａ，２Ｂ，２Ｃは、起動後、画像送信要求を送信する処理と、応答データを受信する処理と、応答データに含まれる表示用画像を表示する処理とを、この順序で繰り返し実行する。【選択図】  図１
2005339499.tif 000002
【特許請求の範囲】
【請求項１】
所定の計測処理を実行する機能を有する画像処理装置と任意数の端末装置とが、コンピュータネットワークを介して接続されて成るシステムで実行される制御方法であって、
前記画像処理装置では、処理対象の画像を生成する第１ステップと、前記処理対象の画像に基づき表示用画像を生成する第２ステップと、前記表示用画像をメモリに保存する第３ステップとを繰り返し実行するとともに、前記メモリ内の表示用画像を新しいものから順に所定数抽出する第４ステップと、当該画像処理装置にあらかじめ設定された所定のデータ形式に基づき、前記第４ステップで抽出された表示用画像を含み、かつ前記端末装置への制御情報を含まない応答データを作成して前記端末装置に返送する第５ステップとを、前記端末装置からステートレスプロトコルに基づく画像送信要求を受け付けたことを条件として実行し、
前記端末装置では、当該端末装置にあらかじめ設定された所定のデータ形式の画像送信要求を作成して、これをステートレスプロトコルに基づき前記画像処理装置に送信するＡステップと、前記画像送信要求に対する画像処理装置からの応答データを受信するＢステップと、前記応答データに含まれる表示用画像を当該端末装置にあらかじめ設定された所定の表示形式に基づきモニタに表示するＣステップとを実行する画像処理システム用の制御方法。
【請求項２】
請求項１に記載された方法において、
前記画像処理装置では、前記端末装置から画像送信要求を受け付ける都度、前記第４ステップおよび第５ステップを実行し、
前記端末装置では、前記ＡステップおよびＢステップを、Ａ，Ｂの順に繰り返し実行するとともに、Ｂステップの実行に伴ってＣステップを実行する画像処理システム用の制御方法。
【請求項３】
請求項１に記載された方法において、
前記画像処理装置では、前記端末装置から画像送信要求を受け付ける都度、前記第４ステップおよび第５ステップを実行し、
前記端末装置では、少なくとも１回のＡステップを実行した後、前記ＡステップおよびＢステップをＢ，Ａの順に繰り返し実行するとともに、前記Ｂステップの実行に伴うＣステップよりも前にＡステップを実行する画像処理システムの制御方法。
【請求項４】
請求項１〜３のいずれかに記載された方法において、
前記画像処理装置では、一端末装置からの画像送信要求を受信したとき、所定時間待機し、この待機時間内に他の端末装置からの画像送信要求を受信したとき、前記一端末装置および他の端末装置に共通の応答データを一括送信する画像処理システム用の制御方法。
【請求項５】
請求項１に記載された方法において、
前記端末装置では、前記Ａステップ、Ｂステップ、Ｃステップによる処理を１サイクル実行した後、このサイクルの実行にかかる時間に基づき画像処理装置との通信に要する処理時間を設定して、この処理時間を含めた２度目の画像送信要求を送信するＤステップを実行し、
前記画像処理装置では、前記処理時間を含まない画像送信要求に対し、前記第４ステップおよび第５ステップを１度だけ実行する一方、前記処理時間を含む画像送信要求に対しては、前記処理時間が経過する毎に第４ステップおよび第５ステップを実行し、
前記端末装置では、前記Ｄステップを実行した後に、前記ＢステップおよびＣステップを繰り返し実行する画像処理システム用の制御方法。
【請求項６】
請求項５に記載された方法において、
前記端末装置では、前記Ｄステップを実行した後の前記ＢステップおよびＣステップの実行において、ＢステップおよびＣステップが１サイクル実行される間の時間を計測し、この計測時間が前記処理時間より所定幅だけ短くなったとき、この計測時間により前記処理時間を更新して前記Ｄステップを再度実行し、
前記画像処理装置では、前記更新された処理時間を含む画像送信要求を受け付けたとき、この更新された処理時間に基づき、前記第４ステップおよび第５ステップを実行する間隔を変更する画像処理システム用の制御方法。
【請求項７】
請求項１に記載された方法において、
前記画像処理装置では、前記端末装置からの画像送信要求に応じて前記第４ステップおよび第５ステップを繰り返し実行し、
前記端末装置では、前記Ａステップを１回実行した後に、前記画像処理装置からの応答データを受信する都度、ＢステップおよびＣステップを実行する画像処理システム用の制御方法。
【請求項８】
請求項７に記載された方法において、
前記端末装置では、前記Ｂステップにおいて応答データの受信を完了したとき、その受信完了を画像処理装置に通知する処理を実行し、
前記画像処理装置では、前記端末装置からの受信完了通知により第５ステップの終了を認識してから再度の第４ステップを実行する画像処理システム用の制御方法。
【請求項９】
請求項１〜８のいずれかに記載された方法において、
前記端末装置では、自装置において前記画像処理装置に対する設定操作が行われたとき、この操作内容を示す情報を含む操作受入要求を作成して前記画像処理装置に送信するＥステップを実行し、
画像処理装置では、前記操作受入要求を受け付けたとき、この要求に含まれる操作内容に応じて表示用画像を更新する第６ステップと、更新された表示用画像を前記メモリに保存する第７ステップとを実行する画像処理システム用の制御方法。
【請求項１０】
請求項９に記載された方法において、
前記設定操作には、設定用の項目を選択するための操作が含まれており、前記画像処理装置の第６ステップでは、前記項目選択用の操作を含む操作受入要求を受け付けたとき、項目の選択メニューを含む表示用画像を生成するようにした画像処理システム用の制御方法。
【請求項１１】
所定の計測処理を実行する機能を有する画像処理装置と任意数の端末装置とが、コンピュータネットワークを介して接続されて成るシステムであって、
前記画像処理装置は、処理対象の画像を入力する画像入力手段と、前記画像入力手段が入力した画像に基づき表示用画像を生成する表示用画像生成手段と、前記表示用画像を保存するためのメモリと、前記端末装置からのステートレスプトロコルに基づく画像送信要求を受け付ける要求受信手段と、前記メモリ内の表示用画像を新しいものから順に所定数抽出する画像抽出手段と、前記画像送信要求に対し、当該画像処理装置にあらかじめ設定された所定のデータ形式に基づき、前記画像抽出手段により抽出された表示用画像を含み、かつ前記端末装置への制御情報を含まない応答データを作成して前記端末装置に返送する応答手段と、前記要求受信手段が画像送信要求を受け付けたことを条件として前記画像抽出手段および応答手段を動作させる制御手段とを具備し、
前記端末装置は、当該端末装置にあらかじめ設定された所定のデータ形式の画像送信要求を作成して、これをステートレスプロトコルに基づき前記画像処理装置に送信する要求送信手段と、前記画像送信要求に対する応答データを受信する応答受信手段と、受信した応答データに含まれる表示用画像を当該端末装置にあらかじめ設定された所定の表示形式に基づき表示する表示制御手段とを具備して成る画像処理システム。
【請求項１２】
前記画像処理装置の制御手段は、前記要求受信手段が画像送信要求を受け付ける都度、前記画像抽出手段および応答手段を動作させ、
前記端末装置の要求送信手段は、前記受信手段による応答データの受信と表示制御手段による表示用画像の表示が行われる都度、つぎの画像送信要求を送信するように設定されて成る請求項１１に記載された画像処理システム。
【請求項１３】
前記画像処理装置の制御手段は、前記要求受信手段が画像送信要求を受け付ける都度、前記画像抽出手段および応答手段を動作させ、
前記端末装置の要求送信手段は、画像送信要求の送信を少なくとも１回実行した後、前記受信手段が応答データを受信する都度、表示制御手段による表示用画像の表示に先立ち、つぎの画像送信要求を送信するように設定されて成る請求項１１に記載された画像処理システム。
【請求項１４】
前記画像処理装置の制御手段は、前記要求受信手段が一端末装置からの画像送信要求を受信したとき、前記応答手段を所定時間待機させ、これらの待機時間内に他の端末装置からの画像送信要求を受信したとき、前記一端末装置および他の端末装置に共通の応答データを一括送信させる請求項１１〜１３のいずれかに記載された画像処理システム。
【請求項１５】
前記端末装置は、前記要求送信手段、応答受信手段、表示制御手段による処理を１サイクル実行した後、このサイクルの実行にかかる時間に基づき画像処理装置との通信に要する処理時間を設定して、前記要求送信手段に前記処理時間を含めた２度目の画像送信要求を送信させる送信要求制御手段を含み、
前記画像処理装置の制御手段は、前記処理時間を含まない画像送信要求に対しては、画像抽出手段および応答手段を一度ずつ動作させる一方、前記処理時間を含む画像送信要求に対しては、前記処理時間が経過する毎に前記画像抽出手段および応答手段を動作させる請求項１１に記載された画像処理システム。
【請求項１６】
前記端末装置の送信要求制御手段は、前記処理時間を含む画像送信要求が送信されたとき、この送信より後の応答受信手段および表示制御手段による処理が１サイクル実行される間の時間を計測する計時手段と、この計時手段による計測時間が前記処理時間より所定幅だけ短くなっているとき、この計測時間により前記処理時間を更新する処理時間更新手段とを含み、前記要求送信手段に前記更新された処理時間を含めた画像送信要求を送信させており、
前記画像処理装置の制御手段は、前記更新された処理時間を含めた画像送信要求を受け付けたとき、この更新された処理時間に基づき、前記画像抽出手段および応答手段を動作させる間隔を変更する請求項１５に記載された画像処理システム。
【請求項１７】
前記画像処理装置の制御手段は、前記要求受信手段が画像送信要求を受け付けたことに応じて、前記画像抽出手段および応答手段を繰り返し動作させ、
前記端末装置は、前記要求送信手段に前記画像送信要求を１回実行させた後、前記画像処理装置から応答データが受信される都度、前記応答受信手段および表示制御手段を動作させる送信制御手段を具備して成る請求項１１に記載された画像処理システム。
【請求項１８】
前記端末装置の送信制御手段は、前記応答受信手段による応答データの受信が完了したとき、その受信完了を前記画像処理装置に通知する処理を実行し、
前記画像処理装置の制御手段は、前記端末装置からの受信完了通知を受け付ける手段を含み、この受信完了通知により前記応答手段の処理完了を認識してから前記画像抽出手段を再度動作させる請求項１７に記載された画像処理システム。
【請求項１９】
請求項１１〜１８のいずれかに記載された画像処理システムにおいて、
前記端末装置は、前記画像処理装置に対する設定操作を受け付ける入力手段と、入力手段が設定操作を受け付けたとき、その操作内容を示す情報を含む操作受入要求を作成して前記画像処理装置に送信する操作受入要求送信手段を具備し、
画像処理装置の表示用画像生成手段は、前記受信手段が操作受入要求を受け付けたとき、この要求に含まれる操作内容に応じて表示用画像を更新するとともに、この更新された表示用画像を前記メモリに保存する画像処理システム。
【請求項２０】
請求項１９に記載された画像処理システムにおいて、
前記設定操作には、設定用の項目を選択するための操作が含まれており、前記画像処理装置の表示用画像生成手段は、前記項目選択用の操作にかかる操作受入要求に対し、項目の選択メニューを含む表示用画像を生成する画像処理システム。
【請求項２１】
コンピュータを、所定の計測処理を実行する機能を有する画像処理装置にコンピュータネットワークを介して接続される端末装置として機能させるためのプログラムであって、
当該端末装置に設定された所定のデータ形式に基づく画像送信要求を送信して、これをステートレスプロトコルに基づき画像処理装置に送信する要求送信手段、前記画像処理装置から前記画像送信要求に対する応答データを受信する応答受信手段、前記応答データに含まれる表示用画像を当該端末装置に設定された所定の表示形式に基づきモニタに表示する表示制御手段、の各手段の機能を前記コンピュータに付与するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、所定の対象物を撮像して得た画像をコンピュータ内で処理することにより、前記対象物に対する計測処理を実行する技術分野に属する。特に、この発明は、前記計測処理を実行する機能を有する画像処理装置と任意数の端末装置とをコンピュータネットワークを介して接続するシステムにおいて、各装置間の通信や画像表示にかかる処理を制御するための技術に関する。
【背景技術】
【０００２】
工業用製品の製造現場で組立品の位置決めや完成品に対する検査を行う場合、「視覚センサ」と呼ばれる画像処理装置が使用されることが多い。この種の画像処理装置は、カメラにより得た計測対象の画像に２値化処理やエッジ抽出処理などを施して、所定の特徴部分を抽出し、その抽出結果に基づき、対象物の位置、面積などを計測する。さらに、検査の目的で使用される画像処理装置では、計測結果を所定のしきい値と比較するなどして対象物の良／不良を判定し、その判定結果を出力するようにしている。
【０００３】
従来の画像処理装置は、ＲＳ−２３２Ｃなどのインターフェースしか組み込まれていなかったため、外部機器と接続できる距離範囲が限られていた。この点につき、出願人は、先般、イーサネット（登録商標）用のインターフェースが配備されたタイプの画像処理装置を開発した（非特許文献１参照。）。この構成によれば、画像処理装置の本体を工場内のＬＡＮシステムに組み込むことができるので、情報のやりとりを行うことができる距離範囲を従来よりも伸ばすことができる。
【０００４】
【非特許文献１】吉浦豪・飯田雄介・小松幸広，「視覚センサ形Ｆ２５０ノンストップ調整機能」  オムロンテクニクス（ＯＭＲＯＮ  ＴＥＣＨＮＩＣＳ）  平成１３年９月，第４１巻，第３号，オムロン株式会社技術本部発行，ｐ．２６６〜２７０
【０００５】
上記の非特許文献１に開示された画像処理装置によれば、インターネットなどを介して遠隔地（画像処理装置の置かれた工場などの現場外の場所をいう。）の通信端末に接続することも可能になると考えることができる。このような接続が実現すれば、画像処理装置の取り扱いに詳しい人材が現場にいない場合でも、画像の状態の確認や装置に対する設定を遠隔地から行うことが可能となり、利便性を大幅に向上することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、遠隔地のユーザー側のコンピュータシステムに、ファイヤーウォールやルーターなど、外部データの取り込みを制限する手段が設けられていると、データをやりとりできない可能性がある。また、遠隔地のユーザーが使用する端末装置は一般にパーソナルコンピュータであるから、このユーザーが画像処理装置に対する設定操作を行っても、現場側のユーザーは、どのような設定が行われたのかを容易に認識できない、という問題も生じる。
【０００７】
この発明は上記問題点に着目してなされたもので、ユーザー側のネットワーク環境に左右されることなく、画像処理装置と端末装置との間での通信を実行できるようにするとともに、画像処理装置の設置現場と遠隔地とで同じ画像をほぼ同時に視認できるようにすることを第１の目的とする。
【０００８】
さらに、この発明は、遠隔地のユーザーが設定操作を行った場合に、画像処理装置および端末の双方の表示画面を、設定操作に応じて同様に更新することにより、現場側のユーザーも遠隔地からの設定操作の内容を容易に認識できるようにすることを、第２の目的とする。
【課題を解決するための手段】
【０００９】
この発明にかかる画像処理システムは、所定の計測処理を実行する機能を有する画像処理装置と任意数の端末装置とが、コンピュータネットワークを介して接続されたものである。画像処理装置は、動画像または連続生成される静止画像を用いて種々の画像処理を実行するもので、コンピュータによる制御部や通信用のインターフェース回路を具備させることができる。端末装置は、パーソナルコンピュータなどであって、画像を表示するためのモニタに接続された装置またはモニタが一体化された装置であるのが望ましい。端末装置には、画像処理システム用に作成されたソフトウェアが導入される。また、１台の画像処理装置には、１〜複数台の端末装置を接続することができる。また、画像処理装置についても、複数台の装置をコンピュータネットワークに接続することができる。
【００１０】
なお、端末装置は、コンピュータネットワークに常時接続することが可能であるが、画像処理装置への接続には制限を設けるのが望ましい。たとえば、使用可能なユーザーにあらかじめパスワードなどを付与し、端末装置からのログイン要求に基づき接続を許可するようにすることができる。接続の後に端末装置からのアクセスが所定時間以上行われなかった場合には、接続を遮断することができる。
【００１１】
上記画像処理システムについて、この発明にかかる第１の制御方法では、前記画像処理装置において、処理対象の画像を生成する第１ステップと、前記処理対象の画像に基づき表示用画像を生成する第２ステップと、前記表示用画像をメモリに保存する第３ステップとを繰り返し実行するとともに、前記メモリ内の表示用画像を新しいものから順に所定数抽出する第４ステップと、当該画像処理装置にあらかじめ設定された所定のデータ形式に基づき、前記第４ステップで抽出された画像の表示用画像を含み、かつ前記端末装置への制御情報を含まない応答データを作成して前記端末装置に返送する第５ステップとを、前記端末装置からステートレスプロトコルに基づく画像送信要求を受け付けたことを条件として実行する。また、前記端末装置では、当該端末装置にあらかじめ設定された所定のデータ形式の画像送信要求を作成して、これをステートレスプロトコルに基づき前記画像処理装置に送信するＡステップと、前記画像送信要求に対する画像処理装置からの応答データを受信するＢステップと、前記応答データに含まれる表示用画像を当該端末装置にあらかじめ設定された所定の表示形式に基づきモニタに表示するＣステップとを実行する。
【００１２】
画像処理装置では、たとえば、動画像または静止画像を連続的に生成して各対象物の画像をモニタに表示しつつ、目的に応じた計測処理を実行することができる。表示用画像としては、処理対象画像そのものに限らず、この画像に対する変換画像（２値画像、エッジ画像など）、計測処理結果を示す報知（ヒストグラム、グラフ、数値など）、検査を実行した場合の良否判定結果、処理時刻などの情報を含む画像を生成することができる。生成された表示用画像は、画像処理装置に接続または一体化されたモニタに表示させることができる。また、メモリには、過去の所定期間内の表示用画像を順次蓄積することが可能であるが、これに限らず、所定枚数おきの表示用画像を蓄積してもよい。
【００１３】
この発明において使用されるステートレスプロトコルは、要求（コマンド）を送信した機器に対し、送信先の機器から要求に応じた応答（レスポンス）を返送するように規定されたプロトコルである。ステートレスプロトコルとしては、たとえば、ＨＴＴＰプロトコルを使用することができる。
【００１４】
２つの機器間でステートレスプロトコルに基づくやりとりが複数サイクル行われる場合、応答側の機器は、前後の応答内容に左右されることなく、要求毎に独立した情報を返送する。また、一般的なコンピュータシステムでは、ステートレスプロトコルに基づく要求に対する応答であれば、必ず受け入れるように設定されている。この発明では、端末装置と画像処理装置との間でステートレスプロトコルに基づく通信を行うので、ネットワーク上にファイヤーウォールやルータなど、外部データの通過を規制する手段が存在する場合にも、情報の送受信を問題なく行うことができる。
【００１５】
画像処理装置では、前記第４ステップにおいて、メモリ内の最新の表示用画像を抽出することができる。また、メモリに複数枚の画像が蓄積されている場合には、最新の表示用画像から順に遡って、複数枚の表示用画像を抽出することができる。複数枚の表示用画像を抽出した場合には、これらの表示用画像を時系列に配列したものを応答データに含めることができる。なお、複数の表示用画像を抽出する場合、最も古い画像はそのまま抽出するが、他の表示用画像を１段階前の画像に対する差分画像に加工してもよい。この場合、前記差分画像のような加工された画像も表示用画像であると考えることができる。さらに、表示用画像には、圧縮処理や暗号化処理などを施すこともできる。
【００１６】
この発明にかかる端末装置は、画像送信要求を送信することにより、画像処理装置からその時点での最新の表示用画像を含む応答を得て、その最新の表示用画像を表示することができる。なお、複数枚の表示用画像を含む応答データを得た場合には、端末装置では、各画像を古いものから順に連続して表示することができる。
【００１７】
前記画像処理装置が端末装置に送信する応答データは、当該画像処理装置にあらかじめ設定された所定のデータ形式に基づいて作成されるもので、端末装置への制御情報は含まれていない。
端末装置に導入されるソフトウェアは、画像処理システム用に作成された専用のソフトウェアであって、いわゆる汎用のＷｅｂブラウザは使用されない。また、この端末装置における画像処理装置への画像送信要求のデータ形式や表示用画像の表示形式も、端末装置に専用に設定することができる。
【００１８】
端末装置で汎用のＷｅｂブラウザを使用して表示を行う場合、画像処理装置から制御情報を含む表示用データを送信し、その制御情報に基づいた表示制御を行う必要がある。このようにすると、表示対象のデータに加えて制御情報も通信データに付加しなけばならなくなり、データ量の増加を招く。しかも、端末装置で画像処理装置からのデータを受信する毎に制御情報を取得して表示を行うことになるので、動作速度の面で遅延が生じる可能性があり、容量の大きな画像データの通信や表示には適していない。この発明では、端末装置に専用のソフトウェアを設定し、画像処理装置への画像送信要求や表示用画面の表示を自装置に設定された形式に基づいて実行するので、画像処理装置から制御情報を含む表示用データを送信する必要がなくなり、表示用データの送受信や端末装置側の表示における遅延時間を少なくすることができる。よって、画像処理装置側のユーザーと端末装置側のユーザーとで、同じ画像をほぼ同じタイミングで視認することが可能となる。
【００１９】
また、端末装置側が、画面上の表示や操作性を向上するためのバージョンアップを行う場合でも、画像処理装置のソフトウェアを変更する必要がない。この種の画像処理装置には、計測結果などのデータが蓄積されており、バージョンアップの際には蓄積データの待避や復帰などの処理が必要となるが、上記のように端末装置で独自にバージョンアップを行えるようにすれば、画像処理装置側での処理は不要になり、ユーザーの手間を大幅に軽減することができる。
【００２０】
上記制御方法の第１の態様では、画像処理装置において、前記端末装置から画像送信要求を受け付ける都度、前記第４ステップおよび第５ステップを実行する。また、端末装置では、前記ＡステップおよびＢステップを、Ａ，Ｂの順に繰り返し実行するとともに、Ｂステップの実行に伴ってＣステップを実行する。すなわち、端末装置では、画像処理装置に画像送信要求を送信し、この要求に対する応答データを受信する都度、画像表示処理を行って、つぎの画像送信要求を送信することになる。なお、Ｃステップの画像表示処理は、応答データの受信が完了した後に実行しても良いが、これに限らず、応答データの受信と並行して実行することもできる（以下の態様においても同様である。）。
【００２１】
端末装置において、上記の処理の流れを十分に高速化することができれば、画像処理装置側が表示している画像をほぼ同時に表示することが可能となる。よって、画像処理装置の設置現場のユーザーと遠隔地のユーザーとの間で、同じ画像を確認しながら連絡を円滑に行うことができる。また画像処理装置の動作状態や計測処理の結果について、統一した認識を持つことができる。
【００２２】
また、端末装置の処理速度や通信の速度が十分に高速化されていない場合でも、端末装置が画像データを受入可能になった時点で、その時点での最新の表示用画像を送ることができる。すなわち画像処理装置では、端末装置の処理速度や通信の速度に合わせて表示用画像を間引いて送信することができる。この場合、端末装置では、画像処理装置と同等の精度で画像を表示できない可能性がある（たとえば、駒送り画像が表示される。）が、画像処理装置が表示しているのと同様の画像を短い時間差で確認することは可能であるから、端末装置のユーザーは、画像処理装置の動作状況などを十分に把握することができる。
【００２３】
上記制御方法の第２の態様でも、画像処理装置において、前記端末装置から画像送信要求を受け付ける都度、前記第４ステップおよび第５ステップを実行する。また、端末装置では、少なくとも１回のＡステップを実行した後、前記ＡステップおよびＢステップをＢ，Ａの順に繰り返し実行するとともに、前記Ｂステップの実行に伴うＣステップよりも前にＡステップを実行する。すなわち、画像送信要求を少なくとも１回送信し、この送信に対する応答データを受信した後は、この応答データに含まれる表示用画像の表示に先立ち、つぎの画像送信要求を送信することができる。
【００２４】
上記第２の態様によれば、画像処理装置に対する画像送信要求を前記第１の態様よりも早いタイミングで出力することができる。よって、端末装置では、第１の態様よりも短い間隔で表示用画像を取得することができるから、画像処理装置側の表示画面の動きが速い場合でも、端末装置側の表示をその動きに追従させることが可能となる。
【００２５】
上記制御方法の第３の態様では、前記画像処理装置において、一端末装置からの画像送信要求を受信したとき、所定時間待機し、この待機時間内に他の端末装置からの画像送信要求を受信したとき、前記一端末装置および他の端末装置に共通の応答データを一括送信する。このようにすれば、１台の画像処理装置に複数台の端末装置が接続されている場合に、各端末装置からの要求に個別の応答を作成する必要がなくなり、画像処理装置側の制御負担を削減することができる。なお、各端末装置に共通の応答データは、前記待機時間の開始時点で作成しても良いが、これに限らず、待機終了後、または終了する直前に作成してもよい。また、応答データの一括送信は、同じ応答データを複数の端末装置に順に送信する処理により行うことができる。
【００２６】
上記制御方法の第４の態様では、端末装置において、前記Ａステップ、Ｂステップ、Ｃステップによる処理を１サイクル実行した後、このサイクルの実行にかかる時間に基づき画像処理装置との通信に要する処理時間を設定して、この処理時間を含めた２度目の画像送信要求を送信するＤステップを実行する。また、画像処理装置では、前記処理時間を含まない画像送信要求に対し、前記第４ステップおよび第５ステップを１度だけ実行する一方、前記処理時間を含む画像送信要求に対しては、前記処理時間が経過する毎に第４ステップおよび第５ステップを実行する。また、前記端末装置では、前記Ｄステップを実行した後に、前記ＢステップおよびＣステップを繰り返し実行する。
【００２７】
上記の態様において、画像処理装置との通信に要する処理時間は、画像送信要求を送信してから応答データを得るまでの時間、または画像送信要求を送信してから表示用画像を表示するまでの時間と考えることができる。画像処理装置は、この処理時間を含む画像送信要求を受けると、以後は、処理時間が経過する毎に自動的に新たな応答データを作成して端末装置に送信するので、端末装置は、画像送信要求を出さなくとも、自動的に新しい表示用画像を得て、モニタの表示を更新することができる。
【００２８】
なお、この態様にかかる端末装置では、ＢステップおよびＣステップを所定サイクル実行した後、またはこれらのステップを所定期間繰り返した後、再びＡ，Ｂ，Ｃの各ステップによる処理を１サイクル実行し、このサイクルの実行にかかる時間に基づきＤステップを実行することができる。また、画像処理装置では、前記応答データの作成および送信を自動的に実行している間に、この送信先の端末装置から、処理時間を含まない画像送信要求を再び受け付けたとき、前記応答データの自動作成および送信を終了し、前記再度の画像送信要求を処理することができる。このようにすれば、通信回線の混雑度合などによって通信に要する時間が変動した場合に対応することができる。特に、処理時間の初期設定時に通信回線が混雑している場合には、その混雑が緩和された際の再設定により処理時間を短縮することができるから、表示用画像の受信間隔をより短くすることができる。
【００２９】
また、上記の態様では、前記Ｄステップを実行した後の前記ＢステップおよびＣステップの実行において、ＢステップおよびＣステップが１サイクル実行される間の時間を計測し、この計測時間が前記処理時間より所定幅だけ短くなったとき、この計測時間により前記処理時間を更新して前記Ｄステップを再度実行することもできる。この場合、画像処理装置では、更新された処理時間に基づき、前記第４ステップおよび第５ステップを実行する間隔を変更する。よって、最初に設定された処理時間より短い時間で表示用画像を受信することが可能になったときに、速やかに処理時間を更新することができる。
【００３０】
上記制御方法の第５の態様では、前記画像処理装置において、端末装置からの画像送信要求に応じて前記第４ステップおよび第５ステップを繰り返し実行する。また、端末装置では、前記Ａステップを１回実行した後に、前記画像処理装置からの応答データを受信する都度、ＢステップおよびＣステップを実行する。
【００３１】
上記の態様では、端末装置が画像送信要求を一度行えば、以後は、画像処理装置側で表示用画像を抽出する処理と抽出された表示用画像を含む応答データを作成して返送する処理とが繰り返し実行されることになる。よって、端末装置として、第４ステップおよび第５ステップの実行周期に十分に対応できる性能のコンピュータを使用すれば、画像処理装置側での表示動作に追随したタイミングで表示を行うことが可能になる。これにより、端末装置のユーザーは、実際の画像処理装置が表示するのと同様の画像をほぼ同じタイミングで確認することができる。
【００３２】
さらに、第５の態様には、つぎのような態様を含めることができる。この態様では、端末装置側で、前記Ｂステップにおいて応答データの受信を完了したとき、その受信完了を画像処理装置に通知する処理を実行する。また、画像処理装置では、前記端末装置からの受信完了通知により第５ステップの終了を認識してから再度の第４ステップを実行する。
【００３３】
上記の態様は、前記ステートレスプロトコルよりも下位のプロトコルとして、データ送信を受けた相手側に受信完了のメッセージを送信するように規定されたプロトコル（たとえばＴＣＰプロトコル）を使用する場合に適用することができる。なお、このプロトコルが応答データを複数のパケットに分割して送信するものであり、送信したパケットに対する端末装置からの受信完了通知を確認してからつぎのパケットを送信する場合には、最終のパケット送信に対する受信完了通知が上記態様にかかる受信完了通知になると考えることができる。
【００３４】
上記の態様によれば、端末装置の処理速度や通信の速度に合わせた間隔をもって表示用画像を抽出して送信することができる。よって、端末装置の処理速度や通信の速度が十分に高速化できない場合でも、画像処理装置側の表示に追随した表示の更新が可能となる。
【００３５】
上記制御方法の第６の態様では、前記端末装置において、前記画像処理装置に対する設定操作が行われたとき、この操作内容を示す情報を含む操作受入要求を作成して前記画像処理装置に送信するＥステップを実行する。画像処理装置では、前記操作受入要求を受け付けたとき、この要求に含まれる操作内容に応じて表示用画像を更新する第６ステップと、更新された表示用画像を前記メモリに保存する第７ステップとを実行する。
【００３６】
端末装置側では、設定操作の有無を判断する処理を、前記Ａ，Ｂ，Ｃの各ステップによる処理と並列に実行し、設定操作に応じて前記Ｅステップを実行することができる。画像処理装置では、このＥステップによる操作受入要求に応じて、たとえばその操作内容を示す情報（操作の種別、設定の対象、設定するパラメータの種類や具体的な設定値など）を含む表示用画像を作成し、その画像をもって表示を更新することができる。更新された表示用画像は画像処理装置のメモリに保存されるので、前記端末装置でも、操作受入要求後の画像送信要求によって更新された表示用画像を得ることができる。
【００３７】
さらに上記態様では、設定操作に、設定用の項目を選択するための操作を含ませることができる。また、画像処理装置では、前記項目選択用の操作を含む操作受入要求を受け付けたとき、項目の選択メニューを含む表示用画像を生成することができる。
【００３８】
なお、前記の項目選択用の操作には、前記選択メニューに対するカーソルの移動操作や選択の確定操作を含ませることができる。このような操作が行われる毎に、画像処理装置では、表示用画像の選択メニューの表示状態を更新することができる（たとえば、カーソルの移動、カーソルの反転表示、新たなメニューの表示、メニュー表示の終了など）。また、端末装置でも、同様に更新された表示用画像を表示することができる。
【００３９】
上記態様によれば、遠隔地のユーザーが設定操作を行う都度、画像処理装置側のモニタに、この操作内容を反映した画像を表示することができる。また、更新された画像はメモリに保存されるので、端末装置にもこの画像にかかる表示用データを送信することができる。よって、現場側、遠隔地のユーザーとも、同様の画面によって設定操作の内容を確認することが可能となる。なお、画像処理装置において、前記操作受入要求に対して実行する処理は、表示制御に関わるものだけに限らない。たとえば、設定の確定操作に対しては、その確定された設定処理を行うことができる。また、画像処理装置内に保存されたデータを読み出す操作に対しては、その操作により指定されたデータを読み出して端末装置に送信することができる。
【００４０】
上記の制御方法が適用される画像処理システムでは、前記画像処理装置は、処理対象の画像を入力する画像入力手段と、前記画像入力手段が入力した画像に基づき表示用画像を生成する表示用画像生成手段と、前記表示用画像を保存するためのメモリと、前記端末装置からのステートレスプトロコルに基づく画像送信要求を受け付ける要求受信手段と、前記メモリ内の表示用画像を新しいものから順に所定数抽出する画像抽出手段と、前記画像送信要求に対し、当該画像処理装置のためにあらかじめ設定された所定のデータ形式に基づき、前記画像抽出手段により抽出された表示用画像を含み、かつ前記端末装置への制御情報を含まない応答データを作成して前記端末装置に返送する応答手段と、前記要求受信手段が画像送信要求を受け付けたことを条件として前記画像抽出手段および応答手段を動作させる制御手段とを具備する。また、前記端末装置は、当該端末装置にあらかじめ設定された所定のデータ形式の画像送信要求を作成して、これをステートレスプロトコルに基づき前記画像処理装置に送信する要求送信手段と、前記画像送信要求に対する応答データを受信する応答受信手段と、受信した応答データに含まれる表示用画像を当該端末装置にあらかじめ設定された所定の表示形式に基づき表示する表示制御手段とを具備する。
【００４１】
上記の画像処理装置において、画像入力手段は、画像入力用のインターフェース回路やＡ／Ｄ変換回路などを含むもので、カメラにより生成された画像を繰り返し取り込んで、計測用のディジタル画像を生成することができる。なお、撮像手段がディジタルカメラである場合は、Ａ／Ｄ変換回路を設ける必要はない。
【００４２】
表示用画像生成手段、要求受信手段、画像抽出手段、応答手段、制御手段は、いずれもプログラムが設定されたコンピュータにより構成することができる。ただし、表示用画像生成手段や画像抽出手段には、専用のハードウェアを含めることもできる。
表示用画像生成手段は、前記画像入力手段が入力した画像そのもの、もしくはこの入力画像に対する変換画像（２値画像、エッジ画像など）、または入力画像や変換画像に対する計測処理結果などから、１または２以上の情報を選択して表示用画像を生成することができる。また、表示用画像生成手段は、生成された表示用画像をメモリに格納することができる。なお、メモリに格納できる画像枚数は１枚でも良いが、複数枚の画像を蓄積できるだけの容量をメモリに持たせるのが望ましい。
【００４３】
要求受信手段は、コンピュータネットワークへの通信用インターフェースを介して端末装置からの要求を受け付けることができる。応答手段も同様に、通信用インターフェースを介して端末装置に応答を送信することができる。
【００４４】
端末装置側の要求送信手段、応答受信手段、表示制御手段は、それぞれ前記したＡステップ、Ｂステップ、Ｃステップを実行するためのプログラムを、端末装置の制御主体となるコンピュータにインストールすることにより設定することができる。
【００４５】
前記した第１の態様にかかる制御方法を実行する場合、画像処理装置の制御手段は、前記要求受信手段が画像送信要求を受け付ける都度、画像抽出手段および応答手段を動作させる。また、端末装置の要求送信手段は、前記受信手段による応答データの受信と表示制御手段による表示用画像の表示が行われる都度、つぎの画像送信要求を送信するように設定される。
【００４６】
また、前記第２の態様にかかる制御方法を実行する場合、画像処理装置の制御手段は、前記要求受信手段が画像送信要求を受け付ける都度、画像抽出手段および応答手段を動作させる。端末装置の要求送信手段は、画像送信要求の送信を少なくとも１回実行した後、前記受信手段が応答データを受信する都度、表示制御手段による表示用画像の表示に先立ち、つぎの画像送信要求を送信するように設定される。
【００４７】
また、前記第３の態様にかかる制御方法を実行する場合、画像処理装置の制御手段は、前記要求受信手段が一端末装置からの画像送信要求を受信したとき、前記応答手段を所定時間待機させ、これらの待機時間内に他の端末装置からの画像送信要求を受信したとき、前記一端末装置および他の端末装置に共通の応答データを一括送信するように設定される。なお、この態様では、応答手段とともに画像抽出手段の画像抽出処理を待機させ、共通の応答データを一括送信する直前に画像抽出処理を行うこともできる。
【００４８】
前記第４の態様にかかる制御方法を実行する場合、前記端末装置は、前記要求送信手段、応答受信手段、表示制御手段による処理を１サイクル実行した後、このサイクルの実行にかかる時間に基づき画像処理装置との通信に要する処理時間を設定して、前記要求送信手段に前記処理時間を含めた２度目の画像送信要求を送信させる送信要求制御手段を含む。前記画像処理装置の制御手段は、前記処理時間を含まない画像送信要求に対しては、画像抽出手段および応答手段を一度ずつ動作させる一方、前記処理時間を含む画像送信要求に対しては、前記処理時間が経過する毎に前記画像抽出手段および応答手段を動作させる。なお、端末装置の送信要求制御手段も、その手段の制御を実行するためのプログラムにより設定することができる。
【００４９】
さらに、この態様では、前記端末装置の送信要求制御手段に、前記処理時間を含む画像送信要求が送信されたとき、この送信より後の応答受信手段および表示制御手段による処理が１サイクル実行される間の時間を計測する計時手段と、この計時手段による計測時間が前記処理時間より所定幅だけ短くなっているとき、この計測時間により前記処理時間を更新する処理時間更新手段とを含めることができる。さらに、この場合の送信要求制御手段は、前記要求送信手段に前記更新された処理時間を含めた画像送信要求を送信させることができる。また、この場合の画像処理装置の制御手段は、前記更新された処理時間を含めた画像送信要求を受け付けたとき、この更新された処理時間に基づき、前記画像抽出手段および応答手段を動作させる間隔を変更することができる。
【００５０】
前記第５の態様にかかる制御方法を実行する場合、前記画像処理装置の制御手段は、前記要求受信手段が画像送信要求を受け付けたことに応じて、前記画像抽出手段および応答手段を繰り返し動作させる。また、前記端末装置には、前記要求送信手段に前記画像送信要求を１回実行させた後、前記画像処理装置から応答データが受信される都度、前記応答受信手段および表示制御手段を動作させる送信制御手段が設けられる。この送信制御手段も、プログラムにより設定することができる。
【００５１】
また、上記第５の態様に対応するシステムでは、前記端末装置の送信制御手段に、前記応答受信手段による応答データの受信が完了したとき、その受信完了を前記画像処理装置に通知する処理を実行させることができる。この場合の画像処理装置の制御手段は、前記端末装置からの受信完了通知を受け付ける手段を含み、この受信完了通知により前記応答手段の処理完了を認識してから前記画像抽出手段を再度動作させるように設定される。
【００５２】
つぎに、前記第６の態様にかかる制御方法を実行する場合、前記端末装置は、前記画像処理装置に対する設定操作を受け付ける入力手段と、入力手段が設定操作を受け付けたとき、その操作内容を示す情報を含む操作受入要求を作成して前記画像処理装置に送信する操作受入要求送信手段を具備する。また、画像処理装置の表示用画像生成手段は、前記受信手段が操作受入要求を受け付けたとき、この要求に含まれる操作内容に応じて表示用画像を更新するとともに、この更新された表示用画像をメモリに保存する。
【００５３】
なお、前記入力手段は、モニタ画像上に所定の操作画面を設定するプログラムを導入したコンピュータにより構成することができる。また、操作受入要求送信手段は、前記したＥステップを実行するためのプログラムを導入したコンピュータにより構成することができる。また、操作受入要求に対しては、画像処理装置からは特に応答を返さなくとも良いので、前記画像送信要求のようなステートレスプロトコルによる要求を送信しなくとも良い。ただし、操作受入要求もステートレスプロトコルとし、この要求に対し、画像処理装置から、前記設定操作の内容を反映した表示用画像を含む応答データを返送するようにしてもよい。
【００５４】
より好ましい態様の画像処理システムでは、設定操作には、設定用の項目を選択するための操作が含まれており、前記画像処理装置の表示用画像生成手段は、前記項目選択用の操作にかかる操作受入要求に対し、項目の選択メニューを含む表示用画像を生成する。この態様によれば、画像処理装置側のモニタ、端末装置側のモニタの双方に、同じメニューを表示することができ、操作の内容を容易に確認することができる。
【００５５】
この発明にかかる画像処理システムにおいて、画像処理装置には、撮像手段のほか、コンソール、モニタなどを接続することができる。また、これらの周辺機器を装置本体に一体化した構成の画像処理装置とすることもできる。
また、端末装置は、パーソナルコンピュータを用いるのが望ましいが、これに限らず、画像表示機能を具備する携帯端末（ＰＤＡなど）を使用してもよい。
【００５６】
つぎに、この発明では、パーソナルコンピュータなどの通信機能を有するコンピュータを前記端末装置として機能させるためのプログラムを提供することができる。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記憶媒体に格納された形で、またはコンピュータネットワークを介して提供することができる。
【００５７】
この発明にかかる基本的なプログラムは、当該端末装置に設定された所定のデータ形式に基づく画像送信要求を送信して、これをステートレスプロトコルに基づき画像処理装置に送信する要求送信手段、前記画像処理装置から前記画像送信要求に対する応答データを受信する応答受信手段、前記応答データに含まれる表示用画像を当該端末装置に設定された所定の表示形式に基づきモニタに表示する表示制御手段、の各手段の機能を前記コンピュータに付与するものとなる。さらに、このプログラムには、前記した画像処理システムの各態様にかかる端末装置の構成を設定するためのプログラムを含ませることができる。
さらに、このプログラムには、前記画像送信要求のデータ形式や、表示用画像の表示形式を示すプログラムやデータを含めることができる。
【発明の効果】
【００５８】
この発明によれば、ステートレスプロトコルに基づく通信により、画像処理装置と端末装置との間の情報のやりとりを、ネットワーク環境に左右されることなく、確実に行うことができる。また、画像処理装置から端末装置に表示用画像を送信する際に、端末装置への制御信号を送信しなくてもよいようにしたから、データの送受信や端末装置側での表示にかかる遅延時間を少なくすることができ、画像処理装置が表示している画像を、端末装置側でもほぼ同じタイミングで表示することができる。よって、現場のユーザーと遠隔地のユーザーとで同じ画像をほぼ同時に視認することができ、ユーザー間の連絡を円滑に行うことができる。また、画像処理装置の動作状態や計測処理の状態について、各ユーザの認識を統一することができるなど、利便性の高い画像処理システムを提供することができる。
【００５９】
さらに、この発明では、端末装置側で設定操作を行う毎に、その操作の内容を反映した画像を、画像処理装置、端末装置の双方に表示することができるので、現場、遠隔地の双方で、同じ画面に基づき設定操作の内容を確認することができる。また現場のユーザーは、遠隔地のユーザーが行った設定操作の内容を容易に認識することができるから、画像処理装置の設定操作に熟知した人材が現場にいない場合でも、適切な処理を行うことができる。また遠隔地の熟練者の持つ知識を現場に伝えることができる。
【発明を実施するための最良の形態】
【００６０】
図１は、この発明の一実施例にかかる画像処理システムの概要を示す。
この画像処理システムは、生産現場（工場など）に設置された画像処理装置１と、前記生産現場から離れた場所（遠隔地）にある端末装置２とを、インターネット３を介して接続したものである。アクセスに使用される端末装置２は、パーソナルコンピュータ（以下、「端末２」と略す。）であって、１台の画像処理装置１に対し、複数の端末２（図中、２Ａ，２Ｂ，２Ｃとして示す。）を接続することができる。
【００６１】
画像処理装置１は、イーサネット（登録商標）用のインターフェース回路を具備するもので、ルータ（図示せず。）などを介してインターネット３に接続される。また端末２は、ＬＡＮやイントラネットなど、種々の形態のシステムに組み込まれている場合がある。また、図中の端末２Ｂ，２Ｃのように、ファイヤーウォール４やルーター５などの外部からの情報の取り込みを制限する手段がインターネット３への接続経路に設けられている場合もある。
【００６２】
図２は、画像処理システムの他の例を示す。この例では、生産現場に複数台の画像処理装置１（図示例では２台の装置１Ａ，１Ｂとする。）が設置される。いずれの画像処理装置１Ａ，１Ｂも、図１の実施例と同様にインターネット３に接続されている。各端末２は、いずれかの画像処理装置１Ａ，１Ｂを選択して接続することができるほか、各画像処理装置１Ａ，１Ｂに同時に接続することもできる。また、各画像処理装置１Ａ，１Ｂは、同じ生産現場に限らず、異なる生産現場に設置される場合もある。
【００６３】
なお、図１，２のいずれの例においても、画像処理装置１と端末２とを結ぶコンピュータネットワークはインターネット３に限らず、インターネット３と同様の通信プロトコル（ＨＴＴＰ，ＴＣＰ／ＩＰなど。）を使用する専用のネットワークとしてもよい。
【００６４】
以下、上記図１，２のシステム構成に適用可能な実施例を説明する。
画像処理装置１は、箱形の本体部１０に後記する図３の構成が内蔵されて成るもので、テレビカメラ１１（以下、単に「カメラ１１」という。）やコンソール１２などを接続した状態を基本構成とする。画像処理装置１には、このほかに、パーソナルコンピュータ（図１，２に示した端末装置２ではなく、画像処理装置１と同じ生産現場に設置されるものである。）、ＰＬＣ（プログラマブル・ロジック・コントローラ）などの上位機器やモニタなどを接続することができる。
【００６５】
図３は、前記画像処理装置１のブロック図である。この画像処理装置１は、ＣＰＵ１０１，ＳＤＲＡＭ１０２，フラッシュメモリ１０３などから成る制御部１０ａを有する。ＣＰＵ１０１には、ＲＳ−２３２Ｃ対応のインターフェース１０９が接続されるほか、バス１０４を介して、画像処理部１０５、入力用インターフェース１０６、イーサネット（登録商標）用インターフェース１０７、パラレルインターフェース１０８が接続される。また、画像処理部１０５には、カメラ用インターフェース１１０、モニタ用インターフェース１１１、画像メモリ１１２、モデルメモリ１１３などが接続される。
【００６６】
カメラ用インターフェース１１０は、ビデオ画像信号を取り込むためのもので、前記カメラ１１に接続される。画像処理部１０５は、２値化回路、エッジ抽出回路、相関演算回路などが組み込まれた画像処理専用のＬＳＩであって、カメラ用インターフェース１１０から入力された画像を高速で処理することができる。また、画像処理部１０５には、表示用画像を生成する機能（画像合成回路など）も設けられる。この表示用画像は、モニタ用インターフェース１１１を介してモニタ（図示せず。）に出力される。
【００６７】
画像メモリ１１２には、カメラ用インターフェース１１０から入力された画像や前記表示用画像を保存するための領域が設定される。モデルメモリ１１３は、前記相関演算回路によりパターンマッチング処理を行う場合に、モデルとなる画像を格納するためのものである。ＳＤＲＡＭ１０２は、ＣＰＵ１０１のワークメモリとして使用される。フラッシュメモリ１０３には、ＣＰＵ１０１を動作させるためのプログラムや画像処理用のパラメータが格納される。また、このフラッシュメモリ１０３には、過去の計測対象画像や計測結果などを蓄積するための領域を設定することができる。
【００６８】
入力用インターフェース１０６は、前記コンソール１２からの入力信号を受け付けるためのものである。パラレルインターフェース１０８、ＲＳ−２３２Ｃ用インターフェース１０９は、いずれも近傍の上位機器（前記した生産現場のパーソナルコンピュータやＰＬＣ）に接続することができるが、取り扱うデータの種類が異なる。ＲＳ−２３２Ｃ用インターフェース１０９は、主として、数値データをやりとりするために使用される。一方のパラレルインターフェース１０８は、主として、上記機器からのコマンドを受信したり、自装置の状態を示す信号を上位機器に送信するために用いられる。
【００６９】
イーサネット（登録商標）用インターフェース１０７（以下、単に「インターフェース１０７」という。）は、前記インターネット３を介した通信のためのものである。ＣＰＵ１０１は、後記する画像送信要求に応答する際に、前記画像処理部１０５から表示用画像を取り出し、この画像を含む応答データを作成してインターフェース１０７から送信することができる。この応答データには、端末装置の表示動作やデータの送受信動作を制御する情報は含まれていない。
【００７０】
上記構成において、画像処理部１０５は、カメラ用インターフェース１１０を介してディジタル変換された画像を入力し、この入力画像に対して所定の画像処理を実行する。たとえば、入力画像のエッジを抽出し、各エッジ構成点の座標や濃度勾配の方向などを計測することができる。または、入力画像と前記モデルメモリ１１３とのパターンマッチング処理を行って、対象物の位置を求めることができる。
【００７１】
画像処理部１０５による計測結果はＣＰＵ１０１に渡される。ＣＰＵ１０１は、さらに詳細な計測処理を行ったり、計測結果に基づき対象物の良否を判定するなどの処理を行う。これらの処理結果は、前記インターフェース１０８，１０９などを介して外部機器に出力されるほか、フラッシュメモリ１０３に蓄積することもできる。
【００７２】
また、画像処理部１０５は、ＣＰＵ１０１からの指令に基づき、モニタへの表示用画像を生成する。表示用画像は、入力画像そのもののほか、画像処理の過程で生成された変換画像（２値画像、エッジ画像など）により構成することができる。また、これらの画像に計測結果を示すヒストグラムやグラフ、対象物の抽出位置を示すポインタなどの画像を加えたものを、表示用画像とすることができる。また、計測に必要なパラメータや動作モードなどを設定するために、設定項目の選択メニューを表示することもできる。
【００７３】
なお、前記応答データや表示用画像のデータ形式は、この画像処理装置の導入時にソフトウェアにより設定されたものである。これらのデータ形式は、設定後も、端末装置との通信処理が実行されていない状態下で適宜変更することができる。
【００７４】
前記遠隔地の端末２には、あらかじめ、画像処理システム専用のソフトウェアが導入される。このソフトウェアは、画像処理装置１に所定のデータ形式による画像送信要求を実行し、その要求に対する画像処理装置からの応答データに含まれる表示用画像を、所定の形式で自装置のモニタに表示できるように設定されている。このソフトウェアの機能により、各端末２は、画像処理装置１側の表示用画像をその表示とほぼ同一のタイミングで取り込み、自装置のモニタに表示することができる。また、これら遠隔地の端末２では、自装置の入力部（キーボードやマウスなど）を用いて画像処理装置１に対する設定操作を行ったり、画像処理装置１に蓄積された計測結果や動作履歴などをダウンロードすることもできる。
【００７５】
図４は、前記した専用ソフトウェアにより端末２側に設定される機能を示す。なお、このソフトウェアのプログラムは、所定の記憶媒体を用いたインストール作業により、または、前記インターネット３を介してダウンロードした設定用プログラムを展開することにより、端末２のハードディスクなどに格納されたものである。
【００７６】
図中、入力部２１は、ユーザーのコマンド入力や設定操作を受け付けるためのものであり、通信処理部２２は、前記画像処理装置１との間でデータの送受信を行うためのものである。データ復元部２３は、画像処理装置１からの送信データを使用可能な構成に変換するためのものである。これは、この実施例の画像処理装置１が圧縮処理や暗号化処理を施したデータを送信することによる。画像表示部２４は、復元されたデータから表示用画像を抽出してモニタに表示するためのものである。
【００７７】
メモリ制御部２５は、端末２のメモリに対し、通信に関わる情報を読み書きするためのものである。たとえば、通信処理部２２が受信した表示用画像や計測データを保存したり、画像処理装置１への送信情報をあらかじめ登録するために使用される。
なお、表示用画像の表示形式は、画像処理装置との通信が行われていない状態下であれば、プログラムのバージョンアップや設定変更操作により変更することができる。画像送信要求のデータ形式も、画像処理装置側でのその要求の受付処理に支障がない範囲であれば、適宜変更することができる。
【００７８】
この実施例の通信処理部２２は、画像処理装置１に対し、ＨＴＴＰプロトコルに基づく要求を出力し、その要求に対する応答を受信することによって、表示用画像を取り込むように設定されている。これは、ＨＴＴＰプロトコルのようなステートレスプロトコルによる応答であれば、前記したファイヤーウォール４やルータ５などによって外部データの受け入れが制限されている場合でも、受け入れられることによる。
【００７９】
また、この実施例では、画像処理装置１で作成した表示用画像を、端末２の処理速度や通信の速度に応じて間引きながら送信するとともに、毎時の送信データにその時点での最新の表示用画像が含まれるように制御している。この制御により、端末２のユーザーは、画像処理装置１側のユーザーが視認しているのと同じ画面を、殆ど時間差のないタイミングをもって確認することができる。
【００８０】
図５は、画像処理装置１で作成された送信データを端末２に送信するための処理の流れをデータ構成により示したものである。画像処理装置１では、ＨＴＴＰプロトコルに基づき、具体的な送信対象のデータ（表示用画像）を含むボディ部にヘッダ部を付けた構成の送信データを作成する。このヘッダ部には、プロトコルがＨＴＴＰである旨を示すメッセージや、送信データの種類を示す情報などが格納される。以下、このヘッダ部を「ＨＴＴＰヘッダ」という。
【００８１】
上記のＨＴＴＰプロトコルによる送信データは、ＴＣＰプロトコルに基づき、複数のパケットＰ１，Ｐ２・・・Ｐｎに分割されて順に送信される。このとき、各パケットには、送信元および送信先のポート番号やパケットのシーケンス番号などを含むヘッダ部が付与される。以下、このヘッダ部を「ＴＣＰヘッダ」という。また、図では、ＴＣＰヘッダが付加された送信データをＤ１，Ｄ２・・・Ｄｎとして示す。
なお、前記ＨＴＴＰヘッダは、先頭のパケットＰ１にのみ含まれる。
【００８２】
前記したファイヤーウォール４やルータ５では、ＴＣＰヘッダが付けられた送信データＤ１，Ｄ２・・・Ｄｎを受信すると、そのヘッダの内容をチェックする。また、最初の送信データＤ１を受信した際には、このデータＤ１に含まれるＨＴＴＰヘッダの内容もチェックする。ここで、前記ＨＴＴＰヘッダに、特定の端末２からの要求に対する応答を行う旨が書き込まれていると、ファイヤーウォール４やルータ５は、この送信データＤ１を通過させてよい情報であると判断し、専用のヘッダ部を付与してシステム内に入れる。さらに、後続の送信データＤ２，・・・Ｄｎについても、ＴＣＰヘッダのポート番号やシーケンス番号などに基づき、先に通過させたデータに続くデータであることを認識し、同様のヘッダ部を付けてシステム内に入れる。
【００８３】
なお、ＴＣＰプロトコルでは、データの送受信が正常に行われたかどうかを確認するために、データの送信を受けたコンピュータから送信元のコンピュータに、受信を完了した旨のメッセージを含むＴＣＰヘッダを返送するように定められている。以下、この返送処理を「受信完了通知」という。
【００８４】
図６は、画像処理装置１が前記図５の送信データを送信する場合の端末２とのデータのやりとりを、ＴＣＰプロトコルのレベルで表したものである。前記したように、画像処理装置１は、送信データから分割したｎ個のパケットを順に送信するが、送信の都度、端末２からの受信完了通知に待機し、受信完了通知を受けたことに応じてつぎの送信を行うようにしている。このような制御により、端末２の処理速度や通信の速度に応じてデータ送信を行うことができる。
【００８５】
以下の図７〜１３は、端末２と画像処理装置１とにおける通信制御（端末２側の画像表示にかかる制御を含む。）の具体例を示す。これらの実施例では、画像処理装置１から端末２に対し、所定量の画像データをＨＴＴＰプロトコルにより送信するが、いずれの実施例でも、画像処理装置１と端末２との間で図６に示したデータのやりとりを複数サイクル実行することによって、ＨＴＴＰレベルでの１回分の送信処理を実行することができる。
【００８６】
図７，８，１３では、１台の画像処理装置１にＡ，Ｂ２台の端末２が接続されているものとし、図９，１０，１１では、画像処理装置１と端末２との関係を一対一で示す。また、各図において、端末２側の処理にはイ，ロ，ハ・・・の参照符号を、画像処理装置１側の処理には１，２，３・・・の参照符号を、それぞれ付けて示す。各図において同様の内容の処理には共通の参照符号を付してある。以下の説明でも、必要に応じて図中の参照符号を記す。
【００８７】
図７の例では、端末２から画像処理装置１に対し、表示用画像の送信を要求するデータ（以下、「画像送信要求」という。）を送信する（イ）。画像処理装置１のＣＰＵ１０１は、この画像送信要求を受けると、前記画像処理部１０５やインターフェース１０７を用いて、画像メモリ１１２内の表示用画像を読み出し、その表示用画像を含む応答データを作成して端末２側に返送する（１，２，３）。なお、この表示用画像には、圧縮処理および暗号化処理が施される。また、表示用画像としては、少なくとも最新の１枚の画像を読み出せばよいが、新しいものから順に遡って、複数枚の画像を抽出してもよい。
【００８８】
端末２側は、前記画像送信要求に対する画像処理装置１からの応答データを受信し、そのデータに含まれる表示用画像を表示する（ロ）。この実施例の端末２は、画像送信要求を送信する処理、応答データを受信する処理、表示用画像を表示する処理を繰り返し実行する。画像送信要求は、前記したようにＨＴＴＰプロトコルに基づくものであるので、画像処理装置１では、毎時の画像送信要求に対し、前後の要求や応答の内容に左右されることなく、常に独立の処理を実行する。よって、各端末２では、自装置の処理能力に応じた時間間隔毎に画像送信要求を行って、その時点での最新の表示用画像を取得し、表示することになる。ただし、近年のコンピュータやネットワークは、データの送受信を高速で行うことができる。しかも、この実施例では、端末２側に、画像送信要求のデータ形式や表示用画像の表示形式をあらかじめ設定するとともに、画像処理装置１からは、端末２への制御信号を含まない応答データを送信するので、データの送受信や表示処理にかかる遅延時間が少なくなる。これにより、画像処理装置１で表示された画像が端末２側に表示されるまでのタイムラグはわずかなものとなり、遠隔地のユーザーも、現場とほぼ同じタイミングで画像を確認することができる。
【００８９】
図８の例でも、画像処理装置１は、端末２からの画像送信要求に応じて表示用画像を含む応答データを返送する。ただし、この実施例の画像処理装置１では、ある時点での画像送信要求に対し、所定の制限時間が経過するまで応答せずに待機するようにしている（４）。この待機の間には、他の端末２からの画像送信要求を受けても、新たな応答データを作成しない。そして待機時間が経過すると、最初の画像送信要求を出した端末２および待機中に画像送信要求を出したすべての端末２に対し、前記最初の画像送信要求に対して作成した応答データを一括送信する（５）。
【００９０】
なお、この例では、複数の端末２に対して共通の応答データを作成することができるので、画像処理装置１の制御負担を軽くすることができる。また、最初に画像送信要求を出した端末２および待機中に画像送信要求を送信した端末２にのみ応答データを送信するので、図中の端末Ｂの２回目の画像送信要求のように、何らかの事情により画像送信要求が遅れた場合でも、他の端末２の表示の更新タイミングが遅れるおそれがない。また、画像送信要求が遅れた端末Ｂにも、待機時間をおいて応答データが返送されるので、画像の表示に支障が生じるおそれもない。
【００９１】
前記した図７，８の実施例では、端末２は、画像送信要求を繰り返し送信する必要があったのに対し、図９の実施例では、端末２で画像送信要求を送信するのは、基本的に２回となる。最初の画像送信要求（イ）を送信すると、端末２は、この送信から画像処理装置１からの応答受信を経て画像の表示を完了するまでの時間を計測する。そして、この計測時間に基づき、表示用画像の送信を受けるのに適切な処理時間を設定し（ニ）、２回目の画像送信要求にこの処理時間を含めて送信する（ハ）。
【００９２】
画像処理装置１では、処理時間が含まれない画像送信要求には、前記図７，８の実施例と同様に、１回きりの応答を行う。一方、処理時間が含まれた画像送信要求を受信すると、その受信に応じて応答した後、前記処理時間に応じた間隔をもって同じ端末２に対する応答データを作成し、これを端末２に送信する（３Ａ）。端末２では、２回目の画像送信要求を送信した後は、画像処理装置１からの定期的な送信に待機し、送信がある都度、画像の表示を更新する（ロ）。
【００９３】
上記において、画像送信要求の直接の応答ではないデータを送信する場合（３Ａ）でも、その前の画像送信要求に対する応答データと同様の内容のＨＴＴＰヘッダを含むデータを送信する。したがって、この送信データも、ファイヤーウォール４やルータ５を通過して端末２まで到達することができる。また、この実施例でも、前記処理時間が経過する毎に、その時点での最新の表示用画像を送信することができる。
【００９４】
なお、上記図９の例では、画像処理装置１に接続される端末２を１台として表しているが、複数台の端末２が接続されている場合には、端末２毎に個別に処理時間の経過を管理し、（３Ａ）のデータ送信処理を実行することになる。
【００９５】
つぎに、図１０，１１では、画像送信要求や応答データの送信については、矢印により簡略化して示す。その一方で、前記図７〜９の（ロ）の処理（画像受信・表示）を、（ホ）画像受信と（ヘ）画像表示とに切り分けて示す。
【００９６】
図１０の実施例の端末２は、１回目の画像送信要求を行った後、これに対する応答を受信するまでの間に、さらに複数回（図示例では２回）の画像送信要求を行っている。以後、先にした画像送信要求に対する応答を受信する処理（ホ）を実行すると、画像を表示する処理（ヘ）を行う前につぎの画像送信要求を送信する。このように、先の要求に対する表示用画像を表示するより前に新たな画像送信要求を出力するので、表示用画像を得る間隔をより短くすることができる。よって、画像処理装置１の画面上の動きが速い場合にも、端末２側の表示を追従させることが可能となる。なお、この図１０の制御において画像処理装置１に複数の端末２が接続されている場合には、画像処理装置１は、前記図８の実施例と同様に、所定時間内に受け付けた画像送信要求に対する応答を一括で行うことができる。
【００９７】
つぎの図１１では、端末２からの画像送信要求は１回のみとなる。画像処理装置１では、この要求に対する応答データの作成（２）および送信（３）を行った後、画像送信要求によらない応答データの作成（２）および送信処理（３Ａ）を繰り返し実行するようにしている。この制御手順は、前記図９の実施例の処理時間付きの画像送信要求に類似するものである。
【００９８】
ただし、図９の実施例では画像送信要求に処理時間が含まれているときに、その処理時間に応じた間隔で上記（２）（３Ａ）の処理を実行したのに対し、この実施例では、前記図６に示したＴＣＰレベルでの送信制御を利用して、上記の制御を実行する。以下、この制御の手順について、図１２を用いて説明する。
【００９９】
この図１２の手順は、端末２からの画像送信要求を受信したことに応じてスタートする。最初のステップＡでは、その時点での最新の表示用画像を含むボディ部にＨＴＴＰヘッダを付して、応答データを作成する。つぎのステップＢでは、この応答データを複数個のパケットに分割する。そして、以後、各パケットに前記したＴＣＰヘッダを付して送信し、端末２からの受信完了通知を待ってつぎのパケットを送信する処理を繰り返す（ステップＣ，Ｄ）。ステップＡ〜Ｄは、前記図６に示した制御に対応するものである。また、これまでの実施例で応答データを送信する際にも、ステップＡ〜Ｄの手順を実行していることになる。
【０１００】
さらに、この実施例では、最後のパケットに対する受信完了通知を受けて、ステップＤおよびステップＥが「ＹＥＳ」となると、ステップＡに戻り、つぎの応答データを作成する。以下、同様に、ステップＡ〜Ｅを繰り返すことによって、端末２側が応答データの受信を完了する都度、新たな応答データを作成して送信することになる。
【０１０１】
上記の手順でも、端末２では、画像処理装置１で作成された表示用画像を自装置の処理速度や通信の速度に応じた間隔で受信することができる。また、毎時の応答データには、常にその時点における最新の表示用画像が含まれているので、端末２側では、画像処理装置１で表示されるのと同様の画像をほぼ同じタイミングで表示することができる。
【０１０２】
つぎの図１３では、上記図１１と同様の制御を、複数の端末２（図示例では端末Ａ，Ｂ）に対して実行する場合の例であって、ＨＴＴＰレベルの制御（図中の（１））とＴＣＰレベルの制御（図中の（２））とを対応づけて示したものである。この実施例では、画像送信要求に対する最初の応答は、その画像送信要求を受信したタイミングに応じて実行するが、以後は、各端末Ａ，Ｂに対し、共通の送信データを同時に送信するようにしている。
【０１０３】
ＴＣＰレベルの送信制御では、図１３（２）に示すように、送信の都度、各端末Ａ，Ｂからの受信完了通知に待機し、受信完了通知をすべて取得し終わったことを条件として、つぎの送信を実行する。このような制御によれば、最も応答速度の遅い端末２に合わせて送信を行うことになるが、接続中の端末２に対する送信データの作成処理を一括で行うことができるので、送信処理の効率を向上することができる。ただし、この場合にも、送信から所定時間が経過しても受信完了通知を送信しない端末２がある場合には、その端末２を除く他の端末２にのみつぎの送信データを送るようにするのが望ましい。
【０１０４】
つぎに、上記した各実施例に共通するデータ構成（ＨＴＴＰプロトコルレベルでの構成）を説明する。図１４は、端末２からの画像送信要求のデータ構成例である。この実施例の画像送信要求は２行のメッセージにより構成される。このうちの１行目のメッセージＰが表示用画像の送信を要求するものである。２行目のメッセージＱは、この画像送信要求に対する応答データをプロキシサーバーにキャッシュさせないように命じるものである。なお、この図には示していないが、メッセージＰ，Ｑはボディ部に含められ、他に専用のヘッダ部が設定される。
【０１０５】
図１５は、前記図１４の画像送信要求に対する画像処理装置１からの応答データの具体例を示す。この応答データは、ＨＴＴＰプロトコルに基づくヘッダ部とボディ部とにより構成される。ヘッダ部の１行目には、画像送信要求を受け付けた旨のメッセージＲが設定される。また３行目には、前記画像送信要求のメッセージＱが反映されている。
【０１０６】
ボディ部は、チャンク（ｃｈｕｎｋ）と呼ばれる単位に分割される。１つのチャンクは、サイズを示すデータＳと実際の内容を示すデータＴとを組み合わせたものとなる。これらのデータＳ，Ｔの複数組の組み合わせにより、１または複数枚の表示用画像が格納されることになる。なお、ボディ部に複数組の表示用画像を格納する場合、最も古い画像を基準画像として格納する一方、他の画像については、基準画像に対する差分画像を格納するようにしてもよい。
【０１０７】
図１６は、前記画像送信要求や応答データにメッセージＱが含まれていない場合の通信状態を示す。なお、図中のプロキシサーバー６は、端末２が組み込まれるコンピュータシステムのインターネット３への出入口などに設けられるものである。
【０１０８】
端末２から時刻ｔの時点で最初の画像送信要求が行われると、この要求はプロキシサーバー６を介して画像処理装置１に伝えられ、応答データが返送される。しかしながら、この時刻ｔの時点で作成された応答は、プロキシサーバー６にキャッシュされる。プロキシサーバー６は、受信した要求に対応するキャッシュデータを持っている場合には、要求を伝送せず、キャッシュデータを返すように設定されているため、時刻ｔからα時間が経過した時点で２回目の画像送信要求を送ると、この要求は画像処理装置１まで届かず、時刻ｔの時点の古いデータが返送されてしまう。このため、端末２側には、画像表示を更新することができないという不具合が生じる。
【０１０９】
図１７は、前記画像送信要求や応答データにメッセージＱが含まれている場合の通信状態を示す。この例では、時刻ｔの時点で送信された最初の画像送信要求に対する応答データは、プロキシサーバー６にキャッシュされずに端末２に返送される。時刻ｔからα時間が経過した後の画像送信要求に対しても、時刻ｔと全く同様の処理が実行され、その時点で画像処理装置１が作成した最新の応答が端末２に返送される。よって、図７〜１０のように端末２側で画像送信要求を繰り返し行う場合でも、端末２は、常に最新の表示用画像を得ることができ、画像表示の更新を支障なく実行することができる。
【０１１０】
つぎに、端末２側で設定操作を行った場合の表示制御について説明する。前記図４の入力部２１は、画像処理装置１のコンソール１２を模した画像（以下、この画像による入力部を「疑似操作部」という。）を端末２側のモニタに設定して、この疑似操作部による操作を受け付けるようにしている。ユーザーは、この疑似操作部のボタンをマウスでクリックすることにより、現場と同様の手順で設定操作を行うことができる。また、通信処理部２２は、この疑似操作部が操作されると、画像処理装置１に対し、その操作の受け入れを求める要求（操作受入要求）を送信する。この操作受入要求には、実行された操作の内容を示す情報が含められる。画像処理装置１では、この操作受入要求に含まれる操作内容に基づき、前記した設定項目の選択メニューなどを含む表示用画像を作成し、モニタの表示を更新する。また、この更新された表示用画像は画像メモリ１１２に保存され、端末２側が操作受入要求の直後に出した画像送信要求に対する応答データとして端末２に送信される。よって、端末２側でも、画像処理装置１と同様の表示更新処理を行うことができる。
【０１１１】
図１８は、画像処理装置１と端末２との間での表示画面の関係を示す。この図は、端末２側で設定を開始する旨の操作がなされた場合の表示例であって、画像処理装置１の表示画面１００には、計測対象物の画像７のほかに、設定項目を選択するメニュー８が表示されている。一方、端末２の表示画面２００には、画像処理装置１から送信された画像を表示するためのウィンドウ２６や前記した疑似操作部２７が表示される。ウィンドウ２６内には、前記画像７やメニュー８など、画像処理装置１の表示画面１００内の画像と全く同じ画像が表示されている。
【０１１２】
なお、画像処理装置１に複数台の端末２が接続されている場合には、設定操作を行っていない端末２のモニタにも、前記選択項目のメニュー８を含む表示用画像が表示される。さらに、複数台の端末２が接続されている場合には、各ユーザーの使用状態を示す情報を含む表示用画像を作成することもできる。また、各端末２でデータの読み出し操作が行われた場合には、画像処理装置１は、その操作により発生した操作受入要求に対し、指定されたデータを読み出し、これを応答データとして端末２に返送することができる。よって、端末２のユーザーは、必要に応じて、計測データの履歴などをダウンロードすることができる。
【０１１３】
図１９は、前記画像処理装置１に２台の端末２が接続されている場合の各装置の表示例を示す。この例では、一方の端末２Ａで設定操作が行われており、他方の端末２Ｂで計測データをダウンロードする処理が行われている。画像処理装置１では、処理対象の画像７や選択項目のメニュー８のほか、自装置および各端末２の使用状態を示す文字情報９を含む表示用画像を作成して表示している。端末２側の表示画面２００Ａ，２００Ｂにも同様の表示用画像を示すウィンドウ２６Ａ，２６Ｂが表示される。なお、端末２Ｂの表示画面２００Ｂには、実行中のダウンロード処理の進行状態を示すウィンドウ２８が設定されているが、このウィンドウ２８の表示は、端末２Ｂの独自の表示制御によるものであり、他の装置の表示画面１００，２００Ａには反映されていない。疑似操作部２７の表示についても同様であって、図中の２９に示すように、操作が行われている端末Ａの疑似操作部２７Ａでのみ、ボタンの反転表示やカーソルの表示が行われる。
【０１１４】
図２０は、端末２および画像処理装置１における処理の手順を相互に対応づけて示す。なお、この例では、前記図７の通信制御が行われることを前提として、１台の端末２と画像処理装置１との間で実行される処理の流れを示す。
【０１１５】
また、図２０では、画像処理装置１の具備する機能を、端末２に対する通信制御を行う部分（通信制御部）、モニタに対する表示制御を行う部分（表示制御部）、および計測処理を行う部分（計測処理部）の３つに分類する。これら３つの処理部の制御は並列で実行されるもので、通信制御部の手順を１００番代のステップ（ＳＴ）により、表示制御部の手順を２００番代のステップにより、計測処理部の手順を３００番代のステップにより、それぞれ示す。また、端末２の手順については１〜１１のステップで示す。またステップ間の処理の対応関係については、矢印付きの太線により示す。なお、この例では、前記操作受入要求に関する説明を簡単にするために、操作に対する画像処理装置１の処理を、表示用画像を更新する処理に限定して説明する。
【０１１６】
画像処理装置１の計測処理部は、ＳＴ３０１で起動した後、カメラ１１からの画像を入力するステップ（ＳＴ３０２）、この入力画像を画像メモリ１１２に保存するステップ（ＳＴ３０３）、入力画像を用いて所定の計測処理を実行するステップ（ＳＴ３０４）の各ステップを繰り返し実行する。
【０１１７】
表示制御部は、ＳＴ２０１で起動した後、前記入力画像、または計測処理の過程で生成された変換画像を入力する（ＳＴ２０２）。つぎに、ＳＴ２０３では、設定操作の有無をチェックする。ここで自装置のコンソール１２の操作または端末２からの操作受入要求があれば、設定操作が行われたとみなす。これによりＳＴ２０３が「ＹＥＳ」となってＳＴ２０４に進み、前記ＳＴ２０２で入力した画像に設定操作を反映したメニューなどを加味した表示用画像を作成する。一方、設定操作が行われていないと判断した場合には、ＳＴ２０５に進み、前記ＳＴ２０２で入力した画像を表示用画像として設定する。
【０１１８】
この後は、ＳＴ２０６において、前記ＳＴ２０４またはＳＴ２０５のいずれかで設定された表示用画像を画像メモリ１１２に保存する。また、ＳＴ２０７では、この保存した表示用画像をモニタに表示する。
【０１１９】
つぎに、画像処理装置１の通信制御部では、ＳＴ１０１で起動した後、端末２からの接続要求に待機する（ＳＴ１０１〜１０２）。接続要求は、あらかじめ登録されたパスワードなどを含むデータを送信するものである。端末２からの接続要求を受け付けると、ＳＴ１０３が「ＹＥＳ」となり、つぎのＳＴ１０４において、端末２に接続を承認する旨の応答データを送信する。
【０１２０】
この後は、ＳＴ１０５において、端末２からの画像送信要求に待機する。画像送信要求を受信すると、ＳＴ１０６からＳＴ１０７に進み、前記ＳＴ２０６で保存された表示用画像を読み出す。なお、通信制御部、表示制御部、計測処理部の各処理は並列で行われるので、ＳＴ１０７では、表示制御部が生成した最新の画像を読み出すことができる。しかも、この最新の表示用画像は、計測処理部が入力した最新の画像に基づくものである。
【０１２１】
つぎのＳＴ１０８では、読み出した表示用画像を圧縮および暗号化する。そして、ＳＴ１０９では、この圧縮および暗号化された表示用画像をボディ部とする応答データを作成し、前記端末２に返送する。
【０１２２】
つぎに、端末２側の手順について説明する。端末２では、起動後、まず、前記接続要求を送信して、通信制御部からの応答データにより接続を確認する（ＳＴ１〜３）。この後は、ＳＴ４〜８のループとＳＴ９〜１１のループとを、並列で実行する。
【０１２３】
ＳＴ４〜８は、画像表示のための制御にかかるものである。まず、ＳＴ４では、画像処理装置１に前記画像送信要求を送信する。この送信に対し、画像処理装置１の通信制御部では、前記ＳＴ１０６〜１０９の処理を実行して応答データを返送することになる。ＳＴ５では、この応答データを構成する複数のパケットを順に受信するとともに、受信の都度、前記した受信完了通知を実行する。一連の処理により、応答データを受信すると、ＳＴ６に進み、受信した応答データに含まれる表示用画像を解凍および復号する。そして、ＳＴ８では、復元された表示用画像をモニタに表示する。
【０１２４】
以下、表示終了操作などが行われるまで、同様の処理を繰り返し実行する。毎時のループを実行する都度、画像処理装置１側の最新の表示用画像を取得して表示することが可能となる。
【０１２５】
なお、上記の手順では、ＳＴ５の受信処理が終了した後に、画像の解凍や復号を実行しているが、これに代えて、パケット単位のデータを受信する都度、解凍や復号を実行するようにしてもよい。
【０１２６】
もう一方のＳＴ９〜１１のループでは、前記疑似操作部２７による設定操作が行われるまで、ＳＴ９の判断を繰り返す。ここで、設定操作が行われると、ＳＴ９からＳＴ１０に進み、画像処理装置１に対し、操作受入要求を送信する。この操作受入要求は、画像処理装置１の表示制御部に与えられる。これにより表示制御部では、前記ＳＴ２０３からＳＴ２０４の処理を実行し、ＳＴ２０６において、前記設定操作を反映した表示用画面を保存する。また、前記操作受入要求の直後に到達した画像送信要求に対するＳＴ１０７の処理により、前記設定操作を反映した表示用画像が読み出されて、端末２側に返送されることになる。
【０１２７】
なお、前記図８〜１０の通信制御を行う場合にも、画像処理装置１や端末２では、図２０に準じた手順でデータのやりとりなどを実行する。そこで、以下では、変更される点について簡単に説明する。
【０１２８】
まず、図８の通信制御では、前記画像処理装置１の通信制御部の行うＳＴ１０９において、所定の時間、応答データの送信に待機する。そして、この待機中に他の端末２からの画像送信要求を受け付けた場合には、待機期間が終了した後に、画像送信要求を受け付けた各端末２に応答データを順に返送する。端末２側の処理には特に変更はない。
【０１２９】
図９の制御を実行する場合には、端末２側では、最初の画像送信要求を実行した後に、この要求に対する画像を表示するまでの時間を計測し、前記した処理時間を設定する。そして、２回目の画像送信要求として前記処理時間を含むデータを送信する。以後は、画像処理装置１からの定期的な送信に待機し、送信データを得る都度、画像表示処理を実行する。一方、画像処理装置１の通信制御部は、処理時間を含まない画像送信要求に対しては、前記と同様に、ＳＴ１０７〜１０９の処理を実行する。また、処理時間を含む画像送信要求を受けた場合には、前記処理時間が経過する毎に、ＳＴ１０７〜１０９を実行する。
【０１３０】
図１０の制御を実行する場合には、端末２は、ＳＴ３で接続を確認した後にＳＴ４を実行し、以後、画像処理装置１からの応答データを受信するまで、ＳＴ４を繰り返し実行する。そして、最初の応答データに対し、前記ＳＴ５の受信処理を完了すると、以下、ＳＴ５を実行する都度、つぎの画像送信要求を送信してからＳＴ６，７の処理を実行する。なお、この実施例では、画像処理装置１側の処理には特に変更はない。
【０１３１】
つぎに、前記図１１の通信制御が行われる場合には、上記の手順は図２１のように変更される。なお、この変更は、通信制御部および端末２におけるステップ間の関係を変更するものであり、他は前記図２０の手順と同様であるため、以下では、図２１の各ステップに図２０と同様の番号を付し、変更された部分の処理のみを説明する。
【０１３２】
画像処理装置１の通信制御部は、ＳＴ１０６で画像送信要求を受け付けると、ＳＴ１０７〜１０９の処理を繰り返し実行する。ここで、ＳＴ１０７，１０８の処理は前記図１２のステップＡの処理に相当し、ＳＴ１０９の処理はステップＢ〜Ｅに相当することになる。
【０１３３】
一方、端末２では、ＳＴ４で画像送信要求を行った後、この要求に対する応答データの送信を受けて、ＳＴ５〜８を実行する。そして表示終了後は、ＳＴ８からＳＴ５に戻り、通信制御部からの２回目の応答データに対する受信処理、解凍・復号処理、表示処理を実行する。以後、同様に、表示終了操作などによりＳＴ８が「ＹＥＳ」となるまで、ＳＴ５〜８の処理を繰り返し実行する。
【０１３４】
なお、図２１の手順は、前記図１３の通信制御にも適用される。この場合、画像処理装置１の通信制御部では、画像送信要求を受け付けたときは、その要求元の端末２に対してのみ、ＳＴ１０７〜１０９を実行し、その他は、接続中のすべての端末２に対し、ＳＴ１０７〜１０９の処理を一括で実行する。各端末２での手順には特に変更はない。
【図面の簡単な説明】
【０１３５】
【図１】この発明にかかる画像処理システムの概要を示す図である。
【図２】画像処理システムの他の例を示す図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】端末装置に設定される機能を示す機能ブロック図である。
【図５】画像処理装置からの送信データを端末に届ける際に実行される処理の流れを説明する図である。
【図６】画像処理装置と端末との間でのＴＣＰレベルでの情報のやりとりを説明する図である。
【図７】画像処理装置と端末装置とにおける通信制御の流れを説明する図である。
【図８】画像処理装置と端末装置とにおける通信制御の流れを説明する図である。
【図９】画像処理装置と端末装置とにおける通信制御の流れを説明する図である。
【図１０】画像処理装置と端末装置とにおける通信制御の流れを説明する図である。
【図１１】画像処理装置と端末装置とにおける通信制御の流れを説明する図である。
【図１２】図１１の処理に対応する画像処理装置の手順を示すフローチャートである。
【図１３】画像処理装置と端末装置とにおける通信制御の流れを説明する図である。
【図１４】画像送信要求のデータ構成を示す図である。
【図１５】応答データのデータ構成を示す図である。
【図１６】プロキシサーバーに応答データがキャッシュされる場合の問題点を示す図である。
【図１７】図１０，１１のデータにより実行される通信状態を示す図である。
【図１８】画像処理装置と端末装置との間の表示画面の関係を示す図である。
【図１９】画像処理装置と端末装置との間の表示画面の関係を示す図である。
【図２０】画像処理装置と端末装置とにおける制御の流れを相互に対応づけて示すフローチャートである。
【図２１】画像処理装置と端末装置とにおける制御の流れを相互に対応づけて示すフローチャートである。
【符号の説明】
【０１３６】
１  画像処理装置
２  端末装置
３  インターネット
２１  入力部
２２  通信処理部
２４  画像表示部
１０１  ＣＰＵ
１０５  画像処理部
１０７  イーサネット（登録商標）用インターフェース
１１２  画像メモリ
【図１】
2005339499.tif 000003
【図２】
2005339499.tif 000004
【図３】
2005339499.tif 000005
【図４】
2005339499.tif 000006
【図５】
2005339499.tif 000007
【図６】
2005339499.tif 000008
【図７】
2005339499.tif 000009
【図８】
2005339499.tif 000010
【図９】
2005339499.tif 000011
【図１０】
2005339499.tif 000012
【図１１】
2005339499.tif 000013
【図１２】
2005339499.tif 000014
【図１３】
2005339499.tif 000015
【図１４】
2005339499.tif 000016
【図１５】
2005339499.tif 000017
【図１６】
2005339499.tif 000018
【図１７】
2005339499.tif 000019
【図１８】
2005339499.tif 000020
【図１９】
2005339499.tif 000021
【図２０】
2005339499.tif 000022
【図２１】
2005339499.tif 000023