(57)【要約】【課題】操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる遠隔操作システムを提供する。【解決手段】遠隔操作システム１００は、画面取得部１２１と、画像判定部１２２と、状態提供部１２３と、操作受付部１３１と、操作信号出力部１３２と、操作正誤判定部１３３と、状態データベースＤＢとを備える。さらに、遠隔操作システム１００は、対象機器ＸのモニタＸ１の画像をキャプチャするキャプチャ装置１４１と、制御対象ＸのキーボードＸ２に重畳的に接続された制御インターフェイス１４２とを備える。【選択図】図１
2018142926.tif 000002
【特許請求の範囲】
【請求項１】
対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
前記対象機器のモニタ画面をキャプチャして画像として取得する画面取得部と、
前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
前記遠隔操作機器からの操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力する操作信号出力部と
を備えることを特徴とする遠隔操作システム。
【請求項２】
請求項１記載の遠隔操作システムにおいて、
前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする遠隔操作システム。
【請求項３】
請求項１または２記載の遠隔操作システムにおいて、
前記操作信号出力部は、前記対象機器のヒューマンインターフェイスに重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする遠隔操作システム。
【請求項４】
請求項１乃至３のいずれか１項記載の遠隔操作システムにおいて、
前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムに関する。
【背景技術】
【０００２】
従来、この種の遠隔操作システムとしては、下記特許文献１に示すように、操作対象機器が遠隔操作機器と通信可能に構成され、操作対象機器の操作画面を遠隔操作機器側に表示して、遠隔操作を受け付けるシステムが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−６２７７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、かかる従来の遠隔操作システムでは、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面が単なる表示（例えば、アナログ画面の表示）であって遠隔操作機器側で認識されない場合には、操作対象機器を遠隔操作機器により操作することが困難であるという問題がある。
【０００５】
以上に事情に鑑みて、本発明は、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる遠隔操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１発明の遠隔操作システムは、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
前記対象機器のモニタ画面をキャプチャして画像として取得する画面取得部と、
前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
前記遠隔操作機器からの操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力する操作信号出力部と
を備えることを特徴とする。
【０００７】
第１発明の遠隔操作システムによれば、画面取得部が、対象機器のモニタ画面をキャプチャして画像として取得するため、対象機器のモニタ画面がアナログ画面の表示に過ぎないような場合にも、該モニタ画面の情報を遠隔操作機器に提供することができる。
【０００８】
ここで、モニタ画面には、種々の画像が表示されるところ、予め画像判定部により、画面取得部が取得したキャプチャ画像の状態を判定し、その画像の状態を遠隔操作機器に提供することで、遠隔操作に適した画面の情報を遠隔操作機器に提供することができる。
【０００９】
さらに、第１発明の遠隔操作システムによれば、操作受付部により受け付けた遠隔操作機器からの操作を、対象機器の操作信号に変換して該対象機器に出力する。そのため、操作対象機器が通信機能を備えていないでも、対象機器をその操作信号により直接操作することが可能となる。
【００１０】
このように、第１発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
【００１１】
なお、第１発明の遠隔操作システムにおいて、モニタ画面のキャプチャとしては、キャプチャ装置を用いるハードキャプチャのほか、リモートデスクトップのようなソフトウエアによるキャプチャのいずれの概念も含まれる。
【００１２】
第２発明の遠隔操作システムは、第１発明において、
前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする。
【００１３】
第２発明の遠隔操作システムによれば、予め、画像判定部が、画面取得部より取得した画像が対象機器が操作可能な画面状態であるか判定し、画像の状態が対象機器が操作可能な画像状態である場合に、状態提供部により、該操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器に提供する。そのため、遠隔操作に適した操作入力画面を遠隔操作機器に提供することができる。
【００１４】
このように、第２発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、遠隔操作に適した操作入力画面を通して、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
【００１５】
第３発明の遠隔操作システムは、第１または第２発明において、
前記操作信号出力部は、前記対象機器のヒューマンインターフェイス（例えばキーボード）に重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする。
【００１６】
第３発明の遠隔操作システムによれば、対象機器のヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた操作を対象機器の操作信号に変換して対象機器に出力する。
【００１７】
そのため、第３発明の遠隔操作システムによれば、操作対象機器が通信機能や外部接続入力を備えていない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
【００１８】
第４発明の遠隔操作システムは、第１〜第３発明のいずれかにおいて、
前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする。
【００１９】
第４発明の遠隔操作システムによれば、操作正誤判定部が、操作信号出力部により対象機器に操作信号を出力した後に、画面取得部を介して取得した画像の状態から、操作正誤の判定を行う。そのため、対象機器の状態の変化により、遠隔操作が確実に実行されたか確認することができる。
【００２０】
このように、第４発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作し、その操作の実行を確認することができる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の遠隔操作システムの概要を示すシステム構成図。
【図２】図１の遠隔操作システムにおける処理内容を示すフローチャート。
【図３】図１の遠隔操作システムにおける処理内容を示すフローチャート。
【発明を実施するための形態】
【００２２】
図１に示すように、本実施形態の遠隔操作システム１００は、操作対象機器である対象機器Ｘが通信機能を備えていない場合や外部接続インターフェイスを持たないような場合、さらに、対象機器ＸのモニタＸ１の画面がアナログ画面の表示のような場合のでも、対象機器ＸのモニタＸ１の画面の状態に基づいて、対象機器Ｘを遠隔操作機器Ｙから遠隔操作する遠隔操作システムである。
【００２３】
遠隔操作システム１００は、画面取得部１２１と、画像判定部１２２と、状態提供部１２３と、操作受付部１３１と、操作信号出力部１３２と、操作正誤判定部１３３と、状態データベースＤＢとを備える。
【００２４】
さらに、遠隔操作システム１００は、対象機器ＸのモニタＸ１の画像をキャプチャするキャプチャ装置１４１と、制御対象ＸのヒューマンインターフェイスであるキーボードＸ２に重畳的に接続された制御インターフェイス１４２とを備える。
【００２５】
なお、対象機器ＸのモニタＸ１の画面は、例えば、対象機器Ｘである宿泊施設におけるフロントコンピュータの画面であって、例えば、画面上には、部屋毎に区画された領域に『在室』，『空室』，『清掃』，『予約』等が色分けして表示される。
【００２６】
画面取得部１２１は、キャプチャ装置１４１を介して、モニタＸ１上の画面をキャプチャして取得する。キャプチャ装置１４１は、フロントコンピュータＸとそのモニタＸ１とを接続するモニタケーブル（ＶＧＡケーブル）のアナログ画像信号を一定の周期でサンプリングした画像データとして遠隔操作システム１００に出力する。
【００２７】
キャプチャ装置１４１は、例えば、ＶＧＡビデオキャプチャーボードのほか、ビデオキャプチャーボードと併せてＶＧＡ分配ケーブルとしての機能を備えていてもよい。また、キャプチャ装置１４１は、ＶＧＡケーブルからのビデオキャプチャーに限られるものではなく、ビデオ（Ｓ-Video方式またはcomposite方式）入出力ケーブルからキャプチャを行うビデオキャプチャーボード、デジタルディスプレイ用のＤＶＩキャプチャーボード、業務用ビデオや防犯カメラ用のＳＤＩキャプチャーボード、映像機器一般のＨＤＭＩ（登録商標）キャプチャーボード等であってもよい。
【００２８】
画像判定部１２２は、画面取得部１２１より取得した画像から該画像の状態を判定する。なお、画像判定部１２２は、画面取得部１２１より取得した画像に対して、必要に応じて、フィルタ処理を施した上で、該画像の状態を判定する。フィルタ処理は、例えば、ＲＧＢＡ変換であって、キャプチャ画像を特定の色数による画像に変換する。なお、フィルタ処理は、ＲＧＢＡ変換の他、色数の少ないＰＮＧ変換等であってもよい。
【００２９】
具体的に、画像判定部１２２は、画面取得部１２１より取得した画像の状態として、対象機器Ｘが操作可能な画面状態であるか判定する。
【００３０】
状態提供部１２３は、画像判定部により判定された、対象機器Ｘの画面の状態を遠隔操作機器Ｙに提供する。
【００３１】
具体的に、状態提供部１２３は、画像判定部１２２による判定の結果、対象機器Ｘの画面の状態が対象機器Ｘが操作可能な画像状態である場合に、操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器Ｙに提供する。
【００３２】
以上が、遠隔操作システム１００における対象機器ＸのモニタＸ１の画像の状態を把握して、外部の遠隔操作機器Ｙに提供する構成１２１〜１２３である。
【００３３】
操作受付部１３１は、当該遠隔操作システム１００に、遠隔操作機器Ｙからの操作を受け付ける。なお、遠隔操作機器Ｙは、インターネット等のネットワークＮＷで接続された外部操作機器であれば、パーソナルコンピュータＹ１であっても、スマートフォンＹ２であってもよい。
【００３４】
操作信号出力部１３２は、操作受付部１３１により受け付けた遠隔操作機器Ｙからの操作を対象機器Ｘの操作信号に変換して対象機器Ｘに出力する。
【００３５】
より具体的に、操作信号出力部１３２は、対象機器ＸのキーボードＸ２に重畳的に接続された制御インターフェイス１４２を介して、操作受付部１３１により受け付けた操作が対象機器ＸのキーボードＸ２のエミュレート信号となるように、制御インターフェイス１４２への出力を行う。
【００３６】
操作正誤判定部１３３は、操作信号出力部１３２により対象機器Ｘに操作信号を出力した後に、画面取得部１２１を介して取得した画像の状態から、操作正誤の判定を行う。
【００３７】
以上が、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する構成１３１〜１３３である。
【００３８】
このほか、遠隔操作システム１００は、状態データベースＤＢにより、画像判定部１２２により判定された画像の状態や操作正誤判定部１３３により判定された操作の正誤が記憶保持される。
【００３９】
以上が、遠隔操作システム１００の構成であり、かかる遠隔操作システム１００は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only memory）、ＲＡＭ（Random Access Memory）等のハードウェアにより構成され、上記処理手段１２１〜１２３、１３１〜１３３、ＤＢによる処理を実行するプログラムをメモリ（不図示）に記憶保持し、そのプログラムを実行することにより、上記制御処理を実行するための演算装置（シーケンサ）として機能する。
【００４０】
次に、図２を参照して、以上のように構成された遠隔操作システム１００による対象機器ＸのモニタＸ１の画像の状態を把握して、外部の遠隔操作機器Ｙに提供する処理について説明する。
【００４１】
まず、遠隔操作システム１００は、画面取得部１２１により、キャプチャ装置１４１を介して、モニタＸ１上の画面をキャプチャした画像（実際には、一定周期でキャプチャした画像）として取得する（ＳＴＥＰ１２１／図２）。
【００４２】
次に、遠隔操作システム１００は、画像判定部１２２により、ＳＴＥＰ１２１で取得したキャプチャ画像の状態として、対象機器Ｘが操作可能な画面状態であるか判定する（ＳＴＥＰ１２２／図２）。
【００４３】
具体的に判定方法は、種々の方法が採用され得るが、例えば、画像上の特定ポイントの色彩情報を取得し、取得した色彩情報（ＲＧＢデータ）の色の組み合わせから、対象機器ＸのモニタＸ１の画面の画像状態（対象機器Ｘが操作可能な画像状態であるか、操作可能な画像状態の場合には、どのような画像状態であるか）を判定する。
【００４４】
また、他の判定方法としては、例えば、ＯＣＲ（光学文字認識）により画像に表示されている文字（文字列を含む）を認識することで、対象機器ＸのモニタＸ１の画面の画像状態を判定してもよい。
【００４５】
さらに、判定精度を向上されるために、画像上の色彩情報と、ＯＣＲ（光学文字認識）により認識された文字との組み合わせにより、対象機器ＸのモニタＸ１の画面の画像状態を判定してもよい。
【００４６】
これにより、例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合には、モニタＸ１条の画面をキャプチャすると、各部屋に区画された領域に『在室』，『空室』，『清掃』，『予約』等が色分けして表示される画像が、操作可能な状態であって、空室に関する予約受付可能な画像状態であると判定される。
【００４７】
そして、遠隔操作システム１００は、画像判定部１２２による判定結果を状態データベースＤＢに保存する（ＳＴＥＰ１２３／図２）。
【００４８】
次に、状態提供部１２３は、画像判定部１２２により判定された、対象機器ＸのモニタＸ１の画面の画像状態（状態データベースＤＢから読み出した判定結果）から、操作可能機能の抽出を行う（ＳＴＥＰ１２４／図２）。
【００４９】
具体的に、状態提供部１２３は、判定結果と操作可能機能とをマトリックスで整理した状態テーブルを参照することにより、画像判定部１２２による判定結果に対応した操作可能機能を抽出する。
【００５０】
次に、状態提供部１２３は、操作入力画面の生成を行う（ＳＴＥＰ１２５／図２）。
【００５１】
具体的に、状態提供部１２３は、ＳＴＥＰ１２４で抽出した操作可能機能に応じた操作入力画面を生成する。
【００５２】
ここで、操作入力画面は、ＨＴＭＬによるブラウザへの出力や専用アプリケーションなどで表示可能な画面であって、例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合には、空室のＲＯＯＭナンバー部分にのみ予約ボタンを表示した操作入力画面が生成される。
【００５３】
ここで、操作入力画面は、単純に操作可能機能を羅列した画面として生成されるわけではなく、付加条件に応じて必要な機能のみ提供するように、操作入力画面が生成される。
【００５４】
付加条件としては、例えば、空室数が３室以下となっている場合には、予約受付を停止するように、予約受付機能である予約ボタンは表示しないといった条件や、特定時間（午前２時〜５時）は予約受付を停止するように、予約受付機能である予約ボタンは表示しないといった条件である。
【００５５】
次いで、状態提供部１２３は、ＳＴＥＰ１２５で生成した操作入力画面をネットワークＮＷを経由して遠隔操作機器Ｙに提供する（ＳＴＥＰ１２６／図２）。
【００５６】
以上が遠隔操作システム１００により、対象機器ＸのモニタＸ１の画像の状態を把握して、外部の遠隔操作機器Ｙに提供する処理の内容であり、かかる処理により、対象機器ＸのモニタＸ１の画面がアナログ画面の表示に過ぎないような場合にも、該モニタＸ１の画面の情報を遠隔操作機器に提供することができる。
【００５７】
さらに、モニタＸ１の画面には、種々の画像が表示されるところ、予め画像判定部１２２により、画面取得部１２１が取得したキャプチャ画像の状態を判定し、その画像の状態に応じた操作入力画面を状態提供部１２３が生成して遠隔操作機器Ｙに提供することで、遠隔操作に適した画面の情報を遠隔操作機器Ｙに提供することができる。
【００５８】
なお、状態提供部１２３が操作入力画面を生成するタイミングは、一定のタイミングで、操作入力画面を生成する場合のほか、一定の処理周期で画像の状態の変化を監視し、画像の状態が変化したタイミングで画面を操作入力画面を生成してもよい。
【００５９】
また、状態提供部１２３が操作入力画面を生成するタイミングは、遠隔操作機器Ｙが当該遠隔操作システム１００にアクセスしたタイミングや、さらに遠隔操作機器Ｙから操作対象機器Ｘの操作のリクエストがあったタイミングであってもよい。この場合、状態提供部１２３は、遠隔操作システム１００にアクセスのあった遠隔操作機器Ｙや操作リクエストのあった遠隔操作機器Ｙに対してのみ、生成した操作入力画面を操作することが好ましい。
【００６０】
次に、図３を参照して、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する処理について説明する。
【００６１】
前提として、上述のように、対象機器ＸのモニタＸ１の画像の状態を把握して、その内容に応じた操作入力画面が外部の遠隔操作機器Ｙに提供されると、遠隔操作機器Ｙのユーザは、該操作入力画面を見ながら、操作対象機器Ｘの操作内容を決定する。
【００６２】
このとき、遠隔操作システム１００は、操作受付部１３１により、遠隔操作機器Ｙから操作要請の有無を一定の処理周期で監視する（ＳＴＥＰ１３１／図３）。
【００６３】
遠隔操作機器Ｙからの操作要請があると（ＳＴＥＰ１３１でＹＥＳ／図３）、その操作内容の特定を行う（ＳＴＥＰ１３２／図３）。一方で、遠隔操作機器Ｙからの操作要請がない場合には（ＳＴＥＰ１３１でＮＯ／図３）、操作要請があるまでかかる監視を繰り返し実行する。
【００６４】
操作内容の特定は、操作入力画面上での操作内容を特定することにより行われ、より具体的には、遠隔操作機器Ｙから遠隔操作システム１００に送信されたＵＲＬパラメータにより操作内容を特定することにより行われる。
【００６５】
例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合において空室１０１の予約操作を遠隔操作機器Ｙから行う際には、［  http://  サーバアドレス / yoyaku （操作コマンド）?room（対象空室）＝101  ］ のようなＵＲＬパラメータにより、１０１号室の予約ボタンの操作を特定する。
【００６６】
次に、操作信号出力部１３２は、ＳＴＥＰ１３２で特定された操作内容を対象機器Ｘの操作信号に変換する（ＳＴＥＰ１３３／図３）。
【００６７】
具体的に、操作信号の変換は、対象機器ＸのキーボードＸ２に重畳的に接続された制御インターフェイス１４２を介して、操作受付部１３１により受け付けた操作が対象機器ＸのキーボードＸ２のエミュレート信号となるように、操作内容に応じた制御インターフェイス１４２の制御信号（実行コマンド）へ変換として実行される。
【００６８】
ここで、制御インターフェイス１４２への制御信号（実行コマンド）には、人がキーボードＸ２を操作する際に生じるであろうディレイ（遅延時間）を持たせる制御信号（実行コマンド）が適宜挿入される。
【００６９】
次いで、操作信号出力部は、ＳＴＥＰ１３３で変換された対象機器Ｘの操作信号を制御インターフェイスに送信する（ＳＴＥＰ１３４／図３）。
【００７０】
これにより制御インターフェイス１４２は、制御信号（実行コマンド）を対象機器Ｘが認識可能な制御信号（操作コード）を生成して対象機器Ｘに出力する。ここでの制御信号（操作コード）でも、人がキーボードＸ２を操作する際に生じるであろうディレイ（遅延時間）を持たせる制御信号（実行コマンド）が適宜挿入される。
【００７１】
例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合において空室１０１の予約操作を遠隔操作機器Ｙから行う際には、キーボードＸ２の部屋番号１０１のキー操作、予約キー操作に対応した制御信号（操作コード）が、ディレイ（遅延時間）を持たせる制御信号（実行コマンド）を介在された形で生成されて、対象機器Ｘに出力される。
【００７２】
なお、本実施形態では、制御インターフェイスを介して、対象機器Ｘが認識可能な制御信号（操作コード）が生成される場合について説明したが、遠隔操作システム１００の操作信号出力部１３２により、かかる制御信号（操作コード）が直接、変換出力されるようにしてもよい。
【００７３】
以上が、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する処理内容であり、かかる処理に加えて、操作正誤判定部１３３により、操作正誤の判定処理が行わることが好ましい（ＳＴＥＰ１３５〜１３６／図３）。
【００７４】
具体的に、操作正誤判定部１３３は、操作信号出力部１３２により対象機器Ｘに操作信号を出力した後に（実際にはカウンタタイマ等で一定時間タイムアップするのを待って）、操作の画面取得部１２１を介して取得した画像の状態から操作が成功したか判定する（ＳＴＥＰ１３５／図３）。
【００７５】
ここで、操作の画面取得部１２１を介して取得した画像の状態の解析は、画像判定部１２２と同様の処理（ＳＴＥＰ１２２／図２参照）により、操作内容に対応した、対象機器Ｘが操作可能な画面状態の変化がある場合には、操作成功と判定して（ＳＴＥＰ１３５でＹＥＳ／図３）、一連の処理を終了する。
【００７６】
一方、操作内容に対応した、対象機器Ｘが操作可能な画面状態の変化がない場合には、操作は成功でないと判定して（ＳＴＥＰ１３５でＮＯ／図３）、エラー報知を遠隔操作機器Ｙ等に行った上で（ＳＴＥＰ１３６／図３）、一連の処理を終了する。
【００７７】
なお、エラー報知に換えて、（ＳＴＥＰ１３４にリターンするなどして）操作信号出力部１３２により、再度、操作信号の送信（ＳＴＥＰ１３４参照）を行うようにしてもよい。
【００７８】
また、操作正誤判定部１３３による判定結果（画像状態）は、状態データベースＤＢに（上書き）保存されることが好ましい。
【００７９】
以上が、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する処理および、その操作の正誤を判定する処理である。
【００８０】
かかる処理では、操作受付部１３１により受け付けた遠隔操作機器Ｙからの操作を、対象機器Ｘの操作信号に変換して該対象機器Ｘに出力するため、操作対象機器Ｘが通信機能を備えていない場合でも、対象機器Ｘをその操作信号により直接操作することが可能となる。
【００８１】
さらに、操作正誤判定部１３３が、対象機器Ｘの状態の変化により、操作正誤の判定を行うため、遠隔操作が確実に実行されたか確認することができる。
【００８２】
このように、本実施形態の遠隔操作システムによれば、操作対象機器Ｘが通信機能を備えていない場合や、操作対象機器ＸのモニタＸ１の画面の表示内容が遠隔操作機器Ｙ側で認識されない場合でも、簡易かつ確実に、操作対象機器Ｘを遠隔操作機器Ｙにより操作し、その操作の実行を確認することができる。
【００８３】
なお、本実施形態では、モニタ画面のキャプチャとしては、キャプチャ装置１４１を用いるハードキャプチャの場合について説明したが、キャプチャはこれに限定されるものではなく、リモートデスクトップのようなソフトウエアによるキャプチャであってもよい。
【００８４】
また、本実施形態では、制御対象ＸのヒューマンインターフェイスとしてキーボードＸ２をエミュレートする場合について説明したが、これに限定されるものではなく、マウス・トラックボール、機械式の押しボタンなど、人が入力できエミュレート可能なヒューマンインターフェイスであればいずれであってもよい。
【００８５】
さらに、本実施形態では、対象機器Ｘとしてパーソナルコンピュータを操作する場合について説明したが、これに限定されるものではなく、パーソナルコンピュータに接続されたプリンタ装置Ｘ３などを操作対象としてもよい。
【符号の説明】
【００８６】
１００…遠隔操作システム、１２１…画面取得部、１２２…画像判定部、１２３…状態提供部、１３１…操作受付部、１３２…操作信号出力部、１３３…操作正誤判定部、１４１…キャプチャ装置、１４２…制御インターフェイス、Ｘ…対象機器、Ｘ１…モニタ、Ｘ２…キーボード（ヒューマンインターフェイス）、Ｘ３…プリンタ、Ｙ…遠隔操作機器、ＤＢ…状態データベース、ＮＷ…ネットワーク。
【図１】
2018142926.tif 000003
【図２】
2018142926.tif 000004
【図３】
2018142926.tif 000005
【手続補正書】
【提出日】平成29年8月22日(2017.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
前記対象機器のモニタ画面をキャプチャ装置を介してキャプチャして画像として取得する画面取得部と、
前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
前記遠隔操作機器からの操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して制御インターフェイスを介して該対象機器に出力する操作信号出力部と
を備え、
前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする遠隔操作システム。
【請求項２】
請求項１記載の遠隔操作システムにおいて、
前記操作信号出力部は、前記対象機器のヒューマンインターフェイスに重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする遠隔操作システム。
【請求項３】
請求項１または２記載の遠隔操作システムにおいて、
前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする遠隔操作システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
第１発明の遠隔操作システムは、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
前記対象機器のモニタ画面をキャプチャ装置を介してキャプチャして画像として取得する画面取得部と、
前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
前記遠隔操作機器からの操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して制御インターフェイスを介して該対象機器に出力する操作信号出力部と
を備え、
前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、第１発明の遠隔操作システムによれば、予め、画像判定部が、画面取得部より取得した画像が対象機器が操作可能な画面状態であるか判定し、画像の状態が対象機器が操作可能な画像状態である場合に、状態提供部により、該操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器に提供する。そのため、遠隔操作に適した操作入力画面を遠隔操作機器に提供することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
このように、第１発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、遠隔操作に適した操作入力画面を通して、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
第２発明の遠隔操作システムは、第１発明において、
前記操作信号出力部は、前記対象機器のヒューマンインターフェイス（例えばキーボード）に重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
第２発明の遠隔操作システムによれば、対象機器のヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた操作を対象機器の操作信号に変換して対象機器に出力する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
そのため、第２発明の遠隔操作システムによれば、操作対象機器が通信機能や外部接続入力を備えていない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
第３発明の遠隔操作システムは、第１または第２発明のいずれかにおいて、
前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
第３発明の遠隔操作システムによれば、操作正誤判定部が、操作信号出力部により対象機器に操作信号を出力した後に、画面取得部を介して取得した画像の状態から、操作正誤の判定を行う。そのため、対象機器の状態の変化により、遠隔操作が確実に実行されたか確認することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
このように、第３発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作し、その操作の実行を確認することができる。