(57)【要約】【課題】被操作端末の操作を携帯端末のタッチスクリーンへのタッチ操作により代替する。【解決手段】被操作端末１００は、携帯端末２００の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する表示画面制御部１０４と、携帯端末２００から受信した符号化方式により携帯端末画面を符号化する符号化部１０５と、携帯端末２００から受信した位置情報により、特定された操作を実行する操作処理部１０７と、を備え、携帯端末２００は、符号化された携帯端末画面を復号し、タッチスクリーン２０５に出力する復号化部２０４と、携帯端末画面を表示したタッチスクリーン２０５へのタッチ操作を検出すると、携帯端末画面上のタッチ位置を示す位置情報を、自己の表示属性情報および被操作端末１００から受信した被操作端末１００の表示属性情報に基づいて、被操作端末画面における位置情報に補正する位置情報補正部２０６と、を備える。【選択図】図１
2012093940.tif 000002
【特許請求の範囲】
【請求項１】
タッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムであって、
前記被操作端末は、
前記携帯端末の表示属性情報と、前記携帯端末で復号可能な符号化方式とを前記携帯端末から受信する携帯端末情報受信手段と、
受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する表示画面制御手段と、
受信した符号化方式に基づいて、前記携帯端末画面を符号化する符号化手段と、
符号化された携帯端末画面を前記携帯端末に送信する画面送信手段と、
前記被操作端末の表示属性情報を送信する被操作端末情報送信手段と、
を備え、
前記携帯端末は、
自己の表示属性情報と、前記符号化方式とを前記被操作端末に送信する携帯端末情報送信手段と、
前記被操作端末の表示属性情報を受信する被操作端末情報受信手段と、
前記符号化された携帯端末画面を前記被操作端末から受信する画面受信手段と、
前記符号化された携帯端末画面を復号化する復号化手段と、
復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、前記復号化された携帯端末画面上のタッチ位置を示す位置情報を、前記自己の表示属性情報および前記被操作端末の表示属性情報に基づいて、前記被操作端末画面における位置情報に補正する位置情報補正手段と、
補正された位置情報を前記被操作端末に送信する位置情報送信手段と、
を備え、
さらに、
前記被操作端末は、
前記携帯端末から受信した前記補正された位置情報に基づいて、前記タッチスクリーンにて選択された操作を特定し、特定された操作を実行する操作処理手段を備えることを特徴とする遠隔操作システム。
【請求項２】
前記携帯端末は、
ユーザの操作に応じて、前記携帯端末画面の一部の領域を拡大表示する拡大モードへの切り替えを行うモード切替手段を備え、
前記位置情報補正手段は、前記拡大モードの下、前記復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチ操作により拡大表示が指示された領域を特定する領域情報を、前記被操作端末の表示属性情報に基づいて、前記被操作端末画面における領域情報に補正し、
前記携帯端末情報送信手段は、前記拡大モードの下、補正された領域情報を送信し、
前記携帯端末情報受信手段は、前記補正された領域情報を受信し、
前記表示画面制御手段は、受信した前記補正された領域情報に基づいて、前記被操作端末画面のうち拡大表示する領域を取得し、取得した拡大表示する領域を前記携帯端末の表示属性情報に基づいて修正することにより、前記携帯端末画面を作成することを特徴とする請求項１に記載の遠隔操作システム。
【請求項３】
前記拡大表示が指示された領域を特定する領域情報は、前記拡大表示が指示された領域の左上の位置情報、および前記復号化された携帯端末画面と前記拡大表示が指示された領域との縮尺率を含むことを特徴とする請求項２に記載の遠隔操作システム。
【請求項４】
前記携帯端末の表示属性情報は、前記タッチスクリーンの画面解像度およびフレームレートを含むことを特徴とする請求項１から３のいずれかに記載の遠隔操作システム。
【請求項５】
前記被操作端末情報送信手段は、前記携帯端末情報受信手段で、前記携帯端末の表示属性情報と、前記符号化方式とを前記携帯端末から受信したことに応じて、前記被操作端末の表示属性情報を送信することを特徴とする請求項１から４のいずれかに記載の遠隔操作システム。
【請求項６】
前記携帯端末情報送信手段は、前記被操作端末と前記携帯端末とのペアリング通信が確立したことに応じて、前記携帯端末の表示属性情報と、前記符号化方式とを前記被操作端末に送信することを特徴とする請求項１から５のいずれかに記載の遠隔操作システム。
【請求項７】
タッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法であって、
前記携帯端末が、自己の表示属性情報と、自己で復号可能な符号化方式とを前記被操作端末に送信する第１のステップと、
前記被操作端末が、前記携帯端末の表示属性情報と、前記符号化方式とを前記携帯端末から受信する第２のステップと、
前記被操作端末が、前記被操作端末の表示属性情報を送信する第３のステップと、
前記携帯端末が、前記被操作端末の表示属性情報を受信する第４のステップと、
前記被操作端末が、受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する第５のステップと、
前記被操作端末が、受信した符号化方式に基づいて、前記携帯端末画面を符号化する第６のステップと、
前記被操作端末が、符号化された携帯端末画面を前記携帯端末に送信する第７のステップと、
前記携帯端末が、前記符号化された携帯端末画面を前記被操作端末から受信する第８のステップと、
前記携帯端末が、前記符号化された携帯端末画面を復号化する第９ステップと、
前記携帯端末が、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、前記復号化された携帯端末画面上のタッチ位置を示す位置情報を、前記自己の表示属性情報および前記被操作端末の表示属性情報に基づいて、前記被操作端末画面における位置情報に補正する第１０のステップと、
前記携帯端末が、補正された位置情報を前記被操作端末に送信する第１１のステップと、
前記被操作端末が、前記携帯端末から受信した前記補正された位置情報に基づいて、前記タッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１２のステップと、
を備えることを特徴とする遠隔操作方法。
【請求項８】
タッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法をコンピュータに実行させるためのプログラムであって、
前記携帯端末が、自己の表示属性情報と、自己で復号可能な符号化方式とを前記被操作端末に送信する第１のステップと、
前記被操作端末が、前記携帯端末の表示属性情報と、前記符号化方式とを前記携帯端末から受信する第２のステップと、
前記被操作端末が、前記被操作端末の表示属性情報を送信する第３のステップと、
前記携帯端末が、前記被操作端末の表示属性情報を受信する第４のステップと、
前記被操作端末が、受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する第５のステップと、
前記被操作端末が、受信した符号化方式に基づいて、前記携帯端末画面を符号化する第６のステップと、
前記被操作端末が、符号化された携帯端末画面を前記携帯端末に送信する第７のステップと、
前記携帯端末が、前記符号化された携帯端末画面を前記被操作端末から受信する第８のステップと、
前記携帯端末が、前記符号化された携帯端末画面を復号化する第９ステップと、
前記携帯端末が、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、前記復号化された携帯端末画面上のタッチ位置を示す位置情報を、前記自己の表示属性情報および前記被操作端末の表示属性情報に基づいて、前記被操作端末画面における位置情報に補正する第１０のステップと、
前記携帯端末が、補正された位置情報を前記被操作端末に送信する第１１のステップと、
前記被操作端末が、前記携帯端末から受信した前記補正された位置情報に基づいて、前記タッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１２のステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチスクリーンとカメラとを具備した携帯端末により被操作端末を遠隔操作する遠隔操作システムに関し、特に、被操作端末の操作を、携帯端末のタッチスクリーンへのタッチ操作により行うことを可能とする遠隔操作システムに関する。
【背景技術】
【０００２】
近年、タッチスクリーンを備えた携帯端末、大画面ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ハイビジョンテレビ等の機器の普及が進んでいる。しかし、携帯性のない大画面ＰＣやハイビジョンテレビ等においては、例えば同じ室内の離れた場所から、タッチスクリーンのタッチ操作を遠隔操作することは難しい。従来の遠隔操作装置（例えば、リモートコントローラ、以下、リモコンという）は、ボタン操作を主に想定しているために、タッチスクリーンへのタッチ操作を代替することができないからである。
【０００３】
特許文献１には、リモコンにタッチパッドを備えることによって、タッチ操作による座標入力を可能とし、ＰＣ等の画面に表示されるカーソルの位置を移動させることができる装置が提案されている。また、特許文献２には、操作端末に、ユーザが遠隔操作する被操作端末の画面を送信することにより、被操作端末を手元の操作端末で直接操作することができる装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９１７９１号公報
【特許文献２】特開２００７−２４１７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置では、リモコンに備えられたタッチパッド上での指移動によって、移動量による相対座標の指定をすることはできるが、ＰＣ等の画面内の特定の位置をタッチ操作によって直接入力する絶対座標の指定ができない。そのため、タッチ操作の代替手段としては適さないという問題点があった。また、特許文献２に記載の装置では、被操作端末の画面を符号化して携帯端末に送信することにより、タッチスクリーンを具備した携帯端末上に被操作端末の画面を表示し、携帯端末から被操作端末を遠隔操作することができるが、高いネットワーク伝送速度が要求されるため携帯端末のような小型機器には性能や消費電力等の面で適さないという問題点があった。また、被操作端末の画面を予め縮小してから携帯端末に送信することも可能であるが、携帯端末上に表示される被操作端末の画面の解像度が低下するために、ユーザの操作性が低下するという問題点があった。
【０００６】
そこで、本発明は、上述の課題に鑑みてなされたものであり、同じ室内等における近距離での遠隔操作において、被操作端末の操作を、携帯端末のタッチスクリーンへのタッチ操作により代替することができる遠隔操作システムを提供することを目的とする。また、ユーザから要求に応じて、携帯端末に表示された被操作端末の画面の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００８】
（１）  本発明によれば、タッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムであって、前記被操作端末は、前記携帯端末の表示属性情報と、前記携帯端末で復号可能な符号化方式とを前記携帯端末から受信する携帯端末情報受信手段（例えば、図１の携帯端末情報受信部１０２に相当）と、受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する表示画面制御手段（例えば、図１の表示画面制御部１０４に相当）と、受信した符号化方式に基づいて、前記携帯端末画面を符号化する符号化手段（例えば、図１の符号化部１０５に相当）と、符号化された携帯端末画面を前記携帯端末に送信する画面送信手段（例えば、図１の画面送信部１０６に相当）と、前記被操作端末の表示属性情報を送信する被操作端末情報送信手段（例えば、図１の被操作端末情報送信部１０３に相当）と、を備え、前記携帯端末は、自己の表示属性情報と、前記符号化方式とを前記被操作端末に送信する携帯端末情報送信手段（例えば、図１の携帯端末情報送信部２０１に相当）と、前記被操作端末の表示属性情報を受信する被操作端末情報受信手段（例えば、図１の被操作端末情報受信部２０２に相当）と、前記符号化された携帯端末画面を前記被操作端末から受信する画面受信手段（例えば、図１の画面受信部２０３に相当）と、前記符号化された携帯端末画面を復号化する復号化手段（例えば、図１の復号化部２０４に相当）と、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、前記復号化された携帯端末画面上のタッチ位置を示す位置情報を、前記自己の表示属性情報および前記被操作端末の表示属性情報に基づいて、前記被操作端末画面における位置情報に補正する位置情報補正手段（例えば、図１の位置情報補正部２０６に相当）と、補正された位置情報を前記被操作端末に送信する位置情報送信手段（例えば、図１の位置情報送信部２０７に相当）と、を備え、さらに、前記被操作端末は、前記携帯端末から受信した前記補正された位置情報に基づいて、前記タッチスクリーンにて選択された操作を特定し、特定された操作を実行する操作処理手段（例えば、図１の操作処理部１０７に相当）を備えることを特徴とする遠隔操作システムを提案している。
【０００９】
この発明によれば、携帯端末情報受信手段は、携帯端末の表示属性情報と、携帯端末で復号可能な符号化方式とを携帯端末から受信する。表示画面制御手段は、受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する。符号化手段は、受信した符号化方式に基づいて、携帯端末画面を符号化する。画面送信手段は、符号化された携帯端末画面を携帯端末に送信する。被操作端末情報送信手段は、被操作端末の表示属性情報を送信する。携帯端末情報送信手段は、自己の表示属性情報と、符号化方式とを被操作端末に送信する。被操作端末情報受信手段は、被操作端末の表示属性情報を受信する。画面受信手段は、符号化された携帯端末画面を被操作端末から受信する。復号化手段は、符号化された携帯端末画面を復号化する。位置情報補正手段は、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、復号化された携帯端末画面上のタッチ位置を示す位置情報を、自己の表示属性情報および被操作端末の表示属性情報に基づいて、被操作端末画面における位置情報に補正する。位置情報送信手段は、補正された位置情報を被操作端末に送信する。操作処理手段は、携帯端末から受信した補正された位置情報に基づいて、タッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、被操作端末画面を携帯端末のタッチスクリーンに表示することにより、同じ室内等における近距離での遠隔操作において、被操作端末の操作を、携帯端末のタッチスクリーンへのタッチ操作により代替することができる。また、被操作端末画面を、携帯端末の表示属性情報に基づいて修正した携帯端末画面を携帯端末に送信することにより、従来の被操作端末画面をそのまま符号化して送信する方法に比べ、ネットワーク帯域の節約や処理負荷の低減が可能である。
【００１０】
（２）  本発明によれば、（１）の遠隔操作システムについて、前記携帯端末は、ユーザの操作に応じて、前記携帯端末画面の一部の領域を拡大表示する拡大モードへの切り替えを行うモード切替手段（例えば、図６のモード切替部２０８に相当）を備え、前記位置情報補正手段（例えば、図６の位置情報補正部２１６に相当）は、前記拡大モードの下、前記復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチ操作により拡大表示が指示された領域を特定する領域情報を、前記被操作端末の属性情報に基づいて、前記被操作端末画面における領域情報に補正し、前記携帯端末情報送信手段（例えば、図６の携帯端末情報送信部２１１に相当）は、前記拡大モードの下、補正された領域情報を送信し、前記携帯端末情報受信手段（例えば、図６の携帯端末情報受信部１１２に相当）は、前記補正された領域情報を受信し、前記表示画面制御手段（例えば、図６の表示画面制御部１１４に相当）は、受信した前記補正された領域情報に基づいて、前記被操作端末画面のうち拡大表示する領域を取得し、取得した拡大表示する領域を前記タッチスクリーンの属性情報に基づいて修正することにより、前記携帯端末画面を作成することを特徴とする遠隔操作システムを提案している。
【００１１】
この発明によれば、モード切替手段は、ユーザの操作に応じて、携帯端末画面の一部の領域を拡大表示する拡大モードへの切り替えを行う。位置情報補正手段は、拡大モードの下、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、タッチ操作により拡大表示が指示された領域を特定する領域情報を、被操作端末の属性情報に基づいて、被操作端末画面における領域情報に補正する。携帯端末情報送信手段は、拡大モードの下、補正された領域情報を送信する。携帯端末情報受信手段は、補正された領域情報を受信する。表示画面制御手段は、受信した補正された領域情報に基づいて、被操作端末画面のうち拡大表示する領域を取得し、取得した拡大表示する領域をタッチスクリーンの属性情報に基づいて修正することにより、携帯端末画面を作成する。したがって、ユーザから要求に応じて、携帯端末に表示された被操作端末画面の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することを目的とする。
【００１２】
（３）  本発明によれば、（２）の遠隔操作システムについて、前記拡大表示が指示された領域を特定する領域情報は、前記拡大表示が指示された領域の左上の位置情報、および前記復号化された携帯端末画面と前記拡大表示が指示された領域との縮尺率を含むことを特徴とする遠隔操作システムを提案している。
【００１３】
この発明によれば、拡大表示が指示された領域を特定する領域情報は、拡大表示が指示された領域の左上の位置情報、および復号化された携帯端末画面と拡大表示が指示された領域との縮尺率を含む。したがって、携帯端末で指定した拡大領域を被操作端末で正確に認識することができる。
【００１４】
（４）  本発明によれば、（１）から（３）の遠隔操作システムについて、前記携帯端末の表示属性情報は、前記タッチスクリーンの画面解像度およびフレームレートを含むことを特徴とする遠隔操作システムを提案している。
【００１５】
この発明によれば、携帯端末の表示属性情報は、タッチスクリーンの画面解像度およびフレームレートを含む。したがって、携帯端末のタッチスクリーンに表示される被操作端末画面を、タッチスクリーンに適した形式に修正することにより、被操作端末画面をそのまま符号化して送信する方法に比べ、ネットワーク帯域の節約や処理負荷の低減が可能である。
【００１６】
（５）  本発明によれば、（１）から（４）の遠隔操作システムについて、前記被操作端末情報送信手段は、前記携帯端末情報受信手段で、前記携帯端末の表示属性情報と、前記符号化方式とを前記携帯端末から受信したことに応じて、前記被操作端末の表示属性情報を送信することを特徴とする遠隔操作システムを提案している。
【００１７】
この発明によれば、被操作端末情報送信手段は、携帯端末情報受信手段で、携帯端末の表示属性情報と、符号化方式とを携帯端末から受信したことに応じて、被操作端末の表示属性情報を送信する。したがって、携帯端末は、自己の表示属性情報および符号化方式の返信として被操作端末の表示属性情報を受信することにより、携帯端末において、自己の表示属性情報および符号化方式が被操作端末に送信されたことを確認することができる。
【００１８】
（６）  本発明によれば、（１）から（５）の遠隔操作システムについて、前記携帯端末情報送信手段は、前記被操作端末と前記携帯端末とのペアリング通信が確立したことに応じて、前記携帯端末の表示属性情報と、前記符号化方式とを前記被操作端末に送信することを特徴とする遠隔操作システムを提案している。
【００１９】
この発明によれば、携帯端末情報送信手段は、被操作端末と携帯端末とのペアリング通信が確立したことに応じて、携帯端末の表示属性情報と、符号化方式とを被操作端末に送信する。したがって、被操作端末を携帯端末により遠隔操作できる場合に、被操作端末画面を修正して作成された携帯端末画面を符号化し、携帯端末画面に送信することができる。
【００２０】
（７）  本発明によれば、タッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法であって、前記携帯端末が、自己の表示属性情報と、自己で復号可能な符号化方式とを前記被操作端末に送信する第１のステップ（例えば、図４のステップＳ１）と、前記被操作端末が、前記携帯端末の表示属性情報と、前記符号化方式とを前記携帯端末から受信する第２のステップ（例えば、図４のステップＳ２）と、前記被操作端末が、前記被操作端末の表示属性情報を送信する第３のステップ（例えば、図４のステップＳ３）と、前記携帯端末が、前記被操作端末の表示属性情報を受信する第４のステップ（例えば、図４のステップＳ４）と、前記被操作端末が、受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する第５のステップ（例えば、図４のステップＳ５）と、前記被操作端末が、受信した符号化方式に基づいて、前記携帯端末画面を符号化する第６のステップ（例えば、図４のステップＳ６）と、前記被操作端末が、符号化された携帯端末画面を前記携帯端末に送信する第７のステップ（例えば、図４のステップＳ７）と、前記携帯端末が、前記符号化された携帯端末画面を前記被操作端末から受信する第８のステップ（例えば、図５のステップＳ８０）と、前記携帯端末が、前記符号化された携帯端末画面を復号化する第９ステップ（例えば、図５のステップＳ８１）と、前記携帯端末が、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、前記復号化された携帯端末画面上のタッチ位置を示す位置情報を、前記自己の表示属性情報および前記被操作端末の表示属性情報に基づいて、前記被操作端末の画面における位置情報に補正する第１０のステップ（例えば、図５のステップＳ８２、Ｓ８３、Ｓ８４）と、前記携帯端末が、補正された位置情報を前記被操作端末に送信する第１１のステップ（例えば、図５のステップＳ８５）と、前記被操作端末が、前記携帯端末から受信した前記補正された位置情報に基づいて、前記タッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１２のステップ（例えば、図４のステップＳ９）と、を備えることを特徴とする遠隔操作方法を提案している。
【００２１】
この発明によれば、まず、第１のステップにおいて、携帯端末は、自己の表示属性情報と、自己で復号可能な符号化方式とを前記被操作端末に送信する。次に、第２のステップにおいて、被操作端末は、携帯端末の表示属性情報と、符号化方式とを携帯端末から受信する。次に、第３のステップにおいて、被操作端末は、自己の表示属性情報を送信する。次に、第４のステップにおいて、携帯端末は、被操作端末の表示属性情報を受信する。次に、第５のステップにおいて、被操作端末は、受信した携帯端末の表示属性情報に基づいて、被操作端末の画面を修正した携帯端末画面を作成する。次に、第６のステップにおいて、被操作端末は、受信した符号化方式に基づいて、携帯端末画面を符号化する。次に、第７のステップにおいて、被操作端末は、符号化された携帯端末画面を携帯端末に送信する。次に、第８のステップにおいて、携帯端末は、符号化された携帯端末画面を被操作端末から受信する。次に、第９のステップにおいて、携帯端末は、符号化された携帯端末画面を復号化する。次に、第１０のステップにおいて、携帯端末は、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、復号化された携帯端末画面上のタッチ位置を示す位置情報を、自己の表示属性情報および被操作端末の表示属性情報に基づいて、被操作端末画面における位置情報に補正する。次に、第１１のステップにおいて、携帯端末は、補正された位置情報を被操作端末に送信する。次に、第１２のステップにおいて、被操作端末は、携帯端末から受信した補正された位置情報に基づいて、タッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、被操作端末画面を携帯端末のタッチスクリーンに表示することにより、同じ室内等における近距離での遠隔操作において、被操作端末の操作を、携帯端末のタッチスクリーンへのタッチ操作により代替することができる。また、被操作端末画面を、携帯端末の表示属性情報に基づいて修正した携帯端末画面を携帯端末に送信することにより、従来の被操作端末画面をそのまま符号化して送信する方法に比べ、ネットワーク帯域の節約や処理負荷の低減が可能である。
【００２２】
（８）  本発明によれば、タッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法をコンピュータに実行させるためのプログラムであって、前記携帯端末が、自己の表示属性情報と、自己で復号可能な符号化方式とを前記被操作端末に送信する第１のステップ（例えば、図４のステップＳ１）と、前記被操作端末が、前記携帯端末の表示属性情報と、前記符号化方式とを前記携帯端末から受信する第２のステップ（例えば、図４のステップＳ２）と、前記被操作端末が、前記被操作端末の表示属性情報を送信する第３のステップ（例えば、図４のステップＳ３）と、前記携帯端末が、前記被操作端末の表示属性情報を受信する第４のステップ（例えば、図４のステップＳ４）と、前記被操作端末が、受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する第５のステップ（例えば、図４のステップＳ５）と、前記被操作端末が、受信した符号化方式に基づいて、前記携帯端末画面を符号化する第６のステップ（例えば、図４のステップＳ６）と、前記被操作端末が、符号化された携帯端末画面を前記携帯端末に送信する第７のステップ（例えば、図４のステップＳ７）と、前記携帯端末が、前記符号化された携帯端末画面を前記被操作端末から受信する第８のステップ（例えば、図５のステップＳ８０）と、前記携帯端末が、前記符号化された携帯端末画面を復号化する第９ステップ（例えば、図５のステップＳ８１）と、前記携帯端末が、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、前記復号化された携帯端末画面上のタッチ位置を示す位置情報を、前記自己の表示属性情報および前記被操作端末の表示属性情報に基づいて、前記被操作端末の画面における位置情報に補正する第１０のステップ（例えば、図５のステップＳ８２、Ｓ８３、Ｓ８４）と、前記携帯端末が、補正された位置情報を前記被操作端末に送信する第１１のステップ（例えば、図５のステップＳ８５）と、前記被操作端末が、前記携帯端末から受信した前記補正された位置情報に基づいて、前記タッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１２のステップ（例えば、図４のステップＳ９）と、をコンピュータに実行させるためのプログラムを提案している。
【００２３】
この発明によれば、まず、第１のステップにおいて、携帯端末は、自己の表示属性情報と、自己で復号可能な符号化方式とを前記被操作端末に送信する。次に、第２のステップにおいて、被操作端末は、携帯端末の表示属性情報と、符号化方式とを携帯端末から受信する。次に、第３のステップにおいて、被操作端末は、自己の表示属性情報を送信する。次に、第４のステップにおいて、携帯端末は、被操作端末の表示属性情報を受信する。次に、第５のステップにおいて、被操作端末は、受信した携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する。次に、第６のステップにおいて、被操作端末は、受信した符号化方式に基づいて、携帯端末画面を符号化する。次に、第７のステップにおいて、被操作端末は、符号化された携帯端末画面を携帯端末に送信する。次に、第８のステップにおいて、携帯端末は、符号化された携帯端末画面を被操作端末から受信する。次に、第９のステップにおいて、携帯端末は、符号化された携帯端末画面を復号化する。次に、第１０のステップにおいて、携帯端末は、復号化された携帯端末画面が表示されたタッチスクリーンへのタッチ操作を検出すると、復号化された携帯端末画面上のタッチ位置を示す位置情報を、自己の表示属性情報および被操作端末の表示属性情報に基づいて、被操作端末画面における位置情報に補正する。次に、第１１のステップにおいて、携帯端末は、補正された位置情報を被操作端末に送信する。次に、第１２のステップにおいて、被操作端末は、携帯端末から受信した補正された位置情報に基づいて、タッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、被操作端末画面を携帯端末のタッチスクリーンに表示することにより、同じ室内等における近距離での遠隔操作において、被操作端末の操作を、携帯端末のタッチスクリーンへのタッチ操作により代替することができる。また、被操作端末画面を、携帯端末の表示属性情報に基づいて修正した携帯端末画面を携帯端末に送信することにより、従来の被操作端末画面をそのまま符号化して送信する方法に比べ、ネットワーク帯域の節約や処理負荷の低減が可能である。
【発明の効果】
【００２４】
本発明によれば、同じ室内等における近距離での遠隔操作において、被操作端末の操作を、携帯端末のタッチスクリーンへのタッチ操作により代替することができる。また、ユーザから要求に応じて、携帯端末に表示された被操作端末の画面の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することを目的とする。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態に係る遠隔操作システムの構成図である。
【図２】本発明の第１の実施形態に係る携帯端末画面の模式図である。
【図３】本発明の第１の実施形態に係る被操作端末画面および携帯端末画面の模式図である。
【図４】本発明の第１の実施形態に係る遠隔操作システムの処理フローである。
【図５】本発明の第１の実施形態に係る携帯端末のタッチ操作の処理フローである。
【図６】本発明の第２の実施形態に係る遠隔操作システムの構成図である。
【図７】本発明の第２の実施形態に係る携帯端末における携帯端末画面の拡大表示を示す模式図である。
【図８】本発明の第２の実施形態に係る携帯端末画面と拡大領域の位置関係を示す模式図である。
【発明を実施するための形態】
【００２６】
以下、図面を用いて、本発明の実施形態について詳細に説明する。なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含むさまざまなバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００２７】
＜第１の実施形態＞
＜遠隔操作システムの構成＞
図１は、本発明の第１の実施形態に係る遠隔操作システム１の構成図である。遠隔操作システム１は、携帯端末２００を用いて被操作端末１００を遠隔操作するシステムである。図１に示すように、遠隔操作システム１は、被操作端末１００と、被操作端末１００と通信ネットワーク１０を介して通信可能な携帯端末２００とを備える。
【００２８】
本実施形態において、通信ネットワーク１０として、例えば、無線ＬＡＮ等を利用したＴＣＰ／ＩＰ通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、赤外線等のデジタル無線通信が挙げられる。なお、通信ネットワーク１０は、同じ室内の離れた場所等の近距離での通信が可能であればよく、これらの通信手段に限るものではない。
【００２９】
被操作端末１００と携帯端末２００と間の通信は、両者のペアリングにより確立される。赤外線の場合は物理的に対向させることでペアリングする通信相手を一意に決定することが可能であり、Ｂｌｕｅｔｏｏｔｈでは標準的なペアリング手順が規定されている。一方、ＴＣＰ／ＩＰを利用する場合は、ＩＰアドレスやサーバ名（ＦＱＤＮ）で通信相手を明示したり、ＳＳＤＰ（Ｓｉｍｐｌｅ  Ｓｅｒｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ  Ｐｒｏｔｏｃｏｌ）やマルチキャストＤＮＳ等の自動サービス発見方式を利用したりしてペアリングを確立する必要がある。
【００３０】
被操作端末１００は、画面出力が可能な表示部を備えた情報端末であるものとするが、情報端末としての機能を具備したテレビやディスプレイであっても、ディスプレイに接続されたセットトップボックスやパーソナルコンピュータ等の端末であってもよい。図１に示すように、被操作端末１００は、表示部１０１、携帯端末情報受信部１０２、被操作端末情報送信部１０３、表示画面制御部１０４、符号化部１０５、画面送信部１０６、および操作処理部１０７を備える。
【００３１】
表示部１０１は、被操作端末画面を表示し、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｓｐｌａｙ）等によって構成される。表示部１０１はタッチスクリーンであってもよい。
【００３２】
携帯端末情報受信部１０２は、携帯端末２００から、携帯端末２００の表示属性情報と、携帯端末２００で復号可能な符号化方式とを受信する。ここで、携帯端末２００の表示属性情報には、後述する携帯端末２００のタッチスクリーン２０５の画面解像度とフレームレートとが含まれる。また、携帯端末２００で復号可能な符号化方式としては、例えば、ＭＰＥＧ−２  （ＩＳＯ／ＩＥＣ  １３８１８−２，  ＩＴＵ−Ｔ  Ｈ．２６２）やＭＰＥＧ−４  ＡＶＣ  （ＩＳＯ／ＩＥＣ  １４４９６−１０，  ＩＴＵ−Ｔ  Ｈ．２６４）等の標準的な方式が挙げられる。
【００３３】
被操作端末情報送信部１０３は、携帯端末２００に被操作端末１００の表示属性情報を送信する。なお、被操作端末１００の表示属性情報には、被操作端末の表示部１０１の画面解像度が含まれていればよい。被操作端末情報送信部１０３は、携帯端末２００に被操作端末１００の表示属性情報を、携帯端末情報受信部１０２で、携帯端末２００の表示属性情報と、携帯端末２００で復号可能な符号化方式とを受信したことに応じて、送信してもよいし、後述する画面送信部１０６で符号化された携帯端末画面を送信する際に合わせて送信してもよい。
【００３４】
表示画面制御部１０４は、携帯端末情報受信部１０２で受信した携帯端末２００の表示属性情報に基づいて、表示部１０１に表示されている被操作端末画面を修正し、携帯端末２００のタッチスクリーン２０５に表示する携帯端末画面を作成する。具体的には、被操作端末画面を、タッチスクリーン２０５の画面解像度に縮小する。なお、被操作端末１００と携帯端末２００の縦横比（アスペクト比）が異なる場合は、図２に示すように、上下ないし左右に黒帯３０１、３０２、３１１、３１２を入れて携帯端末の縦横比に合わせた上で、携帯端末２００のタッチスクリーン２０５内に被操作端末画面が収まるように縮小する。
【００３５】
符号化部１０５は、表示画面制御部１０４で作成された携帯端末画面を、携帯端末情報受信部１０２に受信した符号化方式に基づいて、符号化する。
【００３６】
画面送信部１０６は、符号化部１０５で符号化された携帯端末画面を携帯端末２００に送信する。送信方式として、例えばＲＴＰ  （ＩＥＴＦ  ＲＦＣ  ３５５０）等の標準的な方式を利用することができる。
【００３７】
操作処理部１０７は、携帯端末２００から受信した、被操作端末画面の座標系に補正された位置情報に基づいて、携帯端末２００から指示された操作を特定し、実行する。それにより、被操作端末１００において実際にユーザ操作が発生したかのように携帯端末２００におけるタッチ操作を処理することができる。操作処理部１０７の自律処理やユーザ操作による処理によって、表示部１０１に表示される被操作端末画面が更新されると、その被操作端末画面が符号化されて携帯端末２００に送信される処理が繰り返される。なお、操作処理部１０７は、いわゆるアプリケーションを指す。
【００３８】
携帯端末２００は、タッチスクリーンを備え、通信機能を有する携帯端末であって、例えば、ＰＨＳ、ＰＤＡ、ＰＣ、ゲーム機等が挙げられる。図１に示すように、携帯端末２００は、携帯端末情報送信部２０１、被操作端末情報受信部２０２、画面受信部２０３、復号化部２０４、タッチスクリーン２０５、位置情報補正部２０６、および位置情報送信部２０７を備える。
【００３９】
携帯端末情報送信部２０１は、被操作端末１００に、自己の表示属性情報と、自己の符号化方式とを送信する。なお、携帯端末情報送信部２０１は、被操作端末１００とのペアリングが確立した際に、自己の表示属性情報と、自己の符号化方式とを、被操作端末１００に送信してもよい。
【００４０】
被操作端末情報受信部２０２は、被操作端末１００の表示属性情報を被操作端末１００から送信する。
【００４１】
画面受信部２０３は、被操作端末１００で符号化された携帯端末画面を被操作端末１００から受信する。
【００４２】
復号化部２０４は、画面受信部２０３で受信した携帯端末画面を復号し、携帯端末画面を取得する。そして、復号化部２０４は、取得した携帯端末画面をタッチスクリーン２０５に出力する。
【００４３】
図３に、被操作端末１００の表示部１０１に表示された被操作端末画面４０１と、携帯端末２００のタッチスクリーン２０５に表示された携帯端末画面４０２とを表示する。本発明に係る第１の実施形態において、図３に示すように、被操作端末画面４０１は携帯端末画面４０２としてタッチスクリーン２０５に表示される。
【００４４】
タッチスクリーン２０５は、導電性のある希少金属が透明な基材に蒸着されて実現された透明導電部材と，ユーザが押した透明導電部材上の位置を検出する位置検出回路と、文字や画像を表示するディスプレイとが組み合わされた装置であって、物体（例えば指やタッチペン）のタッチを検知して、そのタッチ位置を示す位置情報を位置情報補正部２０６に出力する。
【００４５】
位置情報補正部２０６は、携帯端末画面が表示されたタッチスクリーン２０５へのユーザのタッチ操作を検出すると、タッチスクリーン２０５からタッチ位置情報を受信する。そして、位置情報補正部２０６は、受信したタッチ位置情報を、被操作端末情報受信部２０２で受信した被操作端末１００の表示属性情報、および自己の表示属性情報に基づいて、被操作端末画面における位置情報に補正する。これにより、携帯端末画像の座標系であるタッチ位置情報を被操作端末画面の座標系に補正することができる。以下、補正によって得られた被操作端末画面における位置情報を補正位置情報という。
【００４６】
被操作端末１００の表示属性情報として、被操作端末１００の画面解像度（横×縦）Ｗ×Ｈ、携帯端末２００の表示属性情報として、携帯端末２００のタッチスクリーン２０５の画面解像度（横×縦）ｗ×ｈ、タッチ位置をＰ（ｘ，ｙ）とすると、被操作端末画面上に相当する座標は、Ｐ’（ｘ＊Ｈ／ｈ，  ｙ＊Ｈ／ｈ）と表すことができる。なお、画面の上下または左右に黒帯が描画されている場合には、黒帯の領域は除外して補正位置情報を計算する。
【００４７】
位置情報送信部２０７は、位置情報補正部２０６で得られた補正位置情報を被操作端末１００に送信する。
【００４８】
＜遠隔操作システムの処理フロー＞
次に、図４を用いて本発明に係る遠隔操作システム１の処理について説明する。
【００４９】
まず、ステップＳ１において、携帯端末２００の携帯端末情報送信部２０１は、自己の表示属性情報を被操作端末１００に送信する。
次に、ステップＳ２において、被操作端末１００の携帯端末情報受信部１０２は、携帯端末２００の表示属性情報を携帯端末２００から受信する。
【００５０】
次に、ステップＳ３において、被操作端末１００の被操作端末情報送信部１０３は、自己の表示属性情報を携帯端末２００に送信する。
次に、ステップＳ４において、携帯端末２００の被操作端末情報受信部２０２は、被操作端末１００の表示属性情報を被操作端末１００から受信する。
【００５１】
次に、ステップＳ５において、被操作端末１００の表示画面制御部１０４は、ステップＳ２で受信した携帯端末２００の表示属性情報に基づいて、表示部１０１に表示されている被操作端末画面を修正し、携帯端末画面を作成する。
【００５２】
次に、ステップＳ６において、被操作端末１００の符号化部１０５は、ステップＳ５で作成した携帯端末画面を符号化する。
【００５３】
次に、ステップＳ７において、被操作端末１００の画面送信部１０６は、ステップＳ４で符号化した携帯端末画面を携帯端末２００に送信する。
【００５４】
次に、ステップＳ８において、携帯端末２００は、符号化された携帯端末画面を受信すると、被操作端末１００の操作に替わるタッチ操作処理を行い、被操作端末１００に補正位置情報を送信する。具体的なタッチ操作処理については、後述する。
【００５５】
次に、ステップＳ９において、被操作端末１００の操作処理部１０７は、携帯端末２００から受信した補正位置情報に基づいて、携帯端末２００に入力された操作を特定し、特定した操作を実行する。
【００５６】
続いて、図５を用いて携帯端末２００のタッチ操作処理について説明する。
【００５７】
まず、ステップＳ８０において、携帯端末２００の画面受信部２０３は、符号化された携帯端末画面を被操作端末１００から受信する。
【００５８】
次に、ステップＳ８１において、携帯端末２００の復号化部２０４は、ステップＳ８０で受信した符号化された携帯端末画面を復号する。
【００５９】
次に、ステップＳ８２において、携帯端末２００のタッチスクリーン２０５は、ステップＳ８１で復号化された携帯端末画面を表示する。
【００６０】
次に、ステップＳ８３において、携帯端末２００の位置情報補正部２０６は、携帯端末２００のタッチスクリーン２０５へのタッチ操作を検出したか否かを判断する。タッチスクリーン２０５へのタッチ操作を検出した場合（ＹＥＳ）には、ステップＳ８４に処理を進め、検出しなかった場合（ＮＯ）には、処理を終了する。
【００６１】
次に、ステップＳ８４において、携帯端末２００の位置情報補正部２０６は、タッチスクリーン２０５から受信したタッチ位置情報を、被操作端末１００から受信した被操作端末１００の表示属性情報、および自己の表示属性情報に基づいて、被操作端末画面における位置情報に補正し、補正位置情報を得る。
【００６２】
次に、ステップＳ８５において、携帯端末２００の位置情報送信部２０７は、ステップＳ８４で得られた補正位置情報を被操作端末１００に送信する。
【００６３】
以上説明したように、本実施形態によれば、同じ室内等における近距離での遠隔操作において、被操作端末への操作を携帯端末のタッチスクリーンへのタッチ操作により代替することができる。また、被操作端末画面を、携帯端末の表示属性情報に基づいて修正した携帯端末画面を携帯端末に送信することにより、従来の被操作端末画面をそのまま符号化して送信する方法に比べ、ネットワーク帯域の節約や処理負荷の低減が可能である。
【００６４】
＜第２の実施形態＞
図６から図８を用いて、本発明の第２の実施形態について説明する。なお、第２の実施形態における遠隔操作システム２は、携帯端末２００のタッチスクリーン２０５に表示された被操作端末画面の一部を拡大する機能を備えている。
【００６５】
＜遠隔操作システムの構成＞
第２の実施形態に係る遠隔操作システム２は、図６に示すように、被操作端末１１０と、被操作端末１１０と通信ネットワーク１０を介して通信可能な携帯端末２１０とを備える。なお、第１の実施形態と同一の符号を付す構成要素については、同一の機能を有することから、その詳細な説明は省略する。
【００６６】
被操作端末１１０は、図６に示すように、表示部１０１、携帯端末情報受信部１１２、被操作端末情報送信部１０３、表示画面制御部１０４、符号化部１０５、画面送信部１０６、および操作処理部１０７を備える。
【００６７】
携帯端末情報受信部１１２は、携帯端末２００から、携帯端末２００の表示属性情報と、携帯端末２００で復号可能な符号化方式とを受信する。また、携帯端末情報受信部１１２は、携帯端末２００から補正領域情報を受信する。補正領域情報とは、携帯端末２００において、ユーザ操作により拡大表示が指示された領域（以下、拡大領域という）を被操作端末画面上において特定する情報である。
【００６８】
表示画面制御部１１４は、携帯端末情報受信部１１２で受信した補正領域情報に基づいて、被操作端末画面のうち拡大領域を取得する。そして、表示画面制御部１１４は、携帯端末情報受信部１１２で受信した携帯端末２００の表示属性情報に基づいて、取得した拡大領域を修正することにより、携帯端末画面を作成する。なお、表示画面制御部１１４は、取得した拡大領域を表示部１０１に表示させてもよい。
【００６９】
携帯端末２００は、図６に示すように、携帯端末情報送信部２１１、被操作端末情報受信部２０２、モード切替部２０８、画面受信部２０３、復号化部２０４、タッチスクリーン２０５、位置情報補正部２１６、および位置情報送信部２０７を備える。
【００７０】
モード切替部２０８は、ユーザ操作に応じて、拡大モードと通常操作モードとを切り替える。ここで、拡大モードとは、タッチスクリーン２０５へのタッチ操作により、タッチスクリーン２０５に表示されている被操作端末画面の一部の領域を拡大するモードである。一方、通常操作モードとは、被操作端末１００の操作を携帯端末２００のタッチスクリーン２０５にて行うことができるモードである。モード切替部２０８は、例えば、携帯端末２００のボタンやタッチスクリーン２０５上のボタンがユーザにより押下されたことを受信して、モードを切り替える。
【００７１】
位置情報補正部２１６は、モード切替部２０８で「拡大モード」に切り替えられている場合には、タッチスクリーン２０５へのユーザの操作を検出すると、タッチスクリーン２０５に表示された被操作端末画面において、ユーザのタッチ操作により拡大表示が指示された領域（拡大領域）を特定する領域情報をタッチスクリーン２０５から受信する。
【００７２】
図７は、本発明の第２の実施形態に係る携帯端末２００における携帯端末画面４０２の拡大表示を示す模式図である。図７に示したように、タッチスクリーン２０５に表示されている携帯端末画面４０２からユーザの操作により選択された拡大領域４１２は、被操作端末１００により携帯端末画面４０３として作成され、作成された携帯端末画面４０３がタッチスクリーン２０５に表示される。
【００７３】
ここで、ユーザの操作として、例えば、タッチスクリーン２０５に表示されている被操作端末画面のうち拡大領域へのダブルタップや、拡大領域のピンチ、あるいは、タッチスクリーン上に拡大操作用のＧＵＩを表示する方法がある。なお、ピンチとは、２本の指の間を広げたり縮めたりする操作をいう。また、拡大領域の領域情報とは、拡大領域の左上の位置情報、および復号化された携帯端末画面と拡大領域との縮尺率を含む。なお、縮尺率の換わりに拡大領域の四隅の位置情報を含んでもよい。
【００７４】
そして、位置情報補正部２１６は、タッチスクリーン２０５から受信した領域情報を補正し、補正領域情報を得る。領域情報の補正について、図８を用いて、具体的に説明する。図８に示すように、携帯端末画面４０２の画素数（縦×横）をｈ×ｗ、拡大領域４１２の携帯端末画面４０２における左上の位置情報をＲ（Ｘ，Ｙ）、縮尺率をｒとする。
【００７５】
まず、位置情報補正部２１６は、被操作端末情報受信部２０２で受信した被操作端末１００の表示属性情報に含まれる被操作端末画面の画素数と、タッチスクリーン２０５の画素数とに基づいて、タッチスクリーン２０５に対する被操作端末画面の比率を求める。被操作端末画面の画素数（縦×横）がＨ×Ｗであって、タッチスクリーン２０５画素数が上述したようにｈ×ｗの場合には、Ｈ／ｈと表すことができる。そして、位置情報補正部２１６は、このタッチスクリーン２０５に対する被操作端末画面の比率Ｈ／ｈを用いて、Ｒ（Ｘ，Ｙ）を補正し、補正位置情報Ｒ’（ＸＨ／ｈ，ＹＨ／ｈ）を得る。補正位置情報Ｒ’は、被操作端末画面上における拡大領域の左上の位置情報であって、このようにして得られた補正位置情報Ｒ’、および縮尺率ｒにより、被操作端末画面上における拡大領域は、左上の座標がＲ’（ＸＨ／ｈ，ＹＨ／ｈ）で（幅，高さ）が（ｒＨ，ｒＷ）である矩形領域として、上述した表示画面制御部１１４にて取得される。なお、拡大領域のアスペクト比は携帯端末の画面と同じになるようにする必要があり、その場合には、拡大領域の（幅，高さ）は（ｒＨ，ｒＨ＊ｗ／ｈ）となる。
【００７６】
次に、図８に示した拡大領域において、タッチ操作が検出された場合について説明する。図８に示すように、携帯端末画面のタッチ位置情報をＰ（ｘ，ｙ）とすると、位置情報補正部２１６は、被操作端末画面における対応点Ｐ’’（ｘ’’，ｙ’’）の位置情報を、拡大領域を考慮して、Ｐ（ｘ，ｙ）を補正し、補正位置情報Ｐ’’（（Ｘ＋ｒｘ）＊Ｈ／ｈ，（Ｙ＋ｒｙ）＊Ｈ／ｈ）を得る。このようにして得られた補正位置情報Ｐ’’が位置情報送信部２０７にて被操作端末１００に送信され、操作処理部１０７にて操作処理が行われる。
【００７７】
携帯端末情報送信部２１１は、位置情報補正部２１６で得られた補正領域情報、図８に示した例においては、補正位置情報Ｒ’（ＸＨ／ｈ，ＹＨ／ｈ）および縮尺率ｒ、を被操作端末１００に送信する。それにより、携帯端末２００で指定した拡大領域を被操作端末１００で正確に認識することができる。
【００７８】
以上説明したように、本実施形態によれば、ユーザから要求に応じて、携帯端末に表示された被操作端末画面の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末のタッチスクリーンへのタッチ操作の操作精度を向上するとともに、ユーザの操作性を向上することができる。
【００７９】
なお、遠隔操作システムの処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを、遠隔操作システムを構成する各機器に読み込ませ、実行することによって本発明の遠隔操作システムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００８０】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８１】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８２】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８３】
１      遠隔操作システム
１０    通信ネットワーク
１００  被操作端末
１０１  表示部
１０２  携帯端末情報受信部
１０３  被操作端末情報送信部
１０４  表示画面制御部
１０５  符号化部
１０６  画面送信部
１０７  操作処理部
２００  操作端末
２０１  携帯端末情報送信部
２０２  被操作端末情報受信部
２０３  画面受信部
２０４  復号化部
２０５  タッチスクリーン
２０６  位置情報補正部
２０７  位置情報送信部
【図１】
2012093940.tif 000003
【図２】
2012093940.tif 000004
【図３】
2012093940.tif 000005
【図４】
2012093940.tif 000006
【図５】
2012093940.tif 000007
【図６】
2012093940.tif 000008
【図７】
2012093940.tif 000009
【図８】
2012093940.tif 000010