(57)【要約】【課題】被操作端末の操作を携帯端末のタッチスクリーンへのタッチ操作により代替する。【解決手段】被操作端末１００は、画像領域を特定するマーカーを画像に重ね合わせたマーカー画像を表示部１０１に表示する被操作端末画像出力部１０３と、携帯端末２００から受信した相対位置情報を表示部１０１に表示されたマーカー画像上の位置を示す絶対位置情報に変換する相対位置情報変換部１０５と、変換された絶対位置情報と、マーカー画像とにより特定された操作を実行する操作処理部１０６と、を備え、携帯端末２００は、表示部１０１に表示されたマーカー画像が写っているカメラ画像を表示したタッチスクリーン２０４へのタッチ操作を検出すると、カメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する相対位置情報計算部２０６と、計算された相対位置情報を被操作端末１００に送信する相対位置情報送信部２０７と、を備える。【選択図】図１
2012088959.tif 000002
【特許請求の範囲】
【請求項１】
カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムであって、
前記被操作端末は、
画像を表示する表示手段と、
前記画像の領域を特定するためのマーカーを生成するマーカー生成手段と、
生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する被操作端末画像出力手段と、
を備え、
前記携帯端末は、
前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得するカメラ画像取得手段と、
取得されたカメラ画像を前記タッチスクリーンに出力する携帯端末画像出力手段と、
前記取得されたカメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得するマーカー位置情報取得手段と、
前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する相対位置情報計算手段と、
計算された相対位置情報を前記被操作端末に送信する相対位置情報送信手段と、
を備え、
さらに、
前記被操作端末は、
前記携帯端末から前記相対位置情報を受信する相対位置情報受信手段と、
受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する相対位置情報変換手段と、
変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する操作処理手段と、
を備えることを特徴とする遠隔操作システム。
【請求項２】
前記マーカー生成手段は、前記画像の四隅それぞれに対して一意に識別可能なマーカーを生成することを特徴とする請求項１に記載の遠隔操作システム。
【請求項３】
前記マーカー位置情報取得手段は、前記取得されたカメラ画像から、前記取得されたカメラ画像に写っているマーカー画像の四隅のマーカーを検出し、検出した四隅のマーカーそれぞれを左上隅、右上隅、左下隅、右下隅に識別し、識別した四隅のマーカーそれぞれのカメラ画像上の座標を求めて位置ベクトルとして出力することを特徴とする請求項２に記載の遠隔操作システム。
【請求項４】
前記相対位置情報計算手段は、前記タッチ位置情報に基づいて、前記カメラ画像上のタッチ位置の位置ベクトルを、前記識別した四隅のマーカーの前記カメラ画像上の位置ベクトルの一次結合として方程式を立てることによって、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算することを特徴とする請求項３に記載の遠隔操作システム。
【請求項５】
前記相対位置情報変換手段は、前記表示手段の画面解像度に基づいて、前記受信した相対位置情報を前記絶対位置情報に変換することを特徴とする請求項１から４のいずれかに記載の遠隔操作システム。
【請求項６】
前記マーカー生成手段は、前記被操作端末と前記携帯端末とのペアリング通信が確立している際に、マーカーを生成することを特徴とする請求項１から５のいずれかに記載の遠隔操作システム。
【請求項７】
カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法であって、
前記被操作端末が、表示手段に表示される画像の領域を特定するためのマーカーを生成する第１のステップと、
前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する第２のステップと、
前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップと、
前記携帯端末が、取得されたカメラ画像を前記タッチスクリーンに出力する第４のステップと、
前記携帯端末が、前記取得されたカメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第５のステップと、
前記携帯端末が、前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第６のステップと、
前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第７のステップと、
前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第８のステップと、
前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第９のステップと、
前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１０のステップと、
を備えることを特徴とする遠隔操作方法。
【請求項８】
カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法をコンピュータに実行させるためのプログラムであって、
前記被操作端末が、表示手段に表示される画像の領域を特定するためのマーカーを生成する第１のステップと、
前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する第２のステップと、
前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップと、
前記携帯端末が、取得されたカメラ画像を前記タッチスクリーンに出力する第４のステップと、
前記携帯端末が、前記取得されたカメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第５のステップと、
前記携帯端末が、前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第６のステップと、
前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第７のステップと、
前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第８のステップと、
前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第９のステップと、
前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１０のステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチスクリーンとカメラとを具備した携帯端末により被操作端末を遠隔操作する遠隔操作システムに関し、特に、被操作端末の操作を、携帯端末のタッチスクリーンへのタッチ操作により行うことを可能とする遠隔操作システムに関する。
【背景技術】
【０００２】
近年、タッチスクリーンを備えた携帯端末、大画面ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ハイビジョンテレビ等の機器の普及が進んでいる。しかし、携帯性のない大画面ＰＣやハイビジョンテレビ等においては、例えば同じ室内の離れた場所から、タッチスクリーンのタッチ操作を遠隔操作することは難しい。従来の遠隔操作装置（例えば、リモートコントローラ、以下、リモコンという）は、ボタン操作を主に想定しているために、タッチスクリーンへのタッチ操作を代替することができないからである。
【０００３】
特許文献１には、リモコンにタッチパッドを備えることによって、タッチ操作による座標入力を可能とし、ＰＣ等の画面に表示されるカーソルの位置を移動させることができる装置が提案されている。また、特許文献２には、操作端末に、ユーザが遠隔操作する被操作端末の画面を送信することにより、被操作端末を手元の操作端末で直接操作することができる装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９１７９１号公報
【特許文献２】特開２００７−２４１７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置では、リモコンに備えられたタッチパッド上での指移動によって、移動量による相対座標の指定をすることはできるが、ＰＣ等の画面内の特定の位置をタッチ操作によって直接入力する絶対座標の指定ができない。そのため、タッチ操作の代替手段としては適さないという問題点があった。また、特許文献２に記載の装置では、タッチスクリーンを具備した携帯端末上に被操作端末の画面を表示し、携帯端末から被操作端末を遠隔操作することができるが、高いネットワーク伝送速度が要求されるため携帯端末のような小型機器には性能や消費電力等の面で適さないという問題点があった。さらに、特許文献２に記載の装置では、被操作端末の画面にフェードやアニメーション等の動きが発生した時に必ずしも動きが反映されないといった問題点もあった。
【０００６】
そこで、本発明は、上述の課題に鑑みてなされたものであり、同じ室内等における近距離での遠隔操作において、被操作端末への操作を携帯端末のタッチスクリーンへのタッチ操作により代替することができ、さらに、被操作端末上の画面の動きに円滑に追従したタッチ操作を携帯端末で可能とした遠隔操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００８】
（１）  本発明は、カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムであって、前記被操作端末は、画像を表示する表示手段（例えば、図１の表示部１０１に相当）と、前記画像の領域を特定するためのマーカーを生成するマーカー生成手段（例えば、図１のマーカー生成部１０２に相当）と、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する被操作端末画像出力手段（例えば、図１の被操作端末画像出力部１０３に相当）と、を備え、前記携帯端末は、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得するカメラ画像取得手段（例えば、図１のカメラ画像取得部２０２に相当）と、取得されたカメラ画像を前記タッチスクリーンに出力する携帯端末画像出力手段（例えば、図１の携帯端末画像出力部２０３に相当）と、前記取得されたカメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得するマーカー位置情報取得手段（例えば、図１のマーカー位置情報取得部２０５に相当）と、前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する相対位置情報計算手段（例えば、図１の相対位置情報計算部２０６に相当）と、計算された相対位置情報を前記被操作端末に送信する相対位置情報送信手段（例えば、図１の相対位置情報送信部２０７に相当）と、を備え、さらに、前記被操作端末は、前記携帯端末から前記相対位置情報を受信する相対位置情報受信手段（例えば、図１の相対位置情報受信部１０４に相当）と、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する相対位置情報変換手段（例えば、図１の相対位置情報変換部１０５に相当）と、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する操作処理手段（例えば、図１の操作処理部１０６に相当）と、を備えることを特徴とする遠隔操作システムを提案している。
【０００９】
この発明によれば、表示手段は、画像を表示する。マーカー生成手段は、画像の領域を特定するためのマーカーを生成する。被操作端末画像出力手段は、生成されたマーカーを画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する。カメラ画像取得手段は、表示手段に表示されたマーカー画像をカメラで撮影して得られるカメラ画像を取得する。携帯端末画像出力手段は、取得されたカメラ画像をタッチスクリーンに出力する。マーカー位置情報取得手段は、取得されたカメラ画像から、マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する。相対位置情報計算手段は、カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。相対位置情報送信手段は、計算された相対位置情報を被操作端末に送信する。相対位置情報受信手段は、携帯端末から相対位置情報を受信する。相対位置情報変換手段は、受信した相対位置情報を、表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する。操作処理手段は、変換された絶対位置情報と、マーカー画像とに基づいて、携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、被操作端末への操作を携帯端末のタッチスクリーンへのタッチ操作により代替することができ、さらに、被操作端末上の画面の動きに円滑に追従したタッチ操作を携帯端末で可能とすることができる。
【００１０】
（２）  本発明は、（１）の遠隔操作システムについて、前記マーカー生成手段は、前記画像の四隅それぞれに対して一意に識別可能なマーカーを生成することを特徴とする遠隔操作システムを提案している。
【００１１】
この発明によれば、マーカー生成手段は、画像の四隅それぞれに対して一意に識別可能なマーカーを生成する。したがって、画像の四隅のマーカーに囲まれた領域を画像の領域として特定することができ、また、マーカーが画像の四隅のいずれに位置しているかを特定することができる。
【００１２】
（３）  本発明は、（２）の遠隔操作システムについて、前記マーカー位置情報取得手段は、前記取得されたカメラ画像から、前記取得されたカメラ画像に写っているマーカー画像の四隅のマーカーを検出し、検出した四隅のマーカーそれぞれを左上隅、右上隅、左下隅、右下隅に識別し、識別した四隅のマーカーそれぞれのカメラ画像上の座標を求めて位置ベクトルとして出力することを特徴とする遠隔操作システムを提案している。
【００１３】
この発明によれば、マーカー位置情報取得手段は、取得されたカメラ画像から、取得されたカメラ画像に写っているマーカー画像の四隅のマーカーを検出し、検出した四隅のマーカーそれぞれを左上隅、右上隅、左下隅、右下隅に識別し、識別した四隅のマーカーそれぞれのカメラ画像上の座標を求めて位置ベクトルとして出力する。したがって、マーカー画像の左上隅、右上隅、左下隅、右下隅の座標を位置ベクトルとして求めることができる。
【００１４】
（４）  本発明は、（３）の遠隔操作システムについて、前記相対位置情報計算手段は、前記タッチ位置情報に基づいて、前記カメラ画像上のタッチ位置の位置ベクトルを、前記識別した四隅のマーカーの前記カメラ画像上の位置ベクトルの一次結合として方程式を立てることによって、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算することを特徴とする遠隔操作システムを提案している。
【００１５】
この発明によれば、相対位置情報計算手段は、タッチ位置情報に基づいて、カメラ画像上のタッチ位置の位置ベクトルを、識別した四隅のマーカーのカメラ画像上の位置ベクトルの一次結合として方程式を立てることによって、取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。したがって、カメラ画像に写っているマーカー画像上におけるタッチ位置の相対位置情報を、簡易な計算によって、計算することができる。
【００１６】
（５）  本発明は、（１）から（４）の遠隔操作システムについて、前記位置情報変換手段は、前記表示手段の画面解像度に基づいて、前記受信した相対位置情報を前記絶対位置情報に変換することを特徴とする遠隔操作システムを提案している。
【００１７】
この発明によれば、位置情報変換手段は、表示手段の画面解像度に基づいて、受信した相対位置情報を前記絶対位置情報に変換する。したがって、携帯端末のカメラ画像に写ったマーカー画像上のタッチ位置を、被操作端末の表示手段に表示されたマーカー画像上のタッチ位置に変換することができる。
【００１８】
（６）  本発明は、（１）から（５）の遠隔操作システムについて、前記マーカー生成手段は、前記被操作端末と前記携帯端末とのペアリング通信が確立している際に、マーカーを生成することを特徴とする遠隔操作システムを提案している。
【００１９】
この発明によれば、マーカー生成手段は、被操作端末と携帯端末とのペアリング通信が確立している際に、マーカーを生成する。したがって、被操作端末を携帯端末により遠隔操作できる場合に、マーカーを作成し、表示手段にマーカー画像を表示させることができる。
【００２０】
（７）  本発明は、カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法であって、前記被操作端末が、表示手段に表示される画像の領域を特定するためのマーカーを生成する第１のステップ（例えば、図６のステップＳ１に相当）と、前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する第２のステップ（例えば、図６のステップＳ２、Ｓ３に相当）と、前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップ（例えば、図６のステップＳ４、および図７のステップＳ４０に相当）と、前記携帯端末が、取得されたカメラ画像を前記タッチスクリーンに出力する第４のステップ（例えば、図６のステップＳ４、および図７のステップＳ４１に相当）と、前記携帯端末が、前記取得されたカメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第５のステップ（例えば、図６のステップＳ４、および図７のステップＳ４２、Ｓ４３に相当）と、前記携帯端末が、前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第６のステップ（例えば、図６のステップＳ４、および図７のステップＳ４４、Ｓ４５に相当）と、前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第７のステップ（例えば、図６のステップＳ４、および図７のステップＳ４６に相当）と、前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第８のステップ（例えば、図６のステップＳ５に相当）と、前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第９のステップ（例えば、図６のステップＳ６に相当）と、前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１０のステップ（例えば、図６のステップＳ７に相当）と、を備えることを特徴とする遠隔操作方法を提案している。
【００２１】
この発明によれば、まず、第１のステップにおいて、被操作端末は、表示手段に表示される画像の領域を特定するためのマーカーを生成する。次に、第２のステップにおいて、被操作端末は、生成されたマーカーを画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する。次に、第３のステップにおいて、携帯端末は、表示手段に表示されたマーカー画像をカメラで撮影して得られるカメラ画像を取得する。次に、第４のステップにおいて、携帯端末は、取得されたカメラ画像をタッチスクリーンに出力する。次に、第５のステップにおいて、携帯端末は、取得されたカメラ画像から、マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する。次に、第６のステップにおいて、携帯端末は、カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。次に、第７のステップにおいて、携帯端末は、計算された相対位置情報を被操作端末に送信する。次に、第８のステップにおいて、被操作端末は、携帯端末から相対位置情報を受信する。次に、第９のステップにおいて、被操作端末は、受信した相対位置情報を、表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する。次に、第１０のステップにおいて、被操作端末は、変換された絶対位置情報と、マーカー画像とに基づいて、携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、被操作端末への操作を携帯端末のタッチスクリーンへのタッチ操作により代替することができ、さらに、被操作端末上の画面の動きに円滑に追従したタッチ操作を携帯端末で可能とすることができる。
【００２２】
（８）  本発明は、カメラおよびタッチスクリーンを備えた携帯端末と、前記携帯端末により操作される被操作端末と、を備える遠隔操作システムにおける遠隔操作方法をコンピュータに実行させるためのプログラムであって、前記被操作端末が、表示手段に表示される画像の領域を特定するためのマーカーを生成する第１のステップ（例えば、図６のステップＳ１に相当）と、前記被操作端末が、生成されたマーカーを前記画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を前記表示手段に出力する第２のステップ（例えば、図６のステップＳ２、Ｓ３に相当）と、前記携帯端末が、前記表示手段に表示されたマーカー画像を前記カメラで撮影して得られるカメラ画像を取得する第３のステップ（例えば、図６のステップＳ４、および図７のステップＳ４０に相当）と、前記携帯端末が、取得されたカメラ画像を前記タッチスクリーンに出力する第４のステップ（例えば、図６のステップＳ４、および図７のステップＳ４１に相当）と、前記携帯端末が、前記取得されたカメラ画像から、前記マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する第５のステップ（例えば、図６のステップＳ４、および図７のステップＳ４２、Ｓ４３に相当）と、前記携帯端末が、前記カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、前記カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、前記取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する第６のステップ（例えば、図６のステップＳ４、および図７のステップＳ４４、Ｓ４５に相当）と、前記携帯端末が、計算された相対位置情報を前記被操作端末に送信する第７のステップ（例えば、図６のステップＳ４、および図７のステップＳ４６に相当）と、前記被操作端末が、前記携帯端末から前記相対位置情報を受信する第８のステップ（例えば、図６のステップＳ５に相当）と、前記被操作端末が、受信した相対位置情報を、前記表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する第９のステップ（例えば、図６のステップＳ６に相当）と、前記被操作端末が、変換された絶対位置情報と、前記マーカー画像とに基づいて、前記携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する第１０のステップ（例えば、図６のステップＳ７に相当）と、をコンピュータに実行させるためのプログラムを提案している。
【００２３】
この発明によれば、まず、第１のステップにおいて、被操作端末は、表示手段に表示される画像の領域を特定するためのマーカーを生成する。次に、第２のステップにおいて、被操作端末は、生成されたマーカーを画像に重ね合わせたマーカー画像を作成し、作成したマーカー画像を表示手段に出力する。次に、第３のステップにおいて、携帯端末は、表示手段に表示されたマーカー画像をカメラで撮影して得られるカメラ画像を取得する。次に、第４のステップにおいて、携帯端末は、取得されたカメラ画像をタッチスクリーンに出力する。次に、第５のステップにおいて、携帯端末は、取得されたカメラ画像から、マーカーを検出して、検出したマーカーのカメラ画像上の位置を示すマーカー位置情報を取得する。次に、第６のステップにおいて、携帯端末は、カメラ画像が表示されたタッチスクリーンへのタッチ操作を検出すると、カメラ画像上のタッチ位置を示すタッチ位置情報と、取得されたマーカー位置情報とに基づいて、取得されたカメラ画像に写っているマーカー画像上のタッチ位置を示す相対位置情報を計算する。次に、第７のステップにおいて、携帯端末は、計算された相対位置情報を被操作端末に送信する。次に、第８のステップにおいて、被操作端末は、携帯端末から相対位置情報を受信する。次に、第９のステップにおいて、被操作端末は、受信した相対位置情報を、表示手段に表示されたマーカー画像上の位置を示す絶対位置情報に変換する。次に、第１０のステップにおいて、被操作端末は、変換された絶対位置情報と、マーカー画像とに基づいて、携帯端末のタッチスクリーンにて選択された操作を特定し、特定された操作を実行する。したがって、被操作端末への操作を携帯端末のタッチスクリーンへのタッチ操作により代替することができ、さらに、被操作端末上の画面の動きに円滑に追従したタッチ操作を携帯端末で可能とすることができる。
【発明の効果】
【００２４】
本発明によれば、同じ室内等における近距離での遠隔操作において、被操作端末への操作を携帯端末のタッチスクリーンへのタッチ操作により代替することができ、さらに、被操作端末上の画面の動きに円滑に追従したタッチ操作を携帯端末で可能とすることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る遠隔操作システムの構成図である。
【図２】本発明の実施形態に係る被操作端末画面を示す模式図である。
【図３】本発明の実施形態に係る被操作端末および携帯端末の位置関係の概念図である。
【図４】本発明の本実施形態に係る携帯端末の画面を示す模式図である。
【図５】本発明の本実施形態に係るタッチ位置を示す模式図である。
【図６】本発明の本実施形態に係る遠隔操作システムの処理フローである。
【図７】本発明の本実施形態に係る携帯端末のタッチ操作の処理フローである。
【発明を実施するための形態】
【００２６】
以下、図面を用いて、本発明の実施形態について詳細に説明する。なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含むさまざまなバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００２７】
図１は、本発明の実施形態に係る遠隔操作システム１の構成図である。遠隔操作システム１は、携帯端末２００を用いて被操作端末１００を遠隔操作するシステムである。図１に示すように、遠隔操作システム１は、被操作端末１００、および被操作端末１００と通信ネットワーク１０を介して通信可能な携帯端末２００とを備える。
【００２８】
本実施形態において、通信ネットワーク１０として、例えば、無線ＬＡＮ等を利用したＴＣＰ／ＩＰ通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、赤外線等のデジタル無線通信が挙げられる。なお、通信ネットワーク１０は、同じ室内の離れた場所等の近距離での通信が可能であればよく、これらの通信手段に限るものではない。
【００２９】
被操作端末１００と携帯端末２００と間の通信は、両者のペアリングにより確立される。赤外線の場合は物理的に対向させることでペアリングする通信相手を一意に決定することが可能であり、Ｂｌｕｅｔｏｏｔｈでは標準的なペアリング手順が規定されている。一方、ＴＣＰ／ＩＰを利用する場合は、ＩＰアドレスやサーバ名（ＦＱＤＮ）で通信相手を明示したり、ＳＳＤＰ（Ｓｉｍｐｌｅ  Ｓｅｒｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ  Ｐｒｏｔｏｃｏｌ）やマルチキャストＤＮＳ等の自動サービス発見方式を利用してペアリングを確立する必要がある。
【００３０】
被操作端末１００は、画面出力が可能な表示部を備えた情報端末であるものとするが、情報端末としての機能を具備したテレビやディスプレイであっても、ディスプレイに接続されたセットトップボックスやパーソナルコンピュータ等の端末であってもよい。図１に示すように、被操作端末１００は、表示部１０１、マーカー生成部１０２、被操作端末画像出力部１０３、相対位置情報受信部１０４、相対位置情報変換部１０５、および操作処理部１０６を備える。
【００３１】
表示部１０１は、後述する被操作端末画像出力部１０３から出力された画像を表示し、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｓｐｌａｙ）等によって構成される。
【００３２】
マーカー生成部１０２は、表示部１０１に表示される画像の領域を特定するために、後述する被操作端末画像出力部１０３にて画像と重ね合わせるマーカーを生成する。ここで、マーカーは、一定の大きさを持つ矩形の白黒二値画像であり、画像の四隅に重ね合わされる。また、画像の四隅それぞれのマーカーは、画像認識処理で一意に別々のものとして識別できるものである。なお、後述する携帯端末２００のカメラ２０１で被操作端末１００の表示部１０１に表示された画像（以下、被操作端末画面という）を撮影して得られたカメラ画像において、カメラ画像に写った被操作端末画面の四角形領域を認識できれば、マーカーでなくてもよい。
【００３３】
被操作端末画像出力部１０３は、表示部１０１への画像出力要求に応じて、表示部１０１に画像を出力する。被操作端末画像出力部１０３が表示部１０１に出力する画像には、被操作端末１００を操作するための操作画像と、それ以外の画像とがある。なお、操作画像以外の画像とは、例えば、放送番組、映画、写真、文書ファイル等である。本実施形態において、被操作端末画像出力部１０３は、表示部１０１に出力する画像が操作画像である場合に、マーカー画像を出力し、操作画像以外の画像である場合には、マーカー画像ではなく画像を表示部１０１に出力する。また、被操作端末画像出力部１０３は、被操作端末１００と携帯端末２００とのペアリングが確立されているか否かの判断を行い、その結果に応じて、作成したマーカー画像を出力してもよい。以下、被操作端末画像出力部１０３が、操作画像を表示部１０１に出力する場合について説明する。
【００３４】
被操作端末画像出力部１０３は、表示部１０１に出力する画像が操作画像である場合に、マーカー生成部１０２にマーカーの生成を要求し、マーカーを取得する。次に、被操作端末画像出力部１０３は、操作画像に、マーカー生成部１０２から取得したマーカーを重ね合わせ、マーカー画像を作成する。そして、被操作端末画像出力部１０３は、作成したマーカー画像を表示部１０１に出力する。なお、被操作端末１００と携帯端末２００とのペアリングが確立されているか否かの判断を行う場合には、被操作端末１００と携帯端末２００とのペアリングが確立されていると判断された場合に、被操作端末画像出力部１０３は、上述したようにマーカー画像を作成し、作成したマーカー画像を表示部１０１に出力する。一方、被操作端末画像出力部１０３が、被操作端末１００と携帯端末２００とのペアリングが確立されていないと判断した場合には、マーカー画像は生成せず、操作画像を表示部１０１に出力する。
【００３５】
図２は、本発明の実施形態に係る被操作端末画面３００を示す模式図である。図２に示すように被操作端末画面３００の四隅それぞれには異なったマーカー３０１、３０２、３０３、３０４が表示される。
【００３６】
相対位置情報受信部１０４は、後述する携帯端末２００から相対位置情報を受信する。
【００３７】
相対位置情報変換部１０５は、相対位置情報受信部１０４で受信した相対位置情報を、被操作端末画面上の位置を示す絶対位置情報に変換する。具体的には、相対位置情報変換部１０５は、携帯端末２００のカメラ２０１で撮影して得られたカメラ画像に写った被操作端末画面上のタッチ位置を示す相対位置情報を、被操作端末画面の解像度を示す画素数に基づいて、被操作端末画面上の絶対位置情報に変換する。相対位置情報が（ｓ，ｔ）、被操作端末画面の画素数が（ｗ，ｈ）の場合には、絶対位置情報は座標（ｓｗ，ｔｈ）となる。これにより、被操作端末画面上のタッチ位置を特定することができる。
【００３８】
操作処理部１０６は、相対位置情報変換部１０５で得られた絶対位置情報に基づいて、携帯端末２００から指示された操作を特定し、特定した操作を実行する。なお、操作処理部１０６は、いわゆるアプリケーションを指す。
【００３９】
携帯端末２００は、タッチスクリーンおよびカメラを備え、通信機能を有する携帯端末であって、例えば、ＰＨＳ、ＰＤＡ、ＰＣ、ゲーム機等が挙げられる。図１に示すように、携帯端末２００は、カメラ２０１、カメラ画像取得部２０２、携帯端末画像出力部２０３、タッチスクリーン２０４、マーカー位置情報取得部２０５、相対位置情報計算部２０６、および相対位置情報送信部２０７を備える。
【００４０】
カメラ２０１は、所定の対象を撮像し、撮像された画像（以下、カメラ画像という）をカメラ画像取得部２０２に出力する。
【００４１】
カメラ画像取得部２０２は、カメラ２０１で撮影されたカメラ画像を取得する。なお、カメラ画像は、動画または静止画のいずれであってもよい。但し、静止画の場合には、カメラ画像内の被操作端末画面と、実際の被操作端末画面が同じでなければならない。撮影する際の被操作端末１００および携帯端末２００の位置関係について、図３を用いて説明する。図３（ａ）には被操作端末１００および携帯端末２００の正面からの位置関係、図３（ｂ）には被操作端末１００および携帯端末２００の側面からの位置関係の概念図を示す。図３に示すように、被操作端末画面３００の全体がカメラ画像５０１内に全て収まるようにする必要がある。
【００４２】
なお、ユーザが手持ちで携帯端末２００のカメラ２０１を被操作端末画面３００に向けている場合は、手ブレ等によって画面が動いてしまう。しかし、カメラ画像取得部２０２が既知の手ブレ補正機能を備えている場合には、カメラ画像内の被操作端末画面５１０を安定させることができ、安定したタッチ操作を提供することができる。一方、カメラ画像取得部２０２にて手ブレ補正をしない場合には、カメラ画像をリアルタイムに随時取得し、後述するマーカー位置情報取得部２０５は、マーカーの位置情報を常時更新する必要がある。
【００４３】
携帯端末画像出力部２０３は、カメラ画像取得部２０２で取得されたカメラ画像をタッチスクリーン２０４に表示する。図４は、本実施形態に係る携帯端末２００の画面を示す模式図である。図３に示したように被操作端末画面３００の全体がカメラ画像５０１内に全て収まるよう撮影することにより、カメラ画像５０１に写っている被操作端末画面５１０全体をタッチスクリーン２０４に表示することができる。
【００４４】
タッチスクリーン２０４は、導電性のある希少金属が透明な基材に蒸着されて実現された透明導電部材と，ユーザが押した透明導電部材上の位置を検出する位置検出回路と，文字や画像を表示するディスプレイとが組み合わされた装置であって、物体（例えば指やタッチペン）のタッチを検知して、そのタッチ位置を示す位置情報を相対位置情報計算部２０６に出力する。
【００４５】
マーカー位置情報取得部２０５は、カメラ画像取得部２０２で取得されたカメラ画像に写っている被操作端末画面５１０内のマーカーを検出し、カメラ画像５０１上におけるマーカーの位置を示すマーカー位置情報を取得する。マーカー位置情報は、カメラ画像５０１上の座標に基づいて、位置ベクトルとして表すことができる。ここで取得されるマーカーの位置情報は、被操作端末画面の四隅の位置情報である。なお、四隅のマーカーそれぞれの位置の対応関係が、被操作端末画面に提示されているものと同じになるように、マーカー位置情報取得部２０５が記憶しているものとする。すなわち、マーカー位置情報取得部２０５は、マーカーそれぞれについて、被操作端末画面の左上隅、右上隅、左下隅、または右下隅のいずれであるかを記憶している。
【００４６】
相対位置情報計算部２０６は、携帯端末２００のタッチスクリーン２０４へのタッチ操作を検出すると、タッチスクリーン２０４上、言い換えるとカメラ画像５０１上のタッチ位置情報をタッチスクリーン２０４から取得する。そして、相対位置情報計算部２０６は、取得したタッチ位置情報と、マーカー位置情報取得部２０５で取得されたマーカー位置情報とに基づいて、カメラ画像５０１に写っている被操作端末画面５１０上のタッチ位置を示す相対位置情報を計算する。図５を用いて、タッチ位置の相対位置情報の求め方について説明する。
【００４７】
図５において、カメラ画像５０１に写っている被操作端末画面５１０の四隅のマーカーをそれぞれ点Ａ、Ｂ、Ｃ、Ｄ、タッチ位置を点Ｐとして示す。また、点Ａ、Ｂ、Ｃ、Ｄ、Ｐの座標を位置ベクトルａ、ｂ、ｃ、ｄ、ｐと表し、点Ａ、Ｂ、Ｃ、Ｄ、Ｐの座標を正規化したものを（０，０）、（１，０）、（０，１）、（１，１）、（ｓ，ｔ）とする。但し、０≦ｓ≦１、０≦ｔ≦１である。この場合、点Ｐは、ａ、ｂ、ｃ、ｄの一次結合で表され、以下の（１）式のように表すことができる。
【００４８】
【数１】
2012088959.tif 000003
【００４９】
ｘ座標、ｙ座標それぞれについて（１）式を立て、立てた２つの式を連立方程式として解くことによって、カメラ画像５０１に写った被操作端末画面５１０における点Ｐ（ｓ，ｔ）の相対位置情報を求めることができる。なお、ｘ座標、ｙ座標それぞれの（１）式を変形させると、ｓ，ｔそれぞれの２次方程式が得られ、簡易な計算によって高速に算出することができる。
【００５０】
相対位置情報送信部２０７は、相対位置情報計算部２０６で計算されたタッチ位置の相対位置情報を被操作端末１００に送信する。
【００５１】
次に、図６を用いて本発明に係る遠隔操作システム１の処理について説明する。
【００５２】
まず、ステップＳ１において、マーカー生成部１０２は、操作画像の領域を特定するためのマーカーを生成する。
【００５３】
次に、ステップＳ２において、被操作端末画像出力部１０３は、ステップＳ２で生成されたマーカーを操作画面に重ね合わせ、マーカー画像を作成する。
【００５４】
次に、ステップＳ３において、被操作端末画像出力部１０３は、ステップＳ３で作成したマーカー画像を表示部１０１に出力する。
【００５５】
次に、ステップＳ４において、携帯端末２００は、被操作端末１００の操作に替わるタッチ操作処理を行い、被操作端末１００に相対位置情報を送信する。タッチ操作処理については、後述する。
【００５６】
次に、ステップＳ５において、相対位置情報受信部１０４は、携帯端末２００から相対位置情報を受信したか否か判断する。携帯端末２００から相対位置情報を受信したと判断した場合（ＹＥＳ）には、ステップＳ６に処理を進める。一方、携帯端末２００から相対位置情報を受信していないと判断した場合（ＮＯ）には、処理を終了する。
【００５７】
次に、ステップＳ６において、相対位置情報変換部１０５は、ステップＳ５で受信した相対位置情報を、被操作端末画面上の位置を示す絶対位置情報に変換する。
【００５８】
次に、ステップＳ７において、操作処理部１０６は、ステップＳ６で得られた絶対位置情報に基づいて、携帯端末２００に入力された操作を特定し、特定した操作を実行する。
【００５９】
続いて、図７を用いて携帯端末２００のタッチ操作処理について説明する。
【００６０】
まず、ステップＳ４０において、カメラ画像取得部２０２は、被操作端末画面をカメラ２０１で撮影したカメラ画像を取得する。
【００６１】
次に、ステップＳ４１において、携帯端末画像出力部２０３は、ステップＳ４０で取得されたカメラ画像をタッチスクリーン２０４に表示する。
【００６２】
次に、ステップＳ４２において、マーカー位置情報取得部２０５は、ステップＳ４０で取得されたカメラ画像に写っている被操作端末画面内のマーカーを検出し、カメラ画像上におけるマーカーの位置を示すマーカー位置情報を取得する。
【００６３】
次に、ステップＳ４３において、マーカー位置情報取得部２０５は、ステップＳ４２において、被操作端末画面の四隅のマーカー位置情報を取得できたか否か判断する。被操作端末画面の四隅のマーカー位置情報を取得できた場合（ＹＥＳ）には、ステップＳ４４に処理を進め、被操作端末画面の四隅のマーカー位置情報を取得できなかった場合（ＮＯ）には、ステップＳ４０に処理を戻す。このとき、カメラ画像を再度取得するようにユーザに促すメッセージ等を出力してもよい。
【００６４】
次に、ステップＳ４４において、相対位置情報計算部２０６は、携帯端末２００のタッチスクリーン２０４へのタッチ操作を検出したか否かを判断する。タッチスクリーン２０４へのタッチ操作を検出した場合（ＹＥＳ）には、ステップＳ４５に処理を進め、検出しなかった場合には、処理を終了する。
【００６５】
次に、ステップＳ４５において、相対位置情報計算部２０６は、タッチスクリーン２０４上、言い換えるとカメラ画像上におけるタッチ位置を示すタッチ位置情報と、マーカー位置情報取得部２０５で取得されたマーカー位置情報とに基づいて、カメラ画像に写っている被操作端末画面上のタッチ位置を示す相対位置情報を計算する。
【００６６】
次に、ステップＳ４６において、相対位置情報送信部２０７は、ステップＳ４５で計算されたタッチ位置の相対位置情報を被操作端末１００に送信する。
【００６７】
以上説明したように、本実施形態によれば、同じ室内等における近距離での遠隔操作において、被操作端末への操作を携帯端末のタッチスクリーンへのタッチ操作により代替することができ、さらに、被操作端末上の画面の動きに円滑に追従したタッチ操作を携帯端末で可能とすることができる。
【００６８】
なお、遠隔操作システムの処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを、遠隔操作システムを構成する各機器に読み込ませ、実行することによって本発明の遠隔操作システムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【００６９】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００７０】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７１】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７２】
１      遠隔操作システム
１０    通信ネットワーク
１００  被操作端末
１０１  表示部
１０２  マーカー生成部
１０３  被操作端末画像出力部
１０４  相対位置情報受信部
１０５  相対位置情報変換部
１０６  操作処理部
２００  操作端末
２０１  カメラ
２０２  カメラ画像取得部
２０３  携帯端末画像出力部
２０４  タッチスクリーン
２０５  マーカー位置情報取得部
２０６  相対位置情報計算部
２０７  相対位置情報送信部
【図１】
2012088959.tif 000004
【図２】
2012088959.tif 000005
【図３】
2012088959.tif 000006
【図４】
2012088959.tif 000007
【図５】
2012088959.tif 000008
【図６】
2012088959.tif 000009
【図７】
2012088959.tif 000010