(57)【要約】【課題】操作対象の機器の画面を利用して操作することができ、ユーザの周囲にある複数の機器を自動的に判別して、視点を移した方の機器を操作することができるリモートコントロールシステムを提供する。【解決手段】一つ以上の操作対象機器からＩＰアドレスとユーザに対する方位を関連付けて取得する情報取得手段と、携帯端末装置を操作しているユーザの視線方位を検出する視線方位検出手段と、情報取得手段で取得された方位と視線方位検出手段で検出した視線の方位を照合する照合手段と、照合手段の照合結果に基づいて操作対象機器を切り替える切替手段と、記切替手段で携帯端末装置に切替られた場合には携帯端末装置で動作しているアプリケーションを制御し、そうでない場合には操作対象機器に対して操作情報を送信して制御する制御手段と、を備えて構成されている。【選択図】図１
2012105034.tif 000002
【特許請求の範囲】
【請求項１】
アプリケーションを単独で動作させて少なくとも操作対象機器を操作する携帯端末装置と、前記携帯端末装置の指示に基づいて操作可能な一つ以上の前記操作対象機器からなるリモートコントロールシステムであって、
前記携帯端末装置は、
一つ以上の前記操作対象機器からＩＰアドレスとユーザに対する方位を関連付けて取得する情報取得手段と、
前記携帯端末装置を操作しているユーザの視線方位を検出する視線方位検出手段と、
前記情報取得手段で取得された前記方位と前記視線方位検出手段で検出した前記視線の方位を照合する照合手段と、
前記照合手段の照合結果に基づいて前記操作対象機器を切り替える切替手段と、
前記切替手段で前記携帯端末装置に切替られた場合には前記携帯端末装置で動作しているアプリケーションを制御し、そうでない場合には前記操作対象機器に対して操作情報を送信して制御する制御手段と、
を備えたことを特徴とするリモートコントロールシステム。
【請求項２】
前記携帯端末装置は、前記携帯端末装置の操作した動作における座標軸の変化を検出する検出手段を備え、前記検出手段の検出結果に基づいて視線方位検出手段で検出された方位を補正することを特徴とする請求項１に記載のリモートコントロールシステム。
【請求項３】
前記携帯端末装置は、アプリケーション画面を表示する表示手段を備え、前記切替手段の切替によって操作対象が操作対象機器の場合、前記携帯端末装置の前記アプリケーション画面を前記操作対象機器に送信して表示させることを特徴とする請求項１又は請求項２に記載のリモートコントロールシステム。
【請求項４】
前記携帯端末装置は、前記携帯端末装置で操作した動作における座標変化に基づいて前記携帯端末装置においてアプリケーション処理を行うか、前記操作対象機器に前記携帯端末装置で操作した際の座標変化を入力座標として送信するのかを判断する判断手段を備えることを特徴とした請求項２又は請求項３に記載のリモートコントロールシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話やＰＮＤなどのモバイル機器（携帯端末装置）を用いてテレビやカーナビゲーション等を操作することができるリモートコントロールシステムに関するものである。
【背景技術】
【０００２】
従来、複数の家電機器を操作する端末としてマルチリモコンなどの操作端末機器がある。このような操作端末機器は、操作対象の機器に合わせてＩＲ信号を送信することで操作コマンドを送り操作することができるように構成されている。また近年、家電機器のネットワーク化が進んだことにより、ＴＣＰ／ＩＰを用いた双方向通信を利用して機器を操作することができるようになり、ＧＵＩ操作を活用して機器ごとに高度な操作体系を実現することが行われている（例えば特許文献１参照）。また、特許文献１に係るリモートコントロール端末によれば、赤外線の到達範囲にある機器を特定することで操作対象の機器を自動的に判別することが可能である。
【０００３】
また、モバイル機器を利用したリモートコントロールの技術として、リモートコントロールする端末の現在位置に応じて単独操作画面と遠隔操作画面を自動的に切り替えるものが知られている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２０３８３１号公報
【特許文献２】特開平１１−１１０１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術における例えば録画操作においては、ＥＰＧデータをリモコンが要求し、取得したＥＰＧデータをリモコンに表示して操作するように構成されているため、ＧＵＩが画面サイズの小さいリモートコントロール側で表示されるため、操作しづらいという問題があった。また、従来技術によれば、ＧＵＩリモコンで操作するたびに視点をリコモンの画面に移す必要があり、番組等を視聴中のユーザにとっては使い勝手が悪いという問題があった。
【０００６】
また、従来技術によれば、現在位置に基づいて単独操作画面と遠隔操作画面を切り替えるため、同じ位置にいたまま切り替えることができないため、遠隔操作画面を表示しつつ単独操作をする、例えば、番組表を操作しながら受信したメールを表示するといった同時操作、連携操作を行うことができないと問題があった。
【０００７】
そこで本発明は、これら従来の問題を解決するためになされたものであり、ユーザの周囲にある複数の機器を自動的に判別し、視点を移した機器に対して操作対象の機器の画面を利用して操作することができるリモートコントロールシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のリモートコントロールシステムは、アプリケーションを単独で動作させて少なくとも操作対象機器を操作する携帯端末装置と、前記携帯端末装置の指示に基づいて操作可能な一つ以上の前記操作対象機器からなるリモートコントロールシステムであって、前
記携帯端末装置は、一つ以上の前記操作対象機器からＩＰアドレスとユーザに対する方位を関連付けて取得する情報取得手段と、前記携帯端末装置を操作しているユーザの視線方位を検出する視線方位検出手段と、前記情報取得手段で取得された前記方位と前記視線方位検出手段で検出した前記視線の方位を照合する照合手段と、前記照合手段の照合結果に基づいて前記操作対象機器を切り替える切替手段と、前記切替手段で前記携帯端末装置に切替られた場合には前記携帯端末装置で動作しているアプリケーションを制御し、そうでない場合には前記操作対象機器に対して操作情報を送信して制御する制御手段と、を備えて構成されている。
【０００９】
このように構成された本発明のリモートコントロールシステムによれば、ユーザの視線の方位に応じて携帯端末装置か操作対象機器を自動的に切換え、携帯端末装置の場合には携帯端末装置で動作しているアプリケーションを制御し、操作対象機器の場合に携帯端末装置から操作情報を送信して制御することができるように構成されている。
【００１０】
本発明のリモートコントロールシステムの前記携帯端末装置は、前記携帯端末装置の操作した動作における座標軸の変化を検出する検出手段を備え、前記検出手段の検出結果に基づいて視線方位検出手段で検出された方位を補正するように構成されている。
【００１１】
このように構成された本発明のリモートコントロールシステムによれば、携帯端末装置の操作した動作における座標軸の変化を検出手段で検出し、検出結果に基づいて視線方位検出手段で検出された方位を補正することができるように構成されており、携帯端末装置の傾きや方向が変化した場合でも視線方位検出手段で検出された方位を補正することができるので、正しい方位に補正することができる。
【００１２】
本発明のリモートコントロールシステムの前記携帯端末装置は、アプリケーション画面を表示する表示手段を備え、前記切替手段の切替によって操作対象が操作対象機器の場合、前記携帯端末装置の前記アプリケーション画面を前記操作対象機器に送信して表示させるように構成されている。
【００１３】
このように構成された本発明のリモートコントロールシステムによれば、操作対象が操作対象機器の場合には、携帯端末装置に表示されているアプリケーション画面を操作対象機器に送信して表示させることができる。
【００１４】
本発明の前記携帯端末装置は、前記携帯端末装置で操作した動作における座標変化に基づいて前記携帯端末装置においてアプリケーション処理を行うか、前記操作対象機器に前記携帯端末装置で操作した際の座標変化を入力座標として送信するのかを判断する判断手段を備えて構成されている。
【００１５】
このように構成された本発明のリモートコントロールシステムによれば、携帯端末装置の動作における座標変化を検出し、座標変化に基づいて携帯端末装置でアプリケーション処理を行うか、操作対象機器に座標変化を操作対象機器への入力座標として送信するのか判断し、判断結果に基づいて対象機器の操作を行うことができる。
【発明の効果】
【００１６】
本発明によれば、ユーザが視線を向けている方向の機器を自動的に識別して操作することが可能になり、従来のマルチリモコンのような操作対象の機器に応じてスイッチを切り替える必要がなく、ユーザの視線が向いている機器に対して操作をすることができ、ユーザが操作行うために携帯操作端末装置に視線を移す必要がなく簡単に操作することができる。さらに、複数の操作対象機器を自動認識でき、同じ位置にいたままでも視線の切り替えだけで操作対象を変更することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明のリモートコントロールシステムの構成を示した構成図
【図２】本発明の実施の形態における機器発見および機器方位設定の機能構成を示した図
【図３】本発明の実施の形態における接続先情報格納部のテーブルを示した図
【図４】本発明の実施の形態におけるバーコードを用いて操作対象機器の方位の算出様子を示した模式図
【図５】本発明の実施の形態におけるＲＦＩＤを用いて操作対象機器の方位の算出様子を示した図
【図６】本発明の実施の形態１における加速度センサを用い操作対象機器の方位を修正する際の機能構成を示した図
【図７】本発明の実施の形態１における視線方位算出を示した模式図
【図８】本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図
【図９】本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図
【図１０】本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図
【図１１】本発明の実施の形態２におけるリモートコントロール装置およびその操作対象機器の機能構成を示した構成図
【図１２】本発明の実施の形態２におけるコンテンツ操作を示した模式図
【図１３】本発明の実施の形態２における操作情報送信部の動作を示すフロー図
【発明を実施するための形態】
【００１８】
（第１の実施形態）
次に本発明の実施の形態に用いるリモートコントロール装置及び操作対象機器の詳細について図面を用いて説明する。図１は、本発明のリモートコントロール装置およびその操作対象機器の機能構成を示した図である。
【００１９】
図１に示すように、本発明のリモートコントロールシステムは、リモートコントロール装置１００と操作対象機器１０１からなるシステムで構成されている。
リモートコントロール装置１００は、アプリケーションを単独で動作可能であり、操作対象機器のＩＤを取得する機器ＩＤ受信部１１０と、操作対象機器の方位を取得する機器方位検出部１１１と、リモートコントロール装置１００のユーザの視線を検出する視線検出部１１２と、機器方位検出部１１１および視線検出部１１２で得られた方位を照合して操作対象の機器を切り替える操作機器切替部１１３と、操作対象機器が遠隔操作となった場合、入力操作部１１７で取得した入力イベントを操作対象機器１０１に送信する操作情報送信部１１４からなり、前記操作対象機器１０１は、自身のＩＤを発信する機器ＩＤ発信部１２０と、リモートコントロール装置１００から操作される場合に操作情報を取得する操作情報取得部１２１によって構成されている。なお、図示していないが、リモートコントロール装置１００の座標軸の傾きなどを検出するために加速度センサなども備えて構成されている。
【００２０】
ここで前記リモートコントロール装置１００および操作対象機器１０１は、ネットワークの範囲に入るとそれぞれの接続確立部１１８、１２２によってネットワーク接続が行われる。図２に示すように、それぞれの接続確立部はＤＨＣＰやＵＰｎＰといった標準プロトコルを用いることで、ＩＰアドレスが設定され、操作対象機器をネットワーク内で検索し、検索された検索結果のレスポンスとして操作対象機器１０１のＩＰアドレスとＩＤを受信し格納するように構成されている。また、操作対象機器１０１の機器ＩＤ発信部１２０によって直接発信される信号をリモートコントロール装置１００の機器ＩＤ受信部１１０で取得し、その信号を元に機器方位検出部１１１にて方位を取得することで、ＩＤ、ＩＰアドレス、方位の関連付けが得られるように構成されている。
【００２１】
機器方位検出部１１１は、操作対象機器１０１から直接波で情報を取得して方位を検出することができるように構成されている。具体的には、操作対象機器１０１にバーコードを貼り付ける、またはディスプレイに表示させ、そのバーコードをリモートコントロール装置１００に備えるカメラで認識させて操作対象機器１０１のＩＤを得ることで、カメラに写像されたバーコード情報のＩＤから操作対象機器１０１の位置を把握することができ、リモートコントロール装置１００に実装されたカメラの位置が既知である場合、リモートコントロール装置１００との相対的な方位を算出することができるように構成されている。また、リモートコントロール装置１００にアレイアンテナを実装したＲＦＩＤリーダを備えるように構成し、操作対象機器１０１が発信するＩＤを受信することで、受信電波の到来角からリモートコントロール装置１００との相対的な方位を算出することができるようにしてもよい。
【００２２】
なお、リモートコントロール装置１００は、操作対象機器１０１のＩＤ、ＩＰアドレス、方位を関連付けて格納した後、ユーザがリモートコントロール装置１００を動かした場合にはリモートコントロール装置１００自身の座標軸が変わってしまうため、リモートコントロール装置１００に内蔵されている加速度センサなどを用いてリモートコントロール装置１００の座標軸の変化を検出して補正するか、または、機器方位検出部１１１で方位を再取得して修正することができるように構成されている。
【００２３】
視線検出部１１２は、カメラを用いてリモートコントロール装置１００を操作しているユーザの虹彩検出を行うことで視線方向を推定することができるように構成されている。ここでリモートコントロール装置１００に実装されたカメラの位置が既知である場合、リモートコントロール装置１００を基準とした座標軸において視線の方位を算出することができるように構成されている。
【００２４】
操作機器切替部１１３は、視線検出部１１２で得られた方位を機器方位検出部１１１が既に取得してある操作対象機器の方位と照合して、ユーザが視線を向けている機器を特定して操作を切り替えることができるように構成されている。さらには、操作機器切替部１１３で操作対象がリモートコントロール装置１００である場合と、操作対象機器１０１である場合によって、それぞれ操作対象に合わせて画面生成部１１５が出力する画面を切り替えることで、ユーザが一瞬視線を変えた場合など、遠隔操作中であることを容易に判断することができるように構成されている。
【００２５】
画面生成部１１５は、アプリケーションの画面を格納するフレームバッファであるアプリケーション画面１３０と、遠隔操作中に表示するフレームバッファである遠隔操作用画面１３１を操作機器切替部１１３に基づいて画面表示部１１６に切り替えて出力することができるように構成されている。例えば、操作機器切替部１１３で操作対象が操作対象機器１０１である場合、画面表示部１１６には操作対象機器１０１に対応したアプリケーション画面１３０と遠隔操作用画面１３１が表示されると共に、操作情報送信部１１４に通知し、入力操作部１１７で取得した入力イベントを操作対象機器１０１の操作情報取得部１２１に送信することができる。なお、送信先は操作機器切替部１１３で特定された機器のＩＰアドレスが指定されるように構成されている。そして、操作対象機器は操作情報取得部１２１で受け取った入力イベントに応じて自身のアプリケーションを動作させることができるように構成されている。
【００２６】
次に、リモートコントロール装置が操作対象機器を自動的に識別するための構成を図面を用いて説明する。図２に示すように、本発明の実施の形態においてＩＰアドレス取得にＤＨＣＰ、機器発見にＵＰｎＰのプロトコルを用いた場合の構成を用いて説明する。
【００２７】
図２に示すように、リモートコントロール装置１００は、ネットワークの範囲に入るとＤＨＣＰクライアント１５０はネットワーク管理機能を備えるルータなどのＤＨＣＰサーバ１０２からＩＰアドレスを取得する。ＩＰアドレスを取得すると、操作機器探索部１５１によって操作対象機器をネットワーク内で検索する。なお、様々なサービスに対応した機器を検索する際、最近ではＵＰｎＰが多く使われており、これらの既存技術を利用することで操作対象となる機器を発見することが可能となる。
【００２８】
操作機器探索部１５１で探索された操作対象機器１０１は、操作機器サービス１６０でリクエストを受信すると、レスポンスとして自身のＩＰアドレスとＩＤをリモートコントロール装置１００に送信し、操作機器情報取得部１５２によって受信され接続先情報格納部１５３にデータを保存することができるように構成されている。なお、接続先情報格納部１５３は、図３に示すような関係データベース等にＩＤ、ＩＰアドレス、方位の情報が関係付けされて格納されるように構成されている。
【００２９】
次に、操作対象機器１０１の方位を取得する方法について説明する。
図４は、バーコードを用いて操作対象機器の方位の算出する様子を示した模式図である。
また、操作対象機器１０１の方位を取得するための構成は、図２に示すように、機器ＩＤ発信部１２０と、機器ＩＤ受信部１１０と、機器方位検出部１１１によって方位を取得することができるように構成されている。
【００３０】
リモートコントロール装置１００は、例えばＵＰｎＰを利用してネットワーク内の操作対象機器に対してバーコードの表示を指示することで操作対象機器１０１に自身のＩＤ情報を含んだバーコードが表示させることができ、リモートコントロール装置１００のＯＵＴカメラを利用して操作対象機器１０１に表示されたＩＤを読み取り、機器方位検出部１１１はカメラに写像されたバーコードの位置からリモートコントロール装置１００との相対的な方位を算出することができるように構成されている。
【００３１】
次に、方位を算出方法として機器ＩＤ発信部にＲＦＩＤ、機器ＩＤ受信部にＲＦＩＤリーダを用いた例について図面を用いて説明する。図５は、本発明の実施の形態におけるＲＦＩＤを用いて操作対象機器の方位の算出様子を示した模式図である。
図５に示すように、操作対象機器１０１はあらかじめＲＦＩＤが取り付けられており、リモートコントロール装置１００はアレイアンテナを実装したＲＦＩＤリーダを用いて操作対象機器１０１のＩＤをＲＦＩＤから受信することができるように構成されている。また、機器方位検出部１１１は、操作対象機器１０１のＲＦＩＤからの受信電波の到来角からリモートコントロール装置１００との相対的な方位を算出することができるように構成されている。
【００３２】
このように取得したリモートコントロール装置１００と操作対象機器１０１、１０１の方位情報は、取得したＩＤに関連付けられると共に図３で示した接続先情報格納部のテーブルのＩＤが一致する行に格納するように構成されている。このように構成することで操作対象機器の方位とＩＰアドレスが関連付けることができるように構成されている。
【００３３】
図６は前記ＩＰアドレスと方位の関連付けの処理がなされた後、リモートコントロール装置を動かしてしまうことで発生する方位の変化を更新するための機能構成図である。
図６に示すようにリモートコントロール装置１００に備えられた加速度センサ１７０は、３軸方向の加速度を検出する。座標軸変化検出部１７１は検出された加速度の累積から座標軸の変化量を測定し、接続先情報格納部１５３に格納されている操作対象機器の方位すべてに対して、変化量に応じた座標変換をして方位の値を更新する。また、加速度センサを使ったトラッキングでは誤差の蓄積があるため、定期的に機器方位検出部１１１で方
位を再取得して修正するように構成してもよい。
【００３４】
次に視線の方位を検出する方法について説明する。
図１に示される視線検出部１１２はカメラを用いて虹彩検出を行い、この結果をもとに視線方向を推定する。虹彩検出をした結果、図７に示すように視線を中心とした座標軸での方位、および、リモートコントロール装置１００（ＩＮカメラ）を原点とした基準座標軸との距離がわかり、視点、および視線を基準座標軸での位置と方位に変換した結果を得ることができる。
【００３５】
次に、リモートコントロール装置１００の操作機器切替部１１３は、視線検出部１１２で得られた方位を機器方位検出部１１１が既に接続先情報格納部１５３に格納した方位と照合して、ユーザが視線を向けている機器を特定し、特定された操作対象機器に操作を切り替える。
【００３６】
さらには、操作機器切替部１１３で操作対象がリモートコントロール装置１００であったときと、操作対象機器１０１であったときで画面生成部１１５が出力する画面を切り替えることで、ユーザが一瞬視線を変えた場合など、遠隔操作中であることを容易に判断することができるように構成されている。
【００３７】
ここで、リモートコントロール装置にコンテンツを取得する動作について図面を用いて説明する。
図８、９、１０は、本発明の実施の形態１におけるコンテンツ操作を示した例を示す模式図である。
図８に示すように、視線を携帯電話（リモートコントロール装置）１００に向けている際は、タッチパネルでコンテンツの操作を行うことができ、視線をテレビに移した際には、図９に示すように、携帯電話に表示されていた表示が切り替り画面をタッチやスライドさせることで操作することができるマウスパッドとしての表示を行い、テレビ１０１（操作対象機器１０１）に表示した項目をマウスポインターを操作することでコンテンツの持ち出し操作を実行することができるように構成されている。また、テレビ１０１から視線を戻して遠隔操作が終了すると携帯電話に表示されていたマウスパッドの表示からコンテンツ操作の画面に切り替わるように構成されている。
【００３８】
なお、画面表示の切り替えは、図１に示す画面生成部１１５で実行され、アプリケーションの画面を格納するフレームバッファであるアプリケーション画面１３０と、遠隔操作中に表示するフレームバッファである遠隔操作用画面１３１を操作機器切替部の通知に応じて切り替えて画面表示部１１６に出力するように構成されている。
【００３９】
また、ユーザの入力操作は以下の構成によって実行される。
操作機器切替部１１３で操作対象が操作対象機器１０１である場合、操作情報送信部１１４に通知し、入力操作部１１７で取得した入力イベントを操作対象機器１０１の操作情報取得部１２１に送信する。操作対象機器１０１は操作情報取得部１２１で受け取った入力イベントに応じて自身のアプリケーションを動作させることができる。
【００４０】
（第２の実施形態）
以下、本発明の第２の実施形態におけるリモートコントロールシステムについて図面を参照しながら説明する。
図１１は本発明の第２の実施形態におけるリモートコントロール装置と操作対象機器における機能構成図である。本図面には表記されてはいないが、図１の機能構成図に準じるものであり、図１の構成図に画面情報送信部１１９と、画面情報取得部１２２と、画面表示部１２３が加えられたものである。
【００４１】
図１２は、本発明の実施の形態２における表示例であり、実施の形態１で記した図８と異なり、携帯電話の画面も遠隔表示している。このようにすることで、視線をテレビに移した場合に一画面の中で操作を完結することができるため、ユーザにとって簡便である。
【００４２】
また、操作機器切替部１１３で操作対象が操作対象機器１０１である場合、操作情報送信部１１４に通知し、入力操作部１１７で取得した入力イベントを操作対象機器１０１の操作情報取得部１２１に送信する。さらには、画面生成部１１５のアプリケーション画面１３０を画面情報送信部１１９が取得し、これを送信する。操作対象機器１０１の画面情報取得部１２２はアプリケーション画面を取得し、画面表示部１２３にて表示することができるように構成されている。
【００４３】
このとき、操作情報送信部は入力イベントに対する動作についてフローチャートを用いて説明する。
図１３は、本発明の第２の実施形態における操作情報送信部の動作を示すフロー図である。
まず、入力操作部１１７からタッチされた座標を取得（Ｓ１）、取得された座標が自画面への入力かどうかを判断する（Ｓ２）。ここで、図１２を用いて説明すれば、遠隔表示中と記載された枠の中かどうかを判断することになり、自画面の入力であった場合は（Ｓ２、ＹＥＳ）リモートコントロール装置１００自身のアプリケーションに通知し（Ｓ３）、アプリケーションが画面を更新し、この画面が画面情報送信部１１９で送信されることで、操作対象機器１０１の画面も更新される。また、自画面の入力でなかった場合は（Ｓ２、ＮＯ）、タッチされた座標を操作対象機器に送信し（Ｓ４）、操作対象機器１０１のアプリケーションによって入力イベントが処理されて画面が更新される。
【００４４】
このように本発明の第２の実施形態におけるリモートコントロールシステムは、携帯電話（携帯端末装置）の画面をテレビに表示して操作することができるので、ＴＶに写し出された携帯電話のアプリケーション画面を見ながら携帯電話の画面に入力することができる。
【産業上の利用可能性】
【００４５】
本発明は携帯電話やＰＮＤといったモバイル機器に実装することが可能な技術であり、ユーザが普段持ち歩く機器を利用して家庭内のＡＶ機器や車内でカーナビゲーションを操作する機能を実現する上で有用である。
【符号の説明】
【００４６】
１００  リモートコントロール装置
１０１  操作対象機器（テレビ）
１０２  サーバ
１１０  機器ＩＤ受信部
１１１  機器方位検出部
１１２  視線検出部
１１３  操作機器切替部
１１４  操作情報送信部
１１５  画面生成部
１１６  画面表示部
１１７  入力操作部
１１８  接続確立部
１１９  画面情報送信部
１２０  機器ＩＤ発信部
１２１  操作情報取得部
１２２  画面情報取得部
１２３  画面表示部
１３０  アプリケーション画面
１３１  遠隔操作用画面
【図１】
2012105034.tif 000003
【図２】
2012105034.tif 000004
【図３】
2012105034.tif 000005
【図４】
2012105034.tif 000006
【図５】
2012105034.tif 000007
【図６】
2012105034.tif 000008
【図７】
2012105034.tif 000009
【図８】
2012105034.tif 000010
【図９】
2012105034.tif 000011
【図１０】
2012105034.tif 000012
【図１１】
2012105034.tif 000013
【図１２】
2012105034.tif 000014
【図１３】
2012105034.tif 000015