(57)【要約】【課題】外部機器で表示された画像に対する操作を行うことなく、表示部に対する操作で外部機器が操作可能となる情報処理装置および情報処理方法を提供する。【解決手段】実施形態の情報処理装置は、受信部と、表示制御部と、検出部と、送信部と、を備える。受信部は、外部機器から、当該外部機器の第１表示部に表示された第１画像とは解像度が異なりかつ第１画像に対応する有効画像を少なくとも一部に含む第２画像の画像データを受信する。表示制御部は、受信した画像データに基づいて、有効画像の少なくとも一部を第２表示部に表示させる。検出部は、第２表示部に表示された有効画像に対する操作入力を検出する。送信部は、有効画像内において操作入力が検出された検出位置に対応する第１画像内の操作位置を特定可能とする操作情報を外部機器に送信する。【選択図】図１
2015012512.tif 000002
【特許請求の範囲】
【請求項１】
外部機器から、当該外部機器の第１表示部に表示された第１画像とは解像度が異なりかつ前記第１画像に対応する有効画像を少なくとも一部に含む第２画像の画像データを受信する受信部と、
受信した前記画像データに基づいて、前記有効画像の少なくとも一部を第２表示部に表示させる表示制御部と、
前記第２表示部に表示された前記有効画像に対する操作入力を検出する検出部と、
前記有効画像内において前記操作入力が検出された検出位置に対応する前記第１画像内の操作位置を特定可能とする操作情報を前記外部機器に送信する送信部と、
を備えた情報処理装置。
【請求項２】
前記受信部は、前記外部機器から前記第１画像の解像度を受信し、
前記送信部は、受信した前記第１画像の解像度に基づいて前記操作位置を特定し、特定した前記操作位置を示す操作位置情報を含む前記操作情報を前記外部機器に送信する請求項１に記載の情報処理装置。
【請求項３】
前記送信部は、前記検出位置を示す検出位置情報および前記第２画像の解像度を含む前記操作情報を前記外部機器に送信する請求項１に記載の情報処理装置。
【請求項４】
前記送信部は、前記第１画像における複数の所定点に対応する前記第２画像内の複数の対応点の位置を特定し、特定した前記複数の対応点の位置および受信した前記第１画像の解像度を用いて、前記操作位置を補正する請求項２に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記第２画像に含まれる前記有効画像を前記第２表示部に表示させる請求項１から４のいずれか一に記載の情報処理装置。
【請求項６】
前記表示制御部は、複数の前記外部機器から受信した複数の前記画像データそれぞれに基づく複数の前記第２画像それぞれの少なくとも一部を前記第２表示部に表示させ、
前記送信部は、複数の前記第２画像のうち前記操作入力の対象となっている前記第１画像を表示する前記外部機器に対して前記操作情報を送信する請求項１から５のいずれか一に記載の情報処理装置。
【請求項７】
前記送信部は、前記第２画像のうち前記有効画像以外の領域において前記操作入力が検出された場合に、前記操作情報の送信を禁止する請求項１から４のいずれか一に記載の情報処理装置。
【請求項８】
前記送信部は、ポインティングデバイスによる前記操作入力が検出された場合に、前記操作情報を前記外部機器に送信する請求項１から７のいずれか一に記載の情報処理装置。
【請求項９】
情報処理装置で実行される情報処理方法であって、
受信部が、外部機器から、当該外部機器の第１表示部に表示された第１画像とは解像度が異なりかつ前記第１画像に対応する有効画像を少なくとも一部に含む第２画像の画像データを受信する過程と、
表示制御部が、受信した前記画像データに基づいて、前記有効画像の少なくとも一部を第２表示部に表示させる過程と、
検出部が、前記第２表示部に表示された前記有効画像に対する操作入力を検出する過程と、
送信部が、前記有効画像内において前記操作入力が検出された検出位置に対応する前記第１画像内の操作位置を特定可能とする操作情報を前記外部機器に送信する過程と、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
ミラキャストを初めとするワイヤレス画像伝送技術が一般化されることにより、ＰＣ（Personal  Computer），スマートフォン，タブレット等の携帯端末装置（外部機器の一例）の画面を手軽にテレビジョン（情報処理装置の一例）のディスプレイに表示させることが可能になっている。さらに、スマートフォンやタブレットの普及により、タッチパネルでの操作がユーザに浸透してきている。
【０００３】
ところで、タッチパネル付の壁掛けディスプレイにスマートフォンの画面を表示させて複数人で当該ディスプレイを共有する使用時において、スマートフォンの画面に対する制御を、当該ディスプレイのタッチパネル等のポインティングデバイスを用いて行うことにより、スマートフォンを持っていない人もスマートフォンの画面に対する制御を可能とする環境を提供することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９７４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術においては、携帯端末装置の画面の解像度とテレビジョンのディスプレイの解像度とが異なる場合、テレビジョンのディスプレイ上においてポインティングデバイスによる操作が検出された位置を、携帯端末装置の画面上の位置に正規化して携帯端末装置に送信することができず、テレビビジョンのポインティングデバイスを用いて携帯端末装置の画面の制御を行えない、という課題がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、外部機器で表示された画像に対する操作を直接行うことなく、表示部に対する操作で外部機器が操作可能となる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態の情報処理装置は、受信部と、表示制御部と、検出部と、送信部と、を備える。受信部は、外部機器から、当該外部機器の第１表示部に表示された第１画像とは解像度が異なりかつ第１画像に対応する有効画像を少なくとも一部に含む第２画像の画像データを受信する。表示制御部は、受信した画像データに基づいて、有効画像の少なくとも一部を第２表示部に表示させる。検出部は、第２表示部に表示された有効画像に対する操作入力を検出する。送信部は、有効画像内において操作入力が検出された検出位置に対応する第１画像内の操作位置を特定可能とする操作情報を外部機器に送信する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる表示制御システムの構成を示す図である。
【図２】図２は、第１の実施形態にかかる表示制御システムが備える携帯端末装置および情報処理装置の構成を示すブロック図である。
【図３】図３は、第１の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理の流れを示すシーケンス図である。
【図４】図４は、第１の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理を説明するための図である。
【図５】図５は、第２の実施形態にかかる表示制御システムが備える携帯端末装置および情報処理装置の構成を示すブロック図である。
【図６】図６は、第２の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理の流れを示すシーケンス図である。
【図７】図７は、第２の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理を説明するための図である。
【図８】図８は、変形例にかかる情報処理装置における操作情報の送信を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、添付の図面を用いて、本実施形態にかかる表示制御システムについて説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態にかかる表示制御システムの構成を示す図である。本実施形態にかかる表示制御システム１は、スマートフォン，タブレット端末，ノートＰＣ（Personal  Computer）等の携帯端末装置１００（外部機器の一例）と、デジタルテレビジョン等の情報処理装置２００と、を有している。携帯端末装置１００と情報処理装置２００とは、無線ＬＡＮ（Local  Area  Network）等のネットワークを介して接続されている。
【００１１】
そして、表示制御システム１は、ミラキャスト等のディスプレイ伝送技術を用いて携帯端末装置１００に表示された各種情報を情報処理装置２００と共有する場合、携帯端末装置１００の表示部１０１（図２参照）に表示された各種情報を情報処理装置２００に送信することにより、当該各種情報を情報処理装置２００の表示部２０１（図２参照）に表示させる。
【００１２】
図２は、第１の実施形態にかかる表示制御システムが備える携帯端末装置および情報処理装置の構成を示すブロック図である。本実施形態にかかる携帯端末装置１００は、表示部１０１と、入力部１０２と、制御部１０３と、通信部１０６と、を有している。表示部１０１（第１表示部の一例）は、例えばＬＣＤ（Liquid  Crystal  Display）や有機ＥＬ（Electro  Luminescence）ディスプレイ等で構成され、各種情報を表示可能である。入力部１０２は、例えばタッチパネル等のポインティングデバイスやボタン等で構成され、各種情報を入力可能である。通信部１０６は、有線または無線の通信インタフェースであって、情報処理装置２００との間で通信を確立し、各種情報の送受信を実行する。
【００１３】
制御部１０３は、携帯端末装置１００全体を制御可能である。本実施形態では、制御部１０３は、表示制御部１０４と、通信制御部１０５と、を有する。表示制御部１０４は、表示部１０１に各種情報を表示させる。通信制御部１０５は、ディスプレイ伝送技術を用いて表示部１０１に表示された端末画像（第１画像の一例）を情報処理装置２００と共有する場合に、端末画像とは解像度が異なりかつ当該端末画像に対応する有効画像を少なくとも一部に含む共有用画像（第２画像の一例）の画像データを情報処理装置２００に送信する。また、通信制御部１０５は、情報処理装置２００から、表示部１０１に表示された端末画像に対する操作情報を受信する。ここで、端末画像に対応する有効画像とは、端末画像を情報処理装置２００の表示部２０１に表示した場合に、当該端末画像に相当する画像である。より具体的には、端末画像に対応する有効画像とは、端末画像を情報処理装置２００の表示部２０１に表示可能な解像度に変換して表示させた場合の画像である。
【００１４】
また、本実施形態にかかる情報処理装置２００は、表示部２０１と、入力部２０２と、制御部２０３と、通信部２０７と、を有する。表示部２０１（第２表示部の一例）は、例えばＬＣＤ等で構成され、各種情報を表示可能である。入力部２０２は、タッチパネル等のポインティングデバイスで構成され、各種情報を入力可能である。通信部２０７は、有線または無線の通信インタフェースであって、携帯端末装置１００との間で通信を確立し、各種情報の送受信を実行する。
【００１５】
制御部２０３は、情報処理装置２００全体を制御する。本実施形態では、制御部２０３は、通信制御部２０４と、表示制御部２０５と、検出部２０６と、を有する。通信制御部２０４（受信部の一例）は、ディスプレイ伝送技術を用いて携帯端末装置１００の表示部１０１に表示された端末画像を共有する場合に、携帯端末装置１００から、画像データを受信する。表示制御部２０５は、受信した画像データに基づいて、有効画像の少なくとも一部を表示部２０１に表示させる。検出部２０６は、表示部２０１に表示された有効画像に対する操作入力を検出する。また、通信制御部２０４（送信部の一例）は、表示部２０１に表示された有効画像内において操作入力が検出された検出位置に対応する端末画像内の操作位置を特定可能とする操作情報を携帯端末装置１００に送信する。
【００１６】
次に、図３および図４を用いて、本実施形態にかかる表示制御システム１において携帯端末装置１００に表示された端末画像を情報処理装置２００と共有する処理について説明する。図３は、第１の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理の流れを示すシーケンス図である。図４は、第１の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理を説明するための図である。
【００１７】
携帯端末装置１００（ソースデバイス）の通信制御部１０５は、ディスプレイ伝送技術（本実施形態では、ミラキャスト）により情報処理装置２００と端末画像を共有する際、画像データの送信に先立って、ネットワークを介して、端末画像を共有可能な情報処理装置２００（シンクデバイス）を検出するための探索要求を当該情報処理装置２００に対して送信する（ステップＳ３０１）。
【００１８】
情報処理装置２００の通信制御部２０４は、情報処理装置２００から探索要求を受信すると、ネットワークを介して、当該探索要求に対する応答を携帯端末装置１００に送信する（ステップＳ３０２）。
【００１９】
携帯端末装置１００の通信制御部１０５は、情報処理装置２００から探索要求に対する応答を受信すると、当該応答の送信元の情報処理装置２００に対して、当該情報処理装置２００の能力を認識するためのネゴシエーション要求を送信する（ステップＳ３０３）。
【００２０】
情報処理装置２００の通信制御部２０４は、携帯端末装置１００からネゴシエーション要求を受信すると、ネットワークを介して、当該ネゴシエーション要求に対する応答を携帯端末装置１００に送信する（ステップＳ３０４）。
【００２１】
携帯端末装置１００の通信制御部１０５は、情報処理装置２００からネゴシエーション要求に対する応答を受信すると、情報処理装置２００が有する表示部２０１に表示可能な画像の解像度（以下、表示ウィンドウ解像度と言う）など情報処理装置２００の能力を示すデバイス能力情報の送信を要求するデバイス能力情報要求を情報処理装置２００に送信する（ステップＳ３０５）。
【００２２】
情報処理装置２００の通信制御部２０４は、携帯端末装置１００からデバイス能力情報要求を受信すると、デバイス能力情報を、携帯端末装置１００に対して送信する（ステップＳ３０６）。
【００２３】
携帯端末装置１００の通信制御部１０５は、情報処理装置２００からデバイス能力情報を受信すると、当該デバイス能力情報を受信したことを通知するネゴシエーション確認情報を情報処理装置２００に通知する（ステップＳ３０７）。
【００２４】
情報処理装置２００の通信制御部２０４は、携帯端末装置１００からネゴシエーション確認情報が通知されると、携帯端末装置１００に対して、タッチパネル位置情報（携帯端末装置１００に表示された端末画像内においてタッチパネル（入力部１０２）により操作を検出する位置を示す情報）などのヒューマンインタフェース情報の伝送手段（例えば、ＵＩＢＣ：User  Interface  Back  Channel）を用いて、ＵＩＢＣ能力情報を問い合せる（ステップＳ３０８）。本実施形態では、通信制御部２０４は、ＵＩＢＣを用いて、携帯端末装置１００に表示された端末画像内において操作を検出する位置を示す位置座標、当該位置座標が示す位置に対する操作に応じて出力されるキーコード、端末画像の解像度など、携帯端末装置１００に表示された端末画像に対するユーザインタラクションに関するＵＩＢＣ能力情報の問い合わせを携帯端末装置１００に伝送する。
【００２５】
携帯端末装置１００の通信制御部１０５は、情報処理装置２００からＵＩＢＣ能力情報の問い合わせに応じて、当該ＵＩＢＣ能力情報を情報処理装置２００に送信する（ステップＳ３０９）。
【００２６】
情報処理装置２００の通信制御部２０４は、ＵＩＢＣを用いて、携帯端末装置１００からＵＩＢＣ能力情報を受信すると、携帯端末装置１００に表示された端末画像に対する情報処理装置２００からの操作を有効にするためのＵＩＢＣ有効要求を携帯端末装置１００に送信する（ステップＳ３１０）。
【００２７】
携帯端末装置１００の通信制御部１０５は、情報処理装置２００からＵＩＢＣ有効要求を受信すると、表示部１０１に表示された端末画像に対する情報処理装置２００からの操作を有効にすることを応答する（ステップＳ３１１）。
【００２８】
情報処理装置２００の通信制御部２０４は、携帯端末装置１００の表示部１０１に表示された端末画像に対する自装置からの操作が有効になると、携帯端末装置１００に対して、当該携帯端末装置１００の表示部１０１の解像度（以下、画面解像度と言う）を示す画面解像度情報を問い合せる（ステップＳ３１２）。
【００２９】
携帯端末装置１００の通信制御部１０５は、情報処理装置２００から画面解像度情報が問い合わされると、情報処理装置２００に対して、画面解像度情報を送信するとともに（ステップＳ３１３）、情報処理装置２００に対する画像データ（本実施形態では、動画像ストリームデータのペイロード）の転送（送信）を開始する（ステップＳ３１４）。
【００３０】
本実施形態では、通信制御部１０５は、図４に示すように、画面解像度が１２８０×７６８ピクセルの表示部１０１に端末画像ｇ（動画像）が表示部１０１に全画面表示されている場合、１２８０×７６８ピクセルの端末画像ｇを、当該端末画像ｇの解像度とは異なりかつ情報処理装置２００の表示部２０１のディスプレイ解像度（例えば、３８４０×２１６０ピクセル）以下の表示ウィンドウ解像度（例えば、１９２０×１０８０ピクセル）の有効画像ＶＧを含む共有用画像Ｇの動画像ストリームデータに変換する。そして、通信制御部１０５は、変換した動画像ストリームデータを情報処理装置２００に送信する。
【００３１】
情報処理装置２００の通信制御部２０４は、携帯端末装置１００から画面解像度情報を受信すると、当該携帯端末装置１００からの画像データの受信を開始する（ステップＳ３１４）。携帯端末装置１００から画像データを受信すると、表示制御部２０５は、図４に示すように、受信した画像データに基づいて、共有用画像Ｇが含む有効画像ＶＧを表示部２０１の表示ウィンドウＷに表示させる。これにより、携帯端末装置１００に表示された端末画像ｇと同様の画像が情報処理装置２００に表示されることとなり、携帯端末装置１００と情報処理装置２００との間で端末画像ｇを共有することができる。本実施形態では、表示制御部２０５は、受信した画像データに基づいて有効画像ＶＧ全体を表示部２０１に表示させているが、有効画像ＶＧの少なくとも一部を表示部２０１に表示させれば良い。
【００３２】
検出部２０６は、入力部２０２（本実施形態では、タッチパネル）による表示部２０１に表示された有効画像に対する操作入力（例えば、表示部２０１へのタッチ）を検出する。そして、検出部２０６は、図４に示すように、表示部２０１において当該タッチイベントが検出された位置を示すタッチイベント座標（Ｘ，Ｙ）＝（６００，４００）、表示部２０１において有効画像ＶＧが表示された表示ウィンドウＷの位置を示すウィンドウ座標（Ｘ，Ｙ）＝（１００，１１８０）および表示ウィンドウＷの解像度である表示ウィンドウ解像度（１９２０×１０８０ピクセル）に基づいて、表示ウィンドウＷ内（すなわち、有効画像ＶＧ内）においてタッチイベントが検出された検出位置Ｐを示す表示ウィンドウ内座標（Ｘ，Ｙ）＝（５００，３００）を算出する。
【００３３】
通信制御部２０４は、検出部２０６により表示部２０１に表示された有効画像ＶＧに対する操作入力が検出されると、ステップＳ３１３において携帯端末装置１００から受信した画面解像度情報が示す解像度（１２８０×７６８ピクセル）と、表示ウィンドウ解像度（１９２０×１０８０ピクセル）と、表示ウィンドウＷ内においてタッチイベントを検出した検出位置Ｐ（表示ウィンドウ内座標（Ｘ，Ｙ）＝（５００，３００））とに基づいて、表示部２０１に表示された有効画像ＶＧ内において操作入力が検出された検出位置Ｐに対応する端末画像ｇ内の操作位置ｐを特定する。
【００３４】
そして、通信制御部２０４は、特定した操作位置ｐを示す操作位置情報（本実施形態では、端末画像ｇ内における操作位置ｐの座標（Ｘ，Ｙ）＝（３３３，２１３））および検出部２０６により検出した操作入力を示すイベント情報（ACTION＿DOWN）を含む操作情報を携帯端末装置１００に送信する（ステップＳ３１５）。
【００３５】
本実施形態では、通信制御部２０４は、端末画像ｇ内の操作位置ｐを示す操作位置情報を含む操作情報を携帯端末装置１００に送信しているが、端末画像ｇ内の操作位置ｐを特定可能とする操作情報を携帯端末装置１００に送信するものであれば良い。例えば、通信制御部２０４は、表示ウィンドウ解像度と、表示ウィンドウＷ内においてタッチイベントを検出した検出位置Ｐを示す検出位置情報（例えば、表示ウィンドウ内座標）とを含む操作情報を携帯端末装置１００に送信しても良い。そして、携帯端末装置１００が、表示部１０１の解像度と、受信した操作情報が含む表示ウィンドウ解像度および検出位置情報と、に基づいて、端末画像ｇ内の操作位置ｐを特定しても良い。
【００３６】
通信制御部２０４および検出部２０６は、ステップＳ３１４およびステップＳ３１５に示す処理を、携帯端末装置１００と情報処理装置２００との間で端末画像が共有されている間、入力部２０２により操作入力が入力される度に繰り返す。
【００３７】
その後、携帯端末装置１００の入力部１０２からセッション終了が指示されると、携帯端末装置１００の通信制御部１０５は、端末画像ｇの共有を終了するセッション終了要求を情報処理装置２００に送信する（ステップＳ３１６）。
【００３８】
すると、情報処理装置２００の表示制御部２０５は、表示部２０１への有効画像ＶＧの表示を終了する。さらに、通信制御部２０４は、端末画像ｇの共有が終了したことを携帯端末装置１００に対して応答する（ステップＳ３１７）。本実施形態では、携帯端末装置１００から情報処理装置２００に対してセッション終了要求が行われているが、これに限定するものではなく、情報処理装置２００の入力部２０２からセッション終了が指示された場合も同様にして、端末画像ｇの共有を終了させることが可能である。
【００３９】
このように、第１の実施形態にかかる情報処理装置２００よれば、携帯端末装置１００の表示部１０１の解像度と情報処理装置２００の表示部２０１の解像度が異なる場合でも、情報処理装置２００の表示部２０１において操作入力が検出された検出位置に対応する携帯端末装置１００の表示部１０１上の操作位置を特定できるので、情報処理装置２００のポインティングデバイスを用いて携帯端末装置１００の制御を行うことができる。
【００４０】
（第２の実施形態）
本実施形態は、携帯端末装置において端末画像内の操作位置を特定する例である。以下の説明では、第１の実施形態と同様の箇所について説明を省略する。
【００４１】
図５〜７を用いて、第２の実施形態にかかる表示制御システム２において携帯端末装置５００に表示された端末画像を情報処理装置５１０と共有する処理について説明する。図５は、第２の実施形態にかかる表示制御システムが備える携帯端末装置および情報処理装置の構成を示すブロック図である。図６は、第２の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理の流れを示すシーケンス図である。図７は、第２の実施形態にかかる表示制御システムにおいて携帯端末装置に表示された端末画像を情報処理装置と共有する処理を説明するための図である。
【００４２】
本実施形態では、情報処理装置５１０の制御部５１１が有する通信制御部５１２は、携帯端末装置５００に対する画面解像度情報の問い合せを行わない。そのため、携帯端末装置５００の制御部５０１が有する通信制御部５０３は、情報処理装置５１０に対する画面解像度情報の送信を行わない。
【００４３】
本実施形態では、通信制御部５０３は、図７に示すように、表示ウィンドウ解像度（１９２０×１０８０ピクセル）と、表示ウィンドウＷ内においてタッチイベントを検出した検出位置Ｐを示す検出位置情報（表示ウィンドウ内座標（Ｘ，Ｙ）＝（５００，３００））と、イベント情報（ACTION＿DOWN）と、を含む操作情報を携帯端末装置５００に送信する（ステップＳ６０１）。
【００４４】
そして、携帯端末装置５００の制御部５０１が有する表示制御部５０２は、通信制御部５０３が操作情報を受信すると、表示部１０１の画面解像度（１２８０×７６８ピクセル）と、操作情報が含む表示ウィンドウ解像度（１９２０×１０８０ピクセル）および検出位置情報（表示ウィンドウ内座標（Ｘ，Ｙ）＝（５００，３００））と、に基づいて、端末画像ｇ内の操作位置ｐ（Ｘ，Ｙ）＝（３３３，２１３）を特定する。
【００４５】
このように、第２の実施形態にかかる表示制御システム２によれば、第１の実施形態にかかる表示制御システム１と同様の作用効果を得ることができる。
【００４６】
（変形例）
本変形例は、情報処理装置において、受信した画像データに基づく共有用画像のうち有効画像以外の領域において操作入力が検出された場合に、操作情報の送信を禁止する例である。以下の説明では、上述の実施形態と同様の箇所については説明を省略する。
【００４７】
図８は、変形例にかかる情報処理装置における操作情報の送信を説明するための図である。本変形例では、情報処理装置２００（５１０）の表示制御部２０５は、図８に示すように、受信した画像データに基づいて、共有用画像Ｇ全体を表示部２０１に表示させる。
【００４８】
そして、情報処理装置２００（５１０）の通信制御部５１２は、表示ウィンドウＷ内の有効画像ＶＧ内においてタッチイベントが検出された場合にのみ、操作情報を携帯端末装置１００（５００）に送信する。言い換えると、通信制御部５１２は、表示ウィンドウＷ内の有効画像ＶＧ以外の領域においてタッチイベントが検出された場合には、携帯端末装置１００（５００）への操作情報の送信を禁止する。
【００４９】
このように、本変形例によれば、表示ウィンドウＷ内の有効画像ＶＧ以外の領域でタッチイベントが検出された場合には、操作情報が携帯端末装置１００（５００）に送信されないので、有効画像ＶＧ以外の領域で検出されたタッチイベントに応じて、携帯端末装置１００（５００）の表示部１０１の制御が行われることを防止できる。
【００５０】
また、情報処理装置２００（５１０）の通信制御部２０４（５１２）は、情報処理装置１００（５００）の表示部１０１に表示された端末画像ｇにおける複数の所定点に対応する共有用画像Ｇ内の複数の対応点の位置を特定し、特定した複数の対応点の位置および受信した端末画像ｇの解像度を用いて、操作位置ｐを補正する。これにより、タッチイベントを検出した検出位置Ｐに対応する端末画像ｇ内における操作位置ｐをより正確に求めることができる。
【００５１】
さらに、情報処理装置２００（５１０）の表示制御部２０５は、複数の携帯端末装置１００（５００）から受信した複数の動画像ストリームデータそれぞれに基づく複数の共有用画像Ｇそれぞれの少なくとも一部を表示部２０１に表示させることができる。そして、携帯端末装置２００（５１０）の通信制御部２０４（５１２）は、複数の共有用画像Ｇのうち操作入力の対象となっている端末画像ｇ（例えば、ハイライトがあてられている端末画像ｇなど）を表示する携帯端末装置１００（５００）に対して操作情報を送信するようにしても良い。
【００５２】
以上説明したとおり、第１から第２の実施形態によれば、携帯端末装置の表示部の解像度と情報処理装置の表示部の解像度が異なる場合でも、情報処理装置のポインティングデバイスを用いて携帯端末装置の制御を行うことができる。
【００５３】
上述の実施形態の情報処理装置２００（５１０）の制御部２０３（５１１）は、ＣＰＵ（Central  Processing  Unit）などの制御装置と、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などの記憶装置と、ＨＤＤ（Hard  Disk  Drive）、ＣＤドライブ装置などの外部記憶装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００５４】
上述の実施形態の情報処理装置２００（５１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００５５】
また、上述の実施形態の情報処理装置２００（５１０）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述の実施形態の情報処理装置２００（５１０）で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５６】
また、上述の実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００５７】
上述の実施形態の情報処理装置２００（５１０）で実行されるプログラムは、上述した各部（通信制御部２０４（５１２）、表示制御部２０５、検出部２０６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、通信制御部２０４（５１２）、表示制御部２０５、検出部２０６が主記憶装置上に生成されるようになっている。
【００５８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５９】
１００，５００・・・携帯端末装置、１０１・・・表示部、１０２・・・入力部、１０３，５０１・・・制御部、１０４，５０２・・・表示制御部、１０５，５０３・・・通信制御部、１０６・・・通信部、２００，５１０・・・情報処理装置、２０１・・・表示部、２０２・・・入力部、２０３，５１１・・・制御部、２０４，５１２・・・通信制御部、２０５・・・表示制御部、２０６・・・検出部、２０７・・・通信部。
【図１】
2015012512.tif 000003
【図２】
2015012512.tif 000004
【図３】
2015012512.tif 000005
【図４】
2015012512.tif 000006
【図５】
2015012512.tif 000007
【図６】
2015012512.tif 000008
【図７】
2015012512.tif 000009
【図８】
2015012512.tif 000010