(57)【特許請求の範囲】
【請求項１】
ユーザの一方の手による第１のユーザ入力を検出するタッチパネルと、
前記ユーザの他方の手による第２のユーザ入力を検出する携帯端末との間で通信する通信部と、
操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
を備え、
前記制御部は、前記タッチパネルにより前記第１のユーザ入力が検出された場合に、前記オブジェクトの第１の操作を実行し、及び、前記通信部により前記携帯端末から前記第２のユーザ入力が受信された場合に、前記オブジェクトの第２の操作を実行し、
前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が受信された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
情報処理装置。
【請求項２】
前記第１のユーザ入力は、前記タッチパネル上でのユーザによるドラッグであり、
前記第１の操作は、前記コンテンツ画像内の前記オブジェクトのサイズ変更若しくは移動、又は視点の変更である、
請求項１に記載の情報処理装置。
【請求項３】
前記第１のユーザ入力は、前記タッチパネル上でのユーザによるタッチであり、
前記第１の操作は、操作可能な複数のオブジェクトからの操作対象オブジェクトの選択である、
請求項１に記載の情報処理装置。
【請求項４】
前記第１のユーザ入力は、前記タッチパネル上でのユーザによるドラッグであり、
前記第１の操作は、前記コンテンツ画像内の前記オブジェクトの移動である、
請求項１に記載の情報処理装置。
【請求項５】
前記携帯端末は、第３のユーザ入力をさらに検出し、
前記制御部は、前記通信部により前記携帯端末から前記第３のユーザ入力が受信された場合に、前記第１のユーザ入力に基づいて実行される前記第１の操作を複数の操作の候補の間で切替える、
請求項１に記載の情報処理装置。
【請求項６】
前記表示出力部は、前記情報処理装置の外部の表示装置へ前記コンテンツ画像を出力する、請求項１に記載の情報処理装置。
【請求項７】
前記制御部は、前記オブジェクトの操作に関する説明を表示する操作ガイダンスを前記タッチパネルに表示させる、請求項６に記載の情報処理装置。
【請求項８】
請求項１に記載の情報処理装置を内蔵する本体部と、
前記情報処理装置の前記タッチパネルの表示面を上方に配置した天板と、
を備えるテーブル。
【請求項９】
タッチパネルを有し、携帯端末との間で通信可能な情報処理装置において、コンテンツの表示を制御するための表示制御方法であって、
操作可能なオブジェクトを含むコンテンツデータを取得するステップと、
前記オブジェクトを表示するコンテンツ画像を出力するステップと、
前記タッチパネルによりユーザの一方の手による第１のユーザ入力が検出された場合に、前記コンテンツ画像に表示される前記オブジェクトの第１の操作を実行するステップと、
前記携帯端末から前記ユーザの他方の手による第２のユーザ入力が受信された場合に、前記コンテンツ画像に表示される前記オブジェクトの第２の操作を実行するステップと、
前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が受信された場合には、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御するステップと、
を含む表示制御方法。
【請求項１０】
前記第１のユーザ入力は、前記タッチパネル上でのユーザによるドラッグであり、
前記第１の操作は、前記コンテンツ画像内の前記オブジェクトのサイズ変更若しくは移動、又は視点の変更である、
請求項９に記載の表示制御方法。
【請求項１１】
タッチパネルを有し、携帯端末との間で通信可能な情報処理装置を制御するコンピュータを、
操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
として機能させるためのプログラムであって、
前記制御部は、前記タッチパネルによりユーザの一方の手による第１のユーザ入力が検出された場合に、前記コンテンツ画像に表示される前記オブジェクトの第１の操作を実行し、及び、前記携帯端末から前記ユーザの他方の手による第２のユーザ入力が受信された場合に、前記コンテンツ画像に表示される前記オブジェクトの第２の操作を実行し、
前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が受信された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
プログラム。
【請求項１２】
携帯端末であって、
ユーザの一方の手による第１のユーザ入力を検出するタッチパネルを有する情報処理装置との間で通信する通信部と、
前記ユーザの他方の手による第２のユーザ入力を検出するセンサと、
操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
を備え、
前記制御部は、前記通信部により前記情報処理装置から前記第１のユーザ入力が受信された場合に、前記オブジェクトの第１の操作を実行し、及び、前記センサにより前記第２のユーザ入力が検出された場合に、前記オブジェクトの第２の操作を実行し、
前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が受信されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が検出された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
携帯端末。
【請求項１３】
ユーザの一方の手による第１のユーザ入力を検出するタッチパネルを備える情報処理装置と、
前記ユーザの他方の手による第２のユーザ入力を検出するセンサを備え、前記情報処理装置との間で通信可能な携帯端末と、
を含む情報処理システムであって、
前記情報処理装置及び前記携帯端末の少なくとも一方は、
操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
を有し、
前記制御部は、前記タッチパネルにより前記第１のユーザ入力が検出された場合に、前記オブジェクトの第１の操作を実行し、及び、前記センサにより前記第２のユーザ入力が検出された場合に、前記オブジェクトの第２の操作を実行し、
前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が検出された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システムに関する。
【背景技術】
【０００２】
近年、コンテンツの作成及び利用、ゲーム、オンラインショッピング、並びにデジタル家電機器の操作など、様々な分野で、画面上に表示されるコンテンツとユーザとの間のインタラクションをより緊密化させたユーザインタフェース（ＵＩ）が指向されている。例えば、下記特許文献１は、タッチパッドへの接触とカメラを介して検出されるジェスチャとを複合的に用いることで、画像オブジェクトの操作の直感性を高めることを提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４２７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ジェスチャ認識を用いる手法では、予め登録されたジェスチャに対応する操作しか行うことができないため、オブジェクトをユーザが自在に動かすことが難しかった。また、登録されたジェスチャを学習することがユーザにとって負担になる場合があった。さらに、例えば暗い場所においては、カメラにより撮像されたユーザのジェスチャを正確に認識することができず、ＵＩが正常に機能しない恐れがあった。
【０００５】
そこで、本発明は、これら問題点の少なくとも１つを解決するユーザインタフェースを提供することのできる、新規かつ改良された情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システムを提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明のある実施形態によれば、第１のユーザ入力を検出するタッチパネルと、第２のユーザ入力を検出する携帯端末との間で通信する通信部と、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、を備え、上記制御部は、上記タッチパネルにより上記第１のユーザ入力が検出された場合に、上記オブジェクトの第１の操作を実行し、及び、上記通信部により上記携帯端末から上記第２のユーザ入力が受信された場合に、上記オブジェクトの第２の操作を実行する、情報処理装置が提供される。
【０００７】
また、上記第２のユーザ入力は、上記携帯端末の姿勢の変化に対応するユーザ入力であり、上記第２の操作は、上記コンテンツ画像内の上記オブジェクトの姿勢の変更であってもよい。
【０００８】
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるドラッグであり、上記第１の操作は、上記コンテンツ画像内の上記オブジェクトのサイズ変更若しくは移動、又は視点の変更であってもよい。
【０００９】
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるタッチであり、上記第１の操作は、操作可能な複数のオブジェクトからの操作対象オブジェクトの選択であってもよい。
【００１０】
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるドラッグであり、上記第１の操作は、上記コンテンツ画像内の上記オブジェクトの移動であり、上記制御部は、上記第２のユーザ入力に基づいて変更される上記オブジェクトの姿勢に応じて、上記オブジェクトの移動方向を制御してもよい。
【００１１】
また、上記携帯端末は、第３のユーザ入力をさらに検出し、上記制御部は、上記通信部により上記携帯端末から上記第３のユーザ入力が受信された場合に、上記第１のユーザ入力に基づいて実行される上記第１の操作を複数の操作の候補の間で切替えてもよい。
【００１２】
また、上記表示出力部は、上記情報処理装置の外部の表示装置へ上記コンテンツ画像を出力してもよい。
【００１３】
また、上記制御部は、上記オブジェクトの操作に関する説明を表示する操作ガイダンスを上記タッチパネルに表示させてもよい。
【００１４】
また、本発明の別の実施形態によれば、上記情報処理装置を内蔵する本体部と、上記情報処理装置の上記タッチパネルの表示面を上方に配置した天板と、を備えるテーブルが提供される。
【００１５】
また、本発明の別の実施形態によれば、タッチパネルを有し、携帯端末との間で通信可能な情報処理装置において、コンテンツの表示を制御するための表示制御方法であって、操作可能なオブジェクトを含むコンテンツデータを取得するステップと、上記オブジェクトを表示するコンテンツ画像を出力するステップと、上記タッチパネルにより第１のユーザ入力が検出された場合に、上記コンテンツ画像に表示される上記オブジェクトの第１の操作を実行するステップと、上記携帯端末から第２のユーザ入力が受信された場合に、上記コンテンツ画像に表示される上記オブジェクトの第２の操作を実行するステップと、を含む表示制御方法が提供される。
【００１６】
また、上記第２のユーザ入力は、上記携帯端末の姿勢の変化に対応するユーザ入力であり、上記第２の操作は、上記コンテンツ画像内の上記オブジェクトの姿勢の変更であってもよい。
【００１７】
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるドラッグであり、上記第１の操作は、上記コンテンツ画像内の上記オブジェクトのサイズ変更若しくは移動、又は視点の変更であってもよい。
【００１８】
また、本発明の別の実施形態によれば、タッチパネルを有し、携帯端末との間で通信可能な情報処理装置を制御するコンピュータを、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、として機能させるためのプログラムであって、上記制御部は、上記タッチパネルにより第１のユーザ入力が検出された場合に、上記コンテンツ画像に表示される上記オブジェクトの第１の操作を実行し、及び、上記携帯端末から第２のユーザ入力が受信された場合に、上記コンテンツ画像に表示される上記オブジェクトの第２の操作を実行する、プログラムが提供される。
【００１９】
また、本発明の別の実施形態によれば、第１のユーザ入力を検出するタッチパネルを有する情報処理装置との間で通信する通信部と、第２のユーザ入力を検出するセンサと、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、を備え、上記制御部は、上記通信部により上記情報処理装置から上記第１のユーザ入力が受信された場合に、上記オブジェクトの第１の操作を実行し、及び、上記センサにより上記第２のユーザ入力が検出された場合に、上記オブジェクトの第２の操作を実行する、携帯端末が提供される。
【００２０】
また、本発明の別の実施形態によれば、第１のユーザ入力を検出するタッチパネルを備える情報処理装置と、第２のユーザ入力を検出するセンサを備え、上記情報処理装置との間で通信可能な携帯端末と、を含む情報処理システムであって、上記情報処理装置及び上記携帯端末の少なくとも一方は、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、を有し、上記制御部は、上記タッチパネルにより上記第１のユーザ入力が検出された場合に、上記オブジェクトの第１の操作を実行し、及び、上記センサにより上記第２のユーザ入力が検出された場合に、上記オブジェクトの第２の操作を実行する、情報処理システムが提供される。
【発明の効果】
【００２１】
以上説明したように、本発明に係る情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システムによれば、上述した問題点の少なくとも１つを解決し、ジェスチャ認識に基づくＵＩよりも操作の自在性を高めたＵＩを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】情報処理システムの概要を示す模式図である。
【図２】第１の実施形態に係る携帯端末の構成の一例を示すブロック図である。
【図３】第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図４】情報処理装置と携帯端末との間の人体通信について説明するための説明図である。
【図５】第１の実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。
【図６】第１の実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。
【図７】コンテンツデータと関連付けられるＵＩ構成データの一例について説明するための説明図である。
【図８】ユーザ入力と操作内容とのマッピングの一例について説明するための説明図である。
【図９】機器探索のための問合せパケットのパケットフォーマットの一例について説明するための説明図である。
【図１０】図９の問合せパケットへの応答パケットのパケットフォーマットの一例について説明するための説明図である。
【図１１】情報処理装置のタッチパネル上に表示される操作ガイダンスの一例について説明するための説明図である。
【図１２】センサデータパケットのパケットフォーマットの一例について説明するための説明図である。
【図１３】第１の実施形態に係る情報処理装置による処理の流れの一例を示すフローチャートである。
【図１４】第１の実施形態に係る携帯端末による処理の流れの一例を示すフローチャートである。
【図１５】第２の実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。
【図１６】第２の実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２４】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．システムの概要
２．第１の実施形態の説明
２−１．携帯端末の構成例
２−２．情報処理装置の構成例
２−３．表示制御処理の流れの例
２−４．各装置の処理
３．第２の実施形態の説明
４．まとめ
【００２５】
＜１．システムの概要＞
図１は、本発明の一実施形態に係る情報処理システム１の概要を示す模式図である。図１を参照すると、情報処理システム１は、表示装置１０、携帯端末２０及び情報処理装置１００を含む。図１の例では、携帯端末２０は、ユーザにより把持されている。また、情報処理装置１００は、ユーザの前方に位置するテーブル５０に内蔵されている。
【００２６】
表示装置１０は、情報処理システム１においてユーザにより指定されるコンテンツを画面上に表示する。表示装置１０は、例えば、液晶、ＰＤＰ（Plasma  Display  Panel）、ＣＲＴ（Cathode  Ray  Tube）若しくはＯＬＥＤ（Organic  Light-Emitting  Diode）などの画面を有するテレビジョン受像機、ＰＣ（Personal  Computer）用のモニタ又はその他の種類の表示装置であってよい。
【００２７】
携帯端末２０は、例えばジャイロセンサ、電子コンパス又は加速度センサなどの１つ以上のセンサを有する、携帯可能な端末装置である。携帯端末２０は、情報処理装置１００と連携しながら、上述したセンサを用いて、表示装置１０により表示されるコンテンツをユーザが操作するためのＵＩを部分的に提供する。携帯端末２０は、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）、ＰＮＤ（Portable  Navigation  Device）、携帯型ゲーム端末、又は携帯型音楽プレーヤなどであってよい。
【００２８】
テーブル５０は、天板５２、１つ以上の脚５４及び本体部５６を有する。本体部５６は、情報処理装置１００のモジュール群を内蔵する。天板５２の表面には、情報処理装置１００のタッチパネルの表示面が露出される。
【００２９】
情報処理装置１００は、ユーザによるタッチを検出可能なタッチパネルを有する装置である。情報処理装置１００は、携帯端末２０と連携しながら、上述したタッチパネルを用いて、表示装置１０により表示されるコンテンツをユーザが操作するためのＵＩを部分的に提供する。図１の例では情報処理装置１００はテーブル５０に内蔵されているが、その代わりに、情報処理装置１００は、例えば、テーブル５０とは別体に構成されるＰＣ（Personal  Computer）であってもよい。その場合、情報処理装置１００は、使用時にテーブル５０に載置され得る。
【００３０】
情報処理装置１００は、例えば、無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＮＦＣ（Near  Field  Communication）などの任意の無線通信プロトコルに従って、携帯端末２０との間で通信してもよい。その代わりに、情報処理装置１００は、例えば、特開２０１０−２１９８４号公報に記載された人体通信技術を利用し、ユーザの体を介して携帯端末２０との間で通信してもよい。
【００３１】
本明細書では、このような携帯端末２０と情報処理装置１００との連携によって実現されるＵＩについて詳細に説明する。以下に説明する第１の実施形態では、情報処理装置１００が、ＵＩのマスタとして動作する。また、第２の実施形態では、携帯端末２０が、ＵＩのマスタとして動作する。
【００３２】
＜２．第１の実施形態の説明＞
［２−１．携帯端末の構成例］
図２は、第１の実施形態に係る携帯端末２０の構成の一例を示すブロック図である。図２を参照すると、携帯端末２０は、入力部２２、通信部２４、記憶部２６、データ取得部２８、制御部３０、表示部３２及び表示出力部３４を備える。
【００３３】
入力部２２は、１つ以上のセンサ、及びタッチパネル、キーパッド、ボタン又はスイッチなどのその他の入力手段を含み、携帯端末２０へのユーザ入力を検出する。入力部２２に含まれるセンサは、例えば、ジャイロセンサ、電子コンパス又は加速度センサなどであってよい。入力部２２は、これらセンサにより測定されるデータ（以下、センサデータという）を時系列で制御部３０へ出力する。
【００３４】
通信部２４は、携帯端末２０と情報処理装置１００との間の通信のための通信インタフェースを含む。通信部２４は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＮＦＣなどの無線通信プロトコルを実装する無線通信インタフェースを含んでもよい。その代わりに、通信部２４は、例えば、上述した人体通信のための電極などを有する人体通信インタフェースを含んでもよい。さらに、通信部２４は、携帯端末２０が外部ネットワークと接続するための接続インタフェースを含んでもよい。
【００３５】
記憶部２６は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、携帯端末２０が実行する処理ロジックを記述したプログラム及び制御データを記憶する。また、記憶部２６は、ユーザにより操作可能なオブジェクトを含むコンテンツデータを記憶してもよい。記憶部２６により記憶され得るコンテンツデータは、画像データ、２Ｄ若しくは３Ｄの映像データ、アニメーションデータ、又はインタラクティブなＷｅｂページなどであってもよい。
【００３６】
データ取得部２８は、操作可能なオブジェクトを含むコンテンツデータを取得し得る。例えば、データ取得部２８は、携帯端末２０の撮像手段（図示せず）により撮像される画像データ又は映像データを取得してもよい。また、データ取得部２８は、通信部２４を介して外部ネットワークからダウンロードされるコンテンツデータを取得してもよい。
【００３７】
制御部３０は、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）又はＤＳＰ（Digital  Signal  Processor）などのプロセッサを用いて、携帯端末２０の動作全般を制御する。例えば、制御部３０は、通信部２４を介して、情報処理装置１００との間の通信を確立する。また、制御部３０は、入力部２２から入力されるセンサデータを、通信部２４を介して情報処理装置１００へ出力する。また、制御部３０は、記憶部２６により記憶されているコンテンツデータの一覧を表示部３２又は他の装置の画面上に表示させ、再生すべきコンテンツデータをユーザに指定させてもよい。
【００３８】
表示部３２は、携帯端末２０の固有の画面を有する。表示部３２は、制御部３０による制御の下、例えば、携帯端末２０のデスクトップ画像、アプリケーション画像又はコンテンツデータ一覧などを画面上に表示し得る。
【００３９】
表示出力部３４は、携帯端末２０から表示装置１０へ画像を出力するための出力インタフェースである。本実施形態では、後述するように、情報処理装置１００によりコンテンツデータが再生され、情報処理装置１００から表示装置１０へコンテンツ画像が出力される。しかしながら、かかる例に限定されず、携帯端末２０によりコンテンツデータが再生され、携帯端末２０の表示出力部３４から表示装置１０へコンテンツ画像が出力されてもよい。
【００４０】
［２−２．情報処理装置の構成例］
図３は、第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図３を参照すると、情報処理装置１００は、タッチ検出部１１２、表示部１１４、通信部１２０、記憶部１３０、データ取得部１４０、表示出力部１５０及び制御部１６０を備える。
【００４１】
タッチ検出部１１２及び表示部１１４は、タッチパネル１１０を形成する。タッチ検出部１１２は、例えば、図１におけるテーブル５０の天板５２の表面に露出される表示面へのユーザによるタッチを感知し、タッチ位置を表す電気信号を制御部１６０へ出力する。表示部１１４は、制御部１６０から入力される画像をタッチパネルの表示面上に表示する。表示部１１４により表示される画像には、表示装置１０へ出力されるコンテンツ画像に表示されるオブジェクトについての操作ガイダンスの画像が含まれる。
【００４２】
通信部１２０は、情報処理装置１００と携帯端末２０との間の通信のための通信インタフェースを含む。通信部１２０は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＮＦＣなどの無線通信プロトコルを実装する無線通信インタフェースを含んでもよい。その代わりに、通信部１２０は、例えば、上述した人体通信のための電極などを有する人体通信インタフェースを含んでもよい。さらに、通信部１２０は、情報処理装置１００が外部ネットワーク（インターネット又はＤＬＮＡネットワークなど）と接続するための接続インタフェースを含んでもよい。
【００４３】
図４は、携帯端末２０と情報処理装置１００との間の通信の一例である人体通信について説明するための説明図である。図４を参照すると、携帯端末２０を把持する（又は装着する）と共に、情報処理装置１００を触っているユーザＵａが示されている。図４の例では、携帯端末２０の通信部２４は、電極２４ａ及び変復調部２４ｂを含む。電極２４ａは、基準電位（ＧＮＤ：グラウンド）を有する大地又は大気などと静電結合し、静電容量を形成する。同様に、情報処理装置１００の通信部１２０は、電極１２０ａ及び変復調部１２０ｂを含む。電極１２０ａもまた、上記基準電位を有する大地又は大気などと静電結合し、静電容量を形成する。通信信号は、これら電極間の電位差に変調され、携帯端末２０と情報処理装置１００との間をユーザＵａの人体を介して伝送され得る。なお、このような人体通信は一例に過ぎず、携帯端末２０と情報処理装置１００との間の通信は他の通信形態によって行われてもよい。
【００４４】
図３に戻り、本実施形態に係る情報処理装置１００の構成の一例の説明を継続する。
【００４５】
記憶部１３０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、情報処理装置１００が実行する処理ロジックを記述したプログラム及び制御データを記憶する。また、記憶部１３０は、ユーザにより操作可能なオブジェクトを含むコンテンツデータを記憶する。
【００４６】
データ取得部１４０は、操作可能なオブジェクトを含むコンテンツデータを取得する。例えば、データ取得部１４０は、記憶部１３０により記憶されているコンテンツデータを取得してもよい。また、データ取得部１４０は、携帯端末２０の記憶部２６により記憶されているコンテンツデータを、通信部１２０を介して取得してもよい。また、データ取得部１４０は、通信部１２０を介して外部ネットワークからダウンロードされるコンテンツデータを取得してもよい。データ取得部１４０により取得されるコンテンツデータは、制御部１６０により再生され得る。
【００４７】
表示出力部１５０は、情報処理装置１００から表示装置１０へ画像を出力するための出力インタフェースである。表示出力部１５０は、例えば、ＨＤＭＩ（High  Definition  Multimedia  Interface）又はＤＶＩ（Digital  Visual  Interface）などの映像伝送プロトコルを実装する映像出力インタフェースであってもよい。表示出力部１５０の出力インタフェースは、有線インタフェースであってもよく、無線インタフェースであってもよい。
【００４８】
制御部１６０は、ＣＰＵ、ＭＰＵ又はＤＳＰなどのプロセッサを用いて、情報処理装置１００の動作全般を制御する。例えば、制御部１６０は、データ取得部１４０により取得されるコンテンツデータの一覧を表示部１１４又は他の装置の画面上に表示させ、再生すべきコンテンツデータをユーザに指定させる。また、制御部１６０は、指定されたコンテンツデータを再生することにより得られるコンテンツ画像を、表示出力部１５０を介して表示装置１０に表示させる。また、制御部１６０は、通信部１２０を介して、携帯端末２０との間の通信を確立する。そして、制御部１６０は、タッチパネル１１０により検出される第１のユーザ入力、及び携帯端末２０により検出される第２のユーザ入力に応じて、コンテンツ画像に表示されるオブジェクトの操作を制御する。携帯端末２０により検出される第２のユーザ入力は、通信部１２０により受信されるセンサデータを通じて認識され得る。
【００４９】
［２−３．表示制御処理の流れの例］
次に、図５及び図６を用いて、情報処理システム１における表示制御処理の流れの一例を説明する。
【００５０】
（１）事前処理
図５は、本実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。図５を参照すると、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する事前処理のシーケンスの一例が示されている。
【００５１】
表示制御処理の事前処理は、まず、再生すべきコンテンツデータをユーザが指定することにより開始される（ステップＳ１０２）。例えば、ユーザは、情報処理装置１００のタッチパネル１１０の表示面に表示されるコンテンツデータの一覧から所望のアイテムを選択し、選択したアイテムをタッチすることによりコンテンツデータを指定し得る。
【００５２】
次に、情報処理装置１００のデータ取得部１４０は、指定されたコンテンツデータを、情報処理装置１００の記憶部１３０、携帯端末２０の記憶部２６又は外部ネットワークなどから取得する（ステップＳ１０４）。さらに、データ取得部１４０は、ステップＳ１０４において取得したコンテンツデータと関連付けて、ユーザ入力と当該コンテンツデータに含まれるオブジェクトの操作との間の対応関係を定義するＵＩ構成データを取得する（ステップＳ１０６）。
【００５３】
図７は、コンテンツデータと関連付けられるＵＩ構成データの一例について説明するための説明図である。図７を参照すると、コンテンツデータ１３２のデータフォーマットの一例が示されている。図７のデータフォーマットにおいて、コンテンツデータ１３２は、共通ヘッダ１３４、拡張ヘッダ１３６、及びオブジェクトデータ１３８を含む。共通ヘッダ１３４には、例えば、コンテンツデータの種類、作成日時及びデータ長などの標準的なヘッダ情報が格納される。オブジェクトデータ１３８には、コンテンツを構成するオブジェクトの実データが格納される。
【００５４】
ＵＩ構成データは、例えば、拡張ヘッダ１３６に格納される。ＵＩ構成データは、例えば、利用センサ情報及び操作定義情報を含む。利用センサ情報とは、オブジェクトデータ１３８内の実データに含まれるオブジェクトの操作のために利用されるセンサを特定する情報である。利用センサ情報は、例えば、ジャイロセンサ、電子コンパス、加速度センサ、及びタッチパネルなどのセンサの種類ごとの利用／未利用を表すビット列又はコード値などであってよい。操作定義情報は、上述したセンサを介して検出されるユーザ入力とオブジェクトのより抽象的な操作内容とのマッピングを定義する情報である。
【００５５】
図８は、ユーザ入力と操作内容とのマッピングの一例について説明するための説明図である。図８を参照すると、ユーザ入力の６種類の入力イベントＥｖ０１、Ｅｖ１１、Ｅｖ１２、Ｅｖ１３、Ｅｖ２１及びＥｖ３１の各々について、ユーザ入力の種類及び対応する操作内容が示されている。例えば、情報処理装置１００のタッチパネル上でのタップは、操作対象のオブジェクトの選択に対応する（イベントＥｖ０１）。タッチパネル上でのドラッグは、３種類の入力状態に応じて、オブジェクトの移動若しくはサイズ変更、又は視点の変更のいずれかに対応する（イベントＥｖ１１〜Ｅｖ１３）。携帯端末２０のセンサにより検知される姿勢の変化は、オブジェクトの回転（３Ｄ回転又は２Ｄ回転）に対応する（イベントＥｖ２１）。また、オブジェクトの回転によってオブジェクトの姿勢が変更されることで、入力イベントＥｖ１１に応じたオブジェクトの移動方向が変更されてもよい。例えば、オブジェクトが直立している場合には入力イベントＥｖ１１に応じてオブジェクトが直進し、オブジェクトが傾いている場合には入力イベントＥｖ１１に応じてオブジェクトが曲線的に移動するようなＵＩが実現されてもよい。携帯端末２０の所定のボタンの押下は、入力状態の切替えに対応する（イベントＥｖ３１）。
【００５６】
図８におけるユーザ入力と操作内容とのマッピングの定義は、一例に過ぎない。例えば、タッチパネル上でのドラッグのうち、上下方向に沿ったドラッグがオブジェクトのサイズ変更、左右方向に沿ったドラッグがオブジェクトの移動などとマッピングされてもよい。また、ユーザ入力と操作内容とのマッピングは、ユーザごとにカスタマイズ又は個人化（パーソナライズ）されてもよい。但し、オブジェクトの操作のためのＵＩ機能を携帯端末２０と情報処理装置１００のタッチパネル１１０とに分散するにあたり、オブジェクトの姿勢の変更、即ちオブジェクトの回転は、携帯端末２０の姿勢の変化にマッピングされるのが好適である。なぜならば、携帯端末２０はユーザに把持された状態で自在に姿勢を変化させ得る一方で、情報処理装置１００のタッチパネル１１０はテーブル５０の上にほぼ固定的に配置されるためである。携帯端末２０でのオブジェクトの姿勢の制御とタッチパネル１１０でのオブジェクトの移動の制御とを同時に実現とすることで、ユーザが両手を用いて自在にオブジェクトを操作することが可能となる。
【００５７】
なお、ここではＵＩ構成データがコンテンツデータのヘッダに含まれる例について説明した。しかしながら、例えば、特定の種類のコンテンツについてＵＩの構成が標準化されているような場合には、コンテンツデータからＵＩ構成データが省略されてもよい。また、コンテンツデータ内にＵＩ構成データの所在を表すＵＲＬ（Uniform  Resource  Locator）のみが記述され、情報処理装置１００が当該ＵＲＬにアクセスしてＵＩ構成データを追加的に取得してもよい。
【００５８】
図５に戻り、表示制御処理の事前処理の流れの一例の説明を継続する。
【００５９】
情報処理装置１００の制御部１６０は、ユーザにより指定されたコンテンツデータが取得されると、初期状態のコンテンツ画像を表示出力部１５０を介して出力し、表示装置１０に当該コンテンツ画像を表示させる（ステップＳ１０８）。
【００６０】
また、制御部１６０は、コンテンツデータと関連付けられるＵＩ構成データが取得されると、ＵＩ構成データ内の利用センサ情報により指定されているセンサを有する機器を探索する（ステップＳ１１２）。機器の探索は、例えば、通信部１２０が所定のフォーマットを有する問合せパケットを情報処理装置１００の周囲に送信することにより行われ得る。携帯端末２０は、情報処理装置１００から問合せパケットを受信すると、当該問合せパケットに対する応答パケットを送信することにより、機器の探索に応答する（ステップＳ１１４）。
【００６１】
図９は、機器探索のための問合せパケットのパケットフォーマットの一例について説明するための説明図である。図９を参照すると、一例としての問合せパケット１３２は、問合せヘッダ１３４、問合せ側機能情報１３６及び要求機能情報１３８を含む。問合せヘッダ１３４には、例えば、問合せパケットのＩＤ、情報処理装置１００のＩＤ、パケットフォーマットの種類及びパケット長などのヘッダ情報が格納される。問合せ側機能情報１３６には、問合せ側である情報処理装置１００が有するケイパビリティに関する情報（例えば、利用可能な通信プロトコルの種類及びセンサの種類など）が含まれる。要求機能情報１３８には、問合せを受けた機器に要求される機能に関する情報が含まれる。図９の例では、要求機能情報１３８には、所望のＵＩの実現のために要求されるセンサのリストを含んでいる。
【００６２】
図１０は、図９の問合せパケットへの応答パケットのパケットフォーマットの一例について説明するための説明図である。図１０を参照すると、一例としての応答パケット１４２は、応答ヘッダ１４４及び応答側機能情報１４６を含む。応答ヘッダ１４４には、例えば、応答パケットのＩＤ、対応する問合せパケットのＩＤ、携帯端末２０のＩＤ及びパケット長などのヘッダ情報が格納される。応答側機能情報１４６には、応答側である携帯端末２０が有するケイパビリティに関する情報が含まれる。図１０の例では、応答側機能情報１４６は、問合せパケットの要求機能情報１３８により示されたセンサ群のうち携帯端末２０において利用可能なセンサのリストを含んでいる。
【００６３】
再び図５に戻り、表示制御処理の事前処理の流れの一例の説明を継続する。
【００６４】
情報処理装置１００の制御部１６０は、携帯端末２０から応答パケットを受信すると、例えば接続情報の交換、相互認証などを経て、携帯端末２０との間で通信を確立する（ステップＳ１１６）。
【００６５】
次に、制御部１６０は、ＵＩ構成データに含まれる操作定義情報に基づいて、表示部１１４に操作ガイダンスを表示させる（ステップＳ１１８）。図１１は、表示部１１４により表示される操作ガイダンスの一例について説明するための説明図である。図１１を参照すると、一例としての操作ガイダンス１５０は、タッチ領域枠１５２、入力状態表示欄１５４及び端末操作説明欄１５６を含む。タッチ領域枠１５２は、ユーザがタッチ又はドラッグなどのユーザ入力を行うための領域を示す枠である。入力状態表示欄１５４は、複数の入力状態のうちの現在の入力状態と入力状態の切替え方法とを示している。端末操作説明欄１５６は、携帯端末２０を用いてどのような操作を行うことができるかの説明を示している。なお、携帯端末２０により利用可能でないセンサが存在する場合には、端末操作説明欄１５６において、そのセンサについての説明が示されてもよい。ユーザは、このような操作ガイダンスを確認しながら、携帯端末２０及び情報処理装置１００のタッチパネル１１０の双方を用いて、表示装置１０により表示される操作可能なオブジェクトを操作することができる。
【００６６】
図１１に例示したような操作ガイダンスが表示されると、情報処理システム１における表示制御処理の事前処理は終了する。
【００６７】
（２）表示制御処理
図６は、本実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。事前処理に引き続き、表示制御処理には、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する。なお、表示制御処理は、典型的には、イベント駆動方式で行われる。従って、図６に示したユーザ入力の順序及び回数は、説明のための便宜的なものに過ぎない。以下の説明では、情報処理装置１００のタッチパネル１１０により検出されるユーザ入力を第１のユーザ入力、携帯端末２０により検出され情報処理装置１００の通信部１２０により受信されるユーザ入力を第２のユーザ入力という。
【００６８】
例えば、制御部１６０は、タッチパネル１１０により第１のユーザ入力が検出されると（ステップＳ１３０）、コンテンツ画像に表示されるオブジェクトの第１の操作を実行する（ステップＳ１３２）。図８を用いて説明したように、例えば、第１のユーザ入力はタッチパネル１１０上でのユーザによるタッチ、第１の操作は操作可能な複数のオブジェクトからの操作対象オブジェクトの選択であってもよい。また、例えば、第１のユーザ入力はタッチパネル１１０上でのユーザによるドラッグ、第１の操作はオブジェクトのサイズ変更若しくは移動、又は視点の変更であってもよい。制御部１６０は、入力状態に応じて第１のユーザ入力を解釈し、第１の操作に従ったコンテンツ画像を出力する（ステップＳ１３４）。
【００６９】
また、例えば、制御部１６０は、携帯端末２０により第２のユーザ入力が検出されると（ステップＳ１４０、Ｓ１４２）、コンテンツ画像に表示されるオブジェクトの第２の操作を実行する（ステップＳ１４４）。図８を用いて説明したように、例えば、第２のユーザ入力は携帯端末２０の姿勢の変化、第２の操作はオブジェクトの姿勢の変更であってよい。制御部１６０は、通信部１２０により受信されるセンサデータに基づいて第２のユーザ入力を認識し、第２の操作に従ったコンテンツ画像を出力する（ステップＳ１４６）。
【００７０】
また、例えば、制御部１６０は、タッチパネル１１０により第１のユーザ入力が検出されると共に（ステップＳ１５０）、携帯端末２０により第２のユーザ入力が検出されると（ステップＳ１５２、Ｓ１５４）、上記第１及び第２の操作とは異なるオブジェクトの操作を実行してもよい（ステップＳ１５６）。例えば、第２のユーザ入力に基づいてオブジェクトの姿勢が変更され、変更されたオブジェクトの姿勢に応じて異なる移動方向で、第１のユーザ入力に基づいてオブジェクトが移動されてもよい。制御部１６０は、このような操作に従ったコンテンツ画像を出力し得る（ステップＳ１５８）。
【００７１】
図１２は、図６のステップＳ１４２及びＳ１５４において携帯端末２０から情報処理装置１００へ送信され得るセンサデータパケットのパケットフォーマットの一例について説明するための説明図である。図１２を参照すると、一例としてのセンサデータパケット１５２は、センサデータヘッダ１５４、及び１つ以上のセンサデータフィールド１５６ａ〜１５６ｎを含む。センサデータヘッダ１５４は、例えば、携帯端末２０のＩＤ、パケット内のセンサデータフィールドの数、及び測定時刻を表すタイムスタンプなどを含み得る。センサデータフィールド１５６ａ〜１５６ｎの各々は、センサの種類に応じた測定結果を含み得る。例えば、ジャイロセンサについては回転方向ごとの角速度、電子コンパスについては方位、加速度センサについては３軸の加速度、タッチパネルについてはタッチ位置又はドラッグ位置などのデータ値がセンサデータに含まれ得る。
【００７２】
［２−４．各装置の処理］
（１）マスタ側装置
図１３は、本実施形態においてＵＩのスレーブとして動作する携帯端末２０による処理の流れの一例を示すフローチャートである。
【００７３】
図１３を参照すると、まず、データ取得部１４０により、コンテンツデータが取得される（ステップＳ１６１）。次に、データ取得部１４０により、コンテンツデータと関連付けられるＵＩ構成データが取得される（ステップＳ１６２）。そして、制御部１６０は、コンテンツデータに含まれるオブジェクトの操作のためのＵＩに利用されるセンサを、ＵＩ構成データから認識する（ステップＳ１６３）。また、制御部１６０は、表示出力部１５０を介して初期状態のコンテンツ画像を表示装置１０へ出力する（ステップＳ１６４）、
【００７４】
次に、通信部１２０から機器の探索のための問合せパケットが送信される（ステップＳ１６５）。そして、情報処理装置１００は、周辺に存在する機器からの応答を待ち受ける（ステップＳ１６６）。ここで、所定の待機時間を経過しても応答が受信されない場合には、制御部１６０は、他の機器を用いることなくオブジェクトの操作を制御する（ステップＳ１６７）。一方、例えば携帯端末２０から応答パケットが受信された場合には、制御部１６０は、携帯端末２０との間で通信を確立する（ステップＳ１６８）。そして、制御部１６０は、ＵＩ構成データに従って、図１１に例示したような操作ガイダンスを表示部１１４に表示させる（ステップＳ１６９）。
【００７５】
その後、制御部１６０は、ユーザ入力の検出を待ち受ける（ステップＳ１７０）。そして、制御部１６０は、ユーザ入力が検出されると、当該ユーザ入力から入力イベントを認識し、認識した入力イベントに応じてオブジェクトの操作を制御する。そして、制御部１６０は、表示装置１０へ出力されるコンテンツ画像を更新する（ステップＳ１７１）。このようなオブジェクトの操作は、例えば、携帯端末２０からのセンサデータの受信が停止するまで継続され得る（ステップＳ１７２）。そして、制御部１６０は、センサデータの受信が停止すると、携帯端末２０との間の通信を終了する（ステップＳ１７３）。なお、センサデータの受信停止ではなく、ユーザからの明示的な指示又はその他のイベントを契機として、携帯端末２０と情報処理装置１００との間の通信が終了されてもよい。
【００７６】
（２）スレーブ側装置
図１４は、本実施形態においてＵＩのマスタとして動作する情報処理装置１００による処理の流れの一例を示すフローチャートである。
【００７７】
まず、携帯端末２０の通信部２４は、情報処理装置１００からの機器の探索のための問合せパケットの受信を待ち受ける（ステップＳ１８１）。そして、通信部２４により問合せパケットが受信されると、制御部３０は、自装置において利用可能なセンサのリストを含む応答パケットを生成し、当該応答パケットを通信部２４を介して情報処理装置１００へ送信する（ステップＳ１８２）。そして、制御部３０は、情報処理装置１００との間で通信を確立する（ステップＳ１８３）。
【００７８】
その後、制御部３０は、入力部２２のセンサにより測定されるデータを、センサデータとして情報処理装置１００へ通信部２４を介して継続的に送信する（ステップＳ１８４）。また、制御部３０は、所定のボタンの押下などの入力イベントを情報処理装置１００へ送信してもよい。このような携帯端末２０と情報処理装置１００との間の通信は、例えば、オブジェクトの操作終了の指示が検出されるまで、又はユーザが情報処理装置１００（若しくはテーブル５０）から離れたことが検出されるまで継続され得る（ステップＳ１８５）。そして、制御部３０は、オブジェクトの操作終了に伴い、情報処理装置１００との間の通信を終了する（ステップＳ１８６）。
【００７９】
＜３．第２の実施形態の説明＞
次に、本発明の第２の実施形態として、携帯端末２０がＵＩのマスタとして動作し、情報処理装置１００がスレーブとして動作する場合の処理の流れの一例を説明する。
【００８０】
（１）事前処理
図１５は、第２の実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。図１５を参照すると、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する事前処理のシーケンスの一例が示されている。
【００８１】
表示制御処理の事前処理は、まず、再生すべきコンテンツデータをユーザが指定することにより開始される（ステップＳ２０２）。例えば、ユーザは、携帯端末２０の表示部３２に表示されるコンテンツデータの一覧から所望のアイテムを選択することによりコンテンツデータを指定し得る。
【００８２】
次に、携帯端末２０のデータ取得部２８は、指定されたコンテンツデータを、携帯端末２０の記憶部２６、情報処理装置１００の記憶部１３０、又は外部ネットワークなどから取得する（ステップＳ２０４）。さらに、データ取得部２８は、ステップＳ２０４において取得したコンテンツデータと関連付けて、ユーザ入力と当該コンテンツデータに含まれるオブジェクトの操作との間の対応関係を定義するＵＩ構成データを取得する（ステップＳ２０６）また、携帯端末２０の制御部３０は、ユーザにより指定されたコンテンツデータが取得されると、初期状態のコンテンツ画像を表示出力部３４を介して出力し、表示装置１０に当該コンテンツ画像を表示させる（ステップＳ２０８）。
【００８３】
また、制御部３０は、コンテンツデータと関連付けられるＵＩ構成データが取得されると、ＵＩ構成データ内の利用センサ情報により指定されているセンサを有する機器を探索する（ステップＳ２１２）。機器の探索は、例えば、通信部２４が所定のフォーマットを有する問合せパケットを携帯端末２０の周囲に送信することにより行われ得る。情報処理装置１００は、携帯端末２０から問合せパケットを受信すると、当該問合せパケットに対する応答パケットを送信することにより、機器の探索に応答する（ステップＳ２１４）。
【００８４】
次に、携帯端末２０の制御部３０は、情報処理装置１００から応答パケットを受信すると、例えば接続情報の交換、相互認証などを経て、情報処理装置１００との間で通信を確立する（ステップＳ２１６）。
【００８５】
次に、制御部３０は、ＵＩ構成データに含まれる操作定義情報を情報処理装置１００へ送信し、情報処理装置１００の表示部１１４に操作ガイダンスを表示させる（ステップＳ２１８）。そして、例えば図１１に例示したような操作ガイダンスが表示されると、本実施形態に係る表示制御処理の事前処理は終了する。
【００８６】
（２）表示制御処理
図１６は、本実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。事前処理に引き続き、表示制御処理には、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する。なお、図１６に示したユーザ入力の順序及び回数は、説明のための便宜的なものに過ぎない。
【００８７】
例えば、携帯端末２０の制御部３０は、情報処理装置１００のタッチパネル１１０により第１のユーザ入力が検出されると（ステップＳ２３０）、タッチ位置などを表すセンサデータを通信部２４を介して情報処理装置１００から受信する（ステップＳ２３２）。そして、制御部３０は、コンテンツ画像に表示されるオブジェクトの第１の操作を実行し（ステップＳ２３４）、第１の操作に従ったコンテンツ画像を出力する（ステップＳ２３６）。
【００８８】
また、例えば、制御部３０は、入力部２２のセンサにより第２のユーザ入力が検出されると（ステップＳ２４０）、コンテンツ画像に表示されるオブジェクトの第２の操作を実行する（ステップＳ２４２）。そして、制御部３０は、第２の操作に従ったコンテンツ画像を出力する（ステップＳ２４４）。
【００８９】
また、例えば、制御部３０は、タッチパネル１１０により第１のユーザ入力が検出されると共に（ステップＳ２５０、Ｓ２５２）、入力部２２のセンサにより第２のユーザ入力が検出されると（ステップＳ２５４）、上記第１及び第２の操作とは異なるオブジェクトの操作を実行してもよい（ステップＳ２５６）。そして、制御部３０は、上記第１及び第２の操作とは異なるオブジェクトの操作に従ったコンテンツ画像を出力する（ステップＳ２５８）。
【００９０】
このような表示制御処理において実行されるオブジェクトの操作は、図８に例示したようなユーザ入力と操作内容とのマッピングに従った操作と同様であってよい。
【００９１】
＜４．まとめ＞
ここまで、図１〜図１６を用いて、本発明の第１及び第２の実施形態について説明した。これら実施形態によれば、情報処理装置１００のタッチパネル１１０により検出される第１のユーザ入力及び携帯端末２０により検出される第２のユーザ入力の双方を活用するユーザインタフェースが実現される。即ち、単独の機器で操作を行う場合と比較してユーザ入力のバリエーションが拡張されるため、２種類の機器を用いてオブジェクトをユーザが自在に動かすことが可能となる。特に、近年、多様なセンサが小型化され、スマートフォンに代表される様々な携帯端末に小型のセンサが搭載されている。従って、上述した実施形態によれば、市場で流通する携帯端末のセンサを活用して、据え置き型のコンピュータ（又は少なくとも使用時にテーブル等に載置されるコンピュータ）のユーザインタフェースを拡張し、操作の利便性を効果的に高めることができる。また、上述した実施形態によれば、登録されたジェスチャをユーザが学習する必要がない。また、キーパッドなどの文字入力に適した入力手段を有しない装置（例えば、情報処理装置１００のようなタッチパネル端末、又は表示装置１０のようなＴＶなど）を携帯端末と連携させることで、これら装置への文字入力に際しての不便を解消することができる。
【００９２】
また、ユーザは、例えば、右手で情報処理装置のタッチパネルを扱いながら、左手で携帯端末を把持して動かすことができる。そのため、これら２つの機器にＵＩ機能を好適に分散することで、ユーザによる直感的かつ柔軟な操作が実現され得る。
【００９３】
例えば、第２のユーザ入力は携帯端末の姿勢の変化に対応し、第２の操作はコンテンツ画像内のオブジェクトの姿勢の変更に対応する。従って、設置面に拘束されることなく自由に姿勢を変化させることのできる携帯端末を用いて、オブジェクトの姿勢を操作することが可能となる。このようなユーザインタフェースは、とりわけ操作対象が３Ｄ空間内に表示される場合に有益である。
【００９４】
また、例えば、第１のユーザ入力は情報処理装置のタッチパネル上でのユーザによるドラッグであり、第１の操作はコンテンツ画像内のオブジェクトのサイズ変更若しくは移動、又は視点の変更である。一般的に、タッチパネル上でのドラッグは、実空間内で携帯端末を動かすことと比較して、ユーザが意図する距離及び方向をより正確に反映させ易い。従って、ある程度の操作の正確性が期待される場合には、オブジェクトの移動及び姿勢の変更の双方を携帯端末へのユーザ入力にマッピングするよりも、上述した構成を採用する方が有益である。
【００９５】
また、上述した実施形態によれば、コンテンツ画像は外部の表示装置へ出力され、オブジェクトの操作に関する操作ガイダンスは情報処理装置のタッチパネルに表示される。それにより、ユーザは、操作ガイダンスを見ながら容易にコンテンツ画像内のオブジェクトを操作することができる。
【００９６】
なお、本明細書において説明した携帯端末及び情報処理装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００９７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９８】
１        情報処理システム
１０      表示装置
２０      携帯端末
２４      通信部
２８      データ取得部
３０      制御部
３４      表示出力部
５０      テーブル
１００    情報処理装置
１１０    タッチパネル
１２０    通信部
１４０    データ取得部
１５０    表示出力部
１６０    制御部
【図１】
0005655515.tif 000002
【図２】
0005655515.tif 000003
【図３】
0005655515.tif 000004
【図４】
0005655515.tif 000005
【図５】
0005655515.tif 000006
【図６】
0005655515.tif 000007
【図７】
0005655515.tif 000008
【図８】
0005655515.tif 000009
【図９】
0005655515.tif 000010
【図１０】
0005655515.tif 000011
【図１１】
0005655515.tif 000012
【図１２】
0005655515.tif 000013
【図１３】
0005655515.tif 000014
【図１４】
0005655515.tif 000015
【図１５】
0005655515.tif 000016
【図１６】
0005655515.tif 000017