(57)【特許請求の範囲】
【請求項１】
曲面形状または略曲面形状を有する携帯型の端末装置であって、
可撓性を有する内郭と、
前記内郭を支持する伸縮可能な支持部材と、
前記内郭上に配置されて、当該端末装置の表面への接触を検出する検出部と、
前記内郭上に配置されて、画像を表示する表示部と、
前記検出部による検出値を送信する送信部と、
画像を生成するための画像データを受信する受信部と、
受信した画像データを用いて、前記表示部に表示する画像を生成する制御部と、を備え、
前記送信部、前記受信部および前記制御部は、前記表示部よりも当該端末装置の内側に設けられることを特徴とする端末装置。
【請求項２】
前記検出部および前記表示部は、内郭上に配置されて、前記検出部は、前記表示部の内側に設けられることを特徴とする請求項１に記載の端末装置。
【請求項３】
前記表示部は、当該端末装置の表面から画像を表示できるように設けられることを特徴とする請求項１または２に記載の端末装置。
【請求項４】
前記表示部は、複数の表示パネルを組み合わせて構成されることを特徴とする請求項１から３のいずれかに記載の端末装置。
【請求項５】
前記表示パネルは、曲面状に形成されることを特徴とする請求項４に記載の端末装置。
【請求項６】
前記端末装置は、球体または卵形の外形を有することを特徴とする請求項１から５のいずれかに記載の端末装置。
【請求項７】
端末装置と、情報処理装置とを備えた情報処理システムであって、
前記端末装置は、
可撓性を有する内郭と、
前記内郭を支持する伸縮可能な支持部材と、
前記内郭上に配置されて、当該端末装置の表面への接触を検出する検出部と、
前記内郭上に配置されて、画像を表示する表示部と、
前記検出部による検出値を前記情報処理装置に送信する送信部と、
画像を生成するための画像データを前記情報処理装置から受信する受信部と、
受信した画像データを用いて、前記表示部に表示する画像を生成する制御部と、を有し、
前記送信部、前記受信部および前記制御部は、前記表示部よりも当該端末装置の内側に設けられており、
前記情報処理装置は、
前記端末装置から、前記検出値を受信する受信部と、
前記検出値をもとに、画像データを生成するアプリケーション処理部と、
画像データを前記情報処理装置に送信する送信部と、を有する、
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置または出力装置として動作する端末装置、およびその端末装置を利用した情報処理システムに関する。
【背景技術】
【０００２】
従来のゲームコントローラは十字キーやボタンなどの入力インタフェースを備え、ゲーム装置に有線接続して、ユーザによる操作データをゲーム装置に伝送する。ユーザは両手でコントローラの左右のグリップをもち、手指で十字キーやボタンを操作する。近年、無線技術の進歩により、ゲーム装置に無線でデータを送受信できるコントローラが普及しはじめている。無線コントローラは、ゲーム装置との間の配線を不要とするため、ユーザは自由な位置でゲームをプレイできる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国公開特許２００７−２１８９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示される無線コントローラは、データを無線で送受信するものの、十字キーやボタンなどの入力インタフェースを変更するものではない。そのため、従来からある有線コントローラも、特許文献１に開示された無線コントローラも、その操作性に違いはない。
【０００５】
コントローラに新たな入力インタフェースをもたせることで、ユーザによる操作の幅を広げることができ、その操作性を活かしたゲームアプリケーションのバリエーションも増やすことができる。また、従来のコントローラは、ユーザによる操作を受け付ける入力装置として利用されているが、コントローラにゲーム装置からの画像データを出力する出力装置としての機能ももたせることで、従来にないゲームアプリケーションの開発も期待できる。なお、ゲームの分野だけでなく、他の分野の処理装置においても、新たな入力インタフェースは、従来にないアプリケーションの開発を促進する。
【０００６】
そこで本発明は、新たな操作性を実現する端末装置であって、入力装置としてだけではなく、出力装置としても使用可能な端末装置を提供することを目的とする。この端末装置は、入力装置または出力装置として使用されてもよい。また本発明は、この端末装置を利用した情報処理システムを提供することも目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の端末装置は、曲面形状または略曲面形状を有する携帯型の端末装置であって、当該端末装置の表面への接触を検出する検出部と、画像を表示する表示部と、検出部による検出値を送信する送信部と、画像を生成するための画像データを受信する受信部と、受信した画像データを用いて、表示部に表示する画像を生成する制御部とを備える。
【０００８】
本発明の別の態様は、情報処理システムである。この情報処理システムは、端末装置と、情報処理装置とを備えた情報処理システムであって、端末装置は、当該端末装置の表面への接触を検出する検出部と、画像を表示する表示部と、検出部による検出値を情報処理装置に送信する送信部と、画像を生成するための画像データを情報処理装置から受信する受信部と、受信した画像データを用いて、表示部に表示する画像を生成する制御部とを有する。情報処理装置は、端末装置から、検出値を受信する受信部と、検出値をもとに、画像データを生成するアプリケーション処理部と、画像データを情報処理装置に送信する送信部とを有する。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によると、新たな操作性を実現する端末装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例にかかる情報処理システムの使用環境を示す図である。
【図２】端末装置の外観構成の一例を示す図である。
【図３】図２に示す端末装置の断面を示す図である。
【図４】内郭の内側の構造を示す図である。
【図５】端末装置の外観構成の別の例を示す図である。
【図６】図５に示す端末装置の断面を示す図である。
【図７】端末装置の機能ブロックを示す図である。
【図８】情報処理装置の機能ブロックを示す図である。
【図９】出力装置に対する端末装置の相対的位置を特定する処理を説明するための図である。
【図１０】端末装置がユーザによって握られている状態を示す図である。
【図１１】（ａ）は、出力装置の画面にキャラクタが表示される様子を示す図であり、（ｂ）は、画面に表示されているキャラクタに端末装置を押し当てている様子を示す図であり、（ｃ）は、キャラクタが端末装置に表示される様子を示す図である。
【図１２】（ａ）は、端末装置がユーザの手指で挟まれている状態を示す図であり、（ｂ）は、端末装置を５本の指で挟んだときにタッチセンサが検出する接触状態を示す説明図である。
【図１３】（ａ）は、出力装置の画面に表示されるゲーム画像を示す図であり、（ｂ）は、端末装置に表示されるゲーム画像を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の実施例にかかる情報処理システム１の使用環境を示す。情報処理システム１は、情報処理装置１０、出力装置２０および端末装置１００を備える。出力装置２０は、たとえばテレビであり、画像および音声を出力する。情報処理装置１０は、出力装置２０に接続されて、出力装置２０で出力する画像および音声を生成する。情報処理装置１０と出力装置２０は有線により接続されてもよく、また無線により接続されてもよい。端末装置１００は無線通信機能を有し、情報処理装置１０と無線リンクを確立することで、データの送受信を行うことができる。
【００１３】
情報処理システム１は、ゲームをプレイする環境をユーザに提供するゲームシステムであってよい。この場合、情報処理装置１０は、ゲームソフトウェアを実行するゲーム装置であり、端末装置１００は、ユーザがゲームへの入力を行うためのコントローラ装置である。情報処理装置１０は、ユーザが端末装置１００を操作した情報をもとにゲームソフトウェアを実行して、実行結果を示す画像データおよび音声データを出力装置２０に出力する。なお、本実施例に示す技術は、ゲームに限らず、他の種類のアプリケーションを実行する処理装置を備えた情報処理システムにおいても利用できる。
【００１４】
携帯型の端末装置１００は曲面形状または略曲面形状を有する。本実施例において略曲面は、複数の平面を並設することで曲面に近似させた面を意味する。端末装置１００は、図１に示すように略球体の形状を有してもよく、また卵形の形状を有してもよい。なお端末装置１００は、その一部に曲面形状または略曲面形状を有していればよく、形状全体が曲面または略曲面でなくてもよいが、少なくとも外郭全体の半分以上は、曲面形状または略曲面形状を有することが好ましい。
【００１５】
端末装置１００は、テーブルなどの平坦面に置かれたときに、置かれた姿勢を維持するように重心が設定されていることが好ましい。端末装置１００が球体の形状を有する場合には、端末装置１００の重心が、球体の中心に位置するように設定される。これにより、端末装置１００は、置かれたときに転がることなく、置かれたときの姿勢を維持できる。なお端末装置１００が球体以外の形状を有する場合、たとえば卵形の形状を有する場合には、頂部ではなく底部に重心が位置するように重量バランスが設定されて、底部を平坦面に載置すると、そのときの姿勢を維持するようにされることが好ましい。なお、端末装置１００の内部に重心位置を調整する機構が設けられる場合には、重心調整機構が、載置されたときの姿勢を保つように、重心を動的に設定してもよい。
【００１６】
端末装置１００の表面はユーザにより操作される操作面を構成する。したがって操作面は、滑らかな操作感を提供するために、曲面または略曲面で形成されることが好ましい。また端末装置１００は、図１に示すように、ユーザが片手で持つことのできる大きさであることが好ましい。これによりユーザは、端末装置１００を片手で持ちながら操作面を操作することができ、また片手で持ちながら、他方の手で操作面を自由に操作することもできる。
【００１７】
１つの使用態様において、端末装置１００は、ユーザにより操作されて、情報処理装置１０に操作入力データを送信する入力装置として動作する。端末装置１００は、表面への接触を検出する接触センサを有し、端末装置１００の表面がなんらかの物体、たとえばユーザの手指や、出力装置２０のディスプレイ（画面）などと接触すると、その接触位置を検出する。このとき、位置だけでなく、圧力も検出できるようにしてもよい。ユーザが端末装置１００を持つ位置や強さなどを変化させて、また、端末装置１００を出力装置２０の画面に押しつけたりすることで、接触センサは、端末装置１００の表面への接触を検出し、端末装置１００は、その検出値を情報処理装置１０に送信する。
【００１８】
接触センサは、端末装置１００の曲面部分に連続的に設けられ、ユーザは、曲面上で手指を動かすことで、滑らかな操作感を得ることができる。なお接触センサは、端末装置１００の全表面における接触を検出可能に設けられることが好ましく、これにより、ユーザは、端末装置１００の全表面を使って、入力操作を行うことができる。端末装置１００は、ユーザからの接触操作をもとに生成した入力データを、情報処理装置１０に対して送信する。なお端末装置１００の表面の一部が操作面を構成する場合には、その操作面に接触センサが設けられていればよい。操作面は、ユーザが操作しやすいように端末装置１００上の連続した面に形成される。
【００１９】
また端末装置１００は、姿勢を検出するためのセンサ値を生成するモーションセンサを有する。モーションセンサは、３軸加速度センサおよび３軸角速度センサを有する。モーションセンサは、さらに３軸地磁気センサを有してもよい。情報処理システム１において、情報処理装置１０は、端末装置１００の姿勢変化を、実行中のアプリケーションへの入力データとして処理できる。そのため端末装置１００は、モーションセンサの検出値を周期的に情報処理装置１０に送信する。
【００２０】
別の使用態様において、端末装置１００は、表示部を有し、画像を表示する出力装置として動作する。端末装置１００は、画像を生成するための画像データを情報処理装置１０から受信し、その画像データをもとに、表示部に画像を表示する。なお端末装置１００は、自身の記憶装置に保持する情報から画像を生成してもよい。表示部には、たとえばゲームのキャラクタなどが映し出される。ゲームキャラクタなどの表示物は、接触センサやモーションセンサなどの検出値に基づいて描画処理される。この表示制御は、情報処理装置１０により実行されてもよいが、端末装置１００に搭載される制御部によって実行されてもよい。
【００２１】
表示部は、端末装置１００の曲面部分に設けられる。表示部は、柔軟に湾曲することのできるＥＬ（Electroluminescence）パネルなどにより形成され、曲面部分に表示パネルが貼り付けられる。表示部は、複数の表示パネルを組み合わせて構成されるが、１枚の表示パネルで構成されてもよい。また表示部は、複数の液晶パネルを、略曲面形状の多面体の各面に貼り合わせることで構成されてもよい。ここで、略曲面形状の多面体とは、２０面体以上の多面体をさす。いずれの種類の表示パネルを採用した場合であっても、複数の表示パネルを、端末装置１００の全表面を隙間無く覆うように連続的に配設することで、端末装置１００は、全表面から画像を表示できるようになる。
【００２２】
端末装置１００において表示物は、接触センサやモーションセンサによって検出される端末装置１００の状態変化に連動させることができる。この場合、端末装置１００は、ユーザによる操作をセンサ値で取得し、そのセンサ値を反映した画像を表示する入出力装置として動作する。端末装置１００が、このセンサ値取得機能と画像表示機能を備えることで、ユーザに直観的な操作感を提供できる。
【００２３】
表示部とセンサとを重ね合わせることで、端末装置１００は、タッチパネルの機能をもつことになる。なお表示部は、端末装置１００の内部にプロジェクタを配設して、プロジェクタからの光をユーザが外部から視認可能に映し出すスクリーンであってもよい。このとき端末装置１００の内部は中空に形成され、表示部は、プロジェクタからの光を外に映し出す透明または半透明材料で形成される。端末装置１００内の空間中央には、プロセッサを搭載したコアが設けられており、端末装置１００の全面に画像を映し出すために、コアに複数のプロジェクタが設けられる。
【００２４】
図２は、端末装置１００の外観構成の一例を示す。端末装置１００は、画像を表示する表示部１１２を表面に備える。表示部１１２は、複数の表示パネル１１０ａ〜１１０ｖ（以下、区別しない場合には、「表示パネル１１０」と表現する）を組み合わせて構成される。なお図２に示す端末装置１００の背面にも、同じように、複数の表示パネル１１０が設けられている。このように端末装置１００は、外表面の全体を複数の表示パネル１１０で隙間無く覆い、全表面から画像を表示できることが好ましい。端末装置１００は、各表示パネル１１０に表示する画像データを生成する制御部を備える。
【００２５】
表示パネル１１０は、ＥＬパネルや液晶パネルなどによって形成される。ＥＬパネルのように曲率をもつことのできるパネルは、曲面状に形成され、球体表面に直接貼り付けられる。なお複数の表示パネル１１０は、図２に示す配置だけでなく、たとえばサッカーボールのような２０個の正六角形と１２個の正五角形とを組み合わせた切頂二十面体の配置で端末装置１００の表面に並べられてもよい。端末装置１００の表面は、樹脂などの透明材料により保護され、曲面形状または略曲面形状を形成する。たとえば、表示パネル１１０が液晶パネルであって、切頂二十面体の各面に貼り付けられる場合、端末装置１００の表面を樹脂で覆い、曲面形状をもたせることで、ユーザは端末装置１００の表面上で手指を動かしたとき、滑らかな操作感を得ることができる。
【００２６】
図３は、図２に示す端末装置１００の断面を示す。端末装置１００の内部空間中央には内部コア１４０が配置される。内部コア１４０には、端末装置１００の処理を制御する制御部や、外部装置と通信する通信部、また端末装置１００の動きや姿勢を検出するためのセンサなどが設けられる。端末装置１００の全体を覆う透明な保護層１３０が外郭を形成し、保護層１３０の内側には、保護層１３０の内面に隙間無く設けられた複数の表示パネル１１０を有する表示部１１２が設けられる。
【００２７】
表示部１１２の内側には、端末装置１００の表面への接触を検出する接触検出部１２２が設けられる。接触検出部１２２は、複数のタッチセンサ１２０を有する。複数のタッチセンサ１２０は、中空の球体である内郭１３４により支持され、端末装置１００の全表面における接触を検出可能に設けられることが好ましい。そのために複数のタッチセンサ１２０は、内郭１３４上に隙間無く配置される。これによりユーザは、後述するように、端末装置１００の姿勢や向きを気にすることなく、端末装置表面を触ることで、情報処理装置１０への入力を行えるようになる。なお、タッチセンサ１２０の配置密度は、表示パネル１１０の配置密度よりも高く、１つの表示パネル１１０の下方には、２以上のタッチセンサ１２０が設けられている。接触検出部１２２は、他のセンサ、たとえば圧力センサを有してもよい。内郭１３４は、可撓性をもつ樹脂材料で形成されることが好ましい。
【００２８】
内郭１３４は、内部コア１４０から延出される棒状の支持部材１３２により支持される。これにより、内郭１３４の内側を空間にし、端末装置１００を軽量化できる。またユーザが、端末装置１００をある程度押しつぶしたり、また変形できるように、支持部材１３２は、伸縮可能な弾性材料、たとえば、ばねで形成されることが好ましい。これにより、ユーザは、球体の端末装置１００の表面が凹むことで、入力操作を行ったことを認識できるようになり、従来にない入力インタフェースを実現できる。内部コア１４０と表示部１１２の間は、たとえば支持部材１３２の内部に設けた配線により電気的に接続される。内部コア１４０と接触検出部１２２の間の配線も、同様に設けられてよい。なお、図３に示す端末装置１００は中空構造をとるため、この空間に配線を設けることも可能である。
【００２９】
図４は、内郭１３４の内側の構造を示す。この例では、６本の支持部材１３２が内部コア１４０から内郭１３４に向けて設けられ、押されると、それぞれ長さ方向に縮むように構成されている。なお、支持部材１３２は６本より多くてよく、端末装置１００の球体の形状を維持しつつ、ユーザの手指などにより押されると、その押された箇所が変形し、手指が離されると、元の球体形状に戻るように構成されていればよい。
【００３０】
なお図３，図４では、中空構造の端末装置１００を示したが、端末装置１００は、弾性材料を充填された中実構造を有してもよい。軽量化の点においては中空構造の方が優れているが、中実構造を採用することで、形状を安定に維持できる利点がある。
【００３１】
図５は、端末装置１００の外観構成の別の例を示す。端末装置１００は、内部にプロジェクタを有し、内部から画像を表示部１１２に投影する。表示部１１２は、プロジェクタからの光を映し出し、外部のユーザが、その映し出された画像を見ることのできる材料で形成される。またプロジェクタからの光を表示部１１２に投影するために、この例の端末装置１００は、中空構造をとる必要がある。
【００３２】
図６は、図５に示す端末装置１００の断面を示す。端末装置１００の内部空間中央には内部コア１４０が配置される。内部コア１４０には、上記したように制御部、通信部および各種センサなどが設けられる。また内部コア１４０の表面には、複数のプロジェクタ１４２が設けられる。透明な保護層１３０の内側には、透明もしくは半透明の投影面となる表示部１１２が設けられ、また表示部１１２の内側には、図３に示したように、内郭１３４に支持された接触検出部１２２が形成される。
【００３３】
図６に示す端末装置１００では、プロジェクタ１４２が表示部１１２に画像を投影するために、内郭１３４および接触検出部１２２は透明材料により形成され、画像光が内郭１３４および接触検出部１２２を介して、表示部１１２に投影されるようになる。複数のプロジェクタ１４２が内部コア１４０上に設けられ、それぞれから出力される光を組み合わせることで、表示部１１２の全体に画像光が到達するようにされる。
【００３４】
図７は、端末装置１００の機能ブロックを示す。端末装置１００は、その表面部分にて、表示部１１２および接触検出部１２２を備え、また内部コア１４０において、制御部２００、通信部１５０およびモーションセンサ１６０を備える。端末装置１００における各構成は、図示しないバッテリにより電力の供給を受ける。バッテリは、無線給電により充電される。
【００３５】
通信部１５０は、送信部１５２および受信部１５４を有し、ＩＥＥＥ８０２．１１やＩＥＥＥ８０２．１５．１などの所定の通信プロトコルを用いて、情報処理装置１０との間でデータを送受信する。モーションセンサ１６０は、端末装置１００の動きや姿勢を検出するためのデータを検出する検出部であって、３軸の加速度センサ１６２、３軸の角速度センサ１６４および３軸の地磁気センサ１６６を有する。
【００３６】
制御部２００は、接触検出部１２２およびモーションセンサ１６０から各検出値を受け取り、通信部１５０に供給する。送信部１５２は、所定の周期で、検出値を情報処理装置１０に送信する。この送信周期は、出力装置２０のフレームレートに応じて定められ、１６．６ｍ秒（＝１／６０）より短く設定されるのが好ましい。送信周期は、たとえば１０ｍ秒である。
【００３７】
複数のタッチセンサ１２０は、それぞれ検出値を制御部２００に供給する。このとき各タッチセンサ１２０は、自身を特定する識別番号とともに、検出値を制御部２００に送出する。これにより、識別番号と検出値とが対応付けられて、制御部２００に送られることになる。なお、制御部２００は、検出値が入力されるポートによってタッチセンサ１２０を識別し、識別番号と検出値とを対応付けてもよい。このように制御部２００は、タッチセンサ１２０の識別番号と検出値とを対応付けて、送信部１５２から情報処理装置１０に送信させるようにする。
【００３８】
受信部１５４は、所定の周期で、情報処理装置１０から画像データを受信する。受信周期は、送信周期と同じく１０ｍ秒に設定される。制御部２００は、受信部１５４から画像データを受け取ると、表示部１１２に表示する画像を生成し、各表示パネル１１０にて表示させる。表示パネル１１０に表示させる画像の描画データは、制御部２００で生成してもよく、また情報処理装置１０で生成してもよい。以下では、情報処理装置１０にて描画データを生成する例を説明する。なお、図６に示すように、プロジェクタ１４２から画像を投影する場合には、制御部２００がプロジェクタ１４２に対して画像データを提供する。
【００３９】
なお端末装置１００は、表示部１１２のみならず、スピーカを備えた出力装置として動作してもよい。このとき受信部１５４は、情報処理装置１０から、音声データを受信し、スピーカが音声を出力する。音声データは、画像データとともに圧縮されて送信され、制御部２００は、描画データを表示部１１２に、音声データをスピーカにそれぞれ出力する。また、端末装置１００がモータなどの振動子を有する場合、受信部１５４は、情報処理装置１０から振動子の駆動信号を受信し、制御部２００が振動子を駆動してもよい。
【００４０】
図８は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、通信部３０、端末情報処理部４０および制御部５０を備える。通信部３０は、送信部３２および受信部３４を有し、ＩＥＥＥ８０２．１１やＩＥＥＥ８０２．１５．１などの所定の通信プロトコルを用いて、端末装置１００との間でデータを送受信する。端末情報処理部４０は、姿勢特定部４２および位置特定部４４を有する。姿勢特定部４２は、情報処理装置１０の姿勢および動きを特定し、位置特定部４４は、情報処理装置１０の空間内の位置を特定する。具体的に位置特定部４４は、端末装置１００が出力装置２０の表示画面に接触したときの出力装置２０の画面上の位置を特定する。制御部５０は、キー設定部５２およびアプリケーション処理部５４を有する。キー設定部５２は、端末装置１００をゲームコントローラとして使用する場合に、端末装置１００の操作面の任意の位置に、操作キーを設定する機能をもつ。またアプリケーション処理部５４は、端末装置１００や端末情報処理部４０からセンサ情報や端末情報を取得し、アプリケーションの処理に反映する機能をもつ。
【００４１】
図８において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４２】
まず端末情報処理部４０の動作について説明する。受信部３４が端末装置１００からモーションセンサ１６０の検出値を受信し、姿勢特定部４２に渡す。姿勢特定部４２は、静止時の端末装置１００における３軸の加速度センサ１６２の検出値を、端末装置１００の基準姿勢における基準値として予め保持している。姿勢特定部４２は、端末装置１００が静止していれば、受け取った検出値と基準値との差分から、現在の姿勢を特定する。また端末装置１００が動いている場合には、姿勢特定部４２は、３軸の加速度センサ１６２の検出値と、３軸の角速度センサ１６４の検出値とから、現在の姿勢を特定する。また姿勢特定部４２は、３軸の加速度センサ１６２の検出値と、３軸の角速度センサ１６４の検出値とから、端末装置１００の動きも特定する。特定される端末装置１００の動きは、端末装置１００の移動方向および移動量を含む。なお姿勢特定部４２は、地磁気センサ１６６の検出値も加味して、端末装置１００の姿勢および動きを特定してもよい。
【００４３】
実施例で示す端末装置１００は、球対称の形状を有するため、ユーザは、端末装置１００を回転したり傾けたりしても、端末装置１００の現在の姿勢を意識することはない。そのため姿勢特定部４２が、モーションセンサ１６０の検出値を用いて、リアルタイムで端末装置１００の姿勢を把握しておくことは、後述するアプリケーションを実行する際に重要となる。
【００４４】
位置特定部４４は、端末装置１００の位置を特定する。なお、本実施例の情報処理システム１において、位置特定部４４は、端末装置１００と出力装置２０との相対的な位置関係を特定できればよく、たとえば端末装置１００が出力装置２０の画面に接触したときの出力装置２０の画面上の位置を特定できればよい。また位置特定部４４は、端末装置１００と出力装置２０の画面との距離を特定できることが好ましい。
【００４５】
情報処理システム１において、出力装置２０の画面を撮影するカメラを配置し、位置特定部４４が、端末装置１００が画面に接触したときの位置を特定できるようにしてもよい。位置特定部４４は、カメラの撮像画像から、端末装置１００が出力装置２０の画面に接触したことを判定すると、そのときの出力装置２０の画面上の接触位置を特定する。なお位置特定部４４は、接触検出部１２２の検出値をもとに、端末装置１００がなんらかの物体に接触したか否かの判定を行ってもよく、接触判定により接触が検出されたときのカメラの撮像画像から、出力装置２０の画面上の接触位置を特定してもよい。
【００４６】
図９は、位置特定部がカメラの撮像画像から出力装置２０に対する端末装置１００の相対的位置を特定する処理を説明するための図である。図９（ａ）は、出力装置２０の画面右上隅にカメラ６０を配置した状態を示す。カメラ６０を画面右上隅に設置した場合、位置特定部４４は、画面横方向にＸ軸、画面縦方向にＹ軸を仮想的に設定し、画面右上隅の座標を（０，０）、画面左上隅の座標を（Ｘｍａｘ，０）、画面左下隅の座標を（Ｘｍａｘ，Ｙｍａｘ）、画面右下隅の座標を（０，Ｙｍａｘ）と設定する。なおカメラ６０の配置位置は、出力装置２０の画面右上隅に限らず、カメラ６０の画角に出力装置２０の画面全体が入り、カメラ６０が出力装置２０の画面全体を撮像できる場所であればよい。カメラ６０が画角１８０度の魚眼レンズを有する場合には、出力装置２０の画面上部中央位置にカメラ６０が設置されてもよい。図９（ａ）では、ユーザが端末装置１００を、出力装置２０の画面に押しつけている様子が示される。
【００４７】
図９（ｂ）は、カメラ６０の撮像画像を示す。説明の便宜上、図９（ｂ）では、ユーザの手は省略している。位置特定部４４は、この撮像画像から、端末装置１００が存在するＸＹ空間における座標（ｘ，ｙ）を特定する。位置特定部４４が、接触検出部１２２の検出値をもとに端末装置１００の接触を検出すると、撮像画像中の端末装置１００と出力装置２０の接触点を特定することで座標（ｘ，ｙ）を導出し、出力装置２０の画面上の接触位置を求める。
【００４８】
なお、位置特定部４４は、接触判定の結果を用いずに、カメラ６０の撮像画像のみから出力装置２０に対する端末装置１００の相対的位置を特定することもできる。位置特定部４４は、撮像画像を解析することで、端末装置１００と出力装置２０の画面とが接触しているか検出してもよい。また位置特定部４４は画像解析により、端末装置１００と出力装置２０の画面との距離を導出できるようにしてもよい。なお、端末装置１００と出力装置２０の画面との距離を求めるために、光軸を画面に平行とするカメラを別途設置して、位置特定部４４が、そのカメラの撮像画像から、接触判定、または離間距離の導出をできるようにしてもよい。
【００４９】
また、出力装置２０の画面をタッチパネルで構成することで、端末装置１００が画面に接触したときの位置を特定してもよい。このとき位置特定部４４は、接触検出部１２２の検出値をもとに、端末装置１００がなんらかの物体に接触したか否かを判定する。接触検出部１２２の検出値から端末装置１００が接触したことが判定されたタイミングと、出力装置２０のタッチパネルに接触があったタイミングとが一致すれば、位置特定部４４は、出力装置２０のタッチパネルに接触があった位置に、端末装置１００が接触したことを判定する。なお、タイミングが一致したことだけでなく、接触面積の情報を用いて、端末装置１００と出力装置２０の画面とが接触したことが判定されてもよい。
【００５０】
端末装置１００は、タッチセンサ１２０の識別番号と検出値とを対応付けた検出値データを、情報処理装置１０に周期的に送信している。情報処理装置１０は、タッチセンサ１２０の識別番号と、端末装置１００におけるタッチセンサ１２０の位置とを対応付けたテーブルを保持する。このテーブルは、制御部５０により保持され、制御部５０がアプリケーションの処理に反映するデータの生成に利用されるが、位置特定部４４により保持されていてもよい。位置特定部４４は、このテーブルを保持することで、接触を検出したタッチセンサ１２０の端末装置１００における位置を特定できる。
【００５１】
このとき位置特定部４４は、新たに接触を検出した複数のタッチセンサ１２０から、端末装置１００における接触面積を導出する。端末装置１００は、ユーザの指でもたれているため、端末装置１００と出力装置２０との接触以前に、指による接触を検出しているタッチセンサ１２０は存在しているが、位置特定部４４は、新たに接触を検出したタッチセンサ１２０を特定することで、出力装置２０に端末装置１００が接触したときの端末装置１００上の接触面積を特定する。位置特定部４４は、出力装置２０のタッチパネル上で接触があった面積と、端末装置１００において新たな接触があった面積とを比較して、両者がほぼ一致していれば、端末装置１００と出力装置２０の画面との接触を判定する。タッチパネルを利用することで、画面上の接触位置を容易に特定することができる。
【００５２】
以上のように、位置特定部４４は、端末装置１００が出力装置２０の画面に接触したときの画面上の位置を特定する。
以下、情報処理システム１における端末装置１００の使用例を示す。なお、１つの使用例において説明する情報処理装置１０の処理や機能は、別の使用例においても適用可能である。
【００５３】
（使用例１）
使用例１では、端末装置１００の表面にキーを割り当て、キー操作可能な入力装置として使用する。まず、以下では、ユーザが端末装置１００を握った状態に応じて、動的にキーを割り当てる例を示す。
【００５４】
図１０は、端末装置１００がユーザによって握られている状態を示す。図１０に示すように端末装置１００が握られる場合、手のひらと手指とが端末装置１００の表面に接触する。端末装置１００において、接触領域の下方に存在するタッチセンサ１２０は、接触があったことを示す検出値を制御部２００に供給する。制御部２００は、各タッチセンサ１２０の識別番号と検出値とを対応付けて、検出値データを生成し、送信部１５２が、情報処理装置１０に送信する。
【００５５】
情報処理装置１０において、受信部３４が検出値データを受信すると、キー設定部５２が、各タッチセンサ１２０による検出値から、指の種類を特定する。制御部５０は、タッチセンサ１２０の識別番号と、端末装置１００におけるタッチセンサ１２０の位置とを対応付けたテーブルを保持している。したがってキー設定部５２は、検出値データを受け取ると、含まれる識別番号と検出値を仮想球体上に展開して、端末装置１００の接触状態を再現できる。キー設定部５２は、再現した接触状態から、手のひらを検出する。
【００５６】
キー設定部５２が、検出値データから接触状態を仮想球体上に再現すると、連続した細長い５つの接触領域と、その５つの接触領域の端部付近に位置する連続した大きな接触領域とが検出される。まずキー設定部５２は、大きな接触領域を手のひらと特定する。続いて、手のひらから延びている細長い５つの接触領域のうち、手のひらの両端から延びている２つの接触領域を特定する。キー設定部５２は、両端の接触領域を比較し、接触領域の短手方向に太い指を親指、細い指を小指として特定する。なおキー設定部５２は、手のひらから延びている細長い両端の接触領域の長手方向の長さを比較し、たとえば短い指を親指、細い指を小指として特定してもよい。またキー設定部５２は、手のひらから延びている細長い両端の接触領域の面積を比較し、たとえば面積の大きい指を親指、小さい指を小指として特定してもよい。以上のように、親指と小指とを特定することで、親指と小指の間の３つの接触領域の指も特定でき、また指の先端位置も特定できる。
【００５７】
キー設定部５２は、指の先端位置に、キーを設定する。図１０に示す例では、中指の先端に、上方向キー３０２ａ、人差し指の先端に、左方向キー３０２ｂ、薬指の先端に、右方向キー３０２ｃ、親指の先端に、方向キー３０２ｄを設定する。キー設定部５２は、各指の先端に設定した方向キー３０２の位置情報を、キー設定情報として、アプリケーションを実行するアプリケーション処理部５４に引き渡す。
【００５８】
アプリケーション処理部５４は、キー設定情報にしたがって、ユーザからの入力を監視する。ここでは、ユーザが、指を端末装置１００から離すことで、アプリケーションへの入力が行われるものとする。ユーザがたとえば中指を端末装置１００から離すと、設定した上方向キー３０２ａの領域への接触がなくなり、その位置のタッチセンサ１２０の検出値が変化する。アプリケーション処理部５４は、検出値データを受け取っている間に、上方向キー３０２ａが設定されている領域のタッチセンサ１２０の検出値が接触を示すオン値から非接触を示すオフ値に変化したときに、上方向キー３０２ａの入力がなされたことを検出し、アプリケーションの処理に反映する。
【００５９】
なおユーザが、指を端末装置１００から離して再度触ったときに、アプリケーションへの入力が行われたものとしてもよい。ユーザがたとえば中指を端末装置１００から離すと、設定した上方向キー３０２ａの領域への接触がなくなり、その位置のタッチセンサ１２０の検出値が変化して、非接触を示すオフ値となる。検出値の変化後、所定時間以内に、再度、検出値が接触を示すオン値となると、アプリケーション処理部５４は、上方向キー３０２ａの入力がなされたことを検出し、アプリケーションの処理に反映してもよい。なおこのとき、アプリケーション処理部５４は、再接触があった位置と対向する位置、具体的には端末装置１００において再接触位置から球中心を通り反対側の位置の接触／非接触を監視し、再接触の検出と同時に、その反対側位置に、より大きな圧力が加わったことが検出されたときに、上方向キー３０２ａの入力がなされたことを検出してもよい。たとえば、圧力が大きくなったことは、オン値を出力するタッチセンサ１２０の数が増えたことにより検出される。
【００６０】
以上は、接触検出部１２２がタッチセンサ１２０で構成されたときの例であるが、接触検出部１２２は圧力センサで構成されてもよい。圧力センサで構成される場合、ユーザが端末装置１００の表面を指で強く押すことで、アプリケーションへの入力がなされてもよい。このときアプリケーション処理部５４は、キー設定情報にしたがって、方向キー３０２が設定されている領域の圧力センサの検出値を監視し、検出値が所定値よりも大きくなったときに、方向キー３０２の入力がなされたことを検出し、アプリケーションの処理に反映する。
【００６１】
このようにキー設定部５２が、ユーザが端末装置１００を把持したときの手指の位置に合わせて、動的にキーを設定することで、ユーザは、自然な持ち方で、端末装置１００を入力装置として使用できるようになる。また、割り当てるキーの種類も、実行するアプリケーションに応じて動的に変更することができ、従来にない入力装置を実現できる。たとえば、図１０に示す例では、４つの手指の先端に上下左右の方向キー３０２を割り当てたが、たとえばキャラクターにジャンプ動作、しゃがむ動作、前進動作、後退動作をさせるアプリケーションにおいては、それぞれの動作を指定する操作キーを、各指の先端領域に割り当ててもよい。
【００６２】
また、キー設定情報の生成後、１つの手指が動かされて、別の位置に配置されるような場合には、キー設定部５２が、その手指に対するキー設定情報の変更処理を行う。すなわち、キー設定部５２は、元のキー設定情報で特定される領域への接触がなくなり、所定時間にわたり新たな領域への接触の検出が続くと、元の領域を新たな領域へと変更したキー設定情報を再生成する。
【００６３】
またユーザが端末装置１００を持ち替えた場合には、それまでの端末装置１００で検出されていた接触領域が大きく変更されることになる。そのような場合には、キー設定部５２が、再度、手指の特定処理を実行して、キー設定情報を生成する。
【００６４】
なおキー設定部５２は、一度キーを割り当てると、割り当てたキーの相対的な位置関係を保持しておく。キー設定部５２は、キー設定情報を、相対的な位置関係として保持しておいてもよい。キー設定部５２は、次回、端末装置１００に同じキー（図１０の例では方向キー）を設定する際には、保持した位置関係をもとに、割り当てたキーの画像を、表示部１１２に表示する。図１０の例では、矢印のマークが表示されてもよい。キー設定部５２が保持する位置関係は、ユーザの手の大きさにあったものであるため、ユーザは、表示されたキー画像に指を合わせることで、キー設定処理を省略することができる。
【００６５】
なお、キー設定部５２は、保持した位置関係をもとにキーを割り当てる際に、毎回、割り当てる領域が異なるようにする。ユーザは、端末装置１００を握った状態でキー操作するため、常に同じ領域にキーを割り当てると、その部分の表示パネル１１０やタッチセンサ１２０などの劣化が早まる可能性がある。そのため、キー割当の際に、基準姿勢をもとに、ランダムにキー割当の際の姿勢を設定することで、劣化が特定の箇所に集中することを回避できる。たとえば、割り当てたキーの相対的な位置関係を、中指に割り当てる上方向キー３０２ａを基準とした位置関係として保持している場合、上方向キー３０２ａの領域を、毎回ランダムに定めることで、割り当てる領域を毎回異ならせることが可能となる。なお、キー設定部５２が前回のキー設定情報を保持している場合には、上方向キー３０２ａの領域を任意に設定し、その領域を基準として、他の方向キーの領域を、前回のキー設定情報から演算により求めてもよい。
【００６６】
なお、ゲームコントローラとして端末装置１００が使用される場合、端末装置１００は、情報処理装置１０からコントローラ番号を割り当てられる。アプリケーション処理部５４は、割り当てたコントローラ番号を示す画像を、表示部１１２に所定期間表示させる。これにより、ユーザは、割り当てられたコントローラ番号を知ることができる。その後、上記したキー割当処理が行われてもよい。
【００６７】
（使用例２）
使用例２では、端末装置１００の表示部１１２に画像を表示させ、具体的には、出力装置２０に表示されているキャラクタなどのオブジェクトが、あたかも端末装置１００に移動したかのような画像処理を行う。具体的には、まず出力装置２０にオブジェクトが表示されている状態で、所定の条件が成立したことを契機として、出力装置２０におけるオブジェクトの表示処理を停止し、端末装置１００におけるオブジェクトの表示処理を行うことで、ユーザに、オブジェクトが出力装置２０から端末装置１００に移動してきたかのような感覚を与えることができる。この様子を、図１１（ａ）〜図１１（ｃ）を用いて説明する。
【００６８】
アプリケーション処理部５４は、オブジェクトの表示画像を生成し、出力装置２０に出力する。図１１（ａ）は、出力装置２０の画面にキャラクタが表示される様子を示す。このキャラクタが表示されている画面上の領域に、ユーザが端末装置１００を接触させる。図１１（ｂ）は、画面に表示されているキャラクタに端末装置１００を押し当てている様子を示す。
【００６９】
既述したように、位置特定部４４は、端末装置１００が出力装置２０の画面に接触したときの出力装置２０の画面上の位置を特定する。アプリケーション処理部５４は、キャラクタの表示位置を把握しており、キャラクタ表示位置と、位置特定部４４で特定された位置とが一致しているか判定する。一致している場合、アプリケーション処理部５４は、キャラクタが出力装置２０から端末装置１００に移動するような演出を行うべく、端末装置１００用のキャラクタの画像データを生成する。
【００７０】
制御部５０は、端末装置１００におけるタッチセンサ１２０の識別番号と、端末装置１００におけるタッチセンサ１２０の位置とを対応付けたテーブルを保持している。また、制御部５０は、端末装置１００における表示パネル１１０の識別番号と、端末装置１００における表示パネル１１０の位置とを対応付けたテーブルも保持している。また制御部５０は、タッチセンサ１２０と表示パネル１１０との位置関係を特定するテーブルも保持している。
【００７１】
アプリケーション処理部５４は、各タッチセンサ１２０の検出値から、出力装置２０の画面に接触されたことを示す検出値を出力したタッチセンサ１２０を特定する。アプリケーション処理部５４は、端末装置１００がユーザの手指により保持されている状態から、新たに接触を検出したタッチセンサ１２０を特定する。なお、この特定は、位置特定部４４により行われて、アプリケーション処理部５４は、位置特定部４４から、出力装置２０に接触したタッチセンサ１２０の識別番号を取得してもよい。
【００７２】
アプリケーション処理部５４は、タッチセンサ１２０と表示パネル１１０との位置関係を特定するテーブルを利用して、接触位置の反対に位置する表示パネル１１０を特定する。この表示パネル１１０は、図１１（ｂ）において、端末装置１００の中心位置に存在する。アプリケーション処理部５４は、図１１（ｂ）において端末装置１００の中心に位置する表示パネル１１０を特定すると、この表示パネル１１０にキャラクタ画像の中心がくるように、端末装置１００用のキャラクタの画像データを生成する。端末装置１００の表示部１１２において、キャラクタ画像は、複数の表示パネル１１０に分割して表示されることになるが、アプリケーション処理部５４は、表示パネル１１０の識別番号と、その表示パネル１１０に表示させる画像データとを対応付けて、キャラクタ全体の画像データを生成する。送信部３２は、生成された画像データを端末装置１００に送信し、制御部２００は、指定された表示パネル１１０の識別番号と画像データをもとに、各表示パネル１１０で表示する画像を生成する。図１１（ｃ）は、キャラクタが端末装置１００に表示される様子を示す。端末装置１００がキャラクタを表示すると同時に、出力装置２０は、キャラクタの表示を終了する。
【００７３】
図１１（ｃ）にキャラクタが表示された状態で、再度、端末装置１００を出力装置２０の画面に押しつけると、アプリケーション処理部５４は、キャラクタを、押しつけられた出力装置２０の画面位置に戻してもよい。端末装置１００が押しつけられた出力装置２０の画面上の位置は、位置特定部４４により特定される。この例では、ユーザが、キャラクタを端末装置１００に移動させ、また出力装置２０に戻すアプリケーションを実現できる。アプリケーション処理部５４は、端末装置１００におけるキャラクタの表示を中止し、出力装置２０の画面上の任意の位置にキャラクタを表示できるので、たとえば、キャラクタが端末装置１００に移動している間は、キャラクタが体力を回復し、回復後、またキャラクタをゲーム画面に戻すような、よりインタラクティブなゲームを作ることができる。
【００７４】
なお、図１１（ａ）〜図１１（ｃ）では、キャラクタの表示を出力装置２０の画面から端末装置１００の表示部１１２に切り替える例を示したが、画面上の接触位置に応じた表示物が表示部１１２に表示されてもよい。たとえば、あるアプリケーションを実行中に、端末装置１００を出力装置２０の画面に接触させると、出力装置２０の接触位置に表示されている内容に関係するヘルプ画面が表示部１１２に表示されてもよい。
【００７５】
なお既述したように、位置特定部４４は、端末装置１００と出力装置２０の画面との距離を導出できる。図１１（ｂ）は、端末装置１００を出力装置２０の画面に押し当てている様子を示しているが、端末装置１００を画面に接触させるまでの過程において、位置特定部４４は、端末装置１００と出力装置２０の画面との距離を導出して、アプリケーション処理部５４に伝え、アプリケーション処理部５４は、所定の距離よりも接近した場合に、端末装置１００への表示対象となるキャラクタが選択されたことをユーザに通知するようにしてもよい。この通知は、たとえば端末装置１００の表示部１１２に、キャラクタが吸い込まれるような画像を生成することで行われてもよく、また、出力装置２０の画面上でキャラクタが端末装置１００に吸い込まれるような画像を生成することで行われてもよい。このような通知により、ユーザは、端末装置１００の表示部１１２に表示させるキャラクタを認識でき、そして押し当てた時点で、完全なキャラクタが表示部１１２にて表示されるようにしてもよい。
【００７６】
（使用例３）
使用例３では、端末装置１００に表示したオブジェクトを、ユーザの操作に応じて制御する。以下、使用例２で説明した図１１（ｃ）に示すキャラクタの動作を制御する例を示す。
【００７７】
図１２（ａ）は、端末装置１００がユーザの手指で挟まれている状態を示す。このように挟持された場合、手のひらに面する表示部１１２にキャラクタを表示しても、ユーザは見ることができない。そのため、アプリケーション処理部５４は、各タッチセンサ１２０の検出値から、端末装置１００が挟持されている状態を特定し、具体的には、右手であるか、左手であるかを特定して、手のひらの位置を推測する。
【００７８】
図１０に示すように、端末装置１００が握られている場合には、手のひらも端末装置１００の表面に接触するため、タッチセンサ１２０の検出値により、手のひらの位置を特定できる。一方、図１２（ａ）に示すように、端末装置１００が指で挟持されている場合には、手のひらが端末装置１００の表面に接触しないため、タッチセンサ１２０の検出値から直接手のひらの位置を特定することはできない。そのため、アプリケーション処理部５４は、各タッチセンサ１２０の検出値から、挟持している手が右手か左手かを判定する。
【００７９】
図１２（ｂ）は、端末装置１００を５本の指先で挟んだときにタッチセンサ１２０が検出する接触状態を示す説明図である。５本の指先で挟んだとき、５つの接触領域３０４ａ〜３０４ｅが検出される。なお点線で表現している接触領域３０４ｅは、図１２（ｂ）に示す状態において、端末装置１００の下面側に位置する。このとき、アプリケーション処理部５４は、一番小さい接触領域３０４ｄを検出することで、右手または左手の判定を行う。５本の手指で端末装置１００を挟んだとき、小指の接触領域が一番小さくなる。そのため、アプリケーション処理部５４は、接触領域３０４ｄの指が小指であることを判定する。小指が特定されると、小指に一番近い位置に薬指が存在するため、接触領域３０４ｃの指が薬指、接触領域３０４ｂの指が中指、接触領域３０４ａの指が人差し指であることが判定でき、接触領域３０４ｅが親指であることも判定できる。
【００８０】
なおアプリケーション処理部５４は、親指の接触領域を特定することで、各接触領域の指を特定してもよい。５本の手指で端末装置１００を挟んだとき、親指の接触領域が一番大きくなる。そのため、アプリケーション処理部５４は、接触領域３０４ｅの指が親指であることを判定する。親指が特定されると、親指に一番近い位置に人差し指が存在するため、接触領域３０４ａの指が人差し指であることが判定できる。したがって、順に中指、薬指、小指の接触領域を判定できる。
【００８１】
なおアプリケーション処理部５４は、親指の接触領域が一番大きく、小指の接触領域が一番小さくなることを利用して、各接触領域３０４の面積から、親指および小指を特定してもよい。
【００８２】
またアプリケーション処理部５４は、接触領域３０４の間隔から、手指を特定してもよい。手のサイズに対して、端末装置１００が相対的に大きい場合、親指と、親指以外の４つの指は、図１２（ｂ）に示すような配置となる傾向がある。すなわち、親指以外の４つの指同士の間隔は、比較的狭く、親指が、他の指と比較的離れるように配置される。アプリケーション処理部５４は、１つの接触領域３０４に対して、他の４つの接触領域３０４との間隔を演算し、演算した４つの間隔のうち、最も小さい間隔を特定する。この処理により、５つの指に対してそれぞれの最小間隔が導出される。アプリケーション処理部５４は、各接触領域３０４における最小間隔の大小を比較する。このとき、最も大きい最小間隔と、２番目に大きい最小間隔との比を導出し、（最も大きい最小間隔）／（２番目に大きい最小間隔）が２以上である場合に、手のサイズに対して端末装置１００が相対的に大きいことが判定され、以下の指特定処理が実行される。
【００８３】
アプリケーション処理部５４は、最も大きい最小間隔をもつ接触領域３０４を、親指の接触領域として特定する。図１２（ｂ）の場合は、接触領域３０４ｅが親指であることが特定される。親指が特定されると、次に人差し指が特定される。端末装置１００が手のサイズに対して相対的に大きい場合、親指と人差し指の間隔の方が、親指と小指の間隔よりも狭くなる。そのため、アプリケーション処理部５４は、接触領域３０４ｅに最も近い接触領域３０４ａを、人差し指の接触領域として特定する。その後、アプリケーション処理部５４は、中指、薬指、小指の接触領域を特定する。
【００８４】
なお、手のサイズに対して端末装置１００が相対的に小さい場合、すなわち（最も大きい最小間隔）／（２番目に大きい最小間隔）が２よりも小さい場合、ユーザは、指の腹ではなく、指の先端で端末装置１００を持つようになる。したがって、この場合は、上記したように、接触領域３０４の面積を利用した指特定処理が有効となる。
【００８５】
以上のように接触領域３０４の指を特定すると、アプリケーション処理部５４は、手のひらの位置を推定する。ここでは、たとえば接触領域３０４ａ〜３０４ｄの長さ方向の先端を結んで、互いに交わらない仮想ラインを引き（図中の３１２ａ、３１２ｂ）、その曲がり具合によって、手のひらの向きを推定する。方向３０６側から見た弧が描ける場合には、手のひらが方向３０６側に位置し、方向３０８側から見た弧が描ける場合には、手のひらが方向３０８側に位置する。この例では、方向３０６側から見た弧が描けるため、右手のひらが方向３０６側に位置することが分かる。したがって、アプリケーション処理部５４は、端末装置１００が図１２（ａ）に示すように指で挟持されていることを判定し、キャラクタを表示領域３１０に表示することを定め、キャラクタを表示する。
【００８６】
アプリケーション処理部５４は、接触領域３０４の配置を監視し、表示領域３１０をリアルタイムで設定する。これにより、ユーザが、端末装置１００を持つ位置を変えた場合にも、適切な位置に表示領域３１０を設定して、キャラクタを表示できる。
【００８７】
アプリケーション処理部５４は、少なくとも接触領域３０４には表示領域３１０を設定しない。また、アプリケーション処理部５４は、手のひらが存在すると推定される方向の領域にも表示領域３１０を設定しない。このようにアプリケーション処理部５４は、ユーザが見ることのできない位置に表示領域３１０を設定しないようにし、したがって、ユーザが端末装置１００を持ち替えたような場合にも、接触領域３０４の指を特定し、手のひらが存在する方向を特定することで、動的に適切な位置に表示領域３１０を設定できる。
【００８８】
ユーザが表示パネル１１０上でキャラクタを指でなぞると、キャラクタが、なぞられた方向に移動するように表示される。アプリケーション処理部５４は、各タッチセンサ１２０の検出値から、「なぞる動作」を検出する。「なぞる動作」は、端末装置１００の表面上の接触領域が一方向に移動することで検出される。アプリケーション処理部５４は、各タッチセンサ１２０の検出値から、接触領域が移動していることを判定すると、その方向にキャラクタ画像を移動するように、画像データを生成し、送信部３２が送信する。端末装置１００において制御部２００は、画像データをもとに、表示部１１２上にキャラクタ画像を表示する。これにより、表示部１１２には、なぞられた方向に移動するキャラクタが表示される。
【００８９】
使用例２において、表示部１１２にヘルプ画面を表示する例を示したが、ユーザが、ヘルプ画面が表示されている表示パネル１１０上を指でなぞると、ヘルプ画面の次のページが表示されるようにしてもよい。またユーザが端末装置１００を水平面において所定角度ひねると、ページがめくられるようにしてもよい。端末装置１００のひねり角度は、角速度センサ１６４の検出値により導出される。
【００９０】
（使用例４）
使用例４では、端末装置１００へのユーザの入力により、新たな情報やオブジェクトをユーザに提供する。ユーザが端末装置１００の表面を押すと、その表面位置に応じた情報が表示部１１２に表示される。たとえば端末装置１００に地球を表示している場合、ユーザが表面を押すと、その位置に対応するニュースや世界遺産情報などが表示される。
【００９１】
アプリケーション処理部５４は、地球の画像データを生成する。アプリケーション処理部５４は、表示パネル１１０とタッチセンサ１２０の位置関係を把握しているため、接触があったことを示す検出値を出力したタッチセンサ１２０を特定すると、そのタッチセンサ１２０の位置における仮想地球上の緯度経度を特定できる。このとき、アプリケーション処理部５４は、新たに接触があったことを示す検出値を出力したタッチセンサ１２０を特定することで、ユーザが指定した緯度経度を特定する。アプリケーション処理部５４は、その緯度経度に存在する地域に関連する情報を生成し、送信部３２が端末装置１００に送信すると、制御部２００が、その情報を表示部１１２に表示する。
【００９２】
またユーザが端末装置１００を回転すると、地球は、その回転に合わせて回るが、回転をとめたときには、これまでの回転に応じて、地球儀のように慣性で回るような画像処理が行われる。
【００９３】
アプリケーション処理部５４は、角速度センサ１６４の検出値から、端末装置１００の回転速度を導出する。回転速度は、回転中の任意のタイミングで導出される。アプリケーション処理部５４は、導出した回転速度を保持しておく。アプリケーション処理部５４は、加速度センサ１６２の検出値から端末装置１００の回転停止を検出すると、表示する地球の画像を、これまでの回転方向で回転させ、徐々に回転速度を落とすように制御する。このときアプリケーション処理部５４は、端末装置１００の回転時に導出した回転速度をもとに、あたかも地球儀が慣性で回っているかのように、徐々に表示する地球画像の回転速度を緩めていく。また、ユーザが端末装置１００から手を離して、机に置いたような場合にも、慣性で回るようにしてもよい。
【００９４】
逆に、端末装置１００を回転させても、アプリケーション処理部５４は、回転速度を導出し、表示画像を、端末装置１００とは反対方向に回転するように制御することで、端末装置１００の回転にかかわらず、同じ向きからは同じ画像が見えるようにしてもよい。
【００９５】
（使用例５）
使用例５では、音楽ファイルやムービーファイルなどのコンテンツのサムネイルを、表示部１１２に並べる。コンテンツは、情報処理装置１０に保持されており、ユーザがサムネイルを選択すると、コンテンツが出力装置２０上で再生される。たとえば、図１２（ａ）に示すように、ユーザが端末装置１００を持っているとき、アプリケーション処理部５４は、たとえば経度（上下方向）をジャンルで分け、緯度（左右方向）を年代で分けて、ユーザが感覚的にコンテンツを選択できるようにする。サムネイルを表示する契機は、たとえばユーザが端末装置１００を振ったときであり、アプリケーション処理部５４は、加速度センサ１６２の検出値から、端末装置１００が振られたことを検出すると、コンテンツのサムネイル画像をジャンルと年代で分類した画像データを生成する。このような情報の提示は、たとえば、インターネット上での記事のアクセスランキングなどの表示にも利用できる。この場合も、経度をジャンルで分け、緯度を順位で分けて、ユーザが感覚的にランキングを把握できるようにする。
【００９６】
ユーザは表示されたサムネイルを選択し、再生することを決定すると、出力装置２０においてコンテンツが再生される。選択操作は、たとえばサムネイルをタップすることであり、決定操作は、端末装置１００を振ることで行われる。アプリケーション処理部５４は、タッチセンサ１２０の検出値からタップされた位置を検出して、その位置に表示しているサムネイルを特定し、端末装置１００が振られたことを検出すると、そのコンテンツを記憶装置から読み出して、再生する。
【００９７】
（使用例６）
使用例６では、ゲームの実行中に、出力装置２０の画面に表示されるゲーム画像とは異なる画像を、端末装置１００の表示部１１２に表示する。ゲーム画像が、キャラクタの視点からの映像であるとき、表示部１１２には、別の視点からの画像が表示される。たとえばアプリケーション処理部５４は、端末装置１００の動きを検出し、キャラクタ視点を基準として、端末装置１００が上に持ち上げられたら、キャラクタより上の視点からの画像を表示部１１２に表示し、また左に動かされたら、キャラクタより左の視点からの画像を表示部１１２に表示する。ゲームによって表示部１１２に様々な画像をだすことができ、ユーザは、端末装置１００を動かすことで、アイテムを探したり、ゲーム空間を俯瞰するなど、出力装置２０の画面に表示されていないゲーム世界の情報を取得できるようにしてもよい。
【００９８】
図１３（ａ）は、出力装置２０の画面に表示されるゲーム画像を示す。このゲーム画像は、キャラクタの視点からの映像である。アプリケーション処理部５４は、３次元ゲーム空間において仮想カメラをキャラクタの背後に設置し、ユーザからの操作データをもとに、ゲーム画像を生成し、出力装置２０から出力させる。このときアプリケーション処理部５４は、端末装置１００の表示部１１２の構成に合わせた画像データを生成し、送信部３２が端末装置１００に送信する。端末装置１００において、制御部２００が画像データを受け取ると、表示部１１２にゲーム画像を表示させる。これにより、端末装置１００の表示部１１２にも、出力装置２０と同じゲーム画像が表示されることになる。
【００９９】
図１３（ｂ）は、ユーザが端末装置１００を左に動かしたときに端末装置１００に表示されるゲーム画像を示す。情報処理装置１０において、姿勢特定部４２は、モーションセンサ１６０の検出値から、端末装置１００の移動方向および移動量を特定する。アプリケーション処理部５４は、姿勢特定部４２から、端末装置１００の移動方向および移動量を受け取ると、その移動方向および移動量を、３次元ゲーム空間における仮想カメラの移動方向および移動量に変換する。なお仮想カメラの画角には、キャラクタが含まれるようにする。アプリケーション処理部５４は、移動した仮想カメラで撮影されるゲーム画像を生成し、端末装置１００の表示部１１２に合わせた画像データを生成する。送信部３２が画像データを端末装置１００に送信し、端末装置１００において制御部２００が画像データを受け取り、表示部１１２に表示させる。これによりユーザは、出力装置２０の表示画像とは異なるゲーム画像を端末装置１００において見ることができ、図１３（ｂ）の例では、木の陰に犬がいることを発見できる。
【０１００】
また、ユーザが端末装置１００を出力装置２０の画面に押し当てたとき、ゲーム攻略のヒントなど、ゲーム画像に表示されていない情報が表示部１１２に表示されてもよい。具体的なヒントではなく、注目するタイミングであることをユーザに提示するために、表示部１１２の全体が光ったりしてもよい。なお、ヒントの提示は、ゲーム進行に応じて行われてもよく、たとえばチャンスが到来したときに、表示部１１２にヒントや、注意喚起するための発光などが表示されてもよい。このヒントの提示は、たとえばスピーカから音声出力することで実行されてもよい。また、表示部１１２には、ゲームのリプレイ画像が表示されてもよい。リプレイ画像の表示に際しては、たとえば端末装置１００の姿勢を変えることで、視点を変更できるようにしてもよい。
【０１０１】
（使用例７）
使用例７では、端末装置１００そのものの動きを、出力装置２０の画面に表示する。たとえば端末装置１００を投げたり、バウンドさせたりしたときに、アプリケーション処理部５４は、モーションセンサ１６０による検出値をもとに、この動きを出力装置２０の画面上に再現する。たとえば端末装置１００を野球のボールと見立てて、ユーザが実際に投げたとき、出力装置２０の画面に、その回転や軌道が映し出されることで、ピッチング練習に利用できる。
【０１０２】
（使用例８）
使用例８では、複数の端末装置１００を接触させたことを、アプリケーションの処理に反映する。たとえば、ゲームであれば、キャラクタの特性が変化したり、キャラクタが合体するなど、端末装置１００同士が接触したことを観念させる処理が行われる。端末装置１００同士の接触は、それぞれの接触面における法線ベクトルが互いに逆向きとなっていることで判定される。法線ベクトルは、端末装置１００の姿勢および接触領域によって定められる。
【０１０３】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１０４】
端末装置１００は、情報処理装置１０から起動信号を受信すると起動し、また終了信号を受信するとスリープするように構成されてもよい。この場合、端末装置１００は、情報処理装置１０が動作していることを条件として動作可能であり、したがって、たとえば情報処理装置１０から所定時間、信号を受信できないときには、自動的にスリープするように構成されてもよい。なお端末装置１００は、スリープ状態において接触検出部１２２またはモーションセンサ１６０の検出値を監視し、端末装置１００が所定の状態となったときに自律的に起動するよう構成されてもよい。所定の状態とは、たとえば端末装置１００のほぼ全面が覆われた状態や、非常に高速で動かされた状態などであってよく、端末装置１００の起動後には通常とらない状態であることが好ましい。端末装置１００は、動作中に、この所定の動作状態となることで、スリープするように構成されてもよい。
【０１０５】
なお図１０に示すように端末装置１００がユーザによって握られている場合、アプリケーション処理部５４は、端末装置１００の姿勢から、手のひらの向きを特定してもよい。手のひらの向きを特定することで、端末装置１００が、手のひらを上向きとした状態で握られているのか、または手のひらを下向きとした状態で握られているのかを判定できる。なお図１０に関連して説明したキー設定処理では、キー設定部５２が接触領域の特定処理などを行っていたが、この例では、アプリケーション処理部５４が同様の処理を実行する。姿勢特定部４２が、端末装置１００から受け取ったモーションセンサ１６０の検出値と基準値との差分から現在の姿勢を特定すると、アプリケーション処理部５４は、姿勢特定部４２により特定された現在の姿勢と、手のひらの接触を検出したタッチセンサ１２０の位置から、手のひらが重力方向に対していずれを向いているかを特定する。アプリケーション処理部５４は、手のひらの向きを、アプリケーションの処理に反映するための入力データとして利用してもよい。
【０１０６】
上記実施例では、表示部１１２に表示する画像データを情報処理装置１０におけるアプリケーション処理部５４が生成したが、端末装置１００における制御部２００が、アプリケーション処理部５４と同じ機能を有して、画像データを生成してもよい。
【符号の説明】
【０１０７】
１・・・情報処理システム、１０・・・情報処理装置、２０・・・出力装置、３０・・・通信部、３２・・・送信部、３４・・・受信部、４０・・・端末情報処理部、４２・・・姿勢特定部、４４・・・位置特定部、５０・・・制御部、５２・・・キー設定部、５４・・・アプリケーション処理部、１００・・・端末装置、１１０・・・表示パネル、１１２・・・表示部、１２０・・・タッチセンサ、１２２・・・接触検出部、１３０・・・保護層、１３２・・・支持部材、１３４・・・内郭、１４０・・・内部コア、１４２・・・プロジェクタ、１５０・・・通信部、１５２・・・送信部、１５４・・・受信部、１６０・・・モーションセンサ、１６２・・・加速度センサ、１６４・・・角速度センサ、１６６・・・地磁気センサ、２００・・・制御部。
【図１】
0005769947.tif 000002
【図２】
0005769947.tif 000003
【図３】
0005769947.tif 000004
【図４】
0005769947.tif 000005
【図５】
0005769947.tif 000006
【図６】
0005769947.tif 000007
【図７】
0005769947.tif 000008
【図８】
0005769947.tif 000009
【図９】
0005769947.tif 000010
【図１０】
0005769947.tif 000011
【図１１】
0005769947.tif 000012
【図１２】
0005769947.tif 000013
【図１３】
0005769947.tif 000014