(57)【特許請求の範囲】
【請求項１】
視認空間内の３次元マトリクス状に区分けされた仮想の遊戯領域中に、当該区分けされた各区画を１個分或いは複数個分だけ占有する３次元ブロックを立体表示する表示部と、当該表示部を制御する制御部と、前記視認空間中の物体の位置を検出する検出部と、を備え、
前記制御部は、前記表示部を制御して、
前記３次元ブロックを出現させるとともに、
前記検出部により、前記視認空間における前記物体の経時的な変化が検出されたとき、当該検出結果に基づいて、前記３次元ブロックを前記区画単位で移動させ、
移動した当該３次元ブロックにより、前記遊戯領域の一の層の全ての区画が埋めつくされたとき、前記３次元ブロック中の前記一の層に含まれる部分を消去し、
前記検出部は、前記物体が前記３次元ブロックを掴む動作を検出し、
前記制御部は、前記掴む動作を継続する前記物体の移動量に応じた区画分だけ前記３次元ブロックを移動させ、あるいは回転量に対応した所定角度分だけ回転させ、
前記検出部は、複数個所において前記物体が前記３次元ブロックを掴む動作を検出し、
前記制御部は、当該複数個所において前記３次元ブロックを掴む前記物体の移動または回転に応じて、前記３次元ブロックを変形させる、或いは前記３次元ブロックを複数個の新たな３次元ブロックに分離させる表示機器。
【請求項２】
前記制御部は、一の前記３次元ブロックが出現してから、所定時間後に次の前記３次元ブロックが出現するように制御する請求項１に記載の表示機器。
【請求項３】
前記制御部は、前記３次元ブロックを出現させる間隔を時間が経つにつれて短くする請求項２に記載の表示機器。
【請求項４】
前記制御部は、前記３次元ブロックが、時間の経過にしたがって、前記遊戯領域の第１の面から、当該第１の面に対向する第２の面に向かって移動するように制御する請求項１乃至３のいずれか１項に記載の表示機器。
【請求項５】
前記制御部は、前記検出部が前記第２の面から前記第１の面への前記物体の移動を検出しても、当該第１の面側には前記３次元ブロックを移動させないように制御する請求項４に記載の表示機器。
【請求項６】
前記制御部は、前記第２の面と対向する面の少なくとも１つが前記第２の面に到達した第１の３次元ブロックを、前記検出部の検出結果にかかわらず移動させないように制御し、
前記第２の面と対向する面の少なくとも１つが前記第１の３次元ブロックが存在する区画に到達した第２の３次元ブロックを、前記検出部の検出結果にかかわらず移動させないように制御する請求項４または５に記載の表示機器。
【請求項７】
前記制御部は、前記第１の３次元ブロックおよび前記第２の３次元ブロックを所定の条件下に限って移動させるように制御する請求項６に記載の表示機器。
【請求項８】
前記制御部は、前記第１の３次元ブロックの前記第２の面と対向する面の少なくとも１つが、前記第２の面に到達してから所定時間内に前記検出部が前記物体の移動を検出した場合に、前記検出部の検出結果に基づいて前記第１の３次元ブロックを移動させ、
前記第２の３次元ブロックの前記第２の面と対向する面の少なくとも１つが、前記第１の３次元ブロックが存在する区画に到達してから所定時間内に前記検出部が前記物体の移動を検出した場合に、前記検出部の検出結果に基づいて前記第２の３次元ブロックを移動させる請求項７に記載の表示機器。
【請求項９】
表示機器自身に印加される加速度或いは動きを測定する第２の検出部をさらに備え、
前記制御部は、前記第２の検出部が所定の加速度或いは動きを検出したことを前記所定の条件とする請求項７に記載の表示機器。
【請求項１０】
前記制御部は、前記第２の検出部の検出結果に基づいて、前記遊戯領域を回転させる請求項９に記載の表示機器。
【請求項１１】
前記制御部は、前記遊戯領域を回転させる場合に、移動中の前記３次元ブロックを回転させない請求項１０に記載の表示機器。
【請求項１２】
前記制御部は、前記遊戯領域を前記表示部の表示面に対して垂直方向に回転させる場合に、前記３次元ブロックを出現させる位置を変更する請求項１０または１１に記載の表示機器。
【請求項１３】
前記制御部は、前記遊戯領域を前記表示部の表示面に対して垂直方向に回転させた後に、前記遊戯領域中の全ての３次元ブロックを、前記遊戯領域の前記表示面に近接する面へ向けて移動させる請求項１２に記載の表示機器。
【請求項１４】
前記制御部は、前記遊戯領域を前記表示部の表示面に対して垂直方向に回転させた後に、前記遊戯領域中の全ての３次元ブロックのうち移動しないように制御していた３次元ブロックを、区画毎に分割して、前記遊戯領域の前記表示面に近接する面へ向けて移動させる請求項１２に記載の表示機器。
【請求項１５】
前記検出部は、前記物体が前記３次元ブロックを押す動作を検出し、
前記制御部は、前記押す動作における前記物体の移動量に応じた区画分だけ前記３次元ブロックを移動させる請求項１乃至１４のいずれか１項に記載の表示機器。
【請求項１６】
前記検出部は、前記視認空間における静電容量の変化を検出する静電センサである請求項１乃至１５のいずれか１項に記載の表示機器。
【請求項１７】
前記検出部は、前記視認空間における物体の形状及びその経時的な変化を検出する撮影部或いは赤外線センサである請求項１乃至１５のいずれか１項に記載の表示機器。
【請求項１８】
視認空間内の３次元マトリクス状に区分けされた仮想の遊戯領域中に、当該区分けされた各区画を１個分或いは複数個分だけ占有する３次元ブロックを立体表示する表示部及び前記視認空間中の物体の位置を検出する検出部を備える端末と、当該端末を制御する制御部を含むシステムであって、
前記制御部は、前記表示部を制御して、
前記３次元ブロックを出現させるとともに、
前記検出部により、前記視認空間における前記物体の時間的な変化が検出されたとき、当該検出結果に基づいて、前記３次元ブロックを前記区画単位で移動させ、
移動した当該３次元ブロックにより、前記遊戯領域の一の層の全ての区画が埋めつくされたとき、前記３次元ブロック中の前記一の層に含まれる部分を消去し、
前記検出部は、前記物体が前記３次元ブロックを掴む動作を検出し、
前記制御部は、前記掴む動作を継続する前記物体の移動量に応じた区画分だけ前記３次元ブロックを移動させ、あるいは回転量に対応した所定角度分だけ回転させ、
前記検出部は、複数個所において前記物体が前記３次元ブロックを掴む動作を検出し、
前記制御部は、当該複数個所において前記３次元ブロックを掴む前記物体の移動または回転に応じて、前記３次元ブロックを変形させる、或いは前記３次元ブロックを複数個の新たな３次元ブロックに分離させる制御システム。
【請求項１９】
視認空間内で３次元形状を立体表示する表示部及び前記視認空間中の物体の位置を検出する検出部を備える表示機器に、
視認空間内の３次元マトリクス状に区分けされた仮想の遊戯領域中に、当該区分けされた各区画を１個分或いは複数個分だけ占有する３次元ブロックを出現させるステップと、
前記視認空間における前記物体の時間的な変化が検出されたときに、前記３次元ブロックを前記区画単位で移動させるステップと、
移動した当該３次元ブロックにより、前記遊戯領域の一の層の全ての区画が埋めつくされたとき、前記３次元ブロック中の前記一の層に含まれる部分を消去するステップと、
前記物体が前記３次元ブロックを掴む動作を検出するステップと、
前記掴む動作を継続する前記物体の移動量に応じた区画分だけ前記３次元ブロックを移動させ、あるいは回転量に対応した所定角度分だけ回転させるステップと、
複数個所において前記物体が前記３次元ブロックを掴む動作を検出するステップと、
当該複数個所において前記３次元ブロックを掴む前記物体の移動または回転に応じて、前記３次元ブロックを変形させる、或いは前記３次元ブロックを複数個の新たな３次元ブロックに分離させるステップと
を実行させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示機器、制御システムおよび制御プログラムに関する。
【背景技術】
【０００２】
携帯電話端末等の表示部を備える表示機器には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。
【０００３】
また、３Ｄゲームのアプリケーションを実行することができるゲーム装置がある。例えば、特許文献２に記載のゲーム装置は、３次元コンピュータグラフィックスで表示された立体パズルを使用して３Ｄゲームを実行する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−９５５４７号公報
【特許文献２】特開２０１１−１０１６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示機器では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。また、立体パズル等の３Ｄゲームのアプリケーションは存在するが、従来のゲーム装置では、操作ボタン等により特定の１つのオブジェクト毎しか選択できず、さらに操作に慣れるまで時間を要してしまう。
【０００６】
本発明は、利用者に対して利便性の高い操作方法を提供することができる表示機器、制御システムおよび制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る表示機器は、視認空間内の３次元マトリクス状に区分けされた仮想の遊技領域中に、当該区分けされた各区画を１個分或いは複数個分だけ占有する３次元ブロックを立体表示する表示部と、当該表示部を制御する制御部と、前記視認空間中の物体の位置を検出する検出部と、を備え、前記制御部は、前記表示部を制御して、前記３次元ブロックを出現させるとともに、前記検出部により、前記視認空間における前記物体の経時的な変化が検出されたとき、当該検出結果に基づいて、前記３次元ブロックを前記区画単位で移動させ、移動した当該３次元ブロックにより、前記遊戯領域の一の層の全ての区画が埋めつくされたとき、前記３次元ブロック中の前記一の層に含まれる部分を消去する。
【０００８】
また、本発明に係る制御システムは、視認空間内の３次元マトリクス状に区分けされた仮想の遊技領域中に、当該区分けされた各区画を１個分或いは複数個分だけ占有する３次元ブロックを立体表示する表示部及び前記視認空間中の物体の位置を検出する検出部を備える端末と、当該端末を制御する制御部を含むシステムであって、前記制御部は、前記表示部を制御して、前記３次元ブロックを出現させるとともに、前記検出部により、前記視認空間における前記物体の時間的な変化が検出されたとき、当該検出結果に基づいて、前記３次元ブロックを前記区画単位で移動させ、移動した当該３次元ブロックにより、前記遊戯領域の一の層の全ての区画が埋めつくされたとき、前記３次元ブロック中の前記一の層に含まれる部分を消去する。
【０００９】
また、本発明に係る制御プログラムは、視認空間内で３次元形状を立体表示する表示部及び前記視認空間中の物体の位置を検出する検出部を備える表示機器に、視認空間内の３次元マトリクス状に区分けされた仮想の遊技領域中に、当該区分けされた各区画を１個分或いは複数個分だけ占有する３次元ブロックを出現させるステップと、前記視認空間における前記物体の時間的な変化が検出されたときに、前記３次元ブロックを前記区画単位で移動させるステップと、移動した当該３次元ブロックにより、前記遊戯領域の一の層の全ての区画が埋めつくされたとき、前記３次元ブロック中の前記一の層に含まれる部分を消去するステップとを実行させる。
【発明の効果】
【００１０】
本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、携帯電話端末の外観を示す正面図である。
【図２】図２は、携帯電話端末の機能的な構成を示すブロック図である。
【図３】図３は、オブジェクトデータに格納される情報の一例を示す図である。
【図４】図４は、携帯電話端末による３次元オブジェクトの表示の一例を示す模式図である。
【図５】図５は、層を消去する例を示す図である。
【図６】図６は、３次元オブジェクトを掴んで行う操作の一例を示す図である。
【図７】図７は、３次元オブジェクトを押す操作の一例を示す図である。
【図８】図８は、遊戯領域の側面での移動の停止について説明するための図である。
【図９】図９は、遊戯領域を３次元オブジェクトとして扱う操作の一例を示す図である。
【図１０】図１０は、遊戯領域を３次元オブジェクトとして扱う他の操作の一例を示す図である。
【図１１】図１１は、停止状態にある３次元ブロックを区画単位の要素に分離して底面へ向けて移動させる例を示す図である。
【図１２】図１２は、遊戯領域の面を３次元オブジェクトとして扱う操作の一例を示す図である。
【図１３】図１３は、３次元ブロックを分解する操作の一例を示す図である。
【図１４】図１４は、３次元ブロックを合成する操作の一例を示す図である。
【図１５】図１５は、３次元ブロックの制御に関して携帯電話端末が実行する基本的な処理の処理手順を示すフローチャートである。
【図１６】図１６は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。
【図１７】図１７は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。
【図１８】図１８は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。
【図１９】図１９は、掴む操作検出処理の処理手順を示すフローチャートである。
【図２０】図２０は、３次元オブジェクトを掴んで行う他の操作の検出について説明するための図である。
【図２１】図２１は、３次元オブジェクトへの接触を選択の条件とする場合の選択検出処理の処理手順を示すフローチャートである。
【図２２】図２２は、作用データに格納される情報の一例を示す図である。
【図２３】図２３は、３次元オブジェクトを押す操作の検出について説明するための図である。
【図２４】図２４は、３次元オブジェクトを押す操作の検出について説明するための図である。
【図２５】図２５は、３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。
【図２６】図２６は、押す操作検出処理の処理手順を示すフローチャートである。
【図２７】図２７は、他の携帯電話端末の外観を示す正面図である。
【図２８】図２８は、他の携帯電話端末の機能的な構成を示すブロック図である。
【図２９】図２９は、３次元オブジェクトに対する操作の検出について説明するための図である。
【図３０】図３０は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末の構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、表示機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal  Handyphone  System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【実施例】
【００１３】
まず、図１および図２を参照しながら、第１の実施例に係る携帯電話端末（表示機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の機能的な構成を示すブロック図である。
【００１４】
図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０と、撮影部４２とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２、撮影部４０および撮影部４２は、携帯電話端末１の正面に一部が露出する。
【００１５】
操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。
【００１６】
マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。
【００１７】
通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code  Division  Multiple  Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
【００１８】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。
【００１９】
表示部３２ａは、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬ（Organic  Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。タッチセンサ３２ｂが各種操作を検出する方式は、静電容量式、抵抗膜式、感圧式等の任意の方式でよい。
【００２０】
また、タッチパネル３２は、３次元オブジェクトを表示できる。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状等の表示物である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
【００２１】
撮影部４０および４２は、ＣＣＤ（Charge  Coupled  Device  Image Sensor）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する。撮影部４０および４２は、３次元オブジェクトが立体的に表示される空間（以下、「視認空間」という）において３次元オブジェクトを操作する物体を検出する検出部としても機能する。
【００２２】
なお、撮影部４０および４２は、視認空間内のどこに指等の物体が位置していてもその物体を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０および４２は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
【００２３】
制御部２２は、演算手段であるＣＰＵ（Central  Processing  Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。
【００２４】
記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。また、記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
【００２５】
制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作を検出する機能が含まれる。制御プログラム２４ａは、このように、３次元オブジェクトの表示を制御したり、３次元オブジェクトに対する操作を検出したりすることにより、後述するように、利用者が視認空間で立体的な遊戯を楽しむことを可能にする。
【００２６】
オブジェクトデータ２４ｂは、３次元オブジェクトの形状や性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に３次元オブジェクトを変化させるために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。
【００２７】
図３は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図３に示すように、オブジェクトデータ２４ｂには、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される。形状情報は、３次元オブジェクトの形状を示す情報である。形状情報は、例えば、３次元オブジェクトを構成する面の頂点座標の集合である。色は、３次元オブジェクトの表面の色である。透明度は、３次元オブジェクトが光を透過させる度合いである。なお、オブジェクトデータ２４ｂは、複数の３次元オブジェクトに関する情報を保持することができる。
【００２８】
次に、図４から図１４を参照しながら、携帯電話端末１による３次元オブジェクトの表示の制御と、３次元オブジェクトに対する操作の検出について説明する。図４は、携帯電話端末１による３次元オブジェクトの表示の一例を示す模式図である。なお、３次元オブジェクトは、携帯電話端末１のタッチパネル３２を特定の方向から見た場合に立体的に表示され、側面から見た場合には、必ずしも図４に示すように立体的に表示されない。また、図４では、携帯電話端末１を側面から見た簡略的な断面図として図示している。
【００２９】
図４に示すように、携帯電話端末１は、視認空間５０中に遊戯領域６０を設定する。遊戯領域６０は、３次元マトリックス状に区分けされた立方体形状の仮想の領域である。遊戯領域６０が区分けされた各区画は、立方体形状をしている。なお、図４では、説明の便宜上、遊戯領域６０が区分けされた区画を点線で図示しているが、各区画は、必ずしもこのように明示されない。
【００３０】
また、携帯電話端末１は、遊戯領域６０の面の１つである上面６０ｂから、上面６０ｂに対向する底面６０ａへ向けて３次元ブロックを移動させる。３次元ブロックは、遊戯領域６０が区分けされた区画を１乃至複数個占有する３次元オブジェクトである。３次元ブロックには、複数の種類があり、種類毎に形状や色が異なる。それぞれの種類の形状や色は、オブジェクトデータ２４ｂにおいて定義されている。
【００３１】
携帯電話端末１は、上面６０ｂの近傍で３次元ブロックを出現させた後、時間の経過に従って３次元ブロックを底面６０ａへ向けて移動させる。そして、携帯電話端末１は、３次元ブロックの移動方向の面（底面６０ａと対向する面）のいずれかが底面６０ａに接触すると、３次元ブロックの移動を中止して、３次元ブロックを停止状態にする。携帯電話端末１は、３次元ブロックの移動方向の面のいずれかが、停止状態にある他の３次元ブロックと接触した場合にも、３次元ブロックを停止状態にする。
【００３２】
携帯電話端末１は、１つの３次元ブロックを出現させた後、所定の時間が経過すると、次の３次元ブロックを出現させる。次の３次元ブロックは、１つ前の３次元ブロックの移動中に出現することもある。携帯電話端末１は、遊戯性を高めるため、３次元ブロックを出現させる間隔を少しずつ短くしていく。なお、携帯電話端末１は、遊戯性を高めるため、３次元ブロックを底面６０ａへ向けて移動させる速度を次第に速くしてもよい。
【００３３】
３次元ブロックを次々と出現させた結果、遊戯領域６０には複数のブロックが積み重なっていく。例えば、図４に示す例では、３次元ブロックＢＬ１および３次元ブロックＢＬ２が、底面６０ａに到達して停止状態となっている。また、３次元ブロックＢＬ３が、３次元ブロックＢＬ１の上に重なって停止状態となっている。また、３次元ブロックＢＬ４が、移動中であり、３次元ブロックＢＬ５が、上面６０ｂの近傍に出現している。
【００３４】
携帯電話端末１は、３次元ブロックが積み重なり、３次元ブロックの要素によって遊戯領域６０の層のいずれかが埋め尽くされた場合は、その層を消去する。
【００３５】
図５は、層を消去する例を示す図である。図５に示すステップＳＡ１では、底面６０ａの上が３次元ブロックの要素によって埋め尽くされている。このように１つの層が埋め尽くされた場合、携帯電話端末１は、ステップＳＡ２に示すように、埋め尽くされた層を消去する。そして、携帯電話端末１は、埋め尽くされた層を構成していた３次元ブロックの残り部分のうち、埋め尽くされた層よりも上に位置していた部分を、底面６０ａと対向する面のいずれかが底面６０ａまたは停止状態にある他の３次元ブロックと接触するまで底面６０ａへ向けてそれぞれ移動させる。なお、図５では、底面６０ａが視認できるように表示されているが、底面６０ａは表示されなくてもよい。
【００３６】
携帯電話端末１は、埋め尽くされた層を消去するたびに、利用者に対して得点を加算する。携帯電話端末１は、埋め尽くされた層の消去にともなう３次元ブロックの残り部分の移動によって他の層が消去された場合（いわゆる連鎖が発生した場合）、利用者に対して通常より多くの得点を加算する。また、携帯電話端末１は、３次元ブロックが積み重なって新たな３次元ブロックを出現させることができなくなった場合には、上記の制御を終了する。
【００３７】
利用者は、携帯電話端末１によるこのような制御を利用して、できるだけ多くの得点を得ることを目的とした遊戯を楽しむことができる。利用者は、得点を増やすために、移動中の３次元ブロックを操作することができる。具体的には、利用者は、手および指を使って、移動中の３次元ブロックを移動させたり、回転させたりすることができる。
【００３８】
携帯電話端末１は、視認空間中に存在する手等の物体の位置および動作を撮影部４０および４２が撮影する画像に基づいて判定する。そして、携帯電話端末１は、判定した物体の位置および動作を、視認空間中に表示されている３次元ブロック等の３次元オブジェクトの形状および計算上の位置と照合することによって、３次元オブジェクトに対する操作を検出する。
【００３９】
物体の位置は、予め登録されている物体の大きさと画像中の物体の大きさおよび位置とに基づいて判定してもよい。あるいは、物体の位置は、撮影部４０が撮影した画像における物体の大きさおよび位置と撮影部４２が撮影した画像における物体の大きさおよび位置とを照合して判定してもよい。指等の物体の動作の判定は、既知の技術を用いて実現してよい。また、指が物体の場合、指のつま先の位置を物体の位置として処理することが好ましい。
【００４０】
３次元オブジェクトの形状は、オブジェクトデータ２４ｂにおいて定義される。視認空間における３次元オブジェクトの計算上の位置は、タッチパネル３２の表示面上での３次元オブジェクトの位置と、視認空間内での３次元オブジェクトの浮き上がり量とに基づいて算出される。視認空間内での３次元オブジェクトの浮き上がり量は、表示時に決定された値であってもよいし、３次元オブジェクトを立体的に表示するために用いられる右目用の画像と左目用の画像における３次元オブジェクトの位置の差から算出された値であってもよい。
【００４１】
図６は、３次元オブジェクトを掴んで行う操作の一例を示す図である。図６に示す例では、３次元ブロックＢＬ６〜ＢＬ８が停止状態となっており、３次元ブロックＢＬ９が移動中である。この場面において、携帯電話端末１は、利用者が３次元ブロックＢＬ９を手Ｈ１で掴み、手Ｈ１を任意の方向へ移動させる動作を検出すると、３次元ブロックＢＬ９を手Ｈ１の移動に合わせて３次元ブロックＢＬ９を移動させる。また、携帯電話端末１は、利用者が３次元ブロックＢＬ９を手Ｈ１で掴み、手Ｈ１を回転させる動作を検出すると、３次元ブロックＢＬ９を手Ｈ１の回転に合わせて３次元ブロックＢＬ９を回転させる。
【００４２】
そして、携帯電話端末１は、利用者が３次元ブロックＢＬ９から手を離す動作を検出すると、３次元ブロックＢＬ９を再び底面６０ａへ向けて移動させ始める。３次元ブロックＢＬ９の位置または向きが、遊戯領域６０の区画とずれている場合、携帯電話端末１は、最小の補正により、３次元ブロックＢＬ９の位置および向きを遊戯領域６０の区画に合わせる。また、携帯電話端末１は、３次元ブロックＢＬ９が遊戯領域６０から突出したり、３次元ブロックＢＬ９が他の３次元ブロックの内部に入り込んだりすることがないように３次元ブロックＢＬ９の移動および回転を制限する。なお、難易度を低下させないために、３次元ブロックＢＬ９の上方向への移動を制限してもよい。
【００４３】
図７は、３次元オブジェクトを押す操作の一例を示す図である。図７に示す例では、３次元ブロックＢＬ６〜ＢＬ８が停止状態となっており、３次元ブロックＢＬ９が移動中である。この場面において、携帯電話端末１は、利用者が３次元ブロックＢＬ９を手Ｈ１で押す動作を検出すると、３次元ブロックＢＬ９を手Ｈ１の移動に合わせて３次元ブロックＢＬ９を移動させる。
【００４４】
そして、携帯電話端末１は、利用者が３次元ブロックＢＬ９から手Ｈ１を離す動作を検出すると、３次元ブロックＢＬ９を再び底面６０ａへ向けて移動させ始める。なお、携帯電話端末１は、利用者の押す動作の検出中も、３次元ブロックＢＬ９を底面６０ａへ向けて移動させ続けてもよい。３次元ブロックＢＬ９の位置が、遊戯領域６０の区画とずれている場合、携帯電話端末１は、最小の補正により、３次元ブロックＢＬ９の位置を遊戯領域６０の区画に合わせる。また、携帯電話端末１は、３次元ブロックＢＬ９が遊戯領域６０から突出したり、３次元ブロックＢＬ９が他の３次元ブロックの内部に入り込んだりすることがないように３次元ブロックＢＬ９の移動を制限する。
【００４５】
このように、掴んで行う操作や押す操作によって３次元ブロックの位置や向きを変更することにより、利用者は、遊戯領域６０の層を戦略的に埋めて得点を稼ぐことができる。なお、携帯電話端末１は、３次元ブロックの底面６０ａと対向する面のいずれかが底面６０ａまたは停止状態にある他の３次元ブロックと接触した後も、所定の時間内（例えば、１秒以内）は、利用者の操作に応じて３次元ブロックの位置や向きを変更してもよい。また、自身に印加される加速度或いは動きを測定する検出器（例えば、加速度センサ）を携帯電話端末１に設け、検出器が所定の加速度或いは動きを検出した場合に、携帯電話端末１は停止状態の３次元ブロックを移動可能にすることとしてもよい。また、携帯電話端末１は、検出器が所定の加速度或いは動きを検出した場合に、停止状態の３次元ブロックを加速度或いは動きに応じて移動させてもよい。
【００４６】
携帯電話端末１は、３次元ブロックが遊戯領域６０の底面６０ａに到達した場合だけでなく、利用者の操作によって側面に到達した場合にも３次元ブロックを停止させる。図８は、遊戯領域６０の側面での移動の停止について説明するための図である。図８に示す例では、３次元ブロックＢＬ１０が、利用者の操作によって遊戯領域６０の側面６０ｃに到達して停止状態となっている。そして、３次元ブロックＢＬ９が、利用者の操作によって遊戯領域６０の側面６０ｃに達しつつある。なお、図８では、側面６０ｃが視認できるように表示されているが、側面６０ｃは表示されなくてもよい。
【００４７】
携帯電話端末１は、掴んで行う操作や押す操作によって３次元ブロックの面のいずれが遊戯領域６０の側面と接触すると、その時点で３次元ブロックを停止させる。なお、携帯電話端末１は、３次元ブロックが遊戯領域６０の側面に到達した後も、所定の時間内（例えば、１秒以内）は、３次元ブロックを停止状態とせずに、利用者の操作に応じて３次元ブロックの位置や向きを変更してもよい。
【００４８】
携帯電話端末１は、遊戯領域６０の側面に到達した３次元ブロックの要素によって側面と平行な層が埋め尽くされた場合、その層を消去する。そして、携帯電話端末１は、埋め尽くされた層を構成していた３次元ブロックの残り部分のうち、埋め尽くされた層よりも遊戯領域６０の内側に位置していた部分を、底面６０ａと対向する面のいずれかが底面６０ａまたは停止状態にある他の３次元ブロックと接触するまで底面６０ａへ向けてそれぞれ移動させる。
【００４９】
なお、携帯電話端末１は、埋め尽くされた層よりも遊戯領域６０の内側に位置していた部分を、３次元ブロックが到達していた側面へ向けて移動させてもよい。また、携帯電話端末１は、遊戯領域６０の側面に到達した３次元ブロックを摘んで側面とは反対側に移動させる操作が検出された場合に、３次元ブロックを再び移動可能な状態に戻してもよい。すなわち、携帯電話端末１は、利用者が、３次元ブロックを一時的に側面に貼り付けておき、任意のタイミングで移動を再開させることができるようにしてもよい。
【００５０】
携帯電話端末１は、遊戯領域６０を３次元オブジェクトとして扱う操作も受け付ける。図９は、遊戯領域６０を３次元オブジェクトとして扱う操作の一例を示す図である。図９に示すステップＳＢ１では、３次元ブロックＢＬ６〜ＢＬ８が停止状態となっており、３次元ブロックＢＬ９が移動中である。この場面において、携帯電話端末１は、利用者が両手で遊戯領域６０を側面から掴んで水平方向に回転させる動作を検出すると、ステップＳＢ２に示すように、両手の動きに合わせて、遊戯領域６０を水平方向に回転させる。
【００５１】
このとき、携帯電話端末１は、停止状態にある３次元ブロックを遊戯領域６０と一緒に回転させる。このように、停止状態にある３次元ブロックを遊戯領域６０と一緒に回転させることにより、利用者は、３次元ブロックの重なり状況を見易い方向から見ることができる。なお、携帯電話端末１は、遊戯領域６０を水平方向に回転させる動作が検出された場合に、移動中の３次元ブロックを遊戯領域６０と一緒に回転させてもよいし、させなくてもよい。移動中の３次元ブロックのうち、利用者に掴まれている３次元ブロックは回転させずに、それ以外を遊戯領域６０と一緒に回転させてもよい。また、携帯電話端末１は、遊戯領域６０が９０度単位で回転するように回転量を補正してもよい。
【００５２】
利用者は、遊戯領域６０を水平方向に回転させる動作を例えば以下のように実行する。ステップＳＢ１およびステップＳＢ２に示すように、まず、利用者は、手Ｈ１を遊戯領域６０の側面６０ｄに当たるように配置し、手Ｈ２を側面６０ｄに対向する側面６０ｅに当たるように配置する。そして、利用者は、手Ｈ１と手Ｈ２の間隔を保ちながら、底面６０ａの中心に回転軸があるかのように、手Ｈ１および手Ｈ２を周回させる。
【００５３】
図１０は、遊戯領域６０を３次元オブジェクトとして扱う他の操作の一例を示す図である。図１０に示すステップＳＣ１では、３次元ブロックＢＬ６〜ＢＬ８が停止状態となっており、３次元ブロックＢＬ９が移動中である。この場面において、携帯電話端末１は、利用者が両手で遊戯領域６０を側面から掴んで垂直方向に回転させる動作を検出すると、ステップＳＣ２に示すように、両手の動きに合わせて、遊戯領域６０を垂直方向に回転させる。
【００５４】
このとき、携帯電話端末１は、停止状態にある３次元ブロックを遊戯領域６０と一緒に回転させる。そして、携帯電話端末１は、両手が遊戯領域６０から離れたのを検出すると、ステップＳＣ３に示すように、停止状態にある３次元ブロックを新たな底面（この例では面６０ｅ）へ向けて移動させる。携帯電話端末１は、３次元ブロックの移動方向の面のいずれかが、新たな底面または停止状態にある他の３次元ブロックと接触すると、３次元ブロックを停止状態にする。なお、停止状態にある３次元ブロックを新たな底面へ向けて移動させる制御は、遊戯領域６０が垂直方向に９０度回転するたびに実行してもよい。
【００５５】
このように、垂直方向の回転にともなって停止状態にある３次元ブロックの配置を変更することにより、利用者は、３次元ブロックの重なり状況を劇的に変化させることができる。なお、携帯電話端末１は、遊戯領域６０を垂直方向に回転させる場合、遊戯領域６０が９０度単位で回転するように回転量を補正することが好ましい。また、携帯電話端末１は、遊戯領域６０を垂直方向に回転させる場合、移動中の３次元ブロックは遊戯領域６０と一緒に回転させないこととしてもよい。
【００５６】
利用者は、遊戯領域６０を垂直方向に回転させる動作を例えば以下のように実行する。ステップＳＣ１およびステップＳＣ２に示すように、まず、利用者は、手Ｈ１を遊戯領域６０の側面６０ｄに当たるように配置し、手Ｈ２を側面６０ｄに対向する側面６０ｅに当たるように配置する。そして、利用者は、手Ｈ１と手Ｈ２の間隔を保ちながら、側面６０ｄの中心と側面６０ｅの中心とを結ぶ回転軸があるかのように、手Ｈ１および手Ｈ２を同一方向に回転させる。
【００５７】
なお、図１０に示した例では、携帯電話端末１が、遊戯領域６０を垂直方向に回転させた後に、停止状態にある３次元ブロックを新たな底面へ向けて移動させることとしたが、停止状態にある３次元ブロックを側面に固定したままにしてもよい。また、携帯電話端末１は、停止状態にある３次元ブロックを区画単位の要素に分離して、新たな底面へ向けて移動させてもよい。
【００５８】
図１１は、停止状態にある３次元ブロックを区画単位の要素に分離して底面へ向けて移動させる例を示す図である。図１１に示すステップＳＤ１およびステップＳＤ２は、図１０に示したステップＳＣ１およびステップＳＣ２と同様である。図１１に示すステップＳＤ３では、停止状態にある３次元ブロックが区画毎の要素に分離されたために、ブロックＢＬ７の形状が、図１０に示したステップＳＣ３と異なっている。このように、停止状態にある３次元ブロックを区画毎の要素に分離することにより、底面に接する層が要素によって埋まり、その結果、利用者が高得点を得やすくなる。
【００５９】
携帯電話端末１は、遊戯領域６０の面を薄い３次元オブジェクトとして扱う操作も受け付ける。図１２は、遊戯領域６０の面を３次元オブジェクトとして扱う操作の一例を示す図である。図１２に示すステップＳＥ１では、３次元ブロックＢＬ６〜ＢＬ８が停止状態となっており、３次元ブロックＢＬ９が移動中である。この場面において、携帯電話端末１は、利用者が遊戯領域６０の底面６０ａを手で掴んで水平方向に回転させる動作を検出すると、ステップＳＥ２に示すように、手の動きに合わせて、遊戯領域６０を水平方向に回転させる。
【００６０】
このとき、携帯電話端末１は、停止状態にある３次元ブロックを遊戯領域６０と一緒に回転させる。このように、停止状態にある３次元ブロックを遊戯領域６０と一緒に回転させることにより、利用者は、３次元ブロックの重なり状況を見易い方向から見ることができる。なお、携帯電話端末１は、遊戯領域６０を水平方向に回転させる動作が検出された場合に、移動中の３次元ブロックを遊戯領域６０と一緒に回転させてもよいし、させなくてもよい。移動中の３次元ブロックのうち、利用者に掴まれている３次元ブロックは回転させずに、それ以外を遊戯領域６０と一緒に回転させてもよい。また、携帯電話端末１は、遊戯領域６０が９０度単位で回転するように回転量を補正してもよい。
【００６１】
利用者は、遊戯領域６０を水平方向に回転させる動作を例えば以下のように実行する。ステップＳＥ１およびステップＳＥ２に示すように、まず、利用者は、遊戯領域６０の底面６０ａを指で摘むように手Ｈ１を配置する。そして、利用者は、底面６０ａの中心に回転軸があるかのように、手Ｈ１を周回させる。
【００６２】
携帯電話端末１は、３次元ブロックを分解する操作および３次元ブロックを合成する操作も受け付ける。図１３は、３次元ブロックを分解する操作の一例を示す図である。図１３に示すステップＳＦ１では、利用者が、移動中の３次元ブロックＢＬ９の一部を手Ｈ１で掴み、他の一部を手Ｈ２で掴んでいる。この場面において、携帯電話端末１は、利用者が３次元ブロックＢＬ９を分解しようとする動作を検出すると、ステップＳＦ２に示すように、検出された動作に応じて３次元ブロックＢＬ９を３次元ブロックＢＬ９ａと３次元ブロックＢＬ９ｂとに分解する。携帯電話端末１は、利用者の手が３次元ブロックＢＬ９ａおよび３次元ブロックＢＬ９ｂから離れたのを検出すると、３次元ブロックＢＬ９ａおよび３次元ブロックＢＬ９ｂを底面へ向けて移動させる。
【００６３】
このように、３次元ブロックを分解することにより、利用者は、遊戯領域６０の層を埋め易くなる。なお、３次元ブロックを無制限に分解できることとすると遊戯の難易度が低下するため、携帯電話端末１は、３次元ブロックを分解することができる回数または頻度を制限してもよい。また、携帯電話端末１は、同様の操作が検出された場合に、３次元ブロックを分解するのではなく、３次元ブロックを変形させてもよい。
【００６４】
利用者は、３次元ブロックＢＬ９を分解する動作を例えば以下のように実行する。ステップＳＦ１に示すように、まず、利用者は、指で３次元ブロックＢＬ９の一部を摘むように手Ｈ１を配置し、指で３次元ブロックＢＬ９の他の一部を摘むように手Ｈ２を配置する。そして、利用者は、ステップＳＦ２に示すように、手Ｈ１および手Ｈ２の角度を３次元ブロックＢＬ９を折り曲げるかのように変化させる。利用者は、３次元ブロックＢＬ９を分解するために、３次元ブロックＢＬ９を掴む指の形を維持したままで、３次元ブロックＢＬ９を引っ張るかのように、手Ｈ１および手Ｈ２を反対方向へ移動させてもよい。
【００６５】
図１４は、３次元ブロックを合成する操作の一例を示す図である。図１４に示すステップＳＧ１では、利用者が、移動中の３次元ブロックＢＬ９を手Ｈ１で掴み、移動中の３次元ブロックＢＬ１１を手Ｈ２で掴んでいる。この場面において、携帯電話端末１は、利用者が３次元ブロックＢＬ９を３次元ブロックＢＬ１１と接触させる動作を検出すると、ステップＳＧ２に示すように、３次元ブロックＢＬ９と３次元ブロックＢＬ１１とを３次元ブロックＢＬ１２に合成する。携帯電話端末１は、利用者の手が３次元ブロックＢＬ１２から離れたのを検出すると、３次元ブロックＢＬ１２を底面へ向けて移動させる。
【００６６】
利用者は、３次元ブロックＢＬ９を合成する動作を例えば以下のように実行する。ステップＳＧ１に示すように、まず、利用者は、指で３次元ブロックＢＬ９を摘むように手Ｈ１を配置し、指で３次元ブロックＢＬ１１を摘むように手Ｈ２を配置する。そして、利用者は、ステップＳＧ２に示すように、３次元ブロックＢＬ９の面と３次元ブロックＢＬ１１の面とが重なり合うように手Ｈ１および手Ｈ２を移動させる。その結果、重なり合った面が接着されたように、３次元ブロックＢＬ９および３次元ブロックＢＬ１１は、合成される。
【００６７】
次に、図１５を参照しながら、３次元ブロックの制御に関して携帯電話端末１が実行する基本的な処理の処理手順について説明する。図１５は、３次元ブロックの制御に関して携帯電話端末１が実行する基本的な処理の処理手順を示すフローチャートである。図１５に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００６８】
図１５に示すように、制御部２２は、まず、ステップＳ１０１として、遊戯領域６０を設定する。具体的には、制御部２２は、遊戯領域６０を構成する区画の大きさおよび数等を記憶部２４に記憶されている設定データ等に基づいて設定する。そして、制御部２２は、ステップＳ１０２として、待機期間を初期設定する。
【００６９】
続いて、制御部２２は、ステップＳ１０３として、待機期間が経過したかを判定する。待機期間がまだ１度も経過していない場合には、待機期間が経過したかを判定する基準の時点は、例えば、図１５に示す処理手順の開始時点である。待機期間が既に１度以上経過している場合には、待機期間が経過したかを判定する基準の時点は、前回の待機期間が経過した時点である。
【００７０】
待機期間が経過した場合（ステップＳ１０３，Ｙｅｓ）、制御部２２は、ステップＳ１０４として、遊戯領域６０の上面付近に新たな３次元ブロックを出現させ、底辺への移動を開始させる。そして、制御部２２は、ステップＳ１０５として、待機時間を短縮する。待機時間を短縮することにより、新たな３次元ブロックが出現する間隔が次第に短くなっていく。待機期間が経過していない場合（ステップＳ１０３，Ｎｏ）、ステップＳ１０４およびステップＳ１０５は実行されない。
【００７１】
続いて、制御部２２は、ステップＳ１０６として、移動中の３次元ブロックのうち、掴まれていないものを、遊戯領域６０に向かって移動させる。そして、制御部２２は、ステップＳ１０７として、３次元ブロックの要素によって埋め尽くされた層が遊戯領域６０にあるかを判定する。埋め尽くされた層がある場合（ステップＳ１０７，Ｙｅｓ）、制御部２２は、Ｓ１０８として、埋め尽くされた層を消去し、層の消去によって分断された３次元ブロックの残り部分を底面へ向けて移動させる。そして、制御部２２は、ステップＳ１０７の判定を再実行する。
【００７２】
埋め尽くされた層がない場合（ステップＳ１０７，Ｎｏ）、制御部２２は、Ｓ１０９として、移動中の３次元ブロックのうち、移動方向の面のいずれかが底面または停止した他の３次元ブロックに接触したものの移動を停止させる。そして、制御部２２は、ステップＳ１１０として、処理を終了させるかを判定する。制御部２２は、利用者が処理の終了を指示する所定の操作を行った場合、および新たな３次元ブロックを出現させることができない程に３次元ブロックが積み上がった場合に、処理を終了させると判定する。処理を終了させる場合（ステップＳ１１０，Ｙｅｓ）、制御部２２は、処理手順を完了させる。処理を終了させない場合（ステップＳ１１０，Ｎｏ）、制御部２２は、ステップＳ１０３以降を再実行する。
【００７３】
携帯電話端末１は、図１５に示した処理手順と並行して、掴んで行う操作に関する制御と押す操作に関する制御とを実行する。以下、図１６から図２１を参照しながら、掴んで行う操作に関する制御について説明する。また、図２２から図２６を参照しながら、押す操作に関する制御について説明する。
【００７４】
図１６および図１７は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。図１６に示すステップＳＨ１では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。
【００７５】
携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離の変化を監視する。そして、距離が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。
【００７６】
携帯電話端末１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳＨ１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。
【００７７】
ステップＳＨ１の状態から、ステップＳＨ２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、携帯電話端末１は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が表示されていることが検出された段階、すなわち、ステップＳＨ１の段階から、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、回転等の変化を加える。そして、携帯電話端末１は、ステップＳＨ３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。
【００７８】
なお、図１７のステップＳＩ１からステップＳＩ３に示すように、所定時間が経過する前に指Ｆ１と指Ｆ２の距離Ｄ１が離れた場合、すなわち、選択が行われなかった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳＩ１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【００７９】
このように、２つの物体の間に３次元オブジェクトが表示されていることが検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。なお、２つの物体の距離がほぼ一定に保たれた状態が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも選択状態とも異なる態様（例えば、半透明）で表示することにより、利用者が３次元オブジェクトの状態を判別しやすくしてもよい。
【００８０】
なお、ステップＳＨ１の段階から、指Ｆ１および指Ｆ２の動きに応じて３次元オブジェクトＯＢ１を変化させるのではなく、３次元オブジェクトＯＢ１が選択状態になった後に３次元オブジェクトＯＢ１を変化させ始めてもよい。また、ステップＳＨ１のように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続した場合にのみ、３次元オブジェクトＯＢ１を選択状態にすることとしてもよい。
【００８１】
図１８は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図１８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図１８に示すように、制御部２２は、ステップＳ２０１として、検出部、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳ２０１，Ｎｏ）、制御部２２は、ステップＳ２０９として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。
【００８２】
そして、制御部２２は、ステップＳ２１０として、処理を終了させるかを判定する。処理を終了させる場合（ステップＳ２１０，Ｙｅｓ）、制御部２２は、処理手順を完了させる。処理を終了させない場合（ステップＳ２１０，Ｎｏ）、制御部２２は、ステップＳ２０１以降を再実行する。
【００８３】
第１の物体および第２の物体が検出された場合（ステップＳ２０１，Ｙｅｓ）、制御部２２は、ステップＳ２０２として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳ２０２，Ｎｏ）、制御部２２は、ステップＳ２０３として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳ２０４，Ｎｏ）、制御部２２は、ステップＳ２１０を実行する。
【００８４】
第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ２０４，Ｙｅｓ）、制御部２２は、ステップＳ２０５として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳ２０６として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ２１０を実行する。
【００８５】
第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳ２０２，Ｙｅｓ）、制御部２２は、ステップＳ２０７として、第１の物体と第２の物体の少なくとも一方が移動しているかを判定する。第１の物体と第２の物体のいずれも移動していない場合（ステップＳ２０７，Ｎｏ）、制御部２２は、ステップＳ２１０を実行する。
【００８６】
第１の物体と第２の物体の少なくとも一方が移動している場合（ステップＳ２０７，Ｙｅｓ）、制御部２２は、ステップＳ２０８として、図１９に示す掴む操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。掴む操作検出処理が終了した後、制御部２２は、ステップＳ２１０を実行する。
【００８７】
図１９は、掴む操作検出処理の処理手順を示すフローチャートである。図１９に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図１９に示すように、制御部２２は、まず、ステップＳ３０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ３０２として、掴む操作検出処理の開始時点以降の第１の物体と第２の物体の距離が拡大したかを判定する。
【００８８】
第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳ３０２，Ｎｏ）、制御部２２は、ステップＳ３０３として、掴む操作検出処理が開始されてから所定時間が経過したかを判定する。所定時間が経過していた場合（ステップＳ３０３，Ｙｅｓ）、制御部２２は、ステップＳ３０４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトを選択状態にする。所定時間が経過していない場合（ステップＳ３０３，Ｎｏ）、ステップＳ３０４は実行されない。
【００８９】
続いて、制御部２２は、ステップＳ３０５として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトを移動させたり回転させたりする。例えば、第１の物体および第２の物体が手であり、掴まれた３次元オブジェクトが遊戯領域６０の場合、制御部２２は、第１の物体および第２の物体の動きに応じて、図９から図１１に示したような変化を遊戯領域６０に加える。また、第１の物体および第２の物体が指であり、掴まれた３次元オブジェクトが３次元ブロックの場合、制御部２２は、図６、図８、図１３および図１４に示したような変化を３次元ブロックに加える。そして、制御部２２は、ステップＳ３０１以降を再実行する。
【００９０】
第１の物体と第２の物体の距離が拡大している場合（ステップＳ３０２，Ｙｅｓ）、制御部２２は、ステップＳ３０６として、第１の物体と第２の物体の間に表示されていた３次元オブジェクトが仮選択状態であるかを判定する。
【００９１】
３次元オブジェクトが仮選択状態である場合（ステップＳ３０６，Ｙｅｓ）、制御部２２は、ステップＳ３０７として、３次元オブジェクトの仮選択状態を解除する。また、制御部２２は、ステップＳ３０８として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、掴む操作検出処理を終了させる。
【００９２】
３次元オブジェクトが仮選択状態でない場合、すなわち、選択状態の場合（ステップＳ３０６，Ｎｏ）、制御部２２は、ステップＳ３０９として、３次元オブジェクトの選択状態を解除する。そして、制御部２２は、掴む操作検出処理を終了させる。
【００９３】
なお、図２０に示すステップＳＪ１からステップＳＪ３のように、第１の物体と第２の物体のうち少なくとも一方が３次元オブジェクトに接触した後に第１の物体と第２の物体の距離が所定時間以上ほぼ一定に保たれることを、３次元オブジェクトを選択する条件としてもよい。３次元オブジェクトへの接触を選択の条件とすることにより、複数の３次元オブジェクトが近接して表示されている場合に、利用者が所望の３次元オブジェクトを選択し易くなる。
【００９４】
図２１は、３次元オブジェクトへの接触を選択の条件とする場合の選択検出処理の処理手順を示すフローチャートである。図２１に示すように、制御部２２は、ステップＳ４０１として、検出部、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳ４０１，Ｎｏ）、制御部２２は、ステップＳ４０９として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。
【００９５】
そして、制御部２２は、ステップＳ４１０として、処理を終了させるかを判定する。処理を終了させる場合（ステップＳ４１０，Ｙｅｓ）、制御部２２は、処理手順を完了させる。処理を終了させない場合（ステップＳ４１０，Ｎｏ）、制御部２２は、ステップＳ４０１以降を再実行する。
【００９６】
第１の物体および第２の物体が検出された場合（ステップＳ４０１，Ｙｅｓ）、制御部２２は、ステップＳ４０２として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳ４０２，Ｎｏ）、制御部２２は、ステップＳ４０３として、表示されている３次元オブジェクトの中から第１の物体または第２の物体の少なくとも一方に接触している３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳ４０４，Ｎｏ）、制御部２２は、ステップＳ４１０を実行する。
【００９７】
第１の物体または第２の物体の少なくとも一方に接触している３次元オブジェクトがみつかった場合（ステップＳ４０４，Ｙｅｓ）、制御部２２は、ステップＳ４０５として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳ４０６として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ４１０を実行する。
【００９８】
第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳ４０２，Ｙｅｓ）、制御部２２は、ステップＳ４０７として、第１の物体と第２の物体の少なくとも一方が移動しているかを判定する。第１の物体と第２の物体のいずれも移動していない場合（ステップＳ４０７，Ｎｏ）、制御部２２は、ステップＳ４１０を実行する。
【００９９】
第１の物体と第２の物体の少なくとも一方が移動している場合（ステップＳ４０７，Ｙｅｓ）、制御部２２は、ステップＳ４０８として、図１９に示す掴む操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。掴む操作検出処理が終了した後、制御部２２は、制御部２２は、ステップＳ４１０を実行する。
【０１００】
図２２は、作用データ２４ｃに格納される情報の一例を示す図である。図２２に示すように、押す操作が検出された場合の３次元オブジェクトの変化は、支点の有無、押された方向における障害物の有無、および押される速度に応じて異なる。なお、ここでいう障害物とは、遊戯領域６０の面および他の３次元オブジェクトである。また、押される速度が速いか遅いかは閾値に基づいて判定される。
【０１０１】
３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。なお、３次元オブジェクトが、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、例えば、押される速度に基づいて決定してよい。
【０１０２】
３次元オブジェクトに支点がなく、押された方向に、停止した３次元オブジェクトまたは遊戯領域６０の面という固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。なお、押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。
【０１０３】
３次元オブジェクトに支点がなく、押された方向に、移動中の３次元ブロックという固定されていない障害物があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した後は、障害物もともに移動するように表示される。また、３次元オブジェクトに支点がなく、押された方向に、移動中の３次元ブロックという固定されていない障害物があり、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが障害物と接触した後は、障害物がはじかれて移動するように表示される。障害物と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。
【０１０４】
３次元オブジェクトに支点がある場合、３次元オブジェクトは、押された方向および量に応じて、支点を中心に回転するように表示される。ここでいう回転とは、３６０度ぐるぐると回る回転であってもよいし、所定の回転範囲内を往復する回動であってもよい。
【０１０５】
図２３および図２４は、３次元オブジェクトを押す操作の検出について説明するための図である。図２３に示すステップＳＫ１では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、利用者は、指Ｆ１を３次元オブジェクトＯＢ１と接触させている。
【０１０６】
ここで、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、３次元オブジェクトＯＢ１に接触した物体が３次元オブジェクトＯＢ１の内側に移動したことを検出すると、ステップＳＫ２に示すように、その時点から、３次元オブジェクトＯＢ１を指Ｆ１による操作に応じて変化させる。図２３に示す例では、ステップＳＫ２において、３次元オブジェクトＯＢ１は、指Ｆ１の移動に合わせて移動を開始している。
【０１０７】
そして、携帯電話端末１は、ステップＳＫ３に示すように、指Ｆ１が３次元オブジェクトＯＢ１の内側へ向けて移動することが所定時間以上継続した段階で、３次元オブジェクトＯＢ１を操作対象として確定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として確定したことを利用者に通知する。その後も、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出される間、携帯電話端末１は、３次元オブジェクトＯＢ１を変化させ続ける。
【０１０８】
なお、図２４のステップＳＬ３に示すように、所定時間が経過する前に指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出されなくなった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳＫ１（ステップＳＬ１）の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【０１０９】
このように、３次元オブジェクトの内側への物体の侵入が検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。意図しない３次元オブジェクトが選択された場合、利用者は、所定時間が経過する前に操作を中止することにより、意図せずに選択された３次元オブジェクトを元の状態に戻すことができる。
【０１１０】
なお、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも操作対象としての選択が確定した状態とも異なる態様（例えば、半透明）で表示してもよい。このように表示態様を変更することにより、利用者が３次元オブジェクトの状態を判別しやすくなる。
【０１１１】
なお、ステップＳＫ１の段階から、指Ｆ１の動きに応じて３次元オブジェクトＯＢ１を変化させるのではなく、３次元オブジェクトＯＢ１が選択状態になった後に３次元オブジェクトＯＢ１を変化させ始めてもよい。また、ステップＳＫ１のように指Ｆ１が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続した場合にのみ、３次元オブジェクトＯＢ１を操作対象として確定することとしてもよい。
【０１１２】
図２５は、３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。図２５に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１１３】
図２５に示すように、制御部２２は、まず、ステップＳ５０１として、検出部、すなわち、撮影部４０および４２によって所定の物体が検出されたかを判定する。所定の物体は、例えば、利用者の指である。所定の物体が検出されない場合（ステップＳ５０１，Ｎｏ）、制御部２２は、ステップＳ５０６として、処理を終了させるかを判定する。処理を終了させる場合（ステップＳ５０６，Ｙｅｓ）、制御部２２は、処理手順を完了させる。処理を終了させない場合（ステップＳ５０６，Ｎｏ）、制御部２２は、ステップＳ５０１以降を再実行する。
【０１１４】
所定の物体が検出された場合（ステップＳ５０１，Ｙｅｓ）、制御部２２は、ステップＳ５０２として、所定の物体に接触している３次元オブジェクトを探す。所定の物体に接触している３次元オブジェクトがない場合（ステップＳ５０３，Ｎｏ）、制御部２２は、ステップＳ５０６を実行する。
【０１１５】
所定の物体に接触している３次元オブジェクトがみつかった場合（ステップＳ５０３，Ｙｅｓ）、制御部２２は、ステップＳ５０４として、その３次元オブジェクトが選択状態または仮選択状態であるかを判定する。３次元オブジェクトが選択状態または仮選択状態である場合、すなわち、掴む操作の対象となっている場合（ステップＳ５０４，Ｙｅｓ）、制御部２２は、ステップＳ５０６を実行する。
【０１１６】
３次元オブジェクトが選択状態でも仮選択状態でもない場合（ステップＳ５０４，Ｎｏ）、制御部２２は、ステップＳ５０５として、図２６に示す押す操作検出処理を実行する。その後、制御部２２は、ステップＳ５０６を実行する。
【０１１７】
図２６は、押す操作検出処理の処理手順を示すフローチャートである。図２６に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図２６に示すように、制御部２２は、まず、ステップＳ６０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ６０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、押す操作検出処理を終了させる。
【０１１８】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ６０１，Ｙｅｓ）、制御部２２は、ステップＳ６０２として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ６０３として、所定の位置および速度等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【０１１９】
続いて、制御部２２は、ステップＳ６０４として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合、すなわち、３次元オブジェクトが押す操作の対象として確定していない場合（ステップＳ６０４，Ｎｏ）、制御部２２は、ステップＳ６０５として、所定の物体の３次元オブジェクトの内部方向への移動が継続しているかを判定する。
【０１２０】
３次元オブジェクトの内部方向への移動が継続している場合（ステップＳ６０５，Ｙｅｓ）、制御部２２は、ステップＳ６０２以降を再実行する。３次元オブジェクトの内部方向への移動が継続していない場合（ステップＳ６０５，Ｎｏ）、制御部２２は、ステップＳ６０６として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、押す操作検出処理を終了させる。
【０１２１】
また、接触検出からの経過時間が所定時間以上である場合（ステップＳ６０４，Ｙｅｓ）、制御部２２は、ステップＳ６０７として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ６０７，Ｎｏ）、制御部２２は、ステップＳ６０２以降を再実行する。
【０１２２】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ６０７，Ｙｅｓ）、制御部２２は、ステップＳ６０８として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【０１２３】
３次元オブジェクトの変化が継続する場合（ステップＳ６０８，Ｙｅｓ）、制御部２２は、ステップＳ６０９として、３次元オブジェクトを変化させ、その後、ステップＳ６０８以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ６０８，Ｎｏ）、制御部２２は、押す操作検出処理を終了させる。
【０１２４】
なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して手および指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を手および指の代わりに用いてもよい。
【０１２５】
また、上述の実施例では、３次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に３次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側に検出部を配置してもよい。表示機器が携帯電話端末の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラとを備えていることが多い。そこで、このアウトカメラを用いることで裏面側における物体の変位を捕捉することができるようにしてもよい。
【０１２６】
また、上記の実施例では、表示機器が単独で３次元オブジェクトに対する操作を検出することとしたが、表示機器がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示機器は、検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示機器へ通知する。このような構成とすることにより、表示機器の負荷を低減することができる。
【０１２７】
また、上記実施例では、３次元オブジェクトを操作する物体を検出するために撮影部を検出部として用いる例を示したが、検出部はこれに限られない。例えば、撮影部に代えて、赤外センサ（ＴＯＦ（Time-of-Flight）法を用いたセンサを含む）を検出部としてもよい。また、視認空間における面方向の移動を検出できる近接センサ等を、物体の移動方向とほぼ水平に配置すると、物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、３次元オブジェクトを操作する物体側にセンサ等を配置することなく、物体の変位の検出ができることが好ましい。物体側にセンサ等を配置しないことにより、手および指にわざわざ加速度センサを取り付けたり、加速度を備えた表示機器そのものを移動させたりする必要がないので、コスト低減が図れる。
【０１２８】
また、３次元オブジェクトを操作する物体を、タッチセンサを用いて検出することとしてもよい。以下に、タッチセンサを、３次元オブジェクトを操作する物体を検出する検出部として活用する例を示す。なお、以下の説明では、既に説明した部分と同様の部分には既に説明した部分と同一の符号を付す。また、重複する説明については、説明を省略することがある。
【０１２９】
まず、図２７および図２８を参照しながら、携帯電話端末（表示機器）２の構成について説明する。図２７は、携帯電話端末２の外観を示す正面図である。図２８は、携帯電話端末２の機能的な構成を示すブロック図である。
【０１３０】
図２７および図２８に示すように、携帯電話端末２は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２とを有する。
【０１３１】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。本実施例において、タッチセンサ３２ｂは、静電容量式のタッチセンサである。タッチセンサ３２ｂは、３次元オブジェクトを操作する指を検出する検出部としても機能する。
【０１３２】
次に、図２９を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図２９は、３次元オブジェクトに対する操作の検出について説明するための図である。図２９では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。
【０１３３】
ここで、利用者が３次元オブジェクトＯＢ１に対して何らかの操作を行いたいものとする。３次元オブジェクトＯＢ１に対して何らかの操作を行うには、まず、操作の対象として３次元オブジェクトＯＢ１を選択する必要がある。３次元オブジェクトＯＢ１を選択するために、利用者は、図２０に示すように、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させる。
【０１３４】
携帯電話端末２は、指Ｆ１および指Ｆ２の位置を、タッチセンサ３２ｂを用いて検出する。タッチセンサ３２ｂは、感度を高めることで、例えば、指Ｆ１および指Ｆ２とタッチパネル３２の表面からのＺ軸方向の距離が１０ｃｍ程度ある場合でも、指Ｆ１および指Ｆ２のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１のタッチパネル３２の表面からのＺ軸方向の距離Ｄ２および指Ｆ２のタッチパネル３２の表面からのＺ軸方向の距離Ｄ３を検出することができる。
【０１３５】
こうして検出された指Ｆ１および指Ｆ２の視認空間での位置に基づいて、携帯電話端末２は、指Ｆ１および指Ｆ２間の距離Ｄ１を算出したり、指Ｆ１および指Ｆ２の間に３次元オブジェクトが表示されているかを判定したりすることができる。指Ｆ１および指Ｆ２の間に３次元オブジェクトが表示されていることが検出された後の制御については、上述した第１ないし第３の実施例のいずれかにおいて説明した処理手順に従って実行される。
【０１３６】
上述してきたように、タッチセンサを検出部として用いることにより、撮影部を備えない表示装置であっても、３次元オブジェクトに対する操作を検出することができる。
【０１３７】
なお、３次元オブジェクトに対する操作を検出するために撮影部およびタッチセンサを併用してもよい。撮影部およびタッチセンサを併用する場合、それぞれの検出結果を平均して指Ｆ１および指Ｆ２の位置を特定してもよい。また、タッチパネル３２と近い領域では、撮影部４０は指Ｆ１および指Ｆ２の画像を取得し難いのでタッチセンサの検出結果の重みづけを大きくし、タッチパネル３２と遠い領域では、タッチセンサの検出精度が低くなるので撮影部４０の検出結果の重みづけを大きくした加重平均を用いてもよい。
【０１３８】
また、他の指等が障害となってタッチセンサが指の位置を精度よく検出できないことが生じにくいように、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出してもよい。図３０は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末３の構成の一例を示す図である。
【０１３９】
携帯電話端末３は、第１の筐体３ａと、第２の筐体３ｂと、ヒンジ部３ｃとを有する。ヒンジ部３ｃは、第１の筐体３ａおよび第２の筐体３ｂを開閉可能に連結する。そして、第１の筐体３ａは、タッチセンサ３２ｂを有するタッチパネル３２を備え、第２の筐体３ｂは、タッチセンサ３４ｂを有するタッチパネル３４を備える。タッチセンサ３２ｂおよびタッチセンサ３４ｂは、図２１に示すように、第１の筐体３ａおよび第２の筐体３ｂが約９０度の角度をもって固定された場合に、視認空間に異なる角度で接する。
【０１４０】
タッチセンサ３２ｂは、指Ｆ１および指Ｆ２のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１のタッチパネル３２の表面からのＺ軸方向の距離Ｄ２および指Ｆ２のタッチパネル３２の表面からのＺ軸方向の距離Ｄ３を検出することができる。
【０１４１】
タッチセンサ３４ｂは、指Ｆ１および指Ｆ２のＸ軸方向およびＺ軸方向の位置を検出することができる。また、タッチセンサ３４ｂは、静電容量の大きさに基づいて、指Ｆ１のタッチパネル３４の表面からのＹ軸方向の距離Ｄ４および指Ｆ２のタッチパネル３４の表面からのＹ軸方向の距離Ｄ５を検出することができる。
【０１４２】
このように、異なる方向から指Ｆ１および指Ｆ２を検出することにより、何らかの障害物がある場合でもいずれかの方向から指Ｆ１および指Ｆ２の位置を検出することができる。なお、異なる方向から指Ｆ１および指Ｆ２を検出する場合、一方のタッチパネルが３次元オブジェクトを表示し、他方のタッチパネルは非表示とするか、２次元でガイダンス等を表示してもよい。また、３次元オブジェクトを表示しない方のタッチパネルを単なるタッチセンサとしてもよい。
【符号の説明】
【０１４３】
１、２、３  携帯電話端末
２２  制御部
２４  記憶部
２４ａ  制御プログラム
２４ｂ  オブジェクトデータ
２４ｃ  作用データ
２６  通信部
３２、３４  タッチパネル
３２ａ  表示部
３２ｂ、３４ｂ  タッチセンサ（検出部）
４０、４２  撮影部（検出部）
【図１】
0005852346.tif 000002
【図２】
0005852346.tif 000003
【図３】
0005852346.tif 000004
【図４】
0005852346.tif 000005
【図５】
0005852346.tif 000006
【図６】
0005852346.tif 000007
【図７】
0005852346.tif 000008
【図８】
0005852346.tif 000009
【図９】
0005852346.tif 000010
【図１０】
0005852346.tif 000011
【図１１】
0005852346.tif 000012
【図１２】
0005852346.tif 000013
【図１３】
0005852346.tif 000014
【図１４】
0005852346.tif 000015
【図１５】
0005852346.tif 000016
【図１６】
0005852346.tif 000017
【図１７】
0005852346.tif 000018
【図１８】
0005852346.tif 000019
【図１９】
0005852346.tif 000020
【図２０】
0005852346.tif 000021
【図２１】
0005852346.tif 000022
【図２２】
0005852346.tif 000023
【図２３】
0005852346.tif 000024
【図２４】
0005852346.tif 000025
【図２５】
0005852346.tif 000026
【図２６】
0005852346.tif 000027
【図２７】
0005852346.tif 000028
【図２８】
0005852346.tif 000029
【図２９】
0005852346.tif 000030
【図３０】
0005852346.tif 000031