(57)【要約】【課題】タッチパネル上に載置された部材の位置とユーザの視点位置とを考慮して当該部材に関連するオブジェクトを表示することが可能なプログラム及び情報処理装置を提供すること。【解決手段】少なくとも１つの接触点を有する部材がタッチパネル上に載置されたときに前記タッチパネルで検出された前記接触点の接触位置に基づいて、前記部材に関連するオブジェクトをオブジェクト空間に配置し、ユーザと前記タッチパネルの位置関係を特定してユーザの視点位置を決定する視点位置を決定し、決定された前記視点位置に基づいて、オブジェクト空間において前記視点位置に対応する仮想カメラの位置及び向きを制御し、前記オブジェクト空間において前記仮想カメラから見える画像を生成して前記タッチパネルに出力する。【選択図】図４
2014199479.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルを有する情報処理装置のためのプログラムであって、
少なくとも１つの接触点を有する部材が前記タッチパネル上に載置されたときに前記タッチパネルで検出された前記接触点の接触位置に基づいて、前記部材に関連するオブジェクトをオブジェクト空間に配置するオブジェクト制御部と、
ユーザと前記タッチパネルの位置関係を特定してユーザの視点位置を決定する視点位置決定部と、
決定された前記視点位置に基づいて、前記オブジェクト空間において前記視点位置に対応する仮想カメラの位置及び向きを制御する仮想カメラ制御部と、
前記オブジェクト空間において前記仮想カメラから見える画像を生成して前記タッチパネルに出力する画像生成部としてコンピュータを機能させることを特徴とするプログラム。
【請求項２】
請求項１において、
前記情報処理装置は、前記タッチパネルの表示面の前方を撮像して撮像画像を出力する撮像部を更に有し、
前記視点位置決定部は、
前記撮像画像におけるユーザ画像の位置に基づき前記視点位置を決定することを特徴とするプログラム。
【請求項３】
請求項１又は２において、
前記視点位置決定部は、
前記タッチパネルで検出された第２の接触位置に基づき前記視点位置を決定することを特徴とするプログラム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記オブジェクト制御部は、
前記タッチパネルで検出された複数の前記接触点の接触位置に基づいて、前記オブジェクト空間における前記オブジェクトの位置及び向きを決定することを特徴とするプログラム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記オブジェクト制御部は、
前記タッチパネルで検出された複数の前記接触点の接触位置に基づき前記部材の識別情報を取得し、取得した前記識別情報に基づき前記オブジェクトの形状を決定することを特徴とするプログラム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記部材は、立体模型の一部を省略した形状を有する立体物であり、
前記オブジェクトは、省略された前記一部の形状を有するオブジェクトであることを特徴とするプログラム。
【請求項７】
タッチパネルを有する情報処理装置であって、
少なくとも１つの接触点を有する部材が前記タッチパネル上に載置されたときに前記タッチパネルで検出された前記接触点の接触位置に基づいて、前記部材に関連するオブジェクトをオブジェクト空間に配置するオブジェクト制御部と、
ユーザと前記タッチパネルの位置関係を特定してユーザの視点位置を決定する視点位置決定部と、
決定された前記視点位置に基づいて、前記オブジェクト空間において前記視点位置に対
応する仮想カメラの位置及び向きを制御する仮想カメラ制御部と、
前記オブジェクト空間において前記仮想カメラから見える画像を生成して前記タッチパネルに出力する画像生成部とを含むことを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
従来から、情報記憶カードに設けられた突起部が押圧された際に、タッチパネルで検出された前記突起部の押圧位置に基づいて所定情報を取得する情報取得システムが知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８５３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の情報取得システムでは、タッチパネル上でのカードの位置とユーザの視点位置とを考慮してカードに関連するオブジェクトをタッチパネルに表示させるようなものは存在しなかった。
【０００５】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、タッチパネル上に部材が載置されたときに、タッチパネル上での当該部材の位置とユーザの視点位置とを考慮して当該部材に関連するオブジェクトを表示することが可能なプログラム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明は、タッチパネルを有する情報処理装置のためのプログラムであって、
少なくとも１つの接触点を有する部材が前記タッチパネル上に載置されたときに前記タッチパネルで検出された前記接触点の接触位置に基づいて、前記部材に関連するオブジェクトをオブジェクト空間に配置するオブジェクト制御部と、
ユーザと前記タッチパネルの位置関係を特定してユーザの視点位置を決定する視点位置決定部と、
決定された前記視点位置に基づいて、前記オブジェクト空間において前記視点位置に対応する仮想カメラの位置及び向きを制御する仮想カメラ制御部と、
前記オブジェクト空間において前記仮想カメラから見える画像を生成して前記タッチパネルに出力する画像生成部としてコンピュータを機能させることを特徴とするプログラムに関する。
【０００７】
また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体に関する。また本発明は、タッチパネルを有する情報処理装置であって、上記各部を含む情報処理装置に関する。
【０００８】
本発明によれば、検出された接触位置に基づき前記部材に関連するオブジェクトをオブジェクト空間に配置し、ユーザと前記タッチパネルの位置関係を特定して決定されたユーザの視点位置に基づいて、オブジェクト空間において前記視点位置に対応する仮想カメラから見える画像を生成することで、タッチパネル上での当該部材の位置とユーザの視点位置とを考慮して当該部材に関連するオブジェクトを表示することができる。
【０００９】
（２）また本発明に係るプログラム、情報記憶媒体及び情報処理装置では、
前記情報処理装置は、前記タッチパネルの表示面の前方を撮像して撮像画像を出力する撮像部を更に有し、
前記視点位置決定部は、
前記撮像画像におけるユーザ画像の位置に基づき前記視点位置を決定してもよい。
【００１０】
本発明によれば、ユーザの視点位置に応じた見え方で前記部材に関連するオブジェクトを表示することができる。
【００１１】
（３）また本発明に係るプログラム、情報記憶媒体及び情報処理装置では、
前記視点位置決定部は、
前記タッチパネルで検出された第２の接触位置に基づき前記視点位置を決定してもよい。
【００１２】
本発明によれば、ユーザの視点位置に応じた見え方で前記部材に関連するオブジェクトを表示することができる。
【００１３】
（４）また本発明に係るプログラム、情報記憶媒体及び情報処理装置では、
前記オブジェクト制御部は、
前記タッチパネルで検出された複数の前記接触点の接触位置に基づいて、前記オブジェクト空間における前記オブジェクトの位置及び向きを決定してもよい。
【００１４】
本発明によれば、タッチパネル上での部材の位置及び向きに応じた位置に当該部材に関連するオブジェクトを表示することができる。
【００１５】
（５）また本発明に係るプログラム、情報記憶媒体及び情報処理装置では、
前記オブジェクト制御部は、
前記タッチパネルで検出された複数の前記接触点の接触位置に基づき前記部材の識別情報を取得し、取得した前記識別情報に基づき前記オブジェクトの形状を決定してもよい。
【００１６】
本発明によれば、タッチパネルに載置された部材に関連するオブジェクトを表示することができる。
【００１７】
（６）また本発明に係るプログラム、情報記憶媒体及び情報処理装置では、
前記部材は、立体模型の一部を省略した形状を有する立体物であり、
前記オブジェクトは、省略された前記一部の形状を有するオブジェクトであってもよい。
【００１８】
本発明によれば、タッチパネルに載置された立体模型の省略された部分をタッチパネルに表示することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態の情報処理装置の機能ブロック図の一例を示す図。
【図２】本実施形態の情報処理装置と接触点を有する部材の一例を示す斜視図。
【図３】図３（Ａ）、図３（Ｂ）は、接触点を有する部材について説明するための図。
【図４】ユーザが部材をタッチパネルに置いたときにユーザの視点から見える情報処理装置と部材を示す図。
【図５】図５（Ａ）、図５（Ｂ）は、部材に関連するオブジェクトの画像を生成する手法について説明するための図。
【図６】タッチパネル上での部材のパネル側接触点を示す図。
【図７】図７（Ａ）、図７（Ｂ）は、撮像部で撮像された撮像画像を示す図。
【図８】部材の識別情報に対応する座標値とオブジェクト情報を格納したテーブル情報を示す図。
【図９】並べて配置された複数の情報処理装置を示す図。
【図１０】本実施形態の処理の流れを示すフローチャート図。
【発明を実施するための形態】
【００２０】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２１】
１．構成
図１に本実施形態の情報処理装置（画像生成装置）の機能ブロック図の一例を示す。なお本実施形態の情報処理装置は図１の構成要素（各部）の一部を省略した構成としてもよい。
【００２２】
入力部１６０は、ユーザが操作情報（操作データ）を入力するためのものであり、ユーザの操作情報を処理部１００に出力する。入力部１６０の機能は、ボタン、方向キー（十字キー）、方向入力可能なコントロールスティック（アナログキー）、レバー、キーボード、マウス、タッチパッド、加速度センサや傾きセンサなどのハードウェアにより実現することができる。入力部１６０は、タッチパネル１６２を含む。
【００２３】
タッチパネル１６２は、ユーザによる接触入力を検出するためのものであり、接触位置の座標値を連続的に検出し、処理部１００に出力する。タッチパネル方式としては、抵抗膜方式（４線式、５線式）、静電容量方式、超音波表面弾性波方式、赤外線走査方式などがある。タッチパネル１６２は、表示部１９０と一体的に構成されている。タッチパネル１６２への接触操作（タッチ操作）は、指先を用いて行ってもよいし、タッチペンなどの入力機器を用いて行ってもよい。
【００２４】
特に、本実施形態のタッチパネル１６２は、少なくとも１つの接触点を有する部材がタッチパネル上に載置されたときに前記接触点の接触位置（座標値）を検出する。
【００２５】
撮像部１５０は、タッチパネル１６２の表示面の前方を撮像するためのものであり、その機能は、ＣＭＯＳ／ＣＣＤイメージセンサなどにより実現できる。撮像部１５０で撮像された撮像画像は処理部１００に出力される。
【００２６】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。そして、本実施形態の記憶部１７０は、ワーク領域として使用される主記憶部１７２と、最終的な表示画像等が記憶される描画バッファ１７４と、オブジェクトのモデルデータが記憶されるオブジェクトデータ記憶部１７６と、各オブジェクトデータ用のテクスチャが記憶されるテクスチャ記憶部１７８と、オブジェクトの画像の生成処理時にＺ値が記憶されるＺバッファ１７９とを含む。なお、これらの一部を省略する構成としてもよい。
【００２７】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。情報記憶媒体１８０には、本実施形態の
処理部１００の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶することができる。
【００２８】
表示部１９０は、本実施形態により生成された画像（オブジェクト空間を所与の視点から見た画像）を出力するものであり、その機能は、ＬＣＤなどにより実現できる。
【００２９】
通信部１９６は他の情報処理装置やサーバとの間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。
【００３０】
なお、サーバが有する情報記憶媒体や記憶部に記憶されている本実施形態の処理部１００の各部としてコンピュータを機能させるためのプログラムやデータを、ネットワークを介して受信し、受信したプログラムやデータを情報記憶媒体１８０や記憶部１７０に記憶してもよい。このようにプログラムやデータを受信して情報処理装置を機能させる場合も本発明の範囲内に含む。
【００３１】
処理部１００（プロセッサ）は、入力部１６０からの操作データ（タッチパネル１６２からの検出信号（接触位置の座標値）を含む）、通信部１９６を介して受信したデータやプログラムなどに基づいて、オブジェクト制御、画像生成処理、音生成処理などの処理を行う。この処理部１００は主記憶部１７２をワーク領域として各種処理を行う。処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００３２】
処理部１００は、オブジェクト空間設定部１１０、オブジェクト制御部１１２、視点位置決定部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。
【００３３】
オブジェクト空間設定部１１０は、表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブで構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。例えば、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義であり、例えば、ワールド座標系でのＸ、Ｙ、Ｚ軸の各軸の正方向からみて時計回りに回る場合における回転角度）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。
【００３４】
オブジェクト制御部１１２は、タッチパネル１６２によって検出された接触位置（前記部材の接触点の接触位置）に基づいて、前記部材に関連するオブジェクトをオブジェクト空間に配置する。具体的には、タッチパネル１６２によって検出された接触位置に基づいて、前記オブジェクト空間における前記オブジェクトの位置を決定する。すなわち、検出された接触位置に基づいて、オブジェクト空間における前記オブジェクトの移動を制御する。
【００３５】
また、オブジェクト制御部１１２は、タッチパネル１６２で検出された複数の前記接触点の接触位置に基づいて、前記オブジェクト空間における前記オブジェクトの位置及び向きを決定してもよい。
【００３６】
また、オブジェクト制御部１１２は、タッチパネル１６２で検出された複数の前記接触点の接触位置に基づいて、前記部材の識別情報を取得し、取得した前記識別情報に基づき前記オブジェクトの形状（種類）を決定してもよい。
【００３７】
また、オブジェクト制御部１１２は、プレーヤが入力した操作データ、所与のモーションデータ、動作アルゴリズムやプログラムなどに基づいて、前記オブジェクトを動作させ
る動作制御を行ってもよい。
【００３８】
視点位置決定部１１４は、ユーザとタッチパネル１６２の位置関係を特定してユーザの視点位置を決定する処理を行う。具体的には、撮像部１５０で撮像された前記撮像画像におけるユーザ画像（例えば、ユーザの顔の画像）の位置に基づきユーザの視点位置を決定（推定）する。
【００３９】
また、視点位置決定部１１４は、前記タッチパネルで検出された第２の接触位置（例えば、接触点を有する部材がタッチパネルに載置された状態で、ユーザがタッチ操作を行ったときに検出された接触位置）に基づき前記視点位置を決定してもよい。また、情報処理装置が備えるセンサ（慣性センサ、地磁気センサ、振動センサ、赤外線センサ、超音波センサ等）の検出情報や、音声認識の認識結果に基づいて、ユーザの視点位置を決定してもよい。
【００４０】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点）の制御処理を行う。具体的には、入力部１６０によりユーザが入力した操作データ或いはプログラム（移動・動作アルゴリズム）等に基づいて、ワールド座標系における仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は光軸の方向（例えば、Ｘ、Ｙ、Ｚ軸の各軸の正方向からみて時計回りに回る場合における回転角度等）を制御する処理を行う。要するに、視点位置、仮想カメラの向き、画角を制御する処理を行う。
【００４１】
特に、本実施形態の仮想カメラ制御部１１８は、視点位置決定部１１４によって決定されたユーザの視点位置に基づいて、前記オブジェクト空間においてユーザの視点位置に対応する仮想カメラの位置及び向きを制御する。
【００４２】
画像生成部１２０は、処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。
【００４３】
いわゆる３次元画像を生成する場合には、まずオブジェクトの各頂点の頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を含むオブジェクトデータ（モデルデータ）が入力され、入力されたオブジェクトデータに含まれる頂点データに基づいて、頂点処理（頂点シェーダによるシェーディング）が行われる。なお頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。
【００４４】
頂点処理では、頂点処理プログラム（頂点シェーダプログラム、第１のシェーダプログラム）に従って、頂点の移動処理や、座標変換、例えばワールド座標変換、視野変換（カメラ座標変換）、クリッピング処理、射影変換（透視変換、投影変換）、ビューポート変換（スクリーン座標変換）、光源計算等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。ジオメトリ処理後のオブジェクトデータ（オブジェクトの頂点の位置座標、テクスチャ座標、色データ（輝度データ）、法線ベクトル、或いはα値等）は、オブジェクトデータ記憶部１７６に保存される。
【００４５】
そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。そしてラスタライズに続いて、画像を構成するピクセル（表示画面を構成するフラグメント）を描画するピクセル処理（ピクセルシェーダによるシェーディング、フラグメント処理）が行われる。
【００４６】
ピクセル処理では、ピクセル処理プログラム（ピクセルシェーダプログラム、第２のシ
ェーダプログラム）に従って、テクスチャの読出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色を描画バッファ１７４（ピクセル単位で画像情報を記憶できるバッファ。ＶＲＡＭ）に出力（描画）する。すなわち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。
【００４７】
そして画像生成部１２０は、オブジェクトを描画する際に、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。
【００４８】
テクスチャマッピングは、記憶部１７０のテクスチャ記憶部１７８に記憶されるテクスチャ（テクセル値）をオブジェクトにマッピングするための処理である。具体的には、オブジェクトの頂点に設定（付与）されるテクスチャ座標等を用いて記憶部１７０のテクスチャ記憶部１７８からテクスチャ（色（ＲＧＢ）、α値などの表面プロパティ）を読み出す。そして、２次元の画像であるテクスチャをオブジェクトにマッピングする。この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。
【００４９】
隠面消去処理としては、描画ピクセルのＺ値（奥行き情報）が格納されるＺバッファ１７９（奥行きバッファ）を用いたＺバッファ法（奥行き比較法、Ｚテスト）による隠面消去処理を行うことができる。すなわちオブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Ｚバッファ１７９に格納されるＺ値を参照する。そして参照されたＺバッファ１７９のＺ値と、プリミティブの描画ピクセルでのＺ値とを比較し、描画ピクセルでのＺ値が、仮想カメラから見て手前側となるＺ値（例えば小さなＺ値）である場合には、その描画ピクセルの描画処理を行うとともにＺバッファ１７９のＺ値を新たなＺ値に更新する。
【００５０】
αブレンディング（α合成）は、α値（Ａ値）に基づく半透明合成処理（通常αブレンディング、加算αブレンディング又は減算αブレンディング等）のことである。例えば、通常αブレンディングでは、α値を合成の強さとして線形補間を行うことにより２つの色を合成した色を求める処理を行う。なお、α値は、各ピクセル（テクセル、ドット）に関連づけて記憶できる情報であり、例えばＲＧＢの各色成分の輝度を表す色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度（透明度、不透明度と等価）、バンプ情報などとして使用できる。
【００５１】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００５２】
また、本実施形態の情報処理装置をサーバシステムとして構成してもよい。サーバシステムは、１又は複数のサーバ（認証サーバ、ゲーム処理サーバ、通信サーバ、課金サーバ、データベースサーバ等）により構成することができる。この場合には、サーバシステムは、ネットワークを介して接続された、タッチパネルを備える１又は複数の端末装置（例えば、タブレット端末、スマートフォン、携帯型ゲーム装置、据え置き型ゲーム装置等）から送信された操作情報（各端末装置に備わるタッチパネルによって検出された接触位置（検出信号）に関する情報を含む）に基づき各種処理を行って、画像を生成するための画像生成用データを生成し、生成した画像生成用データを各端末装置に対して送信する。ここで、画像生成用データとは、本実施形態の手法により生成された画像を各端末装置において表示するためのデータであり、画像データそのものでもよいし、各端末装置が画像を生成するために用いる各種データ（オブジェクトデータ等）であってもよい。
【００５３】
２．本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。
【００５４】
図２は、本実施形態の情報処理装置と接触点を有する部材の一例を示す斜視図である。
【００５５】
情報処理装置１０は、その上面にタッチパネル１６２と、タッチパネル１６２の表示面の前方を撮像可能な撮像部１５０（インカメラ）を備えている。ここでは、情報処理装置１０としてタブレット端末を用いた場合を例にとって説明するが、タッチパネルを備えたスマートフォンや携帯型ゲーム装置、ＰＣを用いてもよい。
【００５６】
タッチパネル１６２は、接触点を有する部材２０がその表示面に載置されたときに、当該接触点の接触位置を検出する。ここでは、タッチパネル１６２は、静電容量方式のタッチパネルであるとする。
【００５７】
部材２０は、人型フィギュアの上半身（胸像）の形状を有する立体物である。すなわち、部材２０は、人型フィギュアの下半身を省略した形状を有している。部材２０の上部にはユーザ側接触点２２が設けられ、部材２０の底面には複数のパネル側接触点２４が設けられている。ユーザ側接触点２２と複数のパネル側接触点２４は、それぞれ導電体（導体）で形成されている。
【００５８】
図３（Ａ）は、部材２０の底面部を示す図である。図３（Ａ）に示すように、部材２０の底面には、３個のパネル側接触点２４ａ、２４ｂ、２４ｃが形成されている。部材２０の底面に設けられた３個のパネル側接触点２４ａ、２４ｂ、２４ｃと、部材２０の上部に設けられたユーザ側接触点２２は、部材２０の内部で導通している。
【００５９】
図３（Ｂ）に示すように、ユーザが指ＦＧをユーザ側接触点２２に接触させた状態で、部材２０をタッチパネル１６２に置くと、パネル側接触点２４及びユーザ側接触点２２を介して、タッチパネル１６２とユーザの指ＦＧの間に電気が流れ、タッチパネル１６２により複数のパネル側接触点２４の接触位置が検出される。
【００６０】
図４は、ユーザが部材２０をタッチパネル１６２に置いたときにユーザの視点から見える情報処理装置１０と部材２０を示す図である。なお、図４では、ユーザ側接触点２２に接触しているユーザの指ＦＧの図示を省略している。
【００６１】
図４に示すように、タッチパネル１６２には、タッチパネル１６２上に置いた部材２０に関連するオブジェクトＯＢの画像が表示される。オブジェクトＯＢは、部材２０に関連する人型フィギュアの下半身の形状（部材２０で省略された一部の形状）を有している。オブジェクトＯＢは、タッチパネル１６２上での部材２０の位置及び向きに応じた位置及び向きに表示され、且つ、ユーザの視点位置に応じた見え方をするように表示される。すなわち、オブジェクトＯＢは、部材２０の位置、向き及びユーザの視点位置に追随してそれらに応じた見え方をするように表示され、ユーザは、部材２０の位置、向き及び自身の視点位置を変えても常に人型フィギュアの全身像（部材２０とオブジェクトＯＢにより形成される像）を見ることができる。
【００６２】
次に、図５（Ａ）、図５（Ｂ）を用いて、オブジェクトＯＢの画像を生成する手法の詳細について説明する。
【００６３】
まず、オブジェクト空間におけるオブジェクトＯＢの位置及び向きを、検出された接触位置に基づき決定する。具体的には、オブジェクト空間において、タッチパネル１６２に
対応する仮想的な面である仮想面ＰＬを設定し、仮想面ＰＬにおけるオブジェクトＯＢの位置及び向きを、タッチパネル１６２上の部材２０の接触位置（複数のパネル側接触点２４の接触位置）に基づいて決定する。すなわち、仮想面ＰＬにおけるオブジェクトＯＢの位置及び向きが、タッチパネル１６２における部材２０の位置及び向きに対応するように、オブジェクトＯＢの位置及び向きを決定する。
【００６４】
次に、撮像部１５０で撮像された撮像画像に基づきユーザの視点位置ＥＰ（タッチパネル１６２に対するユーザ視点の相対位置）を決定し、決定した視点位置ＥＰに基づいて、オブジェクト空間における仮想カメラＶＣの位置及び向きを決定する。すなわち、仮想面ＰＬと仮想カメラＶＣの位置関係が、タッチパネル１６２とユーザの視点位置ＥＰの位置関係と対応するように、仮想カメラＶＣの位置及び向きを設定する。このとき、仮想面ＰＬは、ビューボリュームＶＶ（仮想カメラＶＣの位置、向き、画角によって上下左右の構成面が決定される視錐台の領域）に含まれることになる。なお、仮想カメラの向きＣＤについては、ユーザの視線方向ＥＤがタッチパネル１６２の中心を向いていると仮定して、仮想カメラの向きＣＤが仮想面ＰＬの中心を向くように設定する。
【００６５】
そして、仮想面ＰＬを投影面としてビューボリューム内のオブジェクトＯＢを仮想面ＰＬに投影することで、オブジェクト空間において仮想カメラＶＣから見た画像を生成する。例えば、オブジェクトＯＢ上の点Ａは、仮想面ＰＬ上の点Ａ’の位置に投影される。このようにして、部材２０に関連するオブジェクトＯＢの画像を生成して、タッチパネル１６２に表示する。
【００６６】
図６は、タッチパネル１６２上でのパネル側接触点２４を示す図である。タッチパネル１６２は、部材２０が載置された場合、３個のパネル側接触点２４ａ、２４ｂ、２４ｃのそれぞれの接触位置を検出する。図６に示すように、部材２０の底部に設けられた３個のパネル側接触点２４ａ、２４ｂ、２４ｃは、二等辺三角形の各頂点を構成するように配置され、且つ、内角が最大となる頂点に位置するパネル側接触点２４ｃが、部材２０の前方（向き）を示すように配置されている。従って、パネル側接触点２４ａ、２４ｂの接触位置間の中点を始点として、パネル側接触点２４ｃの接触位置を通るベクトルを、タッチパネル１６２における向きＤとして決定し、この向きＤに基づいて、仮想面ＰＬにおけるオブジェクトＯＢの向きを決定する。なお、仮想面ＰＬにおけるオブジェクトＯＢの位置は、３つの接触位置の重心座標値に基づき設定してもよいし、３つの接触位置のうちの少なくとも１つの接触位置の座標値に基づき決定してもよい。
【００６７】
図７（Ａ）は、撮像部１５０で撮像された撮像画像を示す図である。ユーザの視点位置ＥＰは、撮像画像ＣＩにおけるユーザ画像ＵＩの位置に基づき決定される。ユーザ画像ＵＩの位置は、画像処理によりユーザの顔や目を認識して、撮像画像ＣＩにおける当該顔や目の位置に基づき決定することができる。そして、撮像画像ＣＩにおけるユーザ画像ＵＩの位置に基づいて、ユーザの視点位置ＥＰ（タッチパネル１６２から視点位置ＥＰまでの距離、方向、高さ）を決定する。視点位置ＥＰのタッチパネル１６２に対する方向（向き）、高さ（角度）については、撮像画像ＣＩにおけるユーザ画像ＵＩの位置と、撮像部１５０の画角（焦点距離）、タッチパネル１６２と撮像部１５０の位置関係等に基づいて決定することができ、タッチパネル１６２から視点位置ＥＰまでの距離については、ユーザ画像ＵＩの面積（頭や顔の大きさ）或いはユーザ画像における両目の間隔と、撮像部１５０の画角、タッチパネル１６２と撮像部１５０の位置関係等に基づいて決定することができる。
【００６８】
なお、図７（Ｂ）に示すように、ユーザが多数存在している場合には、ユーザの顔が最も過密している位置をユーザ画像ＵＩの位置として決定してもよい。また、ユーザが複数存在する場合に、撮像画像ＣＩから部材２０の主な購買層となるユーザ（特定の性別や年
齢層のユーザ）の顔を認識して、認識した顔の位置をユーザ画像ＵＩの位置として決定してもよい。
【００６９】
また、本実施形態では、タッチパネル１６２で検出された複数のパネル側接触点２４の接触位置に基づいて部材２０の識別情報を取得し、取得した識別情報に基づき表示するオブジェクトＯＢの形状（種類）を決定する。すなわち、図８に示すように、複数種類の部材２０の識別情報（ＩＤ）に対応づけて、複数のパネル側接触点２４の接触位置の座標値と、オブジェクトの種類を特定するためのオブジェクト情報を格納したテーブル情報を記憶部１７０に記憶しておく。そして、当該テーブル情報を参照して、検出された接触位置の座標値に対応する識別情報を取得し、取得した識別情報に対応するオブジェクト情報を取得する。このようにすると、複数種類の部材２０がある場合に、タッチパネル１６２におかれた部材２０の種類に応じたオブジェクトＯＢを表示することができ、また、複数種類の部材２０がタッチパネル１６２に置かれた場合でも、それぞれの部材２０に関連するオブジェクトＯＢを同時に表示することができる。
【００７０】
例えば、部材２０の種類によって複数のパネル側接触点２４の相対的な位置関係を異ならせておき、この相対的な位置関係を接触位置の座標値としてテーブル情報に格納しておく。また、図６に示す例において、パネル側接触点２４ａ、２４ｂの位置関係を固定し、パネル側接触点２４ａ、２４ｂの中点からパネル側接触点２４ｃまでの距離のみを部材２０の種類によって異ならせておき、当該パネル側接触点２４ｃの距離を座標値としてテーブル情報に格納してもよい。なお、このようにすると、３個のパネル側接触点２４の接触位置から、部材２０の向きＤと種類の両方を特定することができる。
【００７１】
なお、複数種類の部材２０の識別情報に対応づけて、各部材２０の主な購買層（性別、年齢）をテーブル情報に格納しておき、取得した識別情報に基づき特定した購買層のユーザの顔を撮像画像ＣＩから認識して、ユーザ画像ＵＩの位置を決定してもよい。
【００７２】
また、立体模型の一部を省略した形状は、人型フィギュアの上半身に限られず、例えば、接触点を有する部材の形状を人型フィギュアの頭部とし、当該部材に関連するオブジェクトの形状を人型フィギュアの頭部より下の形状としてもよい。
【００７３】
また、接触点を有する部材に関連するオブジェクトは、部材で省略された一部の形状を有するオブジェクトに限られず、部材に関連するオブジェクトとして背景オブジェクトを表示してもよい。例えば、部材が自動車の形状の立体物である場合に、当該自動車が走行するゲームフィールドを表す背景オブジェクトを表示してもよい。
【００７４】
また、部材で省略された一部の形状を有するオブジェクトに加えて背景オブジェクトを表示してもよい。例えば、下半身形状のオブジェクトが移動するゲームフィールドを表す背景オブジェクトを表示してもよい。この場合には、仮想カメラから見て背景オブジェクトが下半身形状のオブジェクトに重なる場合には、当該背景オブジェクトを描画しないようにしてもよい。また、下半身形状のオブジェクトの周囲に非表示範囲を設定し、当該非表示範囲内にある背景オブジェクトを描画しないようにしてもよい。
【００７５】
また、部材の形状を人型フィギュアの頭部から肘までの形状とし、当該部材に関連するオブジェクトを、当該肘から手までの形状を有するオブジェクトと、当該手が操作するハンドルの形状を有するオブジェクトとして、カーレースゲームを実行するようにしてもよい。
【００７６】
また、タッチパネル上に複数の部材が置かれた場合に、当該複数の部材の組み合わせ（識別情報の組み合わせ）に応じて、タッチパネルに表示する背景オブジェクト（ゲームフ
ィールド）を変化させてもよい。
【００７７】
また、図９に示すように、複数の情報処理装置１０を並べて配置し、それぞれのタッチパネル１６２に跨って１つのゲームフィールドを表示してもよい。この場合には、それぞれの情報処理装置１０の撮像部１５０で撮像された撮像画像における被写体（目印となるもの）の位置の相違等からそれぞれの情報処理装置１０の位置関係を把握し、この位置関係に応じてそれぞれのタッチパネル１６２に表示させるゲームフィールドの領域を割り当てればよい。
【００７８】
また、部材２０がタッチパネル１６２に置かれた後に、ユーザが指などでタッチ操作することにより更に接触位置（第２の接触位置）が検出された場合に、当該第２の接触位置に基づきユーザの視点位置を決定してもよい。例えば、タッチパネル１６２の中心点から第２の接触位置に向かう方向にユーザがいると推定し、その方向に所定距離だけ離れた所定の高さの位置を、ユーザの視点位置として決定してもよい。この手法は、撮像画像に基づき決定したユーザの視点位置を補正する際に用いてもよいし、情報処理装置が撮像部を備えない場合に用いてもよい。また、撮像画像に基づき決定したユーザの視点位置（特に、視点位置の方向）をタッチ操作の接触位置に基づき補正した後に、更に、撮像画像に基づきユーザの視点位置の距離や高さを補正してもよい。また、ユーザの視点位置の方向をタッチ操作の接触位置に基づき補正した後に、更に、ユーザがタッチパネルに表示された操作オブジェクトを操作して、視点位置の距離や高さを微調整できるようにしてもよい。例えば、十字キーを表す操作オブジェクトの上下キーを操作することで視点位置の高さを調整可能にし、当該操作オブジェクトの左右キーを操作することで視点位置の距離を調整可能にしてもよい。
【００７９】
３．処理
次に、本実施形態の情報処理装置の処理の一例について図１０のフローチャートを用いて説明する。
【００８０】
まず、処理部１００は、タッチパネル１６２で検出された接触位置（複数のパネル側接触点２４の接触位置）の座標値を取得する（ステップＳ１０）。次に、オブジェクト制御部１１２は、取得された座標値に基づき部材２０の識別情報を取得し（ステップＳ１２）、取得した識別情報に基づいて、部材２０に関連するオブジェクトＯＢの形状を決定する（ステップＳ１４）。次に、オブジェクト制御部１１２は、ステップＳ１０で取得された座標値に基づいて、オブジェクト空間におけるオブジェクトＯＢの位置及び向きを決定する（ステップＳ１６）。
【００８１】
次に、処理部１００は、撮像部１５０で撮像された撮像画像を取得する（ステップＳ１８）。次に、視点位置決定部１１４は、撮像画像におけるユーザ画像の位置に基づいて、ユーザの視点位置（タッチパネル１６２からユーザの視点までの距離、方向（向き）及び高さ（角度））を決定する（ステップＳ２０）。次に、仮想カメラ制御部１１８は、決定された視点位置に基づいて、オブジェクト空間における仮想カメラＶＣの位置及び向きを決定する（ステップＳ２２）。
【００８２】
次に、画像生成部１２０は、オブジェクト空間において仮想カメラＶＣから見える画像を生成する（ステップＳ２４）。
【００８３】
次に、処理部１００は、処理を続けるか否かを判断し（ステップＳ２６）、処理を続ける場合（ステップＳ２６の「Ｙ」）には、ステップＳ１０の処理に移行し、ステップＳ１０以降の処理を１フレーム毎に繰り返す。
【００８４】
４．変形例
本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
【００８５】
例えば、上記実施形態では、静電容量方式のタッチパネルを用いた場合について説明したが、その他の方式のタッチパネルを用いてもよい。例えば、タッチパネルの方式が抵抗膜方式である場合には、部材の底部に少なくとも１つの突起部を設けてこれをタッチパネルとの接触点とすればよい。
【符号の説明】
【００８６】
１００  処理部、１１０  オブジェクト空間設定部、１１２  オブジェクト制御部、１１４  視点位置決定部、１１８  仮想カメラ制御部、１２０  画像生成部、１３０  音生成部、１５０  撮像部、１６０  入力部、１６２  タッチパネル、１７０  記憶部、１７２
主記憶部、１７４  描画バッファ、１７６  オブジェクトデータ記憶部、１７９  Ｚバッファ、１８０  情報記憶媒体、１９０  表示部、１９２  音出力部、１９６  通信部
【図１】
2014199479.tif 000003
【図２】
2014199479.tif 000004
【図３】
2014199479.tif 000005
【図４】
2014199479.tif 000006
【図５】
2014199479.tif 000007
【図６】
2014199479.tif 000008
【図７】
2014199479.tif 000009
【図８】
2014199479.tif 000010
【図９】
2014199479.tif 000011
【図１０】
2014199479.tif 000012