(57)【特許請求の範囲】
【請求項１】
実世界画像に仮想空間画像を合成表示して、手持ち型の画像表示装置に表示する画像表示システムであって、
前記画像表示装置は、
ハウジングと、
前記ハウジングの前面に設けられた裸眼立体視可能な立体表示部と、
前記ハウジングの背面に設けられた第１撮像部および第２撮像部と、を含み、
前記画像表示システムは、
前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から、実世界に配置された特定対象物を自動的に検出する特定対象物検出手段と、
前記特定対象物検出手段によって検出された前記実世界画像における特定対象物に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する仮想カメラ制御手段と、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する第１仮想空間画像生成手段と、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する第２仮想空間画像生成手段と、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる表示制御手段とを備える、画像表示システム。
【請求項２】
前記第１撮像部および前記第２撮像部は、前記ハウジングの背面上に、当該ハウジングの左右方向に沿って、前記立体表示部の画面の中央から対称となる位置に、当該ハウジングと一体的に設けられている、請求項１に記載の画像表示システム。
【請求項３】
前記仮想カメラ制御手段は、前記特定対象物の位置を示す現実世界における座標を用いることなく、前記特定対象物検出手段によって検出された前記実世界画像における特定対象物に基づいて、前記一対の仮想カメラの位置および姿勢を決定および更新する、請求項１に記載の画像表示システム。
【請求項４】
前記画像表示装置は、前記ハウジングの前面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含み、
前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り替える、請求項１に記載の画像表示システム。
【請求項５】
前記ハウジングの前記前面には、前記立体表示部の画面を左右に２等分する線上に第３撮像部が設けられている、請求項１に記載の画像表示システム。
【請求項６】
前記ハウジングには一対のスピーカが設けられており、
前記ハウジングの前記前面上には、左右方向に前記立体表示部の画面を挟むように、前記一対のスピーカに対応する一対のスピーカ孔が設けられている、請求項１に記載の画像表示システム。
【請求項７】
前記画像表示装置は、携帯型ゲーム装置である、請求項１に記載の画像表示システム。
【請求項８】
実世界画像に仮想空間画像を合成表示する、手持ち型の画像表示装置であって、
ハウジングと、
前記ハウジングの前面に設けられた裸眼立体視可能な立体表示部と、
前記ハウジングの背面に設けられた第１撮像部および第２撮像部と、
前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から、実世界に配置された特定対象物を自動的に検出する特定対象物検出手段と、
前記特定対象物検出手段によって検出された前記実世界画像における特定対象物に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する仮想カメラ制御手段と、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する第１仮想空間画像生成手段と、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する第２仮想空間画像生成手段と、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる表示制御手段とを備える、手持ち型の画像表示装置。
【請求項９】
実世界画像に仮想空間画像を合成表示して、手持ち型の画像表示装置に表示する画像表示システムのコンピュータに、
前記画像表示装置のハウジングの背面に設けられた第１撮像部および第２撮像部の少なくとも一方によって撮像された実世界画像から、実世界に配置された特定対象物を自動的に検出すること、
検出された前記実世界画像における特定対象物に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新すること、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成すること、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成すること、および、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記画像表示装置の前記ハウジングの前面に設けられた裸眼立体視可能な立体表示部に、裸眼立体視可能な画像を表示させること、を実行させる画像表示プログラムを格納した、コンピュータ読み取り可能な非一時的な記憶媒体。
【請求項１０】
実世界画像に仮想空間画像を合成表示して、手持ち型の画像表示装置に表示する画像表示方法であって、
前記画像表示装置のハウジングの背面に設けられた第１撮像部および第２撮像部の少なくとも一方によって撮像された実世界画像から、実世界に配置された特定対象物を自動的に検出すること、
検出された前記実世界画像における特定対象物に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新すること、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成すること、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成すること、および、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記画像表示装置の前記ハウジングの前面に設けられた裸眼立体視可能な立体表示部に、裸眼立体視可能な画像を表示させること、を備える、画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、画像表示装置および画像表示方法に関し、特に、立体視
可能な立体表示部に、３次元の仮想オブジェクトを合成した実世界画像を立体表示するた
めの画像表示システム、画像表示装置および画像表示方法に関する。
【背景技術】
【０００２】
近年、実世界の画像に仮想オブジェクトを合成表示することによって、その仮想オブジ
ェクトがあたかも実世界内に実在するかのように表示する、ＡＲ（Augmented Reality：
拡張現実感）技術の研究が進んでいる。
【０００３】
例えば、特許文献１に開示されている立体表示装置では、ヘッドマウントディスプレイ
に取り付けられている右目カメラおよび左目カメラによってそれぞれ撮像された画像から
、実空間に配置されたマーカーに対する右目カメラおよび左目カメラの相対位置姿勢をそ
れぞれ求め、その結果に基づいて、右目用の仮想オブジェクトの画像と左目用の仮想オブ
ジェクトの画像をそれぞれ生成している。そして、右目カメラおよび左目カメラによって
それぞれ撮像された画像に対して、右目用の仮想オブジェクトの画像と左目用の仮想オブ
ジェクトの画像をそれぞれ合成して、それらの合成画像を右目ＬＣＤ（液晶画面）と左目
ＬＣＤにそれぞれ表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４６１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている立体表示装置では、ユーザはヘッドマウン
トディスプレイを装着しなければならず、ＡＲ技術を用いたアプリケーションを気軽にか
つ快適に楽しむことができない。
【０００６】
それ故、本発明の目的は、ＡＲ技術を用いたアプリケーションを、より気軽にかつ快適
に楽しむことができる画像表示システム、画像表示装置および画像表示方法を提供するこ
とである。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００８】
本発明の画像表示システムの一構成例は、実世界画像に仮想空間画像を合成表示する画
像表示システムである。当該画像表示システムは、手持ち型の画像表示装置と、実世界に
配置されるマーカーとを備える。
【０００９】
前記画像表示装置は、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチ
パネルと、立体表示部と、第１撮像部および第２撮像部と、検出手段と、決定手段と、第
１仮想空間画像生成手段と、第２仮想空間画像生成手段と、表示制御手段とを含む。
【００１０】
上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して
折り畳み可能に接続された横長の長方形の板状のハウジングである。上記平面表示部は、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対
向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。上記
タッチパネルは、前記平面表示部の画面上に設けられる。上記立体表示部は、前記平面表
示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが
折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側
面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立
体視可能な表示部である。上記第１撮像部および第２撮像部は、前記上側ハウジングの前
記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右
方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハ
ウジングと一体的に設けられる。上記検出手段は、前記第１撮像部および前記第２撮像部
の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自
動的に検出する。上記決定手段は、前記マーカーの位置を示す現実世界における座標を用
いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカ
ーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメ
ラからなる一対の仮想カメラの位置および姿勢を決定および更新する。上記第１仮想空間
画像生成手段は、前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間
画像を生成する。上記第２仮想空間画像生成手段は、前記第２仮想カメラに基づいて、前
記仮想空間を描画して第２仮想空間画像を生成する。上記表示制御手段は、前記第１撮像
部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と
、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した
第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる。
【００１１】
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右
手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操
作可能な位置に、それぞれ、１以上の操作ボタンが設けられている。上記画像表示装置は
、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を
切り替えるためのスイッチをさらに含んでいる。前記表示制御手段は、前記スイッチの状
態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示
とを切り換える。
【００１２】
本発明の画像表示システムの他の構成例として、前記上側ハウジングの内側面には、前
記立体表示部の画面を左右に２等分する線上に第３撮像部が設けられていてもよい。
【００１３】
本発明の画像表示システムの他の構成例として、前記上側ハウジングには一対のスピー
カが設けられており、前記上側ハウジングの内側面上には、左右方向に前記立体表示部の
画面を挟むように、前記一対のスピーカに対応する一対のスピーカ孔が設けられていても
よい。
【００１４】
本発明の画像表示システムの他の構成例として、前記下側ハウジングの長辺方向に平行
な２つの側面のうちの前記上側ハウジングに接続されている側の側面の右端部および左端
部には操作ボタンが設けられていてもよい。
【００１５】
本発明の画像表示システムの他の構成例として、前記画像表示装置は、携帯型ゲーム装
置であってもよい。
【００１６】
本発明の画像表示装置の一構成例は、実世界画像に仮想空間画像を合成表示する手持ち
型の画像表示装置であって、上側ハウジングおよび下側ハウジングと、平面表示部と、タ
ッチパネルと、立体表示部と、第１撮像部および第２撮像部と、検出手段と、決定手段と
、第１仮想空間画像生成手段と、第２仮想空間画像生成手段と、表示制御手段とを備える
。
【００１７】
上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して
折り畳み可能に接続された横長の長方形の板状のハウジングである。上記平面表示部は、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対
向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。上記
タッチパネルは、前記平面表示部の画面上に設けられる。上記立体表示部は、前記平面表
示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが
折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側
面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立
体視可能な表示部である。上記第１撮像部および第２撮像部は、前記上側ハウジングの前
記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右
方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハ
ウジングと一体的に設けられる。上記検出手段は、前記第１撮像部および前記第２撮像部
の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自
動的に検出する。上記決定手段は、前記マーカーの位置を示す現実世界における座標を用
いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカ
ーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメ
ラからなる一対の仮想カメラの位置および姿勢を決定および更新する。上記第１仮想空間
画像生成手段は、前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間
画像を生成する。上記第２仮想空間画像生成手段は、前記第２仮想カメラに基づいて、前
記仮想空間を描画して第２仮想空間画像を生成する。上記表示制御手段は、前記第１撮像
部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と
、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した
第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる。
【００１８】
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右
手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操
作可能な位置に、それぞれ、１以上の操作ボタンが設けられている。上記画像表示装置は
、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を
切り替えるためのスイッチをさらに含んでいる。前記表示制御手段は、前記スイッチの状
態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示
とを切り換える。
【００１９】
本発明の画像表示装置の一構成例は、手持ち型の画像表示装置と、実世界に配置される
マーカーとを備えた画像表示システムにおいて、実世界画像に仮想空間画像を合成表示す
る画像表示方法である。
【００２０】
前記画像表示装置は、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチ
パネルと、立体表示部と、第１撮像部および第２撮像部と、１以上の操作ボタンと、スイ
ッチとを備える。
【００２１】
上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して
折り畳み可能に接続された横長の長方形の板状のハウジングである。上記平面表示部は、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対
向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。上記
タッチパネルは、前記平面表示部の画面上に設けられる。上記立体表示部は、前記平面表
示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが
折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側
面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立
体視可能な表示部である。上記第１撮像部および第２撮像部は、前記上側ハウジングの前
記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右
方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハ
ウジングと一体的に設けられる。上記１以上の操作ボタンは、前記下側ハウジングの内側
面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および
当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ設
けられている。上記スイッチは、前記上側ハウジングの内側面および右側面の端部に設け
られた、立体表示と平面表示を切り替えるためのスイッチである。
【００２２】
上記画像表示方法は、前記画像表示装置の検出手段が、前記第１撮像部および前記第２
撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿
勢に検出するステップと、前記画像表示装置の決定手段が、前記マーカーの位置を示す現
実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実
世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カ
メラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新
するステップと、前記画像表示装置の第１仮想空間画像生成手段が、前記第１仮想カメラ
に基づいて、前記仮想空間を描画して第１仮想空間画像を生成するステップと、前記画像
表示装置の第２仮想空間画像生成手段が、前記第２仮想カメラに基づいて、前記仮想空間
を描画して第２仮想空間画像を生成するステップと、前記画像表示装置の表示制御手段が
、前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した
第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間
画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表
示させるステップと、前記表示制御手段が、前記スイッチの状態に応じて、画像を立体視
可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換えるステップと
を備える。
【発明の効果】
【００２３】
本発明によれば、ＡＲ技術を用いたアプリケーションを気軽にかつ快適に楽しむことが
できる。
【図面の簡単な説明】
【００２４】
【図１】開状態におけるゲーム装置Ａ１０の正面図
【図２】開状態におけるゲーム装置Ａ１０の側面図
【図３】閉状態におけるゲーム装置Ａ１０の左側面図、正面図、右側面図および背面図
【図４】図１に示す上側ハウジングＡ２１のＡ−Ａ’線断面図
【図５Ａ】３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最下点（第３の位置）に存在する様子を示す図
【図５Ｂ】３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図
【図５Ｃ】３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最上点（第２の位置）に存在する様子を示す図
【図６】ゲーム装置Ａ１０の内部構成を示すブロック図
【図７】上側ＬＣＤＡ２２の画面に表示される立体画像の一例を示す図
【図８】上側ＬＣＤＡ２２の画面に表示される立体画像の他の一例を示す図
【図９】マーカーＡ６１を示す図
【図１０】上側ＬＣＤＡ２２の画面に表示される立体画像のさらに他の一例を示す図
【図１１】ゲーム装置Ａ１０のメインメモリＡ３２のメモリマップを示す図
【図１２】メインメモリＡ３２に格納される各種変数の一例を示す図
【図１３】マーカー処理の流れを示すフローチャート
【図１４】メイン処理の流れを示すフローチャート
【図１５】更新処理の詳細を示すフローチャート
【図１６】仮想カメラ間隔決定処理の詳細を示すフローチャート
【図１７】ビュー行列生成処理の詳細を示すフローチャート
【図１８】メイン実世界画像設定処理の詳細を示すフローチャート
【図１９】表示モード切替処理の詳細を示すフローチャート
【図２０】左実世界画像および右実世界画像の一例を示す図
【図２１】マーカー認識処理の結果に応じて算出される左仮想カメラＡ６３Ｌの位置及び姿勢を示す図
【図２２】マーカー認識処理の結果に応じて算出される右仮想カメラＡ６３Ｒの位置及び姿勢を示す図
【図２３】立体視ゼロ距離に基づく左実世界画像の切り出し範囲を示す図
【図２４】立体視ゼロ距離に基づく右実世界画像の切り出し範囲を示す図
【図２５】仮想オブジェクトＡ６２と左仮想カメラＡ６３Ｌの位置関係を示す図
【図２６】左目用画像の生成方法を示す図
【図２７】左仮想カメラ座標系で表される右仮想カメラＡ６３Ｒの座標の計算方法を示す図
【図２８】ｅｗとｅｄを示す図
【図２９】マーカー座標系で表される左仮想カメラＡ６３Ｌ及び右仮想カメラＡ６３Ｒの座標の計算方法を示す図
【図３０】左仮想カメラＡ６３Ｌの位置及び姿勢に基づいて決定される右仮想カメラＡ６３Ｒの位置を示す図
【図３１】右仮想カメラＡ６３Ｒの位置及び姿勢に基づいて決定される左仮想カメラＡ６３Ｌの位置を示す図
【図３２】｜Ｖ．ｚ｜を示す図
【図３３】ＥｙｅＷｉｄｔｈを再計算する理由を説明するための図
【図３４】ＥｙｅＷｉｄｔｈを再計算する理由を説明するための図
【図３５】ＥｙｅＷｉｄｔｈを再計算する理由を説明するための図
【図３６】ＥｙｅＷｉｄｔｈを再計算する理由を説明するための図
【図３７】左射影行列について説明するための図
【図３８】右射影行列について説明するための図
【図３９】メイン実世界画像を左実世界画像から右実世界画像へ切り替えるか否かの判定方法を示す図
【図４０】メイン実世界画像を右実世界画像から左実世界画像へ切り替えるか否かの判定方法を示す図
【図４１】開状態におけるゲーム装置Ｂ１０の正面図
【図４２】開状態におけるゲーム装置Ｂ１０の側面図
【図４３】閉状態におけるゲーム装置Ｂ１０の左側面図、正面図、右側面図及び背面図
【図４４】上側ハウジングＢ２１の内側面からスクリーンカバーＢ２７を分離した状態を示す図
【図４５】図４１に示す上側ハウジングＢ２１のＡ−Ａ’線断面図
【図４６Ａ】３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最下点（第３の位置）に存在する様子を示す図
【図４６Ｂ】３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図
【図４６Ｃ】３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最上点（第２の位置）に存在する様子を示す図
【図４７】ゲーム装置Ｂ１０の内部構成を示すブロック図
【図４８】ゲーム装置Ｂ１０のメインメモリＢ３２のメモリマップを示す図
【図４９】本実施形態に係る手書きオブジェクト表示処理の詳細を示すメインフローチャート
【図５０】下側ＬＣＤＢ１２における手書きデータ取得処理（ステップＳＢ５）の詳細を示すフローチャート
【図５１】上側ＬＣＤＢ２２の表示処理（ステップＳＢ８）の詳細を示すフローチャート
【図５２】タッチパネルＢ１３を用いて上側ＬＣＤＢ２２上に表示されるオブジェクトを手書きする状態を示す図（その１）
【図５３】タッチパネルＢ１３を用いて上側ＬＣＤＢ２２上に表示されるオブジェクトを手書きする状態を示す図（その２）
【図５４】ゲーム装置Ｂ１０の位置が変更された場合の表示画像の一例を示す図
【図５５】手書き画像（オブジェクト画像）の表示形状の変化の一例を示す図（その１）
【図５６】手書き画像（オブジェクト画像）の表示形状の変化の一例を示す図（その２）
【図５７】手書き画像（オブジェクト画像）の表示形状の変化の一例を示す図（その３）
【図５８】開いた状態におけるゲーム装置Ｃ１０の一例を示す正面図
【図５９】開いた状態におけるゲーム装置Ｃ１０の一例を示す側面図
【図６０Ａ】閉じた状態におけるゲーム装置Ｃ１０の一例を示す左側面図
【図６０Ｂ】閉じた状態におけるゲーム装置Ｃ１０の一例を示す正面図
【図６０Ｃ】閉じた状態におけるゲーム装置Ｃ１０の一例を示す右側面図
【図６０Ｄ】閉じた状態におけるゲーム装置Ｃ１０の一例を示す背面図
【図６１】ゲーム装置Ｃ１０の内部構成の一例を示すブロック図
【図６２】ユーザがゲーム装置Ｃ１０を両手で把持する様子の一例を示す図
【図６３】外側撮像部Ｃ２３の撮像対象となるマーカＭＫの一例を示す図
【図６４】ユーザがゲーム装置Ｃ１０に向かって音声を入力している様子の一例を概説する図解図
【図６５】上側ＬＣＤＣ２２に表示される表示形態例を示す図
【図６６】上側ＬＣＤＣ２２に表示される表示形態例を示す図
【図６７】上側ＬＣＤＣ２２に表示される表示形態例を示す図
【図６８】上側ＬＣＤＣ２２に表示される表示形態例を示す図
【図６９】画像処理プログラムを実行することに応じて、メインメモリＣ３２に記憶される各種データの一例を示す図
【図７０】図６９の音声動作対応テーブルデータＤｉの一例を示す図
【図７１】画像処理プログラムを実行することによってゲーム装置Ｃ１０が画像処理する動作の一例を示すフローチャート
【図７２】図７１のステップＣ５４で行われる音声認識処理の詳細な動作の一例を示すサブルーチン
【図７３】図７１のステップＣ５５で行われる画像合成処理の詳細な前半の動作の一例を示すサブルーチン
【図７４】図７１のステップＣ５５で行われる画像合成処理の詳細な後半の動作の一例を示すサブルーチン
【図７５】仮想キャラクタＣと左仮想カメラとの位置関係の一例を示す図
【図７６】仮想キャラクタＣと右仮想カメラとの位置関係の一例を示す図
【図７７】左目用画像の生成方法の一例を示す図
【図７８】文字情報が付加情報として撮像画像に重畳して表示される一例を示す図
【図７９】開状態におけるゲーム装置Ｄ１０の正面図
【図８０】開状態におけるゲーム装置Ｄ１０の右側面図
【図８１】閉状態におけるゲーム装置Ｄ１０の左側面図、正面図、右側面図および背面図
【図８２】ゲーム装置Ｄ１０の内部構成を示すブロック図
【図８３】ゲーム処理が実行された場合において、実空間に予め配置されたマーカＤ６１を外側撮像部Ｄ２３で撮像したときに上側ＬＣＤＤ２２に表示される画像の一例を示す図
【図８４】ユーザが所定の操作を行った場合に、マーカＤ６１が載置された平面が波打つ様子を示した図
【図８５】マーカ座標系の定義を示す図
【図８６】ゲーム装置Ｄ１０のＲＡＭのメモリマップを示す図
【図８７】ゲーム処理の詳細を示すメインフローチャート
【図８８】マーカ認識処理（ステップＳＤ３）の詳細を示すフローチャート
【図８９】左仮想カメラ画像生成処理（ステップＳＤ７）の詳細を示すフローチャート
【図９０】マーカＤ６１と外側撮像部（左）Ｄ２３ａとの位置関係を示す図
【図９１】仮想モデルＤ５５を示す図
【図９２】変形オブジェクトＤ５６を示す図
【図９３】頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を示す図
【図９４】ステップＳＤ３５における処理を概念的に表す図であり、左目用実画像Ｄ７２Ｌから左テクスチャ領域の画像を切り取る様子を示す図
【図９５】ステップＳＤ３５における処理を概念的に表す図であり、図９４に示す切り取られた左テクスチャ領域の画像ａｉを変形オブジェクトＤ５６に張り付ける様子を示す図
【図９６】右目用実画像Ｄ７２Ｒから右テクスチャ領域の画像を切り取る様子を示す図
【図９７】図９６に示す切り取られた右テクスチャ領域の画像ｂｉを変形オブジェクトＤ５６に張り付ける様子を示す図
【図９８】マスクオブジェクトＤ５７によって魚オブジェクトＤ５２がマスクされる場合を示す図
【図９９】左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情報が失われることを説明するための図
【図１００】開状態におけるゲーム装置Ｅ１の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１０１】閉状態におけるゲーム装置Ｅ１の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１０２】下側ハウジングＥ２の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１０３】正面側から見た場合の下側ハウジングＥ２の分解斜視図
【図１０４】背面側から見た場合の下側ハウジングＥ２の分解斜視図
【図１０５】上側ハウジングＥ５の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１０６】正面側から見た場合の上側ハウジングＥ５の分解斜視図
【図１０７】背面側から見た場合の上側ハウジングＥ５の分解斜視図
【図１０８】下側ハウジングＥ２を構成する第５パーツＥ２０１の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１０９】下側ハウジングＥ２を構成する第４パーツＥ２０２の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１１０】下側ハウジングＥ２を構成する第６パーツＥ２０３の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１１１】上側ハウジングＥ５を構成する第１パーツＥ５０１の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１１２】上側ハウジングＥ５を構成する第２パーツＥ５０２の左側面図、正面図、右側面図、背面図、上面図、底面図、および、印刷を施したときの正面図
【図１１３】上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１１４】上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の左側面図、正面図、右側面図、背面図、上面図、底面図
【図１１５】第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側の縦横サイズを示す図
【図１１６】第３パーツＥ５０３の第１部分Ｅ６に対応する部分の縦横サイズを示す図
【図１１７】第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側の縦横サイズを示す図
【図１１８】第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側の縦横サイズを示す図
【図１１９Ａ】折り畳んだ状態のゲーム装置Ｅ１の底面の左右端部を拡大した図
【図１１９Ｂ】折り畳んだ状態のゲーム装置Ｅ１の左側面の上下端部を拡大した図
【図１２０】ユーザがゲーム装置Ｅ１を把持してゲーム装置Ｅ１を操作する様子を示す図
【図１２１】ゲーム装置Ｅ１を開いた状態の正面視において電源ＬＥＤＥ２８Ｃ、充電ＬＥＤＥ２８Ｄ、および、無線ＬＥＤＥ２８Ｂが配設される部分を拡大して示した図
【図１２２】ゲーム装置Ｅ１の内部構成を示すブロック図
【発明を実施するための形態】
【００２５】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１〜図３は、ゲーム
装置Ａ１０の外観を示す平面図である。ゲーム装置Ａ１０は携帯型のゲーム装置であり、
図１〜図３に示すように折り畳み可能に構成されている。図１および図２は、開いた状態
（開状態）におけるゲーム装置Ａ１０を示し、図３は、閉じた状態（閉状態）におけるゲ
ーム装置Ａ１０を示している。図１は、開状態におけるゲーム装置Ａ１０の正面図であり
、図２は、開状態におけるゲーム装置Ａ１０の右側面図である。ゲーム装置Ａ１０は、撮
像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを
保存したりすることが可能である。また、ゲーム装置Ａ１０は、交換可能なメモリカード
内に記憶され、または、サーバーや他のゲーム装置から受信したゲームプログラムを実行
可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフ
ィックス処理により生成された画像を画面に表示したりすることができる。
【００２６】
まず、図１〜図３を参照して、ゲーム装置Ａ１０の外観構成について説明する。図１〜
図３に示されるように、ゲーム装置Ａ１０は、下側ハウジングＡ１１および上側ハウジン
グＡ２１を有する。下側ハウジングＡ１１と上側ハウジングＡ２１とは、開閉可能（折り
畳み可能）に接続されている。本実施形態では、各ハウジングＡ１１およびＡ２１はとも
に横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
【００２７】
図１および図２に示されるように、下側ハウジングＡ１１の上側長辺部分には、下側ハ
ウジングＡ１１の内側面（主面）Ａ１１Ｂに対して垂直な方向に突起する突起部Ａ１１Ａ
が設けられる。また、上側ハウジングＡ２１の下側長辺部分には、上側ハウジングＡ２１
の下側面から当該下側面に垂直な方向に突起する突起部Ａ２１Ａが設けられる。下側ハウ
ジングＡ１１の突起部Ａ１１Ａと上側ハウジングＡ２１の突起部Ａ２１Ａとが連結される
ことにより、下側ハウジングＡ１１と上側ハウジングＡ２１とが、折り畳み可能に接続さ
れる。
【００２８】
（下側ハウジングの説明）
まず、下側ハウジングＡ１１の構成について説明する。図１〜図３に示すように、下側
ハウジングＡ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：
液晶表示装置）Ａ１２、タッチパネルＡ１３、各操作ボタンＡ１４Ａ〜Ａ１４Ｌ（図１、
図３）、アナログスティックＡ１５、ＬＥＤＡ１６Ａ〜Ａ１６Ｂ、挿入口Ａ１７、および
、マイクロフォン用孔Ａ１８が設けられる。以下、これらの詳細について説明する。
【００２９】
図１に示すように、下側ＬＣＤＡ１２は下側ハウジングＡ１１に収納される。下側ＬＣ
ＤＡ１２は横長形状であり、長辺方向が下側ハウジングＡ１１の長辺方向に一致するよう
に配置される。下側ＬＣＤＡ１２は下側ハウジングＡ１１の中央に配置される。下側ＬＣ
ＤＡ１２は、下側ハウジングＡ１１の内側面（主面）に設けられ、下側ハウジングＡ１１
に設けられた開口部から当該下側ＬＣＤＡ１２の画面が露出される。ゲーム装置Ａ１０を
使用しない場合には閉状態としておくことによって、下側ＬＣＤＡ１２の画面が汚れたり
傷ついたりすることを防止することができる。下側ＬＣＤＡ１２の画素数は、例えば、２
５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤＡ１２は、後述する上
側ＬＣＤＡ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置で
ある。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅ
ｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の
表示装置を利用してもよい。また、下側ＬＣＤＡ１２として、任意の解像度の表示装置を
利用することができる。
【００３０】
図１に示されるように、ゲーム装置Ａ１０は、入力装置として、タッチパネルＡ１３を
備えている。タッチパネルＡ１３は、下側ＬＣＤＡ１２の画面上に装着されている。なお
、本実施形態では、タッチパネルＡ１３は抵抗膜方式のタッチパネルである。ただし、タ
ッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを
用いることができる。本実施形態では、タッチパネルＡ１３として、下側ＬＣＤＡ１２の
解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＡ１３
の解像度と下側ＬＣＤＡ１２の解像度が一致している必要はない。また、下側ハウジング
Ａ１１の上側面には挿入口Ａ１７（図１および図３（ｄ）に示す点線）が設けられている
。挿入口Ａ１７は、タッチパネルＡ１３に対する操作を行うために用いられるタッチペン
Ａ２８を収納することができる。なお、タッチパネルＡ１３に対する入力は通常タッチペ
ンＡ２８を用いて行われるが、タッチペンＡ２８に限らずユーザの指でタッチパネルＡ１
３に対する入力をすることも可能である。
【００３１】
各操作ボタンＡ１４Ａ〜Ａ１４Ｌは、所定の入力を行うための入力装置である。図１に
示されるように、下側ハウジングＡ１１の内側面（主面）には、各操作ボタンＡ１４Ａ〜
Ａ１４Ｌのうち、十字ボタンＡ１４Ａ（方向入力ボタンＡ１４Ａ）、ボタンＡ１４Ｂ、ボ
タンＡ１４Ｃ、ボタンＡ１４Ｄ、ボタンＡ１４Ｅ、電源ボタンＡ１４Ｆ、セレクトボタン
Ａ１４Ｊ、ＨＯＭＥボタンＡ１４Ｋ、およびスタートボタンＡ１４Ｌが、設けられる。十
字ボタンＡ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有し
ている。ボタンＡ１４Ｂ、ボタンＡ１４Ｃ、ボタンＡ１４Ｄ、ボタンＡ１４Ｅは、十字状
に配置される。ボタンＡ１４Ａ〜Ａ１４Ｅ、セレクトボタンＡ１４Ｊ、ＨＯＭＥボタンＡ
１４Ｋ、およびスタートボタンＡ１４Ｌには、ゲーム装置Ａ１０が実行するプログラムに
応じた機能が適宜割り当てられる。例えば、十字ボタンＡ１４Ａは選択操作等に用いられ
、各操作ボタンＡ１４Ｂ〜Ａ１４Ｅは例えば決定操作やキャンセル操作等に用いられる。
また、電源ボタンＡ１４Ｆは、ゲーム装置Ａ１０の電源をオン／オフするために用いられ
る。
【００３２】
アナログスティックＡ１５は、方向を指示するデバイスであり、下側ハウジングＡ１１
の内側面の下側ＬＣＤＡ１２より左側領域の上部領域に設けられる。図１に示すように、
十字ボタンＡ１４Ａは下側ＬＣＤＡ１２より左側領域の下部領域に設けられるので、アナ
ログスティックＡ１５は、十字ボタンＡ１４Ａの上方に設けられる。また、アナログステ
ィックＡ１５、および、十字ボタンＡ１４Ａは、下側ハウジングを把持した左手の親指で
操作可能な位置に設計される。また、アナログスティックＡ１５を上部領域に設けたこと
により、下側ハウジングＡ１１を把持する左手の親指が自然と位置するところにアナログ
スティックＡ１５が配され、十字ボタンＡ１４Ａは、左手の親指を少し下にずらした位置
に配される。アナログスティックＡ１５は、そのキートップが、下側ハウジングＡ１１の
内側面に平行にスライドするように構成されている。アナログスティックＡ１５は、ゲー
ム装置Ａ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定の
オブジェクトが登場するゲームがゲーム装置Ａ１０によって実行される場合、アナログス
ティックＡ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力
装置として機能する。この場合において、所定のオブジェクトはアナログスティックＡ１
５のキートップがスライドした方向に移動される。なお、アナログスティックＡ１５とし
て、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可
能としたものを用いても良い。
【００３３】
十字状に配置される、ボタンＡ１４Ｂ、ボタンＡ１４Ｃ、ボタンＡ１４Ｄ、ボタンＡ１
４Ｅの４つのボタンは、下側ハウジングＡ１１を把持する右手の親指が自然と位置すると
ころに配置される。また、これらの４つのボタンと、アナログスティックＡ１５とは、下
側ＬＣＤＡ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっ
ては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすること
も可能である。
【００３４】
また、下側ハウジングＡ１１の内側面には、マイクロフォン用孔Ａ１８が設けられる。
マイクロフォン用孔Ａ１８の下部には後述する音声入力装置としてのマイク（図６参照）
が設けられ、当該マイクがゲーム装置Ａ１０の外部の音を検出する。
【００３５】
図３（ａ）は閉状態におけるゲーム装置Ａ１０の左側面図であり、図３（ｂ）は閉状態
におけるゲーム装置Ａ１０の正面図であり、図３（ｃ）は閉状態におけるゲーム装置Ａ１
０の右側面図であり、図３（ｄ）は閉状態におけるゲーム装置Ａ１０の背面図である。図
３（ｂ）および（ｄ）に示されるように、下側ハウジングＡ１１の上側面には、Ｌボタン
Ａ１４ＧおよびＲボタンＡ１４Ｈが設けられている。ＬボタンＡ１４Ｇは、下側ハウジン
グＡ１１の上面の左端部に設けられ、ＲボタンＡ１４Ｈは、下側ハウジングＡ１１の上面
の右端部に設けられる。ＬボタンＡ１４ＧおよびＲボタンＡ１４Ｈは、例えば、撮像部の
シャッターボタン（撮影指示ボタン）として機能することができる。また、図３（ａ）に
示されるように、下側ハウジングＡ１１の左側面には、音量ボタンＡ１４Ｉが設けられる
。音量ボタンＡ１４Ｉは、ゲーム装置Ａ１０が備えるスピーカの音量を調整するために用
いられる。
【００３６】
図３（ａ）に示されるように、下側ハウジングＡ１１の左側面には開閉可能なカバー部
Ａ１１Ｃが設けられる。このカバー部Ａ１１Ｃの内側には、ゲーム装置Ａ１０とデータ保
存用外部メモリＡ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。
データ保存用外部メモリＡ４５は、コネクタに着脱自在に装着される。データ保存用外部
メモリＡ４５は、例えば、ゲーム装置Ａ１０によって撮像された画像のデータを記憶（保
存）するために用いられる。なお、上記コネクタおよびそのカバー部Ａ１１Ｃは、下側ハ
ウジングＡ１１の右側面に設けられてもよい。
【００３７】
また、図３（ｄ）に示されるように、下側ハウジングＡ１１の上側面には、ゲーム装置
Ａ１０とゲームプログラムを記録した外部メモリＡ４４を挿入するための挿入口Ａ１１Ｄ
が設けられ、その挿入口Ａ１１Ｄの内部には、外部メモリＡ４４と電気的に着脱自在に接
続するためのコネクタ（図示せず）が設けられる。当該外部メモリＡ４４がゲーム装置Ａ
１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネク
タおよびその挿入口Ａ１１Ｄは、下側ハウジングＡ１１の他の側面（例えば、右側面等）
に設けられてもよい。
【００３８】
また、図１および図３（ｃ）に示されるように、下側ハウジングＡ１１の下側面にはゲ
ーム装置Ａ１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＡ１６Ａ、下側
ハウジングＡ１１の右側面にはゲーム装置Ａ１０の無線通信の確立状況をユーザに通知す
る第２ＬＥＤＡ１６Ｂが設けられる。ゲーム装置Ａ１０は他の機器との間で無線通信を行
うことが可能であり、第２ＬＥＤＡ１６Ｂは、無線通信が確立している場合に点灯する。
ゲーム装置Ａ１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式によ
り、無線ＬＡＮに接続する機能を有する。下側ハウジングＡ１１の右側面には、この無線
通信の機能を有効／無効にする無線スイッチＡ１９が設けられる（図３（ｃ）参照）。
【００３９】
なお、図示は省略するが、下側ハウジングＡ１１には、ゲーム装置Ａ１０の電源となる
充電式電池が収納され、下側ハウジングＡ１１の側面（例えば、上側面）に設けられた端
子を介して当該電池を充電することができる。
【００４０】
（上側ハウジングの説明）
次に、上側ハウジングＡ２１の構成について説明する。図１〜図３に示すように、上側
ハウジングＡ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：
液晶表示装置）Ａ２２、外側撮像部Ａ２３（外側撮像部（左）Ａ２３ａおよび外側撮像部
（右）Ａ２３ｂ）、内側撮像部Ａ２４、３Ｄ調整スイッチＡ２５、および、３Ｄインジケ
ータＡ２６が設けられる。以下、これらの詳細について説明する。
【００４１】
図１に示すように、上側ＬＣＤＡ２２は上側ハウジングＡ２１に収納される。上側ＬＣ
ＤＡ２２は、横長形状であり、長辺方向が上側ハウジングＡ２１の長辺方向に一致するよ
うに配置される。上側ＬＣＤＡ２２は上側ハウジングＡ２１の中央に配置される。上側Ｌ
ＣＤＡ２２の画面の面積は、下側ＬＣＤＡ１２の画面の面積よりも大きく設定される。ま
た、上側ＬＣＤＡ２２の画面は、下側ＬＣＤＡ１２の画面よりも横長に設定される。すな
わち、上側ＬＣＤＡ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤＡ１２
の画面のアスペクト比における横幅の割合よりも大きく設定される。
【００４２】
上側ＬＣＤＡ２２の画面は、上側ハウジングＡ２１の内側面（主面）Ａ２１Ｂに設けら
れ、上側ハウジングＡ２１に設けられた開口部から当該上側ＬＣＤＡ２２の画面が露出さ
れる。また、図２に示すように、上側ハウジングＡ２１の内側面は、透明なスクリーンカ
バーＡ２７によって覆われている。当該スクリーンカバーＡ２７は、上側ＬＣＤＡ２２の
画面を保護するとともに、上側ＬＣＤＡ２２と上側ハウジングＡ２１の内側面と一体的に
させ、これにより統一感を持たせている。上側ＬＣＤＡ２２の画素数は、例えば、６４０
ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤＡ２
２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎ
ｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤＡ２２
として、任意の解像度の表示装置を利用することができる。
【００４３】
上側ＬＣＤＡ２２は、立体視可能な画像を表示することが可能な表示装置である。また
、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される
。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互
に表示される方式の表示装置である。または、左目用画像と右目用画像とが交互に表示さ
れる方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置で
ある。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目の
それぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バ
リア方式）のものが用いられる。本実施形態では、上側ＬＣＤＡ２２はパララックスバリ
ア方式のものとする。上側ＬＣＤＡ２２は、右目用画像と左目用画像とを用いて、裸眼で
立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤＡ２２は、視差バリア
を用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより
、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。
また、上側ＬＣＤＡ２２は、上記視差バリアを無効にすることが可能であり、視差バリア
を無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の
意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目に
も左目にも見えるような表示モードである）。このように、上側ＬＣＤＡ２２は、立体視
可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示す
る）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り
替えは、後述する３Ｄ調整スイッチＡ２５によって行われる。
【００４４】
外側撮像部Ａ２３は、上側ハウジングＡ２１の外側面（上側ＬＣＤＡ２２が設けられた
主面と反対側の背面）Ａ２１Ｄに設けられた２つの撮像部（Ａ２３ａおよびＡ２３ｂ）の
総称である。外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの撮像方向は、いず
れも当該外側面Ａ２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、
上側ＬＣＤＡ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。す
なわち、外側撮像部（左）Ａ２３ａの撮像方向および外側撮像部（右）Ａ２３ｂの撮像方
向は、平行である。外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂとは、ゲーム
装置Ａ１０が実行するプログラムによって、ステレオカメラとして使用することが可能で
ある。また、プログラムによっては、２つの外側撮像部（Ａ２３ａおよびＡ２３ｂ）のい
ずれか一方を単独で用いて、外側撮像部Ａ２３を非ステレオカメラとして使用することも
可能である。また、プログラムによっては、２つの外側撮像部（Ａ２３ａおよびＡ２３ｂ
）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像を
おこなうことも可能である。本実施形態では、外側撮像部Ａ２３は、外側撮像部（左）Ａ
２３ａおよび外側撮像部（右）Ａ２３ｂの２つの撮像部で構成される。外側撮像部（左）
Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、それぞれ所定の共通の解像度を有する撮像
素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む
。レンズは、ズーム機構を有するものでもよい。
【００４５】
図１の破線および図３（ｂ）の実線で示されるように、外側撮像部Ａ２３を構成する外
側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ＬＣＤＡ２２の画面の
横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣ
ＤＡ２２の画面の横方向と平行になるように、外側撮像部（左）Ａ２３ａおよび外側撮像
部（右）Ａ２３ｂが配置される。図１の破線で示すＡ２３ａおよびＡ２３ｂは、上側ハウ
ジングＡ２１の内側面とは反対側の外側面に存在する外側撮像部（左）Ａ２３ａおよび外
側撮像部（右）Ａ２３ｂをそれぞれ表している。図１に示すように、ユーザが上側ＬＣＤ
Ａ２２の画面を正面から視認した場合に、外側撮像部（左）Ａ２３ａは左側に外側撮像部
（右）Ａ２３ｂは右側にそれぞれ位置している。外側撮像部Ａ２３をステレオカメラとし
て機能させるプログラムが実行されている場合、外側撮像部（左）Ａ２３ａは、ユーザの
左目で視認される左目用画像を撮像し、外側撮像部（右）Ａ２３ｂは、ユーザの右目で視
認される右目用画像を撮像する。外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２
３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で
設定されてもよい。なお、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの
間隔は、この範囲に限らない。
【００４６】
なお、本実施例においては、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３
はハウジングに固定されており、撮像方向を変更することはできない。
【００４７】
また、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ＬＣＤＡ２
２（上側ハウジングＡ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置
される。すなわち、外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側
ＬＣＤＡ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外
側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂは、上側ハウジングＡ２１を開
いた状態において、上側ハウジングＡ２１の上部であって、上側ＬＣＤＡ２２の画面の上
端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）Ａ２３ａおよび外
側撮像部（右）Ａ２３ｂは、上側ハウジングＡ２１の外側面であって、上側ＬＣＤＡ２２
を外側面に投影した場合、投影した上側ＬＣＤＡ２２の画面の上端よりも上方に配置され
る。
【００４８】
このように、外側撮像部Ａ２３の２つの撮像部（Ａ２３ａおよびＡ２３ｂ）が、上側Ｌ
ＣＤＡ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上
側ＬＣＤＡ２２を正視した場合に、外側撮像部Ａ２３の撮像方向をユーザの視線方向と一
致させることができる。また、外側撮像部Ａ２３は、上側ＬＣＤＡ２２の画面の上端より
上方の裏側の位置に配置されるため、外側撮像部Ａ２３と上側ＬＣＤＡ２２とが上側ハウ
ジングＡ２１の内部で干渉することがない。従って、外側撮像部Ａ２３を上側ＬＣＤＡ２
２の画面の裏側に配置する場合と比べて、上側ハウジングＡ２１を薄く構成することが可
能となる。
【００４９】
内側撮像部Ａ２４は、上側ハウジングＡ２１の内側面（主面）Ａ２１Ｂに設けられ、当
該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ａ２４は、所定
の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等
）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５０】
図１に示すように、内側撮像部Ａ２４は、上側ハウジングＡ２１を開いた状態において
、上側ハウジングＡ２１の上部であって、上側ＬＣＤＡ２２の画面の上端よりも上方に配
置され、上側ハウジングＡ２１の左右方向に関して中央の位置（上側ハウジングＡ２１（
上側ＬＣＤＡ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図
１および図３（ｂ）に示されるように、内側撮像部Ａ２４は、上側ハウジングＡ２１の内
側面であって、外側撮像部Ａ２３の左右の撮像部（外側撮像部（左）Ａ２３ａおよび外側
撮像部（右）Ａ２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジングＡ
２１の外側面に設けられた外側撮像部Ａ２３の左右の撮像部を上側ハウジングＡ２１の内
側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部Ａ２４が設けられ
る。図３（ｂ）で示される破線Ａ２４は、上側ハウジングＡ２１の内側面に存在する内側
撮像部Ａ２４を表している。
【００５１】
このように、内側撮像部Ａ２４は、外側撮像部Ａ２３とは反対方向を撮像する。内側撮
像部Ａ２４は、上側ハウジングＡ２１の内側面であって、外側撮像部Ａ２３の左右の撮像
部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤＡ２２を正視した際
、内側撮像部Ａ２４でユーザの顔を正面から撮像することができる。また、外側撮像部Ａ
２３の左右の撮像部と内側撮像部Ａ２４とが上側ハウジングＡ２１の内部で干渉すること
がないため、上側ハウジングＡ２１を薄く構成することが可能となる。
【００５２】
３Ｄ調整スイッチＡ２５は、スライドスイッチであり、上述のように上側ＬＣＤＡ２２
の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＡ
２５は、上側ＬＣＤＡ２２に表示された立体視可能な画像（立体画像）の立体感を調整す
るために用いられる。図１〜図３に示されるように、３Ｄ調整スイッチＡ２５は、上側ハ
ウジングＡ２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤＡ２２を正
視した場合に、当該３Ｄ調整スイッチＡ２５を視認できる位置に設けられる。また、３Ｄ
調整スイッチＡ２５の操作部は、内側面および右側面の両方に突出しており、どちらから
も視認および操作することができる。なお、３Ｄ調整スイッチＡ２５以外のスイッチは全
て下側ハウジングＡ１１に設けられる。
【００５３】
図４は、図１に示す上側ハウジングＡ２１のＡ−Ａ’線断面図である。図４に示すよう
に、上側ハウジングＡ２１の内側面の右端部には、凹部Ａ２１Ｃが形成され、当該凹部Ａ
２１Ｃに３Ｄ調整スイッチＡ２５が設けられる。３Ｄ調整スイッチＡ２５は、図１および
図２に示されるように、上側ハウジングＡ２１の正面および右側面から視認可能に配置さ
れる。３Ｄ調整スイッチＡ２５のスライダＡ２５ａは、所定方向（上下方向）の任意の位
置にスライド可能であり、当該スライダＡ２５ａの位置に応じて上側ＬＣＤＡ２２の表示
モードが設定される。
【００５４】
図５Ａから図５Ｃは、３Ｄ調整スイッチＡ２５のスライダＡ２５ａがスライドする様子
を示す図である。図５Ａは、３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最下点（第３
の位置）に存在する様子を示す図である。図５Ｂは、３Ｄ調整スイッチＡ２５のスライダ
Ａ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図である。図５Ｃ
は、３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最上点（第２の位置）に存在する様子
を示す図である。
【００５５】
図５Ａに示すように、３Ｄ調整スイッチＡ２５のスライダＡ２５ａが最下点位置（第３
の位置）に存在する場合、上側ＬＣＤＡ２２は平面表示モードに設定され、上側ＬＣＤＡ
２２の画面には平面画像が表示される（なお、上側ＬＣＤＡ２２を立体表示モードのまま
として、左目用画像と右目用画像を同一の画像とすることにより平面表示してもよい）。
一方、図５Ｂに示す位置（最下点より上側の位置（第１の位置））から図５Ｃに示す位置
（最上点の位置（第２の位置））までの間にスライダＡ２５ａが存在する場合、上側ＬＣ
ＤＡ２２は立体表示モードに設定される。この場合、上側ＬＣＤＡ２２の画面には立体視
可能な画像が表示される。スライダＡ２５ａが第１の位置から第２の位置の間に存在する
場合、スライダＡ２５ａの位置に応じて、立体画像の見え方が調整される。具体的には、
スライダＡ２５ａの位置に応じて、右目用画像および左目用画像の横方向の位置のずれ量
が調整される。３Ｄ調整スイッチＡ２５のスライダＡ２５ａは、第３の位置で固定される
ように構成されており、第１の位置と第２の位置との間では上下方向に任意の位置にスラ
イド可能に構成されている。例えば、スライダＡ２５ａは、第３の位置において、３Ｄ調
整スイッチＡ２５を形成する側面から図５Ａに示す横方向に突出した凸部（図示せず）に
よって固定されて、所定以上の力が上方に加わらないと第３の位置よりも上方にスライド
しないように構成されている。第３の位置から第１の位置にスライダＡ２５ａが存在する
場合、立体画像の見え方は調整されないが、これはいわゆるあそびである。他の例におい
ては、あそびをなくして、第３の位置と第１の位置とを同じ位置としてもよい。また、第
３の位置を第１の位置と第２の位置の間としてもよい。その場合、スライダを第３の位置
から第１の位置の方向に動かした場合と、第２の方向に動かした場合とで、右目用画像お
よび左目用画像の横方向の位置のずれ量の調整する方向が逆になる。
【００５６】
３ＤインジケータＡ２６は、上側ＬＣＤＡ２２が立体表示モードか否かを示す。３Ｄイ
ンジケータＡ２６は、ＬＥＤであり、上側ＬＣＤＡ２２の立体表示モードが有効の場合に
点灯する。なお、３ＤインジケータＡ２６は、上側ＬＣＤＡ２２が立体表示モードになっ
ており、かつ、立体視画像を表示するプログラム処理が実行されているとき（すなわち、
３Ｄ調整スイッチが上記第１の位置から上記第２の位置にあるときに、左目用画像と右目
用画像が異なるような画像処理が実行されているとき）に限り、点灯するようにしてもよ
い。図１に示されるように、３ＤインジケータＡ２６は、上側ハウジングＡ２１の内側面
に設けられ、上側ＬＣＤＡ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤ
Ａ２２の画面を正視した場合、ユーザは３ＤインジケータＡ２６を視認しやすい。従って
、ユーザは上側ＬＣＤＡ２２の画面を視認している状態でも、上側ＬＣＤＡ２２の表示モ
ードを容易に認識することができる。
【００５７】
また、上側ハウジングＡ２１の内側面には、スピーカ孔Ａ２１Ｅが設けられる。後述す
るスピーカＡ４３からの音声がこのスピーカ孔Ａ２１Ｅから出力される。
【００５８】
（ゲーム装置Ａ１０の内部構成）
次に、図６を参照して、ゲーム装置Ａ１０の内部の電気的構成について説明する。図６
は、ゲーム装置Ａ１０の内部構成を示すブロック図である。図６に示すように、ゲーム装
置Ａ１０は、上述した各部に加えて、情報処理部Ａ３１、メインメモリＡ３２、外部メモ
リインターフェイス（外部メモリＩ／Ｆ）Ａ３３、データ保存用外部メモリＩ／ＦＡ３４
、データ保存用内部メモリＡ３５、無線通信モジュールＡ３６、ローカル通信モジュール
Ａ３７、リアルタイムクロック（ＲＴＣ）Ａ３８、加速度センサＡ３９、電源回路Ａ４０
、およびインターフェイス回路（Ｉ／Ｆ回路）Ａ４１等の電子部品を備えている。これら
の電子部品は、電子回路基板上に実装されて下側ハウジングＡ１１（または上側ハウジン
グＡ２１でもよい）内に収納される。
【００５９】
情報処理部Ａ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐ
ｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ａ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ  
Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ａ３１２等を含む情報処理手段である。情報処理部Ａ
３１のＣＰＵＡ３１１は、ゲーム装置Ａ１０内のメモリ（例えば外部メモリＩ／ＦＡ３３
に接続された外部メモリＡ４４やデータ保存用内部メモリＡ３５）に記憶されているプロ
グラムを実行することによって、当該プログラムに応じた処理（例えば、撮影処理や、後
述する画像表示処理）を実行する。なお、情報処理部Ａ３１のＣＰＵＡ３１１によって実
行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また
、情報処理部Ａ３１は、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）Ａ３１３を含む。情報処理部Ａ
３１のＧＰＵＡ３１２は、情報処理部Ａ３１のＣＰＵＡ３１１からの命令に応じて画像を
生成し、ＶＲＡＭＡ３１３に描画する。そして、情報処理部Ａ３１のＧＰＵＡ３１２は、
ＶＲＡＭＡ３１３に描画された画像を上側ＬＣＤＡ２２及び／又は下側ＬＣＤＡ１２に出
力し、上側ＬＣＤＡ２２及び／又は下側ＬＣＤＡ１２に当該画像が表示される。
【００６０】
情報処理部Ａ３１には、メインメモリＡ３２、外部メモリＩ／ＦＡ３３、データ保存用
外部メモリＩ／ＦＡ３４、および、データ保存用内部メモリＡ３５が接続される。外部メ
モリＩ／ＦＡ３３は、外部メモリＡ４４を着脱自在に接続するためのインターフェイスで
ある。また、データ保存用外部メモリＩ／ＦＡ３４は、データ保存用外部メモリＡ４５を
着脱自在に接続するためのインターフェイスである。
【００６１】
メインメモリＡ３２は、情報処理部Ａ３１（のＣＰＵＡ３１１）のワーク領域やバッフ
ァ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＡ３２は、上
記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部（外部メ
モリＡ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施
形態では、メインメモリＡ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用
いる。
【００６２】
外部メモリＡ４４は、情報処理部Ａ３１によって実行されるプログラムを記憶するため
の不揮発性の記憶手段である。外部メモリＡ４４は、例えば読み取り専用の半導体メモリ
で構成される。外部メモリＡ４４が外部メモリＩ／ＦＡ３３に接続されると、情報処理部
Ａ３１は外部メモリＡ４４に記憶されたプログラムを読み込むことができる。情報処理部
Ａ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保
存用外部メモリＡ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシ
ュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存
用外部メモリＡ４５には、外側撮像部Ａ２３で撮像された画像や他の機器で撮像された画
像が記憶される。データ保存用外部メモリＡ４５がデータ保存用外部メモリＩ／ＦＡ３４
に接続されると、情報処理部Ａ３１はデータ保存用外部メモリＡ４５に記憶された画像を
読み込み、上側ＬＣＤＡ２２及び／又は下側ＬＣＤＡ１２に当該画像を表示することがで
きる。
【００６３】
データ保存用内部メモリＡ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型
フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、デ
ータ保存用内部メモリＡ３５には、無線通信モジュールＡ３６を介した無線通信によって
ダウンロードされたデータやプログラムが格納される。
【００６４】
無線通信モジュールＡ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した
方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＡ３７
は、所定の通信方式（例えば独自プロトコルによる通信や、赤外線通信）により同種のゲ
ーム装置との間で無線通信を行う機能を有する。無線通信モジュールＡ３６およびローカ
ル通信モジュールＡ３７は情報処理部Ａ３１に接続される。情報処理部Ａ３１は、無線通
信モジュールＡ３６を用いてインターネットを介して他の機器との間でデータを送受信し
たり、ローカル通信モジュールＡ３７を用いて同種の他のゲーム装置との間でデータを送
受信したりすることができる。
【００６５】
また、情報処理部Ａ３１には、加速度センサＡ３９が接続される。加速度センサＡ３９
は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する
。加速度センサＡ３９は、下側ハウジングＡ１１の内部に設けられる。加速度センサＡ３
９は、図１に示すように、下側ハウジングＡ１１の長辺方向をｘ軸、下側ハウジングＡ１
１の短辺方向をｙ軸、下側ハウジングＡ１１の内側面（主面）に対して垂直な方向をｚ軸
として、各軸の直線加速度の大きさを検出する。なお、加速度センサＡ３９は、例えば静
電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしても
よい。また、加速度センサＡ３９は１軸又は２軸方向を検出する加速度センサであっても
よい。情報処理部Ａ３１は、加速度センサＡ３９が検出した加速度を示すデータ（加速度
データ）を受信して、ゲーム装置Ａ１０の姿勢や動きを検出することができる。
【００６６】
また、情報処理部Ａ３１には、ＲＴＣＡ３８および電源回路Ａ４０が接続される。ＲＴ
ＣＡ３８は、時間をカウントして情報処理部Ａ３１に出力する。情報処理部Ａ３１は、Ｒ
ＴＣＡ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ａ４
０は、ゲーム装置Ａ１０が有する電源（下側ハウジングＡ１１に収納される上記充電式電
池）からの電力を制御し、ゲーム装置Ａ１０の各部品に電力を供給する。
【００６７】
また、情報処理部Ａ３１には、Ｉ／Ｆ回路Ａ４１が接続される。Ｉ／Ｆ回路Ａ４１には
、マイクＡ４２およびスピーカＡ４３が接続される。具体的には、Ｉ／Ｆ回路Ａ４１には
、図示しないアンプを介してスピーカＡ４３が接続される。マイクＡ４２は、ユーザの音
声を検知して音声信号をＩ／Ｆ回路Ａ４１に出力する。アンプは、Ｉ／Ｆ回路Ａ４１から
の音声信号を増幅し、音声をスピーカＡ４３から出力させる。また、タッチパネルＡ１３
はＩ／Ｆ回路Ａ４１に接続される。Ｉ／Ｆ回路Ａ４１は、マイクＡ４２およびスピーカＡ
４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制
御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行っ
たり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、
タッチパネルＡ１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報
処理部Ａ３１に出力する。タッチ位置データは、タッチパネルＡ１３の入力面において入
力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネルＡ１３か
らの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。
情報処理部Ａ３１は、タッチ位置データを取得することにより、タッチパネルＡ１３に対
して入力が行われた位置を知ることができる。
【００６８】
操作ボタンＡ１４は、上記各操作ボタンＡ１４Ａ〜Ａ１４Ｌからなり、情報処理部Ａ３
１に接続される。操作ボタンＡ１４から情報処理部Ａ３１へは、各操作ボタンＡ１４Ａ〜
Ａ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処
理部Ａ３１は、操作ボタンＡ１４から操作データを取得することによって、操作ボタンＡ
１４に対する入力に従った処理を実行する。
【００６９】
下側ＬＣＤＡ１２および上側ＬＣＤＡ２２は情報処理部Ａ３１に接続される。下側ＬＣ
ＤＡ１２および上側ＬＣＤＡ２２は、情報処理部Ａ３１（のＧＰＵＡ３１２）の指示に従
って画像を表示する。本実施形態では、情報処理部Ａ３１は、上側ＬＣＤＡ２２に立体画
像（立体視可能な画像）を表示させる。
【００７０】
具体的には、情報処理部Ａ３１は、上側ＬＣＤＡ２２のＬＣＤコントローラ（図示せず
）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。
上側ＬＣＤＡ２２の視差バリアがＯＮになっている場合、情報処理部Ａ３１のＶＲＡＭＡ
３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤＡ２２に出力される。より
具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素デー
タを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処
理とを交互に繰り返すことによって、ＶＲＡＭＡ３１３から右目用画像と左目用画像とを
読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ
短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像と
が交互に配置された画像が、上側ＬＣＤＡ２２の画面に表示される。そして、上側ＬＣＤ
Ａ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目
に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤＡ２
２の画面には立体視可能な画像が表示される。
【００７１】
外側撮像部Ａ２３および内側撮像部Ａ２４は、情報処理部Ａ３１に接続される。外側撮
像部Ａ２３および内側撮像部Ａ２４は、情報処理部Ａ３１の指示に従って画像を撮像し、
撮像した画像データを情報処理部Ａ３１に出力する。
【００７２】
３Ｄ調整スイッチＡ２５は、情報処理部Ａ３１に接続される。３Ｄ調整スイッチＡ２５
は、スライダＡ２５ａの位置に応じた電気信号を情報処理部Ａ３１に送信する。
【００７３】
また、３ＤインジケータＡ２６は、情報処理部Ａ３１に接続される。情報処理部Ａ３１
は、３ＤインジケータＡ２６の点灯を制御する。例えば、情報処理部Ａ３１は、上側ＬＣ
ＤＡ２２が立体表示モードである場合、３ＤインジケータＡ２６を点灯させる。以上がゲ
ーム装置Ａ１０の内部構成の説明である。
【００７４】
（ゲーム装置Ａ１０の動作の概要）
以下、本実施形態におけるゲーム装置Ａ１０の動作の概要について説明する。本実施形
態では、画像表示プログラムに基づいて、外側撮像部Ａ２３（外側撮像部（左）Ａ２３ａ
、外側撮像部（右）Ａ２３ｂ）によって現在撮像されている実世界の画像と、３次元の仮
想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側ＬＣＤＡ２２の
画面に立体視可能に表示される。
【００７５】
（実世界画像の立体視表示）
外側撮像部Ａ２３で撮影された２つの撮影画像は所定の視差を有するように上側ＬＣＤ
に供給されて立体視表示される。
【００７６】
図７は、外側撮像部Ａ２３によって３つのボールＡ６０ａ〜Ａ６０ｃ（実オブジェクト
）が撮像されているときに上側ＬＣＤＡ２２の画面に表示される立体画像の一例を示して
いる。外側撮像部Ａ２３によって３つのボールＡ６０ａ〜Ａ６０ｃが撮像されると、上側
ＬＣＤＡ２２には、これらのボールＡ６０ａ〜Ａ６０ｃが立体視可能に表示される。図７
に示されるように、上側ＬＣＤＡ２２の画面上では、外側撮像部Ａ２３に最も近いボール
Ａ６０ａが最も手前に位置するようにユーザに視認され、外側撮像部Ａ２３から最も遠い
ボールＡ６０ｃが最も遠くに位置するようにユーザに視認される。なお、図７では、理解
を容易にするために、上側ＬＣＤＡ２２の画面からボールをはみ出して図示しているが、
実際にはボールは画面内に表示される。後述の図８や図１０についても同様である。なお
、図７では、後述するマーカーＡ６１（図８参照）が外側撮像部Ａ２３によって撮像され
ていないため、上側ＬＣＤＡ２２の画面には仮想オブジェクトは表示されていない。また
、図７、図８、図１０等においては、表示対象が飛び出ているように視認される様子を図
示しているが、立体視可能に表示する、と言った場合、必ずしも飛び出し方向に視認され
る場合のみでなく、画面より奥側に、奥行きを持って表示される場合も含む。
【００７７】
（実世界画像およびＣＧ画像の立体視表示）
図８は、外側撮像部Ａ２３によってマーカーＡ６１（実オブジェクト）が撮像されてい
るときに上側ＬＣＤＡ２２の画面に表示される立体画像の一例を示している。図８に示す
ように、マーカーＡ６１には、矢印を含む正方形が描かれており、ＣＰＵＡ３１１は、外
側撮像部Ａ２３から取得される画像に対して例えばパターンマッチング等の画像処理を行
うことによって、当該画像にマーカーが含まれているか否かを判定することができる。外
側撮像部Ａ２３によってマーカーＡ６１が撮像されているときには、上側ＬＣＤＡ２２に
は、実世界画像としてマーカーＡ６１が立体視可能に表示されるとともに、マーカーＡ６
１の位置に仮想オブジェクトＡ６２（例えば犬を模した仮想オブジェクト）が立体視可能
に合成表示される。なお、図９に示すように、マーカーＡ６１には向き（前方向、右方向
、上方向）が定義されており、マーカーＡ６１の姿勢に応じた姿勢で仮想オブジェクトを
配置することができる。例えば、仮想オブジェクトＡ６２の前方向がマーカーＡ６１の前
方向と一致するように、マーカーＡ６１の上に仮想オブジェクトＡ６２を配置することが
可能である。
【００７８】
図１０は、外側撮像部Ａ２３によってマーカーＡ６１が撮像されているときに上側ＬＣ
ＤＡ２２の画面に表示される立体画像の他の一例を示している。このように、ユーザーが
ゲーム装置Ａ１０を移動させることによって、上側ＬＣＤＡ２２の画面に表示されるマー
カーＡ６１の位置および向きが変化すると、それに追従するように、仮想オブジェクトＡ
６２の位置および向きが変化する。よって、ユーザーには仮想オブジェクトＡ６２があた
かも実世界に本当に存在しているかのように見える。
【００７９】
以下、図１１〜図４０を参照して、ゲーム装置Ａ１０において画像表示プログラムに基
づいて実行される画像表示処理の詳細について説明する。
【００８０】
（メモリマップ）
まず、画像表示処理の際にメインメモリＡ３２に記憶される主なデータについて説明す
る。図１１は、ゲーム装置Ａ１０のメインメモリＡ３２のメモリマップを示す図である。
図１１に示されるように、メインメモリＡ３２には、画像表示プログラムＡ７０、最新左
実世界画像Ａ７１Ｌ、最新右実世界画像Ａ７１Ｒ、表示用左実世界画像Ａ７２Ｌ、表示用
右実世界画像Ａ７２Ｒ、立体視ゼロ距離Ａ７３、仮想オブジェクト情報Ａ７４、左変換行
列Ａ７５Ｌ、右変換行列Ａ７５Ｒ、左ビュー行列Ａ７６Ｌ、右ビュー行列Ａ７６Ｒ、左射
影行列Ａ７７Ｌ、右射影行列Ａ７７Ｒ、表示モードＡ７８、マーカー認識モードＡ７９、
メイン実世界画像識別情報Ａ８０、各種変数Ａ８１等が記憶される。
【００８１】
画像表示プログラムＡ７０は、ＣＰＵＡ３１１に上記画像表示処理を実行させるための
プログラムである。
【００８２】
最新左実世界画像Ａ７１Ｌは、外側撮像部（左）Ａ２３ａによって撮像された最新の画
像である。
【００８３】
最新右実世界画像Ａ７１Ｒは、外側撮像部（右）Ａ２３ｂによって撮像された最新の画
像である。
【００８４】
表示用左実世界画像Ａ７２Ｌは、外側撮像部（左）Ａ２３ａによって撮像された画像の
うち、上側ＬＣＤＡ２２に表示されることが決定された最新の画像である。
【００８５】
表示用右実世界画像Ａ７２Ｒは、外側撮像部（右）Ａ２３ｂによって撮像された画像の
うち、上側ＬＣＤＡ２２に表示されることが決定された最新の画像である。
【００８６】
立体視ゼロ距離Ａ７３は、外側撮像部Ａ２３から撮影方向にどれだけの距離だけ離れた
物体が、上側ＬＣＤＡ２２の画面に立体表示されたときに上側ＬＣＤＡ２２の画面と同じ
奥行き位置にあるように視認されるかを示す変数であり、例えば、センチメートルの単位
で表される。本実施形態では、立体視ゼロ距離Ａ７３は２５ｃｍで固定とするが、これは
単なる一例に過ぎず、ユーザーの指示に応じて、またはコンピュータによって自動的に、
立体視ゼロ距離Ａ７３を随時変更するようにしても構わない。立体視ゼロ距離Ａ７３は、
マーカーＡ６１からの距離や、外側撮像部Ａ２３とマーカーＡ６１の間の距離における比
で指定しても構わない。また、必ずしも現実空間の距離として指定せず、仮想空間におけ
る距離で指定してもよい。マーカーＡ６１のサイズが既知のときなどには、実世界におけ
る長さの単位と仮想空間における長さの単位とを一致させることができる。このように両
者の単位を一致させることができる場合には、立体視ゼロ距離Ａ７３を実世界における長
さの単位で設定できる。しかしながら、両者の単位を一致させることができない場合には
、立体視ゼロ距離Ａ７３を仮想空間における長さの単位で設定してもよい。なお、後述の
通り、本実施形態においては、マーカーＡ６１のサイズを用いずに、実世界における長さ
の単位と仮想空間における長さの単位とを一致させることができる。
【００８７】
仮想オブジェクト情報Ａ７４は、前述の仮想オブジェクトＡ６２に関連する情報であっ
て、仮想オブジェクトＡ６２の形状を表す３Ｄモデルデータ（ポリゴンデータ）や、仮想
オブジェクトＡ６２の模様を表すテクスチャデータや、仮想空間における仮想オブジェク
トＡ６２の位置や姿勢の情報などを含む。
【００８８】
左変換行列Ａ７５Ｌは、左実世界画像におけるマーカーＡ６１の位置および姿勢を認識
することにより計算される行列であり、マーカーＡ６１の位置および姿勢を基準として設
定される座標系（マーカー座標系）で表された座標を外側撮像部（左）Ａ２３ａの位置お
よび姿勢を基準として表された座標系（外側撮像部（左）座標系）に変換する座標変換行
列である。左変換行列Ａ７５Ｌは、マーカーＡ６１の位置および姿勢に対する外側撮像部
（左）Ａ２３ａの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マ
ーカー座標系における外側撮像部（左）Ａ２３ａの位置および姿勢の情報を含む行列であ
る。
【００８９】
右変換行列Ａ７５Ｒは、右実世界画像におけるマーカーＡ６１の位置および姿勢を認識
することにより計算される行列であり、マーカー座標系で表された座標を外側撮像部（右
）Ａ２３ｂの位置および姿勢を基準として表された座標系（外側撮像部（右）座標系）に
変換する座標変換行列である。右変換行列Ａ７５Ｒは、マーカーＡ６１の位置および姿勢
に対する外側撮像部（右）Ａ２３ｂの相対的な位置および姿勢の情報を含む行列であり、
より具体的には、マーカー座標系における外側撮像部（右）Ａ２３ｂの位置および姿勢の
情報を含む行列である。
【００９０】
なお、本明細書において、マーカー座標系から外側撮像部（左）座標系または外側撮像
部（右）座標系への変換行列のことを「マーカー・カメラ変換行列」と呼ぶ。左変換行列
Ａ７５Ｌおよび右変換行列Ａ７５Ｒは「マーカー・カメラ変換行列」である。
【００９１】
左ビュー行列Ａ７６Ｌは、左仮想カメラから見た仮想オブジェクトＡ６２を描画する際
に用いられる行列であり、仮想世界のワールド座標系で表された座標を左仮想カメラ座標
系で表された座標へと変換するための座標変換行列である。左ビュー行列Ａ７６Ｌは、仮
想世界のワールド座標系における左仮想カメラの位置および姿勢の情報を含む行列である
。
【００９２】
右ビュー行列Ａ７６Ｒは、右仮想カメラから見た仮想オブジェクトＡ６２を描画する際
に用いられる行列であり、仮想世界のワールド座標系で表された座標を右仮想カメラ座標
系で表された座標へと変換するための座標変換行列である。右ビュー行列Ａ７６Ｒは、仮
想世界のワールド座標系における右仮想カメラの位置および姿勢の情報を含む行列である
。
【００９３】
左射影行列Ａ７７Ｌは、左仮想カメラから見た仮想世界（仮想世界に存在する仮想オブ
ジェクトＡ６２）を描画する際に用いられる行列であり、左仮想カメラ座標系で表された
座標をスクリーン座標系で表された座標へと変換するための座標変換行列である。
【００９４】
右射影行列Ａ７７Ｒは、右仮想カメラから見た仮想世界（仮想世界に存在する仮想オブ
ジェクトＡ６２）を描画する際に用いられる行列であり、右仮想カメラ座標系で表された
座標をスクリーン座標系で表された座標へと変換するための座標変換行列である。
【００９５】
表示モードＡ７８は、現在の処理モードを示すデータであって、より具体的には、実世
界画像と仮想空間画像とを同期させて合成表示する同期表示モードか、実世界画像と仮想
空間画像とを同期させずに合成表示する非同期表示モードかを示すデータである。
【００９６】
マーカー認識モードＡ７９は、現在の処理モードを示すデータであって、より具体的に
は、左実世界画像と右実世界画像のいずれか一方のみに対してマーカー認識処理を行う片
画像認識モードか、左実世界画像と右実世界画像の両方に対してそれぞれマーカー認識処
理を行う両画像認識モードかを示すデータである。
【００９７】
メイン実世界画像識別情報Ａ８０は、左実世界画像と右実世界画像のいずれがメイン実
世界画像なのかを示すデータである。上記の片画像認識モードでは、メイン実世界画像に
対してのみマーカー認識処理が行われ、他方の実世界画像（以下、サブ実世界画像と称す
）に対してはマーカー認識処理は行われない。
【００９８】
各種変数Ａ８１は、画像表示プログラムＡ７０の実行の際に用いられる変数であって、
図１２に示すような変数を含む。これらの変数の意味については、以下の説明において随
時説明する。
【００９９】
ゲーム装置Ａ１０の電源が投入されると、ゲーム装置Ａ１０の情報処理部Ａ３１（ＣＰ
ＵＡ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによ
ってメインメモリＡ３２等の各ユニットが初期化される。次に、データ保存用内部メモリ
Ａ３５に記憶された画像表示プログラムがメインメモリＡ３２に読み込まれ、情報処理部
Ａ３１のＣＰＵＡ３１１によって当該画像表示プログラムの実行が開始される。
【０１００】
以下、図１３〜図１９のフローチャートを参照して、画像表示プログラムに基づいて実
行される処理の流れを説明する。なお、図１３〜図１９のフローチャートは、単なる一例
に過ぎない。したがって、同様の結果が得られるのであれば、各ステップの処理順序を入
れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過
ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、図１３〜図１９の
フローチャートの全てのステップの処理をＣＰＵＡ３１１が実行するものとして説明する
が、図１３〜図１９のフローチャートの一部のステップの処理を、ＣＰＵＡ３１１以外の
プロセッサや専用回路が実行するようにしてもよい。
【０１０１】
（マーカー処理）
図１３は、画像表示プログラムＡ７０に基づいてＣＰＵＡ３１１によって実行されるマ
ーカー処理の流れを示すフローチャートである。マーカー処理は、後述するメイン処理と
並列的に実行される処理であり、本実施形態では、ＣＰＵＡ３１１がアイドル状態のとき
に実行される。以下、マーカー処理の詳細について説明する。
【０１０２】
図１３のステップＳＡ１０において、ＣＰＵＡ３１１は、外側撮像部Ａ２３から両方の
実世界画像（すなわち左実世界画像および右実世界画像）を取得したか否かを判断し、両
方の実世界画像が取得されている場合には処理はステップＳＡ１１に進む。外側撮像部Ａ
２３から取得された最新の左実世界画像は、最新左実世界画像Ａ７１Ｌとしてメインメモ
リＡ３２に格納され、最新の右実世界画像は、最新右実世界画像Ａ７１Ｒとしてメインメ
モリＡ３２に格納される。
【０１０３】
なお、前述のように、上側ハウジングＡ２１において、外側撮像部（左）Ａ２３ａと外
側撮像部（右）Ａ２３ｂは一定の間隔（例えば３．５ｃｍ、以下、撮像部間距離）だけ離
れている。したがって、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂによって
同時にマーカーＡ６１を撮像した場合、図２０に示すように、外側撮像部（左）Ａ２３ａ
によって撮像された左実世界画像におけるマーカーＡ６１の位置及び姿勢と、外側撮像部
（右）Ａ２３ｂによって撮像された右実世界画像におけるマーカーＡ６１の位置及び姿勢
との間には、視差によるズレが生じる。
【０１０４】
ステップＳＡ１１において、ＣＰＵＡ３１１は、メイン実世界画像に対してマーカー認
識処理を行う。より具体的には、パターンマッチング手法等によってメイン実世界画像に
マーカーＡ６１が含まれているか否かを判断し、メイン実世界画像にマーカーＡ６１が含
まれている場合には、メイン実世界画像におけるマーカーＡ６１の位置および姿勢に基づ
いて、左変換行列Ａ７５Ｌまたは右変換行列Ａ７５Ｒを算出する（メイン実世界画像が左
実世界画像である場合には、左変換行列Ａ７５Ｌを算出し、メイン実世界画像が右実世界
画像である場合には、右変換行列Ａ７５Ｒを算出する）。
【０１０５】
なお、左変換行列Ａ７５Ｌは、左実世界画像におけるマーカーＡ６１の位置および姿勢
に基づいて計算される外側撮像部（左）Ａ２３ａの位置および姿勢を反映した行列である
。より正確には、図２１に示すように、マーカー座標系（実世界におけるマーカーＡ６１
の位置を原点とし、マーカーＡ６１の縦方向、横方向、法線方向の各方向を各軸とする座
標系）で表された座標を、左実世界画像におけるマーカーＡ６１の位置および姿勢に基づ
いて計算された外側撮像部（左）Ａ２３ａの位置および姿勢を基準とした外側撮像部（左
）座標系で表される座標へと変換するための座標変換行列である。
【０１０６】
また、右変換行列Ａ７５Ｒは、右実世界画像におけるマーカーＡ６１の位置および姿勢
に基づいて計算される外側撮像部（右）Ａ２３ｂの位置および姿勢を反映した行列である
。より正確には、図２２に示すように、マーカー座標系で表された座標を、右実世界画像
におけるマーカーＡ６１の位置および姿勢に基づいて計算された外側撮像部（右）Ａ２３
ｂの位置および姿勢を基準とした外側撮像部（右）座標系で表される座標へと変換するた
めの座標変換行列である。
【０１０７】
なお、マーカー認識精度に誤差が全く無く、かつゲーム装置Ａ１０に対する外側撮像部
（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度に誤差が全く無いと仮定
すると、右実世界画像のマーカー認識結果である右変換行列Ａ７５Ｒが示す外側撮像部（
右）Ａ２３ｂの位置は、左実世界画像のマーカー認識結果である左変換行列Ａ７５Ｌが示
す外側撮像部（左）Ａ２３ａの位置を、外側撮像部（左）座標系のｘ軸方向（ゲーム装置
Ａ１０の横方向であり使用時の水平方向）に沿って一定距離（撮像部間距離）だけずらし
た位置となり、右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ２３ｂの姿勢と左変換行列
Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの姿勢はゲーム装置Ａ１０における外側撮像部
（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの取り付け状態と同じとなる。本実施例にお
いては、ゲーム装置Ａ１０において外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３
ｂは平行に取り付けられるように設計さているので、外側撮像部（左）座標系のｘ軸，ｙ
軸，ｚ軸が、外側撮像部（右）座標系のｘ軸，ｙ軸，ｚ軸とそれぞれ平行となる。しかし
ながら実際には、マーカー認識精度にも、ゲーム装置Ａ１０に対する外側撮像部（左）Ａ
２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度にも誤差があるため、左変換行列
Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの位置及び姿勢と、右変換行列Ａ７５Ｒが示す
外側撮像部（右）Ａ２３ｂの位置及び姿勢は、理想的な関係にはならない。例えば、左変
換行列Ａ７５Ｌと右変換行列Ａ７５Ｒは、外側撮像部（左）Ａ２３ａと外側撮像部（右）
Ａ２３ｂが近すぎたり、離れすぎたり、外側撮像部（左）Ａ２３ａの姿勢と外側撮像部（
右）Ａ２３ｂの姿勢が異なったりするような行列になる。また、外側撮像部（左）Ａ２３
ａの姿勢と外側撮像部（右）Ａ２３ｂの姿勢が平行でないような行列になる。
【０１０８】
ここで、ＡＲでは、マーカー座標系を外側撮像部（左）座標系または外側撮像部（右）
座標系に変換する行列を仮想カメラのビュー行列に指定することにより、実世界画像にＣ
Ｇ画像を合成することができるが、単に、左変換行列Ａ７５Ｌを左ビュー行列Ａ７６Ｌに
指定し、右変換行列Ａ７５Ｒを右ビュー行列Ａ７６Ｒに指定して仮想空間画像を上側ＬＣ
ＤＡ２２に立体表示する場合には、仮想オブジェクトＡ６２が正常に立体視できないこと
があり得る。そこで本実施形態では、後述する説明から明らかになるように、左実世界画
像および右実世界画像のいずれか一方のマーカー認識結果（マーカー・カメラ変換行列）
から計算される一方の仮想カメラの位置及び姿勢（ビュー行列）に基づいて、左仮想カメ
ラＡ６３Ｌの位置及び姿勢と右仮想カメラＡ６３Ｒの位置及び姿勢が理想的な関係となる
ように、他方の仮想カメラの位置及び姿勢（ビュー行列）が決定される。
【０１０９】
なお、ステップＳＡ１１において、メイン実世界画像からマーカーＡ６１が認識されな
かった場合には、左変換行列Ａ７５Ｌまたは右変換行列Ａ７５Ｒにヌル値が格納され、こ
れによって、左実世界画像または右実世界画像におけるマーカーＡ６１の認識に失敗した
ことが記録される。
【０１１０】
ステップＳＡ１２において、ＣＰＵＡ３１１は、マーカー認識モードが片画像認識モー
ドであるかどうかを判断する。そして、片画像認識モードである場合には、処理はステッ
プＳＡ１３に進み、そうでない場合（すなわち両画像認識モードである場合）には、処理
はステップＳＡ１４に進む。
【０１１１】
ステップＳＡ１３において、ＣＰＵＡ３１１は、左実世界画像及び右実世界画像のうち
、メイン実世界画像ではない方の実世界画像（以下、サブ実世界画像と称す）のマーカー
認識結果を“失敗”とみなす。より具体的には、メイン実世界画像が左実世界画像である
場合には、右変換行列Ａ７５Ｒにヌル値を格納し、メイン実世界画像が右実世界画像であ
る場合には、左変換行列Ａ７５Ｌにヌル値を格納する。
【０１１２】
ステップＳＡ１４において、ＣＰＵＡ３１１は、サブ実世界画像に対してマーカー認識
処理を行う。より具体的には、パターンマッチング手法等によってサブ実世界画像にマー
カーＡ６１が含まれているか否かを判断し、サブ実世界画像にマーカーＡ６１が含まれて
いる場合には、サブ実世界画像におけるマーカーＡ６１の位置および姿勢に基づいて、左
変換行列Ａ７５Ｌまたは右変換行列Ａ７５Ｒを算出する（サブ実世界画像が左実世界画像
である場合には、左変換行列Ａ７５Ｌを算出し、サブ実世界画像が右実世界画像である場
合には、右変換行列Ａ７５Ｒを算出する）。
【０１１３】
ステップＳＡ１５において、ＣＰＵＡ３１１は、表示モードが同期表示モードであるか
どうかを判断する。そして、同期表示モードである場合には、処理はステップＳＡ１７に
進み、そうでない場合（すなわち非同期表示モードである場合）には、処理はステップＳ
Ａ１６に進む。
【０１１４】
ステップＳＡ１６において、ＣＰＵＡ３１１は、最新左実世界画像Ａ７１Ｌ及び最新右
実世界画像Ａ７１Ｒを、表示用左実世界画像Ａ７２Ｌ及び表示用右実世界画像Ａ７２Ｒと
してそれぞれメインメモリＡ３２に記憶する。そして、処理はステップＳＡ１０に戻る。
【０１１５】
ステップＳＡ１７において、ＣＰＵＡ３１１は、マーカー認識モードが片画像認識モー
ドかどうかを判断する。そして、片画像認識モードである場合には、処理はステップＳＡ
１８に進み、そうでない場合（すなわち両画像認識モードである場合）には、処理はステ
ップＳＡ１９に進む。
【０１１６】
ステップＳＡ１８において、ＣＰＵＡ３１１は、メイン実世界画像のマーカー認識に成
功したかどうかを判断する。より具体的には、ＣＰＵＡ３１１は、メイン実世界画像が左
実世界画像である場合には、左変換行列Ａ７５Ｌにヌル値ではない有効な行列が格納され
ているかどうかを判断し、メイン実世界画像が右実世界画像である場合には、右変換行列
Ａ７５Ｒにヌル値ではない有効な行列が格納されているかどうかを判断する。そして、メ
イン実世界画像のマーカー認識に成功したと判断された場合には、処理はステップＳＡ１
６に進み、そうでない場合には、処理はステップＳＡ１０に戻る。
【０１１７】
ステップＳＡ１９において、ＣＰＵＡ３１１は、左実世界画像及び右実世界画像の少な
くとも一方のマーカー認識に成功したかどうかを判断する。より具体的には、ＣＰＵＡ３
１１は、左変換行列Ａ７５Ｌ及び右変換行列Ａ７５Ｒの両方に、ヌル値ではない有効な行
列が格納されているかどうかを判断する。そして、左実世界画像及び右実世界画像の少な
くとも一方のマーカー認識に成功したと判断された場合には、処理はステップＳＡ１６に
進み、そうでない場合には、処理はステップＳＡ１０に戻る。
【０１１８】
（メイン処理）
図１４は、画像表示プログラムＡ７０に基づいてＣＰＵＡ３１１によって実行されるメ
イン処理の流れを示すフローチャートである。メイン処理は、上述したマーカー処理と並
列的に実行される処理である。以下、メイン処理の詳細について説明する。
【０１１９】
図１４のステップＳＡ２０において、ＣＰＵＡ３１１は、３次元の仮想空間の所定位置
に仮想オブジェクトＡ６２を配置する。本実施形態では、仮想空間の原点（ワールド座標
系の原点）に仮想オブジェクトＡ６２を配置する。
【０１２０】
ステップＳＡ２１において、ＣＰＵＡ３１１は、更新処理を実行する。この更新処理で
は、仮想オブジェクトＡ６２を描画するために用いられる種々の変数を更新するための処
理である。更新処理の詳細については後述する。
【０１２１】
ステップＳＡ２２において、ＣＰＵＡ３１１は、仮想オブジェクト処理を実行する。仮
想オブジェクト処理とは、仮想空間に配置された仮想オブジェクトＡ６２に関する処理で
あり、例えば、必要に応じて、仮想オブジェクトＡ６２の大きさを変化させたり、仮想オ
ブジェクトＡ６２に所定の動作（仮想空間内で移動する。例えば、仮想空間の原点の周り
を歩くような移動をさせると、マーカー座標系の原点の周りを歩くような表示がされる）
を行わせたりする。なお、仮想オブジェクトＡ６２の移動制御は、仮想空間のワールド座
標系における仮想オブジェクトの位置座標を変更することにより実現される。
【０１２２】
ステップＳＡ２３において、ＣＰＵＡ３１１は、立体視ゼロ距離Ａ７３に応じて左実世
界画像のうちの表示に使う範囲である描画範囲を決定する。より具体的には、図２３に示
すように、外側撮像部Ａ２３から立体視ゼロ距離Ａ７３の値（例えば３０ｃｍ）だけ撮影
方向に離れており、かつ外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂから等距
離にある点を立体視ゼロ点とし、外側撮像部（左）Ａ２３ａから見て当該立体視ゼロ点が
中心にくるような範囲を、左実世界画像の描画範囲として決定する。当該範囲の横方向の
長さは、例えば、図２３に示すように、外側撮像部（左）Ａ２３ａの撮影方向に垂直な直
線を、外側撮像部（左）Ａ２３ａの画角を表す直線によって切り取った線分上での比とし
て求めることができ、当該比を実世界画像の横方向の長さに対応させることによって、実
世界画像上での範囲として決定される。なお、当該範囲の縦方向の長さについては、表示
画面の縦横比に合うように、横方向の長さから決定される。
【０１２３】
なお、後述するステップＳＡ２７において右実世界画像の描画範囲を決定するときには
、図２４に示すように、外側撮像部（右）Ａ２３ｂから見て当該立体視ゼロ点が中心にく
るような範囲を、右実世界画像の描画範囲として決定する。これにより、上側ＬＣＤＡ２
２に表示される左目用画像における立体視ゼロ点の位置と右目用画像における立体視ゼロ
点の位置が、上側ＬＣＤＡ２２の画面上で一致することになり、ユーザーから見て画面と
同じ奥行き位置に存在するように見える。
【０１２４】
ステップＳＡ２４において、ＣＰＵＡ３１１は、表示用左実世界画像Ａ７２Ｌにおける
、ステップＳＡ２３で決定した描画範囲を、上側ＬＣＤＡ２２へ供給すべき左目用画像を
一時的に記憶するためのＶＲＡＭＡ３１３内の所定の記憶領域（以下、左フレームバッフ
ァと称す）に描画する。
【０１２５】
ステップＳＡ２５において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅ（図１２参照）の値
がｔｒｕｅかどうかを判断する。ＡＲＡｃｔｉｖｅとは、実世界画像に仮想オブジェクト
を合成表示することができる状況かどうかを示す変数（フラグ）であって、実世界画像に
仮想オブジェクトを合成表示することができる状況では、その値がｔｒｕｅに設定され、
実世界画像に仮想オブジェクトを合成表示することができない状況（例えば、マーカーＡ
６１が全く認識できていない状況など）では、その値がｆａｌｓｅ（初期値）に設定され
る。ＡＲＡｃｔｉｖｅの値がｔｒｕｅである場合には、処理はステップＳＡ２６に進み、
そうでない場合（すなわちＡＲＡｃｔｉｖｅの値がｆａｌｓｅである場合）には、処理は
ステップＳＡ２７に進む。
【０１２６】
ステップＳＡ２６において、ＣＰＵＡ３１１は、例えば図２３に示すように、左仮想カ
メラＡ６３Ｌから見た仮想空間（以下、左目用の仮想空間画像と称す）を左フレームバッ
ファに上書きする（実際には、典型的には、ＣＰＵＡ３１１からの指示にしたがってＧＰ
ＵＡ３１２によって描画される）。これにより、図２６に示すように、ステップＳＡ２４
で左フレームバッファに描画された左実世界画像に左目用の仮想空間画像が合成される。
左フレームバッファに描画された画像は、所定のタイミングで左目用画像として上側ＬＣ
ＤＡ２２へ供給されることになる。なお、当該左目用の仮想空間画像においては、仮想空
間の背景は透明であり、そのため、実世界画像に仮想空間画像を合成することで、実世界
画像上に仮想オブジェクトＡ６２が存在するような画像が生成される。
【０１２７】
ステップＳＡ２７において、ＣＰＵＡ３１１は、立体視ゼロ距離Ａ７３に応じて右実世
界画像の描画範囲を決定する。なお、描画範囲を決定するための処理の詳細は左実世界画
像の描画範囲の決定の処理と同じであるため省略する。
【０１２８】
ステップＳＡ２８において、ＣＰＵＡ３１１は、表示用右実世界画像Ａ７２Ｒにおける
、ステップＳＡ２７で決定した描画範囲を、上側ＬＣＤＡ２２へ供給すべき右目用画像を
一時的に記憶するためのＶＲＡＭＡ３１３内の所定の記憶領域（以下、右フレームバッフ
ァと称す）に描画する。
【０１２９】
ステップＳＡ２９において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値がｔｒｕｅかど
うかを判断する。ＡＲＡｃｔｉｖｅの値がｔｒｕｅである場合には、処理はステップＳＡ
３０に進み、そうでない場合（すなわちＡＲＡｃｔｉｖｅの値がｆａｌｓｅである場合）
には、処理はステップＳＡ３１に進む。
【０１３０】
ステップＳＡ３０において、ＣＰＵＡ３１１は、右仮想カメラＡ６３Ｒから見た仮想空
間（以下、右目用の仮想空間画像と称す）を右フレームバッファに上書きする（実際には
、典型的には、ＣＰＵＡ３１１からの指示にしたがってＧＰＵＡ３１２によって描画され
る）。これにより、ステップＳＡ２８で右フレームバッファに描画された右実世界画像に
右目用の仮想空間画像が合成される。右フレームバッファに描画された画像は、所定のタ
イミングで右目用画像として上側ＬＣＤＡ２２へ供給されることになる。
【０１３１】
ステップＳＡ３１において、ＣＰＵＡ３１１は、上側ＬＣＤＡ２２からの割り込み信号
（垂直同期割り込み）を待機し、当該割り込み信号が発生した場合には、処理はステップ
ＳＡ２１に戻る。これにより、ステップＳＡ２１〜ＳＡ３１の処理が一定の周期（例えば
、６０分の１秒の周期）で繰り返される。
【０１３２】
（更新処理）
次に、メイン処理におけるステップＳＡ２１の更新処理の詳細について、図１５のフロ
ーチャートを参照して説明する。
【０１３３】
図１５のステップＳＡ４０において、ＣＰＵＡ３１１は、前述のマーカー処理における
マーカー認識結果（すなわち、左変換行列Ａ７５Ｌ及び右変換行列Ａ７５Ｒ）が更新され
たかどうかを判断し、更新されている場合には処理はステップＳＡ４１に進み、まだ更新
されていない場合には処理はステップＳＡ４４に進む。
【０１３４】
ステップＳＡ４１において、ＣＰＵＡ３１１は、左実世界画像及び右実世界画像の両方
の実世界画像のマーカー認識に成功しているかどうかを判断する。そして、両方の実世界
画像のマーカー認識に成功している場合には、処理はステップＳＡ４２に進み、いずれか
一方もしくは両方の実世界画像のマーカー認識に失敗している場合には、処理はステップ
ＳＡ４４に進む。
【０１３５】
ステップＳＡ４２において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈ（図１２参照）の値
が０であるか、または、ＥｙｅＭｅａｓｕｒｅ（図１２参照）の値がｔｒｕｅであるかど
うかを判断する。ＥｙｅＷｉｄｔｈとは、左変換行列Ａ７５Ｌと右変換行列Ａ７５Ｒとを
用いて算出される、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂとの位置関係
における、両撮像部間の距離を示す。なお、ここで両撮像部間の距離とは、実世界のスケ
ールとして求める必要はなく、仮想空間での距離として求めてもよい。具体的には、左変
換行列Ａ７５Ｌが示す、マーカーＡ６１の位置と外側撮像部（左）Ａ２３ａの位置との関
係と、右変換行列Ａ７５Ｒが示すマーカーＡ６１の位置と外側撮像部（右）Ａ２３ｂの位
置との関係とから、マーカーＡ６１の位置を基準として、外側撮像部（左）Ａ２３ａの位
置と外側撮像部（右）Ａ２３ｂの位置との関係を求めた場合の距離を求めている。なお、
当該距離が未確定の場合には、その値が０（初期値）に設定される。なお、本実施形態で
は、ＥｙｅＷｉｄｔｈはスカラー値であるが、ＥｙｅＷｉｄｔｈを、左変換行列Ａ７５Ｌ
が示す外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒが示す外側撮像部（右）Ａ
２３ｂの位置との間を結ぶベクトルにしてもよい。また、ＥｙｅＷｉｄｔｈを、左変換行
列Ａ７５Ｌが示す外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒが示す外側撮像
部（右）Ａ２３ｂの位置との間を結ぶベクトルの、撮影方向に直交する成分の長さにして
もよい。なお、後述の通り、ＥｙｅＷｉｄｔｈは、仮想空間における左仮想カメラＡ６３
Ｌと右仮想カメラＡ６３Ｒの距離（間隔）の設定に用いる。ＥｙｅＭｅａｓｕｒｅとは、
ＥｙｅＷｉｄｔｈを再計算すべきか否かを示す変数（フラグ）であって、ＥｙｅＷｉｄｔ
ｈを再計算すべき状況では、その値がｔｒｕｅに設定され、そうでない状況では、その値
がｆａｌｓｅ（初期値）に設定される。ＥｙｅＷｉｄｔｈの値が０であるか、または、Ｅ
ｙｅＭｅａｓｕｒｅの値がｔｒｕｅである場合には、処理はステップＳＡ４３に進み、そ
うでない場合（すなわちＥｙｅＷｉｄｔｈの値が０以外の値であり、なおかつ、ＥｙｅＭ
ｅａｓｕｒｅの値がｆａｌｓｅである場合）には、処理はステップＳＡ４４に進む。
【０１３６】
ステップＳＡ４３において、ＣＰＵＡ３１１は、仮想カメラ間隔決定処理を実行する。
仮想カメラ間隔決定処理では、左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒの間隔（す
なわちＥｙｅＷｉｄｔｈ）が適宜に決定および更新される。仮想カメラ間隔決定処理の詳
細については後述する。
【０１３７】
ステップＳＡ４４において、ＣＰＵＡ３１１は、ビュー行列生成処理を実行する。ビュ
ー行列生成処理では、すでに決定されている左仮想カメラＡ６３Ｌと右仮想カメラＡ６３
Ｒの間隔（すなわちＥｙｅＷｉｄｔｈ）に基づいて、左ビュー行列Ａ７６Ｌと右ビュー行
列Ａ７６Ｒが計算される。ビュー行列生成処理の詳細については後述する。
【０１３８】
ステップＳＡ４５において、ＣＰＵＡ３１１は、メイン実世界画像設定処理を実行する
。メイン実世界画像設定処理では、左実世界画像と右実世界画像の間で、メイン実世界画
像が適宜に切り替えられる（これは、外側撮像部（左）Ａ２３ａと外側撮像部（右）との
間で、メイン撮像部を切り替えることと等価である）。メイン実世界画像設定処理の詳細
については後述する。
【０１３９】
ステップＳＡ４６において、ＣＰＵＡ３１１は、表示モード切替処理を実行し、そして
更新処理を終了する。表示モード切替処理では、同期表示モードと非同期表示モードの間
で、表示モードが適宜に切り替えられる。表示モード切替処理の詳細については後述する
。
【０１４０】
（仮想カメラ間隔決定処理）
次に、更新処理（図１５）におけるステップＳＡ４３の仮想カメラ間隔決定処理の詳細
について、図１６のフローチャートを参照して説明する。ここでは、前述の通り、左変換
行列Ａ７５Ｌが示すマーカーＡ６１の位置に対する外側撮像部（左）Ａ２３ａの位置と右
変換行列Ａ７５Ｒが示すマーカーＡ６１の位置に対する外側撮像部（右）Ａ２３ｂの位置
との距離を求める。この距離を計算する方法はいくつかあるが、本実施例では、計算方法
の一例として、以下の方法を採用する。
【０１４１】
図１６のステップＳＡ５０において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌおよび右
変換行列Ａ７５Ｒに基づいて、座標Ｖ０を計算する。以下、図２７〜図２９を参照して、
Ｖ０の計算方法を説明する。なお、図２７〜図２９においては、左実世界画像に基づいて
計算される、マーカーＡ６１に対する外側撮像部（左）Ａ２３ａの相対位置及び相対姿勢
と、右実世界画像に基づいて計算される、マーカーＡ６１に対する外側撮像部（右）Ａ２
３ｂの相対位置及び相対姿勢とが、前述したように必ずしも理想的な関係とはならないこ
とを強調するために、外側撮像部（左）Ａ２３ａの撮影方向と外側撮像部（右）Ａ２３ｂ
の撮影方向が互いに大きくずれているように図示している。
【０１４２】
まず、図２７に示すように、（０，０，０）に対して、左変換行列Ａ７５Ｌを乗算する
と、外側撮像部（左）座標系で表されたマーカー座標系の原点の座標Ｖ１が求まる。座標
Ｖ１は、左実世界画像に基づいて計算された、外側撮像部（左）Ａ２３ａに対するマーカ
ーＡ６１の相対位置を表している。この座標Ｖ１が外側撮像部（右）座標系で表された座
標であると見なすと、座標Ｖ１が示す位置は、外側撮像部（右）座標系では図２８に示す
位置へと移動する。この座標Ｖ１に対して、さらに右変換行列Ａ７５Ｒの逆行列を乗算す
る。右変換行列Ａ７５Ｒの逆行列を乗算することは、外側撮像部（右）座標系で表された
座標をマーカー座標系で表された座標に変換することに相当する。したがって、上記逆行
列の乗算は、外側撮像部（右）座標系で表された座標Ｖ１（図２８）を、図２９に示すよ
うに、マーカー座標系で表された座標Ｖ０へと変換することになる。このようにして計算
された座標Ｖ０は、左実世界画像に基づいて計算された、外側撮像部（左）Ａ２３ａに対
するマーカーＡ６１の相対位置（すなわち、外側撮像部(左）座標系で表されるマーカー
座標系の原点の座標）と、右実世界画像に基づいて計算された、外側撮像部（右）Ａ２３
ｂに対するマーカーＡ６１の相対位置（すなわち、外側撮像部(右）座標系で表されるマ
ーカー座標系の原点の座標）との差を示している。本実施形態では、このマーカーＡ６１
の相対位置の差を、外側撮像部(左）Ａ２３ａと外側撮像部(右）Ａ２３ｂの取り付け位置
の差によって生じるものであると考えて、外側撮像部(左）Ａ２３ａと外側撮像部(右）Ａ
２３ｂの取り付け位置を推定している。
【０１４３】
ステップＳＡ５１において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌに基づいて、外側
撮像部（左）座標系で表されたマーカー座標系の原点の座標Ｖ１を計算する。具体的には
、（０，０，０）に対して、左変換行列Ａ７５Ｌを乗算することで、外側撮像部（左）座
標系で表されたマーカー座標系の原点の座標Ｖ１が求まる。なお、ここでは、外側撮像部
（左）座標系で表されたマーカー座標系の原点の座標をＶ１としたが、これに替えて、外
側撮像部（右）座標系で表されたマーカー座標系の原点の座標をＶ１としてもよい。
【０１４４】
ステップＳＡ５２において、ＣＰＵＡ３１１は、ステップＳＡ５０で求めたＶ０の大き
さ（原点からの距離）（図２９参照）を、ｅｗ（図１２参照）に格納し、ステップＳＡ５
１で求めたＶ１のｚ軸値の絶対値（図２７参照）を、ｅｄ（図１２参照）に格納する。た
だし、ｅｗの値は、マーカー座標系における長さの単位で計算されており、実世界におけ
る長さの単位と一致するものではない。そして、前述の通り、外側撮像部（左）Ａ２３ａ
と外側撮像部（右）Ａ２３ｂの間の実距離は既知（例えば３．５ｃｍ）であるので、この
実距離とｅｗの値を用いて、実世界における長さの単位と仮想空間における長さの単位と
を一致させることができる。なお、マーカーＡ６１のサイズが既知であれば、マーカー画
像の認識結果に基づいて求められるマーカーＡ６１のサイズと、実世界におけるマーカー
Ａ６１のサイズとの対応関係から、実世界における長さの単位と仮想空間における長さの
単位とを一致させることもできる。
【０１４５】
なお、ゲーム装置Ａ１０に対する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ
２３ｂの取り付け精度の誤差により、外側撮像部（左）Ａ２３ａの撮影方向と外側撮像部
（右）Ａ２３ｂの撮影方向が平行になっていない場合には、このようにして計算される外
側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間の距離（ｅｗ）は、外側撮像部
Ａ２３とマーカーＡ６１との間の撮影方向についての距離に応じて変動する。それゆえ、
後述するように、外側撮像部Ａ２３とマーカーＡ６１との間の撮影方向についての距離が
変化したときには、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間の距離（
後述するＥｙｅＷｉｄｔｈ）は、そのときのマーカー・カメラ変換行列を用いて再計算さ
れる。
【０１４６】
なお、本実施形態では、ｅｗをＶ０の大きさとしたが、Ｖ０の「左変換行列Ａ７５Ｌによ
り示される外側撮像部（左）Ａ２３ａの位置と右変換行列Ａ７５Ｒにより示される外側撮
像部（右）Ａ２３ｂの位置を結ぶ方向」の成分としてもよい。
【０１４７】
このようにして計算されたｅｗは「外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２
３ｂとの間のマーカー座標系における間隔」であるが、これを左仮想カメラＡ６３Ｒと右
仮想カメラＡ６３Ｒとの間の間隔として用いる（後述のステップＳＡ６５またはＳ６８）
。
【０１４８】
なお、ｅｗを求める方法は、上述した方法以外にもある。例えば、（０，０，０）に左
変換行列Ａ７５Ｌを乗算することによって、外側撮像部（左）座標系で表されたマーカー
座標系の原点の座標Ｖｌ（すなわち、外側撮像部（左）Ａ２３ａに対するマーカーＡ６１
の相対位置）を求めるとともに、（０，０，０）に右変換行列Ａ７５Ｒを乗算することに
よって、外側撮像部（右）で表されたマーカー座標系の原点の座標Ｖｒ（すなわち、外側
撮像部（右）Ａ２３ｂに対するマーカーＡ６１の相対位置）を求め、こうして求めた座標
Ｖｌと座標Ｖｒの間の距離を計算することによって、ｅｗを求めても構わない。
【０１４９】
ステップＳＡ５３において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘ（図１２参照）の値
が１（初期値）より大きいかどうかを判断し、１より大きい場合には処理はステップＳＡ
５７に進み、そうでない場合（すなわち１である場合）には処理はステップＳＡ５４に進
む。ＬｏｇＩｎｄｅｘは、後述する配列（ＬｏｇＷｉｄｔｈ、ＬｏｇＤｅｐｔｈ）の各要
素を識別するための変数である。
【０１５０】
ステップＳＡ５４において、ＣＰＵＡ３１１は、ステップＳＡ５２で求めたｅｗの値を
配列ＬｏｇＷｉｄｔｈ［ＬｏｇＩｎｄｅｘ］に格納する。さらに、ステップＳＡ５２で求
めたｅｄの値を配列ＬｏｇＤｅｐｔｈ［ＬｏｇＩｎｄｅｘ］に格納する。さらに、Ｌｏｇ
Ｉｎｄｅｘの値をインクリメントする。ＬｏｇＷｉｄｔｈは、ｅｗの値を複数保持してお
くための配列変数である。ＬｏｇＤｅｐｔｈは、ｅｄの値を複数保持しておくための配列
変数である。
【０１５１】
ステップＳＡ５５において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘの値がＬｏｇＭａｘ
の値よりも大きいかどうかを判定し、大きい場合には処理はステップＳＡ５６に進み、そ
うでない場合（すなわちＬｏｇＩｎｄｅｘの値がＬｏｇＭａｘの値以下の場合）には、仮
想カメラ間隔決定処理を終了する。
【０１５２】
ステップＳＡ５６において、ＣＰＵＡ３１１は、ＬｏｇＷｉｄｔｈの各要素の平均値を
計算し、当該平均値をＥｙｅＷｉｄｔｈに格納する。さらに、ＬｏｇＤｅｐｔｈの各要素
の平均値を計算し、当該平均値をＥｙｅＤｅｐｔｈに格納する。さらに、ＥｙｅＭｅａｓ
ｕｒｅの値をｆａｌｓｅに設定する。さらに、マーカー認識モードＡ７９を、片画像認識
モードに設定する。ＥｙｅＤｅｐｔｈとは、左変換行列Ａ７５Ｌが示す外側撮像部（左）
Ａ２３ａのマーカー座標系における位置を示す座標（または右変換行列Ａ７５Ｒが示す外
側撮像部（右）Ａ２３ｂのマーカー座標系における位置を示す座標）から、マーカー座標
系の原点までの奥行き距離（深さ：撮影方向についての距離）を示す変数であって、後述
する図１７のステップＳＡ７２における判断の際の基準値として用いられる。ＥｙｅＤｅ
ｐｔｈの初期値は０である。ステップＳＡ５６の処理が終了すると、仮想カメラ間隔決定
処理は終了する。
【０１５３】
ステップＳＡ５７において、ＣＰＵＡ３１１は、ステップＳＡ５２で求めたｅｗの値と
ＬｏｇＷｉｄｔｈ［１］の値の差の絶対値が、ＬｏｇＷｉｄｔｈ［１］の値の１０％より
も小さく、かつ、ステップＳＡ５２で求めたｅｄの値とＬｏｇＤｅｐｔｈ［１］の値の差
の絶対値が、ＬｏｇＤｅｐｔｈ［１］の値の１０％よりも小さいかどうかを判断する。そ
して、ステップＳＡ５７の判断結果が肯定である場合には処理はステップＳＡ５４に進み
、ステップＳＡ５７の判断結果が否定である場合には処理はステップＳＡ５８に進む。
【０１５４】
ステップＳＡ５８において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘの値を１（初期値）
にリセットして、仮想カメラ間隔決定処理を終了する。
【０１５５】
以上のように、仮想カメラ間隔決定処理では、左実世界画像に含まれるマーカーＡ６１
の位置及び姿勢に基づいて計算される外側撮像部（左）Ａ２３ａの位置と、右実世界画像
に含まれるマーカーＡ６１の位置及び姿勢に基づいて計算される外側撮像部（右）Ａ２３
ｂの位置とに基づいて、ｅｗとｅｄが計算される。このようにして計算されたｅｗの値と
ｅｄの値が、ＬｏｇＷｉｄｔｈとＬｏｇＤｅｐｔｈに順次格納される。このとき、新たに
計算されたｅｗの値が、ＬｏｇＷｉｄｔｈに最初に格納されたｅｗの値（すなわちＬｏｇ
Ｗｉｄｔｈ［１］の値）を基準とした所定範囲（±１０％）から外れた場合や、新たに計
算されたｅｄの値が、ＬｏｇＤｅｐｔｈに最初に格納されたｅｄの値（すなわちＬｏｇＤ
ｅｐｔｈ［１］の値）を基準とした所定範囲（±１０％）から外れた場合には、ＬｏｇＷ
ｉｄｔｈとＬｏｇＤｅｐｔｈに再び最初からｅｗの値とｅｄの値を格納し直す。したがっ
て、逐次計算されるｅｗの値とｅｄの値に大きな変動が見られない場合（すなわち、ｅｗ
の値とｅｄの値が一定期間、ある程度安定している場合）にのみ、それらのｅｗの値の平
均値とそれらのｅｄの値の平均値が、ＥｙｅＷｉｄｔｈおよびＥｙｅＤｅｐｔｈに格納さ
れる。
【０１５６】
ところで、ユーザがゲーム装置Ａ１０を移動させたり回転させたりしているときには、
外側撮像部Ａ２３によって撮像される左実世界画像および右実世界画像がぼけやすく、マ
ーカーＡ６１の認識精度が著しく低下し、逐次検出されるｅｗの値やｅｄの値が大きく変
動しやすい。そこで、このような状況で検出される信頼性の低いｅｗの値およびｅｄの値
に基づいてＥｙｅＷｉｄｔｈの値およびＥｙｅＤｅｐｔｈの値を決定することは避けるべ
きである。よって、本実施形態では、逐次計算されるｅｗの値とｅｄの値に大きな変動が
見られない場合にのみ、それらの値に基づいてＥｙｅＷｉｄｔｈの値およびＥｙｅＤｅｐ
ｔｈの値を決定している。また、複数回計算されたｅｗの値およびｅｄの値の平均値をＥ
ｙｅＷｉｄｔｈの値およびＥｙｅＤｅｐｔｈの値として用いることにより、ＥｙｅＷｉｄ
ｔｈの値およびＥｙｅＤｅｐｔｈの値の精度を高めることができる。
【０１５７】
（ビュー行列生成処理）
次に、更新処理（図１５）におけるステップＳＡ４４のビュー行列生成処理の詳細につ
いて、図１７のフローチャートを参照して説明する。
【０１５８】
図１７のステップＳＡ６０において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈが０より大
きいかどうかを判断し、０より大きい場合には処理はステップＳＡ６３に進み、そうでな
い場合（すなわち、０である場合）には処理はステップＳＡ６１に進む。
【０１５９】
ステップＳＡ６１において、ＣＰＵＡ３１１は、表示モードが同期表示モードであるか
どうかを判断する。そして、同期表示モードである場合には、ビュー行列生成処理を終了
し、そうでない場合（すなわち非同期表示モードである場合）には、処理はステップＳＡ
６２に進む。
【０１６０】
ステップＳＡ６２において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値をｆａｌｓｅに
設定する。そして、ビュー行列生成処理を終了する。
【０１６１】
ステップＳＡ６３において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌを参照して、左実
世界画像のマーカー認識に成功しているかどうかを判断し、左実世界画像のマーカー認識
に成功している場合には処理はステップＳＡ６４に進み、そうでない場合（すなわち、左
変換行列Ａ７５Ｌの値がヌル値である場合）には処理はステップＳＡ６６に進む。
【０１６２】
ステップＳＡ６４において、ＣＰＵＡ３１１は、左変換行列Ａ７５Ｌの値を、左ビュー
行列Ａ７６Ｌに格納する。これは、左実世界画像に含まれるマーカーＡ６１の位置及び姿
勢に基づいて計算されたマーカー座標系における外側撮像部（左）Ａ２３ａの位置及び姿
勢を、左目用の仮想空間画像を生成するための左仮想カメラＡ６３Ｌの位置及び姿勢とし
てそのまま扱うことを意味する。
【０１６３】
ステップＳＡ６５において、ＣＰＵＡ３１１は、左ビュー行列Ａ７６Ｌの値に対して平
行移動行列（−ＥｙｅＷｉｄｔｈ，０，０）を乗算した結果の値を、右ビュー行列Ａ７６
Ｒに格納する。これは、図３０に示すように、前述のステップＳＡ６４において設定され
た仮想空間のワールド座標系における左仮想カメラＡ６３Ｌの位置から、左仮想カメラ座
標系のｘ軸の正方向にＥｙｅＷｉｄｔｈの値だけずらした位置を、右目用の仮想空間画像
を生成するための右仮想カメラＡ６３Ｒの位置として扱うことを意味する。また、右仮想
カメラＡ６３Ｒの姿勢は、左仮想カメラＡ６３Ｌの姿勢と同じとなる（すなわち、左仮想
カメラ座標系のｘ軸，ｙ軸，ｚ軸が、右仮想カメラ座標系のｘ軸，ｙ軸，ｚ軸とそれぞれ
平行となる）。これにより、左仮想カメラＡ６３Ｌの位置及び姿勢と、右仮想カメラＡ６
３Ｒの位置及び姿勢との整合性が保たれるので、上側ＬＣＤＡ２２において正常に立体視
できるように仮想オブジェクトＡ６２を表示することができる。
【０１６４】
ステップＳＡ６６において、ＣＰＵＡ３１１は、右変換行列Ａ７５Ｒを参照して、右実
世界画像のマーカー認識に成功しているかどうかを判断し、右実世界画像のマーカー認識
に成功している場合には処理はステップＳＡ６７に進み、そうでない場合（すなわち、右
変換行列Ａ７５Ｒの値がヌル値である場合）にはビュー行列生成処理を終了する。
【０１６５】
ステップＳＡ６７において、ＣＰＵＡ３１１は、右変換行列Ａ７５Ｒの値を、右ビュー
行列Ａ７６Ｒに格納する。これは、右実世界画像に含まれるマーカーＡ６１の位置及び姿
勢に基づいて計算されたマーカー座標系における外側撮像部（右）Ａ２３ｂの位置及び姿
勢を、右目用の仮想空間画像を生成するための右仮想カメラＡ６３Ｒの位置及び姿勢とし
てそのまま扱うことを意味する。
【０１６６】
ステップＳＡ６８において、ＣＰＵＡ３１１は、右ビュー行列Ａ７６Ｒの値に対して平
行移動行列（ＥｙｅＷｉｄｔｈ，０，０）を乗算した結果の値を、左ビュー行列Ａ７６Ｌ
に格納する。これは、図３１に示すように、前述のステップＳＡ６７において設定された
仮想空間のワールド座標系における右仮想カメラＡ６３Ｒの位置から、右仮想カメラ座標
系のｘ軸の負方向にＥｙｅＷｉｄｔｈの値だけずらした位置を、左目用の仮想空間画像を
生成するための左仮想カメラＡ６３Ｌの位置として扱うことを意味する。また、左仮想カ
メラＡ６３Ｌの姿勢は、右仮想カメラＡ６３Ｒの姿勢と同じとなる（すなわち、左仮想カ
メラ座標系のｘ軸，ｙ軸，ｚ軸が、右仮想カメラ座標系のｘ軸，ｙ軸，ｚ軸とそれぞれ平
行となる）。これにより、左仮想カメラＡ６３Ｌの位置及び姿勢と、右仮想カメラＡ６３
Ｒの位置及び姿勢との整合性が保たれるので、上側ＬＣＤＡ２２において正常に立体視で
きるように仮想オブジェクトＡ６２を表示することができる。
【０１６７】
このように、本実施例では、一方の仮想カメラ（例えば、左仮想カメラＡ６３Ｌ）の位
置および姿勢については、一方の外側撮像部（例えば、外側撮像部（左）Ａ２３ａ）の撮
影画像から算出された「マーカー・カメラ変換行列」を用いて設定するが（より具体的に
は、そのまま用いる）、他方の仮想カメラ（例えば、右仮想カメラＡ６３Ｒ）の位置およ
び姿勢については、他方の外側撮像部（例えば、外側撮像部（右）Ａ２３ｂ）の撮影画像
から算出された「マーカー・カメラ変換行列」を用いずに設定する。
【０１６８】
ステレオカメラでＡＲの立体視表示をおこなう場合においては、仮想カメラは右用と左
用の２つを設定する必要があり、また、「マーカー・カメラ変換行列」は外側撮像部（左
）Ａ２３ａによる変換行列（左変換行列Ａ２５Ｌ）と外側撮像部（右）Ａ２３ｂによる変
換行列（右変換行列Ａ２５Ｒ）がある。本実施形態では、各仮想カメラＡ６３Ｌ，Ａ６３
Ｒを設定するときに、各変換行列Ａ２５Ｌ，Ａ２５Ｒを用いるのではなくて、１つの変換
行列を設定して（変換行列Ａ２５Ｌ，Ａ２５Ｒの一方の変換行列をそのまま用いて、また
は、両方の変換行列Ａ２５Ｌ，Ａ２５Ｒから別の新たな１つの変換行列を生成して（平均
位置、平均姿勢とするなど））、その１つの変換行列を用いて両方の仮想カメラＡ６３Ｌ
，Ａ６３Ｒの位置および姿勢を設定する。これにより、ＡＲ認識における精度の問題を解
消することができる。
【０１６９】
ステップＳＡ６９において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値をｔｒｕｅに設
定する。これにより、実世界画像に対する仮想オブジェクトＡ６２の合成表示が開始また
は再開される。
【０１７０】
ステップＳＡ７０において、ＣＰＵＡ３１１は、ＥｙｅＭｅａｓｕｒｅの値がｔｒｕｅ
かどうかを判断し、ｔｒｕｅである場合にはビュー行列生成処理を終了し、そうでない場
合（すなわちｆａｌｓｅである場合）には処理はステップＳＡ７１に進む。
【０１７１】
ステップＳＡ７１において、ＣＰＵＡ３１１は、ステップＳＡ６４またはステップＳＡ
６８で決定された左ビュー行列Ａ７６Ｌに基づいて、左仮想カメラ座標系で表された仮想
空間の原点の座標Ｖを計算する。具体的には、図３２に示すように、（０，０，０）に対
して左ビュー行列Ａ７６Ｌを乗算することで、左仮想カメラ座標系で表された仮想空間の
原点の座標Ｖが求まる。なお、ここでは、左仮想カメラ座標系で表された仮想空間の原点
の座標をＶとしたが、これに替えて、ステップＳＡ６５またはステップＳＡ６７で決定さ
れた右ビュー行列Ａ７６Ｒに基づいて計算された、右仮想カメラ座標系で表された仮想空
間の原点の座標をＶとしてもよい。このようにして求められたＶは、外側撮像部（左）座
標系におけるマーカーＡ６１の位置と実質的に同一である（ただし、このＶの値は、仮想
空間またはマーカー座標系における長さの単位で計算されており、実世界における長さの
単位と一致するものではない。）。
【０１７２】
ステップＳＡ７２において、ＣＰＵＡ３１１は、Ｖのｚ座標値の絶対値（｜Ｖ．ｚ｜）
とＥｙｅＤｅｐｔｈの値との差の絶対値が、ＥｙｅＤｅｐｔｈの値の２０％よりも大きい
かどうかを判断し、大きい場合には処理はステップＳＡ７３に進み、そうでない場合には
ビュー行列生成処理を終了する。｜Ｖ．ｚ｜は、外側撮像部Ａ２３からマーカーＡ６１ま
での撮影方向についての距離（深さ）と実質的に同一である。すなわち、ステップＳＡ７
２では、仮想カメラ間隔決定処理（図１６）においてＥｙｅＷｉｄｔｈの値を計算したと
きを基準として、外側撮像部Ａ２３からマーカーＡ６１までの奥行き距離（深さ）が、±
２０％の範囲を超えて変化したかどうかを判断している。
【０１７３】
ステップＳＡ７３において、ＣＰＵＡ３１１は、ＥｙｅＭｅａｓｕｒｅの値をｔｒｕｅ
に設定し、さらに、ＬｏｇＩｎｄｅｘの値を１にリセットし、さらに、マーカー認識モー
ドＡ７９を両画像認識モードに設定して、ビュー行列生成処理を終了する。この結果、仮
想カメラ間隔決定処理によるＥｙｅＷｉｄｔｈの計算処理が再び開始されることになる。
【０１７４】
上記のように、仮想カメラ間隔決定処理において、ＥｙｅＷｉｄｔｈの値を前回計算し
たときを基準として、外側撮像部Ａ２３からマーカーＡ６１までの奥行き距離（深さ）が
所定範囲を超えて変化したときに、ＥｙｅＷｉｄｔｈを再計算する理由は、ゲーム装置Ａ
１０に対する外側撮像部（左）Ａ２３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度
の誤差により、外側撮像部Ａ２３からマーカーＡ６１までの奥行き距離（深さ）に応じて
最適な仮想カメラ間隔（ＥｙｅＷｉｄｔｈ）が変化するからである。例えば、外側撮像部
（左）Ａ２３ａの撮影方向と外側撮像部（右）Ａ２３ｂの撮影方向が平行になっていない
状況において、図３３に示すように外側撮像部Ａ２３からマーカーＡ６１までの奥行距離
がＤ１であるときに仮想カメラ間隔決定処理において計算されるＥｙｅＷｉｄｔｈの値を
ＥｙｅＷｉｄｔｈ１とすると、仮想空間において、左仮想カメラＡ６３Ｌと右仮想カメラ
Ａ６３Ｒは、図３４に示すようにＥｙｅＷｉｄｔｈ１の間隔を開けて配置されるのが適切
である（そうすることによって、例えば仮想空間の原点に配置した仮想オブジェクトが、
実世界画像のマーカーＡ６１上に実在するかのように、適切に立体表示されるようになる
。）。そして、図３５に示すように外側撮像部Ａ２３からマーカーＡ６１までの奥行距離
がＤ１よりも小さいＤ２に変化した場合には、仮想カメラ間隔決定処理において計算され
るＥｙｅＷｉｄｔｈの値は、ＥｙｅＷｉｄｔｈ１よりも小さいＥｙｅＷｉｄｔｈ２となり
、仮想空間において、左仮想カメラＡ６３Ｌと右仮想カメラＡ６３Ｒは、図３６に示すよ
うにＥｙｅＷｉｄｔｈ２の間隔を開けて配置されるのが適切である。
【０１７５】
（メイン実世界画像設定処理）
次に、更新処理（図１５）におけるステップＳＡ４５のメイン実世界画像設定処理の詳
細について、図１８のフローチャートを参照して説明する。
【０１７６】
図１８のステップＳＡ８０において、ＣＰＵＡ３１１は、ＡＲＡｃｔｉｖｅの値がｔｒ
ｕｅかどうかを判断し、ｔｒｕｅである場合には、処理はステップＳＡ８１に進み、そう
でない場合（すなわちＡＲＡｃｔｉｖｅの値がｆａｌｓｅである場合）には、メイン実世
界画像設定処理を終了する。
【０１７７】
ステップＳＡ８１において、ＣＰＵＡ３１１は、左射影行列Ａ７７Ｌおよび右射影行列
Ａ７７Ｒを生成する。左射影行列Ａ７７Ｌは、左仮想カメラＡ６３Ｌから見た仮想空間の
描画範囲を規定する行列であって、本実施形態では、図３７に示すように、メイン処理の
ステップＳＡ２３で決定した左実世界画像の描画範囲に対応するような左射影行列Ａ７７
Ｌが生成される。右射影行列Ａ７７Ｒは、右仮想カメラＡ６３Ｒから見た仮想空間の描画
範囲を規定する行列であって、本実施形態では、図３８に示すように、メイン処理のステ
ップＳＡ２７で決定した右実世界画像の描画範囲に対応するような右射影行列Ａ７７Ｒが
生成される。
【０１７８】
具体的には、左仮想カメラＡ６３Ｌの射影行列は、外側撮像部（左）Ａ２３ａの水平方
向の画角と、当該左仮想カメラの水平方向の画角との比が、左実世界画像の横方向の長さ
における描画範囲の横方向の位置および大きさを表す比と、同じになるような画角を持つ
視体積を定義する射影行列として設定される。
【０１７９】
ステップＳＡ８２において、ＣＰＵＡ３１１は、メイン実世界画像が左実世界画像かど
うかを判断し、メイン実世界画像が左実世界画像である場合には処理はステップＳＡ８３
に進み、そうでない場合（すなわち、メイン実世界画像が右実世界画像である場合）には
処理はステップＳＡ８６に進む。
【０１８０】
ステップＳＡ８３において、ＣＰＵＡ３１１は、（０，０，０，１）に左ビュー行列Ａ
７６Ｌおよび左射影行列Ａ７７Ｌを乗算することによって、ベクトルＶを求める。
【０１８１】
ステップＳＡ８４において、ＣＰＵＡ３１１は、ベクトルＶの第１成分（ｘ）を第４成
分（ｗ）で乗算した結果の値（Ｖ．ｘ／Ｖ．ｗ）が０．５より大きいかどうかを判断し、
０．５より大きい場合には処理はステップＳＡ８５に進み、そうでない場合にはメイン実
世界画像設定処理を終了する。上記のＶ．ｘ／Ｖ．ｗの値は、左目用の仮想空間画像上で
、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するかを示して
いる（なお、「左目用の仮想空間画像上で、仮想空間のワールド座標系の原点が、画像の
左右方向のどの位置に存在するか」は、「外側撮像部（左）Ａ２３ａの撮影画像上で、マ
ーカー座標系の原点が、画像の左右方向のどの位置に存在するか」と等価である）。仮想
空間のワールド座標系の原点が左目用の仮想空間画像の中央に位置するときは、Ｖ．ｘ／
Ｖ．ｗの値が０となり、仮想空間のワールド座標系の原点が左目用の仮想空間画像の左端
に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が−１．０に近づき、仮想空間のワールド座標系の原
点が左目用の仮想空間画像の右端に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が＋１．０に近づく
。Ｖ．ｘ／Ｖ．ｗの値が０．５より大きいということは、仮想空間のワールド座標系の原
点が左目用の仮想空間画像の右端領域（図３９の斜線領域）に位置することを意味する。
言い換えれば、外側撮像部（左）Ａ２３ａによって撮像された左実世界画像の右端領域に
マーカーＡ６１が位置していることを意味する。
【０１８２】
ステップＳＡ８５において、ＣＰＵＡ３１１は、メイン実世界画像を左実世界画像から
右実世界画像へと変更する。すなわち、左仮想カメラＡ６３Ｌによる仮想空間画像上で、
仮想空間の原点が、画像の中心よりも所定距離だけ（または画像の左右幅の所定割合だけ
）右の位置よりも右側に存在するときに、メイン実世界画像を右実世界画像に変更する。
または、外側撮像部（左）Ａ２３ａによる撮影画像上で、マーカー座標系の原点が、画像
の中心よりも所定距離だけ（または画像の左右幅の所定割合だけ）右の位置よりも右側に
存在するときに、メイン実世界画像を右実世界画像に変更する。これにより、例えば左実
世界画像においてマーカーＡ６１の位置が徐々に右方向へ移動して、最終的に左実世界画
像からマーカーＡ６１が消えてしまったとしても、左実世界画像からマーカーＡ６１が消
えてしまう前にメイン実世界画像が右実世界画像へと変更されるので、片画像認識モード
において継続的にマーカーＡ６１を認識することが可能となる。ステップＳＡ８５の処理
が終わると、メイン実世界画像設定処理を終了する。
【０１８３】
ステップＳＡ８６において、ＣＰＵＡ３１１は、（０，０，０，１）に右ビュー行列Ａ
７６Ｒおよび右射影行列Ａ７７Ｒを乗算することによって、ベクトルＶを求める。
【０１８４】
ステップＳＡ８７において、ＣＰＵＡ３１１は、ベクトルＶの第１成分（ｘ）を第４成
分（ｗ）で乗算した結果の値（Ｖ．ｘ／Ｖ．ｗ）が−０．５より小さいかどうかを判断し
、−０．５より小さい場合には処理はステップＳＡ８７に進み、そうでない場合にはメイ
ン実世界画像設定処理を終了する。上記のＶ．ｘ／Ｖ．ｗの値は、右目用の仮想空間画像
上で、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するかを示
している。仮想空間のワールド座標系の原点が右目用の仮想空間画像の中央に位置すると
きは、Ｖ．ｘ／Ｖ．ｗの値が０となり、仮想空間のワールド座標系の原点が右目用の仮想
空間画像の左端に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が−１．０に近づき、仮想空間のワー
ルド座標系の原点が右目用の仮想空間画像の右端に近づくほど、Ｖ．ｘ／Ｖ．ｗの値が＋
１．０に近づく。Ｖ．ｘ／Ｖ．ｗの値が−０．５より小さいということは、仮想空間のワ
ールド座標系の原点が右目用の仮想空間画像の左端領域（図４０の斜線領域）に位置する
ことを意味する。言い換えれば、外側撮像部（右）Ａ２３ｂによって撮像された右実世界
画像の左端領域にマーカーＡ６１が位置していることを意味する。
【０１８５】
ステップＳＡ８８において、ＣＰＵＡ３１１は、メイン実世界画像を右実世界画像から
左実世界画像へと変更する。これにより、例えば右実世界画像においてマーカーＡ６１の
位置が徐々に左方向へ移動して、最終的に右実世界画像からマーカーＡ６１が消えてしま
ったとしても、右実世界画像からマーカーＡ６１が消えてしまう前にメイン実世界画像が
左実世界画像へと変更されるので、片画像認識モードにおいて継続的にマーカーＡ６１を
認識することが可能となる。ステップＳＡ８８の処理が終わると、メイン実世界画像設定
処理を終了する。
【０１８６】
（表示モード切替処理）
次に、更新処理（図１５）におけるステップＳＡ４６の表示モード切替処理の詳細につ
いて、図１９のフローチャートを参照して説明する。
【０１８７】
図１９のステップＳＡ９０において、ＣＰＵＡ３１１は、表示モードが同期表示モード
かどうかを判断し、同期表示モードである場合には処理はステップＳＡ９１に進み、そう
でない場合（すなわち、非同期表示モードである場合）には処理はステップＳＡ９６に進
む。
【０１８８】
ステップＳＡ９１において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈが０より大きく、か
つ、左実世界画像および右実世界画像のいずれかの実世界画像のマーカー認識に成功して
いるかどうかを判断する。そして、判断結果が肯定である場合には、処理はステップＳＡ
９２に進み、判断結果が否定である場合（すなわち、ＥｙｅＷｉｄｔｈが０であるか、も
しくは、左実世界画像および右実世界画像の両方の実世界画像のマーカー認識に失敗して
いる場合）には、処理はステップＳＡ９３に進む。
【０１８９】
ステップＳＡ９２において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔ（図１２参照）の
値を２０に設定する。ＳｙｎｃＣｏｕｎｔは、表示モードを同期表示モードから非同期表
示モードへと切り替えるタイミングを決定するための変数である。ステップＳＡ９２の処
理が終わると、表示モード切替処理を終了する。
【０１９０】
ステップＳＡ９３において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔの値をデクリメン
トする。
【０１９１】
ステップＳＡ９４において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔの値が０より大き
いかどうかを判断し、０より大きい場合には表示モード切替処理を終了、そうでない場合
（すなわち、０である場合）には処理はステップＳＡ９５に進む。
【０１９２】
ステップＳＡ９５において、ＣＰＵＡ３１１は、ＬｏｇＩｎｄｅｘの値を１に設定し、
さらにＥｙｅＷｉｄｔｈおよびＥｙｅＤｅｐｔｈの値を０に設定し、さらに表示モードＡ
７８を同期表示モードから非同期表示モードへと変更し、さらにマーカー認識モードＡ７
９を両画像認識モードに設定する。ステップＳＡ９５の処理が終わると、表示モード切替
処理を終了する。
【０１９３】
ステップＳＡ９６において、ＣＰＵＡ３１１は、ＥｙｅＷｉｄｔｈが０より大きく、か
つ、左実世界画像および右実世界画像のいずれかの実世界画像のマーカー認識に成功して
いるかどうかを判断する。そして、判断結果が肯定である場合には、処理はステップＳＡ
９７に進み、判断結果が否定である場合（すなわち、ＥｙｅＷｉｄｔｈが０であるか、も
しくは、左実世界画像および右実世界画像の両方の実世界画像のマーカー認識に失敗して
いる場合）には、表示モード切替処理を終了する。
【０１９４】
ステップＳＡ９７において、ＣＰＵＡ３１１は、ＳｙｎｃＣｏｕｎｔの値を２０に設定
し、さらに表示モードを非同期表示モードから同期表示モードへと変更する。ステップＳ
Ａ９７の処理が終わると、表示モード切替処理を終了する。
【０１９５】
上記のように、表示モード切替処理によって、同期表示モードと非同期表示モードとの
間で表示モードが適宜に切り替えられる。より具体的には、画像表示プログラムの実行が
開始された直後は表示モードは非同期表示モードとなり、上側ＬＣＤＡ２２には常に最新
の実世界画像が表示される。その後、マーカーＡ６１が認識されて、上側ＬＣＤＡ２２に
表示される実世界画像に仮想オブジェクトＡ６２を合成表示できる状態になった時点で、
表示モードは非同期表示モードから同期表示モードへと変化する。同期表示モードでは、
仮想オブジェクトＡ６２を実世界画像内の正しい位置に合成表示するために、最後にマー
カーＡ６１を認識することができた実世界画像（必ずしも最新の実世界画像とは限らない
）に仮想オブジェクトＡ６２を合成した合成画像が、上側ＬＣＤＡ２２に表示される。こ
れにより、実世界画像に合成表示される仮想オブジェクトＡ６２の位置ズレを防止するこ
とができる。その後、マーカーＡ６１を認識することができない状態が一定時間継続した
時点で、表示モードは同期表示モードから非同期表示モードへと変化し、上側ＬＣＤＡ２
２には常に最新の実世界画像が表示されるようになる。これにより、マーカーＡ６１を認
識することができない状態が続いたときに、上側ＬＣＤＡ２２に古い画像が表示され続け
てしまうことを防止することができる。
【０１９６】
（本実施形態の効果）
以上のように、本実施形態によれば、左実世界画像および右実世界画像のいずれか一方
のマーカー認識結果から計算される一方の外側撮像部（外側撮像部（左）Ａ２３ａまたは
外側撮像部（右）Ａ２３ｂ）のマーカー座標系における位置及び姿勢に基づいて、一方の
仮想カメラの位置および姿勢が決定され、さらに、左仮想カメラＡ６３Ｌの位置及び姿勢
と右仮想カメラＡ６３Ｒの位置及び姿勢が理想的な関係となるように、他方の仮想カメラ
の位置及び姿勢が決定される。したがって、立体視可能な表示装置において、正常に立体
視できるように仮想オブジェクトＡ６２を表示することができる。
【０１９７】
また、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（左）
Ａ２３ａの位置と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮
像部（右）Ａ２３ｂの位置とに基づいて、両外側撮像部の間隔を算出し、その結果に基づ
いて仮想カメラ間隔（ＥｙｅＷｉｄｔｈ）を決定し、一方の仮想カメラの位置を当該仮想
カメラの座標系の撮影方向に直交する方向に当該間隔だけ移動させることにより他方の仮
想カメラの位置を決定する。これにより、両仮想カメラが撮影方向に直行する方向に並ぶ
ように設定することができる。また、仮に、外側撮像部（左）Ａ２３ａと外側撮像部（右
）Ａ２３ｂの間隔が既知でない場合や、ゲーム装置Ａ１０に対する外側撮像部（左）Ａ２
３ａおよび外側撮像部（右）Ａ２３ｂの取り付け精度が悪い場合であっても、左仮想カメ
ラＡ６３Ｌと右仮想カメラＡ６３Ｒを理想的な間隔で配置することができる。
【０１９８】
また、仮想カメラ間隔決定処理によって仮想カメラ間隔（ＥｙｅＷｉｄｔｈ）が決定さ
れた後は、メイン実世界画像に対してのみマーカー認識処理を行えばよいため、常に左実
世界画像と右実世界画像の両方に対してマーカー認識処理を行う場合と比較して、処理負
担を軽減することができる。
【０１９９】
なお、外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔が既知である場合
には、仮想カメラ間隔決定処理の結果に基づいて、実世界における外側撮像部（左）Ａ２
３ａと外側撮像部（右）Ａ２３ｂの間隔（例えば３．５ｃｍ）に対応する、マーカー座標
系における外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔（ＥｙｅＷｉｄ
ｔｈ）が判明する。したがって、例えば、身長が３０ｃｍのキャラクタ（仮想オブジェク
ト）を実世界画像に合成表示したり、実世界画像に合成表示されるキャラクタ（仮想オブ
ジェクト）を秒速１０ｃｍで移動させたりというように、仮想空間において、実世界のス
ケールに基づいた処理を行うことが可能となる。
【０２００】
（変形例）
なお、上記実施形態では、実世界画像に含まれるマーカーＡ６１の位置及び姿勢を認識
して、その認識結果に応じて実世界画像に仮想オブジェクトＡ６２を合成しているが、他
の実施形態では、マーカーＡ６１に限らず、任意の認識対象の位置及び／又は姿勢を認識
して、その認識結果に応じて実世界画像に仮想オブジェクトＡ６２を合成してもよい。認
識対象の一例として、人物の顔が挙げられる。
【０２０１】
また、上記実施形態では、外側撮像部Ａ２３によってリアルタイムに撮像される実世界
画像に基づいて上側ＬＣＤＡ２２に立体画像を表示しているが、他の実施形態では、外側
撮像部Ａ２３や外部のステレオカメラ等によって過去に撮像された動画像データに基づい
て上側ＬＣＤＡ２２に立体画像を表示するようにしてもよい。
【０２０２】
また、上記実施形態では、外側撮像部Ａ２３がゲーム装置Ａ１０に予め搭載されている
が、他の実施形態では、ゲーム装置Ａ１０に着脱可能な外付け型のカメラを利用してもよ
い。
【０２０３】
また、上記実施形態では、上側ＬＣＤＡ２２がゲーム装置Ａ１０に予め搭載されている
が、他の実施形態では、ゲーム装置Ａ１０に着脱可能な外付け型の立体視ディスプレイを
利用してもよい。
【０２０４】
また、上記実施形態では、マーカー座標系の原点の位置に仮想オブジェクトＡ６２を配
置しているが、他の実施形態では、マーカー座標系の原点から離れた位置に仮想オブジェ
クトＡ６２を配置してもよい。
【０２０５】
また、上記実施形態では、仮想空間に仮想オブジェクトを１つだけ配置しているが、他
の実施形態では、仮想空間に複数の仮想オブジェクトを配置してもよい。
【０２０６】
また、上記実施形態では、仮想カメラ間隔決定処理において、マーカー座標系における
外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間隔（ＥｙｅＷｉｄｔｈ）を計
算した後、当該間隔に基づいて、マーカー認識結果に基づいて計算された左仮想カメラＡ
６３Ｌおよび右仮想カメラＡ６３Ｒのいずれか一方の仮想カメラの位置及び姿勢から、他
方の仮想カメラの位置及び姿勢を決定しているが、他の実施形態では、左実世界画像に対
するマーカー認識結果に基づいて計算された外側撮像部（左）Ａ２３ａの位置及び姿勢と
、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部（右）Ａ２３
ｂの位置及び姿勢とに基づいて、外側撮像部Ａ２３の位置および姿勢（例えば、外側撮像
部（右）Ａ２３ａの位置と外側撮像部（左）Ａ２３ｂの位置の平均位置、外側撮像部（右
）Ａ２３ａの姿勢と外側撮像部（左）Ａ２３ｂの姿勢の平均姿勢）を算出し、それに基づ
いて、左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒの位置及び／又は姿勢を決定す
るようにしてもよい。例えば、左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒの姿勢
が、いずれも、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部
（左）Ａ２３ａの姿勢と、右実世界画像に対するマーカー認識結果に基づいて計算された
外側撮像部（右）Ａ２３ｂの姿勢のちょうど中間の姿勢となるように、左仮想カメラＡ６
３Ｌおよび右仮想カメラＡ６３Ｒの姿勢を決定するようにしてもよい。また例えば、仮想
カメラ間隔決定処理において外側撮像部（左）Ａ２３ａと外側撮像部（右）Ａ２３ｂの間
隔（ＥｙｅＷｉｄｔｈ）を計算した後に、左実世界画像に対するマーカー認識結果に基づ
いて計算された外側撮像部（左）Ａ２３ａの位置と、右実世界画像に対するマーカー認識
結果に基づいて計算された外側撮像部（右）Ａ２３ｂの位置の平均位置に対応する仮想空
間内の位置から互いに反対方向にＥｙｅＷｉｄｔｈ／２だけ仮想カメラの撮影方向と直交
する方向にずらすことによって、左仮想カメラＡ６３Ｌおよび右仮想カメラＡ６３Ｒの位
置を決定するようにしてもよい。
【０２０７】
また、上記実施形態では、仮想カメラ間隔決定処理によって仮想カメラ間隔（ＥｙｅＷ
ｉｄｔｈ）が決定された後は、メイン実世界画像に対してのみマーカー認識処理を行って
いるが、他の実施形態では、常に左実世界画像と右実世界画像の両方に対してマーカー認
識処理を行うようにしてもよい。
【０２０８】
また、上記実施形態では、上側ＬＣＤＡ２２がパララックスバリア方式の立体表示装置
であるが、他の実施形態では、上側ＬＣＤＡ２２がレンチキュラー方式等の他の任意の方
式の立体表示装置であってもよい。例えば、レンチキュラー方式の立体表示装置を利用す
る場合には、左目用画像と右目用画像をＣＰＵＡ３１１または他のプロセッサで合成して
から、当該合成画像をレンチキュラー方式の立体表示装置に供給するようにしてもよい。
【０２０９】
また、上記実施形態では、ゲーム装置Ａ１０を用いて実世界画像に仮想オブジェクトを
合成表示しているが、他の実施形態では、任意の情報処理装置または情報処理システム（
例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、携帯電話
、パーソナルコンピュータ、カメラ等）を用いて実世界画像に仮想オブジェクトを合成表
示してもよい。
【０２１０】
また、上記実施形態では、一台の情報処理装置（ゲーム装置Ａ１０）のみによって画像
表示処理を実行しているが、他の実施形態では、互いに通信可能な複数の情報処理装置を
有する画像表示システムにおいて、当該複数の情報処理装置が画像表示処理を分担して実
行するようにしてもよい。
【０２１１】
（ゲーム装置の構成）
以下、本発明の他の一実施形態に係る情報処理装置であるゲーム装置について説明する
。なお、本発明は、このような装置に限定されるものではなく、このような装置において
実行される情報処理プログラムであっても、このような装置に関係がある情報処理システ
ムであっても構わない。さらに、本発明は、このような装置における情報処理方法であっ
ても構わない。
【０２１２】
図４１〜図４３は、ゲーム装置Ｂ１０の外観を示す平面図である。ゲーム装置Ｂ１０は
携帯型のゲーム装置であり、図４１〜図４３に示すように折り畳み可能に構成されている
。図４１及び図４２は、開いた状態（開状態）におけるゲーム装置Ｂ１０を示し、図４３
は、閉じた状態（閉状態）におけるゲーム装置Ｂ１０を示している。図４１は、開状態に
おけるゲーム装置Ｂ１０の正面図であり、図４２は、開状態におけるゲーム装置Ｂ１０の
右側面図である。ゲーム装置Ｂ１０は、撮像部によって画像を撮像し、撮像した画像を画
面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲー
ム装置Ｂ１０は、交換可能なメモリカード内に記憶され、又は、サーバーや他のゲーム装
置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで
撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示
したりすることができる。
【０２１３】
まず、図４１〜図４３を参照して、ゲーム装置Ｂ１０の外観構成について説明する。図
４１〜図４３に示されるように、ゲーム装置Ｂ１０は、下側ハウジングＢ１１及び上側ハ
ウジングＢ２１を有する。下側ハウジングＢ１１と上側ハウジングＢ２１とは、開閉可能
（折り畳み可能）に接続されている。本実施形態では、各ハウジングＢ１１及びＢ２１は
ともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
【０２１４】
図４１及び図４２に示されるように、下側ハウジングＢ１１の上側長辺部分には、下側
ハウジングＢ１１の内側面（主面）Ｂ１１Ｂに対して垂直な方向に突起する突起部Ｂ１１
Ａが設けられる。また、上側ハウジングＢ２１の下側長辺部分には、上側ハウジングＢ２
１の下側面から当該下側面に垂直な方向に突起する突起部Ｂ２１Ａが設けられる。下側ハ
ウジングＢ１１の突起部１１Ａと上側ハウジングＢ２１の突起部Ｂ２１Ａとが連結される
ことにより、下側ハウジングＢ１１と上側ハウジングＢ２１とが、折り畳み可能に接続さ
れる。
【０２１５】
（下側ハウジングの説明）
まず、下側ハウジングＢ１１の構成について説明する。図４１〜図４３に示すように、
下側ハウジングＢ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａ
ｙ：液晶表示装置）Ｂ１２、タッチパネルＢ１３、各操作ボタンＢ１４Ａ〜Ｂ１４Ｌ（図
４１、図４３）、アナログスティックＢ１５、ＬＥＤＢ１６Ａ〜Ｂ１６Ｂ、挿入口Ｂ１７
、及び、マイクロフォン用孔Ｂ１８が設けられる。以下、これらの詳細について説明する
。
【０２１６】
図４１に示すように、下側ＬＣＤＢ１２は下側ハウジングＢ１１に収納される。下側Ｌ
ＣＤＢ１２は横長形状であり、長辺方向が下側ハウジングＢ１１の長辺方向に一致するよ
うに配置される。下側ＬＣＤＢ１２は下側ハウジングＢ１１の中央に配置される。下側Ｌ
ＣＤＢ１２は、下側ハウジングＢ１１の内側面（主面）に設けられ、下側ハウジングＢ１
１に設けられた開口部から当該下側ＬＣＤＢ１２の画面が露出される。ゲーム装置Ｂ１０
を使用しない場合には閉状態としておくことによって、下側ＬＣＤＢ１２の画面が汚れた
り傷ついたりすることを防止することができる。下側ＬＣＤＢ１２の画素数は、例えば、
２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤＢ１２は、後述する
上側ＬＣＤＢ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置
である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌ
ｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意
の表示装置を利用してもよい。また、下側ＬＣＤＢ１２として、任意の解像度の表示装置
を利用することができる。
【０２１７】
図４１に示されるように、ゲーム装置Ｂ１０は、入力装置として、タッチパネルＢ１３
を備えている。タッチパネルＢ１３は、下側ＬＣＤＢ１２の画面上に装着されている。な
お、本実施形態では、タッチパネルＢ１３は抵抗膜方式のタッチパネルである。ただし、
タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネル
を用いることができる。本実施形態では、タッチパネルＢ１３として、下側ＬＣＤＢ１２
の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＢ１
３の解像度と下側ＬＣＤＢ１２の解像度が一致している必要はない。また、下側ハウジン
グＢ１１の上側面には挿入口Ｂ１７（図４１及び図４３（ｄ）に示す点線）が設けられて
いる。挿入口Ｂ１７は、タッチパネルＢ１３に対する操作を行うために用いられるタッチ
ペンＢ２８を収納することができる。なお、タッチパネルＢ１３に対する入力は通常タッ
チペンＢ２８を用いて行われるが、タッチペンＢ２８に限らずユーザの指でタッチパネル
Ｂ１３に対する入力をすることも可能である。
【０２１８】
各操作ボタンＢ１４Ａ〜Ｂ１４Ｌは、所定の入力を行うための入力装置である。図４１
に示されるように、下側ハウジングＢ１１の内側面（主面）には、各操作ボタンＢ１４Ａ
〜Ｂ１４Ｌのうち、十字ボタンＢ１４Ａ（方向入力ボタンＢ１４Ａ）、ボタンＢ１４Ｂ、
ボタンＢ１４Ｃ、ボタンＢ１４Ｄ、ボタンＢ１４Ｅ、電源ボタンＢ１４Ｆ、セレクトボタ
ンＢ１４Ｊ、ＨＯＭＥボタンＢ１４Ｋ、及びスタートボタンＢ１４Ｌが、設けられる。十
字ボタンＢ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有し
ている。ボタンＢ１４Ｂ、ボタンＢ１４Ｃ、ボタンＢ１４Ｄ、ボタンＢ１４Ｅは、十字状
に配置される。ボタンＢ１４Ａ〜Ｂ１４Ｅ、セレクトボタンＢ１４Ｊ、ＨＯＭＥボタンＢ
１４Ｋ、及びスタートボタンＢ１４Ｌには、ゲーム装置Ｂ１０が実行するプログラムに応
じた機能が適宜割り当てられる。例えば、十字ボタンＢ１４Ａは選択操作等に用いられ、
各操作ボタンＢ１４Ｂ〜Ｂ１４Ｅは例えば決定操作やキャンセル操作等に用いられる。ま
た、電源ボタンＢ１４Ｆは、ゲーム装置Ｂ１０の電源をオン／オフするために用いられる
。
【０２１９】
アナログスティックＢ１５は、方向を指示するデバイスであり、下側ハウジングＢ１１
の内側面の下側ＬＣＤＢ１２より左側領域の上部領域に設けられる。図４１に示すように
、十字ボタンＢ１４Ａは下側ＬＣＤＢ１２より左側領域の下部領域に設けられるので、ア
ナログスティックＢ１５は、十字ボタンＢ１４Ａの上方に設けられる。また、アナログス
ティックＢ１５、及び、十字ボタンＢ１４Ａは、下側ハウジングを把持した左手の親指で
操作可能な位置に設計される。また、アナログスティックＢ１５を上部領域に設けたこと
により、下側ハウジングＢ１１を把持する左手の親指が自然と位置するところにアナログ
スティックＢ１５が配され、十字ボタンＢ１４Ａは、左手の親指を少し下にずらした位置
に配される。アナログスティックＢ１５は、そのキートップが、下側ハウジングＢ１１の
内側面に平行にスライドするように構成されている。アナログスティックＢ１５は、ゲー
ム装置Ｂ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定の
オブジェクトが登場するゲームがゲーム装置Ｂ１０によって実行される場合、アナログス
ティックＢ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力
装置として機能する。この場合において、所定のオブジェクトはアナログスティックＢ１
５のキートップがスライドした方向に移動される。なお、アナログスティックＢ１５とし
て、上下左右及び斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能
としたものを用いても良い。
【０２２０】
十字状に配置される、ボタンＢ１４Ｂ、ボタンＢ１４Ｃ、ボタンＢ１４Ｄ、ボタンＢ１
４Ｅの４つのボタンは、下側ハウジングＢ１１を把持する右手の親指が自然と位置すると
ころに配置される。また、これらの４つのボタンと、アナログスティックＢ１５とは、下
側ＬＣＤＢ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっ
ては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすること
も可能である。
【０２２１】
また、下側ハウジングＢ１１の内側面には、マイクロフォン用孔Ｂ１８が設けられる。
マイクロフォン用孔Ｂ１８の下部には後述する音声入力装置としてのマイク（図４７参照
）が設けられ、当該マイクがゲーム装置Ｂ１０の外部の音を検出する。
【０２２２】
図４３（ａ）は閉状態におけるゲーム装置Ｂ１０の左側面図であり、図４３（ｂ）は閉
状態におけるゲーム装置Ｂ１０の正面図であり、図４３（ｃ）は閉状態におけるゲーム装
置Ｂ１０の右側面図であり、図４３（ｄ）は閉状態におけるゲーム装置Ｂ１０の背面図で
ある。図４３（ｂ）及び（ｄ）に示されるように、下側ハウジングＢ１１の上側面には、
ＬボタンＢ１４Ｇ及びＲボタンＢ１４Ｈが設けられている。ＬボタンＢ１４Ｇは、下側ハ
ウジングＢ１１の上面の左端部に設けられ、ＲボタンＢ１４Ｈは、下側ハウジングＢ１１
の上面の右端部に設けられる。後述のように、ＬボタンＢ１４Ｇ及びＲボタンＢ１４Ｈは
、撮像部のシャッターボタン（撮影指示ボタン）として機能する。また、図４３（ａ）に
示されるように、下側ハウジングＢ１１の左側面には、音量ボタンＢ１４Ｉが設けられる
。音量ボタンＢ１４Ｉは、ゲーム装置Ｂ１０が備えるスピーカの音量を調整するために用
いられる。
【０２２３】
図４３（ａ）に示されるように、下側ハウジングＢ１１の左側面には開閉可能なカバー
部Ｂ１１Ｃが設けられる。このカバー部Ｂ１１Ｃの内側には、ゲーム装置Ｂ１０とデータ
保存用外部メモリＢ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる
。データ保存用外部メモリＢ４５は、コネクタに着脱自在に装着される。データ保存用外
部メモリＢ４５は、例えば、ゲーム装置Ｂ１０によって撮像された画像のデータを記憶（
保存）するために用いられる。なお、上記コネクタ及びそのカバー部Ｂ１１Ｃは、下側ハ
ウジングＢ１１の右側面に設けられてもよい。
【０２２４】
また、図４３（ｄ）に示されるように、下側ハウジングＢ１１の上側面には、ゲーム装
置Ｂ１０とゲームプログラムを記録した外部メモリＢ４４を挿入するための挿入口Ｂ１１
Ｄが設けられ、その挿入口Ｂ１１Ｄの内部には、外部メモリＢ４４と電気的に着脱自在に
接続するためのコネクタ（図示せず）が設けられる。当該外部メモリＢ４４がゲーム装置
Ｂ１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネ
クタ及びその挿入口Ｂ１１Ｄは、下側ハウジングＢ１１の他の側面（例えば、右側面等）
に設けられてもよい。
【０２２５】
また、図４１及び図４３（ｃ）に示されるように、下側ハウジングＢ１１の下側面には
ゲーム装置Ｂ１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＢ１６Ａ、下
側ハウジングＢ１１の右側面にはゲーム装置Ｂ１０の無線通信の確立状況をユーザに通知
する第２ＬＥＤＢ１６Ｂが設けられる。ゲーム装置Ｂ１０は他の機器との間で無線通信を
行うことが可能であり、第２ＬＥＤＢ１６Ｂは、無線通信が確立している場合に点灯する
。ゲーム装置Ｂ１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式に
より、無線ＬＡＮに接続する機能を有する。下側ハウジングＢ１１の右側面には、この無
線通信の機能を有効／無効にする無線スイッチＢ１９が設けられる（図４３（ｃ）参照）
。
【０２２６】
なお、図示は省略するが、下側ハウジングＢ１１には、ゲーム装置Ｂ１０の電源となる
充電式電池が収納され、下側ハウジングＢ１１の側面（例えば、上側面）に設けられた端
子を介して当該電池を充電することができる。
【０２２７】
（上側ハウジングの説明）
次に、上側ハウジングＢ２１の構成について説明する。図４１〜図４３に示すように、
上側ハウジングＢ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａ
ｙ：液晶表示装置）Ｂ２２、外側撮像部Ｂ２３（外側撮像部（左）Ｂ２３ａ及び外側撮像
部（右）Ｂ２３ｂ）、内側撮像部Ｂ２４、３Ｄ調整スイッチＢ２５、及び、３Ｄインジケ
ータＢ２６が設けられる。以下、これらの詳細について説明する。
【０２２８】
図４１に示すように、上側ＬＣＤＢ２２は上側ハウジングＢ２１に収納される。上側Ｌ
ＣＤＢ２２は、横長形状であり、長辺方向が上側ハウジングＢ２１の長辺方向に一致する
ように配置される。上側ＬＣＤＢ２２は上側ハウジングＢ２１の中央に配置される。上側
ＬＣＤＢ２２の画面の面積は、下側ＬＣＤＢ１２の画面の面積よりも大きく設定される。
また、上側ＬＣＤＢ２２の画面は、下側ＬＣＤＢ１２の画面よりも横長に設定される。す
なわち、上側ＬＣＤＢ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤＢ１
２の画面のアスペクト比における横幅の割合よりも大きく設定される。
【０２２９】
上側ＬＣＤＢ２２の画面は、上側ハウジングＢ２１の内側面（主面）Ｂ２１Ｂに設けら
れ、上側ハウジングＢ２１に設けられた開口部から当該上側ＬＣＤＢ２２の画面が露出さ
れる。また、図４２及び図４４に示すように、上側ハウジングＢ２１の内側面は、透明な
スクリーンカバーＢ２７によって覆われている。図４４は、上側ハウジングＢ２１の内側
面からスクリーンカバーＢ２７を分解した状態を示す分解図である。当該スクリーンカバ
ーＢ２７は、上側ＬＣＤＢ２２の画面を保護するとともに、上側ＬＣＤＢ２２と上側ハウ
ジングＢ２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤＢ
２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお
、本実施形態では上側ＬＣＤＢ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅ
ｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されて
もよい。また、上側ＬＣＤＢ２２として、任意の解像度の表示装置を利用することができ
る。
【０２３０】
上側ＬＣＤＢ２２は、立体視可能な画像を表示することが可能な表示装置である。また
、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される
。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互
に表示される方式の表示装置である。又は、左目用画像と右目用画像とが交互に表示され
る方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置であ
る。そして、横方向に交互に表示される左目用画像と右目用画像とを左目及び右目のそれ
ぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア
方式）のものが用いられる。本実施形態では、上側ＬＣＤＢ２２はパララックスバリア方
式のものとする。上側ＬＣＤＢ２２は、右目用画像と左目用画像とを用いて、裸眼で立体
視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤＢ２２は、視差バリアを用
いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユ
ーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また
、上側ＬＣＤＢ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無
効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味
で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左
目にも見えるような表示モードである）。このように、上側ＬＣＤＢ２２は、立体視可能
な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）
平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替え
は、後述する３Ｄ調整スイッチＢ２５によって行われる。
【０２３１】
外側撮像部Ｂ２３は、上側ハウジングＢ２１の外側面（上側ＬＣＤＢ２２が設けられた
主面と反対側の背面）Ｂ２１Ｄに設けられた２つの撮像部（Ｂ２３ａ及びＢ２３ｂ）の総
称である。外側撮像部（左）Ｂ２３ａと外側撮像部（右）Ｂ２３ｂの撮像方向は、いずれ
も当該外側面Ｂ２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上
側ＬＣＤＢ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すな
わち、外側撮像部（左）Ｂ２３ａの撮像方向及び外側撮像部（右）Ｂ２３ｂの撮像方向は
、平行である。外側撮像部（左）Ｂ２３ａと外側撮像部（右）Ｂ２３ｂとは、ゲーム装置
Ｂ１０が実行するプログラムによって、ステレオカメラとして使用することが可能である
。また、プログラムによっては、２つの外側撮像部（Ｂ２３ａ及びＢ２３ｂ）のいずれか
一方を単独で用いて、外側撮像部Ｂ２３を非ステレオカメラとして使用することも可能で
ある。また、プログラムによっては、２つの外側撮像部（Ｂ２３ａ及びＢ２３ｂ）で撮像
した画像を合成して又は補完的に使用することにより撮像範囲を広げた撮像をおこなうこ
とも可能である。本実施形態では、外側撮像部Ｂ２３は、外側撮像部（左）Ｂ２３ａ及び
外側撮像部（右）Ｂ２３ｂの２つの撮像部で構成される。外側撮像部（左）Ｂ２３ａ及び
外側撮像部（右）Ｂ２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、
ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズ
ーム機構を有するものでもよい。
【０２３２】
図４１の破線及び図４３（ｂ）の実線で示されるように、外側撮像部Ｂ２３を構成する
外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ＬＣＤＢ２２の画面の
横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣ
ＤＢ２２の画面の横方向と平行になるように、外側撮像部（左）Ｂ２３ａ及び外側撮像部
（右）Ｂ２３ｂが配置される。図４１の破線で示すＢ２３ａ及びＢ２３ｂは、上側ハウジ
ングＢ２１の内側面とは反対側の外側面に存在する外側撮像部（左）Ｂ２３ａ及び外側撮
像部（右）Ｂ２３ｂをそれぞれ表している。図４１に示すように、ユーザが上側ＬＣＤＢ
２２の画面を正面から視認した場合に、外側撮像部（左）Ｂ２３ａは左側に外側撮像部（
右）Ｂ２３ｂは右側にそれぞれ位置している。外側撮像部Ｂ２３をステレオカメラとして
機能させるプログラムが実行されている場合、外側撮像部（左）Ｂ２３ａは、ユーザの左
目で視認される左目用画像を撮像し、外側撮像部（右）Ｂ２３ｂは、ユーザの右目で視認
される右目用画像を撮像する。外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂ
の間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定
されてもよい。なお、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂの間隔は
、この範囲に限らない。
【０２３３】
なお、本実施例においては、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３は
ハウジングに固定されており、撮像方向を変更することはできない。
【０２３４】
また、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ＬＣＤＢ２２
（上側ハウジングＢ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置さ
れる。すなわち、外側撮像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ＬＣ
ＤＢ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮
像部（左）Ｂ２３ａ及び外側撮像部（右）Ｂ２３ｂは、上側ハウジングＢ２１を開いた状
態において、上側ハウジングＢ２１の上部であって、上側ＬＣＤＢ２２の画面の上端より
も上方の位置の裏側に配置される。すなわち、外側撮像部（左）Ｂ２３ａ及び外側撮像部
（右）Ｂ２３ｂは、上側ハウジングＢ２１の外側面であって、上側ＬＣＤＢ２２を外側面
に投影した場合、投影した上側ＬＣＤＢ２２の画面の上端よりも上方に配置される。
【０２３５】
このように、外側撮像部Ｂ２３の２つの撮像部（Ｂ２３ａ及びＢ２３ｂ）が、上側ＬＣ
ＤＢ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側
ＬＣＤＢ２２を正視した場合に、外側撮像部Ｂ２３の撮像方向をユーザの視線方向と一致
させることができる。また、外側撮像部Ｂ２３は、上側ＬＣＤＢ２２の画面の上端より上
方の裏側の位置に配置されるため、外側撮像部Ｂ２３と上側ＬＣＤＢ２２とが上側ハウジ
ングＢ２１の内部で干渉することがない。従って、外側撮像部Ｂ２３を上側ＬＣＤＢ２２
の画面の裏側に配置する場合と比べて、上側ハウジングＢ２１を薄く構成することが可能
となる。
【０２３６】
内側撮像部Ｂ２４は、上側ハウジングＢ２１の内側面（主面）Ｂ２１Ｂに設けられ、当
該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ｂ２４は、所定
の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等
）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【０２３７】
図４１に示すように、内側撮像部Ｂ２４は、上側ハウジングＢ２１を開いた状態におい
て、上側ハウジングＢ２１の上部であって、上側ＬＣＤＢ２２の画面の上端よりも上方に
配置され、上側ハウジングＢ２１の左右方向に関して中央の位置（上側ハウジングＢ２１
（上側ＬＣＤＢ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、
図４１及び図４３（ｂ）に示されるように、内側撮像部Ｂ２４は、上側ハウジングＢ２１
の内側面であって、外側撮像部Ｂ２３の左右の撮像部（外側撮像部（左）Ｂ２３ａ及び外
側撮像部（右）Ｂ２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジング
Ｂ２１の外側面に設けられた外側撮像部Ｂ２３の左右の撮像部を上側ハウジングＢ２１の
内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部Ｂ２４が設けら
れる。図４３（ｂ）で示される破線Ｂ２４は、上側ハウジングＢ２１の内側面に存在する
内側撮像部Ｂ２４を表している。
【０２３８】
このように、内側撮像部Ｂ２４は、外側撮像部Ｂ２３とは反対方向を撮像する。内側撮
像部Ｂ２４は、上側ハウジングＢ２１の内側面であって、外側撮像部Ｂ２３の左右の撮像
部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤＢ２２を正視した際
、内側撮像部Ｂ２４でユーザの顔を正面から撮像することができる。また、外側撮像部Ｂ
２３の左右の撮像部と内側撮像部Ｂ２４とが上側ハウジングＢ２１の内部で干渉すること
がないため、上側ハウジングＢ２１を薄く構成することが可能となる。
【０２３９】
３Ｄ調整スイッチＢ２５は、スライドスイッチであり、上述のように上側ＬＣＤＢ２２
の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＢ
２５は、上側ＬＣＤＢ２２に表示された立体視可能な画像（立体画像）の立体感を調整す
るために用いられる。図４１〜図４３に示されるように、３Ｄ調整スイッチＢ２５は、上
側ハウジングＢ２１の内側面及び右側面の端部に設けられ、ユーザが上側ＬＣＤＢ２２を
正視した場合に、当該３Ｄ調整スイッチＢ２５を視認できる位置に設けられる。また、３
Ｄ調整スイッチＢ２５の操作部は、内側面及び右側面の両方に突出しており、どちらから
も視認及び操作することができる。なお、３Ｄ調整スイッチＢ２５以外のスイッチは全て
下側ハウジングＢ１１に設けられる。
【０２４０】
図４５は、図４１に示す上側ハウジングＢ２１のＡ−Ａ’線断面図である。図４５に示
すように、上側ハウジングＢ２１の内側面の右端部には、凹部Ｂ２１Ｃが形成され、当該
凹部Ｂ２１Ｃに３Ｄ調整スイッチＢ２５が設けられる。３Ｄ調整スイッチＢ２５は、図４
１及び図４２に示されるように、上側ハウジングＢ２１の正面及び右側面から視認可能に
配置される。３Ｄ調整スイッチＢ２５のスライダＢ２５ａは、所定方向（上下方向）の任
意の位置にスライド可能であり、当該スライダＢ２５ａの位置に応じて上側ＬＣＤＢ２２
の表示モードが設定される。
【０２４１】
図４６Ａから図４６Ｃは、３Ｄ調整スイッチＢ２５のスライダＢ２５ａがスライドする
様子を示す図である。図４６Ａは、３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最下点
（第３の位置）に存在する様子を示す図である。図４６Ｂは、３Ｄ調整スイッチＢ２５の
スライダＢ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図である
。図４６Ｃは、３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最上点（第２の位置）に存
在する様子を示す図である。
【０２４２】
図４６Ａに示すように、３Ｄ調整スイッチＢ２５のスライダＢ２５ａが最下点位置（第
３の位置）に存在する場合、上側ＬＣＤＢ２２は平面表示モードに設定され、上側ＬＣＤ
Ｂ２２の画面には平面画像が表示される（なお、上側ＬＣＤＢ２２を立体表示モードのま
まとして、左目用画像と右目用画像を同一の画像とすることにより平面表示してもよい）
。一方、図４６Ｂに示す位置（最下点より上側の位置（第１の位置））から図４６Ｃに示
す位置（最上点の位置（第２の位置））までの間にスライダＢ２５ａが存在する場合、上
側ＬＣＤＢ２２は立体表示モードに設定される。この場合、上側ＬＣＤＢ２２の画面には
立体視可能な画像が表示される。スライダＢ２５ａが第１の位置から第２の位置の間に存
在する場合、スライダＢ２５ａの位置に応じて、立体画像の見え方が調整される。具体的
には、スライダＢ２５ａの位置に応じて、右目用画像及び左目用画像の横方向の位置のず
れ量が調整される。なお、立体表示モードにおける立体画像の見え方の調整については後
述する。３Ｄ調整スイッチＢ２５のスライダＢ２５ａは、第３の位置で固定されるように
構成されており、第１の位置と第２の位置との間では上下方向に任意の位置にスライド可
能に構成されている。例えば、スライダＢ２５ａは、第３の位置において、３Ｄ調整スイ
ッチＢ２５を形成する側面から図４６Ａに示す横方向に突出した凸部（図示せず）によっ
て固定されて、所定以上の力が上方に加わらないと第３の位置よりも上方にスライドしな
いように構成されている。第３の位置から第１の位置にスライダＢ２５ａが存在する場合
、立体画像の見え方は調整されないが、これはいわゆるあそびである。他の例においては
、あそびをなくして、第３の位置と第１の位置とを同じ位置としてもよい。また、第３の
位置を第１の位置と第２の位置の間としてもよい。その場合、スライダを第３の位置から
第１の位置の方向に動かした場合と、第２の方向に動かした場合とで、右目用画像及び左
目用画像の横方向の位置のずれ量の調整する方向が逆になる。
【０２４３】
なお、本実施例のゲーム装置が実行するプログラムには、立体写真を表示するためのプ
ログラムと、立体的なＣＧ画像を表示するためのプログラムがある。後者のプログラムで
は、左目用の仮想カメラと右目用の仮想カメラで仮想空間を撮影して、左目用画像と右目
用画像を生成する。本実施例のゲーム装置は、このようなプログラムの実行時において、
３Ｄ調整スイッチＢ２５のスライダＢ２５ａの位置に応じて、２つの仮想カメラの間隔を
変更することにより、立体感を調整する。
【０２４４】
３ＤインジケータＢ２６は、上側ＬＣＤＢ２２が立体表示モードか否かを示す。３Ｄイ
ンジケータＢ２６は、ＬＥＤであり、上側ＬＣＤＢ２２の立体表示モードが有効の場合に
点灯する。なお、３ＤインジケータＢ２６は、上側ＬＣＤＢ２２が立体表示モードになっ
ており、かつ、立体視画像を表示するプログラム処理が実行されているとき（すなわち、
３Ｄ調整スイッチが上記第１の位置から上記第２の位置にあるときに、左目用画像と右目
用画像が異なるような画像処理が実行されているとき）に限り、点灯するようにしてもよ
い。図４１に示されるように、３ＤインジケータＢ２６は、上側ハウジングＢ２１の内側
面に設けられ、上側ＬＣＤＢ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣ
ＤＢ２２の画面を正視した場合、ユーザは３ＤインジケータＢ２６を視認しやすい。従っ
て、ユーザは上側ＬＣＤＢ２２の画面を視認している状態でも、上側ＬＣＤＢ２２の表示
モードを容易に認識することができる。
【０２４５】
また、上側ハウジングＢ２１の内側面には、スピーカ孔Ｂ２１Ｅが設けられる。後述す
るスピーカＢ４３からの音声がこのスピーカ孔Ｂ２１Ｅから出力される。
【０２４６】
（ゲーム装置Ｂ１０の内部構成）
次に、図４７を参照して、ゲーム装置Ｂ１０の内部の電気的構成について説明する。図
４７は、ゲーム装置Ｂ１０の内部構成を示すブロック図である。図４７に示すように、ゲ
ーム装置Ｂ１０は、上述した各部に加えて、情報処理部Ｂ３１、メインメモリＢ３２、外
部メモリインターフェイス（外部メモリＩ／Ｆ）Ｂ３３、データ保存用外部メモリＩ／Ｆ
Ｂ３４、データ保存用内部メモリＢ３５、無線通信モジュールＢ３６、ローカル通信モジ
ュールＢ３７、リアルタイムクロック（ＲＴＣ）Ｂ３８、加速度センサＢ３９、電源回路
Ｂ４０、及びインターフェイス回路（Ｉ／Ｆ回路）Ｂ４１等の電子部品を備えている。こ
れらの電子部品は、電子回路基板上に実装されて下側ハウジングＢ１１（又は上側ハウジ
ングＢ２１でもよい）内に収納される。
【０２４７】
情報処理部Ｂ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐ
ｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｂ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ  
Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｂ３１２等を含む情報処理手段である。本実施形態で
は、所定のプログラムがゲーム装置Ｂ１０内のメモリ（例えば外部メモリＩ／ＦＢ３３に
接続された外部メモリＢ４４やデータ保存用内部メモリＢ３５）に記憶されている。情報
処理部Ｂ３１のＣＰＵＢ３１１は、当該所定のプログラムを実行することによって、後述
する手書きオブジェクト表示処理（図４９）を実行する。なお、情報処理部Ｂ３１のＣＰ
ＵＢ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取
得されてもよい。また、情報処理部Ｂ３１は、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）Ｂ３１３
を含む。情報処理部Ｂ３１のＧＰＵＢ３１２は、情報処理部Ｂ３１のＣＰＵＢ３１１から
の命令に応じて画像を生成し、ＶＲＡＭＢ３１３に描画する。そして、情報処理部Ｂ３１
のＧＰＵＢ３１２は、ＶＲＡＭＢ３１３に描画された画像を上側ＬＣＤＢ２２及び／又は
下側ＬＣＤＢ１２に出力し、上側ＬＣＤＢ２２及び／又は下側ＬＣＤＢ１２に当該画像が
表示される。なお、本実施形態においては、ＶＲＡＭＢ３１３には、下側ＬＣＤＢ１２用
記憶領域（以下、タッチパネル用ＶＲＡＭと記載）と、上側ＬＣＤＢ２２用記憶領域（以
下、テクスチャ用ＶＲＡＭと記載）とがある。
【０２４８】
情報処理部Ｂ３１には、メインメモリＢ３２、外部メモリＩ／ＦＢ３３、データ保存用
外部メモリＩ／ＦＢ３４、及び、データ保存用内部メモリＢ３５が接続される。外部メモ
リＩ／ＦＢ３３は、外部メモリＢ４４を着脱自在に接続するためのインターフェイスであ
る。また、データ保存用外部メモリＩ／ＦＢ３４は、データ保存用外部メモリＢ４５を着
脱自在に接続するためのインターフェイスである。
【０２４９】
メインメモリＢ３２は、情報処理部Ｂ３１（のＣＰＵＢ３１１）のワーク領域やバッフ
ァ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＢ３２は、上
記手書きオブジェクト表示処理に用いられる各種データを一時的に記憶したり、外部（外
部メモリＢ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本
実施形態では、メインメモリＢ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）
を用いる。
【０２５０】
外部メモリＢ４４は、情報処理部Ｂ３１によって実行されるプログラムを記憶するため
の不揮発性の記憶手段である。外部メモリＢ４４は、例えば読み取り専用の半導体メモリ
で構成される。外部メモリＢ４４が外部メモリＩ／ＦＢ３３に接続されると、情報処理部
Ｂ３１は外部メモリＢ４４に記憶されたプログラムを読み込むことができる。情報処理部
Ｂ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保
存用外部メモリＢ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシ
ュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存
用外部メモリＢ４５には、外側撮像部Ｂ２３で撮像された画像や他の機器で撮像された画
像が記憶される。データ保存用外部メモリＢ４５がデータ保存用外部メモリＩ／ＦＢ３４
に接続されると、情報処理部Ｂ３１はデータ保存用外部メモリＢ４５に記憶された画像を
読み込み、上側ＬＣＤＢ２２及び／又は下側ＬＣＤＢ１２に当該画像を表示することがで
きる。
【０２５１】
データ保存用内部メモリＢ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型
フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、デ
ータ保存用内部メモリＢ３５には、無線通信モジュールＢ３６を介した無線通信によって
ダウンロードされたデータやプログラムが格納される。
【０２５２】
無線通信モジュールＢ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した
方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＢ３７
は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行
う機能を有する。無線通信モジュールＢ３６及びローカル通信モジュールＢ３７は情報処
理部Ｂ３１に接続される。情報処理部Ｂ３１は、無線通信モジュールＢ３６を用いてイン
ターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールＢ
３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
【０２５３】
また、情報処理部Ｂ３１には、加速度センサＢ３９が接続される。加速度センサＢ３９
は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する
。加速度センサＢ３９は、下側ハウジングＢ１１の内部に設けられる。加速度センサＢ３
９は、図４１に示すように、下側ハウジングＢ１１の長辺方向をｘ軸、下側ハウジングＢ
１１の短辺方向をｙ軸、下側ハウジングＢ１１の内側面（主面）に対して垂直な方向をｚ
軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサＢ３９は、例えば
静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにして
もよい。また、加速度センサＢ３９は１軸又は２軸方向を検出する加速度センサであって
もよい。情報処理部Ｂ３１は、加速度センサＢ３９が検出した加速度を示すデータ（加速
度データ）を受信して、ゲーム装置Ｂ１０の姿勢や動きを検出することができる。
【０２５４】
また、情報処理部Ｂ３１には、ＲＴＣＢ３８及び電源回路Ｂ４０が接続される。ＲＴＣ
Ｂ３８は、時間をカウントして情報処理部Ｂ３１に出力する。情報処理部Ｂ３１は、ＲＴ
ＣＢ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ｂ４０
は、ゲーム装置Ｂ１０が有する電源（下側ハウジングＢ１１に収納される上記充電式電池
）からの電力を制御し、ゲーム装置Ｂ１０の各部品に電力を供給する。
【０２５５】
また、情報処理部Ｂ３１には、Ｉ／Ｆ回路Ｂ４１が接続される。Ｉ／Ｆ回路Ｂ４１には
、マイクＢ４２及びスピーカＢ４３が接続される。具体的には、Ｉ／Ｆ回路Ｂ４１には、
図示しないアンプを介してスピーカＢ４３が接続される。マイクＢ４２は、ユーザの音声
を検知して音声信号をＩ／Ｆ回路Ｂ４１に出力する。アンプは、Ｉ／Ｆ回路Ｂ４１からの
音声信号を増幅し、音声をスピーカＢ４３から出力させる。また、タッチパネルＢ１３は
Ｉ／Ｆ回路Ｂ４１に接続される。Ｉ／Ｆ回路Ｂ４１は、マイクＢ４２及びスピーカＢ４３
（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回
路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換及びＤ／Ａ変換を行ったり、
音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチ
パネルＢ１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部
Ｂ３１に出力する。タッチ位置データは、タッチパネルＢ１３の入力面において入力が行
われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネルＢ１３からの信
号の読み込み、及び、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理
部Ｂ３１は、タッチ位置データを取得することにより、タッチパネルＢ１３に対して入力
が行われた位置を知ることができる。
【０２５６】
操作ボタンＢ１４は、上記各操作ボタンＢ１４Ａ〜Ｂ１４Ｌからなり、情報処理部Ｂ３
１に接続される。操作ボタンＢ１４から情報処理部Ｂ３１へは、各操作ボタンＢ１４Ａ〜
Ｂ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処
理部Ｂ３１は、操作ボタンＢ１４から操作データを取得することによって、操作ボタンＢ
１４に対する入力に従った処理を実行する。
【０２５７】
下側ＬＣＤＢ１２及び上側ＬＣＤＢ２２は情報処理部Ｂ３１に接続される。下側ＬＣＤ
Ｂ１２及び上側ＬＣＤＢ２２は、情報処理部Ｂ３１（のＧＰＵＢ３１２）の指示に従って
画像を表示する。本実施形態では、情報処理部Ｂ３１は、操作用の画像を下側ＬＣＤＢ１
２に表示させ、各撮像部Ｂ２３及びＢ２４のいずれかから取得した画像を上側ＬＣＤＢ２
２に表示させる。すなわち、情報処理部Ｂ３１は、上側ＬＣＤＢ２２に外側撮像部Ｂ２３
で撮像した右目用画像と左目用画像とを用いた立体画像（立体視可能な画像）を表示させ
たり、内側撮像部Ｂ２４で撮像した平面画像を上側ＬＣＤＢ２２に表示させたりする。
【０２５８】
具体的には、情報処理部Ｂ３１は、上側ＬＣＤＢ２２のＬＣＤコントローラ（図示せず
）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。
上側ＬＣＤＢ２２の視差バリアがＯＮになっている場合、情報処理部Ｂ３１のＶＲＡＭＢ
３１３に格納された（外側撮像部Ｂ２３で撮像された）右目用画像と左目用画像とが、上
側ＬＣＤＢ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像につ
いて縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１
ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＢ３１
３から右目用画像と左目用画像とを読み出す。これにより、右目用画像及び左目用画像が
、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状
画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＢ２２の画面に
表示される。そして、上側ＬＣＤＢ２２の視差バリアを介して当該画像がユーザに視認さ
れることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認され
る。以上により、上側ＬＣＤＢ２２の画面には立体視可能な画像が表示される。
【０２５９】
外側撮像部Ｂ２３及び内側撮像部Ｂ２４は、情報処理部Ｂ３１に接続される。外側撮像
部Ｂ２３及び内側撮像部Ｂ２４は、情報処理部Ｂ３１の指示に従って画像を撮像し、撮像
した画像データを情報処理部Ｂ３１に出力する。本実施形態では、情報処理部Ｂ３１は外
側撮像部Ｂ２３及び内側撮像部Ｂ２４のいずれか一方に対して撮像指示を行い、撮像指示
を受けた撮像部が画像を撮像して画像データを情報処理部Ｂ３１に送る。具体的には、本
実施形態では、ユーザによるタッチパネルＢ１３を用いたタッチ操作によって使用する撮
像部が選択される。撮像部が選択されたことを情報処理部Ｂ３１（ＣＰＵＢ３１１）が検
知し、情報処理部Ｂ３１が外側撮像部Ｂ２３又は内側撮像部Ｂ２４に対して撮像指示を行
う。
【０２６０】
３Ｄ調整スイッチＢ２５は、情報処理部Ｂ３１に接続される。３Ｄ調整スイッチＢ２５
は、スライダＢ２５ａの位置に応じた電気信号を情報処理部Ｂ３１に送信する。
【０２６１】
また、３ＤインジケータＢ２６は、情報処理部Ｂ３１に接続される。情報処理部Ｂ３１
は、３ＤインジケータＢ２６の点灯を制御する。本実施形態では、情報処理部Ｂ３１は、
上側ＬＣＤＢ２２が立体表示モードである場合、３ＤインジケータＢ２６を点灯させる。
以上がゲーム装置Ｂ１０の内部構成の説明である。
【０２６２】
（手書きオブジェクト表示処理の詳細）
次に、図４８から図５１を参照して、本実施形態に係る手書きオブジェクト表示処理の
詳細について説明する。まず、手書きオブジェクト表示処理の際にメインメモリＢ３２に
記憶される主なデータについて説明する。図４８は、ゲーム装置Ｂ１０のメインメモリＢ
３２のメモリマップを示す図である。図４８に示されるように、メインメモリＢ３２には
、データ記憶領域Ｂ７０が設けられる。データ記憶領域Ｂ７０には、カメラ選択データＢ
７１、左目用画像位置データＢ７２、右目用画像位置データＢ７３、加速度データＢ７４
、表示モードデータＢ７５、操作データＢ７６、ボタン操作フラグＢ７７、仮想カメラデ
ータ（位置、姿勢）Ｂ７８、手書きペン設定データＢ７９等が記憶される。これらのデー
タの他、メインメモリＢ３２には、上記撮影処理を実行するプログラムやタッチパネルＢ
１３へのタッチ位置を示すデータ、下側ＬＣＤＢ１２に表示されるカメラ選択のための画
像を示すデータ、下側ＬＣＤＢ１２に表示される手書き入力された画像データ等が記憶さ
れる。なお、以下においては、「撮像部」を「カメラ」という文言で代用して記載する場
合がある。
【０２６３】
カメラ選択データＢ７１は、現在選択されている撮像部を示すデータである。カメラ選
択データＢ７１は、現在選択されている撮像部が外側撮像部Ｂ２３か内側撮像部Ｂ２４か
を示すデータである。
【０２６４】
左目用画像位置データＢ７２は、外側撮像部（左）Ｂ２３ａによって撮像された左目用
画像の上側ＬＣＤＢ２２上の表示位置を示すデータであり、左目用画像の画像中心の座標
値を示すデータである。右目用画像位置データＢ７３は、外側撮像部（右）Ｂ２３ｂによ
って撮像された右目用画像の上側ＬＣＤＢ２２上の表示位置を示すデータであり、右目用
画像の画像中心の座標値を示すデータである。
【０２６５】
加速度データＢ７４は、加速度センサＢ３９によって検出された最新の加速度を示すデ
ータである。具体的には、加速度データＢ７４は、加速度センサＢ３９によって検出され
たｘ軸方向、ｙ軸方向、及びｚ軸方向の加速度の値を示す。加速度センサＢ３９は所定時
間に１回の割合で加速度を検出し、情報処理部Ｂ３１（ＣＰＵＢ３１１）に送信する。情
報処理部Ｂ３１は、加速度センサＢ３９が加速度を検出するたびにメインメモリＢ３２の
加速度データＢ７４を更新する。
【０２６６】
表示モードデータＢ７５は、上側ＬＣＤＢ２２の表示モードが立体表示モードか平面表
示モードかを示すデータである。
【０２６７】
操作データＢ７６は、各操作ボタンＢ１４Ａ〜Ｅ、Ｇ〜Ｈ、及び、アナログスティック
Ｂ１５に対して行われた操作を示すデータである。
【０２６８】
ボタン操作フラグＢ７７は、２値のデータであり、特定のタイミングで操作ボタンＢ１
４Ｂ〜Ｂ１４Ｅのいずれかが押下されたときに更新して記憶されるようになっている。ボ
タン操作フラグＢ７７として「０」（オフ）が記憶されている状態で、例えば操作ボタン
Ｂ１４Ｂが押下されると、ボタン操作フラグＢ７７を「０」（オフ）から「１」（オン）
へ更新して記憶する。なお、以下においては、操作された状態を「１」（オン）で記憶し
、操作されていない状態を「０」（オフ）で記憶するものとするが、他の操作ボタンであ
ってもよいし、別の態様（「０」及び「１」以外）のフラグであっても構わない。
【０２６９】
仮想カメラデータＢ７８は、後述するマーカ認識結果に基づいて算出された、マーカ座
標系における仮想カメラの位置データ及び姿勢データである。
【０２７０】
手書きペン設定データＢ７９は、タッチパネルＢ１３にタッチペンＢ２８を用いて手書
きオブジェクトを入力する場合の、タッチペンＢ２８の色及び太さである。初期値（例え
ば黒及び太線）を記憶しておいて、ユーザの十字ボタンＢ１４Ａの操作によりカーソルが
移動して色指定アイコン又は太さ指定アイコンが選択されると、ユーザがタッチペンＢ２
８の色又は太さを変更することを要求したと判定されて、ユーザが要求したとタッチペン
Ｂ２８の色又は太さが変更される。変更された色又は太さが手書きペン設定データＢ７９
として記憶される。
【０２７１】
次に、手書きオブジェクト表示処理の詳細について、図４９から図５１を参照して説明
する。図４９は、本実施形態に係る手書きオブジェクト表示処理の詳細を示すメインフロ
ーチャートである。ゲーム装置Ｂ１０の電源が投入されると、ゲーム装置Ｂ１０の情報処
理部Ｂ３１（ＣＰＵＢ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを
実行し、これによってメインメモリＢ３２等の各ユニットが初期化される。次に、データ
保存用内部メモリＢ３５に記憶された手書きオブジェクト表示処理プログラムがメインメ
モリＢ３２に読み込まれ、情報処理部Ｂ３１のＣＰＵＢ３１１によって当該プログラムの
実行が開始される。
【０２７２】
図５０に示すフローチャートは、図４９の手描きデータ取得処理（ステップＳＢ５）に
おける詳細なフローチャートである。図５１に示すフローチャートは、図４９の上側ＬＣ
Ｄ表示処理（ステップＳＢ８）における詳細なフローチャートである。なお、図４９に示
すステップＳＢ１〜ステップＳＢ９の処理ループは、１フレーム（例えば１／３０秒。フ
レーム時間という）毎に繰り返し実行される。また、以下においては、外側撮像部Ｂ２３
が選択され、立体表示モードが選択されているとして説明する。なお、本発明の適用は、
立体表示モードに限定されるものではなく、平面表示モードであっても構わない。以下に
示す立体表示モードにおける右目用処理又は左目用処理のいずれか一方のみを行うように
変更すれば、平面表示モードでの処理となる。
【０２７３】
まず、図４９を参照して、手書きオブジェクト表示処理のメインルーチンについて説明
する。ステップＳＢ１にて、情報処理部Ｂ３１は、カメラ画像データを取得する。具体的
には、情報処理部Ｂ３１は、現在選択されているカメラによって撮像された画像を示す画
像データを取得し、ＶＲＡＭＢ３１３に格納する。ここでは、外側撮像部Ｂ２３が選択さ
れているため、情報処理部Ｂ３１は、外側撮像部Ｂ２３によって撮像された右目用画像と
左目用画像とを示す右目用画像データと左目用画像データを取得する。
【０２７４】
ステップＳＢ２にて、情報処理部Ｂ３１は、取得したカメラ画像データに基づいて、外
側撮像部Ｂ２３により撮像された画像の中からマーカを検出することができたか否かを判
定する。ここでは、このマーカは、白色の紙片の中央付近の黒色の四辺形が印刷され、そ
の四辺形の中にローマ字の「Ｍ」が白抜きで印刷されたものとする。しかしながら、マー
カはこのような形状、模様、色彩に限定されないで、マーカの位置（ここでは４点の位置
）と方向とが認識できるものであればよい。具体的には、情報処理部Ｂ３１は、まず、外
側撮像部Ｂ２３により撮像された画像の中から４本の線分によって連結される連結領域を
抽出し、抽出した連結領域の内部のパターン画像を取得する。そして、情報処理部Ｂ３１
は、取得したパターン画像を示すパターン画像データと外部メモリＢ４４に予め記憶され
ているパターン画像データとの類似度を計算し、計算した結果としての類似度を示す値が
予め定められた閾値以上である場合（ステップＳＢ２にてＹＥＳ）、処理はステップＳＢ
３に移され、類似度を示す値が予め定められた閾値未満である場合（ステップＳＢ２にて
ＮＯ）、処理はステップＳＢ５へ移される。
【０２７５】
ステップＳＢ３にて、情報処理部Ｂ３１は、マーカ検出結果に基づいて、外側撮像部Ｂ
２３（ゲーム装置Ｂ１０）とマーカとの位置関係を算出する。ここで、位置関係とは、例
えば、外側撮像部Ｂ２３とマーカの一方を基準としたときの他方の３次元の位置及び姿勢
として表される。なお、位置関係を算出する処理は、従来の拡張現実感技術における処理
と同様な処理で実現できる。
【０２７６】
ステップＳＢ４にて、情報処理部Ｂ３１は、外側撮像部Ｂ２３とマーカとの位置関係に
基づいて、仮想カメラの位置及び姿勢を決定する。このとき、立体表示モードが選択され
ているので、情報処理部Ｂ３１は、外側撮像部（左）Ｂ２３ａによるカメラ画像データに
基づいて左目用の仮想カメラの位置及び姿勢を算出して、外側撮像部（右）Ｂ２３ｂによ
るカメラ画像データに基づいて右目用の仮想カメラの位置及び姿勢を算出する。なお、仮
想カメラの位置及び姿勢は、外側撮像部Ｂ２３とマーカとの位置関係から仮想カメラのビ
ュー行列を求め、求めた仮想カメラのビュー行列により求められる。決定した仮想カメラ
の位置及び姿勢は、メインメモリＢ３２のデータ記憶領域Ｂ７０の仮想カメラデータＢ７
８として記憶される。
【０２７７】
ステップＳＢ５にて、情報処理部Ｂ３１は、手書きデータ取得処理を実行する。なお、
このステップＳＢ５の手書きデータ取得処理はサブルーチン化されており、その詳細につ
いては、後述する。
【０２７８】
ステップＳＢ６にて、情報処理部Ｂ３１は、所定のボタンが押下されたか否かを判定す
る。このとき、ユーザが、例えば操作ボタンＢ１４Ｂを押下すると、所定のボタンが押下
されたと判定する。所定のボタンが押下されたと判定されると（ステップＳＢ６にてＹＥ
Ｓ）、処理はステップＳＢ７へ移される。もしそうでないと（ステップＳＢ６にてＮＯ）
、この処理はステップＳＢ８へ移される。なお、所定のボタンは操作ボタンＢ１４Ｂに限
定されず、他の操作ボタンであっても構わないし、別のイベントであっても構わない。イ
ベントの一例として、ユーザによる手書き終了（一定時間以上タッチパネルＢ１３へのタ
ッチ入力なし）が挙げられる。
【０２７９】
ステップＳＢ７にて、情報処理部Ｂ３１は、ボタン操作フラグＢ７７を更新する。この
とき、上述したように操作ボタンＢ１４Ｂが押下される毎に「０」が「１」に書き換えら
れて更新され、「１」が「０」に書き換えられて更新される。
【０２８０】
ステップＳＢ８にて、情報処理部Ｂ３１は、上側ＬＣＤ表示処理を実行する。なお、こ
のステップＳＢ８の上側ＬＣＤ表示処理はサブルーチン化されており、その詳細について
は、後述する。
【０２８１】
ステップＳＢ９にて、情報処理部Ｂ３１は、下側ＬＣＤＢ１２に手書き入力画像を表示
する。このとき、情報処理部Ｂ３１は、タッチパネル用ＶＲＡＭに記憶された手書き入力
データに基づいて下側ＬＣＤＢ１２に手書き入力画像を表示する。
【０２８２】
次に、図５０を参照して、手書きデータ取得処理のサブルーチンについて説明する。ス
テップＳＢ５１にて、情報処理部Ｂ３１は、手書きペンの色及び／又は太さの変更要求が
ユーザにより入力されたか否かを判定する。手書きペンの色及び／又は太さの変更要求が
入力されたと判定されると（ステップＳＢ５１にてＹＥＳ）、処理はステップＳＢ５２へ
移される。もしそうでないと（ステップＳＢ５１にてＮＯ）、この処理はステップＳＢ５
３へ移される。
【０２８３】
ステップＳＢ５２にて、情報処理部Ｂ３１は、ユーザの要求に応じて、手書きペンの色
及び／又は太さを変更する。変更した手書きペンの色及び／又は太さは、メインメモリＢ
３２のデータ記憶領域Ｂ７０の手書きペン設定データＢ７９として保持される。その後、
処理はステップＳＢ５４へ移される。
【０２８４】
ステップＳＢ５３にて、情報処理部Ｂ３１は、メインメモリＢ３２のデータ記憶領域Ｂ
７０の手書きペン設定データＢ７９を読み出して、手書きペンの色及び／又は太さを設定
する。このとき、手書きペンの色及び／又は太さは、手書きペン設定データＢ７９として
記憶された初期値又は保持値に設定される。
【０２８５】
ステップＳＢ５４にて、情報処理部Ｂ３１は、ユーザがタッチパネルＢ１３にタッチ入
力したか否かを判定する。タッチパネルＢ１３にタッチ入力したと判定されると（ステッ
プＳＢ５４にてＹＥＳ）、処理はステップＳＢ５５へ移される。もしそうでないと（ステ
ップＳＢ５４にてＮＯ）、この処理はステップＳＢ５１へ戻されて、手書きペンの設定処
理及びタッチ検出処理が行われる。
【０２８６】
ステップＳＢ５５にて、情報処理部Ｂ３１は、タッチパネルＢ１３へのタッチ位置を示
す座標を検出する。ステップＳＢ５６にて、情報処理部Ｂ３１は、検出した座標と、前回
の処理時に検出した座標とに基づいて、タッチパネルＢ１３上での軌跡を算出する。この
軌跡を繰り返し算出することにより手書きオブジェクトの画像データを検出できる。
【０２８７】
ステップＳＢ５７にて、情報処理部Ｂ３１は、手書きペンの移動速度を算出する。具体
的には、情報処理部Ｂ３１は、軌跡の距離とこのプログラムのサイクルタイム（フレーム
時間）とに基づいて、手書きペンの移動速度を算出する。
【０２８８】
ステップＳＢ５８にて、情報処理部Ｂ３１は、手書きペンの移動速度に基づいて、手書
きペンの色を変更する。このとき、移動速度が速いと、明度を上げたり（又は下げたり）
、彩度を上げたり（又は下げたり）する。また、移動速度が速いほど、太さを細くするよ
うにしても構わない。
【０２８９】
ステップＳＢ５９にて、情報処理部Ｂ３１は、手書き入力データをメインメモリＢ３２
へ記憶する。このとき、座標、色情報及び太さ情報が付加情報として記憶される。ステッ
プＳＢ６０にて、情報処理部Ｂ３１は、手書き入力データ（軌跡データ）を画像データ（
ビットマップデータ）へ変換して、変換したデータをＶＲＡＭＢ３１３のタッチパネル用
ＶＲＡＭとテクスチャ用ＶＲＡＭとに転送する。その後、この処理は終了する（メインル
ーチンへ戻る）。
【０２９０】
次に、図５１を参照して、上側ＬＣＤ表示処理のサブルーチンについて説明する。ステ
ップＳＢ８１にて、情報処理部Ｂ３１は、外側撮像部Ｂ２３により撮像した画像の中から
、マーカを一定時間以上検出できていないか否かを判定する。このとき、ユーザがゲーム
装置Ｂ１０を傾けることにより、マーカの位置が外側撮像部Ｂ２３の撮像範囲外である時
間が一定時間以上になると、マーカを一定時間以上検出できていないと判定される。マー
カを一定時間以上検出できていないと判定されると（ステップＳＢ８１にてＹＥＳ）、処
理はステップＳＢ９２へ移される。もしそうでないと、すなわち、ユーザがゲーム装置Ｂ
１０を傾けた場合に一定時間が経過するまでに外側撮像部Ｂ２３によりマーカを検出でき
ると（ステップＳＢ８１にてＮＯ）、この処理はステップＳＢ８２へ移される。なお、マ
ーカの検出方法は、ステップＳＢ２で説明した処理と同様な処理で行えばよい。
【０２９１】
ステップＳＢ８２にて、情報処理部Ｂ３１は、ボタン操作フラグがオンであるか否かを
判定する。ボタン操作フラグがオンであると判定されると（ステップＳＢ８２にてＹＥＳ
）、処理はステップＳＢ８３へ移される。もしそうでないと（ステップＳＢ８２にてＮＯ
）、この処理はステップＳＢ８５へ移される。
【０２９２】
ステップＳＢ８３にて、情報処理部Ｂ３１は、経過時間に基づいて基本ポリゴンの位置
を変化させて設定する。ここで、基本ポリゴンの位置の変化の一例としては、基本ポリゴ
ンのマーカ座標系における位置を周期的に（一定の時間が経過するたびに）変化させるこ
とが挙げられる。このようにすると、基本ポリゴンは、例えば上下方向又は左右方向に飛
び跳ねるように設定される。ここで、経過時間とは、例えば、ボタン操作フラグＢ７７が
オフからオンになったときからの経過時間とする。
【０２９３】
ステップＳＢ８４にて、情報処理部Ｂ３１は、経過時間により基本ポリゴンの形状を変
化する。ここで、基本ポリゴンの形状の変化の一例としては、基本ポリゴンの縦横比を周
期的に（一定の時間が経過するたびに）変化させることが挙げられる。このようにすると
、基本ポリゴンが、横方向及び／又は縦方向に伸びたり縮んだりするように設定される。
その後、処理はステップＳＢ８６へ移される。ここで、経過時間とは、例えば、ボタン操
作フラグＢ７７がオフからオンになったときからの経過時間とする。
【０２９４】
ステップＳＢ８５にて、情報処理部Ｂ３１は、マーカ座標系原点に基本ポリゴンの位置
を設定する。ここで、マーカ座標系原点は、例えば、マーカの中心位置とする。
【０２９５】
ステップＳＢ８６にて、情報処理部Ｂ３１は、設定された基本ポリゴンの位置及び形状
に応じた影表示用のポリゴンを設定する。このとき、情報処理部Ｂ３１は、基本ポリゴン
を９０度倒した位置に影表示用のポリゴンを設定する。なお、情報処理部Ｂ３１は、基本
ポリゴンの位置が変化されるように設定されている場合には、その変化に従った位置に影
表示用のポリゴンを設定する。
【０２９６】
ステップＳＢ８７にて、情報処理部Ｂ３１は、設定された基本ポリゴンの位置及び形状
に応じた厚み表示用のポリゴンを設定する。このとき、情報処理部Ｂ３１は、基本ポリゴ
ンを予め定められた枚数だけ、基本ポリゴンの法線方向（基本ポリゴンは薄板形状とする
）に並べて配置する。なお、情報処理部Ｂ３１は、基本ポリゴンの位置が変化されるよう
に設定されている場合には、その変化に従った位置に厚み表示用のポリゴンを設定する。
【０２９７】
ステップＳＢ８８にて、情報処理部Ｂ３１は、ポリゴン（基本、影表示用、厚み表示用
）に手書き画像テクスチャを貼り付ける。なお、手書き画像テクスチャを示すテクスチャ
データは、手書き入力データから変換された画像データであり、テクスチャ用ＶＲＡＭか
ら読み出される。このとき、影表示用ポリゴンについては、手書き画像テクスチャの明度
を所定の度合いで下げるようテクスチャデータを変更して手書き画像テクスチャを貼り付
けるようになっている。また、厚み表示用のポリゴンについては、基本ポリゴンから離れ
るにしたがって、手書き画像テクスチャの明度を徐々に下げていくようにテクスチャデー
タを変更して手書き画像テクスチャを貼り付けるようになっている。
【０２９８】
ステップＳＢ８９にて、情報処理部Ｂ３１は、仮想カメラで、手書き画像テクスチャが
貼り付けられたポリゴンを撮影して手書き画像（手書きオブジェクト画像）データを生成
する。このとき、立体表示モードが選択されているので、左目用の仮想カメラの位置及び
姿勢に基づいて左目用の手書き画像を生成するとともに、右目用の仮想カメラの位置及び
姿勢に基づいて右目用の手書き画像を生成する。
【０２９９】
ステップＳＢ９０にて、情報処理部Ｂ３１は、手書き画像データとカメラ画像データと
に基づいて、手書き画像とカメラ画像とを重ね合わせる。このとき、立体表示モードが選
択されているので、情報処理部Ｂ３１は、左目用の手書き画像と外側撮像部（左）Ｂ２３
ａにより撮影されたカメラ画像とを重ね合わせて左目用の重畳画像が作成され、右目用の
手書き画像と外側撮像部（右）Ｂ２３ｂにより撮影されたカメラ画像とを重ね合わせて右
目用の重畳画像が作成される。
【０３００】
ステップＳＢ９１にて、情報処理部Ｂ３１は、上側ＬＣＤＢ２２に、手書き画像とカメ
ラ画像とを重ね合わせた重畳画像を表示する。このとき、立体視可能なように、左目用の
重畳画像と右目用の重畳画像とが合成される。その後、この処理は終了する（メインルー
チンへ戻る）。
【０３０１】
ステップＳＢ９２にて、情報処理部Ｂ３１は、上側ＬＣＤＢ２２にカメラ画像を表示す
る。その後、この処理は終了する（メインルーチンへ戻る）。
【０３０２】
以上のような構造及びフローチャートに基づく、本実施形態に係るゲーム装置Ｂ１０の
動作について、図５２から図５７を参照して説明する。これらの図においては、手書き画
像が表示される上側ＬＣＤＢ２２において、手書き画像とマーカとが重畳する部分は、本
来はマーカも手書き画像も表示されている。しかしながら、図における表現を明確にする
ために、マーカの一部を表示していない。また、以下においては、マーカを動かさないで
ユーザがゲーム装置Ｂ１０を傾ける場合について説明するが、マーカはユーザにより動か
されても構わない。さらに、マーカがユーザにより動かされて、かつ、ユーザがゲーム装
置Ｂ１０を傾けても構わない。
【０３０３】
（手書きオブジェクトの基本的な表示）
ユーザが、外側撮像部Ｂ２３を選択して、立体表示モードを選択して、上述したプログ
ラムが実行されるように設定する。ユーザが、例えば机の上に置いたマーカを含めた範囲
を外側撮像部Ｂ２３で撮影することにより、カメラ画像データが取得される（ステップＳ
Ｂ１）。マーカが検出されると（ステップＳＢ２にてＹＥＳ）、マーカの検出結果に基づ
いて、外側撮像部Ｂ２３とマーカとの位置関係が算出され（ステップＳＢ３）、算出され
た位置関係に基づいて、仮想カメラの位置及び姿勢が決定される（ステップＳＢ４）。
【０３０４】
このような状態で、図５２に示すように、ユーザが下側ＬＣＤＢ１２に人物の顔を手書
きする。なお、手書きペンの色及び太さの変更をユーザが要求しないで、初期値で手書き
されるものとする（ステップＢ５１にてＮＯ）。図５２は、顔を途中まで描いた状態を示
す。ユーザがタッチペンＢ２８を下側ＬＣＤＢ１２にタッチすると（ステップＳＢ５４）
、座標が検出され（ステップＳＢ５５）、軌跡が検出され（ステップＳＢ５６）、ペンの
移動速度が算出されて（ステップＳＢ５７）、その移動速度に応じて手書きペンの色が変
更される（ステップＳＢ５８）。手書き入力データが画像データへ変換され、メインメモ
リＢ３２へ記憶されて（ステップＳＢ５９）、タッチパネル用ＶＲＡＭ及びテクスチャ用
ＶＲＡＭへ転送される（ステップＳＢ６０）。
【０３０５】
このような手書きの途中であっても、図４９から図５１に示すプログラムが周期的に（
所定のサイクルタイムで）繰り返し動作しているので、図５２に示すように、上側ＬＣＤ
Ｂ２２に手書き途中の手書きオブジェクトが表示される。
【０３０６】
この図５２のように手書きオブジェクトが表示されている場合のゲーム装置Ｂ１０の動
作についてさらに説明する。なお、以下においては、所定のボタンが押下されていない場
合の動作を説明した後に、所定のボタンが押下されている場合の動作を説明する。
【０３０７】
所定のボタンが押下されていないので（ステップＳＢ６にてＮＯ）、ボタン操作フラグ
が更新されないで「０」（オフ）が維持される。一定時間以上経過する前にマーカが検出
されると（ステップＳＢ８１にてＮＯ）、ボタン操作フラグがオフであるので（ステップ
ＳＢ８２にてＮＯ）、マーカ座標系原点に基本ポリゴンの位置が設定される（ステップＳ
Ｂ８５）。
【０３０８】
必要に応じて、手書きオブジェクトに、影が付加されたり、厚みが付加されたりする。
この場合の動作については後述する。基本ポリゴンに手書き画像テクスチャが貼り付けら
れて（ステップＳＢ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴ
ンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳ
Ｂ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側Ｌ
ＣＤＢ２２に重畳画像が表示される（ステップＳＢ９１）。このとき、図５２に示すよう
に、上側ＬＣＤＢ２２に、手書き途中のオブジェクトが、マーカ座標系の原点に配置され
て表示される。なお、マーカ座標系及びその原点は予め設定されているものとする。また
、図５２に示すように、下側ＬＣＤＢ１２にも手書きオブジェクトが表示される（ステッ
プＳＢ９）。
【０３０９】
さらに、ユーザが手書きを進めると、上述の動作が繰り返して行われて、図５３に示す
ように、上側ＬＣＤＢ２２に、ユーザが手書きしたオブジェクトが３次元仮想空間に存在
するように立体表示モードで表示され、下側ＬＣＤＢ１２に手書きオブジェクトが平面的
に表示される。
【０３１０】
（ゲーム装置Ｂ１０を傾けた場合）
図５４（ａ）（この図は図５３からタッチペンＢ２８を削除した図）に示すように、上
側ＬＣＤＢ２２に、ユーザが手書きしたオブジェクトが３次元仮想空間に存在するように
表示されている場合に、マーカが外側撮像部Ｂ２３で撮像される範囲内において、ユーザ
がゲーム装置Ｂ１０を傾ける。ここでは、ゲーム装置Ｂ１０を、マーカを中心にして時計
回りに約９０度傾けた（回転させた）ものとする。
【０３１１】
ゲーム装置Ｂ１０が傾けられても、図４９から図５１に示すプログラムが周期的に（サ
イクルタイムで）繰り返し動作しているので、外側撮像部Ｂ２３で撮影することにより、
カメラ画像データが逐次取得され（ステップＳＢ１）、マーカが検出され（ステップＳＢ
２にてＹＥＳ）、マーカの検出結果に基づいて、外側撮像部Ｂ２３とマーカとの位置関係
が逐次算出され（ステップＳＢ３）、算出された位置関係に基づいて、仮想カメラの位置
及び姿勢が逐次決定される（ステップＳＢ４）。マーカ座標系原点に基本ポリゴンの位置
が逐次設定され（ステップＳＢ８５）、基本ポリゴンに手書き画像テクスチャが貼り付け
られて（ステップＳＢ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリ
ゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成され（ステップＳ
Ｂ８９）、手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側Ｌ
ＣＤＢ２２に重畳画像が逐次表示される（ステップＳＢ９１）。
【０３１２】
図５４（ａ）に示す状態からゲーム装置Ｂ１０を、マーカを中心にして時計回りに約９
０度傾けると、図５４（ｂ）に示す状態に上側ＬＣＤＢ２２の表示が変更される。これら
の図に示すように、仮想カメラと基本ポリゴンとの相対的位置は、外側撮像部Ｂ２３によ
り逐次撮像される画像に含まれる、マーカの認識結果に基づいて、変更される。このため
、ゲーム装置Ｂ１０を傾けることにより撮像方向が変化すると、マーカの見え方の変化に
対応して、仮想カメラと基本ポリゴンとの相対的位置が変更される。このため、ゲーム装
置Ｂ１０を傾けることによる撮像方向の変化に対応して、仮想カメラにより撮影された手
書き画像の表示が変更される。このように、ユーザが手書きした画像を現実世界に存在す
るように表示し、拡張現実感を実現することができる。
【０３１３】
（所定のボタンが押下されている場合：基本ポリゴンの位置変化）
所定のボタンが押下されると（ステップＳＢ６にてＹＥＳ）、ボタン操作フラグが更新
されて「１」（オン）に変更される（ステップＳＢ７）。一定時間以上経過する前にマー
カが検出されると（ステップＳＢ８１にてＮＯ）、ボタン操作フラグがオンであるので（
ステップＳＢ８２にてＹＥＳ）、経過時間に基づいて基本ポリゴンの位置（マーカ座標系
原点に対する相対位置及び相対姿勢）が設定される（ステップＳＢ８３）。
【０３１４】
このとき、基本ポリゴンの表示位置が、例えば周期的に上下方向に往復移動するように
変化される。このような基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステッ
プＳＢ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影され
て手書き画像（手書きオブジェクト画像）データが生成される（ステップＳＢ８９）。手
書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側ＬＣＤＢ２２に
重畳画像が表示される（ステップＳＢ９１）。このとき、手書き画像は、上下方向又は左
右方向に飛び跳ねるように表示される。このため、さらに自然に、ユーザが手書きした画
像を現実世界に存在するように表示することができる。
【０３１５】
（所定のボタンが押下されている場合：基本ポリゴンの形状変化）
上述したように、所定のボタンが押下される場合に、基本ポリゴンの形状が変化する場
合の動作について説明する。
【０３１６】
ボタン操作フラグがオンであるので（ステップＳＢ８２にてＹＥＳ）、経過時間により
基本ポリゴンの形状が変化される（ステップＳＢ８４）。例えば、基本ポリゴンの縦横比
が周期的に（一定の時間が経過するたびに）変化される。このような基本ポリゴンに手書
き画像テクスチャが貼り付けられて（ステップＳＢ８８）、仮想カメラで手書き画像テク
スチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）デ
ータが生成される（ステップＳＢ８９）。手書き画像とカメラ画像とが重ね合わせられて
（ステップＳＢ９０）、上側ＬＣＤＢ２２に重畳画像が表示される（ステップＳＢ９１）
。このとき、手書き画像は、横方向及び／又は縦方向に伸びたり縮んだりするように表示
される。
【０３１７】
このときの上側ＬＣＤＢ２２における表示例を図５５（ａ）及び図５５（ｂ）に示す。
図５５（ａ）に示す表示例は、基本ポリゴンが縦方向に伸びた状態（横方向に縮んだ状態
）であって、図５５（ｂ）に示す表示例は、基本ポリゴンが横方向に伸びた状態（縦方向
に縮んだ状態）を、それぞれ示している。実際には、基本ポリゴンの縦横比が周期的に変
化するので、図５５（ａ）に示す表示例と図５５（ｂ）に示す表示例とが、短い時間周期
で繰り返し表示される。このため、手書き画像である顔の表情が変化するように表示され
る。このように動作するので、さらに自然に、ユーザが手書きした画像を現実世界に存在
するように表示することができる。
【０３１８】
なお、このように基本ポリゴンの形状が変化することに加えて、上述したように基本ポ
リゴンの位置が変化するようにしても構わない。この場合、手書き画像である顔の表情が
変化しながら、上下方向又は左右方向に飛び跳ねるように表示される。このため、さらに
自然な拡張現実感を実現することができる。
【０３１９】
（影及び厚みが付与される場合）
所定のボタンが押下されているか否かに関わらず、基本ポリゴンに影及び厚みが付与さ
れる場合の動作について説明する。
【０３２０】
ボタン操作フラグがオンであるのかオフであるのかに関わらず、基本ポリゴンの位置及
び形状に応じた影表示用のポリゴンが設定される（ステップＳＢ８６）。このとき、基本
ポリゴンの位置が変化されている場合には、その変化に従った位置に影表示用のポリゴン
が設定される。このため、手書き画像が上下方向又は左右方向に飛び跳ねるように表示さ
れるように基本ポリゴンの位置が変化される場合には、その飛び跳ねる手書き画像に対応
する影が表示される。
【０３２１】
さらに、基本ポリゴンの位置及び形状に応じた厚み表示用のポリゴンが設定される（ス
テップＳＢ８７）。このとき、予め定められた枚数だけの厚み表示用のポリゴンが並べて
配置される。このため、基本ポリゴンの位置が変化されている場合には、その変化に従っ
た位置に厚み表示用のポリゴンが設定される。このため、手書き画像が上下方向又は左右
方向に飛び跳ねるように表示されるように基本ポリゴンの位置が変化される場合には、そ
の飛び跳ねる手書き画像に対応する厚みが表示される。
【０３２２】
このような基本ポリゴン、影表示用のポリゴン及び厚み表示用のポリゴンにテクスチャ
が貼り付けられて（ステップＳＢ８８）、仮想カメラでテクスチャが貼り付けられたポリ
ゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップ
ＳＢ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳＢ９０）、上側
ＬＣＤＢ２２に重畳画像が表示される（ステップＳＢ９１）。
【０３２３】
影が表示される場合の、上側ＬＣＤＢ２２における表示例を図５６（ａ）及び図５６（
ｂ）に示す。これらの図に示すように、手書き画像に対応する影が表示される。このため
、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することがで
きる。
【０３２４】
また、厚みが表示される場合の、上側ＬＣＤＢ２２における表示例を図５７（ａ）及び
図５７（ｂ）に示す。これらの図に示すように、手書き画像に厚みが示される。このため
、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することがで
きる。
【０３２５】
（マーカが一定時間以上検出できない場合）
例えば、ユーザがゲーム装置Ｂ１０を傾け過ぎると、外側撮像部Ｂ２３でマーカが撮像
できない場合がある。この場合には、撮像した画像の中から、マーカを一定時間以上検出
できないので（ステップＳＢ８１にてＹＥＳ）、基本ポリゴンの設定等を実行しないで、
カメラ画像を上側ＬＣＤＢ２２に表示する（ステップＳＢ９２）。このとき、上側ＬＣＤ
Ｂ２２には、マーカも手書き画像も表示されないで、外側撮像部Ｂ２３で撮像した風景だ
けが単に表示される。
【０３２６】
以上のように、本実施形態に係るゲーム装置Ｂ１０によると、外側撮像部Ｂ２３で撮像
した風景（背景）に、タッチパネルにユーザが手書きした画像を、表示位置を変化させた
り、形状を変化させたり、影を付与したり、厚みを付与したりすることにより、自然な拡
張現実感を実現した画像を上側ＬＣＤＢ２２に表示することができる。このため、手書き
画像について、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすること
ができる。この場合において、タッチパネルに手書きしている途中の画像であっても、上
側ＬＣＤＢ２２に表示することができる。このため、拡張現実感を確認しながら、手書き
画像を完成させることができる。
【０３２７】
（変形例）
上記したステップＳＢ８６においては、基本ポリゴンの形状を変化させて、変化させた
基本ポリゴンにテクスチャを貼り付けることにより、手書きオブジェクトの形状を変形さ
せていた。しかしながら、本発明はこれに限定されず、テクスチャを変形させるようにし
ても構わない。
【０３２８】
また、本実施形態に係るゲーム装置Ｂ１０が所定のゲームを実行するようにしても構わ
ない。例えば、所定のゲームプログラムがデータ保存用内部メモリＢ３５や外部メモリＢ
４４に記憶され、ゲーム装置Ｂ１０が当該プログラムを実行することによりゲームが行わ
れる。例えば、当該ゲームにおいて、ユーザが下側ＬＣＤＢ１２で作成した手書きオブジ
ェクトが上側ＬＣＤＢ２２に表示される。
【０３２９】
また、本発明は、本実施形態に係るゲーム装置に限らず、任意の携帯型電子機器（例え
ば、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）又は携帯電話）
、パーソナルコンピュータ、カメラ等に適用することが可能である。
【０３３０】
また、本実施形態に係るゲーム装置Ｂ１０の情報処理部Ｂ３１が所定のプログラムを実
行することによって、上述したフローチャートによる手書きオブジェクト表示処理が行わ
れた。これに限定されず、手書きオブジェクト表示処理の一部又は全部は、ゲーム装置Ｂ
１０が備える専用回路によって行われてもよい。
【０３３１】
また、上述した処理を１台のゲーム装置（情報処理装置）だけで処理するのではなく、
互いに通信可能に接続された複数の情報処理装置で分担して処理するようにしても構わな
い。
【０３３２】
また、１枚のポリゴンに手書き画像をテクスチャとして貼り付けるのではなく、手書き
画像に応じた形状の３Ｄポリゴンモデルを逐次生成して、これを基本ポリゴンの代わりに
配置するようにしても構わない。
【０３３３】
また、本実施形態においては、手書きの軌跡で構成される手書きオブジェクトを示す手
書きデータを入力する入力手段をタッチパネルＢ１３として説明したが、本発明はこれに
限定されない。例えば、この入力手段は、マウスやタッチパッド等のポインティングデバ
イスであっても構わない。また、カメラや加速度センサによって入力装置の姿勢を検出し
、入力装置が指し示す所定の面上の位置を当該姿勢に基づいて算出することにより、手書
きデータを入力するようになっていても構わない。さらに、ボタンＢ１４Ｃを押下しつつ
、十字ボタンＢ１４Ａで下側ＬＣＤＢ１２に表示されるカーソルを移動させた場合に、移
動するカーソルに追従するような軌跡を手書きデータとして入力するようになっていても
構わない。
【０３３４】
また、本実施形態においては、外側撮像部Ｂ２３により撮像したカメラ画像と手書き画
像とを重ね合わせて上側ＬＣＤＢ２２に表示させるビデオシースルー方式を説明したが、
本発明はこれに限定されない。例えば、光学シースルー方式を実現する構成であってもよ
い。この場合には、少なくともカメラを備えたヘッドマウンドディスプレイで構成され、
ユーザはメガネのレンズ部分に相当するディスプレイ部を通して現実空間を視認できるよ
うになっている。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが
可能な素材によって構成されている。さらに、このディスプレイ部にはコンピュータによ
り生成した仮想オブジェクトの画像を表示させることができるようになっている。これに
より、ユーザは、現実空間と仮想オブジェクトの画像とが重ね合わせられた像を視認する
ことができる。なお、ヘッドマウンドディスプレイに備えられたカメラは現実空間に配置
されたマーカを検出するために用いられる。
【０３３５】
図面を参照して、本発明のさらに他の一実施形態に係る画像処理プログラムを実行する
画像処理装置について説明する。本発明の画像処理プログラムは、任意のコンピュータシ
ステムで実行されることによって適用することができるが、画像処理装置の一例として携
帯型のゲーム装置Ｃ１０を用い、ゲーム装置Ｃ１０で実行される画像処理プログラムを用
いて説明する。なお、図５８〜図６０Ｄは、ゲーム装置Ｃ１０の外観の一例を示す平面図
である。ゲーム装置Ｃ１０は、一例として携帯型のゲーム装置であり、図５８〜図６０Ｄ
に示すように折り畳み可能に構成されている。図５８は、開いた状態（開状態）における
ゲーム装置Ｃ１０の一例を示す正面図である。図５９は、開状態におけるゲーム装置Ｃ１
０の一例を示す右側面図である。図６０Ａは、閉じた状態（閉状態）におけるゲーム装置
Ｃ１０の一例を示す左側面図である。図６０Ｂは、閉状態におけるゲーム装置Ｃ１０の一
例を示す正面図である。図６０Ｃは、閉状態におけるゲーム装置Ｃ１０の一例を示す右側
面図である。図６０Ｄは、閉状態におけるゲーム装置Ｃ１０の一例を示す背面図である。
ゲーム装置Ｃ１０は、撮像部を内蔵しており、当該撮像部によって画像を撮像し、撮像し
た画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。
また、ゲーム装置Ｃ１０は、交換可能なメモリカード内に記憶され、または、サーバや他
のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮
想カメラから見た仮想空間画像等のコンピュータグラフィックス処理により生成された画
像を画面に表示することもできる。
【０３３６】
図５８〜図６０Ｄにおいて、ゲーム装置Ｃ１０は、下側ハウジングＣ１１および上側ハ
ウジングＣ２１を有する。下側ハウジングＣ１１と上側ハウジングＣ２１とは、開閉可能
（折り畳み可能）に連結されている。図５８の例では、下側ハウジングＣ１１および上側
ハウジングＣ２１は、それぞれ横長の長方形の板状で形成され、互いの長辺部分で回動可
能に連結されている。通常、ユーザは、開状態でゲーム装置Ｃ１０を使用する。そして、
ユーザは、ゲーム装置Ｃ１０を使用しない場合には閉状態としてゲーム装置Ｃ１０を保管
する。また、ゲーム装置Ｃ１０は、上記閉状態および開状態のみでなく、下側ハウジング
Ｃ１１と上側ハウジングＣ２１とのなす角度が閉状態と開状態との間の任意の角度におい
て、連結部分に発生する摩擦力などによってその開閉角度を維持することができる。つま
り、上側ハウジングＣ２１を下側ハウジングＣ１１に対して任意の角度で静止させること
ができる。
【０３３７】
図５８および図５９に示されるように、下側ハウジングＣ１１の上側長辺部分には、下
側ハウジングＣ１１の内側面（主面）Ｃ１１Ｂに対して垂直な方向に突起する突起部Ｃ１
１Ａが設けられる。また、上側ハウジングＣ２１の下側長辺部分には、上側ハウジングＣ
２１の下側面から当該下側面に垂直な方向に突起する突起部Ｃ２１Ａが設けられる。下側
ハウジングＣ１１の突起部Ｃ１１Ａと上側ハウジングＣ２１の突起部Ｃ２１Ａとが連結さ
れることにより、下側ハウジングＣ１１と上側ハウジングＣ２１とが、折り畳み可能に接
続される。
【０３３８】
下側ハウジングＣ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌ
ａｙ：液晶表示装置）Ｃ１２、タッチパネルＣ１３、各操作ボタンＣ１４Ａ〜Ｃ１４Ｌ（
図５８、図６０Ａ〜図６０Ｄ）、アナログスティックＣ１５、ＬＥＤＣ１６Ａ〜Ｃ１６Ｂ
、挿入口Ｃ１７、および、マイクロフォン用孔Ｃ１８が設けられる。以下、これらの詳細
について説明する。
【０３３９】
図５８に示すように、下側ＬＣＤＣ１２は下側ハウジングＣ１１に収納される。下側Ｌ
ＣＤＣ１２は横長形状であり、長辺方向が下側ハウジングＣ１１の長辺方向に一致するよ
うに配置される。下側ＬＣＤＣ１２は、下側ハウジングＣ１１の中央に配置される。下側
ＬＣＤＣ１２は、下側ハウジングＣ１１の内側面（主面）に設けられ、下側ハウジングＣ
１１の内側面に設けられた開口部から下側ＬＣＤＣ１２の画面が露出する。そして、ゲー
ム装置Ｃ１０を使用しない場合には上記閉状態としておくことによって、下側ＬＣＤＣ１
２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤＣ１２の画
素数は、一例として、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）である。他の例として、下
側ＬＣＤＣ１２の画素数は、３２０ｄｏｔ×２４０ｄｏｔ（横×縦）である。下側ＬＣＤ
Ｃ１２は、後述する上側ＬＣＤＣ２２とは異なり、画像を（立体視可能ではなく）平面的
に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが
、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示
装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤＣ１２として、任意
の解像度の表示装置を利用することができる。
【０３４０】
図５８に示されるように、ゲーム装置Ｃ１０は、入力装置として、タッチパネルＣ１３
を備えている。タッチパネルＣ１３は、下側ＬＣＤＣ１２の画面上を覆うように装着され
ている。なお、本実施形態では、タッチパネルＣ１３は、例えば抵抗膜方式のタッチパネ
ルが用いられる。ただし、タッチパネルＣ１３は、抵抗膜方式に限らず、例えば静電容量
方式等、任意の押圧式のタッチパネルを用いることができる。本実施形態では、タッチパ
ネルＣ１３として、下側ＬＣＤＣ１２の解像度と同解像度（検出精度）のものを利用する
。ただし、必ずしもタッチパネルＣ１３の解像度と下側ＬＣＤＣ１２の解像度とが一致し
ている必要はない。また、下側ハウジングＣ１１の上側面には挿入口Ｃ１７（図５８およ
び図６０Ｄに示す点線）が設けられている。挿入口Ｃ１７は、タッチパネルＣ１３に対す
る操作を行うために用いられるタッチペンＣ２８を収納することができる。なお、タッチ
パネルＣ１３に対する入力は通常タッチペンＣ２８を用いて行われるが、タッチペンＣ２
８に限らずユーザの指でタッチパネルＣ１３に対する入力をすることも可能である。
【０３４１】
各操作ボタンＣ１４Ａ〜Ｃ１４Ｌは、所定の入力を行うための入力装置である。図５８
に示されるように、下側ハウジングＣ１１の内側面（主面）には、各操作ボタンＣ１４Ａ
〜Ｃ１４Ｌのうち、十字ボタンＣ１４Ａ（方向入力ボタンＣ１４Ａ）、ボタンＣ１４Ｂ、
ボタンＣ１４Ｃ、ボタンＣ１４Ｄ、ボタンＣ１４Ｅ、電源ボタンＣ１４Ｆ、セレクトボタ
ンＣ１４Ｊ、ＨＯＭＥボタンＣ１４Ｋ、およびスタートボタンＣ１４Ｌが設けられる。十
字ボタンＣ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有し
ている。ボタンＣ１４Ｂ、ボタンＣ１４Ｃ、ボタンＣ１４Ｄ、およびボタンＣ１４Ｅは、
十字状に配置される。ボタンＣ１４Ａ〜Ｃ１４Ｅ、セレクトボタンＣ１４Ｊ、ＨＯＭＥボ
タンＣ１４Ｋ、およびスタートボタンＣ１４Ｌには、ゲーム装置Ｃ１０が実行するプログ
ラムに応じた機能が適宜割り当てられる。例えば、十字ボタンＣ１４Ａは選択操作等に用
いられ、各操作ボタンＣ１４Ｂ〜Ｃ１４Ｅは例えば決定操作やキャンセル操作等に用いら
れる。また、電源ボタンＣ１４Ｆは、ゲーム装置Ｃ１０の電源をオン／オフするために用
いられる。
【０３４２】
アナログスティックＣ１５は、方向を指示するデバイスであり、下側ハウジングＣ１１
の内側面の下側ＬＣＤＣ１２より左側領域の上部領域に設けられる。図５８に示すように
、十字ボタンＣ１４Ａが下側ＬＣＤＣ１２より左側領域の下部領域に設けられ、アナログ
スティックＣ１５が十字ボタンＣ１４Ａの上方に設けられる。また、アナログスティック
Ｃ１５および十字ボタンＣ１４Ａは、下側ハウジングＣ１１を把持した左手の親指で操作
可能な位置に設計される。また、アナログスティックＣ１５を上部領域に設けたことによ
り、下側ハウジングＣ１１を把持する左手の親指が自然と位置するところにアナログステ
ィックＣ１５が配され、十字ボタンＣ１４Ａは、左手の親指を少し下にずらした位置に配
される。アナログスティックＣ１５は、そのキートップが、下側ハウジングＣ１１の内側
面に平行にスライドするように構成されている。アナログスティックＣ１５は、ゲーム装
置Ｃ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブ
ジェクトが登場するゲームがゲーム装置Ｃ１０によって実行される場合、アナログスティ
ックＣ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置
として機能する。この場合において、所定のオブジェクトは、アナログスティックＣ１５
のキートップがスライドした方向に移動される。なお、アナログスティックＣ１５として
、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能
としたものを用いてもよい。
【０３４３】
十字状に配置される、ボタンＣ１４Ｂ、ボタンＣ１４Ｃ、ボタンＣ１４Ｄ、およびボタ
ンＣ１４Ｅの４つのボタンは、下側ハウジングＣ１１を把持する右手の親指が自然と位置
するところに配置される。また、これらの４つのボタンとアナログスティックＣ１５とは
、下側ＬＣＤＣ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムに
よっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をする
ことも可能である。
【０３４４】
また、下側ハウジングＣ１１の内側面には、マイクロフォン用孔Ｃ１８が設けられる。
マイクロフォン用孔Ｃ１８の下部には後述する音声入力装置としてのマイク（図６１参照
）が設けられ、当該マイクがゲーム装置Ｃ１０の外部の音を検出する。
【０３４５】
図６０Ｂおよび図６０Ｄに示されるように、下側ハウジングＣ１１の上側面には、Ｌボ
タンＣ１４ＧおよびＲボタンＣ１４Ｈが設けられている。ＬボタンＣ１４Ｇは、下側ハウ
ジングＣ１１の上面の左端部に設けられ、ＲボタンＣ１４Ｈは、下側ハウジングＣ１１の
上面の右端部に設けられる。後述のように、ＬボタンＣ１４ＧおよびＲボタンＣ１４Ｈは
、撮像部のシャッターボタン（撮影指示ボタン）として機能する。また、図６０Ａに示さ
れるように、下側ハウジングＣ１１の左側面には、音量ボタンＣ１４Ｉが設けられる。音
量ボタンＣ１４Ｉは、ゲーム装置Ｃ１０が備えるスピーカの音量を調整するために用いら
れる。
【０３４６】
図６０Ａに示されるように、下側ハウジングＣ１１の左側面には開閉可能なカバー部Ｃ
１１Ｃが設けられる。このカバー部Ｃ１１Ｃの内側には、ゲーム装置Ｃ１０とデータ保存
用外部メモリＣ４６とを電気的に接続するためのコネクタ（図示せず）が設けられる。デ
ータ保存用外部メモリＣ４６は、上記コネクタに着脱自在に装着される。データ保存用外
部メモリＣ４６は、例えば、ゲーム装置Ｃ１０によって撮像された画像のデータを記憶（
保存）するために用いられる。なお、上記コネクタおよびそのカバー部Ｃ１１Ｃは、下側
ハウジングＣ１１の右側面に設けられてもよい。
【０３４７】
図６０Ｄに示されるように、下側ハウジングＣ１１の上側面にはゲーム装置Ｃ１０とゲ
ームプログラムを記録した外部メモリＣ４５を挿入するための挿入口Ｃ１１Ｄが設けられ
、その挿入口Ｃ１１Ｄの内部には、外部メモリＣ４５と電気的に着脱自在に接続するため
のコネクタ（図示せず）が設けられる。外部メモリＣ４５がゲーム装置Ｃ１０に接続され
ることにより、所定のゲームプログラムが実行される。なお、上記コネクタおよび挿入口
Ｃ１１Ｄは、下側ハウジングＣ１１の他の側面（例えば、右側面等）に設けられてもよい
。
【０３４８】
図５８に示されるように、下側ハウジングＣ１１の下側面には、ゲーム装置Ｃ１０の電
源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＣ１６Ａが設けられる。また、図６
０Ｃに示されるように、下側ハウジングＣ１１の右側面には、ゲーム装置Ｃ１０の無線通
信の確立状況をユーザに通知する第２ＬＥＤＣ１６Ｂが設けられる。ゲーム装置Ｃ１０は
、他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤＣ１６Ｂは、他の機器
との無線通信が確立している場合に点灯する。ゲーム装置Ｃ１０は、例えば、ＩＥＥＥ８
０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。
下側ハウジングＣ１１の右側面には、この無線通信の機能を有効／無効にする無線スイッ
チＣ１９が設けられる（図６０Ｃ参照）。
【０３４９】
なお、図示は省略するが、下側ハウジングＣ１１には、ゲーム装置Ｃ１０の電源となる
充電式電池が収納され、下側ハウジングＣ１１の側面（例えば、上側面）に設けられた端
子を介して当該電池を充電することができる。
【０３５０】
上側ハウジングＣ２１には、上側ＬＣＤＣ２２、２つの外側撮像部Ｃ２３（外側左撮像
部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂ）、内側撮像部Ｃ２４、３Ｄ調整スイッチＣ２５
、および３ＤインジケータＣ２６が設けられる。以下、これらの詳細について説明する。
【０３５１】
図５８に示すように、上側ＬＣＤＣ２２は、上側ハウジングＣ２１に収納される。上側
ＬＣＤＣ２２は、横長形状であり、長辺方向が上側ハウジングＣ２１の長辺方向に一致す
るように配置される。上側ＬＣＤＣ２２は、上側ハウジングＣ２１の中央に配置される。
上側ＬＣＤＣ２２の画面の面積は、一例として下側ＬＣＤＣ１２の画面の面積よりも大き
く設定される。具体的には、上側ＬＣＤＣ２２の画面は、下側ＬＣＤＣ１２の画面よりも
横長に設定される。すなわち、上側ＬＣＤＣ２２の画面のアスペクト比における横幅の割
合は、下側ＬＣＤＣ１２の画面のアスペクト比における横幅の割合よりも大きく設定され
る。
【０３５２】
上側ＬＣＤＣ２２の画面は、上側ハウジングＣ２１の内側面（主面）Ｃ２１Ｂに設けら
れ、上側ハウジングＣ２１の内側面に設けられた開口部から上側ＬＣＤＣ２２の画面が露
出する。また、図５９に示すように、上側ハウジングＣ２１の内側面は、透明なスクリー
ンカバーＣ２７によって覆われている。スクリーンカバーＣ２７は、上側ＬＣＤＣ２２の
画面を保護するとともに、上側ＬＣＤＣ２２と上側ハウジングＣ２１の内側面と一体的に
させ、これにより統一感を持たせている。上側ＬＣＤＣ２２の画素数は、一例として６４
０ｄｏｔ×２００ｄｏｔ（横×縦）である。他の例として、上側ＬＣＤＣ２２の画素数は
、８００ｄｏｔ×２４０ｄｏｔ（横×縦）である。なお、本実施形態では、上側ＬＣＤＣ
２２が液晶表示装置であるとしたが、例えばＥＬを利用した表示装置などが利用されても
よい。また、上側ＬＣＤＣ２２として、任意の解像度の表示装置を利用することができる
。
【０３５３】
上側ＬＣＤＣ２２は、立体視可能な画像を表示することが可能な表示装置である。上側
ＬＣＤＣ２２は、実質的に同一の表示領域を用いて左目用画像と右目用画像とを表示する
ことが可能である。具体的には、上側ＬＣＤＣ２２は、左目用画像と右目用画像とが所定
単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。一例とし
て、上側ＬＣＤＣ２２の画素数が８００ｄｏｔ×２４０ｄｏｔで構成される場合、横の８
００ピクセルを左目用画像と右目用画像とに交互にそれぞれ４００ピクセル割り当てるこ
とによって立体視が可能となる。なお、上側ＬＣＤＣ２２は、左目用画像と右目用画像と
が交互に表示される方式の表示装置であってもよい。また、上側ＬＣＤＣ２２は、裸眼立
体視可能な表示装置である。この場合、上側ＬＣＤＣ２２は、横方向に交互に表示される
左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキ
ュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形
態では、上側ＬＣＤＣ２２は、パララックスバリア方式のものとする。上側ＬＣＤＣ２２
は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示す
る。すなわち、上側ＬＣＤＣ２２は、視差バリアを用いてユーザの左目に左目用画像をユ
ーザの右目に右目用画像をそれぞれ視認させることにより、ユーザにとって立体感のある
立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤＣ２２は、上
記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平
面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示する
ことができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モ
ードである。）。このように、上側ＬＣＤＣ２２は、立体視可能な画像を表示する立体表
示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り
替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整ス
イッチＣ２５によって行われる。
【０３５４】
外側撮像部Ｃ２３は、上側ハウジングＣ２１の外側面（上側ＬＣＤＣ２２が設けられた
主面と反対側の背面）Ｃ２１Ｄに設けられた２つの撮像部（外側左撮像部Ｃ２３ａおよび
外側右撮像部Ｃ２３ｂ）の総称である。外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３
ｂの撮像方向は、いずれも外側面Ｃ２１Ｄの外向きの法線方向である。また、外側左撮像
部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、いずれも、上側ＬＣＤＣ２２の表示面（内側
面）の法線方向と１８０度反対の方向に設計される。すなわち、外側左撮像部Ｃ２３ａの
撮像方向および外側右撮像部Ｃ２３ｂの撮像方向は、平行である。外側左撮像部Ｃ２３ａ
と外側右撮像部Ｃ２３ｂとは、ゲーム装置Ｃ１０が実行するプログラムによって、ステレ
オカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮
像部（外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂ）のいずれか一方を単独で用い
て、外側撮像部Ｃ２３を非ステレオカメラとして使用することも可能である。また、プロ
グラムによっては、２つの外側撮像部（外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３
ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像
を行うことも可能である。本実施形態では、外側撮像部Ｃ２３は、外側左撮像部Ｃ２３ａ
および外側右撮像部Ｃ２３ｂの２つの撮像部で構成される。外側左撮像部Ｃ２３ａおよび
外側右撮像部Ｃ２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣ
ＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム
機構を有するものでもよい。
【０３５５】
図５８の破線および図６０Ｂの実線で示されるように、外側撮像部Ｃ２３を構成する外
側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ＬＣＤＣ２２の画面の横方向と
平行に並べられて配置される。すなわち、２つの外側左撮像部Ｃ２３ａおよび外側右撮像
部Ｃ２３ｂを結んだ直線が上側ＬＣＤＣ２２の画面の横方向と平行になるように、外側左
撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂが配置される。図５８の破線Ｃ２３ａおよび
Ｃ２３ｂは、上側ハウジングＣ２１の内側面とは反対側の外側面に存在する外側左撮像部
Ｃ２３ａおよび外側右撮像部Ｃ２３ｂをそれぞれ表している。図５８に示すように、ユー
ザが上側ＬＣＤＣ２２の画面を正面から視認した場合に、外側左撮像部Ｃ２３ａは左側に
外側右撮像部Ｃ２３ｂは右側にそれぞれ位置する。外側撮像部Ｃ２３をステレオカメラと
して機能させるプログラムが実行されている場合、外側左撮像部Ｃ２３ａは、ユーザの左
目で視認される左目用画像を撮像し、外側右撮像部Ｃ２３ｂは、ユーザの右目で視認され
る右目用画像を撮像する。外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの間隔は、
人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよ
い。なお、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの間隔は、この範囲に限ら
ない。
【０３５６】
なお、本実施例においては、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、ハ
ウジングに固定されており、撮像方向を変更することはできない。
【０３５７】
外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ＬＣＤＣ２２（上側ハウジ
ングＣ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわ
ち、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ＬＣＤＣ２２を左右に２
等分する線に対して対称の位置にそれぞれ配置される。また、外側左撮像部Ｃ２３ａおよ
び外側右撮像部Ｃ２３ｂは、上側ハウジングＣ２１を開いた状態において、上側ハウジン
グＣ２１の上部であって、上側ＬＣＤＣ２２の画面の上端よりも上方の位置の裏側に配置
される。すなわち、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂは、上側ハウジン
グＣ２１の外側面であって、上側ＬＣＤＣ２２を外側面に投影した場合、投影した上側Ｌ
ＣＤＣ２２の画面の上端よりも上方に配置される。
【０３５８】
このように、外側撮像部Ｃ２３の２つの撮像部（外側左撮像部Ｃ２３ａおよび外側右撮
像部Ｃ２３ｂ）が上側ＬＣＤＣ２２の左右方向に関して中央から対称の位置に配置される
ことにより、ユーザが上側ＬＣＤＣ２２を正視した場合に、外側撮像部Ｃ２３それぞれの
撮像方向をユーザの左右の目それぞれの視線方向と一致させることができる。また、外側
撮像部Ｃ２３は、上側ＬＣＤＣ２２の画面の上端より上方の裏側の位置に配置されるため
、外側撮像部Ｃ２３と上側ＬＣＤＣ２２とが上側ハウジングＣ２１の内部で干渉すること
がない。したがって、外側撮像部Ｃ２３を上側ＬＣＤＣ２２の画面の裏側に配置する場合
と比べて、上側ハウジングＣ２１を薄く構成することが可能となる。
【０３５９】
内側撮像部Ｃ２４は、上側ハウジングＣ２１の内側面（主面）Ｃ２１Ｂに設けられ、当
該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ｃ２４は、所定
の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等
）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【０３６０】
図５８に示すように、内側撮像部Ｃ２４は、上側ハウジングＣ２１を開いた状態におい
て、上側ハウジングＣ２１の上部であって、上側ＬＣＤＣ２２の画面の上端よりも上方に
配置され、上側ハウジングＣ２１の左右方向に関して中央の位置（上側ハウジングＣ２１
（上側ＬＣＤＣ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、
図５８および図６０Ｂに示されるように、内側撮像部Ｃ２４は、上側ハウジングＣ２１の
内側面であって、外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの中間の裏側の位置
に配置される。すなわち、上側ハウジングＣ２１の外側面に設けられた外側左撮像部Ｃ２
３ａおよび外側右撮像部Ｃ２３ｂを上側ハウジングＣ２１の内側面に投影した場合、当該
投影した外側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの中間に、内側撮像部Ｃ２４
が設けられる。図６０Ｂで示される破線Ｃ２４は、上側ハウジングＣ２１の内側面に存在
する内側撮像部Ｃ２４を表している。
【０３６１】
このように、内側撮像部Ｃ２４は、外側撮像部Ｃ２３とは反対方向を撮像する。内側撮
像部Ｃ２４は、上側ハウジングＣ２１の内側面であって、２つの外側撮像部Ｃ２３の中間
位置となる裏側に設けられる。これにより、ユーザが上側ＬＣＤＣ２２を正視した際、内
側撮像部Ｃ２４でユーザの顔を正面から撮像することができる。また、外側左撮像部Ｃ２
３ａおよび外側右撮像部Ｃ２３ｂと内側撮像部Ｃ２４とが上側ハウジングＣ２１の内部で
干渉することがないため、上側ハウジングＣ２１を薄く構成することが可能となる。
【０３６２】
３Ｄ調整スイッチＣ２５は、スライドスイッチであり、上述のように上側ＬＣＤＣ２２
の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＣ
２５は、上側ＬＣＤＣ２２に表示された立体視可能な画像（立体画像）の立体感を調整す
るために用いられる。図５８〜図６０Ｄに示されるように、３Ｄ調整スイッチＣ２５は、
上側ハウジングＣ２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤＣ２
２を正視した場合に、当該３Ｄ調整スイッチＣ２５を視認できる位置に設けられる。３Ｄ
調整スイッチＣ２５は、所定方向（例えば、上下方向）の任意の位置にスライド可能なス
ライダを有しており、当該スライダの位置に応じて上側ＬＣＤＣ２２の表示モードが設定
される。
【０３６３】
例えば、３Ｄ調整スイッチＣ２５のスライダが最下点位置に配置されている場合、上側
ＬＣＤＣ２２が平面表示モードに設定され、上側ＬＣＤＣ２２の画面には平面画像が表示
される。なお、上側ＬＣＤＣ２２を立体表示モードのままとして、左目用画像と右目用画
像とを同一の画像とすることにより平面表示してもよい。一方、上記最下点位置より上側
にスライダが配置されている場合、上側ＬＣＤＣ２２は立体表示モードに設定される。こ
の場合、上側ＬＣＤＣ２２の画面には立体視可能な画像が表示される。ここで、スライダ
が上記最下点位置より上側に配置されている場合、スライダの位置に応じて、立体画像の
見え方が調整される。具体的には、スライダの位置に応じて、右目用画像および左目用画
像における横方向の位置のずれ量が調整される。
【０３６４】
３ＤインジケータＣ２６は、上側ＬＣＤＣ２２が立体表示モードか否かを示す。例えば
、３ＤインジケータＣ２６は、ＬＥＤであり、上側ＬＣＤＣ２２の立体表示モードが有効
の場合に点灯する。図５８に示されるように、３ＤインジケータＣ２６は、上側ハウジン
グＣ２１の内側面に設けられ、上側ＬＣＤＣ２２の画面近傍に設けられる。このため、ユ
ーザが上側ＬＣＤＣ２２の画面を正視した場合、ユーザは３ＤインジケータＣ２６を視認
しやすい。したがって、ユーザは、上側ＬＣＤＣ２２の画面を視認している状態でも、上
側ＬＣＤＣ２２の表示モードを容易に認識することができる。
【０３６５】
また、上側ハウジングＣ２１の内側面には、スピーカ孔Ｃ２１Ｅが設けられる。後述す
るスピーカＣ４４からの音声がこのスピーカ孔Ｃ２１Ｅから出力される。
【０３６６】
次に、図６１を参照して、ゲーム装置Ｃ１０の内部構成を説明する。なお、図６１は、
ゲーム装置Ｃ１０の内部構成の一例を示すブロック図である。
【０３６７】
図６１において、ゲーム装置Ｃ１０は、上述した各構成部に加えて、情報処理部Ｃ３１
、メインメモリＣ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）Ｃ３３、デー
タ保存用外部メモリＩ／ＦＣ３４、データ保存用内部メモリＣ３５、無線通信モジュール
Ｃ３６、ローカル通信モジュールＣ３７、リアルタイムクロック（ＲＴＣ）Ｃ３８、加速
度センサＣ３９、角速度センサＣ４０、電源回路Ｃ４１、およびインターフェイス回路（
Ｉ／Ｆ回路）Ｃ４２等の電子部品を備えている。これらの電子部品は、電子回路基板上に
実装されて下側ハウジングＣ１１（または上側ハウジングＣ２１でもよい）内に収納され
る。
【０３６８】
情報処理部Ｃ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐ
ｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｃ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ  
Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｃ３１２等を含む情報処理手段である。本実施形態で
は、所定のプログラムがゲーム装置Ｃ１０内のメモリ（例えば外部メモリＩ／ＦＣ３３に
接続された外部メモリＣ４５やデータ保存用内部メモリＣ３５）に記憶されている。情報
処理部Ｃ３１のＣＰＵＣ３１１は、当該所定のプログラムを実行することによって、後述
する画像処理やゲーム処理を実行する。なお、情報処理部Ｃ３１のＣＰＵＣ３１１によっ
て実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。
また、情報処理部Ｃ３１は、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）Ｃ３１３を含む。情報処理
部Ｃ３１のＧＰＵＣ３１２は、情報処理部Ｃ３１のＣＰＵＣ３１１からの命令に応じて画
像を生成し、ＶＲＡＭＣ３１３に描画する。そして、情報処理部Ｃ３１のＧＰＵＣ３１２
は、ＶＲＡＭＣ３１３に描画された画像を上側ＬＣＤＣ２２および／または下側ＬＣＤＣ
１２に出力し、上側ＬＣＤＣ２２および／または下側ＬＣＤＣ１２に当該画像が表示され
る。
【０３６９】
情報処理部Ｃ３１には、メインメモリＣ３２、外部メモリＩ／ＦＣ３３、データ保存用
外部メモリＩ／ＦＣ３４、およびデータ保存用内部メモリＣ３５が接続される。外部メモ
リＩ／ＦＣ３３は、外部メモリＣ４５を着脱自在に接続するためのインターフェイスであ
る。また、データ保存用外部メモリＩ／ＦＣ３４は、データ保存用外部メモリＣ４６を着
脱自在に接続するためのインターフェイスである。
【０３７０】
メインメモリＣ３２は、情報処理部Ｃ３１（ＣＰＵＣ３１１）のワーク領域やバッファ
領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＣ３２は、画像
処理やゲーム処理で用いられる各種データを一時的に記憶したり、外部（外部メモリＣ４
５や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では
、メインメモリＣ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【０３７１】
外部メモリＣ４５は、情報処理部Ｃ３１によって実行されるプログラムを記憶するため
の不揮発性の記憶手段である。外部メモリＣ４５は、例えば読み取り専用の半導体メモリ
で構成される。外部メモリＣ４５が外部メモリＩ／ＦＣ３３に接続されると、情報処理部
Ｃ３１は外部メモリＣ４５に記憶されたプログラムを読み込むことができる。情報処理部
Ｃ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保
存用外部メモリＣ４６は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシ
ュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存
用外部メモリＣ４６には、外側撮像部Ｃ２３で撮像された画像や他の機器で撮像された画
像が記憶される。データ保存用外部メモリＣ４６がデータ保存用外部メモリＩ／ＦＣ３４
に接続されると、情報処理部Ｃ３１はデータ保存用外部メモリＣ４６に記憶された画像を
読み込み、上側ＬＣＤＣ２２および／または下側ＬＣＤＣ１２に当該画像を表示すること
ができる。
【０３７２】
データ保存用内部メモリＣ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型
フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、デ
ータ保存用内部メモリＣ３５には、無線通信モジュールＣ３６を介した無線通信によって
ダウンロードされたデータやプログラムが格納される。
【０３７３】
無線通信モジュールＣ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した
方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＣ３７
は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行
う機能を有する。無線通信モジュールＣ３６およびローカル通信モジュールＣ３７は、情
報処理部Ｃ３１に接続される。情報処理部Ｃ３１は、無線通信モジュールＣ３６を用いて
インターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュー
ルＣ３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる
。
【０３７４】
情報処理部Ｃ３１には、加速度センサＣ３９が接続される。加速度センサＣ３９は、３
軸（本実施形態では、ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさ
を検出する。加速度センサＣ３９は、例えば下側ハウジングＣ１１の内部に設けられる。
加速度センサＣ３９は、図５８に示すように、下側ハウジングＣ１１の長辺方向をｘ軸、
下側ハウジングＣ１１の短辺方向をｙ軸、下側ハウジングＣ１１の内側面（主面）に対し
て垂直な方向をｚ軸として、ゲーム装置Ｃ１０の各軸方向へ生じる直線加速度の大きさを
それぞれ検出する。なお、加速度センサＣ３９は、例えば静電容量式の加速度センサとす
るが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサＣ３９は
、１軸または２軸方向を検出する加速度センサであってもよい。情報処理部Ｃ３１は、加
速度センサＣ３９が検出した加速度を示すデータ（加速度データ）を受け取って、ゲーム
装置Ｃ１０の姿勢や動きを算出する。
【０３７５】
情報処理部Ｃ３１には、角速度センサＣ４０が接続される。角速度センサＣ４０は、ゲ
ーム装置Ｃ１０の３軸（本実施形態では、ｘｙｚ軸）周りに生じる角速度をそれぞれ検出
し、検出した角速度を示すデータ（角速度データ）を情報処理部Ｃ３１へ出力する。角速
度センサＣ４０は、例えば下側ハウジングＣ１１の内部に設けられる。情報処理部Ｃ３１
は、角速度センサＣ４０から出力された角速度データを受け取って、ゲーム装置Ｃ１０の
姿勢や動きを算出する。
【０３７６】
情報処理部Ｃ３１には、ＲＴＣＣ３８および電源回路Ｃ４１が接続される。ＲＴＣＣ３
８は、時間をカウントして情報処理部Ｃ３１に出力する。情報処理部Ｃ３１は、ＲＴＣＣ
３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ｃ４１は、
ゲーム装置Ｃ１０が有する電源（下側ハウジングＣ１１に収納される上記充電式電池）か
らの電力を制御し、ゲーム装置Ｃ１０の各部品に電力を供給する。
【０３７７】
情報処理部Ｃ３１には、Ｉ／Ｆ回路Ｃ４２が接続される。Ｉ／Ｆ回路Ｃ４２には、マイ
クＣ４３、スピーカＣ４４、およびタッチパネルＣ１３が接続される。具体的には、Ｉ／
Ｆ回路Ｃ４２には、図示しないアンプを介してスピーカＣ４４が接続される。マイクＣ４
３は、ユーザの音声を検知して音声信号をＩ／Ｆ回路Ｃ４２に出力する。アンプは、Ｉ／
Ｆ回路Ｃ４２からの音声信号を増幅し、音声をスピーカＣ４４から出力させる。Ｉ／Ｆ回
路Ｃ４２は、マイクＣ４３およびスピーカＣ４４（アンプ）の制御を行う音声制御回路と
、タッチパネルＣ１３の制御を行うタッチパネル制御回路とを含む。音声制御回路は、音
声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声デ
ータに変換したりする。タッチパネル制御回路は、タッチパネルＣ１３からの信号に基づ
いて所定の形式のタッチ位置データを生成して情報処理部Ｃ３１に出力する。タッチ位置
データは、タッチパネルＣ１３の入力面において入力が行われた位置（タッチ位置）の座
標を示す。なお、タッチパネル制御回路は、タッチパネルＣ１３からの信号の読み込み、
およびタッチ位置データの生成を所定時間に１回の割合で行う。情報処理部Ｃ３１は、タ
ッチ位置データを取得することにより、タッチパネルＣ１３に対して入力が行われたタッ
チ位置を知ることができる。
【０３７８】
操作ボタンＣ１４は、上記各操作ボタンＣ１４Ａ〜Ｃ１４Ｌからなり、情報処理部Ｃ３
１に接続される。操作ボタンＣ１４から情報処理部Ｃ３１へは、各操作ボタンＣ１４Ａ〜
Ｃ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処
理部Ｃ３１は、操作ボタンＣ１４から操作データを取得することによって、操作ボタンＣ
１４に対する入力に応じた処理を実行する。
【０３７９】
下側ＬＣＤＣ１２および上側ＬＣＤＣ２２は、情報処理部Ｃ３１に接続される。下側Ｌ
ＣＤＣ１２および上側ＬＣＤＣ２２は、情報処理部Ｃ３１（ＧＰＵＣ３１２）の指示にし
たがって画像を表示する。本実施形態では、情報処理部Ｃ３１は、例えば入力操作用の画
像を下側ＬＣＤＣ１２に表示させ、外側撮像部Ｃ２３および内側撮像部Ｃ２４のいずれか
から取得した画像を上側ＬＣＤＣ２２に表示させる。すなわち、情報処理部Ｃ３１は、上
側ＬＣＤＣ２２に外側撮像部Ｃ２３で撮像した右目用画像と左目用画像とを用いた立体画
像（立体視可能な画像）を表示させたり、内側撮像部Ｃ２４で撮像した平面画像を上側Ｌ
ＣＤＣ２２に表示させたり、上側ＬＣＤＣ２２に外側撮像部Ｃ２３で撮像した右目用画像
および左目用画像の一方を用いた平面画像を表示させたりする。
【０３８０】
具体的には、情報処理部Ｃ３１は、上側ＬＣＤＣ２２のＬＣＤコントローラ（図示せず
）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。
上側ＬＣＤＣ２２の視差バリアがＯＮになっている場合、情報処理部Ｃ３１のＶＲＡＭＣ
３１３に格納された（外側撮像部Ｃ２３で撮像された）右目用画像と左目用画像とが、上
側ＬＣＤＣ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像につ
いて縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１
ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＣ３１
３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像
が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊
状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＣ２２の画面
に表示される。そして、上側ＬＣＤＣ２２の視差バリアを介して当該画像がユーザに視認
されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認さ
れる。以上により、上側ＬＣＤＣ２２の画面には立体視可能な画像が表示される。
【０３８１】
外側撮像部Ｃ２３および内側撮像部Ｃ２４は、情報処理部Ｃ３１に接続される。外側撮
像部Ｃ２３および内側撮像部Ｃ２４は、情報処理部Ｃ３１の指示にしたがって画像を撮像
し、撮像した画像データを情報処理部Ｃ３１に出力する。本実施形態では、情報処理部Ｃ
３１は、外側撮像部Ｃ２３および内側撮像部Ｃ２４のいずれか一方に対して撮像指示を行
い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部Ｃ３１に送る。具
体的には、ユーザによるタッチパネルＣ１３や操作ボタンＣ１４を用いた操作によって使
用する撮像部が選択される。そして、撮像部が選択されたことを情報処理部Ｃ３１（ＣＰ
ＵＣ３１１）が検知し、情報処理部Ｃ３１が外側撮像部Ｃ２３または内側撮像部Ｃ２４に
対して撮像指示を行う。
【０３８２】
３Ｄ調整スイッチＣ２５は、情報処理部Ｃ３１に接続される。３Ｄ調整スイッチＣ２５
は、スライダの位置に応じた電気信号を情報処理部Ｃ３１に送信する。
【０３８３】
３ＤインジケータＣ２６は、情報処理部Ｃ３１に接続される。情報処理部Ｃ３１は、３
ＤインジケータＣ２６の点灯を制御する。例えば、情報処理部Ｃ３１は、上側ＬＣＤＣ２
２が立体表示モードである場合、３ＤインジケータＣ２６を点灯させる。
【０３８４】
次に、図６２〜図６８を参照して、ゲーム装置Ｃ１０の使用状態および表示内容の一例
を示す。なお、図６２は、ユーザがゲーム装置Ｃ１０を把持して操作する様子の一例を示
す図である。図６３は、外側撮像部Ｃ２３の撮像対象となるマーカＭＫの一例を示す図で
ある。図６４は、ユーザがゲーム装置Ｃ１０に向かって音声を入力している様子の一例を
概説する図解図である。図６５〜図６８は、上側ＬＣＤＣ２２に表示される表示形態例を
示す図である。
【０３８５】
図６２に示されるように、ユーザは、下側ＬＣＤＣ１２および上側ＬＣＤＣ２２がユー
ザの方向を向く状態で、両手の掌と中指、薬指および小指とで下側ハウジングＣ１１の側
面および外側面（内側面の反対側の面）を把持する。このように把持することで、ユーザ
は、下側ハウジングＣ１１を把持したまま、各操作ボタンＣ１４Ａ〜Ｃ１４Ｅおよびアナ
ログスティックＣ１５に対する操作を親指で行い、ＬボタンＣ１４ＧおよびＲボタンＣ１
４Ｈに対する操作を人差し指で行うことができる。そして、図６２に示した一例では、外
側左撮像部Ｃ２３ａおよび外側右撮像部Ｃ２３ｂによってゲーム装置Ｃ１０の背面側の実
世界を撮像した実世界画像が、上側ＬＣＤＣ２２に立体視表示されている。
【０３８６】
本実施形態では、画像処理プログラムに基づいて、外側撮像部Ｃ２３（外側左撮像部Ｃ
２３ａ、外側右撮像部Ｃ２３ｂ）によって現在撮像されている実世界の画像と、３次元の
仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側ＬＣＤＣ２２
の画面に立体視可能に表示される。具体的には、外側撮像部Ｃ２３で撮影された２つの撮
影画像は、所定の視差を有するように上側ＬＣＤＣ２２に供給されて立体視表示される。
上側ＬＣＤＣ２２の画面上では、外側撮像部Ｃ２３に相対的に近い被写体が相対的に手前
に位置するようにユーザに視認され、外側撮像部Ｃ２３から相対的に遠い被写体が相対的
に遠くに位置するようにユーザに視認される。
【０３８７】
図６２は、外側撮像部Ｃ２３によってマーカＭＫ（撮像対象となる実オブジェクト）が
撮像されているときに、上側ＬＣＤＣ２２の画面に表示される仮想オブジェクトである仮
想キャラクタＣ（立体画像）の一例を示している。図６２に示すように、マーカＭＫは、
一例として矢印を含む正方形が描かれており、ＣＰＵＣ３１１は、外側撮像部Ｃ２３から
取得される撮像画像に対して例えばパターンマッチング等の画像処理を行うことによって
、当該撮像画像にマーカＭＫが含まれているか否かを判定することができる。外側撮像部
Ｃ２３によってマーカＭＫが撮像されているときには、上側ＬＣＤＣ２２には、実世界画
像としてマーカＭＫが立体視可能にマーカ画像ＭＫｉとして表示されるとともに、実世界
画像に含まれるマーカ画像ＭＫｉの表示位置に仮想キャラクタＣ（例えば、犬を模した仮
想オブジェクト）が立体視可能に合成表示される。なお、図６２では、理解を容易にする
ために、上側ＬＣＤＣ２２の画面から仮想キャラクタＣをはみ出して図示しているが、実
際には仮想キャラクタＣは画面内に表示される。後述の図６４についても同様である。ま
た、図６２および図６４等においては、表示対象が飛び出ているように視認される様子を
図示しているが、立体視可能に表示する、と言った場合、必ずしも飛び出し方向に視認さ
れる場合のみでなく、画面より奥側に、奥行きを持って表示される場合も含む。
【０３８８】
ここで、図６３に示すように、マーカＭＫには、向き（前方向、右方向、上方向）が定
義されており、マーカＭＫの配置方向に基づいた姿勢で仮想キャラクタＣを配置すること
ができる。例えば、仮想キャラクタＣの前方向がマーカ画像ＭＫｉの前方向と一致するよ
うに、マーカ画像ＭＫｉの上に仮想キャラクタＣを配置することが可能である。なお、以
下の説明では、マーカ画像ＭＫｉの前方向を「マーカの方向」と記載することがある。
【０３８９】
図６４に示すように、ゲーム装置Ｃ１０に表示された仮想キャラクタＣに動作指示する
場合、ユーザは、音声によって当該動作指示することが可能となっている。なお、ゲーム
装置Ｃ１０は、ユーザがゲーム装置Ｃ１０に入力する音声は、話し言葉として発する音（
言語）の他に、口笛の音、拍手の音、息の音等が考えられるが、本明細書で用いる「音声
」は、これらの音を総称しているものとする。
【０３９０】
ゲーム装置Ｃ１０にユーザの音声を判別させるためには、プレイヤは、マイクＣ４３（
マイクロフォン用孔Ｃ１８）に向かって自身の音声を入力する。一方、ゲーム装置Ｃ１０
は、Ｉ／Ｆ回路Ｃ４２を介して、マイクＣ４３から入力された音声信号を示す音声データ
を取得し、当該音声データを解析することによってマイクＣ４３から入力された音声を判
別する。そして、ゲーム装置Ｃ１０は、マイクＣ４３から入力された音声の判別結果に応
じた処理を行い、当該判別結果に応じて仮想キャラクタＣを動作させる。一例として、ゲ
ーム装置Ｃ１０は、マイクＣ４３から入力された音声が、仮想キャラクタＣを立ち上がら
せる動作を指示する言語（例えば、「チンチン」）であると判別された場合、判別された
音声に応じて仮想キャラクタＣに立ち上がらせる動作を行わせて上側ＬＣＤＣ２２に表示
する（図６４の状態）。
【０３９１】
次に、図６５〜図６８を参照して、外側撮像部Ｃ２３によってマーカＭＫが撮像されて
いるときに上側ＬＣＤＣ２２の画面に表示される仮想キャラクタＣの他の一例について説
明する。
【０３９２】
図６５において、仮想キャラクタＣは、「通常状態」で表示されている。ここで、「通
常状態」は、ユーザからの動作指示に基づいた動作を行っていない場合に仮想キャラクタ
Ｃが行動している状態を示している。例えば、「通常状態」において、仮想キャラクタＣ
は、４つ足を地面（マーカ画像ＭＫｉ上またはマーカ画像ＭＫｉと同一平面上）につけて
いる状態で静止するまたは４つ足で自由に動いて行動する。図６５に示した一例では、仮
想キャラクタＣが４つ足を地面につけて仮想キャラクタＣの前方向がマーカ画像ＭＫｉの
前方向と一致する状態を「通常状態」として表示されている。
【０３９３】
図６６では、仮想キャラクタＣを座らせる動作を指示する言語（例えば、「おすわり」
）をゲーム装置Ｃ１０に入力した場合の動作を示している。図６６に示すように、ゲーム
装置Ｃ１０に仮想キャラクタＣを座らせる動作を指示する音声が入力された場合、仮想キ
ャラクタＣは、地面（マーカ画像ＭＫｉ上またはマーカ画像ＭＫｉと同一平面上）に座る
動作を開始し、仮想キャラクタＣの前方向をマーカ画像ＭＫｉの前方向と一致させて地面
上に座る。このように、仮想キャラクタＣに芸の名称を示す言語（例えば、「おすわり」
や「ふせ」）をゲーム装置Ｃ１０に入力した場合、仮想キャラクタＣの前方向をマーカ画
像ＭＫｉの前方向と一致させて仮想キャラクタＣが当該言語に該当する芸をすることがあ
る。また、他の例として、仮想キャラクタＣの名前を示す言語をゲーム装置Ｃ１０に入力
した場合、仮想キャラクタＣの前方向をマーカ画像ＭＫｉの前方向と一致させて仮想キャ
ラクタＣが吠えることがある。
【０３９４】
例えば、図６７に示すように、ユーザがゲーム装置Ｃ１０を移動させることによって、
撮像されるマーカＭＫの位置および向きが変化する、すなわち上側ＬＣＤＣ２２の画面に
表示されるマーカ画像ＭＫｉの位置および向きが変化する場合を考える。この場合、撮像
画像の変化に追従するように、仮想キャラクタＣの位置および向きが変化する。例えば、
図６６のように仮想キャラクタＣが座っている状態に対してマーカの方向が変化した場合
、当該変化に追従するように仮想キャラクタＣの向きが変化して座っている状態を継続し
ている（図６７の状態）。したがって、ユーザには仮想キャラクタＣがあたかも実世界に
本当に存在しているかのように見える。
【０３９５】
一方、本実施形態では、仮想キャラクタＣに与えられた音声による動作指示に応じて、
マーカの方向ではなく、画像を生成しているカメラ（すなわち、仮想キャラクタＣが配置
された仮想世界画像を生成する仮想カメラ）の位置に基づいた姿勢で仮想キャラクタＣが
動作することもできる。例えば、図６８では、仮想キャラクタＣを呼び寄せる動作を指示
する音声（例えば、口笛の音）をゲーム装置Ｃ１０に入力した場合の動作を示している。
図６８に示すように、ゲーム装置Ｃ１０に仮想キャラクタＣを呼び寄せる動作を指示する
音声が入力された場合、仮想キャラクタＣは、４つ足状態になって仮想キャラクタＣの前
方向が仮想カメラへの方向と一致するように動作する。すなわち、上記動作では、仮想キ
ャラクタＣが表示される向きがマーカ画像ＭＫｉの方向ではなく、仮想世界画像を生成す
る仮想カメラの位置に基づいて決定される。なお、上述した説明では、仮想キャラクタＣ
を呼び寄せる動作を指示する音声の一例として口笛の音を用いたが、他の音声であっても
かまわない。例えば、仮想キャラクタＣを呼び寄せる動作を指示する音声として拍手の音
を設定し、拍手の音が入力された場合に４つ足状態になって仮想キャラクタＣの前方向が
仮想カメラへの方向と一致するように仮想キャラクタＣが動作してもかまわない。この場
合、口笛の音が入力された場合に仮想キャラクタＣの前方向が仮想カメラへの方向と一致
するように仮想キャラクタＣが遠吠えをする動作をしてもかまわない。
【０３９６】
また、本実施形態では、仮想キャラクタＣに音声による動作指示を与えた場合、当該動
作指示を与えた時点において仮想キャラクタＣが撮像（表示）されている方向によって、
仮想キャラクタＣに与える動作指示が変化することがある。例えば、息の音をゲーム装置
Ｃ１０に入力した場合、当該入力が行われた時点で仮想キャラクタＣが上側ＬＣＤＣ２２
の表示範囲内に存在し、かつ、仮想キャラクタＣの前方向が仮想カメラの方向付近を向い
ていれば、仮想キャラクタＣが息を吹きかけられたことによって嫌がるように動作する。
その一方で、息の音をゲーム装置Ｃ１０に入力した時点で仮想キャラクタＣの前方向が仮
想カメラの方向付近を向いていなければ、仮想キャラクタＣが上側ＬＣＤＣ２２の表示範
囲内に存在していても当該入力に応じた動作をすることなく、何の反応もしない。例えば
、仮想キャラクタＣが息を吹きかけられたことによって嫌がるように動作は、「通常状態
」で仮想キャラクタＣが表示されている場合に生じる動作である。この場合、仮想キャラ
クタＣの前方向がマーカ画像ＭＫｉの前方向と一致するような姿勢で表示されているため
、当該動作指示は、マーカの方向と仮想カメラの位置との関係が所定の位置関係になって
いる場合に成立するものであると考えることもできる。
【０３９７】
このように、本実施形態においては、実カメラにより撮像されて上側ＬＣＤＣ２２に表
示された実世界画像内に、仮想オブジェクトが配置されて付加表示され、音声認識された
音声に基づいた指示に応じて当該仮想オブジェクトが動作する。したがって、ＡＲ（拡張
現実：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を実現する上で、音声を現実空間とコンピ
ュータとの間のインターフェイスとして採用することで、入力の簡便性が向上し、入力内
容もバリエーションに富んだものになるため、現実空間とコンピュータとの間のインタラ
クティブ性は高まって興趣性および操作性が向上する。また、操作ボタン、キーボード、
タッチパネル、マウス、ジョイスティック、およびトラックボード等の従来の入力装置を
用いて操作する場合と比較して、音声入力による操作は、臨場感や操作の直感性を高める
ことができる。なお、上述した例では、実世界画像内に付加表示される仮想オブジェクト
の一例として仮想キャラクタＣを用いたが、実世界画像内に付加表示されるものは他の仮
想物体や文字であってもよい。また、上述した例では、音声認識された音声に基づいた指
示に応じて、付加表示された仮想キャラクタＣが動作するが、音声認識された音声に基づ
いた指示に応じて、他の処理が行われてもかまわない。例えば、音声認識された音声に基
づいた指示に応じて、実世界画像内に付加表示される仮想オブジェクトや文字等の改変を
する処理、表示態様を変化させる処理、選択をする処理、出現／消去をする処理等、様々
な処理を行うことが考えられる。
【０３９８】
次に、図６９〜図７４を参照して、ゲーム装置Ｃ１０で実行される画像処理プログラム
による具体的な処理動作について説明する。なお、図６９は、画像処理プログラムを実行
することに応じて、メインメモリＣ３２に記憶される各種データの一例を示す図である。
図７０は、図６９の音声動作対応テーブルデータＤｉの一例を示す図である。図７１は、
当該画像処理プログラムを実行することによってゲーム装置Ｃ１０が画像処理する動作の
一例を示すフローチャートである。図７２は、図７１のステップＣ５４で行われる音声認
識処理の詳細な動作の一例を示すサブルーチンである。図７３は、図７１のステップＣ５
５で行われる画像合成処理の詳細な前半の動作の一例を示すサブルーチンである。図７４
は、図７１のステップＣ５５で行われる画像合成処理の詳細な後半の動作の一例を示すサ
ブルーチンである。なお、これらの処理を実行するためのプログラムは、ゲーム装置Ｃ１
０に内蔵されるメモリ（例えば、データ保存用内部メモリＣ３５）や外部メモリＣ４５ま
たはデータ保存用外部メモリＣ４６に含まれており、ゲーム装置Ｃ１０の電源がオンにな
ったときに、内蔵メモリから、または外部メモリＩ／ＦＣ３３やデータ保存用外部メモリ
Ｉ／ＦＣ３４を介して外部メモリＣ４５またはデータ保存用外部メモリＣ４６からメイン
メモリＣ３２に読み出されて、ＣＰＵＣ３１１によって実行される。
【０３９９】
図６９において、メインメモリＣ３２には、内蔵メモリ、外部メモリＣ４５、またはデ
ータ保存用外部メモリＣ４６から読み出されたプログラムや画像処理において生成される
一時的なデータが記憶される。図６９において、メインメモリＣ３２のデータ記憶領域に
は、左カメラ画像データＤａ、右カメラ画像データＤｂ、音声波形データＤｃ、操作入力
データＤｄ、左カメラ画像認識結果データＤｅ、右カメラ画像認識結果データＤｆ、スペ
クトル情報データＤｇ、メルフィルタ出力情報データＤｈ、音声動作対応テーブルデータ
Ｄｉ、音声登録データＤｊ、拍手フラグデータＤｋ、口笛フラグデータＤｌ、息フラグデ
ータＤｍ、登録音声フラグデータＤｎ、通常状態フラグデータＤｏ、左仮想世界画像デー
タＤｐ、右仮想世界画像データＤｑ、および仮想オブジェクトデータＤｒ等が格納される
。また、メインメモリＣ３２のプログラム記憶領域には、画像処理プログラムを構成する
各種プログラム群Ｐａが記憶される。
【０４００】
左カメラ画像データＤａは、外側左撮像部Ｃ２３ａによって撮像された最新の左目用の
カメラ画像を示すデータである。右カメラ画像データＤｂは、外側右撮像部Ｃ２３ｂによ
って撮像された最新の右目用のカメラ画像を示すデータである。なお、外側左撮像部Ｃ２
３ａおよび外側右撮像部Ｃ２３ｂが撮像し、撮像されたカメラ画像を用いて左カメラ画像
データＤａおよび右カメラ画像データＤｂをそれぞれ更新する周期は、ゲーム装置Ｃ１０
が処理する時間単位（例えば、１／６０秒）と同じでもいいし、当該時間単位より短い時
間でもかまわない。ゲーム装置Ｃ１０が処理する周期より左カメラ画像データＤａおよび
右カメラ画像データＤｂをそれぞれ更新する周期が短い場合、後述する処理とは独立して
適宜左カメラ画像データＤａおよび右カメラ画像データＤｂをそれぞれ更新してもかまわ
ない。この場合、後述する撮像画像を取得するステップにおいて、左カメラ画像データＤ
ａおよび右カメラ画像データＤｂがそれぞれ示す最新のカメラ画像を常に用いて処理すれ
ばよい。
【０４０１】
音声波形データＤｃは、マイクＣ４３に入力された音声波形に対応する音声データであ
る。例えば、音声波形データＤｃは、マイクＣ４３に対するサンプリングレート毎（例え
ば、ゲーム処理する時間単位（１フレーム；例えば、１／６０秒）につき１２８サンプル
）に取得された音声データであり、ゲーム装置Ｃ１０がゲーム処理する時間単位毎に利用
される。なお、本実施形態においては、後述する音声認識処理に必要なフレーム分の履歴
が音声波形データＤｃの音声データとして格納されるため、当該フレーム分の音声データ
が音声波形データＤｃとして格納されるように、ＦＩＦＯ方式で音声波形データＤｃの音
声データを更新するようにしてもよい。
【０４０２】
操作入力データＤｄは、ユーザがゲーム装置Ｃ１０を操作した操作情報を示すデータで
ある。例えば、操作入力データＤｄは、ユーザがゲーム装置Ｃ１０の操作ボタンＣ１４や
アナログスティックＣ１５等の操作子を操作したことを示すデータを含んでいる。操作ボ
タンＣ１４やアナログスティックＣ１５からの操作データは、ゲーム装置Ｃ１０が処理す
る時間単位（例えば、１／６０秒）毎に取得され、当該取得に応じて操作入力データＤｄ
に格納されて更新される。なお、後述する処理フローでは、操作入力データＤｄが処理周
期である１フレーム毎に更新される例を用いて説明するが、他の処理周期で更新されても
かまわない。例えば、操作ボタンＣ１４やアナログスティックＣ１５等の操作子をユーザ
が操作したことを検出する周期毎に操作入力データＤｄを更新し、当該更新された操作入
力データＤｄを処理周期毎に利用する態様でもかまわない。この場合、操作入力データＤ
ｄを更新する周期と、処理周期とが異なることになる。
【０４０３】
左カメラ画像認識結果データＤｅは、外側左撮像部Ｃ２３ａによって撮像された左目用
のカメラ画像を用いて算出された、外側左撮像部Ｃ２３ａとマーカＭＫとの位置関係に関
するデータである。第１の例として、上記位置関係に関するデータは、外側左撮像部Ｃ２
３ａとマーカＭＫとの相対的な位置関係を示すデータである。一例として、上記位置関係
に関するデータは、マーカＭＫの位置を基準として実世界における外側左撮像部Ｃ２３ａ
の位置および／または姿勢を示すデータである。他の例として、上記位置関係に関するデ
ータは、外側左撮像部Ｃ２３ａの位置および撮像方向を基準として実世界におけるマーカ
ＭＫの位置および／または姿勢を示すデータである。第２の例として、上記位置関係に関
するデータは、外側左撮像部Ｃ２３ａによって撮像されたカメラ画像におけるマーカ画像
ＭＫｉの位置および／または姿勢を認識することにより算出される行列を示すデータであ
る。例えば、上記行列は、マーカＭＫの位置および姿勢を基準として設定される座標系（
マーカ座標系）で表された座標を、外側左撮像部Ｃ２３ａの位置および姿勢を基準として
表された座標系（外側左撮像部座標系）に変換する座標変換行列である。つまり、上記行
列は、マーカＭＫの位置および姿勢に対する外側左撮像部Ｃ２３ａの相対的な位置および
姿勢の情報を含む行列であり、より具体的には、マーカ座標系における外側左撮像部Ｃ２
３ａの位置および姿勢の情報を含む行列である。
【０４０４】
右カメラ画像認識結果データＤｆは、外側右撮像部Ｃ２３ｂによって撮像された右目用
のカメラ画像を用いて算出された、外側右撮像部Ｃ２３ｂとマーカＭＫとの位置関係に関
するデータである。第１の例として、上記位置関係に関するデータは、外側右撮像部Ｃ２
３ｂとマーカＭＫとの相対的な位置関係を示すデータである。一例として、上記位置関係
に関するデータは、マーカＭＫの位置を基準として実世界における外側右撮像部Ｃ２３ｂ
の位置および／または姿勢を示すデータである。他の例として、上記位置関係に関するデ
ータは、外側右撮像部Ｃ２３ｂの位置を基準として実世界におけるマーカＭＫの位置およ
び／または姿勢を示すデータである。第２の例として、上記位置関係に関するデータは、
外側右撮像部Ｃ２３ｂによって撮像されたカメラ画像におけるマーカ画像ＭＫｉの位置お
よび／または姿勢を認識することにより算出される行列を示すデータである。例えば、上
記行列は、上記マーカ座標系で表された座標を、外側右撮像部Ｃ２３ｂの位置および姿勢
を基準として表された座標系（外側右撮像部座標系）に変換する座標変換行列である。つ
まり、上記行列は、マーカＭＫの位置および姿勢に対する外側右撮像部Ｃ２３ｂの相対的
な位置および姿勢の情報を含む行列であり、より具体的には、マーカ座標系における外側
右撮像部Ｃ２３ｂの位置および姿勢の情報を含む行列である。
【０４０５】
なお、本明細書において、マーカ座標系から外側左撮像部座標系または外側右撮像部座
標系への変換行列のことを「マーカ・カメラ変換行列」と呼ぶ。つまり、上述した行列は
、それぞれ「マーカ・カメラ変換行列」である。
【０４０６】
スペクトル情報データＤｇは、マイクＣ４３に入力された音声波形を示す音声波形情報
を短時間ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）
分析することによって得られるスペクトルを示すデータであり、後述する音声認識処理に
必要なフレーム分のデータが格納される。
【０４０７】
メルフィルタ出力情報データＤｈは、ＦＦＴ分析によって得られたスペクトルをメルフ
ィルタバンク分析することによって得られる帯域フィルタバンクの出力を示すデータであ
り、後述する音声認識処理に必要なフレーム分のデータが格納される。
【０４０８】
音声動作対応テーブルデータＤｉは、音声認識結果に応じてそれぞれ動作指示される内
容が予め記述されたテーブルを示すデータである。図７０に示すように、音声動作対応テ
ーブルデータＤｉは、音声認識結果に応じて、キャラクタの動作内容および当該動作の基
準がそれぞれ記述されている。例えば、予めまたは登録操作によって登録されている登録
音声１（例えば、「おすわり」）に音声認識結果が照合された場合、当該音声入力に応じ
てキャラクタがおすわり動作をマーカ基準で行うことが記述されている。また、音声認識
結果において拍手が入力されたと判定された場合、当該音声入力に応じてキャラクタが４
つ足でカメラの方に向く動作をカメラ基準で行うことが記述されている。また、音声認識
結果において口笛が入力されたと判定された場合、当該音声入力に応じてキャラクタがカ
メラの方に向いて遠吠えをする動作をカメラ基準で行うことが記述されている。ここで、
音声動作対応テーブルデータＤｉに記述されている登録音声は、後述するようにゲーム装
置Ｃ１０から音声入力が促されることに応じて、ユーザが前もって入力した音声言語を用
いてそれぞれ登録されてもいいし、当該画像処理プログラムがインストールされる時点で
予め登録されたものでもよい。また、音声動作対応テーブルデータＤｉに記述されている
動作基準は、上記マーカの方向を基準としたキャラクタの動作が「マーカ基準」と記述さ
れており、仮想カメラの位置や方向を基準としたキャラクタの動作が「カメラ基準」と記
述されている。
【０４０９】
音声登録データＤｊは、ゲーム装置Ｃ１０から音声入力が促されることに応じて、ユー
ザが前もって入力して登録した音声（言語）を示すデータである。例えば、ユーザが音声
を登録する際には、キャラクタに与える動作指示に対応させた音声入力が促される。そし
て、入力された音声を示すデータが、当該音声入力を促した動作指示に対応させて（例え
ば、音声動作対応テーブルデータＤｉに記述されている登録音声番号にそれぞれ対応させ
て）音声登録データＤｊに登録される。なお、音声登録データＤｊに登録される音声は、
当該画像処理プログラムがインストールされる時点で予め登録されたものでもよい。
【０４１０】
拍手フラグデータＤｋは、音声認識処理においてマイクＣ４３に入力された音声が拍手
であると判定された場合にオンに設定される拍手フラグを示すデータである。口笛フラグ
データＤｌは、音声認識処理においてマイクＣ４３に入力された音声が口笛であると判定
された場合にオンに設定される口笛フラグを示すデータである。息フラグデータＤｍは、
音声認識処理においてマイクＣ４３に入力された音声が息であると判定された場合にオン
に設定される息フラグを示すデータである。登録音声フラグデータＤｎは、音声認識処理
においてマイクＣ４３に入力された音声が登録音声に照合されたと判定された場合にオン
に設定される登録音声フラグを示すデータである。通常状態フラグデータＤｏは、仮想キ
ャラクタＣが「通常状態」である場合にオンに設定される通常状態フラグを示すデータで
ある。
【０４１１】
左仮想世界画像データＤｐは、仮想オブジェクトが配置された仮想空間を、左仮想カメ
ラから見た画像（左目用の仮想世界画像）を示すデータである。例えば、左仮想世界画像
データＤｐは、左仮想カメラから見た仮想オブジェクトが配置された仮想空間を透視投影
することによって得られる左目用の仮想世界画像を示すデータである。右仮想世界画像デ
ータＤｑは、仮想オブジェクトが配置された仮想空間を、右仮想カメラから見た画像（右
目用の仮想世界画像）を示すデータである。例えば、右仮想世界画像データＤｑは、右仮
想カメラから見た仮想オブジェクトが配置された仮想空間を透視投影することによって得
られる右目用の仮想世界画像を示すデータである。
【０４１２】
仮想オブジェクトデータＤｒは、前述の仮想オブジェクトに関連する情報であって、仮
想オブジェクトの形状を表す３Ｄモデルデータ（ポリゴンデータ）や、仮想オブジェクト
の模様を表すテクスチャデータや、仮想空間における仮想オブジェクトの位置や姿勢の情
報などを含む。
【０４１３】
次に、図７１を参照して、情報処理部Ｃ３１の動作について説明する。まず、ゲーム装
置Ｃ１０の電源（電源ボタンＣ１４Ｆ）がＯＮされると、ＣＰＵＣ３１１によってブート
プログラム（図示せず）が実行され、これにより内蔵メモリまたは外部メモリＣ４５やデ
ータ保存用外部メモリＣ４６に格納されているプログラムがメインメモリＣ３２にロード
される。そして、当該ロードされたプログラムが情報処理部Ｃ３１（ＣＰＵＣ３１１）で
実行されることによって、図７１に示すステップ（図７１〜図７４では「Ｓ」と略称する
）が実行される。なお、図７１〜図７４においては、本発明に直接関連しない処理につい
ての記載を省略する。また、本実施形態では、図７１〜図７４のフローチャートの全ての
ステップの処理をＣＰＵＣ３１１が実行するものとして説明するが、図７１〜図７４のフ
ローチャートの一部のステップの処理を、ＣＰＵＣ３１１以外のプロセッサや専用回路が
実行するようにしてもよい。
【０４１４】
図７１において、ＣＰＵＣ３１１は、画像処理における初期設定を行い（ステップＣ５
１）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、上記ステップＣ５１に
おいて、当該画像処理で用いられる各パラメータを初期化する。なお、ＣＰＵＣ３１１は
、音声認識フラグ（拍手フラグ、口笛フラグ、息フラグ、登録音声フラグ）については全
てオフに初期化し、通常状態フラグについてはオンに初期化する。
【０４１５】
次に、ＣＰＵＣ３１１は、外側撮像部Ｃ２３から出力される両方のカメラ画像（すなわ
ち左目用のカメラ画像および右目用のカメラ画像）を示す撮像画像データ、マイクＣ４３
に入力された音声波形に対応する音声データ、およびユーザが操作ボタンＣ１４やアナロ
グスティックＣ１５等の操作子を操作した操作情報を示す操作入力データを取得し（ステ
ップＣ５２）、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、取得した左目
用のカメラ画像を示す撮像画像データを用いて、左カメラ画像データＤａを更新する。Ｃ
ＰＵＣ３１１は、取得した右目用のカメラ画像を示す撮像画像データを用いて、右カメラ
画像データＤｂを更新する。ＣＰＵＣ３１１は、取得した音声データを用いて、音声波形
データＤｃを更新する。そして、ＣＰＵＣ３１１は、取得した操作入力データを用いて、
操作入力データＤｄを更新する。
【０４１６】
次に、ＣＰＵＣ３１１は、左右両方のカメラ画像を示す撮像画像データをそれぞれ用い
て撮影画像認識処理を行い（ステップＣ５３）、次のステップに処理を進める。以下、上
記ステップＣ５３で行う撮影画像認識処理の一例について説明する。
【０４１７】
上述したように、上側ハウジングＣ２１において、外側左撮像部Ｃ２３ａと外側右撮像
部Ｃ２３ｂは、一定の間隔だけ離れている。したがって、外側左撮像部Ｃ２３ａと外側右
撮像部Ｃ２３ｂによって同時にマーカＭＫを撮像した場合、外側左撮像部Ｃ２３ａによっ
て撮像された左カメラ画像におけるマーカＭＫの位置および姿勢と、外側右撮像部Ｃ２３
ｂによって撮像された右カメラ画像におけるマーカＭＫの位置および姿勢との間には、視
差によるズレが生じる。そして、上記撮影画像認識処理においては、外側左撮像部Ｃ２３
ａおよび外側右撮像部Ｃ２３ｂとマーカＭＫとの位置関係が算出される。
【０４１８】
例えば、ＣＰＵＣ３１１は、パターンマッチング手法等によって左右両方のカメラ画像
にマーカＭＫが含まれているか否かを判断し、当該カメラ画像にマーカＭＫ（マーカ画像
ＭＫｉ）が含まれている場合には、当該カメラ画像におけるマーカＭＫの位置および姿勢
に基づいて、外側左撮像部Ｃ２３ａとマーカＭＫとの位置関係および外側右撮像部Ｃ２３
ｂとマーカＭＫとの位置関係を算出する。一例として、ＣＰＵＣ３１１は、左目用のカメ
ラ画像におけるマーカ画像ＭＫｉの位置および／または姿勢を認識することによって、左
目用のマーカ・カメラ変換行列を算出して、左カメラ画像認識結果データＤｅを更新する
。また、ＣＰＵＣ３１１は、右目用のカメラ画像におけるマーカ画像ＭＫｉの位置および
／または姿勢を認識することによって、右目用のマーカ・カメラ変換行列を算出して、右
カメラ画像認識結果データＤｆを更新する。
【０４１９】
なお、左目用のマーカ・カメラ変換行列は、左カメラ画像におけるマーカＭＫの位置お
よび姿勢に基づいて計算される外側左撮像部Ｃ２３ａの位置および姿勢を反映した行列で
ある。より正確には、マーカ座標系（実世界におけるマーカＭＫの位置を原点とし、マー
カＭＫの縦方向（Ｚ軸方向）、横方向（Ｘ軸方向）、法線方向（Ｙ軸方向）の各方向を各
軸とする座標系）で表された座標を、左カメラ画像におけるマーカ画像ＭＫｉの位置およ
び姿勢に基づいて計算された外側左撮像部Ｃ２３ａの位置および姿勢を基準とした外側左
撮像部座標系で表される座標へと変換するための座標変換行列である。
【０４２０】
また、右目用のマーカ・カメラ変換行列は、右カメラ画像におけるマーカＭＫの位置お
よび姿勢に基づいて計算される外側右撮像部Ｃ２３ｂの位置および姿勢を反映した行列で
ある。より正確には、マーカ座標系で表された座標を、右カメラ画像におけるマーカ画像
ＭＫｉの位置および姿勢に基づいて計算された外側右撮像部Ｃ２３ｂの位置および姿勢を
基準とした外側右撮像部座標系で表される座標へと変換するための座標変換行列である。
【０４２１】
ここで、ＡＲでは、マーカ座標系を外側左撮像部座標系に変換する左目用のマーカ・カ
メラ変換行列を左仮想カメラのビュー行列に指定し、マーカ座標系を外側右撮像部座標系
に変換する右目用のマーカ・カメラ変換行列を右仮想カメラのビュー行列に指定すること
により、実世界画像（左カメラ画像および右カメラ画像）にＣＧ画像（左仮想世界画像お
よび右仮想世界画像）をそれぞれ合成することができる。
【０４２２】
なお、上記ステップＣ５３において、左カメラ画像および右カメラ画像の少なくとも一
方からマーカ画像ＭＫｉが認識されなかった場合には、左目用のマーカ・カメラ変換行列
および／または右目用のマーカ・カメラ変換行列としてヌル値が左カメラ画像認識結果デ
ータＤｅおよび／または右カメラ画像認識結果データＤｆに格納され、これによって、左
カメラ画像または右カメラ画像におけるマーカＭＫの認識に失敗したことが記録される。
【０４２３】
なお、マーカ認識精度に誤差が全く無く、かつゲーム装置Ｃ１０に対する外側左撮像部
Ｃ２３ａおよび外側右撮像部Ｃ２３ｂの取り付け精度に誤差が全く無いと仮定する。この
場合、右カメラ画像の画像認識結果から計算される右仮想カメラの位置は、左カメラ画像
の画像認識結果から計算される左仮想カメラの位置を、左仮想カメラ座標系の横方向（例
えば、Ｘ軸方向）に沿って一定距離だけずらした位置となる。つまり、右カメラ画像の画
像認識結果から計算される右仮想カメラの姿勢と、左カメラ画像の画像認識結果から計算
される左仮想カメラの姿勢とは、同じとなる（すなわち、左仮想カメラ座標系のＸ軸，Ｙ
軸，Ｚ軸が、右仮想カメラ座標系のＸ軸，Ｙ軸，Ｚ軸とそれぞれ平行となる）。したがっ
て、一方のカメラ画像（例えば、左カメラ画像）の画像認識結果から計算される一方の仮
想カメラ（例えば、左仮想カメラ）の位置および姿勢に基づいて、他方の仮想カメラ（例
えば、右仮想カメラ）の位置および姿勢を決定して、他方のマーカ・カメラ変換行列を算
出してもよい。この場合、他方のカメラ画像（例えば、右カメラ画像）に対する画像認識
処理が不要となる。
【０４２４】
次に、ＣＰＵＣ３１１は、音声認識処理を行って（ステップＣ５４）、次のステップに
処理を進める。以下、図７２を参照して、上記ステップＣ５４で行う音声認識処理につい
て説明する。
【０４２５】
図７２において、ＣＰＵＣ３１１は、マイクＣ４３に入力された音声波形からスペクト
ル情報を算出し（ステップＣ６１）、次のステップに処理を進める。例えば、ＣＰＵＣ３
１１は、音声波形データＤｃに格納されている音声波形情報を、短時間ＦＦＴ分析するこ
とによってスペクトルを算出し、当該スペクトルを用いてスペクトル情報データＤｇを更
新する。
【０４２６】
次に、ＣＰＵＣ３１１は、上記ステップＣ６１で算出されたスペクトルからメルフィル
タ出力情報を算出し（ステップＣ６２）、次のステップに処理を進める。例えば、ＣＰＵ
Ｃ３１１は、スペクトル情報データＤｇに格納されているスペクトルを、メルフィルタバ
ンク分析することによって帯域フィルタバンクの出力を算出し、当該出力を示すデータを
用いてメルフィルタ出力情報データＤｈを更新する。
【０４２７】
次に、ＣＰＵＣ３１１は、拍手判定処理を行って（ステップＣ６３）、次のステップに
処理を進める。例えば、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波
形情報を用いて、マイクＣ４３に拍手の音が入力されたか否かを判定する。一例として、
ＣＰＵＣ３１１は、音声波形データＤｃに格納されている最新の１フレーム分の音声波形
において、振幅レベルの最大値を取得し、当該最大値の履歴を所定期間分（例えば、９フ
レーム分）記憶しておく。そして、ＣＰＵＣ３１１は、上記最大値の履歴において上記所
定期間の中間時点に相当する最大値（例えば、９フレーム分の最大値の履歴のうち、５フ
レーム目の最大値）が所定の閾値α以上であり、かつ、当該最大値の前後となる履歴（例
えば、前後２フレーム分の履歴）に相当する最大値の値が全て所定の閾値β以下であり、
かつ、上記最大値の履歴の平均値が所定の閾値γ以下である場合、入力された音声が拍手
であると判定する。このように、上記ステップＣ６３における拍手判定処理の一例では、
マイクＣ４３に入力された音声波形を示す情報のみを参照して、相対的に短い期間におい
て振幅が突出した音声波形が得られた場合に、拍手の音であると判定している。
【０４２８】
次に、ＣＰＵＣ３１１は、上記ステップＣ６３における拍手判定処理において、拍手の
音が入力されたと判定されたか否かを判断する（ステップＣ６４）。そして、ＣＰＵＣ３
１１は、拍手の音が入力されたと判定された場合、拍手フラグをオンに設定して拍手フラ
グデータＤｋを更新し（ステップＣ６５）、次のステップＣ６６に処理を進める。一方、
ＣＰＵＣ３１１は、拍手の音が入力されていないと判定された場合、そのまま次のステッ
プＣ６６に処理を進める。
【０４２９】
ステップＣ６６において、ＣＰＵＣ３１１は、口笛判定処理を行って、次のステップに
処理を進める。例えば、ＣＰＵＣ３１１は、スペクトル情報データＤｇに格納されている
スペクトルを用いて、マイクＣ４３に口笛の音が入力されたか否かを判定する。一例とし
て、ＣＰＵＣ３１１は、スペクトル情報データＤｇに格納されている最新の１フレーム分
のスペクトルデータを対数変換してデシベルデータに変換する。次に、ＣＰＵＣ３１１は
、最新の１フレーム分の周波数領域（例えば、横軸周波数、縦軸デシベル）において、ス
ペクトルが基準デシベル値δ以上となる回数が１回であり、かつ、低域部分のデシベル値
の平均値が基準値ε未満である場合、口笛イベントが発生したとカウントする。そして、
ＣＰＵＣ３１１は、上記口笛イベントにおける直前の所定フレーム分の履歴において、当
該口笛イベントのカウント数合計が閾値ζ以上であれば、入力された音声が口笛であると
判定する。このように、上記ステップＣ６６における口笛判定処理の一例では、マイクＣ
４３に入力された音声波形から得られたスペクトル情報のみを参照して、口笛の音を判定
している。
【０４３０】
次に、ＣＰＵＣ３１１は、上記ステップＣ６６における口笛判定処理において、口笛の
音が入力されたと判定されたか否かを判断する（ステップＣ６７）。そして、ＣＰＵＣ３
１１は、口笛の音が入力されたと判定された場合、口笛フラグをオンに設定して口笛フラ
グデータＤｌを更新し（ステップＣ６８）、次のステップＣ６９に処理を進める。一方、
ＣＰＵＣ３１１は、口笛の音が入力されていないと判定された場合、そのまま次のステッ
プＣ６９に処理を進める。
【０４３１】
ステップＣ６９において、ＣＰＵＣ３１１は、息判定処理を行って、次のステップに処
理を進める。例えば、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形
情報と、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバンクの出力と
を用いて、マイクＣ４３に息の音が入力されたか否かを判定する。一例として、ＣＰＵＣ
３１１は、音声波形データＤｃに格納されている音声波形の振幅平均値および振幅最大値
がそれぞれ所定の範囲内にあるか否かを判定する。また、ＣＰＵＣ３１１は、上記音声波
形のゼロクロス（音声波形の振幅がプラスからマイナスおよびマイナスからプラスへ変化
するときに０レベルと交差する点）の個数が所定の閾値η以下であるか否かを判定する。
さらに、ＣＰＵは、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバン
クの出力に対して、低域部分を除いた平均値が所定の閾値θ以上か否かを判定する。そし
て、ＣＰＵＣ３１１は、上記全ての判定がいずれも肯定判定の場合、入力された音声が息
であると判定する。このように、上記ステップＣ６９における息判定処理の一例では、マ
イクＣ４３に入力された音声波形およびメルフィルタ出力情報を参照して、息の音を判定
している。
【０４３２】
次に、ＣＰＵＣ３１１は、上記ステップＣ６９における息判定処理において、息の音が
入力されたと判定されたか否かを判断する（ステップＣ７０）。そして、ＣＰＵＣ３１１
は、息の音が入力されたと判定された場合、息フラグをオンに設定して息フラグデータＤ
ｍを更新し（ステップＣ７１）、次のステップＣ７２に処理を進める。一方、ＣＰＵＣ３
１１は、息の音が入力されていないと判定された場合、そのまま次のステップＣ７２に処
理を進める。
【０４３３】
ステップＣ７２において、ＣＰＵＣ３１１は、音声照合処理を行って、次のステップに
処理を進める。ＣＰＵＣ３１１は、マイクＣ４３に入力された音声入力パターンから得ら
れる特徴パラメータ時系列における予め登録されている特徴パラメータ時系列に対する尤
度を求め、当該尤度が最大であり、かつ、所定の閾値以上となるモデルの登録音声を照合
結果とする。例えば、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形
情報と、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバンクの出力と
を用いて、マイクＣ４３に入力された音声と照合可能な登録音声があるか否かを判定する
。一例として、ＣＰＵＣ３１１は、音声波形データＤｃに格納されている音声波形情報と
、メルフィルタ出力情報データＤｈに格納されている帯域フィルタバンクの出力とを用い
て、マイクＣ４３に音声が入力されている区間（音声区間）を検出する。具体的には、Ｃ
ＰＵＣ３１１は、帯域フィルタバンクの出力から得られるスペクトルの形状に基づいて、
マイクＣ４３に音声の入力が開始された時点を検出し、音声波形のレベルに基づいてマイ
クＣ４３に音声の入力が終了した時点を検出し、これらの時点の間を音声区間とする。な
お、過去の音声波形の履歴を遡って当該音声波形のレベルを確認することによって、音声
入力開始時点を決定してもかまわない。次に、ＣＰＵＣ３１１は、検出された音声区間中
に得られた帯域フィルタバンクの出力に対して、三角窓で時間軸の正規化およびレベルの
正規化を行い、動的計画法を用いて、音声登録データＤｊに登録されている登録音声のデ
ータ（登録データ）との間の距離を算出する。そして、ＣＰＵＣ３１１は、算出された距
離が所定の閾値ι以内であった場合に、当該距離が算出された登録データに入力音声が照
合されたと判断する。このように、上記ステップＣ６９における息判定処理の一例では、
マイクＣ４３に入力された音声波形およびメルフィルタ出力情報を参照して、登録音声と
の照合処理を行っている。
【０４３４】
次に、ＣＰＵＣ３１１は、上記ステップＣ７２における音声照合処理において、入力音
声が登録音声に照合されたと判定されたか否かを判断する（ステップＣ７３）。そして、
ＣＰＵＣ３１１は、入力音声が登録音声に照合されたと判定された場合、登録音声フラグ
をオンに設定して登録音声フラグデータＤｎを更新し（ステップＣ７４）、当該サブルー
チンによる処理を終了する。一方、ＣＰＵＣ３１１は、入力音声が登録音声に照合されて
いないと判定された場合、そのまま当該サブルーチンによる処理を終了する。
【０４３５】
図７１に戻り、上記ステップＣ５４における音声認識処理の後、ＣＰＵＣ３１１は、画
像合成処理を行って（ステップＣ５５）、次のステップに処理を進める。以下、図７３を
参照して、上記ステップＣ５５で行う画像合成処理について説明する。
【０４３６】
図７３において、ＣＰＵＣ３１１は、通常状態フラグデータＤｏが示す通常状態フラグ
がオンであるか否かを判断する（ステップＣ８１）。そして、ＣＰＵＣ３１１は、通常状
態フラグがオンである場合、次のステップＣ８２に処理を進める。一方、ＣＰＵＣ３１１
は、通常状態フラグがオフである場合、次のステップＣ９２に処理を進める。
【０４３７】
ステップＣ８２において、ＣＰＵＣ３１１は、登録音声フラグデータＤｎが示す登録音
声フラグがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、登録音声フラグが
オンである場合、次のステップＣ８３に処理を進める。一方、ＣＰＵＣ３１１は、登録音
声フラグがオフである場合、次のステップＣ８４に処理を進める。
【０４３８】
ステップＣ８３において、ＣＰＵＣ３１１は、音声入力が照合された登録音声に基づい
て、仮想キャラクタＣに当該登録音声に対応する動作を開始させ、次のステップＣ９５に
処理を進める。例えば、ＣＰＵＣ３１１は、音声動作対応テーブルデータＤｉを参照して
、音声入力が照合された登録音声に対応するキャラクタ動作および動作基準を抽出し、抽
出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタＣの動作を開始する
。
【０４３９】
一方、ステップＣ８４において、ＣＰＵＣ３１１は、拍手フラグデータＤｋが示す拍手
フラグがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、拍手フラグがオンで
ある場合、次のステップＣ８５に処理を進める。一方、ＣＰＵＣ３１１は、拍手フラグが
オフである場合、次のステップＣ８６に処理を進める。
【０４４０】
ステップＣ８５において、ＣＰＵＣ３１１は、仮想キャラクタＣに拍手の音が入力され
たことに対応する動作を開始させ、次のステップＣ９５に処理を進める。例えば、ＣＰＵ
Ｃ３１１は、音声動作対応テーブルデータＤｉを参照して、拍手の音が認識されたことに
対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作
基準に基づいて、仮想キャラクタＣの動作を開始する。
【０４４１】
一方、ステップＣ８６において、ＣＰＵＣ３１１は、口笛フラグデータＤｌが示す口笛
フラグがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、口笛フラグがオンで
ある場合、次のステップＣ８７に処理を進める。一方、ＣＰＵＣ３１１は、口笛フラグが
オフである場合、次のステップＣ８８に処理を進める。
【０４４２】
ステップＣ８７において、ＣＰＵＣ３１１は、仮想キャラクタＣに口笛の音が入力され
たことに対応する動作を開始させ、次のステップＣ９５に処理を進める。例えば、ＣＰＵ
Ｃ３１１は、音声動作対応テーブルデータＤｉを参照して、口笛の音が認識されたことに
対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作
基準に基づいて、仮想キャラクタＣの動作を開始する。
【０４４３】
一方、ステップＣ８８において、ＣＰＵＣ３１１は、息フラグデータＤｍが示す息フラ
グがオンであるか否かを判断する。そして、ＣＰＵＣ３１１は、息フラグがオンである場
合、次のステップＣ８９に処理を進める。一方、ＣＰＵＣ３１１は、息フラグがオフであ
る場合、次のステップＣ９１に処理を進める。
【０４４４】
ステップＣ８９において、ＣＰＵＣ３１１は、仮想キャラクタＣが表示されている方向
が所定の範囲内か否かを判断する。上述したように、息の音をゲーム装置Ｃ１０に入力し
た場合、当該入力が行われた時点で仮想キャラクタＣが上側ＬＣＤＣ２２の表示範囲内に
存在し、かつ、仮想キャラクタＣの前方向が仮想カメラの方向付近を向いている場合に、
当該入力に応じた動作指示が有効となる。例えば、ＣＰＵＣ３１１は、仮想キャラクタＣ
の位置が上側ＬＣＤＣ２２の表示範囲内にあり（すなわち、仮想キャラクタＣの配置位置
が左仮想カメラの視体積内および／または右仮想カメラの視体積内にある）、かつ、仮想
キャラクタＣの前方向を基準とした所定範囲内に左仮想カメラおよび／または右仮想カメ
ラが配置されている場合に、上記ステップＣ８９において肯定判定する。そして、ＣＰＵ
Ｃ３１１は、上記ステップＣ８９において肯定判定された場合、次のステップＣ９０に処
理を進める。一方、ＣＰＵＣ３１１は、上記ステップＣ８９において否定判定された場合
、次のステップＣ９１に処理を進める。
【０４４５】
ステップＣ９０において、ＣＰＵＣ３１１は、仮想キャラクタＣに息の音が入力された
ことに対応する動作を開始させ、次のステップＣ９５に処理を進める。例えば、ＣＰＵＣ
３１１は、音声動作対応テーブルデータＤｉを参照して、息の音が認識されたことに対応
するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準
に基づいて、仮想キャラクタＣの動作を開始する。
【０４４６】
一方、ステップＣ９１において、ＣＰＵＣ３１１は、仮想キャラクタＣに現時点と同じ
通常状態での行動を継続させ、次のステップＣ１０１（図７４参照）に処理を進める。
【０４４７】
音声認識された入力に応じた動作を開始する処理（ステップＣ８３、ステップＣ８５、
ステップＣ８７、およびステップＣ９０）の後、ＣＰＵＣ３１１は、通常状態フラグデー
タＤｏが示す通常状態フラグをオフに更新して（ステップＣ９５）、次のステップＣ１０
１に処理を進める。
【０４４８】
上記ステップＣ８１において、通常状態フラグがオフであると判断された場合、ＣＰＵ
Ｃ３１１は、仮想キャラクタＣに現時点で行われている動作を継続させ（ステップＣ９２
）、次のステップに処理を進める。ここで、後述により明らかとなるが、通常状態フラグ
は、音声認識された入力に応じた動作を開始した時点でオフに設定され、当該動作を終了
した時点でオンに設定される。つまり、当該画像処理においては、仮想キャラクタＣが音
声認識された入力に応じた動作を行っている間に別の音声認識が行われたとしても、当該
動作が優先して行われることになる。
【０４４９】
次に、ＣＰＵＣ３１１は、音声認識された入力に応じた仮想キャラクタＣの動作が終了
したか否かを判断する（ステップＣ９３）。そして、ＣＰＵＣ３１１は、音声認識された
入力に応じた仮想キャラクタＣの動作が終了した場合、通常状態フラグデータＤｏが示す
通常状態フラグをオンに更新して（ステップＣ９４）、次のステップＣ１０１に処理を進
める。一方、ＣＰＵＣ３１１は、音声認識された入力に応じた仮想キャラクタＣの動作が
継続している場合、そのまま次のステップＣ１０１に処理を進める。
【０４５０】
図７４に進み、ステップＣ１０１において、ＣＰＵＣ３１１は、仮想世界画像を生成し
て、次のステップに処理を進める。例えば、ＣＰＵＣ３１１は、図７５および図７６に示
すように、マーカ座標系（マーカ画像ＭＫｉの位置を原点とし、マーカ画像ＭＫｉの縦方
向（Ｚ軸方向）、横方向（Ｘ軸方向）、法線方向（Ｙ軸方向）の各方向を各軸とする座標
系）で定義される仮想空間に仮想キャラクタＣを配置して、必要に応じて仮想キャラクタ
Ｃの大きさを変化させ、仮想キャラクタＣに上記ステップＣ８１〜ステップＣ９５で設定
された動作を行わせる。例えば、仮想キャラクタＣにマーカ座標系の原点の周りを歩くよ
うな移動をさせると、マーカ画像ＭＫｉの周りを歩くような表示が行われる。なお、仮想
キャラクタＣの移動制御は、マーカ座標系の原点と一致、または当該原点付近で、かつ、
マーカ画像ＭＫｉを含む平面を基準とした方向（例えば、マーカ座標系におけるＸＺ平面
に沿った方向を基準とするＹ軸方向において所定範囲内の位置）に、仮想キャラクタＣの
位置座標を変更することにより実現される。
【０４５１】
なお、上記ステップＣ１０１の処理では、マーカ座標系における鉛直方向（Ｙ軸負方向
）が仮想空間の鉛直方向と定義して、仮想キャラクタＣを仮想空間に配置する。そして、
現在仮想キャラクタＣが行っている動作に動作基準（例えば、マーカ基準やカメラ基準：
図７０参照）が設定されている場合、当該動作基準に基づいて、仮想キャラクタＣの方向
を設定する。例えば、動作基準がマーカ基準に設定されている動作の場合、仮想キャラク
タＣの前方向がマーカの方向（例えば、マーカ画像ＭＫｉの前方向）に相当するマーカ座
標系の縦正方向（Ｚ軸正方向）と一致、または当該マーカの方向から所定の範囲内となる
ように、仮想空間における仮想キャラクタＣの姿勢を制御する。また、動作基準がカメラ
基準に設定されている動作の場合、仮想キャラクタＣの前方向が左仮想カメラの位置と右
仮想カメラの位置との中間点を通る方向と一致、または当該中間点から所定の範囲内を通
るように、仮想空間における仮想キャラクタＣの姿勢を制御する。なお、マーカ座標系で
定義された仮想空間における左仮想カメラの位置および右仮想カメラの位置は、上記ステ
ップＣ５３で算出されている左目用のマーカ・カメラ変換行列および右目用のマーカ・カ
メラ変換行列を用いて算出することができる。
【０４５２】
そして、図７５に示すように、ＣＰＵＣ３１１は、左仮想カメラから見た仮想空間を左
目用の仮想世界画像として生成し、左仮想世界画像データＤｐを更新する。例えば、ＣＰ
ＵＣ３１１は、左カメラ画像認識結果データＤｅが示す左目用のマーカ・カメラ変換行列
を左仮想カメラのビュー行列に指定することによって、マーカ座標系で表現されたＣＧモ
デル（仮想キャラクタＣ）を、実世界に当該ＣＧモデルが存在する場合に上側ＬＣＤＣ２
２に表示される場所（例えば、左カメラ画像におけるマーカ画像ＭＫｉ上）と同じ位置に
表示することができる。つまり、上側ＬＣＤＣ２２に表示される左目用の表示画像におい
て、マーカ座標系で定義された仮想空間に配置された仮想オブジェクトを、実世界のマー
カＭＫに関連して存在しているように表示することができる。
【０４５３】
また、図７６に示すように、ＣＰＵＣ３１１は、右仮想カメラから見た仮想空間を右目
用の仮想世界画像として生成し、右仮想世界画像データＤｑを更新する。例えば、ＣＰＵ
Ｃ３１１は、右カメラ画像認識結果データＤｆが示す右目用のマーカ・カメラ変換行列を
右仮想カメラのビュー行列に指定することによって、マーカ座標系で表現されたＣＧモデ
ル（仮想キャラクタＣ）を、実世界に当該ＣＧモデルが存在する場合に上側ＬＣＤＣ２２
に表示される場所（例えば、右カメラ画像におけるマーカ画像ＭＫｉ上）と同じ位置に表
示することができる。つまり、上側ＬＣＤＣ２２に表示される右目用の表示画像において
、マーカ座標系で定義された仮想空間に配置された仮想オブジェクトを、実世界のマーカ
ＭＫに関連して存在しているように表示することができる。
【０４５４】
次に、ＣＰＵＣ３１１は、合成処理を行い（ステップＣ１０２）、次のステップに処理
を進める。例えば、ＣＰＵＣ３１１は、実世界画像と仮想空間画像とを合成した表示画像
を生成し、当該表示画像を上側ＬＣＤＣ２２に表示する。
【０４５５】
具体的には、ＣＰＵＣ３１１は、左カメラ画像データＤａが示す左目用のカメラ画像を
、上側ＬＣＤＣ２２へ供給すべき左目用画像を一時的に記憶するためのＶＲＡＭＣ３１３
内の所定の記憶領域（以下、左フレームバッファと称す）に描画する。そして、ＣＰＵＣ
３１１は、左仮想世界画像データＤｎが示す左目用の仮想世界画像（すなわち、左仮想カ
メラから見た仮想空間の画像）を左フレームバッファに上書きする（典型的には、ＣＰＵ
Ｃ３１１からの指示にしたがってＧＰＵＣ３１２によって描画される）。これによって、
図７７に示すように、左フレームバッファに描画された左目用のカメラ画像（左実世界画
像）に左目用の仮想世界画像が合成される。左フレームバッファに描画された画像は、所
定のタイミングで左目用画像として上側ＬＣＤＣ２２へ供給されて、上側ＬＣＤＣ２２に
表示されることになる。なお、上記左目用の仮想世界画像においては、仮想空間の背景は
透明であり、そのため、左実世界画像に左目用の仮想世界画像を合成することで、実世界
画像上に仮想キャラクタＣが存在するような画像が生成される。
【０４５６】
一方、ＣＰＵＣ３１１は、右カメラ画像データＤｂが示す右目用のカメラ画像を、上側
ＬＣＤＣ２２へ供給すべき右目用画像を一時的に記憶するためのＶＲＡＭＣ３１３内の所
定の記憶領域（以下、右フレームバッファと称す）に描画する。そして、ＣＰＵＣ３１１
は、右仮想世界画像データＤｑが示す右目用の仮想世界画像（すなわち、右仮想カメラか
ら見た仮想空間の画像）を右フレームバッファに上書きする。これによって、右フレーム
バッファに描画された右目用のカメラ画像（右実世界画像）に右目用の仮想世界画像が合
成される。右フレームバッファに描画された画像は、所定のタイミングで右目用画像とし
て上側ＬＣＤＣ２２へ供給されて、上側ＬＣＤＣ２２に表示されることになる。なお、上
記右目用の仮想世界画像においても、仮想空間の背景は透明であり、そのため、右実世界
画像に右目用の仮想世界画像を合成することで、実世界画像上に仮想キャラクタＣが存在
するような画像が生成される。
【０４５７】
次に、ＣＰＵＣ３１１は、音声認識フラグを全てオフに設定し（ステップＣ１０３）、
当該サブルーチンによる処理を終了する。例えば、ＣＰＵＣ３１１は、音声認識フラグ（
拍手フラグ、口笛フラグ、息フラグ、登録音声フラグ）を全てオフに設定して、拍手フラ
グデータＤｋ、口笛フラグデータＤｌ、息フラグデータＤｍ、および登録音声フラグデー
タＤｎをそれぞれ更新する。
【０４５８】
図７１に戻り、上記ステップＣ５５における画像合成処理の後、ＣＰＵＣ３１１は、現
時点が撮影のタイミングか否かを判断する（ステップＣ５６）。一例として、ＣＰＵＣ３
１１は、操作入力データＤｄに格納されている操作入力が撮影操作を示す場合、現時点が
撮影のタイミングであると判断する。他の例として、ＣＰＵＣ３１１は、一定時間が経過
すると自動的に撮影されるセルフタイマ操作を示す操作入力データを上記ステップＣ５２
において取得してから、当該一定時間が経過した場合、現時点が撮影のタイミングである
と判断する。そして、ＣＰＵＣ３１１は、現時点が撮影のタイミングである場合、次のス
テップＣ５７に処理を進める。一方、ＣＰＵＣ３１１は、現時点が撮影のタイミングでな
い場合、次のステップＣ５８に処理を進める。なお、上記ステップＣ５６で判断される撮
影操作は、ユーザの音声入力によって行われてもかまわない。この場合、ＣＰＵＣ３１１
は、音声波形データＤｃが示す音声波形を音声認識することによって、ユーザによる撮影
指示があったか否かを判断する。
【０４５９】
ステップＣ５７において、ＣＰＵＣ３１１は、上記ステップＣ１０２で合成処理された
画像を保存し、次のステップＣ５８に処理を進める。例えば、ＣＰＵＣ３１１は、上記ス
テップＣ１０２で合成処理された左目用画像を示す画像データおよび右目用画像を示す画
像データを、データ保存用内部メモリＣ３５やデータ保存用外部メモリＣ４６に記憶させ
る。
【０４６０】
ステップＣ５８において、ＣＰＵＣ３１１は、当該画像処理を終了するか否かを判断す
る。画像処理を終了する条件としては、例えば、画像処理を自動的に終了する条件が満た
されたことや、画像処理を行っているゲームがゲームオーバとなる条件が満たされたこと
や、ユーザが画像処理を終了する操作を行ったこと等がある。ＣＰＵＣ３１１は、画像処
理を終了しない場合、上記ステップＣ５２に戻って処理を繰り返す。一方、ＣＰＵＣ３１
１は、画像処理を終了する場合、当該フローチャートによる処理を終了する。
【０４６１】
このように、上述した実施形態に係る画像処理では、カメラ画像に仮想キャラクタＣを
付加表示する際、仮想キャラクタＣに対して音声で操作することができ、実世界画像に付
加表示された仮想物体に対して新たな入力方法を用いて操作することができる。
【０４６２】
なお、上述した説明では、実世界に配置されたマーカＭＫを撮像対象とし、当該マーカ
ＭＫが撮像されてマーカ画像ＭＫｉとして表示されている場合にマーカ画像ＭＫｉ上付近
に仮想キャラクタＣを付加表示している。これは、実世界と撮像装置（外側撮像部Ｃ２３
）との相対的な位置関係や撮像装置の姿勢を認識し、当該認識結果に基づいて仮想物体や
文字等を付加表示する位置を設定するためにマーカＭＫが用いられている。しかしながら
、本発明は、マーカＭＫを用いなくても実現することができる。
【０４６３】
例えば、実世界と撮像装置との相対的な位置関係は、当該撮像装置が撮像する撮像画像
内の特徴点（例えば、被写体のエッジや輪郭）を認識し、当該撮像画像内の水平面等を検
出する撮像画像内の特徴を検出し、ＧＰＳや各種センサによって撮像装置の実世界内の位
置や姿勢を取得すれば、上述した同様の画像処理が可能となる。具体的には、撮像画像内
の特徴点とその特徴量を抽出する際に用いられるアルゴリズム（例えば、ＳＩＦＴ（Ｓｃ
ａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ））等を用いること
によって、マーカＭＫを用いなくても撮像画像内の特徴を検出することが可能となる。
【０４６４】
例えば、図７８に示すように、撮像装置で撮像されているリアルタイムの撮像画像を表
示装置に表示しながら、当該撮像装置が撮像している場所や被写体（建物や看板等）に関
連する情報（例えば、文字情報やアイコン）を付加情報として当該撮像画像に重畳して表
示される場合でも、本発明を適用することができる。この表示技術は、撮像装置（ゲーム
装置Ｃ１０）に内蔵されたＧＰＳを用いて現在位置を特定し、内蔵された磁気センサ（電
子コンパス等）によって撮像方向を認識する。そして、特定された位置および撮像方向に
対応する付加情報が撮像画像に重畳して表示される。この場合、撮像画像に対する画像認
識は不要となるが、広範囲に人工的なランドマークを配置して撮像画像に対する画像認識
によって抽出された当該ランドマークの位置をさらに用いて、撮像装置の位置や姿勢を推
定する方式もある。また、撮像画像を撮像したカメラの位置および姿勢を、撮像画像上の
２次元特徴点（エッジや輪郭等）と自然特徴点の３次元位置とを対応付けることによって
推定する方式もある。
【０４６５】
このように、マーカＭＫを用いなくても実世界における撮像装置の位置や姿勢を取得す
ることは可能であり、これらの技術を用いれば本発明は、マーカＭＫを用いなくても実現
することが可能である。例えば、図７８に示すように、４つの建物（Ａデパート、Ｂビル
、Ｃビル、およびＤ銀行）が被写体として外側撮像部Ｃ２３によって撮像され、撮像され
た撮像画像が上側ＬＣＤＣ２２に表示されている。そして、表示されている４つの建物に
は、それぞれの建物名称を示す文字情報が付加情報として重畳して表示されており、これ
らの付加情報の１つを選択することによって、選択された建物のさらに詳細な情報を表示
することができる。このような状況において、本発明では、上記付加情報の１つを選択す
る操作を音声で行うことによって、音声で選択された建物のさらに詳細な情報を表示する
ことができる。具体的には、ユーザが「Ａデパート」を話し言葉として発する音（言語）
をゲーム装置Ｃ１０に入力した場合、ゲーム装置Ｃ１０では音声入力された「Ａデパート
」を音声認識し、当該音声認識結果によって選択された文字情報（付加情報）の表示態様
を変化させる。例えば、音声入力によって選択された文字情報の色、フォント、文字サイ
ズ、文字太さ、文字飾り、文字表示位置等の表示態様を変化させて、複数の文字情報と区
別して表示することによって、ユーザに選択された文字情報を報知することができる。そ
して、ゲーム装置Ｃ１０は、選択された文字情報が付与された被写体に関するさらに詳細
な情報を、上側ＬＣＤＣ２２に表示する。このように、マーカＭＫを用いずに実世界にお
ける撮像装置の位置や姿勢を取得しながら、仮想オブジェクトとして文字が付加表示され
ている状況においても、音声入力によって当該文字を選択する操作を行うことができる。
そして、実世界画像を撮像しながら、従来の入力方法で当該実世界画像に重畳されて表示
された複数の選択肢から選択する操作は煩わしい操作となるが、当該撮像装置（ゲーム装
置Ｃ１０）を把持しているユーザの手指を用いない音声入力で選択することによって操作
性を飛躍的に向上させることができる。
【０４６６】
また、上述した説明では、上側ＬＣＤＣ２２に、裸眼で立体視可能な画像（立体画像）
が上側ＬＣＤＣ２２に表示される例を用いたが、外側撮像部Ｃ２３および内側撮像部Ｃ２
４のいずれかから取得した実世界の平面画像（上述した立体視可能な画像とは反対の意味
での平面視の画像）を上側ＬＣＤＣ２２に表示してもよい。
【０４６７】
また、上記実施形態では、上側ＬＣＤＣ２２がパララックスバリア方式の液晶表示装置
であるとして、視差バリアのＯＮ／ＯＦＦを制御することにより、立体表示と平面表示と
を切り替えることができる。他の実施形態では、例えば、上側ＬＣＤＣ２２としてレンチ
キュラー方式の液晶表示装置を用いて、立体画像および平面画像を表示可能としてもよい
。レンチキュラー方式の場合でも、外側撮像部Ｃ２３で撮像した２つの画像を縦方向に短
冊状に分割して交互に配置することで画像が立体表示される。また、レンチキュラー方式
の場合でも、内側撮像部Ｃ２４で撮像した１つの画像をユーザの左右の目に視認させるこ
とによって、当該画像を平面表示させることができる。すなわち、レンチキュラー方式の
液晶表示装置であっても、同じ画像を縦方向に短冊状に分割し、これら分割した画像を交
互に配置することにより、ユーザの左右の目に同じ画像を視認させることができる。これ
により、内側撮像部Ｃ２４で撮像された画像を平面画像として表示することが可能である
。
【０４６８】
また、上述した説明では、上側ＬＣＤＣ２２を裸眼立体視可能な表示装置として説明し
たが、上側ＬＣＤＣ２２が他の方式で立体視可能に構成されてもかまわない。例えば、偏
光フィルタ方式、時分割方式、アナグリフ方式等の方式で、上側ＬＣＤＣ２２を立体視可
能に構成してもかまわない。
【０４６９】
また、上述した実施形態では、２画面分の液晶表示部の一例として、物理的に分離され
た下側ＬＣＤＣ１２および上側ＬＣＤＣ２２を互いに上下に配置した場合（上下２画面の
場合）を説明した。しかしながら、本発明は、単一の表示画面（例えば、上側ＬＣＤＣ２
２のみ）を有する装置または単一の表示装置に表示する画像を画像処理する装置でも実現
することができる。また、２画面分の表示画面の構成は、他の構成でもかまわない。例え
ば、下側ハウジングＣ１１の一方主面に下側ＬＣＤＣ１２および上側ＬＣＤＣ２２を左右
に配置してもかまわない。また、下側ＬＣＤＣ１２と横幅が同じで縦の長さが２倍のサイ
ズからなる縦長サイズのＬＣＤ（すなわち、物理的には１つで、表示サイズが縦に２画面
分あるＬＣＤ）を下側ハウジングＣ１１の一方主面に配設して、２つの画像（例えば、撮
像画像と操作説明画面を示す画像等）を上下に表示（すなわち上下の境界部分無しに隣接
して表示）するように構成してもよい。また、下側ＬＣＤＣ１２と縦幅が同じで横の長さ
が２倍のサイズからなる横長サイズのＬＣＤを下側ハウジングＣ１１の一方主面に配設し
て、横方向に２つの画像を左右に表示（すなわち左右の境界部分無しに隣接して表示）す
るように構成してもよい。すなわち、物理的に１つの画面を２つに分割して使用すること
により２つの画像を表示してもかまわない。また、物理的に１つの画面を２つに分割して
使用することにより上記２つの画像を表示する場合、当該画面全面にタッチパネルＣ１３
を配設してもかまわない。
【０４７０】
また、上述した実施例では、ゲーム装置Ｃ１０にタッチパネルＣ１３が一体的に設けら
れているが、ゲーム装置とタッチパネルとを別体にして構成しても、本発明を実現できる
ことは言うまでもない。また、上側ＬＣＤＣ２２の上面にタッチパネルＣ１３を設けて上
側ＬＣＤＣ２２に下側ＬＣＤＣ１２に表示していた表示画像を表示し、下側ＬＣＤＣ１２
に上側ＬＣＤＣ２２に表示していた表示画像を表示してもよい。また、本発明を実現する
場合に、タッチパネルＣ１３が設けられていなくもかまわない。
【０４７１】
また、上記実施例では、携帯型のゲーム装置Ｃ１０を用いて説明したが、据置型のゲー
ム装置や一般的なパーソナルコンピュータ等の情報処理装置で本発明の画像処理プログラ
ムを実行して、本発明を実現してもかまわない。また、他の実施形態では、ゲーム装置に
限らず任意の携帯型電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａ
ｓｓｉｓｔａｎｔ）や携帯電話、パーソナルコンピュータ、カメラ等であってもよい。
【０４７２】
また、上述した説明では画像処理をゲーム装置Ｃ１０で行う例を用いたが、上記画像処
理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、ゲ
ーム装置Ｃ１０が他の装置（例えば、サーバや他のゲーム装置）と通信可能に構成されて
いる場合、上記画像処理における処理ステップは、ゲーム装置Ｃ１０および当該他の装置
が協働することによって実行してもよい。一例として、他の装置において、実世界画像お
よび仮想キャラクタＣを設定する処理が行われ、ゲーム装置Ｃ１０が実世界画像および仮
想キャラクタＣに関するデータを取得して、ステップＣ５４〜ステップＣ６８の処理を行
うことが考えられる。このように、上記画像における処理ステップの少なくとも一部を他
の装置で行うことによって、上述した画像処理と同様の処理が可能となる。上述した画像
処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１
つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。ま
た、上記実施形態においては、ゲーム装置Ｃ１０の情報処理部Ｃ３１が所定のプログラム
を実行することによって、上述したフローチャートによる処理が行われたが、ゲーム装置
Ｃ１０が備える専用回路によって上記処理の一部または全部が行われてもよい。
【０４７３】
また、上述したゲーム装置Ｃ１０の形状や、それに設けられている各種操作ボタンＣ１
４、アナログスティックＣ１５、タッチパネルＣ１３の形状、数、および設置位置等は、
単なる一例に過ぎず他の形状、数、および設置位置であっても、本発明を実現できること
は言うまでもない。また、上述した画像処理で用いられる処理順序、設定値、判定に用い
られる値等は、単なる一例に過ぎず他の順序や値であっても、本発明を実現できることは
言うまでもない。
【０４７４】
また、上記画像処理プログラム（ゲームプログラム）は、外部メモリＣ４５やデータ保
存用外部メモリＣ４６等の外部記憶媒体を通じてゲーム装置Ｃ１０に供給されるだけでな
く、有線または無線の通信回線を通じてゲーム装置Ｃ１０に供給されてもよい。また、上
記プログラムは、ゲーム装置Ｃ１０内部の不揮発性記憶装置に予め記録されていてもよい
。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ
−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルデ
ィスク、ハードディスク、光磁気ディスク、磁気テープなどでもよい。また、上記プログ
ラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい
。
【０４７５】
（ゲーム装置の構成）
以下、本発明のさらに他の一実施形態に係るゲーム装置について説明する。図７９〜図
８１は、ゲーム装置Ｄ１０の外観を示す平面図である。ゲーム装置Ｄ１０は携帯型のゲー
ム装置であり、図７９〜図８１に示すように折り畳み可能に構成されている。図７９およ
び図８０は、開いた状態（開状態）におけるゲーム装置Ｄ１０を示し、図８１は、閉じた
状態（閉状態）におけるゲーム装置Ｄ１０を示している。図７９は、開状態におけるゲー
ム装置Ｄ１０の正面図であり、図８０は、開状態におけるゲーム装置Ｄ１０の右側面図で
ある。ゲーム装置Ｄ１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示し
たり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置Ｄ１
０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信
したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画
像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりする
ことができる。
【０４７６】
まず、図７９〜図８１を参照して、ゲーム装置Ｄ１０の外観構成について説明する。図
７９〜図８１に示されるように、ゲーム装置Ｄ１０は、下側ハウジングＤ１１および上側
ハウジングＤ２１を有する。下側ハウジングＤ１１と上側ハウジングＤ２１とは、開閉可
能（折り畳み可能）に接続されている。本実施形態では、各ハウジングＤ１１およびＤ２
１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている
。
【０４７７】
図７９および図８０に示されるように、下側ハウジングＤ１１の上側長辺部分には、下
側ハウジングＤ１１の内側面（主面）Ｄ１１Ｂに対して垂直な方向に突起する突起部Ｄ１
１Ａが設けられる。また、上側ハウジングＤ２１の下側長辺部分には、上側ハウジングＤ
２１の下側面から当該下側面に垂直な方向に突起する突起部Ｄ２１Ａが設けられる。下側
ハウジングＤ１１の突起部Ｄ１１Ａと上側ハウジングＤ２１の突起部Ｄ２１Ａとが連結さ
れることにより、下側ハウジングＤ１１と上側ハウジングＤ２１とが、折り畳み可能に接
続される。
【０４７８】
（下側ハウジングの説明）
まず、下側ハウジングＤ１１の構成について説明する。図７９〜図８１に示すように、
下側ハウジングＤ１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａ
ｙ：液晶表示装置）Ｄ１２、タッチパネルＤ１３、各操作ボタンＤ１４Ａ〜Ｄ１４Ｌ（図
７９、図８１）、アナログスティックＤ１５、ＬＥＤＤ１６Ａ〜Ｄ１６Ｂ、挿入口Ｄ１７
、および、マイクロフォン用孔Ｄ１８が設けられる。以下、これらの詳細について説明す
る。
【０４７９】
図７９に示すように、下側ＬＣＤＤ１２は下側ハウジングＤ１１に収納される。下側Ｌ
ＣＤＤ１２は横長形状であり、長辺方向が下側ハウジングＤ１１の長辺方向に一致するよ
うに配置される。下側ＬＣＤＤ１２は下側ハウジングＤ１１の中央に配置される。下側Ｌ
ＣＤＤ１２は、下側ハウジングＤ１１の内側面（主面）に設けられ、下側ハウジングＤ１
１に設けられた開口部から当該下側ＬＣＤＤ１２の画面が露出される。ゲーム装置Ｄ１０
を使用しない場合には閉状態としておくことによって、下側ＬＣＤＤ１２の画面が汚れた
り傷ついたりすることを防止することができる。下側ＬＣＤＤ１２の画素数は、例えば、
２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤＤ１２は、後述する
上側ＬＣＤＤ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置
である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌ
ｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意
の表示装置を利用してもよい。また、下側ＬＣＤＤ１２として、任意の解像度の表示装置
を利用することができる。
【０４８０】
図７９に示されるように、ゲーム装置Ｄ１０は、入力装置として、タッチパネルＤ１３
を備えている。タッチパネルＤ１３は、下側ＬＣＤＤ１２の画面上に装着されている。な
お、本実施形態では、タッチパネルＤ１３は抵抗膜方式のタッチパネルである。ただし、
タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネル
を用いることができる。本実施形態では、タッチパネルＤ１３として、下側ＬＣＤＤ１２
の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＤ１
３の解像度と下側ＬＣＤＤ１２の解像度が一致している必要はない。また、下側ハウジン
グＤ１１の上側面には挿入口Ｄ１７（図７９および図８１（ｄ）に示す点線）が設けられ
ている。挿入口Ｄ１７は、タッチパネルＤ１３に対する操作を行うために用いられるタッ
チペンＤ２８を収納することができる。なお、タッチパネルＤ１３に対する入力は通常タ
ッチペンＤ２８を用いて行われるが、タッチペンＤ２８に限らずユーザの指でタッチパネ
ルＤ１３に対する入力をすることも可能である。
【０４８１】
各操作ボタンＤ１４Ａ〜Ｄ１４Ｌは、所定の入力を行うための入力装置である。図７９
に示されるように、下側ハウジングＤ１１の内側面（主面）には、各操作ボタンＤ１４Ａ
〜Ｄ１４Ｌのうち、十字ボタンＤ１４Ａ（方向入力ボタンＤ１４Ａ）、ａボタンＤ１４Ｂ
、ｂボタンＤ１４Ｃ、ｘボタンＤ１４Ｄ、ｙボタンＤ１４Ｅ、電源ボタンＤ１４Ｆ、セレ
クトボタンＤ１４Ｊ、ＨＯＭＥボタンＤ１４Ｋ、およびスタートボタンＤ１４Ｌが、設け
られる。十字ボタンＤ１４Ａは、十字の形状を有しており、上下左右の方向を指示するボ
タンを有している。ボタンＤ１４Ｂ、ボタンＤ１４Ｃ、ボタンＤ１４Ｄ、ボタンＤ１４Ｅ
は、十字状に配置される。ボタンＤ１４Ａ〜Ｄ１４Ｅ、セレクトボタンＤ１４Ｊ、ＨＯＭ
ＥボタンＤ１４Ｋ、およびスタートボタンＤ１４Ｌには、ゲーム装置Ｄ１０が実行するプ
ログラムに応じた機能が適宜割り当てられる。例えば、十字ボタンＤ１４Ａは選択操作等
に用いられ、各操作ボタンＤ１４Ｂ〜Ｄ１４Ｅは例えば決定操作やキャンセル操作等に用
いられる。また、電源ボタンＤ１４Ｆは、ゲーム装置Ｄ１０の電源をオン／オフするため
に用いられる。
【０４８２】
アナログスティックＤ１５は、方向を指示するデバイスであり、下側ハウジングＤ１１
の内側面の下側ＬＣＤＤ１２より左側領域の上部領域に設けられる。図７９に示すように
、十字ボタンＤ１４Ａは下側ＬＣＤＤ１２より左側領域の下部領域に設けられるので、ア
ナログスティックＤ１５は、十字ボタンＤ１４Ａの上方に設けられる。また、アナログス
ティックＤ１５、および、十字ボタンＤ１４Ａは、下側ハウジングを把持した左手の親指
で操作可能な位置に設計される。また、アナログスティックＤ１５を上部領域に設けたこ
とにより、下側ハウジングＤ１１を把持する左手の親指が自然と位置するところにアナロ
グスティックＤ１５が配され、十字ボタンＤ１４Ａは、左手の親指を少し下にずらした位
置に配される。アナログスティックＤ１５は、そのキートップが、下側ハウジングＤ１１
の内側面に平行にスライドするように構成されている。アナログスティックＤ１５は、ゲ
ーム装置Ｄ１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定
のオブジェクトが登場するゲームがゲーム装置Ｄ１０によって実行される場合、アナログ
スティックＤ１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入
力装置として機能する。この場合において、所定のオブジェクトはアナログスティックＤ
１５のキートップがスライドした方向に移動される。なお、アナログスティックＤ１５と
して、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を
可能としたものを用いても良い。
【０４８３】
十字状に配置される、ａボタンＤ１４Ｂ、ｂボタンＤ１４Ｃ、ｘボタンＤ１４Ｄ、ｙボ
タンＤ１４Ｅの４つのボタンは、下側ハウジングＤ１１を把持する右手の親指が自然と位
置するところに配置される。また、これらの４つのボタンと、アナログスティックＤ１５
とは、下側ＬＣＤＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラ
ムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力を
することも可能である。
【０４８４】
また、下側ハウジングＤ１１の内側面には、マイクロフォン用孔Ｄ１８が設けられる。
マイクロフォン用孔Ｄ１８の下部には後述する音声入力装置としてのマイク（図８２参照
）が設けられ、当該マイクがゲーム装置Ｄ１０の外部の音を検出する。
【０４８５】
図８１（ａ）は閉状態におけるゲーム装置Ｄ１０の左側面図であり、図８１（ｂ）は閉
状態におけるゲーム装置Ｄ１０の正面図であり、図８１（ｃ）は閉状態におけるゲーム装
置Ｄ１０の右側面図であり、図８１（ｄ）は閉状態におけるゲーム装置Ｄ１０の背面図で
ある。図８１（ｂ）および（ｄ）に示されるように、下側ハウジングＤ１１の上側面には
、ＬボタンＤ１４ＧおよびＲボタンＤ１４Ｈが設けられている。ＬボタンＤ１４Ｇは、下
側ハウジングＤ１１の上面の左端部に設けられ、ＲボタンＤ１４Ｈは、下側ハウジングＤ
１１の上面の右端部に設けられる。また、図８１（ａ）に示されるように、下側ハウジン
グＤ１１の左側面には、音量ボタンＤ１４Ｉが設けられる。音量ボタンＤ１４Ｉは、ゲー
ム装置Ｄ１０が備えるスピーカの音量を調整するために用いられる。
【０４８６】
図８１（ａ）に示されるように、下側ハウジングＤ１１の左側面には開閉可能なカバー
部Ｄ１１Ｃが設けられる。このカバー部Ｄ１１Ｃの内側には、ゲーム装置Ｄ１０とデータ
保存用外部メモリＤ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる
。データ保存用外部メモリＤ４５は、コネクタに着脱自在に装着される。データ保存用外
部メモリＤ４５は、例えば、ゲーム装置Ｄ１０によって撮像された画像のデータを記憶（
保存）するために用いられる。なお、上記コネクタおよびそのカバー部Ｄ１１Ｃは、下側
ハウジングＤ１１の右側面に設けられてもよい。
【０４８７】
また、図８１（ｄ）に示されるように、下側ハウジングＤ１１の上側面には、ゲーム装
置Ｄ１０とゲームプログラムを記録した外部メモリＤ４４を挿入するための挿入口Ｄ１１
Ｄが設けられ、その挿入口Ｄ１１Ｄの内部には、外部メモリＤ４４と電気的に着脱自在に
接続するためのコネクタ（図示せず）が設けられる。当該外部メモリＤ４４がゲーム装置
Ｄ１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネ
クタおよびその挿入口Ｄ１１Ｄは、下側ハウジングＤ１１の他の側面（例えば、右側面等
）に設けられてもよい。
【０４８８】
また、図７９および図８１（ｃ）に示されるように、下側ハウジングＤ１１の下側面に
はゲーム装置Ｄ１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤＤ１６Ａ、
下側ハウジングＤ１１の右側面にはゲーム装置Ｄ１０の無線通信の確立状況をユーザに通
知する第２ＬＥＤＤ１６Ｂが設けられる。ゲーム装置Ｄ１０は他の機器との間で無線通信
を行うことが可能であり、第２ＬＥＤＤ１６Ｂは、無線通信が確立している場合に点灯す
る。ゲーム装置Ｄ１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式
により、無線ＬＡＮに接続する機能を有する。下側ハウジングＤ１１の右側面には、この
無線通信の機能を有効／無効にする無線スイッチＤ１９が設けられる（図８１（ｃ）参照
）。
【０４８９】
なお、図示は省略するが、下側ハウジングＤ１１には、ゲーム装置Ｄ１０の電源となる
充電式電池が収納され、下側ハウジングＤ１１の側面（例えば、上側面）に設けられた端
子を介して当該電池を充電することができる。
【０４９０】
（上側ハウジングの説明）
次に、上側ハウジングＤ２１の構成について説明する。図７９〜図８１に示すように、
上側ハウジングＤ２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａ
ｙ：液晶表示装置）Ｄ２２、外側撮像部Ｄ２３（外側撮像部（左）Ｄ２３ａおよび外側撮
像部（右）Ｄ２３ｂ）、内側撮像部Ｄ２４、３Ｄ調整スイッチＤ２５、および、３Ｄイン
ジケータＤ２６が設けられる。以下、これらの詳細について説明する。
【０４９１】
図７９に示すように、上側ＬＣＤＤ２２は上側ハウジングＤ２１に収納される。上側Ｌ
ＣＤＤ２２は、横長形状であり、長辺方向が上側ハウジングＤ２１の長辺方向に一致する
ように配置される。上側ＬＣＤＤ２２は上側ハウジングＤ２１の中央に配置される。上側
ＬＣＤＤ２２の画面の面積は、下側ＬＣＤＤ１２の画面の面積よりも大きく設定される。
また、上側ＬＣＤＤ２２の画面は、下側ＬＣＤＤ１２の画面よりも横長に設定される。す
なわち、上側ＬＣＤＤ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤＤ１
２の画面のアスペクト比における横幅の割合よりも大きく設定される。
【０４９２】
上側ＬＣＤＤ２２の画面は、上側ハウジングＤ２１の内側面（主面）Ｄ２１Ｂに設けら
れ、上側ハウジングＤ２１に設けられた開口部から当該上側ＬＣＤＤ２２の画面が露出さ
れる。また、図８０に示すように、上側ハウジングＤ２１の内側面は、透明なスクリーン
カバーＤ２７によって覆われている。当該スクリーンカバーＤ２７は、上側ＬＣＤＤ２２
の画面を保護するとともに、上側ＬＣＤＤ２２と上側ハウジングＤ２１の内側面と一体的
にさせ、これにより統一感を持たせている。上側ＬＣＤＤ２２の画素数は、例えば、６４
０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤＤ
２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅ
ｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤＤ２
２として、任意の解像度の表示装置を利用することができる。
【０４９３】
上側ＬＣＤＤ２２は、立体視可能な画像（立体視画像、立体画像ともいう）を表示する
ことが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左
目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で
（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用
画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例
では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像
と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式
やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上
側ＬＣＤＤ２２はパララックスバリア方式のものとする。上側ＬＣＤＤ２２は、右目用画
像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち
、上側ＬＣＤＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に
右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能
な画像）を表示することができる。また、上側ＬＣＤＤ２２は、上記視差バリアを無効に
することが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することが
できる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわ
ち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このよ
うに、上側ＬＣＤＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面
的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示
装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチＤ２５によって行
われる。
【０４９４】
外側撮像部Ｄ２３は、上側ハウジングＤ２１の外側面（上側ＬＣＤＤ２２が設けられた
主面と反対側の背面）Ｄ２１Ｄに設けられた２つの撮像部（Ｄ２３ａおよびＤ２３ｂ）の
総称である。外側撮像部（左）Ｄ２３ａと外側撮像部（右）Ｄ２３ｂの撮像方向は、いず
れも当該外側面Ｄ２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、
上側ＬＣＤＤ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。す
なわち、外側撮像部（左）Ｄ２３ａの撮像方向および外側撮像部（右）Ｄ２３ｂの撮像方
向は、平行である。外側撮像部（左）Ｄ２３ａと外側撮像部（右）Ｄ２３ｂとは、ゲーム
装置Ｄ１０が実行するプログラムによって、ステレオカメラとして使用することが可能で
ある。また、プログラムによっては、２つの外側撮像部（Ｄ２３ａおよびＤ２３ｂ）のい
ずれか一方を単独で用いて、外側撮像部Ｄ２３を非ステレオカメラとして使用することも
可能である。また、プログラムによっては、２つの外側撮像部（Ｄ２３ａおよびＤ２３ｂ
）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像を
おこなうことも可能である。本実施形態では、外側撮像部Ｄ２３は、外側撮像部（左）Ｄ
２３ａおよび外側撮像部（右）Ｄ２３ｂの２つの撮像部で構成される。外側撮像部（左）
Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、それぞれ所定の共通の解像度を有する撮像
素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む
。レンズは、ズーム機構を有するものでもよい。
【０４９５】
図７９の破線および図８１（ｂ）の実線で示されるように、外側撮像部Ｄ２３を構成す
る外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ＬＣＤＤ２２の画
面の横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側
ＬＣＤＤ２２の画面の横方向と平行になるように、外側撮像部（左）Ｄ２３ａおよび外側
撮像部（右）Ｄ２３ｂが配置される。図７９の破線で示すＤ２３ａおよびＤ２３ｂは、上
側ハウジングＤ２１の内側面とは反対側の外側面に存在する外側撮像部（左）Ｄ２３ａお
よび外側撮像部（右）Ｄ２３ｂをそれぞれ表している。図７９に示すように、ユーザが上
側ＬＣＤＤ２２の画面を正面から視認した場合に、外側撮像部（左）Ｄ２３ａは左側に外
側撮像部（右）Ｄ２３ｂは右側にそれぞれ位置している。外側撮像部Ｄ２３をステレオカ
メラとして機能させるプログラムが実行されている場合、外側撮像部（左）Ｄ２３ａは、
ユーザの左目で視認される左目用画像を撮像し、外側撮像部（右）Ｄ２３ｂは、ユーザの
右目で視認される右目用画像を撮像する。外側撮像部（左）Ｄ２３ａおよび外側撮像部（
右）Ｄ２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍ
の範囲で設定されてもよい。なお、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ
２３ｂの間隔は、この範囲に限らない。
【０４９６】
なお、本実施例においては、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３
はハウジングに固定されており、撮像方向を変更することはできない。
【０４９７】
また、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ＬＣＤＤ２
２（上側ハウジングＤ２１）の左右方向に関して中央から対称となる位置にそれぞれ配置
される。すなわち、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側
ＬＣＤＤ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外
側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、上側ハウジングＤ２１を開
いた状態において、上側ハウジングＤ２１の上部であって、上側ＬＣＤＤ２２の画面の上
端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）Ｄ２３ａおよび外
側撮像部（右）Ｄ２３ｂは、上側ハウジングＤ２１の外側面であって、上側ＬＣＤＤ２２
を外側面に投影した場合、投影した上側ＬＣＤＤ２２の画面の上端よりも上方に配置され
る。
【０４９８】
このように、外側撮像部Ｄ２３の２つの撮像部（Ｄ２３ａおよびＤ２３ｂ）が、上側Ｌ
ＣＤＤ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上
側ＬＣＤＤ２２を正視した場合に、外側撮像部Ｄ２３の撮像方向をユーザの視線方向と一
致させることができる。また、外側撮像部Ｄ２３は、上側ＬＣＤＤ２２の画面の上端より
上方の裏側の位置に配置されるため、外側撮像部Ｄ２３と上側ＬＣＤＤ２２とが上側ハウ
ジングＤ２１の内部で干渉することがない。従って、外側撮像部Ｄ２３を上側ＬＣＤＤ２
２の画面の裏側に配置する場合と比べて、上側ハウジングＤ２１を薄く構成することが可
能となる。
【０４９９】
内側撮像部Ｄ２４は、上側ハウジングＤ２１の内側面（主面）Ｄ２１Ｂに設けられ、当
該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部Ｄ２４は、所定
の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等
）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【０５００】
図７９に示すように、内側撮像部Ｄ２４は、上側ハウジングＤ２１を開いた状態におい
て、上側ハウジングＤ２１の上部であって、上側ＬＣＤＤ２２の画面の上端よりも上方に
配置され、上側ハウジングＤ２１の左右方向に関して中央の位置（上側ハウジングＤ２１
（上側ＬＣＤＤ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、
図７９および図８１（ｂ）に示されるように、内側撮像部Ｄ２４は、上側ハウジングＤ２
１の内側面であって、外側撮像部Ｄ２３の左右の撮像部（外側撮像部（左）Ｄ２３ａおよ
び外側撮像部（右）Ｄ２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジ
ングＤ２１の外側面に設けられた外側撮像部Ｄ２３の左右の撮像部を上側ハウジングＤ２
１の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部Ｄ２４が設
けられる。図８１（ｂ）で示される破線Ｄ２４は、上側ハウジングＤ２１の内側面に存在
する内側撮像部Ｄ２４を表している。
【０５０１】
このように、内側撮像部Ｄ２４は、外側撮像部Ｄ２３とは反対方向を撮像する。内側撮
像部Ｄ２４は、上側ハウジングＤ２１の内側面であって、外側撮像部Ｄ２３の左右の撮像
部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤＤ２２を正視した際
、内側撮像部Ｄ２４でユーザの顔を正面から撮像することができる。また、外側撮像部Ｄ
２３の左右の撮像部と内側撮像部Ｄ２４とが上側ハウジングＤ２１の内部で干渉すること
がないため、上側ハウジングＤ２１を薄く構成することが可能となる。
【０５０２】
３Ｄ調整スイッチＤ２５は、スライドスイッチであり、上述のように上側ＬＣＤＤ２２
の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチＤ
２５は、上側ＬＣＤＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整す
るために用いられる。図７９〜図８１に示されるように、３Ｄ調整スイッチＤ２５は、上
側ハウジングＤ２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤＤ２２
を正視した場合に、当該３Ｄ調整スイッチＤ２５を視認できる位置に設けられる。また、
３Ｄ調整スイッチＤ２５の操作部は、内側面および右側面の両方に突出しており、どちら
からも視認および操作することができる。なお、３Ｄ調整スイッチＤ２５以外のスイッチ
は全て下側ハウジングＤ１１に設けられる。
【０５０３】
３Ｄ調整スイッチＤ２５は、図７９および図８０に示されるように、上側ハウジングＤ
２１の正面および右側面から視認可能に配置される。３Ｄ調整スイッチＤ２５のスライダ
Ｄ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダＤ
２５ａの位置に応じて上側ＬＣＤＤ２２の表示モードが設定されたり、立体画像の立体感
が調整されてもよい。例えば、３Ｄ調整スイッチＤ２５のスライダＤ２５ａの位置に応じ
て、後述する仮想カメラ（仮想ステレオカメラ）のカメラ間距離が設定されてもよい。ま
た、当該仮想ステレオカメラの左仮想カメラによって撮像された左目用画像と右仮想カメ
ラによって撮像された右目用画像との位置関係が調整されてもよい。具体的には、例えば
、３Ｄ調整スイッチＤ２５のスライダＤ２５ａが最上点（図７９および図８０では上方向
）に存在する場合、上記左目用画像と右目用画像との横方向（上側ＬＣＤＤ２２の画面の
横方向；図７９の左右方向）の位置のずれが上限値に設定される。このように左目用画像
と右目用画像の横方向のずれが上限値に設定されると、２つの画像の視差がより大きくな
る。このため、ユーザが視差バリアを通して上側ＬＣＤＤ２２に表示された２つの画像を
見ると、上側ＬＣＤＤ２２の画面から画像がより手前方向に飛び出したように見える。こ
のように、３Ｄ調整スイッチＤ２５を用いて、２つの画像の視差が調整されてもよい。
【０５０４】
３ＤインジケータＤ２６は、上側ＬＣＤＤ２２が立体表示モードか否かを示す。３Ｄイ
ンジケータＤ２６は、ＬＥＤであり、上側ＬＣＤＤ２２の立体表示モードが有効の場合に
点灯する。なお、３ＤインジケータＤ２６は、上側ＬＣＤＤ２２が立体表示モードになっ
ており、かつ、立体視画像を表示するプログラム処理が実行されているときに限り、点灯
するようにしてもよい。図７９に示されるように、３ＤインジケータＤ２６は、上側ハウ
ジングＤ２１の内側面に設けられ、上側ＬＣＤＤ２２の画面近傍に設けられる。このため
、ユーザが上側ＬＣＤＤ２２の画面を正視した場合、ユーザは３ＤインジケータＤ２６を
視認しやすい。従って、ユーザは上側ＬＣＤＤ２２の画面を視認している状態でも、上側
ＬＣＤＤ２２の表示モードを容易に認識することができる。
【０５０５】
また、上側ハウジングＤ２１の内側面には、スピーカ孔Ｄ２１Ｅが設けられる。後述す
るスピーカＤ４３からの音声がこのスピーカ孔Ｄ２１Ｅから出力される。
【０５０６】
（ゲーム装置Ｄ１０の内部構成）
次に、図８２を参照して、ゲーム装置Ｄ１０の内部の電気的構成について説明する。図
８２は、ゲーム装置Ｄ１０の内部構成を示すブロック図である。図８２に示すように、ゲ
ーム装置Ｄ１０は、上述した各部に加えて、情報処理部Ｄ３１、メインメモリＤ３２、外
部メモリインターフェイス（外部メモリＩ／Ｆ）Ｄ３３、データ保存用外部メモリＩ／Ｆ
Ｄ３４、データ保存用内部メモリＤ３５、無線通信モジュールＤ３６、ローカル通信モジ
ュールＤ３７、リアルタイムクロック（ＲＴＣ）Ｄ３８、加速度センサＤ３９、電源回路
Ｄ４０、およびインターフェイス回路（Ｉ／Ｆ回路）Ｄ４１等の電子部品を備えている。
これらの電子部品は、電子回路基板上に実装されて下側ハウジングＤ１１（または上側ハ
ウジングＤ２１でもよい）内に収納される。
【０５０７】
情報処理部Ｄ３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐ
ｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｄ３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ  
Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｄ３１２等を含む情報処理手段である。本実施形態で
は、所定のプログラムがゲーム装置Ｄ１０内のメモリ（例えば外部メモリＩ／ＦＤ３３に
接続された外部メモリＤ４４やデータ保存用内部メモリＤ３５）に記憶されている。情報
処理部Ｄ３１のＣＰＵＤ３１１は、当該所定のプログラムを実行することによって、後述
する画像処理（図９０）を実行する。なお、情報処理部Ｄ３１のＣＰＵＤ３１１によって
実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。ま
た、情報処理部Ｄ３１は、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）Ｄ３１３を含む。情報処理部
Ｄ３１のＧＰＵＤ３１２は、情報処理部Ｄ３１のＣＰＵＤ３１１からの命令に応じて画像
を生成し、ＶＲＡＭＤ３１３に描画する。そして、情報処理部Ｄ３１のＧＰＵＤ３１２は
、ＶＲＡＭＤ３１３に描画された画像を上側ＬＣＤＤ２２及び／又は下側ＬＣＤＤ１２に
出力し、上側ＬＣＤＤ２２及び／又は下側ＬＣＤＤ１２に当該画像が表示される。
【０５０８】
情報処理部Ｄ３１には、メインメモリＤ３２、外部メモリＩ／ＦＤ３３、データ保存用
外部メモリＩ／ＦＤ３４、および、データ保存用内部メモリＤ３５が接続される。外部メ
モリＩ／ＦＤ３３は、外部メモリＤ４４を着脱自在に接続するためのインターフェイスで
ある。また、データ保存用外部メモリＩ／ＦＤ３４は、データ保存用外部メモリＤ４５を
着脱自在に接続するためのインターフェイスである。
【０５０９】
メインメモリＤ３２は、情報処理部Ｄ３１（のＣＰＵＤ３１１）のワーク領域やバッフ
ァ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＤ３２は、上
記画像処理に用いられる各種データを一時的に記憶したり、外部（外部メモリＤ４４や他
の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メイ
ンメモリＤ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【０５１０】
外部メモリＤ４４は、情報処理部Ｄ３１によって実行されるプログラムを記憶するため
の不揮発性の記憶手段である。外部メモリＤ４４は、例えば読み取り専用の半導体メモリ
で構成される。外部メモリＤ４４が外部メモリＩ／ＦＤ３３に接続されると、情報処理部
Ｄ３１は外部メモリＤ４４に記憶されたプログラムを読み込むことができる。情報処理部
Ｄ３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保
存用外部メモリＤ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシ
ュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存
用外部メモリＤ４５には、外側撮像部Ｄ２３で撮像された画像や他の機器で撮像された画
像が記憶される。データ保存用外部メモリＤ４５がデータ保存用外部メモリＩ／ＦＤ３４
に接続されると、情報処理部Ｄ３１はデータ保存用外部メモリＤ４５に記憶された画像を
読み込み、上側ＬＣＤＤ２２及び／又は下側ＬＣＤＤ１２に当該画像を表示することがで
きる。
【０５１１】
データ保存用内部メモリＤ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型
フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、デ
ータ保存用内部メモリＤ３５には、無線通信モジュールＤ３６を介した無線通信によって
ダウンロードされたデータやプログラムが格納される。
【０５１２】
無線通信モジュールＤ３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した
方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュールＤ３７
は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行
う機能を有する。無線通信モジュールＤ３６およびローカル通信モジュールＤ３７は情報
処理部Ｄ３１に接続される。情報処理部Ｄ３１は、無線通信モジュールＤ３６を用いてイ
ンターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール
Ｄ３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
【０５１３】
また、情報処理部Ｄ３１には、加速度センサＤ３９が接続される。加速度センサＤ３９
は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する
。加速度センサＤ３９は、下側ハウジングＤ１１の内部に設けられる。加速度センサＤ３
９は、図７９に示すように、下側ハウジングＤ１１の長辺方向をｘ軸、下側ハウジングＤ
１１の短辺方向をｙ軸、下側ハウジングＤ１１の内側面（主面）に対して垂直な方向をｚ
軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサＤ３９は、例えば
静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにして
もよい。また、加速度センサＤ３９は１軸又は２軸方向を検出する加速度センサであって
もよい。情報処理部Ｄ３１は、加速度センサＤ３９が検出した加速度を示すデータ（加速
度データ）を受信して、ゲーム装置Ｄ１０の姿勢や動きを検出する。本実施形態では、情
報処理部Ｄ３１は、加速度センサＤ３９が検出した加速度に基づいて、ゲーム装置Ｄ１０
の姿勢（傾き）を判定する。
【０５１４】
また、情報処理部Ｄ３１には、ＲＴＣＤ３８および電源回路Ｄ４０が接続される。ＲＴ
ＣＤ３８は、時間をカウントして情報処理部Ｄ３１に出力する。情報処理部Ｄ３１は、Ｒ
ＴＣＤ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路Ｄ４
０は、ゲーム装置Ｄ１０が有する電源（下側ハウジングＤ１１に収納される上記充電式電
池）からの電力を制御し、ゲーム装置Ｄ１０の各部品に電力を供給する。
【０５１５】
また、情報処理部Ｄ３１には、Ｉ／Ｆ回路Ｄ４１が接続される。Ｉ／Ｆ回路Ｄ４１には
、マイクＤ４２およびスピーカＤ４３が接続される。具体的には、Ｉ／Ｆ回路Ｄ４１には
、図示しないアンプを介してスピーカＤ４３が接続される。マイクＤ４２は、ユーザの音
声を検知して音声信号をＩ／Ｆ回路Ｄ４１に出力する。アンプは、Ｉ／Ｆ回路Ｄ４１から
の音声信号を増幅し、音声をスピーカＤ４３から出力させる。また、タッチパネルＤ１３
はＩ／Ｆ回路Ｄ４１に接続される。Ｉ／Ｆ回路Ｄ４１は、マイクＤ４２およびスピーカＤ
４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制
御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行っ
たり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、
タッチパネルＤ１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報
処理部Ｄ３１に出力する。タッチ位置データは、タッチパネルＤ１３の入力面において入
力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネルＤ１３か
らの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。
情報処理部Ｄ３１は、タッチ位置データを取得することにより、タッチパネルＤ１３に対
して入力が行われた位置を知ることができる。
【０５１６】
操作ボタンＤ１４は、上記各操作ボタンＤ１４Ａ〜Ｄ１４Ｌからなり、情報処理部Ｄ３
１に接続される。操作ボタンＤ１４から情報処理部Ｄ３１へは、各操作ボタンＤ１４Ａ〜
Ｄ１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処
理部Ｄ３１は、操作ボタンＤ１４から操作データを取得することによって、操作ボタンＤ
１４に対する入力に従った処理を実行する。
【０５１７】
下側ＬＣＤＤ１２および上側ＬＣＤＤ２２は情報処理部Ｄ３１に接続される。下側ＬＣ
ＤＤ１２および上側ＬＣＤＤ２２は、情報処理部Ｄ３１（のＧＰＵＤ３１２）の指示に従
って画像を表示する。
【０５１８】
具体的には、情報処理部Ｄ３１は、上側ＬＣＤＤ２２のＬＣＤコントローラ（図示せず
）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。
上側ＬＣＤＤ２２の視差バリアがＯＮになっている場合、情報処理部Ｄ３１のＶＲＡＭＤ
３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤＤ２２に出力される。より
具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素デー
タを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処
理とを交互に繰り返すことによって、ＶＲＡＭＤ３１３から右目用画像と左目用画像とを
読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ
短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像と
が交互に配置された画像が、上側ＬＣＤＤ２２の画面に表示される。そして、上側ＬＣＤ
Ｄ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目
に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤＤ２
２の画面には立体視可能な画像が表示される。
【０５１９】
外側撮像部Ｄ２３および内側撮像部Ｄ２４は、情報処理部Ｄ３１に接続される。外側撮
像部Ｄ２３および内側撮像部Ｄ２４は、情報処理部Ｄ３１の指示に従って画像を撮像し、
撮像した画像データを情報処理部Ｄ３１に出力する。例えば、情報処理部Ｄ３１は外側撮
像部Ｄ２３および内側撮像部Ｄ２４のいずれか一方に対して撮像指示を行い、撮像指示を
受けた撮像部が画像を撮像して画像データを情報処理部Ｄ３１に送る。例えば、ユーザに
よるタッチパネルＤ１３を用いたタッチ操作によって使用する撮像部が選択される。撮像
部が選択されたことを情報処理部Ｄ３１（ＣＰＵＤ３１１）が検知し、情報処理部Ｄ３１
が外側撮像部Ｄ２３または内側撮像部Ｄ２４に対して撮像指示を行う。
【０５２０】
３Ｄ調整スイッチＤ２５は、情報処理部Ｄ３１に接続される。３Ｄ調整スイッチＤ２５
は、スライダＤ２５ａの位置に応じた電気信号を情報処理部Ｄ３１に送信する。
【０５２１】
また、３ＤインジケータＤ２６は、情報処理部Ｄ３１に接続される。情報処理部Ｄ３１
は、３ＤインジケータＤ２６の点灯を制御する。本実施形態では、情報処理部Ｄ３１は、
上側ＬＣＤＤ２２が立体表示モードである場合、３ＤインジケータＤ２６を点灯させる。
以上がゲーム装置Ｄ１０の内部構成の説明である。
【０５２２】
また、情報処理部Ｄ３１には、角速度センサＤ４６が接続される。角速度センサＤ４６
は、各軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置Ｄ１０は、角速度セ
ンサＤ４６が逐次検出する角速度に基づいて、実空間におけるゲーム装置Ｄ１０の姿勢を
算出することができる。具体的には、ゲーム装置Ｄ１０は、角速度センサＤ４６によって
検出された各軸周りの角速度を時間で積分することによって、各軸周りのゲーム装置Ｄ１
０の回転角を算出することができる。
【０５２３】
（ゲーム処理の概要）
次に、本実施形態に係るゲーム装置Ｄ１０において実行されるゲームの概要について説
明する。本実施形態に係るゲームでは、実空間の平面（例えば、テーブル）上にマーカが
載置され、当該マーカを外側撮像部Ｄ２３を用いて撮像した場合に、釣りざおと仮想オブ
ジェクトとしての魚とが、実空間を撮像した実画像に重畳されて上側ＬＣＤＤ２２に表示
される。そして、ユーザが所定の操作を行うと、釣り糸の先端部分が上記平面に接触し、
実空間の平面が波打つような様子が上側ＬＣＤＤ２２に表示される。以下では、まず、ゲ
ーム装置Ｄ１０に表示される画像について説明した後、実空間の平面が波打つような表示
をさせるための処理について、説明する。
【０５２４】
図８３は、本実施形態に係るゲームが実行された場合において、実空間に予め配置され
たマーカＤ６１を外側撮像部Ｄ２３で撮像したときに上側ＬＣＤＤ２２に表示される画像
の一例を示す図である。
【０５２５】
図８３に示すように、外側撮像部Ｄ２３の撮像方向の実空間の平面（テーブル等（図示
せず））上には、マーカＤ６１が配置される。マーカＤ６１は、長方形の紙であって、そ
の中心に矢印が描かれている。マーカＤ６１の中心に描かれた矢印の方向は、マーカＤ６
１の長辺と平行である。ゲーム装置Ｄ１０の情報処理部Ｄ３１（ＣＰＵＤ３１１）は、外
側撮像部Ｄ２３によって撮像された画像に対して、例えばパターンマッチング等の画像処
理を行うことによって、当該画像に含まれるマーカＤ６１を検出することができる。外側
撮像部Ｄ２３によって撮像された画像中にマーカＤ６１が検出された場合、上側ＬＣＤＤ
２２には、釣りざおオブジェクトＤ５１および魚オブジェクトＤ５２が表示される。具体
的には、マーカＤ６１が検出された場合、上側ＬＣＤＤ２２には、外側撮像部Ｄ２３によ
って撮像された実画像（マーカＤ６１と背景を含む実空間を撮像した画像）に、釣りざお
オブジェクトＤ５１および魚オブジェクトＤ５２が重畳表示される。外側撮像部Ｄ２３に
よって撮像された画像中にマーカＤ６１が検出されない場合は、上側ＬＣＤＤ２２にマー
カＤ６１が検出されていないことを示すメッセージが表示されて、釣りざおオブジェクト
Ｄ５１は表示されない。
【０５２６】
外側撮像部Ｄ２３は、ユーザの左目に視認される左目用実画像と、ユーザの右目に視認
される右目用実画像とを撮像し、上側ＬＣＤＤ２２には、これら２つの画像が表示される
。従って、図８３に示す上側ＬＣＤＤ２２に表示された画像は、立体視可能な画像（立体
画像）である。
【０５２７】
図８３に示す画像が上側ＬＣＤＤ２２に表示された場合において、ユーザが所定の操作
を行うと、釣りざおオブジェクトＤ５１の釣り糸の先端部分が下方に移動して、マーカＤ
６１が載置された平面と接触し、当該平面が波打つような画像が表示される。所定の操作
としては、例えば、ゲーム装置Ｄ１０の外側撮像部Ｄ２３をマーカＤ６１に近づけたり、
ゲーム装置Ｄ１０をマーカＤ６１が載置された平面に平行になるように傾けたりする操作
である。
【０５２８】
図８４は、ユーザが所定の操作を行った場合に、マーカＤ６１が載置された平面が波打
つ様子を示した図である。図８４に示すように、ユーザが所定の操作を行うと、上側ＬＣ
ＤＤ２２には、マーカＤ６１が載置された実空間の平面が波打つような画像が表示される
。具体的には、外側撮像部Ｄ２３によって左目用実画像と右目用実画像とが撮像され、当
該撮像された２つの画像がそれぞれ変形されるため、実空間の平面が立体的に波打つよう
に表示される。
【０５２９】
なお、マーカＤ６１には、マーカ座標系が設定される。図８５は、マーカ座標系の定義
を示す図である。図８５に示すように、マーカ座標系は、マーカＤ６１の中心を原点とし
たＸＹＺ座標系によって定義される。マーカＤ６１の矢印と同じ方向（前方向）にＺ軸、
当該矢印の方向を基準として右向きに（右方向）にＸ軸、マーカＤ６１に対して垂直上向
き（上方向）にＹ軸が設定される。このように、実空間に配置されたマーカＤ６１を基準
として仮想空間の座標系（マーカ座標系）が定義されることにより、実空間と仮想空間と
を対応付けることができる。
【０５３０】
上記魚オブジェクトＤ５２は、マーカ座標系で定義された仮想空間に設定される。従っ
て、ゲーム装置Ｄ１０（外側撮像部Ｄ２３）の位置や姿勢を変化させると、魚オブジェク
トＤ５２の見え方も変化する。例えば、ユーザがマーカＤ６１を中心としてゲーム装置Ｄ
１０を９０度回転させると（Ｙ軸周りにゲーム装置Ｄ１０を９０度回転させると）、魚オ
ブジェクトＤ５２は９０度回転して表示される。従って、ユーザは、魚オブジェクトＤ５
２が実空間に存在するような感覚を得ることができる。なお、ゲーム装置Ｄ１０の位置を
変化させても、釣りざおオブジェクトＤ５１は変化しない（ユーザが釣りざおオブジェク
トＤ５１を把持しているように、ユーザの実空間における位置に応じて釣りざおオブジェ
クトＤ５１の仮想空間における位置も変化する）。
【０５３１】
以下、上述のような画像を表示するためにゲーム装置Ｄ１０において行われる処理につ
いて、詳細に説明する。
【０５３２】
（ゲーム処理の詳細）
次に、図８６から図８９を参照して、本実施形態に係る表示処理の詳細について説明す
る。まず、表示処理の際にメインメモリＤ３２およびＶＲＡＭＤ３１３（以下、これらを
総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図８６は
、ゲーム装置Ｄ１０のＲＡＭのメモリマップを示す図である。図８６に示されるように、
ＲＡＭには、ゲームプログラムＤ７１、左目用実画像Ｄ７２Ｌ、右目用実画像Ｄ７２Ｒ、
仮想モデル情報Ｄ７３、変形オブジェクト情報Ｄ７４、左仮想カメラ情報Ｄ７５Ｌ、右仮
想カメラ情報Ｄ７５Ｒ、左仮想カメラ画像Ｄ７６Ｌ、右仮想カメラ画像Ｄ７６Ｒ、魚オブ
ジェクト情報Ｄ７７、マスクオブジェクト情報Ｄ７８等が記憶される。
【０５３３】
ゲームプログラムＤ７１は、後述するフローチャートに示されるゲーム処理を情報処理
部Ｄ３１（ＣＰＵＤ３１１）に実行させるためのプログラムである。
【０５３４】
左目用実画像Ｄ７２Ｌは、外側撮像部（左）Ｄ２３ａによって撮像された、実空間を撮
像した画像である。
【０５３５】
右目用実画像Ｄ７２Ｒは、外側撮像部（右）Ｄ２３ｂによって撮像された、実空間を撮
像した画像である。
【０５３６】
仮想モデル情報Ｄ７３は、後述する仮想モデルＤ５５（図９１参照）に関連する情報で
ある。具体的には、仮想モデル情報Ｄ７３は、平板状のポリゴンを示すデータであり、頂
点Ｐ（ｉ）（ｉ＝１〜ｎ）を示す情報である。後述するように、仮想モデルＤ５５の各点
Ｐは、マーカ座標系の座標値で表される。
【０５３７】
変形オブジェクト情報Ｄ７４は、平板状の仮想モデルＤ５５を変形した変形オブジェク
トＤ５６（図９２参照）に関連する情報である。具体的には、変形オブジェクト情報Ｄ７
４は、頂点Ｑ（ｉ）（ｉ＝１〜ｎ）および当該頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）を示
す情報である。変形オブジェクトＤ５６の各点Ｑは、マーカ座標系の座標値で表される。
【０５３８】
左仮想カメラ情報Ｄ７５Ｌは、仮想空間のおける左仮想カメラＤ５３ａ（図９０参照）
の位置および姿勢を表す情報である。具体的には、左仮想カメラ情報Ｄ７５Ｌは、左目用
実画像Ｄ７２ＬにおけるマーカＤ６１の位置および姿勢に基づいて算出される行列である
。
【０５３９】
右仮想カメラ情報Ｄ７５Ｒは、仮想空間のおける右仮想カメラＤ５３ｂ（図９０参照）
の位置および姿勢を表す情報である。具体的には、右仮想カメラ情報Ｄ７５Ｒは、右目用
実画像Ｄ７２ＲにおけるマーカＤ６１の位置および姿勢に基づいて算出される行列である
。
【０５４０】
左仮想カメラ画像Ｄ７６Ｌは、左仮想カメラＤ５３ａによって変形オブジェクトＤ５６
を撮像した画像である。
【０５４１】
右仮想カメラ画像Ｄ７６Ｒは、右仮想カメラＤ５３ｂによって変形オブジェクトＤ５６
を撮像した画像である。
【０５４２】
魚オブジェクト情報Ｄ７７は、仮想空間に配置される魚オブジェクトＤ５２に関する情
報であり、魚オブジェクトＤ５２の位置や形状を示す情報である。
【０５４３】
マスクオブジェクト情報Ｄ７８は、仮想空間に配置される魚オブジェクトＤ５２が所定
の方向から見えないようにマスクするためのマスクオブジェクトＤ５７（図９８参照）に
関する情報である。
【０５４４】
（メインフローの説明）
次に、本実施形態に係るゲーム処理の詳細について、図８７から図８９を参照して説明
する。図８７は、本実施形態に係るゲーム処理の詳細を示すメインフローチャートである
。ゲーム装置Ｄ１０の電源が投入されると、ゲーム装置Ｄ１０の情報処理部Ｄ３１（ＣＰ
ＵＤ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによ
ってメインメモリＤ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メ
モリＤ４４等；コンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラムが
ＲＡＭ（具体的には、メインメモリＤ３２）に読み込まれ、情報処理部Ｄ３１のＣＰＵＤ
３１１によって当該プログラムの実行が開始される。図８７のフローチャートに示す処理
は、以上の処理が完了した後に情報処理部Ｄ３１（ＣＰＵＤ３１１又はＧＰＵＤ３１２）
によって行われる。
【０５４５】
なお、図８７では、本発明に直接関連しない処理については記載を省略する。また、図
８７では、外側撮像部Ｄ２３によって実空間に存在するマーカＤ６１が撮像されたことを
前提として説明する。また、図８７に示すステップＳＤ２〜ステップＳＤ１０の処理ルー
プは、１フレーム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に繰り返
し実行される。
【０５４６】
まず、ステップＳＤ１において、情報処理部Ｄ３１は、仮想モデルＤ５５等を設定する
。具体的には、情報処理部Ｄ３１は、仮想モデルＤ５５を表す各点Ｐの座標（マーカ座標
系における座標）を予め定められた値に設定して、ＲＡＭに記憶する。具体的には、各点
Ｐは、マーカ座標系のＸＺ平面上に設定される。また、情報処理部Ｄ３１は、変形オブジ
ェクトＤ５６を表す各点Ｑの座標を予め定められた値（点Ｐと同じ値）に設定して、ＲＡ
Ｍに記憶する。また、情報処理部Ｄ３１は、仮想モデルＤ５５の端部にマスクオブジェク
トＤ５７を設定する。
【０５４７】
図９１は、仮想モデルＤ５５を示す図である。図９１に示すように、仮想モデルＤ５５
は、ｎ個の頂点Ｐによって構成される平板状のポリゴンであり、マーカ座標系（ＸＹＺ座
標系）のＸＺ平面（実空間におけるマーカＤ６１が載置された平面）上に配置される。ス
テップＳＤ１の後、情報処理部Ｄ３１は、次にステップＳＤ２の処理を実行する。
【０５４８】
ステップＳＤ２において、情報処理部Ｄ３１は、実カメラ画像を取得する。具体的には
、情報処理部Ｄ３１は、外側撮像部（左）Ｄ２３ａによって撮像された左目用実画像Ｄ７
２Ｌを取得して、ＲＡＭに記憶する。また、情報処理部Ｄ３１は、外側撮像部（右）Ｄ２
３ｂによって撮像された右目用実画像Ｄ７２Ｒを取得して、ＲＡＭに記憶する。次に、情
報処理部Ｄ３１は、ステップＳＤ３の処理を実行する。
【０５４９】
ステップＳＤ３において、情報処理部Ｄ３１は、マーカ認識処理を実行する。マーカ認
識処理は、ステップＳＤ２で取得した左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒ
を用いて、２つの画像に含まれるマーカＤ６１を認識して、仮想カメラ（左仮想カメラＤ
５３ａおよび右仮想カメラＤ５３ｂ）を設定する処理である。ステップＳＤ３におけるマ
ーカ認識処理の詳細を、図８８を参照して説明する。
【０５５０】
図８８は、マーカ認識処理（ステップＳＤ３）の詳細を示すフローチャートである。
【０５５１】
ステップＳＤ２１において、情報処理部Ｄ３１は、実カメラとマーカとの位置関係を算
出する。具体的には、情報処理部Ｄ３１は、まず、パターンマッチング手法等によって左
目用実画像Ｄ７２Ｌに含まれるマーカを認識する。そして、情報処理部Ｄ３１は、左目用
実画像Ｄ７２Ｌに含まれるマーカの当該左目用実画像Ｄ７２Ｌにおける位置や大きさ、形
状、および、マーカの矢印の方向等に基づいて、外側撮像部（左）Ｄ２３ａと実空間に存
在するマーカＤ６１との位置関係を算出する。ここで、外側撮像部（左）Ｄ２３ａとマー
カＤ６１との位置関係とは、マーカＤ６１および外側撮像部（左）Ｄ２３ａの何れか一方
を基準とした場合の他方の３次元の位置および姿勢である。
【０５５２】
図９０は、マーカＤ６１と外側撮像部（左）Ｄ２３ａとの位置関係を示す図である。図
９０に示すように、上記位置関係は、マーカＤ６１に対する外側撮像部（左）Ｄ２３ａの
相対的な位置および姿勢である。同様に、情報処理部Ｄ３１は、右目用実画像Ｄ７２Ｒを
用いて、外側撮像部（右）Ｄ２３ｂと実空間に存在するマーカＤ６１との位置関係を算出
する。ここでは、マーカＤ６１を基準とした外側撮像部（左）Ｄ２３ａおよび外側撮像部
（右）Ｄ２３ｂの相対的な位置および姿勢が行列としてそれぞれ算出される。
【０５５３】
より具体的には、ステップＳＤ２１においては、マーカの認識結果に基づいて、マーカ
座標系が設定されるとともに、マーカＤ６１と外側撮像部（左）Ｄ２３ａとの位置関係が
算出される（図９０参照）。図９０に示すように、マーカ座標系の原点は、マーカＤ６１
の中心に設定される。また、マーカ座標系のＺ軸は、マーカＤ６１の矢印の方向と平行に
設定され（マーカＤ６１の長辺と平行に設定され）、マーカ座標系のＸ軸は、当該矢印の
方向と垂直であって、当該矢印の方向を基準として右向きに設定される（マーカＤ６１の
短辺と平行に設定される）。また、Ｙ軸は、マーカＤ６１に対して垂直上向きに設定され
る（長方形のマーカＤ６１の上向きの法線方向に設定される）。マーカ座標系は、仮想空
間を定義する座標系であり、実空間と仮想空間とを対応付ける。すなわち、マーカ座標系
における原点は、仮想空間の原点であって、実空間におけるマーカＤ６１の中心でもある
。
【０５５４】
そして、マーカＤ６１に対する外側撮像部（左）Ｄ２３ａの相対的な位置および姿勢を
表す行列が算出される。図９０に示すように、外側撮像部（左）Ｄ２３ａの位置および姿
勢を表す行列は、仮想空間におけるマーカ座標系で表された座標を、外側撮像部（左）Ｄ
２３ａの位置および姿勢を基準とした外側撮像部（左）座標系で表される座標へと変換す
るための座標変換行列である。ステップＳＤ２１においては、左目用実画像Ｄ７２Ｌに含
まれるマーカに基づいて外側撮像部（左）Ｄ２３ａの位置および姿勢を表す行列が算出さ
れ、右目用実画像Ｄ７２Ｒに含まれるマーカに基づいて外側撮像部（右）Ｄ２３ｂの位置
および姿勢を表す行列が算出される。
【０５５５】
なお、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂは、これらの撮像方
向が平行で、かつ、撮像方向に対して回転しないようにして配設されている。すなわち、
外側撮像部（左）Ｄ２３ａの姿勢と外側撮像部（右）Ｄ２３ｂの姿勢とは常に一致する。
また、外側撮像部（左）Ｄ２３ａと外側撮像部（右）Ｄ２３ｂとは、所定の間隔で配置さ
れている。このため、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの取り
つけ誤差が全くないと仮定すると、例えば、左目用実画像Ｄ７２Ｌに基づいて外側撮像部
（左）Ｄ２３ａの位置および姿勢が算出されると、右目用実画像Ｄ７２Ｒを用いなくても
、外側撮像部（右）Ｄ２３ｂの位置および姿勢は算出可能である。また、外側撮像部（左
）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの取りつけ誤差を考慮して、当該誤差を求め
るために、左目用実画像Ｄ７２Ｌに基づいて外側撮像部（左）Ｄ２３ａの位置および姿勢
を算出し、右目用実画像Ｄ７２Ｒに基づいて外側撮像部（右）Ｄ２３ｂの位置および姿勢
を算出してもよい。例えば、一定期間、左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２
Ｒに基づいて、外側撮像部（左）Ｄ２３ａおよび外側撮像部（右）Ｄ２３ｂの位置等をそ
れぞれ算出して上記誤差を算出してもよい。そして、左目用実画像Ｄ７２Ｌ（又は右目用
実画像Ｄ７２Ｒ）を用いて外側撮像部（左）Ｄ２３ａの位置および姿勢を算出するととも
に、当該算出した外側撮像部（左）Ｄ２３ａの位置および姿勢と上記誤差とに基づいて、
外側撮像部（右）Ｄ２３ｂの位置および姿勢を算出してもよい。ステップＳＤ２１の後、
情報処理部Ｄ３１は、次にステップＳＤ２２の処理を実行する。
【０５５６】
ステップＳＤ２２において、情報処理部Ｄ３１は、左右の仮想カメラの位置および姿勢
を決定する。ここでは、左右の仮想カメラの位置および姿勢は、外側撮像部Ｄ２３の位置
および姿勢と一致する。すなわち、左仮想カメラＤ５３ａの仮想空間における位置および
姿勢は、外側撮像部（左）Ｄ２３ａの位置および姿勢と一致するように設定される（図９
０参照）。また、右仮想カメラＤ５３ｂの仮想空間における位置および姿勢は、外側撮像
部（右）Ｄ２３ｂの位置および姿勢と一致するように設定される。具体的には、左仮想カ
メラＤ５３ａの位置および姿勢は、行列（左ビュー行列）として表され、ステップＳＤ２
１で算出された外側撮像部（左）Ｄ２３ａの位置および姿勢を表す行列が、左仮想カメラ
情報Ｄ７５ＬとしてＲＡＭに保存される。同様に、右仮想カメラＤ５３ｂの位置および姿
勢は、行列（右ビュー行列）として表され、ステップＳＤ２１で算出された外側撮像部（
右）Ｄ２３ｂの位置および姿勢を表す行列が、右仮想カメラ情報Ｄ７５ＲとしてＲＡＭに
保存される。なお、上述のように外側撮像部（左）Ｄ２３ａの姿勢と外側撮像部（右）Ｄ
２３ｂの姿勢とは常に一致するため、左仮想カメラＤ５３ａの姿勢と右仮想カメラＤ５３
ｂの姿勢とも一致する。ステップＳＤ２２の処理の後、情報処理部Ｄ３１は、マーカ認識
処理を終了する。
【０５５７】
図８７に戻り、情報処理部Ｄ３１は、ステップＳＤ３の処理の後、ステップＳＤ４の処
理を実行する。
【０５５８】
ステップＳＤ４において、情報処理部Ｄ３１は、魚オブジェクトＤ５２を仮想空間に設
定する。具体的には、情報処理部Ｄ３１は、仮想モデルＤ５５よりもＹ軸負方向の位置に
魚オブジェクトＤ５２を配置する。なお、魚オブジェクトＤ５２は、所定の規則に従って
、仮想空間内を移動する。次に、情報処理部Ｄ３１は、ステップＳＤ５の処理を実行する
。
【０５５９】
ステップＳＤ５において、情報処理部Ｄ３１は、変形オブジェクトを変形させる。図９
２は、変形オブジェクトＤ５６を示す図である。変形オブジェクトＤ５６は、上記仮想モ
デルＤ５５を変形させたオブジェクトである。図９２に示すように、変形オブジェクトＤ
５６は、上記仮想モデルＤ５５の各点Ｐをマーカ座標系の上下方向（Ｙ軸正方向または負
方向）に移動させた場合に生成されるオブジェクトである。具体的には、情報処理部Ｄ３
１は、変形オブジェクトＤ５６の頂点Ｑ（ｉ）（ｉ＝１〜ｎ）について、所定のパターン
で上下方向に移動させる。例えば、情報処理部Ｄ３１は、マーカ座標系の所定点から各頂
点Ｑまでの距離に応じて、移動方向（Ｙ軸正方向または負方向）および移動距離を示す移
動ベクトルを頂点Ｑ毎に決定する。そして、情報処理部Ｄ３１は、現在の各頂点Ｑの座標
に決定した各移動ベクトルを加えることにより、各頂点Ｑを移動させる（各頂点Ｑの座標
値を更新して、ＲＡＭに記憶する）。
【０５６０】
なお、ステップＳＤ５において、情報処理部Ｄ３１は、変形オブジェクトＤ５６の端部
を除く点のみを移動させる。すなわち、図９２に示す変形オブジェクトＤ５６の境界（変
形オブジェクトＤ５６の外縁）の各頂点の座標は、変化しない。逆に、変形オブジェクト
Ｄ５６の境界を変形させた場合において、後述するステップＳＤ７やＳＤ８において変形
オブジェクトＤ５６を仮想カメラで撮像すると、当該仮想カメラで撮像した画像と実画像
と重ね合わせた場合に、境界部分の整合性が保たれないため、不自然な画像となることが
ある。具体的には、境界部分が大きく変形すると、変形オブジェクトＤ５６の外側の境界
部分近傍では変形せず、変形オブジェクトＤ５６の境界部分が変形するため、当該境界部
分において不連続となり、違和感のある画像となる。しかしながら、本実施形態では、変
形オブジェクトＤ５６の境界を変形させないため、境界部分においても自然な画像となる
。
【０５６１】
情報処理部Ｄ３１は、次にステップＳＤ６の処理を実行する。
【０５６２】
ステップＳＤ６において、情報処理部Ｄ３１は、各頂点Ｑの法線を算出する。ここでは
、情報処理部Ｄ３１は、ステップＳＤ５で更新した頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）
を算出し、ＲＡＭに記憶する。情報処理部Ｄ３１は、次にステップＳＤ７の処理を実行す
る。
【０５６３】
ステップＳＤ７において、情報処理部Ｄ３１は、左仮想カメラ画像生成処理を実行する
。ステップＳＤ７における左仮想カメラ画像生成処理の詳細を、図８９を参照して説明す
る。
【０５６４】
図８９は、左仮想カメラ画像生成処理（ステップＳＤ７）の詳細を示すフローチャート
である。
【０５６５】
まず、ステップＳＤ３１において、情報処理部Ｄ３１は、変数ｉを０にセットしてＲＡ
Ｍに記憶する。次に、情報処理部Ｄ３１は、ステップＳＤ３２の処理を実行する。
【０５６６】
ステップＳＤ３２において、情報処理部Ｄ３１は、仮想モデルＤ５５の頂点Ｐ（ｉ）の
テクスチャ座標Ｔ（ｉ）を算出する。ここでは、仮想空間に配置された仮想モデルＤ５５
の頂点Ｐ（ｉ）（マーカ座標系）の左目用実画像Ｄ７２Ｌにおける位置（Ｔ（ｉ））が算
出される。
【０５６７】
図９３は、頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を示す図である。図９３に示すよう
に、テクスチャ座標Ｔ（ｉ）は、左目用実画像Ｄ７２Ｌ上の位置を示す座標である。具体
的には、情報処理部Ｄ３１は、マーカ座標系で表された仮想モデルＤ５５の頂点Ｐ（ｉ）
に、左仮想カメラＤ５３ａの左ビュー行列（ステップＳＤ３で算出された行列；左仮想カ
メラ情報Ｄ７５Ｌ）、および、射影行列をかけることによって上側ＬＣＤＤ２２の表示上
の座標（上側ＬＣＤＤ２２の画面の左下を原点とする座標）を求める。そして、情報処理
部Ｄ３１は、求められた表示上の座標に所定の変換を行うことにより、左目用実画像Ｄ７
２Ｌ上の座標Ｔ（ｉ）（左目用実画像Ｄ７２Ｌの左下を原点とした位置）を算出する。図
９３に示すように、左目用実画像Ｄ７２Ｌは、上側ＬＣＤＤ２２の画面サイズよりも大き
く設定されているため、表示上の座標を左目用実画像Ｄ７２Ｌ上（ＴｘＴｙ座標系）の座
標に変換することにより、テクスチャ座標Ｔが求められる。次に、情報処理部Ｄ３１は、
ステップＳＤ３３の処理を実行する。
【０５６８】
ステップＳＤ３３において、情報処理部Ｄ３１は、変数ｉをインクリメントし、次に、
ステップＳＤ３４の処理を実行する。
【０５６９】
ステップＳＤ３４において、情報処理部Ｄ３１は、ｉがｎと等しいか否かを判定し、判
定結果が肯定の場合は、次にステップＳＤ３５の処理を実行する。判定結果が否定の場合
は、情報処理部Ｄ３１は、ステップＳＤ３２の処理を再び実行する。ステップＳＤ３２〜
ＳＤ３４の処理が繰り返し実行されることによって、仮想モデルＤ５５の全ての頂点Ｐに
ついてテクスチャ座標Ｔが求められる。
【０５７０】
ステップＳＤ３５において、情報処理部Ｄ３１は、変形オブジェクトＤ５６に左目用実
画像Ｄ７２Ｌの各テクスチャ座標に対応する領域の画像をテクスチャとして適用して、左
仮想カメラで撮像する。具体的には、情報処理部Ｄ３１は、変形オブジェクトＤ５６の頂
点Ｑ（ｉ）にテクスチャ座標Ｔ（ｉ）を設定してテクスチャマッピングを行い、左仮想カ
メラＤ５３ａで撮像する。そして、情報処理部Ｄ３１は、撮像した画像を左仮想カメラ画
像Ｄ７６ＬとしてＲＡＭに記憶する。ここでの処理は、ステップＳＤ３２〜ＳＤ３４の処
理で算出したテクスチャ座標Ｔに応じた左テクスチャ領域に含まれる画像を、左目用実画
像Ｄ７２Ｌから切り取って変形オブジェクトＤ５６に貼り付けることに対応する。以下、
ステップＳＤ３５における処理の概要を図９４および図９５を用いて説明する。
【０５７１】
図９４は、ステップＳＤ３５における処理を概念的に表す図であり、左目用実画像Ｄ７
２Ｌから左テクスチャ領域の画像を切り取る様子を示す図である。図９４に示すように、
テクスチャ座標Ｔ（ｉ）に対応する左テクスチャ領域の画像ａｉ（テクスチャ座標Ｔ（ｉ
）を含む平行四辺形の画像）が、左目用実画像Ｄ７２Ｌから切り取られる（コピーされる
）。次に、切り取られた各画像が変形オブジェクトＤ５６に貼り付けられる。
【０５７２】
図９５は、ステップＳＤ３５における処理を概念的に表す図であり、図９４に示す切り
取られた左テクスチャ領域の画像ａｉを変形オブジェクトＤ５６に張り付ける様子を示す
図である。図９５に示すように、切り取られた左テクスチャ領域の画像ａｉが変形オブジ
ェクトＤ５６にテクスチャとして適用されて左仮想カメラＤ５３ａで撮像されると、当該
画像ａｉは、変形する（画像ａｉ’）。このようにして、切り取られた各左テクスチャ領
域の画像が変形オブジェクトＤ５６に張り付けられる。
【０５７３】
ステップＳＤ３５で生成される左仮想カメラ画像Ｄ７６Ｌは、左目用実画像Ｄ７２Ｌに
おける仮想モデルＤ５５に対応する領域（左目用実画像Ｄ７２Ｌのうち、仮想モデルＤ５
５を左仮想カメラＤ５３ａで撮像した場合のレンダリング画像上の当該仮想モデルＤ５５
の位置および輪郭に対応する領域）が変形した画像である。上述のように仮想モデルＤ５
５は、マーカ座標系のＸＺ平面上に配置される（マーカＤ６１が載置された実空間の平面
（テーブル）上に配置される）。このため、左仮想カメラ画像Ｄ７６Ｌは、ＸＺ平面（実
空間の平面）が変形したような画像となる。
【０５７４】
なお、ステップＳＤ３５においては、変形オブジェクトＤ５６の形状に応じて、影が付
される。上述のようにステップＳＤ６において変形オブジェクトＤ５６の各頂点Ｑの法線
ベクトルが算出されているため、仮想光源で変形オブジェクトＤ５６を照らしたときに生
成される影を計算することができる。また、ステップＳＤ３５においては、魚オブジェク
トＤ５２も左仮想カメラＤ５３ａで撮像されるため、上記左仮想カメラ画像Ｄ７６Ｌには
、魚オブジェクトＤ５２の画像も含まれる。
【０５７５】
以上のようにして、左仮想カメラ画像Ｄ７６Ｌを生成した後、情報処理部Ｄ３１は、左
仮想カメラ画像生成処理を終了する。
【０５７６】
図８７に戻り、情報処理部Ｄ３１は、次にステップＳＤ８の処理を実行する。ステップ
ＳＤ８において、情報処理部Ｄ３１は、右仮想カメラ画像生成処理を実行する。右仮想カ
メラ画像生成処理は、ステップＳＤ７と同様の処理であるが、ステップＳＤ８では、右目
用実画像Ｄ７２Ｒから切り取られたテクスチャ領域の画像が変形オブジェクトＤ５６にテ
クスチャとして適用されて、右仮想カメラＤ５３ｂで撮像される。
【０５７７】
ステップＳＤ８では、まず、情報処理部Ｄ３１は、右目用実画像Ｄ７２Ｒにおけるテク
スチャ座標Ｔを算出する。より具体的には、マーカ座標系で表された仮想モデルＤ５５の
各頂点Ｐに、右仮想カメラＤ５３ｂの右ビュー行列（ステップＳＤ３で算出された行列；
右仮想カメラ情報Ｄ７５Ｒ）、および、射影行列をかけて上側ＬＣＤＤ２２の表示上の座
標を求め、右目用実画像Ｄ７２Ｒ上のテクスチャ座標を求める。そして、情報処理部Ｄ３
１は、変形オブジェクトＤ５６の各頂点にテクスチャ座標を設定してテクスチャマッピン
グを行い、右仮想カメラＤ５３ｂで撮像する（右目用実画像Ｄ７２Ｒから各右テクスチャ
領域の画像を切り取って、変形オブジェクトＤ５６に貼り付ける）。このようにして、情
報処理部Ｄ３１は、右仮想カメラ画像Ｄ７６Ｒを生成し、ＲＡＭに記憶する。なお、ステ
ップＳＤ３５と同様に、魚オブジェクトＤ５２も右仮想カメラＤ５３ｂで撮像されるため
、上記右仮想カメラ画像Ｄ７６Ｒには、魚オブジェクトＤ５２の画像も含まれる。
【０５７８】
図９６は、右目用実画像Ｄ７２Ｒから右テクスチャ領域の画像を切り取る様子を示す図
である。右目用実画像Ｄ７２Ｒと左目用実画像Ｄ７２Ｌとは視差があるため、右目用実画
像Ｄ７２Ｒは左目用実画像Ｄ７２Ｌとは異なる画像である。図９４および図９６に示すよ
うに、仮想モデルの頂点Ｐ（ｉ）の右目用実画像Ｄ７２Ｒ上の位置Ｔ（ｉ）は、左目用実
画像Ｄ７２Ｌ上の位置Ｔ（ｉ）とは異なる。従って、右目用実画像Ｄ７２Ｒから切り取ら
れる右テクスチャ領域の画像ｂｉは、左目用実画像Ｄ７２Ｌから切り取られる左テクスチ
ャ領域の画像ａｉとは異なる形状となる。例えば、右テクスチャ領域の画像ｂｉは、左テ
クスチャ領域の画像ａｉよりも歪んだ形状となる（図９４に示す画像ａｉと図９６に示す
画像ｂｉとを比較すると、画像ａｉの方が、画像ｂｉよりも正方形に近い形状となってい
る）。そして、右目用実画像Ｄ７２Ｒから切り取られた各右テクスチャ領域の画像が、変
形オブジェクトＤ５６にテクスチャとして適用されて右仮想カメラＤ５３ｂで撮像される
ため、上記左テクスチャ領域の画像と同様に、各右テクスチャ領域の画像は変形する。図
９７は、図９６に示す切り取られた右テクスチャ領域の画像ｂｉを変形オブジェクトＤ５
６に張り付ける様子を示す図である。図９７に示すように、切り取られた右テクスチャ領
域の画像ｂｉが変形オブジェクトＤ５６にテクスチャとして適用されて右仮想カメラＤ５
３ｂで撮像されると、当該画像ｂｉは、変形する（画像ｂｉ’）。このようにして、右目
用実画像Ｄ７２Ｒから切り取られた各右テクスチャ領域の画像が変形オブジェクトＤ５６
に張り付けられる。
【０５７９】
ステップＳＤ８で生成される右仮想カメラ画像Ｄ７６Ｒは、ステップＳＤ７で生成され
た左仮想カメラ画像Ｄ７６Ｌと同様、ＸＺ平面（実空間の平面）が変形したような画像で
ある。右仮想カメラ画像Ｄ７６Ｒは、左仮想カメラ画像Ｄ７６Ｌとは異なる画像であり、
これらの画像には視差がある。
【０５８０】
ステップＳＤ８の後、情報処理部Ｄ３１は、次にステップＳＤ９の処理を実行する。
【０５８１】
ステップＳＤ９において、情報処理部Ｄ３１は、実画像と仮想カメラ画像とを重ね合わ
せて、重畳画像を生成する。具体的には、情報処理部Ｄ３１は、ステップＳＤ２で取得し
た左目用実画像Ｄ７２Ｌと、ステップＳＤ７で生成した左仮想カメラ画像Ｄ７６Ｌとを重
ね合わせた左目用重畳画像を生成する。また、情報処理部Ｄ３１は、ステップＳＤ２で取
得した右目用実画像Ｄ７２Ｒと、ステップＳＤ８で生成した右仮想カメラ画像Ｄ７６Ｒと
を重ね合わせた右目用重畳画像を生成する。次に、情報処理部Ｄ３１は、ステップＳＤ１
０の処理を実行する。
【０５８２】
ステップＳＤ１０において、情報処理部Ｄ３１は、出力処理を実行する。出力処理が実
行されることによって、上側ＬＣＤＤ２２に立体視可能な画像が表示される。具体的には
、情報処理部Ｄ３１は、ステップＳＤ９で生成した２つの重畳画像を上側ＬＣＤＤ２２に
出力する。上側ＬＣＤＤ２２に表示された左目用重畳画像は視差バリアを介してユーザの
左目で視認され、右目用重畳画像は視差バリアを介してユーザの右目で視認される。これ
により、ユーザは立体感のある画像を視認することができる。ステップＳＤ１０の後、情
報処理部Ｄ３１は、ステップＳＤ２の処理を再び実行する。
【０５８３】
なお、上記ステップＳＤ７およびＳＤ８においては、仮想カメラの位置や姿勢に応じて
、魚オブジェクトＤ５２はマスクオブジェクトＤ５７によってマスクされて撮像されない
場合がある。図９８は、マスクオブジェクトＤ５７によって魚オブジェクトＤ５２がマス
クされる場合を示す図であり、仮想空間をマーカ座標系のＸ軸に平行な方向から見た場合
において、魚オブジェクトＤ５２と仮想カメラの位置関係を示す図である。マスクオブジ
ェクトＤ５７は、仮想モデルＤ５５（変形オブジェクトＤ５６）の端部に設定される面状
の仮想的なオブジェクトであり、魚オブジェクトＤ５２を非表示にする、上側ＬＣＤＤ２
２には表示されないオブジェクトである。図９８に示すように、仮想カメラＰｃ（左仮想
カメラ又は右仮想カメラ）の位置から魚オブジェクトＤ５２を見た場合、魚オブジェクト
Ｄ５２は、マスクされず上側ＬＣＤＤ２２に表示される。しかしながら、仮想カメラＰｃ
’の位置から魚オブジェクトＤ５２を見た場合、魚オブジェクトＤ５２は、マスクオブジ
ェクトＤ５７によってマスクされて、上側ＬＣＤＤ２２には表示されない。マスクオブジ
ェクトＤ５７が変形オブジェクトＤ５６の端部に配置されない場合、仮想カメラＰｃ’の
位置から魚オブジェクトＤ５２を見ると、変形オブジェクトＤ５６によって実空間の平面
が変形しない領域（すなわち、波が発生しない領域）の奥方向に魚オブジェクトＤ５２が
見え、違和感のある画像になることがある。また、現実世界においては、水面を見る角度
が小さいと（水面を垂直ではなく、水平に近い方向から見ると）、光の反射によって水中
の魚を見ることができない。このため、仮想モデルＤ５５（変形オブジェクトＤ５６）の
端部にマスクオブジェクトＤ５７を配置して、仮想カメラＰｃ’からは魚オブジェクトＤ
５２が見えないようにする。すなわち、仮想カメラと魚オブジェクトＤ５２との間に変形
オブジェクトＤ５６が存在しない場合（仮想カメラと魚オブジェクトＤ５２とを結ぶ直線
上に変形オブジェクトＤ５６が存在しない場合）、当該魚オブジェクトＤ５２を非表示に
する。
【０５８４】
以上のように、本実施形態では、マーカＤ６１上にマーカ座標系が設定される。当該マ
ーカ座標系のＸＺ平面（マーカＤ６１が載置された平面）に平板状の仮想モデルＤ５５が
配置され、左目用実画像Ｄ７２Ｌにおける当該仮想モデルＤ５５に対応する領域が左テク
スチャ領域として設定される（左テクスチャ領域の画像として切り出される）。そして、
仮想モデルＤ５５を変形した変形オブジェクトＤ５６に、左テクスチャ領域の画像がテク
スチャとして適用されて、左仮想カメラで撮像されることにより、左仮想カメラ画像が生
成される。また、右目用実画像Ｄ７２Ｒにおける仮想モデルＤ５５に対応する領域が右テ
クスチャ領域として設定される（右テクスチャ領域の画像として切り出される）。そして
、仮想モデルＤ５５を変形した変形オブジェクトＤ５６に、右テクスチャ領域の画像がテ
クスチャとして適用されて、右仮想カメラで撮像されることにより、右仮想カメラ画像が
生成される。これにより、実空間上の平面が変形したような画像を生成することができ、
上記のようにあたかもマーカＤ６１が配置された実空間の平面が波打つような様子を表示
することができる。
【０５８５】
また、本実施形態では、実空間に配置されたマーカＤ６１上にマーカ座標系が設定され
、仮想カメラが実カメラの位置および姿勢に対応して設定される。これにより、仮想空間
に存在するオブジェクトがあたかも実空間に存在するような感覚（拡張現実感）を与える
ことができる。
【０５８６】
また、本実施形態では、左目用実画像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒからそれぞ
れテクスチャ領域が設定されて（それぞれテクスチャ画像が切り出されて）、左仮想カメ
ラ画像および右仮想カメラ画像が生成される。このため、何れか一方の実画像からそれぞ
れ左仮想カメラ画像および右仮想カメラ画像を生成する場合よりも、解像度の高い画像と
なる。すなわち、例えば、左目用実画像Ｄ７２Ｌから左テクスチャ領域の画像が切り出さ
れて、当該左テクスチャ領域の画像を用いて右仮想カメラ画像を生成すると、左目用実画
像Ｄ７２Ｌおよび右目用実画像Ｄ７２Ｒは視差があるため、左テクスチャ領域の画像を大
きく変形させる必要があり、より多くの画素情報が失われる。
【０５８７】
図９９は、左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情
報が失われることを説明するための図である。図９９に示すように、左テクスチャ領域の
画像を変形して左仮想カメラ画像を生成する場合、当該左テクスチャ領域の画像を変形す
る度合いは比較的小さい。また、同様に、右テクスチャ領域の画像を変形して右仮想カメ
ラ画像を生成する場合、当該左テクスチャ領域の画像を変形する度合いは比較的小さい。
しかしながら、左テクスチャ領域の画像を変形して右仮想カメラ画像を生成する場合、当
該左テクスチャ領域の画像を大きく変形させる必要がある。画像を伸縮させて変形させる
と、当該画像の解像度は低くなる。しかしながら、本実施形態では、左目用実画像Ｄ７２
Ｌおよび右目用実画像Ｄ７２Ｒからそれぞれテクスチャ画像を切り取るため、このような
解像度の低下を防止することができる。
【０５８８】
また、本実施形態では、変形オブジェクトＤ５６の端部（境界）が変形しないため、実
画像と仮想カメラ画像とが重ね合わされた場合に境界において違和感のない画像にするこ
とができる。すなわち、変形オブジェクトＤ５６の境界が変形すると、当該境界において
不連続な画像となることがあるため、実画像と仮想カメラで撮像した画像とを重ね合わせ
た場合に違和感のある画像になる。また、例えば、変形しない仮想モデルＤ５５に実画像
のテクスチャを適用した仮想モデル画像と実画像とを重ね合わせると、重ね合わされた領
域は一致する。このため、実画像の一部領域（仮想モデルに対応する領域）が、仮想モデ
ル画像によって完全に遮られるため、重ね合わされた画像には違和感がない。しかしなが
ら、仮想モデルＤ５５を変形させた変形オブジェクトＤ５６が、その境界も含めて変形し
、当該変形オブジェクトＤ５６を撮像した変形オブジェクト画像を実画像に重ね合わせる
と、変形オブジェクト画像によって遮られない実画像の領域が発生する。このため、実画
像と変形オブジェクト画像とを重ね合わせた画像には、同じ領域が二重に存在する場合が
あり、不自然な画像となる（例えば、変形オブジェクトが仮想モデルよりも小さく変形し
た場合）。しかしながら、本実施形態では、変形オブジェクトＤ５６の境界部分は変形し
ないため、このような変形オブジェクトによって遮られない領域は発生しないため、同じ
領域が二重に表示されることなく、自然な画像となる。
【０５８９】
また、左仮想カメラで変形オブジェクトを撮像するときは左目用実画像をテクスチャと
して適用し、右仮想カメラで変形オブジェクトを撮像するときは右目用実画像をテクスチ
ャとして適用することにより、境界における連続性をより保つことができる。すなわち、
例えば、左目用実画像から切り取られたテクスチャを変形オブジェクトに適用して右仮想
カメラで撮像した右仮想カメラ画像を、右目用実画像に重畳した場合、右目用実画像の背
景部分と、変形オブジェクトに対応する部分とがずれることがある（例えば、一方の実カ
メラからしか見えない領域が存在する場合など）。このため、一方の実画像から両方のテ
クスチャを生成すると、境界における連続性を保つことができない。しかしながら、本実
施形態では、両方の実画像からそれぞれテクスチャを生成するため、境界における連続性
を保つことができる。
【０５９０】
（変形例）
なお、本実施形態では、マーカＤ６１が載置された平面に平板状の仮想モデルを配置し
て、当該平面が波打つような表示を行った。他の実施形態では、仮想モデルは平面状では
なく、曲面状であってもよい（立体物でもよい）。例えば、実空間に存在する立体物（コ
ップや人の顔でもよい）について、当該立体物に沿うように仮想モデルを配置し、仮想モ
デルを変形させることによって、当該実空間上の立体物が変形する様子が表示されてもよ
い。例えば、赤外線等で深度（カメラの奥方向の距離）を測定可能なカメラを用いて、実
空間に存在する立体物の形状を認識し、認識した形状の仮想モデルを仮想空間に設定する
ことにより、立体物を変形させてもよい。あるいは、外側撮像部Ｄ２３によって撮像され
る２つの画像の視差に基づいて、カメラの奥方向の距離を算出してもよい。また、上記方
法を用いて、実空間の壁が変形する様子を表示したり、カーテンが揺れる様子を表示した
りしてもよい。
【０５９１】
また、他の実施形態では、上述した方法を用いて、実空間の平面や曲面等（テーブルや
人の顔等）ではなく、実空間の一部の空間が変形する様子が表示されてもよい。
【０５９２】
また、本実施形態では、釣りゲームを例にして実空間の平面を水面のように変形させた
が、上述した処理はどのようなゲームにも適用可能である。
【０５９３】
また、本実施形態では、仮想モデルを変形した変形オブジェクトに左右の実画像から切
り出したテクスチャ領域の画像（テクスチャ画像）を張り付けた。他の実施形態では、仮
想モデルは変形しなくてもよい。すなわち、他の実施形態では、左目用実画像から取得し
た左テクスチャ画像を仮想モデルにテクスチャとして適用して左仮想カメラで撮像し、右
目用実画像から取得した右テクスチャ画像を仮想モデルにテクスチャとして適用して右仮
想カメラで撮像してもよい。このようにして、左右の実画像からテクスチャ画像をそれぞ
れ切り出すことにより、実カメラで撮像した画像を仮想モデルのテクスチャとして利用し
て、仮想モデルの立体視画像を生成することができる。仮想モデルとして表示することで
、仮想カメラによる撮影方向を変更したり、ライティングの色や方向を変更したりと言っ
た処理が可能となる。この場合において、本実施形態では左右の実画像からテクスチャ画
像をそれぞれ切り出してテクスチャとして適用する。このため、どちらか一方の画像から
テクスチャ画像を切り出し、当該切り出したテクスチャ画像をテクスチャとして適用して
左右の仮想カメラでそれぞれ撮像する場合に生じる解像度の低下を防止することができる
。
【０５９４】
また、本実施形態では、マーカＤ６１を外側撮像部Ｄ２３で撮像することによって、外
側撮像部Ｄ２３とマーカＤ６１との位置関係（相対的な位置および姿勢）を算出した。そ
して、算出した位置関係に基づいて、仮想空間（マーカ座標系）を設定した。他の実施形
態では、マーカＤ６１に限らず、他の物体を撮像画像から認識して、上記位置関係が算出
されてもよい。例えば、実空間に存在する所定の物体（例えば、実空間に存在する椅子や
テーブル等でもよい）をパターンマッチング等の画像認識により検出し、上記位置関係が
算出されて、仮想空間が定義されてもよい。すなわち、他の実施形態では、実空間に存在
する特定対象物（上記マーカや所定の物体）を撮像画像から認識して、当該特定対象物と
外側撮像部Ｄ２３との位置関係が算出されてもよい。また、特定対象物は、実カメラによ
って撮像された画像に基づいて認識されず、他の認識手段（例えば、超音波センサ等でも
よい）によって認識されて、当該特定対象物と外側撮像部Ｄ２３との位置関係が算出され
てもよい。
【０５９５】
また、他の実施形態では、ＧＰＳや加速度センサ、角速度センサ、地磁気センサ等によ
って、実カメラの位置および姿勢が検出されてもよい。そして、検出された位置および姿
勢に基づいて、仮想空間内の仮想カメラの位置および姿勢が設定され、実カメラで撮像し
た画像と仮想カメラで仮想空間を撮像した画像とを重畳してもよい。例えば、実空間に対
応した仮想空間の所定の位置に仮想オブジェクトが配置され、当該仮想空間の所定の位置
に対応する実空間の位置を所定の方向から実カメラで撮影してもよい。この場合、ＧＰＳ
や姿勢検出手段（加速度センサや角速度センサ、地磁気センサ等）によって実カメラの位
置および姿勢を検出することができ、当該実カメラの位置および姿勢に一致するように仮
想空間に仮想カメラを設定することができる。
【０５９６】
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわ
ち、本実施形態では、外側撮像部Ｄ２３によって撮像された画像と、仮想カメラ（左右の
仮想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳
画像が上側ＬＣＤＤ２２に表示された。他の実施形態では、光学シースルー方式により拡
張現実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラ
を備えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に
相当するディスプレイ部を通して実空間を視認できるようになっている。このディプレイ
部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されてい
る。さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画
像を表示させることができるようになっている。
【０５９７】
また、他の実施形態では、上述した撮影処理の方法は、ゲーム装置に限らず任意の電子
機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）や高
機能携帯電話、カメラ（装置としてのカメラ）等に適用されてもよい。
【０５９８】
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いら
れた。他の実施形態では、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）など
の眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。
【０５９９】
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が
各処理を分担して処理することにより、上述した表示処理方法を実現する表示処理システ
ムとして構築されてもよい。例えば、外側撮像部Ｄ２３が情報処理装置と分離された構成
であって、外側撮像部Ｄ２３が情報処理装置に無線等で接続されてもよい。また、情報処
理装置と表示装置が分離された構成で、互いに接続されてもよい。また、外側撮像部Ｄ２
３の位置および姿勢が情報処理装置と分離した検出手段によって検出され、当該検出結果
が情報処理装置に送信されてもよい。
【０６００】
また、上記実施形態においては、ゲーム装置Ｄ１０の情報処理部Ｄ３１が所定のプログ
ラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施
形態においては、上記処理の一部又は全部は、ゲーム装置Ｄ１０が備える専用回路によっ
て行われてもよい。
【０６０１】
また、上記ゲームプログラム（情報処理プログラム）は、上記メモリに限らず、光ディ
スクや磁気ディスク等、コンピュータ読み取り可能な記憶媒体に記憶されてゲーム装置Ｄ
１０に提供されてもよい。また、例えば、ネットワーク上のサーバのＲＡＭに上記プログ
ラムが記憶され、ゲーム装置Ｄ１０が当該ネットワークに接続されて、当該プログラムが
ゲーム装置Ｄ１０に提供されてもよい。
【０６０２】
（ゲーム装置の構成）
以下、本発明のさらに他の一実施形態に係るゲーム装置について説明する。図１００〜
図１０１は、ゲーム装置Ｅ１の外観を示す図である。ゲーム装置Ｅ１は携帯型のゲーム装
置であり、図１００〜図１０１に示すように折り畳み可能に構成されている。ゲーム装置
Ｅ１は、カメラによって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像
のデータを保存したりすることが可能である。また、ゲーム装置Ｅ１は、交換可能なメモ
リカード内に記憶されたゲームプログラム、または、サーバーや他のゲーム装置から受信
したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画
像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりする
ことができる。
【０６０３】
図１００（ａ）は開状態におけるゲーム装置Ｅ１の左側面図であり、図１００（ｂ）は
開状態におけるゲーム装置Ｅ１の正面図であり、図１００（ｃ）は開状態におけるゲーム
装置Ｅ１の右側面図であり、図１００（ｄ）は開状態におけるゲーム装置Ｅ１の背面図で
あり、図１００（ｅ）は開状態におけるゲーム装置Ｅ１の上面図であり、図１００（ｆ）
は開状態におけるゲーム装置Ｅ１の底面図である。図１０１（ａ）は閉状態におけるゲー
ム装置Ｅ１の左側面図であり、図１０１（ｂ）は閉状態におけるゲーム装置Ｅ１の正面図
であり、図１０１（ｃ）は閉状態におけるゲーム装置Ｅ１の右側面図であり、図１０１（
ｄ）は閉状態におけるゲーム装置Ｅ１の背面図であり、図１０１（ｅ）は閉状態における
ゲーム装置Ｅ１の上面図であり、図１０１（ｆ）は閉状態におけるゲーム装置Ｅ１の底面
図である。
【０６０４】
図１００〜図１０１に示されるように、ゲーム装置Ｅ１は、下側ハウジングＥ２および
上側ハウジングＥ５を有する。下側ハウジングＥ２と上側ハウジングＥ５とは、開閉可能
（折り畳み可能）に接続されている。本実施形態では、下側ハウジングＥ２および上側ハ
ウジングＥ５はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続
されている。
【０６０５】
具体的には、図１００〜図１０１に示されるように、上側ハウジングＥ５は、略矩形形
状の第１部分Ｅ６（破線で囲まれる部分）と、当該第１部分Ｅ６の底面の中央部から当該
底面に対して垂直方向に突起する第１連結部Ｅ７とを有する。第１部分Ｅ６は上側ハウジ
ングＥ５のうちの第１連結部Ｅ７以外の部分（開いた状態において、正面視で、上側ハウ
ジングＥ５のうちの第１連結部Ｅ７の上端よりも上の部分、閉じた状態において第１連結
部Ｅ７の下端よりも下の部分）と特定することもできる。また、下側ハウジングＥ２は、
略矩形形状の第２部分Ｅ３（破線で
囲まれる部分）と、当該第２部分Ｅ３の上方の第２連結部Ｅ４とを有する。
【０６０６】
第２連結部Ｅ４は、その両端部のそれぞれに当該第２部分Ｅ３の内側面（上側ハウジン
グＥ５と下側ハウジングＥ２とを折り畳んだ場合に内側となる面）に対して垂直方向に突
起する突起部Ｅ４ａと、前記第１連結部Ｅ７を受容する窪み部Ｅ４ｂとを有する（図１０
２（ｂ）参照）。すなわち、図１０２（ｂ）に示すように、第２連結部Ｅ４は、両端に設
けられた突起部Ｅ４ａと窪み部Ｅ４ｂとを含む部分であり、下側ハウジングＥ２のうち、
略矩形形状の第２部分Ｅ３の上端よりも上方の部分である。上側ハウジングＥ５の第１連
結部Ｅ７が下側ハウジングＥ２の第２連結部Ｅ４の窪み部Ｅ４ｂに受容されて、上側ハウ
ジングＥ５の第１連結部Ｅ７と下側ハウジングＥ２の第２連結部Ｅ４の突起部Ｅ４ａとが
、ヒンジピンＥ５９（図１０６および図１０７参照）によって連結されることにより、上
側ハウジングＥ５と下側ハウジングＥ２とが、折り畳み可能に接続される。上側ハウジン
グＥ５と下側ハウジングＥ２とを折り畳んだ場合において、上側ハウジングＥ５の上記第
１部分Ｅ６と下側ハウジングＥ２の上記第２部分Ｅ３とは重なり合う。
【０６０７】
一方、第２部分Ｅ３は下側ハウジングＥ２のうちの、正面視で、下側ハウジングＥ２の
突起部Ｅ４ａの下端よりも下の部分である。そして、下側ハウジングＥ２の突起部Ｅ４ａ
と上側ハウジングＥ５の突起（第１連結部Ｅ７）とが結合されて携帯ゲーム装置Ｅ１の折
り畳みのための連結部を構成する。より具体的には、下側ハウジングＥ２の突起部Ｅ４ａ
の下端と上側ハウジングＥ５の突起の下端は一致するように、両突起が結合される。それ
ゆえ、言い換えると、第１部分Ｅ６は上側ハウジングＥ５のうちの連結部よりも開いた状
態で上の部分（閉じた状態で下の部分）であり、第２部分Ｅ３は下側ハウジングＥ２のう
ちの連結部よりも下の部分である。
【０６０８】
下側ハウジングＥ２は、ユーザの両手又は片手で把持される。ゲーム装置Ｅ１は、下側
ハウジングＥ２と上側ハウジングＥ５とを折り畳んだ場合に内側となる内側面を正面にし
て、下側ハウジングＥ２が下側に、上側ハウジングＥ５が上側になるようにユーザに把持
される。すなわち、ゲーム装置Ｅ１は、ユーザによって使用される際には開状態（図１０
０）にされて、下側ハウジングＥ２および上側ハウジングＥ５の内側面が正面になり、か
つ、下側ハウジングＥ２が下側に、上側ハウジングＥ５が上側になるように把持される（
図１２０参照）。
【０６０９】
（下側ハウジングの説明）
まず、図１０２〜図１０４を参照して、下側ハウジングＥ２について説明する。図１０
２（ａ）は下側ハウジングＥ２の左側面図であり、図１０２（ｂ）は下側ハウジングＥ２
の正面図であり、図１０２（ｃ）は下側ハウジングＥ２の右側面図であり、図１０２（ｄ
）は下側ハウジングＥ２の背面図であり、図１０２（ｅ）は下側ハウジングＥ２の上面図
であり、図１０２（ｆ）は下側ハウジングＥ２の底面図である。また、図１０３は、正面
側から見た場合の下側ハウジングＥ２の分解斜視図である。図１０４は、背面側から見た
場合の下側ハウジングＥ２の分解斜視図である。
【０６１０】
図１０２〜図１０４に示すように、下側ハウジングＥ２は、第５パーツＥ２０１、第４
パーツＥ２０２、および、第６パーツＥ２０３によって形成される。第５パーツＥ２０１
、第４パーツＥ２０２、第６パーツＥ２０３は、それぞれ一体成形される。第５パーツＥ
２０１は、下側ハウジングＥ２の正面（内側面；下側ハウジングＥ２の第２部分Ｅ３の内
側面）、第２連結部Ｅ４、右側面のうちの正面側部分、左側面のうちの正面側部分、上面
のうちの正面側部分、および、底面のうちの正面側部分を構成するパーツである。第４パ
ーツＥ２０２は、下側ハウジングＥ２の右側面のうちの背面側部分、左側面のうちの背面
側部分、上面のうちの背面側部分、および、底面のうちの背面側部分を構成するパーツで
ある。第６パーツＥ２０３は、下側ハウジングＥ２の背面を構成する略矩形状の平板状の
部材である。第５パーツＥ２０１、第４パーツＥ２０２、および、第６パーツＥ２０３が
組み立てられることによって、下側ハウジングＥ２が形成される。下側ハウジングＥ２を
構成するこれら各パーツＥ２０１〜Ｅ２０３の詳細については、後述する。
【０６１１】
図１０２（ｂ）に示すように、下側ハウジングＥ２の内側面（第２部分Ｅ３の内側面）
には、下側ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶表示装置）Ｅ
２１、タッチパネルＥ２２、十字キーＥ２３、各操作ボタンＥ２４Ａ〜Ｅ２４Ｄ（操作ボ
タンユニットＥ２４；図１０３参照）、アナログキーＥ２５、電源ボタンＥ２６、セレク
トボタンＥ２７Ａ、ＨＯＭＥボタンＥ２７Ｂ、および、スタートボタンＥ２７Ｃが設けら
れる。また、下側ハウジングＥ２の右側の第２連結部Ｅ４には、お知らせＬＥＤＥ２８Ａ
が設けられる。また、図１０２（ｅ）に示すように、下側ハウジングＥ２の上面には、Ｌ
ボタンＥ２９Ａ、ＲボタンＥ２９Ｂ、赤外線通信モジュールＥ３０、タッチペンホルダＥ
３１の挿入口、ゲームカードユニットＥ３２にゲームカードを挿入するための挿入口、電
源コネクタＥ３３、クレードル接続端子Ｅ３４が設けられる。また、図１０２（ａ）に示
すように、下側ハウジングＥ２の左側面には、音量ボリュームスイッチＥ３５、および、
ＳＤカードユニットＥ３６にＳＤカードを挿入するための挿入口（図示せず）が設けられ
る。ＳＤカードユニットＥ３６の挿入口は、エラストマーにより形成されるカバーＥ３６
ａによって覆われている。また、図１０２（ｃ）に示すように、下側ハウジングＥ２の右
側面には、無線スイッチＥ３７、および、無線ＬＥＤＥ２８Ｂが設けられる。また、図１
０２（ｆ）に示すように、下側ハウジングＥ２の底面には、電源ＬＥＤＥ２８Ｃ、充電Ｌ
ＥＤＥ２８Ｄ、および、イヤホンジャックＥ３８が設けられる。上記各部Ｅ２１〜Ｅ３８
は、下側ハウジングＥ２内に収納される。また、下側ハウジングＥ２の内部には、無線通
信モジュールＥ３９、マイクＥ４０、および、バッテリーＥ４１（図１０３および図１０
４参照）、さらに情報処理部Ｅ４２等が収納される。以下、これら各部の詳細について説
明する。
【０６１２】
下側ＬＣＤＥ２１は横長形状であり、長辺方向が下側ハウジングＥ２の長辺方向に一致
するように配置される。下側ＬＣＤＥ２１は下側ハウジングＥ２の中央に配置される。ゲ
ーム装置Ｅ１を使用しない場合には閉状態としておくことによって、下側ＬＣＤＥ２１の
画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤＥ２１は、所定
の解像度を有する表示装置であり、後述する上側ＬＣＤＥ５１とは異なり、画像を（立体
視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置とし
てＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電
界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。
【０６１３】
下側ＬＣＤＥ２１の画面上には、タッチパネルＥ２２が装着されている。タッチパネル
Ｅ２２は、タッチパネルＥ２２の入力面において入力が行われた位置の座標を検出する。
なお、本実施形態では、タッチパネルＥ２２は抵抗膜方式のタッチパネルである。ただし
、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネ
ルを用いることができる。本実施形態では、タッチパネルＥ２２として、下側ＬＣＤＥ２
１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネルＥ
２２の解像度と下側ＬＣＤＥ２１の解像度が一致している必要はない。タッチパネルＥ２
２に対する操作を行うために用いられるタッチペン（図示せず）は、タッチペンホルダＥ
３１に挿入され収納される。なお、タッチパネルＥ２２に対する入力はタッチペンに限ら
ず、ユーザの指でタッチパネルＥ２２に対する入力をすることも可能である。
【０６１４】
下側ＬＣＤＥ２１の左側には、十字キーＥ２３が配置され、当該十字キーＥ２３の上方
にはアナログキーＥ２５が配置される（図１０２（ｂ））。より具体的には、アナログキ
ーＥ２５は、下側ＬＣＤＥ２１より左側領域の上部領域に設けられ、十字キーＥ２３は下
側ＬＣＤＥ２１より左側領域の下部領域に設けられる。また、アナログキーＥ２５、およ
び、十字キーＥ２３は、下側ハウジングを把持した左手の親指で操作可能な位置に設計さ
れる。アナログキーＥ２５を上部領域に設けたことにより、下側ハウジングＥ２を把持す
る左手の親指が自然と位置するところにアナログキーＥ２５が配され、十字キーＥ２３は
、左手の親指を少し下にずらした位置に配される（図１２０参照）。十字キーＥ２３は、
十字形状のキーであり、上下左右の方向を指示するために用いられる。十字キーＥ２３は
、上下左右の各入力が可能なキーである。また、アナログキーＥ２５は、３６０度の任意
の方向に、下側ハウジングＥ２の内側面に平行
にスライド可能なキーであり、任意の方向を指示するために用いられる。アナログキーＥ
２５および十字キーＥ２３は、ゲーム装置Ｅ１が実行するプログラムに応じて機能する。
例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置Ｅ１によっ
て実行される場合、アナログキーＥ２５は、当該所定のオブジェクトを３次元仮想空間内
で移動させるための入力装置として機能する。この場合において、所定のオブジェクトは
アナログキーＥ２５のキートップがスライドした方向に応じて移動される。
【０６１５】
下側ＬＣＤＥ２１の右側には、各操作ボタンＥ２４Ａ〜Ｅ２４Ｄが上下左右の位置に十
字状に配置される。より具体的には、下側ＬＣＤＥ２１の右側領域の上部領域に、各操作
ボタンＥ２４Ａ〜Ｅ２４Ｄは配置される。各操作ボタンＥ２４Ａ〜Ｅ２４Ｄは、ユーザが
下側ハウジングＥ２を把持した場合に、右手の親指で操作可能な位置に設計される。各操
作ボタンＥ２４Ａ〜Ｅ２４Ｄは、ゲーム装置Ｅ１が実行するプログラムに応じた機能が適
宜割り当てられる。例えば、各操作ボタンＥ２４Ａ〜Ｅ２４Ｄは決定操作やキャンセル操
作等に用いられる。また、下側ＬＣＤＥ２１の右側下方には、電源ボタンＥ２６が配置さ
れる。電源ボタンＥ２６は、ゲーム装置Ｅ１の電源をＯＮ／ＯＦＦまたはスリープ状態に
移行するためのボタンである。
【０６１６】
下側ＬＣＤＥ２１の下側には、セレクトボタンＥ２７Ａ、ＨＯＭＥボタンＥ２７Ｂ、ス
タートボタンＥ２７Ｃが配置される。これらのボタンＥ２７Ａ〜Ｅ２７Ｃの上部は、一体
的な横長のシートキーＥ２７ａで覆われている。すなわち、シートキーＥ２７ａはこれら
のボタンのキートップである。各ボタンＥ２７Ａ〜Ｅ２７Ｃは、ゲーム装置Ｅ１が実行す
るプログラムに応じた機能が適宜割り当てられる。例えば、スタートボタンＥ２７Ｃはゲ
ーム装置Ｅ１が実行するゲームを開始する際に用いられ、ＨＯＭＥボタンは、プレイ中の
ゲームを中断または中止し、携帯ゲーム装置のメニューに戻る際に用いられる。
【０６１７】
また、下側ハウジングＥ２の正面視右側の第２連結部Ｅ４には、お知らせＬＥＤＥ２８
Ａが設けられる。お知らせＬＥＤＥ２８Ａは、ゲーム装置Ｅ１が所定の状態になったこと
をユーザに知らせるために用いられる。例えば、ゲーム装置Ｅ１が他の機器との通信によ
って所定の状態となった場合（例えば、他の機器から無線通信によりメッセージ等のデー
タを受信した等）、お知らせＬＥＤＥ２８Ａが点灯する。
【０６１８】
下側ハウジングＥ２の上面の左端部には、ＬボタンＥ２９Ａが設けられ、下側ハウジン
グＥ２の上面の右端部には、ＲボタンＥ２９Ｂが配置される。ＬボタンＥ２９ＡおよびＲ
ボタンＥ２９Ｂは、ゲーム装置Ｅ１が実行するプログラムに応じた機能が適宜割り当てら
れる。また、下側ハウジングＥ２の上面には、赤外線通信モジュールＥ３０、タッチペン
ホルダＥ３１の挿入口、ゲームカードユニットＥ３２にゲームカードを挿入するための挿
入口、電源コネクタＥ３３、クレードル接続端子Ｅ３４が設けられる。赤外線通信モジュ
ールＥ３０は、赤外線通信により他の機器とデータ等を送受信するための通信モジュール
である。ゲームカードユニットＥ３２には、不揮発性メモリであるゲームカード（図示せ
ず）が着脱自在に装着される。所定のゲームプログラムが記録されたゲームカードがゲー
ムカードユニットＥ３２に装着されることによって、当該ゲームプログラムが読み込まれ
て実行される。電源コネクタＥ３３には図示しない電源ケーブルが接続されることによっ
て、ゲーム装置Ｅ１への電源の供給およびバッテリーＥ４１への充電が行われる。また、
クレードル接続端子Ｅ３４は、充電や周辺機器との接続等に用いられるクレードル（図示
せず）と電気的に接続するための端子である。
【０６１９】
下側ハウジングＥ２の左側面には、音量ボリュームスイッチＥ３５、および、ＳＤカー
ドユニットＥ３６にＳＤカード（図示せず）を挿入するための挿入口（後述する開口部Ｅ
２０２Ｆ）が設けられる。音量ボリュームスイッチＥ３５は、上下方向（携帯ゲーム装置
Ｅ１の使用時の上下方向であり、図１０２における紙面の上下方向）にスライド可能な操
作部を有し、スピーカーＥ５４（図１０６参照）から出力される音声のボリュームを調整
するためのスイッチであ
る。ＳＤカードユニットＥ３６には、不揮発性メモリであるＳＤカードが着脱自在に装着
される。ＳＤカードユニットＥ３６は、ＳＤカードへのデータの読み書きを行う。ＳＤカ
ードユニットＥ３６にＳＤカードを挿入するための挿入口は、カバーＥ３６ａによって覆
われている。
【０６２０】
下側ハウジングＥ２の右側面には、無線スイッチＥ３７、および、無線ＬＥＤＥ２８Ｂ
が設けられる。ゲーム装置Ｅ１は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠
した方式により、無線ＬＡＮに接続する機能を有している。無線スイッチ（無線スライド
スイッチ）Ｅ３７は、上下方向（携帯ゲーム装置Ｅ１の使用時の上下方向であり、図１０
２における紙面の上下方向）にスライド可能な操作部を有し、この無線通信の機能を有効
／無効にするスイッチである。無線ＬＥＤＥ２８Ｂは、無線通信が確立しているか否かを
示し、具体的には無線通信が確立している場合に点灯する。または、無線通信の機能が有
効になっている場合に点灯する。
【０６２１】
下側ハウジングＥ２の底面には、電源ＬＥＤＥ２８Ｃ、充電ＬＥＤＥ２８Ｄ、および、
イヤホンジャックＥ３８が設けられる。電源ＬＥＤＥ２８Ｃは、ゲーム装置Ｅ１の電源が
ＯＮの場合に点灯する。充電ＬＥＤＥ２８Ｄは、ゲーム装置Ｅ１が充電されている場合に
点灯する。イヤホンジャックＥ３８には、イヤホン（図示せず）が接続される。イヤホン
がイヤホンジャックＥ３８に接続されている場合は、ゲーム装置Ｅ１はスピーカーＥ５４
から音声を出力する代わりに、イヤホンから音声を出力する。
【０６２２】
また、図示は省略するが、下側ハウジングＥ２の内部には、後述する情報処理部Ｅ４２
やメインメモリＥ４３、データ保存用内部メモリＥ４４、ＲＴＣＥ４５、加速度センサＥ
４６、ジャイロセンサＥ４９、インターフェイス（Ｉ／Ｆ）回路Ｅ４７、電源回路Ｅ４８
等が収納される（図１２２参照）。情報処理部Ｅ４２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒ
ｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｅ４２１、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｉｎ
ｇ  Ｕｎｉｔ）Ｅ４２２、および、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）Ｅ４２３等を実装し
た半導体チップである。これら情報処理部Ｅ４２やメインメモリＥ４３等は、例えば、ゲ
ームカードユニットＥ３２の裏側（図１０４では下側）に配置される。
【０６２３】
（上側ハウジングの説明）
次に、図１０５〜図１０７を参照して、上側ハウジングＥ５について説明する。図１０
５（ａ）は上側ハウジングＥ５の左側面図であり、図１０５（ｂ）は上側ハウジングＥ５
の正面図であり、図１０５（ｃ）は上側ハウジングＥ５の右側面図であり、図１０５（ｄ
）は上側ハウジングＥ５の背面図であり、図１０５（ｅ）は上側ハウジングＥ５の上面図
であり、図１０５（ｆ）は上側ハウジングＥ５の底面図である。また、図１０６は、正面
側から見た場合の上側ハウジングＥ５の分解斜視図である。図１０７は、背面側から見た
場合の上側ハウジングＥ５の分解斜視図である。
【０６２４】
図１０５〜図１０７に示すように、上側ハウジングＥ５は、第１パーツＥ５０１、第２
パーツＥ５０２、および、第３パーツＥ５０３によって構成される。第３パーツＥ５０３
は、さらに第３ＡパーツＥ５０４、および、第３ＢパーツＥ５０５によって構成される。
第１パーツＥ５０１、第２パーツＥ５０２、第３ＡパーツＥ５０４、第３ＢパーツＥ５０
５は、それぞれ一体成形される。なお第３パーツＥ５０３を一体成形してもよい。第１パ
ーツＥ５０１は、上側ハウジングＥ５の内部に配置される（すなわち、第３パーツＥ５０
３に収納され、第２パーツＥ５０２によって覆われる）略長方形の第３部分Ｅ５０１Ａ（
図１１１（ｂ）参照）と、上側ハウジングＥ５の第１連結部Ｅ７の一部（正面側部分）を
構成する突出部分Ｅ５０１Ｂとが一体形成されたパーツである。また、第２パーツＥ５０
２は、上側ハウジングＥ５の正面を構成する透明領域を有する平板状の一体成形された部
材である。また、第３パーツＥ５０３は、上側ハウジングＥ５の背面、左右側面、上面、
および、底面を構成し、かつ、上側ハウジングＥ５の第１連結部Ｅ７の一部（背面側部分
）を構成する。上側ハウジングＥ５を構成するこれら各パーツ（Ｅ５０２、Ｅ５０２、Ｅ
５０４およびＥ５０５）の詳細については、後述する。
【０６２５】
図１０５〜図１０７に示すように、上側ハウジングＥ５には、上側ＬＣＤ（Ｌｉｑｕｉ
ｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶表示装置）Ｅ５１、内側撮像部Ｅ５２、３Ｄ
ＬＥＤＥ５３、スピーカーＥ５４、視差量調整スイッチＥ５５、および、外側撮像部Ｅ５
６（Ｅ５６ａおよびＥ５６ｂ）が収納される。上側ＬＣＤＥ５１の画面、内側撮像部Ｅ５
２、および、３ＤＬＥＤＥ５３は、上側ハウジングＥ５の内側面（第１部分Ｅ６の内側面
）に設けられる。また、上側ハウジングＥ５の内側面（第１部分Ｅ６の内側面）には、ス
ピーカーＥ５４（図１０６）からの音声を出力する複数のスピーカーの音抜き孔Ｅ５０２
Ａが上側ＬＣＤＥ５１の右側および左側に設けられる。また、上側ハウジングＥ５の右側
面には、視差量調整スイッチＥ５５が設けられる（図１０５（ｂ）および図１０５（ｃ）
）。視差量調整スイッチＥ５５は、上側ハウジングＥ５の内側面および右側面の端部に設
けられ、内側面に向かってそのキートップが露出しており、開状態において上側ハウジン
グＥ５を正面から見た場合、当該視差量調整スイッチＥ５５のキートップを視認可能に配
置される。これにより、視差量調整スイッチＥ５５の操作状態を正面から視認可能である
。また、視差量調整スイッチＥ５５の操作部は、上側ハウジングＥ５の右側面方向に露出
され、右側面から視認および操作可能である。また、上側ハウジングＥ５の背面には、外
側撮像部Ｅ５６（Ｅ５６ａおよびＥ５６ｂ）、および、外側撮像部用ＬＥＤＥ５７が設け
られる。
【０６２６】
上述のように、上側ハウジングＥ５の正面（内側面）は、透明な樹脂で形成された平板
状部材である第２パーツＥ５０２によって構成されている。図１００（ｂ）では、実際に
は透明な第２パーツＥ５０２を透明でなく表示されているため、上側ＬＣＤＥ５１、内側
撮像部Ｅ５２、および、３ＤＬＥＤＥ５３が表示されていない（図１００（ｂ）では破線
で示されている）。一方、図１０５（ｂ）では、第２パーツＥ５０２を透明にして表示さ
れているため、上側ＬＣＤＥ５１、内側撮像部Ｅ５２、および、３ＤＬＥＤＥ５３が表示
されている。同様に、上側ハウジングＥ５の背面は透明な樹脂で形成された第３Ａパーツ
Ｅ５０４によって構成されている。図１００（ｄ）では、実際には透明な第３ＡパーツＥ
５０４を透明でなく表示されているため、外側撮像部用ＬＥＤＥ５７が表示されていない
が（図１００（ｄ）では破線で示されている）、図１０５（ｄ）では、第３ＡパーツＥ５
０４を透明にして表示されているため、外側撮像部用ＬＥＤＥ５７が表示されている。
【０６２７】
以下、上側ハウジングＥ５に収納される上記各部Ｅ５１〜Ｅ５７について説明する。
【０６２８】
上側ＬＣＤＥ５１は、横長形状であり、長辺方向が上側ハウジングＥ５の長辺方向に一
致するように配置される。上側ＬＣＤＥ５１は上側ハウジングＥ５の中央に配置される。
上側ＬＣＤＥ５１の画面の面積は、下側ＬＣＤＥ２１の画面の面積よりも大きく設定され
る。上側ＬＣＤＥ５１は、所定の解像度を有する表示装置である。なお、本実施形態では
上側ＬＣＤＥ５１は液晶表示装置であるが、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅ
ｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。
【０６２９】
具体的には、上側ＬＣＤＥ５１は、裸眼で立体視可能な画像を表示することが可能な表
示装置であり、レンチキュラー方式やパララックスバリア方式（視差バリア方式）のもの
が用いられる。本実施形態では、上側ＬＣＤＥ５１はパララックスバリア方式のものとす
る。上側ＬＣＤＥ５１は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像
（立体画像）を表示する。すなわち、上側ＬＣＤＥ５１は、右目用画像と左目用画像が所
定単位で左右方向に交互に並ぶように表示し、視差バリアを用いてユーザの左目に左目用
画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある
立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤＥ５１は、上
記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平
面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示する
ことができる）。このように、上側ＬＣＤＥ５１は、立体視可能な画像を表示する立体表
示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り
替えることが可能な表示装置である。この表示モードの切り替えは、視差量調整スイッチ
Ｅ５５によって行われる。
【０６３０】
内側撮像部Ｅ５２は、上側ハウジングＥ５の内側面の上部（より具体的には上側ＬＣＤ
Ｅ５１よりも上部）であって、上側ハウジングＥ５の左右方向に関して中央に配置される
。内側撮像部Ｅ５２は、上側ハウジングＥ５の内側面方向（内向きの法線方向）を撮像す
る撮像デバイスである。内側撮像部Ｅ５２は、所定の解像度を有する撮像素子（例えば、
ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズ
ーム機構を有するものでもよい。
【０６３１】
３ＤＬＥＤＥ５３は、上側ＬＣＤＥ５１の右側に設けられ、上側ＬＣＤＥ５１の表示モ
ードが立体表示モードか否かを表示する。上側ＬＣＤＥ５１の表示モードが立体表示モー
ドである場合、３ＤＬＥＤＥ５３は点灯する。３ＤＬＥＤＥ５３は、上側ＬＣＤＥ５１に
おいて立体視表示されているときに点灯してもよいし、立体視表示可能なとき（視差量調
整スイッチＥ５５によりＯＦＦになっていて平面視表示されているときでも、立体視表示
可能な状態にあるとき）に点灯してもよい。また、スピーカーＥ５４は、上側ＬＣＤＥ５
１の左側および右側に配置され、音声を出力する。
【０６３２】
視差量調整スイッチＥ５５は、上下方向にスライド可能な操作部を有し、上述のように
上側ＬＣＤＥ５１の表示モードを切り替えるために用いられる。視差量調整スイッチＥ５
５の操作部が最下点位置にスライドされた場合、上側ＬＣＤＥ５１の表示モードは平面表
示モードに切り替えられる（立体表示がＯＦＦとなる）。また、視差量調整スイッチＥ５
５は、上側ＬＣＤＥ５１に表示される立体画像の見え方を調整するためにも用いられる。
例えば、ゲーム装置Ｅ１が３次元仮想空間を仮想ステレオカメラで撮像した様子を上側Ｌ
ＣＤＥ５１に表示する場合、視差量調整スイッチＥ５５の操作部の位置に応じて、仮想ス
テレオカメラのカメラ間距離が調整される。視差量調整スイッチＥ５５を調整することに
よって、ユーザは、上側ＬＣＤＥ５１に表示される立体画像の見え方を調整することがで
きる。
【０６３３】
外側撮像部Ｅ５６は、上側ハウジングＥ５の背面に設けられ、背面方向（背面の外向き
の法線方向）を撮像するステレオカメラである。具体的には、外側撮像部Ｅ５６は、外側
撮像部（左）Ｅ５６ａおよび外側撮像部（右）Ｅ５６ｂの２つの撮像デバイスで構成され
る。外側撮像部（左）Ｅ５６ａと外側撮像部（右）Ｅ５６ｂの撮像方向は、いずれも上側
ハウジングＥ５の背面の外向きの法線方向である。また、これらの撮像部はいずれも、上
側ＬＣＤＥ５１の画面の法線方向と１８０度反対の方向に設計される。すなわち、外側撮
像部（左）Ｅ５６ａの撮像方向および外側撮像部（右）Ｅ５６ｂの撮像方向は、平行であ
る。なお、ゲーム装置Ｅ１が実行するプログラムによって、２つの外側撮像部（Ｅ５６ａ
およびＥ５６ｂ）のいずれか一方を単独で用いて、外側撮像部Ｅ５６を非ステレオカメラ
として使用することも可能である。また、プログラムによっては、２つの外側撮像部（Ｅ
５６ａおよびＥ５６ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮
像範囲を広げた撮像をおこなうことも可能である。外側撮像部（左）Ｅ５６ａおよび外側
撮像部（右）Ｅ５６ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣ
ＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム
機構を有するものでもよい。外側撮像部Ｅ５６は、上側ハウジングＥ５の背面の上部であ
って、左右の撮像部は上側ハウジングＥ５の左右方向に関して対称の位置に設けられる。
より具体的には、外側撮像部（左）Ｅ５６ａおよび外側撮像部（右）Ｅ５６ｂの中間の裏
側に、上記内側撮像部Ｅ５２が配置される。図１０６および図１０７に示すように、外側
撮像部Ｅ５６および内側撮像部Ｅ５２は、撮像ユニットＥ６０として一体的に組み立てら
れて上側ハウジングＥ５内に収納されている。
【０６３４】
外側撮像部用ＬＥＤＥ５７は、上側ハウジングＥ５の背面に設けられる。具体的には、
外側撮像部用ＬＥＤＥ５７は、上側ハウジングＥ５の背面の上部であって、外側撮像部（
右）Ｅ５６ｂの近傍（上側ハウジングＥ５を背面から正視した場合に外側撮像部（右）Ｅ
５６ｂの左側）に設けられる。外側撮像部用ＬＥＤＥ５７は、外側撮像部Ｅ５６による画
像の撮影が可能であるか否かを示し、具体的には外側撮像部Ｅ５６による画像の撮影が可
能である場合に点灯する。
【０６３５】
（ハウジングを構成する各パーツの詳細）
次に、下側ハウジングＥ２および上側ハウジングＥ５を構成する各パーツの詳細につい
て、説明する。まず、図１０８〜１１０を参照して、下側ハウジングＥ２を構成する各パ
ーツ（第４パーツＥ２０２、第５パーツＥ２０１、第６パーツＥ２０３）の詳細について
説明する。
【０６３６】
（下側ハウジングＥ２を構成する各パーツの詳細）
図１０８（ａ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の左側面図であり
、図１０８（ｂ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の正面図であり、
図１０８（ｃ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の右側面図であり、
図１０８（ｄ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の背面図であり、図
１０８（ｅ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の上面図であり、図１
０８（ｆ）は下側ハウジングＥ２を構成する第５パーツＥ２０１の底面図である。
【０６３７】
（第５パーツの説明）
第５パーツＥ２０１は、下側ハウジングＥ２の正面（内側面；第２部分Ｅ３の内側面）
、第２連結部Ｅ４、右側面のうちの正面側部分、左側面のうちの正面側部分、上面のうち
の正面側部分、および、底面のうちの正面側部分を構成するパーツである。第５パーツＥ
２０１の正面（下側ハウジングＥ２の内側面）の中央には、開口部Ｅ２０１Ａが形成され
ており、当該開口部Ｅ２０１Ａから下側ＬＣＤＥ２１の画面が露出される。開口部Ｅ２０
１Ａの左側には十字形状の開口部Ｅ２０１Ｂが形成され、当該開口部Ｅ２０１Ｂの上側に
は円形状の開口部Ｅ２０１Ｃが形成されている。すなわち、開口部Ｅ２０１Ｃは、開口部
Ｅ２０１Ａより左側領域の上部領域に設けられ、開口部Ｅ２０１Ｂは開口部Ｅ２０１Ａよ
り左側領域の下部領域に設けられる。また、開口部Ｅ２０１Ｃ、および、開口部Ｅ２０１
Ｂは、ユーザが下側ハウジングＥ２を把持した場合に左手の親指が届く範囲の位置に配置
される。開口部Ｅ２０１Ｂから十字キーＥ２３のキートップが露出され、開口部Ｅ２０１
ＣからアナログキーＥ２５のキートップが露出される。開口部Ｅ２０１Ｃは、当該開口部
Ｅ２０１Ｃよりも大きな半径を有する開口部Ｅ２０１Ｃと同心の円形状の凹部Ｅ２０１Ｄ
内に形成されている。アナログキーＥ２５のキートップを露出する開口部Ｅ２０１Ｃが凹
部Ｅ２０１Ｄ内に形成されることにより、下側ハウジングＥ２と上側ハウジングＥ５とを
折り畳む際に、アナログキーＥ２５のキートップが上側ハウジングＥ５と接触して折り畳
むことができないことを防止している。また、開口部Ｅ２０１Ａの右側領域の上部領域に
は、４つの開口部Ｅ２０１Ｅが十字状に形成されており、これらの開口部Ｅ２０１Ｅから
各操作ボタンＥ２４Ａ〜Ｅ２４Ｄのキートップが露出される。また、開口部Ｅ２０１Ａの
右側下方には、電源ボタンＥ２６を露出させるための開口部Ｅ２０１Ｆが形成されている
。また、開口部Ｅ２０１Ａの下側には、セレクトボタンＥ２７Ａ、ＨＯＭＥボタンＥ２７
Ｂ、および、スタートボタンＥ２７Ｃを露出させるための３つの開口部Ｅ２０１Ｇが横方
向に並んで形成されている。これらのボタンＥ２７Ａ〜Ｅ２７Ｃのための開口部Ｅ２０１
Ｆは、シート状のキートップ（シートＥ２７ａ）を載置するためのシートキートップ載置
部Ｅ２０１Ｈの内部に形成されている。下側ＬＣＤＥ２１の画面が露出される開口部Ｅ２
０１Ａと、シートキートップ載置部Ｅ２０１Ｈとは、第５パーツＥ２０１の正面の中央に
配置された矩形領域Ｅ２０１Ｉ内に形成されている。当該矩形領域Ｅ２０１Ｉは、開口部
Ｅ２０１Ａの上端、開口部Ｅ２０１Ａの右端とシートキートップ載置部Ｅ２０１Ｈの右端
、シートキートップ載置部Ｅ２０１Ｈの下端、および、開口部Ｅ２０１Ａの左端とシート
キートップ載置部Ｅ２０１Ｈの左端によって囲まれる、矩形状の領域である。当該矩形領
域Ｅ２０１Ｉの左右端および下端は突出しているため、下側ＬＣＤＥ２１の画面およびシ
ートキーのキートップ（各ボタンＥ１８Ａ〜Ｅ１８Ｃのキートップ）は、下側ハウジング
Ｅ２と上側ハウジングＥ５とを折り畳んだ際に、上側ハウジングＥ５と接触しない。
【０６３８】
第５パーツＥ２０１の左側面には、音量ボリュームスイッチＥ３５のキートップを露出
させるための開口部Ｅ２０１Ｊが形成されている。また、第５パーツＥ２０１の左側面の
開口部Ｅ２０１Ｊの下方には、凹部Ｅ２０１Ｋが形成されている。具体的には、第５パー
ツＥ２０１の左側面のうち、当該第５パーツＥ２０１の正面と反対側（背面側）の端部に
は、半円形状の凹部Ｅ２０１Ｋが形成されている。凹部Ｅ２０１Ｋが形成されることによ
り、各パーツが組み立てられて下側ハウジングＥ２が構成された場合において、ユーザが
ＳＤカードユニットＥ３６のカバーＥ３６ａを取り外す際に、当該カバーＥ３６ａを指で
引っ掛かけやすくなる。すなわち、凹部Ｅ２０１Ｋは、第５パーツＥ２０１が第４パーツ
Ｅ２０２と組み立てられたときに第４パーツＥ２０２の開口部Ｅ２０２Ｆ（後述）に対向
する部分に設けけられる、背面端に向かって幅が広がる形状の窪みである。
【０６３９】
第５パーツＥ２０１の右側面には、無線スイッチＥ３７のキートップを露出させるため
の開口部Ｅ２０１Ｌ、および、無線ＬＥＤＥ２８ＢのＬＥＤレンズを露出させるための開
口部Ｅ２０１Ｍが形成されている。開口部Ｅ２０１Ｌから無線スイッチＥ３７のキートッ
プが右側面方向に突出して露出される。また、開口部Ｅ２０１Ｍから無線ＬＥＤＥ２８Ｂ
のＬＥＤレンズが右側面方向に突出して露出される。
【０６４０】
第５パーツＥ２０１の底面の中央より右側には、電源ＬＥＤＥ２８Ｃを露出させるため
の開口部Ｅ２０１Ｎ、および、充電ＬＥＤＥ２８Ｄを露出させるための開口部Ｅ２０１Ｏ
が形成される。開口部Ｅ２０１Ｎから電源ＬＥＤＥ２８ＣのＬＥＤレンズが底面方向に突
出して露出される。また、開口部Ｅ２０１Ｏから充電ＬＥＤＥ２８ＤのＬＥＤレンズが底
面方向に突出して露出される。また、第５パーツＥ２０１の底面の中央には、イヤホンジ
ャックＥ３８を露出させるための半円形状の開口部Ｅ２０１Ｐが形成されている。開口部
Ｅ２０１Ｐは、第４パーツと第５パーツとが組み立てられることによって、円形状のイヤ
ホン挿入口を形成する。
【０６４１】
第５パーツＥ２０１の右側の第２連結部Ｅ４には、お知らせＬＥＤＥ２８Ａを露出させ
るための開口部Ｅ２０１Ｑが形成される。開口部Ｅ２０１Ｑからお知らせＬＥＤＥ２８Ａ
のＬＥＤレンズが正面方向に突出して露出される。
【０６４２】
第５パーツＥ２０１の背面には、ｎ個（９個）のネジ孔Ｅ２０１Ｒが形成されており、
第４パーツのネジ孔Ｅ２０２Ｃと当該ネジ孔Ｅ２０１Ｒとがｎ個のネジによって締結され
る。
【０６４３】
（第４パーツの説明）
次に、図１０９を参照して、第４パーツＥ２０２について説明する。図１０９（ａ）は
下側ハウジングＥ２を構成する第４パーツＥ２０２の左側面図であり、図１０９（ｂ）は
下側ハウジングＥ２を構成する第４パーツＥ２０２の正面図であり、図１０９（ｃ）は下
側ハウジングＥ２を構成する第４パーツＥ２０２の右側面図であり、図１０９（ｄ）は下
側ハウジングＥ２を構成する第４パーツＥ２０２の背面図であり、図１０９（ｅ）は下側
ハウジングＥ２を構成する第４パーツＥ２０２の上面図であり、図１０９（ｆ）は下側ハ
ウジングＥ２を構成する第４パーツＥ２０２の底面図である。
【０６４４】
第４パーツＥ２０２は、下側ハウジングＥ２の右側面のうちの背面側部分、左側面のう
ちの背面側部分、上面のうちの背面側部分、および、底面のうちの背面側部分を構成する
パーツである。図１０９（ｄ）に示すように、第４パーツの背面側には、下側ハウジング
Ｅ２の背面の正面視サイズに対して７０％以上（具体的には８０％程度）の正面視サイズ
を有する略矩形状の凹部Ｅ２０２Ａが形成されている。すなわち、当該凹部Ｅ２０２Ａは
、下側ハウジングＥ２の背面の面積の７０％以上の面積を有する。当該凹部Ｅ２０２Ａ内
には、バッテリーＥ４１を背面方向（図１０９（ｄ）の紙面に対して手前の方向）から取
り出し可能に収納するバッテリー収納部Ｅ２０２Ｂが形成されている。また、凹部Ｅ２０
２Ａ内には、ｎ個（９個）のネジ孔Ｅ２０２Ｃ、および、ｎより小さいｍ個（４個）のネ
ジ孔Ｅ２０２Ｄが形成されている。第４パーツのネジ孔Ｅ２０２Ｃと第５パーツのネジ孔
Ｅ２０１Ｒとが、ｎ個のネジで締結されることによって、第４パーツと第５パーツとが組
み立てられる。また、凹部Ｅ２０２Ａ内には、２つのフック孔Ｅ２０２Ｅが形成されてい
る。このフック孔Ｅ２０２Ｅには、後述する第６パーツのフックＥ２０３Ｂが係合する。
【０６４５】
また、第４パーツＥ２０２の左側面には、ＳＤカードユニットＥ３６にＳＤカードを挿
入するための挿入口を形成する開口部Ｅ２０２Ｆが形成される。当該開口部Ｅ２０２Ｆは
、正面側がオープンに形成される。図１０９（ｇ）は、第４パーツＥ２０２の左側面に形
成された開口部Ｅ２０２Ｆを拡大して示した図である。図１０９（ｇ）に示すように、開
口部Ｅ２０２Ｆは、それ自体では閉じた開口部ではなく、正面端が開いている。そして、
第４パーツＥ２０２と第５パーツＥ２０１とが組み立てられた場合に、第４パーツＥ２０
２の開口部Ｅ２０２Ｆのうちの開いている正面端が、当該開口部Ｅ２０２Ｆと対向する第
５パーツＥ２０１の左側面端部で閉じられて、閉じた開口部が形成され、これによりＳＤ
カードの挿入口が形成される。なお、開口部Ｅ２０２Ｆは、カバーＥ３６ａにより覆われ
る。カバーＥ３６ａは、背面方向に開閉する蓋部材であり、エラストマーにより構成され
る。
【０６４６】
第４パーツＥ２０２の上面の両端部には、ＬボタンＥ２９ＡおよびＲボタンＥ２９Ｂの
キートップを露出させるための開口部Ｅ２０２Ｇおよび開口部Ｅ２０２Ｈがそれぞれ形成
される。また、第４パーツＥ２０２の上面には、赤外線通信モジュールＥ３０、タッチペ
ンホルダＥ３１、ゲームカードユニットＥ３２のゲームカード挿入口、および、電源コネ
クタＥ３３を露出させるための開口部Ｅ２０２Ｉ、Ｅ２０２Ｊ、Ｅ２０２Ｋ、および、２
０２Ｌがそれぞれ形成される。また、第４パーツＥ２０２の上面には、クレードル接続端
子Ｅ３４を露出させるための開口部Ｅ２０２Ｍが形成される。
【０６４７】
また、第４パーツＥ２０２の底面の中央には、イヤホンジャックＥ３８を露出させるた
めの半円形状の開口部Ｅ２０２Ｎが形成されている。開口部Ｅ２０２Ｎは、第４パーツＥ
２０２と第５パーツＥ２０１とが組み立てられることによって、円形状のイヤホン挿入口
を形成する。
【０６４８】
（第６パーツの説明）
次に、図１１０を参照して、第６パーツＥ２０３について説明する。図１１０（ａ）は
下側ハウジングＥ２を構成する第６パーツＥ２０３の左側面図であり、図１１０（ｂ）は
下側ハウジングＥ２を構成する第６パーツＥ２０３の正面図であり、図１１０（ｃ）は下
側ハウジングＥ２を構成する第６パーツＥ２０３の右側面図であり、図１１０（ｄ）は下
側ハウジングＥ２を構成する第６パーツＥ２０３の背面図であり、図１１０（ｅ）は下側
ハウジングＥ２を構成する第６パーツＥ２０３の上面図であり、図１１０（ｆ）は下側ハ
ウジングＥ２を構成する第６パーツＥ２０３の底面図である。
【０６４９】
第６パーツＥ２０３は、下側ハウジングＥ２の背面を構成する平板状の部材である。第
６パーツＥ２０３は、略矩形状の平板であって、第４パーツＥ２０２の背面に形成された
凹部Ｅ２０２Ａに嵌合する形状およびサイズの平板である。第６パーツＥ２０３は電池蓋
であるが、このパーツの正面視サイズは電池の正面視サイズよりも非常に大きく、具体的
には、電池の正面視サイズの２倍以上（より具体的には２．５倍以上）の正面視サイズで
ある。電池蓋としてはそのようなサイズは不要であるが、このように、電池のサイズより
も大きく設計することにより、後述のような効果がある。第６パーツＥ２０３の上端部近
傍には、ｍ個（４個）のネジ孔Ｅ２０３Ａが形成されている。また、第６パーツＥ２０３
の下端部には、２つのフックＥ２０３Ｂが形成されており、当該フックＥ２０３Ｂが第４
パーツＥ２０２のフック孔Ｅ２０２Ｅに係合する。そして、第６パーツＥ２０３のネジ孔
Ｅ２０３Ａと第４パーツＥ２０２のネジ孔Ｅ２０２Ｄとがｍ個のネジで締結されることに
よって、第４パーツＥ２０２と第６パーツＥ２０３とが組み立てられる。
【０６５０】
以上のように、第４パーツＥ２０２、第５パーツＥ２０１、および、第６パーツＥ２０
３が組み立てられることによって、下側ハウジングＥ２が形成される。
【０６５１】
（上側ハウジングを構成する各パーツの詳細）
次に、図１１１〜図１１４を参照して、上側ハウジングＥ５を構成する各パーツの詳細
について説明する。上側ハウジングＥ５は、第１パーツＥ５０１、第２パーツＥ５０２、
および、第３パーツＥ５０３によって構成される。第３パーツＥ５０３は、さらに第３Ａ
パーツＥ５０４、および、第３ＢパーツＥ５０５によって構成される。
【０６５２】
（第１パーツの説明）
図１１１（ａ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の左側面図であり
、図１１１（ｂ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の正面図であり、
図１１１（ｃ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の右側面図であり、
図１１１（ｄ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の背面図であり、図
１１１（ｅ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の上面図であり、図１
１１（ｆ）は上側ハウジングＥ５を構成する第１パーツＥ５０１の底面図である。
【０６５３】
第１パーツＥ５０１は、上側ハウジングＥ５の内部に配置される第３部分Ｅ５０１Ａ（
破線で囲まれる部分）と、上側ハウジングＥ５の第１連結部Ｅ７の一部（正面側部分）を
形成する突出部分Ｅ５０１Ｂとが一体形成されたパーツである。第３部分Ｅ５０１Ａは、
正面視で略矩形状であり、上側ハウジングＥ５の第１部分Ｅ６の正面に相当する形状およ
びサイズを有する。ただし、第３部分Ｅ５０１Ａは、第３パーツＥ５０３（本実施例では
より具体的には第３ＡパーツＥ５０４）の上面、両側面、底面で囲まれる凹部に収納され
るので、正確には、第３部分Ｅ５０１Ａの正面視のサイズは、上側ハウジングＥ５の正面
のサイズよりも若干小さい（第３パーツＥ５０３の上面、両側面、底面の厚み分だけ小さ
い）。また、第３部分Ｅ５０１Ａは、第３パーツＥ５０３（本実施例ではより具体的には
第３ＡパーツＥ５０４）の上面、両側面、底面で囲まれる凹部と同じサイズである。図１
１１に示すように、突出部分Ｅ５０１Ｂは、第３部分Ｅ５０１Ａの下端の中央から下方に
突出して形成されている。突出部分Ｅ５０１Ｂは、上側ハウジングＥ５の第１連結部Ｅ７
の正面側部分を形成する。なお、突出部分Ｅ５０１Ｂの左右両端部には、筒状部分が形成
されており、当該筒状部分にヒンジピンＥ５９が挿入されることでヒンジピンＥ５９が支
持される（図１０７参照）。図１１１（ａ）および図１１１（ｃ）に示す側面図では、当
該筒状部分が表示されているため、突出部分Ｅ５０１Ｂが第１連結部Ｅ７の背面側部分も
形成しているように見えるが、実際には突出部分Ｅ５０１Ｂは第１連結部Ｅ７の背面側部
分は形成せず（両端（筒状部分）のみ第１連結部Ｅ７の背面側部分の一部を形成する）、
第１連結部Ｅ７の正面側部分を形成する。
【０６５４】
第１パーツＥ５０１の第３部分Ｅ５０１Ａの正面中央には、上側ＬＣＤＥ５１の画面を
露出させるための上側ＬＣＤ用開口部Ｅ５０１Ｃが設けられている。当該開口部Ｅ５０１
Ｃの上方には、内側撮像部Ｅ５２を露出させるための内側撮像部用開口部Ｅ５０１Ｄが設
けられる。また、上側ＬＣＤ用開口部Ｅ５０１Ｃの左側および右側には、スピーカーＥ５
４を露出させるためのスピーカー用開口部Ｅ５０１Ｅ、Ｆがそれぞれ設けられる。また、
上側ＬＣＤ用開口部Ｅ５０１Ｃの右側（スピーカー用開口部Ｅ５０１Ｆの下方）には、３
ＤＬＥＤＥ５３のＬＥＤレンズを露出させるための３ＤＬＥＤ用開口部Ｅ５０１Ｇが設け
られる。
【０６５５】
また、第１パーツＥ５０１の右側面には、視差量調整スイッチＥ５５の操作部を側面方
向（当該右側面の法線方向）に露出させるための開口部Ｅ５０１Ｈが設けられる。また、
第１パーツＥ５０１の第３部分Ｅ５０１Ａには、複数のネジ孔Ｅ５０１Ｉが設けられる。
第１パーツＥ５０１は、第３ＢパーツＥ５０５とネジによって接続される。
【０６５６】
（第２パーツの説明）
次に、第２パーツＥ５０２について説明する。図１１２（ａ）は上側ハウジングＥ５を
構成する第２パーツＥ５０２の左側面図であり、図１１２（ｂ）は上側ハウジングＥ５を
構成する第２パーツＥ５０２の正面図であり、図１１２（ｃ）は上側ハウジングＥ５を構
成する第２パーツＥ５０２の右側面図であり、図１１２（ｄ）は上側ハウジングＥ５を構
成する第２パーツＥ５０２の背面図であり、図１１２（ｅ）は上側ハウジングＥ５を構成
する第２パーツＥ５０２の上面図であり、図１１２（ｆ）は上側ハウジングＥ５を構成す
る第２パーツＥ５０２の底面図である。図１１２（ｇ）は第２パーツＥ５０２に印刷を施
した場合の正面図である。
【０６５７】
第２パーツＥ５０２は、透明な樹脂で形成された平板状のパーツであり、上側ハウジン
グＥ５の正面を構成するパーツである。第２パーツＥ５０２は、第１パーツＥ５０１の第
３部分Ｅ５０１Ａの全体を覆う形状およびサイズであり、第１パーツＥ５０１の第３部分
Ｅ５０１Ａと略同一の形状および大きさに形成され、第１パーツＥ５０１の第３部分Ｅ５
０１Ａに接着される。これにより、第２パーツＥ５０２は、上側ハウジングＥ５の正面（
内側面）を形成する。また、第２パーツＥ５０２は、上側ハウジングＥ５の第１部分Ｅ６
の正面に相当する形状およびサイズを有する（ただし、厳密には、上述の通り、第３パー
ツＥ５０３の上面、両側面、底面の厚み分だけ小さい）。
【０６５８】
第２パーツＥ５０２の右側および左側には、スピーカーＥ５４の音抜き孔Ｅ５０２Ａが
設けられる。具体的には、音抜き孔Ｅ５０２Ａは、第１パーツＥ５０１のスピーカー用開
口部Ｅ５０１Ｅおよびスピーカー用開口部Ｅ５０１Ｆに対応した部分にそれぞれ設けられ
る。第１パーツＥ５０１と第２パーツＥ５０２とは、第１パーツＥ５０１に設けられた上
側ＬＣＤ用開口部Ｅ５０１Ｃに対応する領域、内側撮像部用開口部Ｅ５０１Ｄに対応する
領域、および、３ＤＬＥＤＥ５３用開口部Ｅ５０１Ｇに対応する領域を除く領域において
接着シートＥ５８によって接着される（図１０６参照）。
【０６５９】
また、第２パーツＥ５０２は、もともとは透明の部材であるが、少なくとも上側ＬＣＤ
用開口部Ｅ５０１Ｃに対応する領域、および、内側撮像部用開口部Ｅ５０１Ｄに対応する
領域が透明となるように、それ以外の領域において、裏面（第１パーツＥ５０１と接着さ
れる面）からスクリーン印刷（シルクスクリーン印刷）等により印刷が施される。また、
第１パーツＥ５０１の３ＤＬＥＤＥ５３用開口部Ｅ５０１Ｇに対応する領域には、透明抜
きの文字が裏面から印刷される。具体的には、図１１２（ｇ）に示すように、上側ＬＣＤ
用開口部Ｅ５０１Ｃに対応する領域、および、内側撮像部用開口部Ｅ５０１Ｄに対応する
領域以外の領域には、所定の色の印刷が施される（塗装される）。また、３ＤＬＥＤＥ５
３用開口部Ｅ５０１Ｇに対応する領域には、３ＤＬＥＤＥ５３が発光した場合に所定の文
字（例えば、「３Ｄ」）が表示されるように、透明抜きの文字（背景のみ所定の色で印刷
されて形成された文字）が印刷される。また、第２パーツＥ５０２の右端部近傍には、視
差量調整スイッチＥ５５の最下点位置に上側ＬＣＤＥ５１の立体表示がＯＦＦとなること
を示す透明抜きの文字（例えば、「ＯＦＦ」）が印刷される。なお、これらの印刷は同一
工程で一度に印刷される。
【０６６０】
これにより、上側ＬＣＤＥ５１、および、内側撮像部Ｅ５２に対応する部分が透明とな
ってこれらが正面から視認可能となるとともに、上側ＬＣＤＥ５１や内側撮像部Ｅ５２の
カバーとなり、また、３ＤＬＥＤＥ５３が発光すると文字が表示される一方、これら以外
の領域の裏側は視認不可能となる。従って、第１パーツＥ５０１と第２パーツＥ５０２と
を組み立てた場合に、第１パーツＥ５０１の第３部分Ｅ５０１Ａに設けられたネジ等を隠
蔽することができる。
【０６６１】
（第３パーツの説明）
次に、第３パーツＥ５０３について説明する。上述のように、第３パーツＥ５０３は、
外側の第３ＡパーツＥ５０４、および、内側の第３ＢパーツＥ５０５によって構成される
。すなわち、第３ＡパーツＥ５０４は組み立てられたときに背面側の表面になるパーツで
あり、第３ＢパーツＥ５０５は、その下層に存在するパーツである。図１１３（ａ）は上
側ハウジングＥ５を構成する第３ＡパーツＥ５０４の左側面図であり、図１１３（ｂ）は
上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の正面図であり、図１１３（ｃ）は
上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の右側面図であり、図１１３（ｄ）
は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の背面図であり、図１１３（ｅ）
は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の上面図であり、図１１３（ｆ）
は上側ハウジングＥ５を構成する第３ＡパーツＥ５０４の底面図である。また、図１１４
（ａ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の左側面図であり、図１１
４（ｂ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の正面図であり、図１１
４（ｃ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の右側面図であり、図１
１４（ｄ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の背面図であり、図１
１４（ｅ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の上面図であり、図１
１４（ｆ）は上側ハウジングＥ５を構成する第３ＢパーツＥ５０５の底面図である。
【０６６２】
第３パーツＥ５０３は、上側ハウジングＥ５の背面、左側面、右側面、上面、および、
第１連結部Ｅ７の一部（背面側部分）を構成するパーツである。第３パーツＥ５０３には
、当該第３パーツＥ５０３の背面、左側面、右側面および上面によって、凹部が形成され
る。第３パーツＥ５０３の当該凹部は、第１パーツＥ５０１の第３部分Ｅ５０１Ａ、およ
び、第２パーツＥ５０２を重ねて収容する。すなわち、第３パーツＥ５０３の凹部を正面
から見た場合の縦横サイズは、第１パーツＥ５０１の第３部分Ｅ５０１Ａおよび第２パー
ツＥ５０２の正面視の縦横サイズと略同じサイズに設計される。そして、当該第３パーツ
Ｅ５０３の凹部に、第１パーツＥ５０１の第３部分Ｅ５０１Ａおよび第２パーツＥ５０２
が重ね合わされて収容されることによって、上側ハウジングＥ５が形成される。
【０６６３】
図１１３に示されるように、第３ＡパーツＥ５０４は、上側ハウジングＥ５の背面を構
成する背面部Ｅ５０４Ａ、上側ハウジングＥ５の上面を構成する上面部Ｅ５０４Ｂ、上側
ハウジングＥ５の左側面を構成する左側面Ｅ５０４Ｃ、および、上側ハウジングＥ５の右
側面を構成する右側面Ｅ５０４Ｄを有する。第３ＡパーツＥ５０４の下端は開口している
。また、第３ＡパーツＥ５０４の背面部Ｅ５０４Ａには、外側撮像部（左）Ｅ５６ａを露
出させるための開口部Ｅ５０４Ｅ、および、外側撮像部（右）Ｅ５６ｂを露出させるため
の開口部Ｅ５０４Ｆが設けられる。また、第３ＡパーツＥ５０４の右側面の正面側端部に
は、視差量調整スイッチＥ５５を右側面方向および正面方向に露出させるための開口部Ｅ
５０４Ｇが設けられる。第３ＡパーツＥ５０４は、透明な樹脂によって形成される。
【０６６４】
また、図１１４に示されるように、第３ＢパーツＥ５０５は、背面部Ｅ５０５Ａ、上面
部Ｅ５０５Ｂ、左側面部Ｅ５０５Ｃ、右側面部Ｅ５０５Ｄ、底面部Ｅ５０５Ｊ、および、
背面部Ｅ５０５Ａの下端から下方に突出する突出部分Ｅ５０５Ｈを有する。突出部分Ｅ５
０５Ｈは、上側ハウジングＥ５の第１連結部Ｅ７の背面側部分を構成する。すなわち、第
３ＢパーツＥ５０５と第１パーツＥ５０１とが組み立てられた場合、第３ＢパーツＥ５０
５の突出部分Ｅ５０５Ｈと第１パーツＥ５０１の突出部分Ｅ５０１Ｂとによって、上側ハ
ウジングＥ５の第１連結部Ｅ７が形成される。また、第３ＢパーツＥ５０５の背面部Ｅ５
０５Ａ、上面部Ｅ５０５Ｂ、左側面部Ｅ５０５Ｃ、右側面部Ｅ５０５Ｄ、および、底面部
Ｅ５０５Ｊによって、第３パーツＥ５０３の上記凹部が形成される。そして当該凹部に、
第１パーツＥ５０１の第３部分Ｅ５０１Ａ、および、第２パーツＥ５０２が重ねて収容さ
れる。また、第３ＢパーツＥ５０５の背面部Ｅ５０５Ａには、外側撮像部（左）Ｅ５６ａ
を露出させるための開口部Ｅ５０５Ｅ、および、外側撮像部（右）Ｅ５６ｂを露出させる
ための開口部Ｅ５０５Ｆが設けられる。また、第３ＢパーツＥ５０５の右側面部Ｅ５０５
Ｄには、視差量調整スイッチＥ５５を右側面方向および正面方向に露出させるための開口
部Ｅ５０５Ｇが設けられる。また、第３ＢパーツＥ５０５の背面部Ｅ５０５Ａには、外側
撮像部用ＬＥＤＥ５７を露出させる開口部Ｅ５０５Ｉが形成される。
【０６６５】
第３ＡパーツＥ５０４の背面部Ｅ５０４Ａ、上面部Ｅ５０４Ｂ、左側面Ｅ５０４Ｃ、お
よび、右側面Ｅ５０４Ｄによって形成される凹部に、第３ＢパーツＥ５０５が嵌合する。
第３ＡパーツＥ５０４および第３ＢパーツＥ５０５は、両面テープ等で接着される。これ
によって、第３パーツＥ５０３が形成される。第３ＡパーツＥ５０４と第３ＢパーツＥ５
０５とが接着された場合、第３ＡパーツＥ５０４の開口部Ｅ５０４Ｅと第３ＢパーツＥ５
０５の開口部Ｅ５０５Ｅとが一致し、第３ＡパーツＥ５０４の開口部Ｅ５０４Ｆと第３Ｂ
パーツＥ５０５の開口部Ｅ５０５Ｆとが一致する。これにより、外側撮像部（左）Ｅ５６
ａおよび外側撮像部（右）Ｅ５６ｂが、上側ハウジングＥ５の背面方向に露出される。ま
た、第３ＡパーツＥ５０４と第３ＢパーツＥ５０５とが接着された場合、第３ＡパーツＥ
５０４の開口部Ｅ５０４Ｇと第３ＢパーツＥ５０５の開口部Ｅ５０５Ｇとが一致する。こ
れにより、視差量調整スイッチＥ５５が右側面方向および正面方向に露出される。また、
第３ＡパーツＥ５０４は、透明な樹脂によって形成されるため、第３ＢパーツＥ５０５の
外側（背面側）に第３ＡパーツＥ５０４が接着されても、外側撮像部用ＬＥＤＥ５７の光
は遮蔽されない。なお、第３ＡパーツＥ５０４および第３ＢパーツＥ５０５が一体として
形成されることによって、第３パーツＥ５０３が形成されてもよい。
【０６６６】
以上のように、第１パーツＥ５０１、第２パーツＥ５０２、第３ＡパーツＥ５０４、お
よび、第３ＢパーツＥ５０５が組み立てられることによって、上側ハウジングＥ５が形成
される。
【０６６７】
（各パーツの関係）
次に、各パーツの大きさの関係について説明する。まず、第５パーツＥ２０１と第３パ
ーツＥ５０３のサイズについて説明する。
【０６６８】
図１１５（ａ）は、第５パーツＥ２０１の正面図であり、第５パーツＥ２０１の第２部
分Ｅ３に対応する部分の正面側の縦横サイズを示す図である。図１１５（ｂ）は、第５パ
ーツＥ２０１の底面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面
側の横方向サイズを示す図である。図１１５（ｃ）は、第５パーツＥ２０１の左側面図で
あり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側の縦方向サイズを示す
図である。なお、図１１５（ｂ）では、説明のため第５パーツＥ２０１の第２連結部Ｅ４
に対応する部分が省略されている。
【０６６９】
図１１５（ａ）〜（ｃ）に示すように、第５パーツＥ２０１の第２部分Ｅ３に対応する
部分の正面側端部の外縁の横方向サイズは、Ｘ１（ｍｍ）に設定される。なお、第５パー
ツＥ２０１の第２部分Ｅ３に対応する部分は、図１１５（ａ）に示すように、略矩形形状
であり、第５パーツＥ２０１のうちの、第２連結部Ｅ４（Ｅ４ａおよびＥ４ｂ）を除く部
分である。また、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側端部の外縁
の縦方向サイズは、Ｙ１（ｍｍ）に設定される。ここで、Ｘ１は、第５パーツＥ２０１の
右側面と正面とが交差する端部と、第５パーツＥ２０１の左側面と正面とが交差する端部
との間の正面視距離（正面から見た距離）である。また、Ｙ１は、第５パーツＥ２０１の
底面と正面とが交差する端部と、第５パーツＥ２０１の正面の第２部分Ｅ３に対応する部
分の上端との間の正面視距離である。
【０６７０】
一方、第３パーツＥ５０３のサイズについて説明する。図１１６（ａ）は、上側ハウジ
ングＥ５の正面図であり、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の縦横サイ
ズを示す図である。図１１６（ｂ）は、上側ハウジングＥ５の上面図であり、第３パーツ
Ｅ５０３の第１部分Ｅ６に対応する部分の横方向サイズを示す図である。図１１６（ｃ）
は、上側ハウジングＥ５の左側面図であり、第３パーツＥ５０３の第１部分Ｅ６に対応す
る部分の縦方向サイズを示す図である。
【０６７１】
図１１６（ａ）〜（ｃ）に示すように、第３パーツＥ５０３の第１部分Ｅ６に対応する
部分の正面側端部の外縁の横方向サイズは、Ｘ２（ｍｍ）に設定される。また、第３パー
ツＥ５０３の第１部分Ｅ６に対応する部分の正面側端部の外縁の縦方向サイズは、Ｙ２（
ｍｍ）に設定される。ここで、Ｘ２は、第３パーツＥ５０３の右側面の正面側端部と、第
３パーツＥ５０３の左側面の正面側端部との間の正面視距離である。また、Ｙ２は、第３
パーツＥ５０３の上面の正面側端部と、第３パーツＥ５０３の左右側面の下端の正面側端
部との間の正面視距離である。
【０６７２】
ここで、第３パーツＥ５０３は、上側ハウジングＥ５の背面、左側面、右側面、上面、
および、第１連結部Ｅ７の背面側部分を構成するパーツである。上側ハウジングＥ５は、
略矩形の第１部分Ｅ６と、第１連結部Ｅ７とで構成される。第３パーツＥ５０３の第１部
分Ｅ６に対応する部分とは、第３パーツＥ５０３のうち、上側ハウジングＥ５の第１部分
Ｅ６に対応する部分、すなわち、略矩形形状の部分である。言い換えると、第３パーツＥ
５０３の第１部分Ｅ６に対応する部分は、第３パーツＥ５０３のうちの第１連結部Ｅ７の
背面側部分を除く部分である。
【０６７３】
また、上述のように第３パーツＥ５０３の正面側には、当該第３パーツＥ５０３の各面
によって凹部が形成され、当該凹部は、第１パーツＥ５０１および第２パーツＥ５０２を
収容する。第３パーツＥ５０３の凹部に第１パーツＥ５０１および第２パーツＥ５０２が
収納されると、上側ハウジングＥ５が形成される。すなわち、第３パーツＥ５０３の第１
部分Ｅ６に対応する部分（すなわち、略矩形部分）の正面側端部（正面端）の外縁は、上
側ハウジングＥ５が形成された場合の上側ハウジングＥ５の第１部分Ｅ６（略矩形部分）
の正面端の外縁と一致する。従って、図１１６では、上側ハウジングＥ５の第１部分Ｅ６
の正面端の外縁の縦横サイズが示されているが、これは、第３パーツＥ５０３の第１部分
Ｅ６に対応する部分の正面端の外縁の縦横サイズを示している。
【０６７４】
なお、上側ハウジングＥ５と下側ハウジングＥ２とが連結されて折り畳まれた場合、折
り畳み時の上側ハウジングＥ５の第１部分Ｅ６の上端（図１１６（ａ）に示す開状態にお
ける第１部分の下端）は、下側ハウジングＥ２の第２部分の上端（図１１５（ａ）に示す
第２部分に対応する部分の上端）と一致する。
【０６７５】
また、図１１５（ｂ）では、第５パーツＥ２０１の底面における正面端の横方向サイズ
Ｘ１が示されているが、第５パーツＥ２０１の第２部分Ｅ３において正面端の横方向サイ
ズは全体にわたってＸ１である。すなわち、第５パーツＥ２０１の両側面は底面に対して
垂直に延びる（図１１５（ｂ）の紙面に対して垂直に延びる）ため、第２部分Ｅ３におい
て第５パーツＥ２０１の側面の全体に渡って正面端の横方向サイズはＸ１である。同様に
、第５パーツＥ２０１の底面は両側面に対して垂直に延びる（図１１５（ｃ）の紙面に対
して垂直に延びる）ため、第５パーツＥ２０１の底面の全体に渡って正面端の縦方向サイ
ズはＹ１である。さらに、同様に、図１１６（ｂ）では、第３パーツＥ５０３の上面にお
ける正面端の横方向サイズＸ２が示されているが、第３パーツＥ５０３の両側面は上面に
対して垂直に延びる（図１１６（ｂ）の紙面に対して垂直に延びる）ため、第１部分Ｅ６
において第３パーツＥ５０３の側面の全体に渡って正面端の横方向サイズはＸ２である。
同様に、第３パーツＥ５０３の上面は両側面に対して垂直に延びる（図１１６（ｃ）の紙
面に対して垂直に延びる）ため、第３パーツＥ５０３の上面の全体に渡って正面端の縦方
向サイズはＹ２である。
【０６７６】
ここで、Ｘ２はＸ１よりも大きく設定され、Ｙ２はＹ１よりも大きく設定される。すな
わち、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の正面側端部の外縁の横方向サ
イズＸ１は、第３パーツＥ５０３の第１部分Ｅ６に対応する部分の正面側端部の外縁の横
方向サイズＸ２よりも小さく設定される。また、第５パーツＥ２０１の第２部分Ｅ３に対
応する部分の正面側端部の外縁の縦方向サイズＹ１は、第３パーツＥ５０３の第１部分Ｅ
６に対応する部分の正面側端部の外縁の縦方向サイズＹ２よりも小さく設定される。
【０６７７】
次に、第５パーツＥ２０１と第４パーツＥ２０２のサイズについて説明する。図１１７
（ａ）は、第５パーツＥ２０１の背面図であり、第５パーツＥ２０１の第２部分Ｅ３に対
応する部分の背面側の縦横サイズを示す図である。図１１７（ｂ）は、第５パーツＥ２０
１の底面図であり、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側の横方向
サイズを示す図である。図１１７（ｃ）は、第５パーツＥ２０１の左側面図であり、第５
パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側の縦方向サイズを示す図である。
【０６７８】
図１１７（ａ）〜（ｃ）に示すように、第５パーツＥ２０１の第２部分Ｅ３に対応する
部分の背面側端部の外縁の横方向サイズは、Ｘ３（ｍｍ）に設定される。また、第５パー
ツＥ２０１の第２部分Ｅ３に対応する部分の背面側端部の外縁の縦方向サイズは、Ｙ３（
ｍｍ）に設定される。ここで、Ｘ３は、第５パーツＥ２０１の左側面の背面側の端部と、
第５パーツＥ２０１の右側面の背面側の端部との間の正面視距離である。また、Ｙ３は、
第５パーツＥ２０１の底面の背面側の端部と、第５パーツＥ２０１の第２部分Ｅ３に対応
する部分の上端との間の正面視距離である。
【０６７９】
なお、図１１７（ｂ）では、第５パーツＥ２０１の底面における背面端の横方向サイズ
Ｘ３が示されているが、第５パーツＥ２０１の両側面は底面に対して垂直に延びる（図１
１７（ｂ）の紙面に対して垂直に延びる）ため、第２部分Ｅ３において第５パーツＥ２０
１の側面の全体に渡って背面端の横方向サイズはＸ３である。同様に、第５パーツＥ２０
１の底面は両側面に対して垂直に延びる（図１１７（ｃ）の紙面に対して垂直に延びる）
ため、第５パーツＥ２０１の底面の全体に渡って背面端の縦方向サイズはＹ３である。
【０６８０】
一方、第４パーツＥ２０２のサイズについて説明する。図１１８（ａ）は、第４パーツ
Ｅ２０２の正面図であり、第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側の
縦横サイズを示す図である。図１１８（ｂ）は、第４パーツＥ２０２の底面図であり、第
４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側の横方向サイズを示す図である
。図１１８（ｃ）は、第４パーツＥ２０２の左側面図であり、第４パーツＥ２０２の第２
部分Ｅ３に対応する部分の正面側の縦方向サイズを示す図である。
【０６８１】
図１１８（ａ）〜（ｃ）に示すように、第４パーツＥ２０２の第２部分Ｅ３に対応する
部分の正面側端部の外縁の横方向サイズは、Ｘ４（ｍｍ）に設定される。第４パーツＥ２
０２の第２部分Ｅ３に対応する部分は、下側ハウジングＥ２が構成された場合の第２部分
Ｅ３に対応する部分であり、図１１８（ａ）および図１１８（ｃ）に示す第２部分に対応
する部分の上端より下方の領域である。すなわち、第４パーツＥ２０２の第２部分Ｅ３に
対応する部分は、第４パーツＥ２０２のうちの一部で、略矩形形状の部分である。また、
第４パーツＥ２０２の第２部分Ｅ３に対応する部分の正面側端部の外縁の縦方向サイズは
、Ｙ４（ｍｍ）に設定される。ここで、Ｘ４は、第４パーツＥ２０２の左側面の正面側の
端部と、第４パーツＥ２０２の右側面の正面側の端部と間の正面視距離である。また、Ｙ
４は、第４パーツＥ２０２の底面の正面側の端部と、第４パーツＥ２０２の第２部分Ｅ３
に対応する部分の上端との間の正面視距離である。なお、図１１８（ａ）および図１１８
（ｃ）において第２部分に対応する部分の上端が示されているが、第２部分に対応する部
分の上端は、第４パーツＥ２０２と第５パーツＥ２０１とが組み立てられた場合、第５パ
ーツＥ２０１の第２連結部Ｅ４の突起部Ｅ４ａの下端（図１１５に示す当該第５パーツＥ
２０１の第２部分に対応する部分の上端）と一致する。
【０６８２】
なお、図１１８（ｂ）では、第４パーツＥ２０２の底面における正面端の横方向サイズ
Ｘ４が示されているが、第４パーツＥ２０２の両側面は底面に対して垂直に延びる（図１
１８（ｂ）の紙面に対して垂直に延びる）ため、第２部分Ｅ３において第４パーツＥ２０
２の側面の全体に渡って正面端の横方向サイズはＸ４である。同様に、第４パーツＥ２０
２の底面は両側面に対して垂直に延びる（図１１８（ｃ）の紙面に対して垂直に延びる）
ため、第４パーツＥ２０２の底面の全体に渡って正面端の縦方向サイズはＹ４である。
【０６８３】
ここで、Ｘ４はＸ３よりも大きく設定され、Ｙ４はＹ３よりも大きく設定される。すな
わち、第５パーツＥ２０１の第２部分Ｅ３に対応する部分の背面側端部の外縁の横方向サ
イズＸ３は、第４パーツＥ２０２の第２部分に対応する部分の正面側端部の外縁の横方向
サイズＸ４よりも、第２部分Ｅ３の全体に渡って、小さく設定される。また、第５パーツ
Ｅ２０１の第２部分Ｅ３に対応する部分の背面側端部の外縁の縦方向サイズＹ３は、第２
部分Ｅ３の全体に渡って、第４パーツＥ２０２の第２部分に対応する部分の正面側端部の
外縁の縦方向サイズＹ４よりも小さく設定される。
【０６８４】
なお、Ｘ１＞Ｘ３、Ｘ２＞Ｘ４、Ｙ１＞Ｙ３、Ｙ２＞Ｙ４に設定される。従って、上記
各パーツのそれぞれのサイズは以下の式１および式２を満たす。
Ｘ２＞Ｘ４＞Ｘ１＞Ｘ３      （１）
Ｙ２＞Ｙ４＞Ｙ１＞Ｙ３      （２）
【０６８５】
以上のような各パーツを組み合わせて上側ハウジングＥ５および下側ハウジングＥ２を
構成して折り畳むと、図１１９Ａおよび図１１９Ｂに示すように、ゲーム装置Ｅ１は３層
構造となり、中間の層（第５パーツＥ２０１）が他の層（上側ハウジングＥ５の層および
第４パーツＥ２０２の層）よりも凹んだ形状となる。図１１９Ａは、折り畳んだ状態のゲ
ーム装置Ｅ１の底面の左右端部を拡大した図である。図１１９Ｂは、折り畳んだ状態のゲ
ーム装置Ｅ１の左側面の上下端部を拡大した図である。
【０６８６】
図１１９Ａに示すように、ゲーム装置Ｅ１を折り畳んだ場合、第１部分Ｅ６および第２
部分Ｅ３において、第５パーツＥ２０１の側面の正面端（当該第５パーツＥ２０１の側面
と正面とが交差する端部；図１１９Ａにおける第５パーツＥ２０１の左右両端部の上端）
は、第３パーツＥ５０３の側面の正面端（折り畳み時（図１０１）の背面端；図１１９Ａ
における第３パーツＥ５０３の左右両端部の下端）よりも内側となる（Ｘ１＜Ｘ２）。こ
こで、各パーツが組み立てられて上側ハウジングＥ５および下側ハウジングＥ２が構成さ
れた場合、第５パーツＥ２０１の横方向の中心と、第３パーツＥ５０３の横方向の中心と
は一致する。このように第５パーツＥ２０１の横方向の中心と、第３パーツＥ５０３の横
方向の中心とが一致するように組み立てられるため、Ｘ１＜Ｘ２を満たす第５パーツＥ２
０１および第３パーツＥ５０３は、上記のような関係となる。すなわち、ゲーム装置とし
て組み立てられた状態において、第５パーツＥ２０１の左右側面の正面端は、第２部分の
全体にわたって、第３パーツＥ５０３の左右側面の正面端（上側ハウジングＥ５を開いた
状態における正面端であり、折り畳み状態における背面端）よりも内側になる。
【０６８７】
また、図１１９Ｂに示すように、第１部分Ｅ６および第２部分Ｅ３の全体において、第
５パーツＥ２０１の底面の正面端（当該第５パーツＥ２０１の底面の正面側端部；図１１
９Ｂにおける第５パーツＥ２０１の底面の右端部）は、第３パーツＥ５０３の上面の正面
端（上側ハウジングＥ５を開いた状態における上面の正面端であり、折り畳み状態（図１
０１（ｂ））における底面の背面端；図１１９Ｂにおける第３パーツＥ５０３の下端の左
端）よりも内側となる（Ｙ１＜Ｙ２）。ここで、各パーツが組み立てられて上側ハウジン
グＥ５および下側ハウジングＥ２が構成された場合において、上側ハウジングＥ５が折り
畳まれた場合、第５パーツＥ２０１の第２部分に対応する部分の上端は、第３パーツＥ５
０３の第１部分に対応する部分の上端と一致する（図１１９Ｂ参照）。このため、上記の
ように、ゲーム装置として組み立てられた状態において、第５パーツＥ２０１の底面の正
面端が、当該底面全体に渡って、折り畳み時の第３パーツＥ５０３の底面の背面端（折り
畳み状態における底面の背面端であって、開いた状態における上面の正面端）よりも内側
となる。
【０６８８】
また、図１１９Ａに示すように、第２部分Ｅ３の全体において、第５パーツＥ２０１の
側面の
背面端（当該第５パーツＥ２０１の側面の背面側端部；図１１９Ａにおける第５パーツＥ
２０１の左右両端部の下端）は、第４パーツＥ２０２の側面の正面端（当該第４パーツＥ
２０２の側面の正面側端部；図１１９Ａにおける第４パーツＥ２０２の左右両端部の上端
）よりも内側となる（Ｘ３＜Ｘ４）。ここで、各パーツが組み立てられて上側ハウジング
Ｅ５および下側ハウジングＥ２が構成された場合、第５パーツＥ２０１の横方向の中心と
、第４パーツＥ２０２の横方向の中心とは一致する。このように第５パーツＥ２０１の横
方向の中心と、第４パーツＥ２０２の横方向の中心とが一致するように組み立てられるた
め、Ｘ３＜Ｘ４を満たす第５パーツＥ２０１および第４パーツＥ２０２は、上記のような
関係となる。すなわち、第５パーツＥ２０１の左右側面の背面端は、第２部分Ｅ３の全体
にわたって、第４パーツＥ２０２の左右側面の正面端よりも内側になる。
【０６８９】
また、図１１９Ｂに示すように、第２部分Ｅ３の全体において、第５パーツＥ２０１の
底面の背面端（第５パーツＥ２０１の底面の背面側端部；図１１９Ｂにおける第５パーツ
Ｅ２０１の底面の左端部）は、第４パーツＥ２０２の底面の正面端（第４パーツＥ２０２
の底面の正面側端部；図１１９Ｂにおける第４パーツＥ２０２の底面の右端部）よりも内
側となる（Ｙ３＜Ｙ４）。ここで、各パーツが組み立てられて上側ハウジングＥ５および
下側ハウジングＥ２が構成された場合において、第５パーツＥ２０１の第２部分に対応す
る部分の上端は、第４パーツＥ２０２の第２部分に対応する部分の上端と一致する。この
ため、上記のように、第５パーツＥ２０１の底面の背面端が、当該底面全体に渡って、第
４パーツＥ２０２の底面の正面端よりも内側となる。これにより、ゲーム装置Ｅ１は、折
り畳まれた状態において、側面および底面に連続した凹部が形成される。
【０６９０】
以上のように形成された各パーツを組み立ててゲーム装置Ｅ１を構成すると、図１１９
Ａおよび図１１９Ｂに示すように、ゲーム装置Ｅ１は、折り畳まれた状態において、側面
および底面において、中間部に連続的につながった凹部が形成される。すなわち、図１１
９Ａに示すように、ゲーム装置Ｅ１は、折り畳まれた状態において中間層が凹状となった
３層構造となる。そして、中間層の左側には音量ボリュームスイッチＥ３５が配設され、
中間層の右側には無線スイッチＥ３７が配設される（図１１９Ａ）。
【０６９１】
このように、各スイッチ（Ｅ３５、Ｅ３７）がゲーム装置Ｅ１を折り畳んだ場合に凹状
となる中間層に配設されるため、ゲーム装置Ｅ１を使用していない間の当該スイッチの誤
操作を防止することができる。すなわち、ゲーム装置Ｅ１を使用していない間はゲーム装
置Ｅ１は折り畳まれた状態であり、当該状態では、ゲーム装置Ｅ１の中間層は凹状となる
。このため、各スイッチ（Ｅ３５およびＥ３７）のキートップが側面や底面方向に突出す
る度合いは、折り畳まれた状態のゲーム装置Ｅ１が２層構造である場合（すなわち、中間
層が凹状となっていない場合）と比べて、小さくなる。下側ハウジングＥ２が１層で形成
されたゲーム装置が折り畳まれた場合、各スイッチ（Ｅ３５およびＥ３７）のキートップ
は、下側ハウジングの側面方向に突出するため、ゲーム装置Ｅ１の携帯時に当該スイッチ
にユーザの指や他の物体が接触することで誤操作が発生しやすくなる。しかしながら、ゲ
ーム装置Ｅ１を折り畳んだ場合に凹状となる中間層が形成されて各スイッチが配設される
ことによって、各スイッチのキートップが側面方向に突出する度合いは小さくなり、この
ため、折り畳んだときの誤操作を防止することができる。
【０６９２】
また、ゲーム装置Ｅ１は、閉じた場合において中間層が凹んだ３層構造であるため、開
閉しやすい。すなわち、ゲーム装置Ｅ１は、閉じた状態では、３層構造の中間に凹部が形
成されているため、当該凹部にユーザの指が掛かりやすく、上側ハウジングＥ５を持ち上
げやすい。
【０６９３】
また、ゲーム装置Ｅ１は上記中間層が凹んだ３層構造であるため、ＳＤカードユニット
Ｅ３６のＳＤカード挿入口を覆うカバーＥ３６ａを開閉しやすい。ＳＤカードユニットＥ
３６のＳ
Ｄカード挿入口は、第４パーツＥ２０２の左側面に正面側がオープンに設けられている（
図１０９（ａ）参照）。当該ＳＤカード挿入口は、カバーＥ３６ａに覆われている。中間
層（第５パーツＥ２０１）の背面側は、下層（第４パーツＥ２０２）の正面側よりも凹ん
でいるため、当該カバーＥ３６ａの正面側端部は下層と中間層との境界において僅かに露
出される。従って、ユーザは、カバーＥ３６の正面側端部を指で引っ掛けやすく、カバー
Ｅ３６を開閉しやすい。さらに、第５パーツＥ２０１の左側面であって、第４パーツＥ２
０２に設けられたＳＤカード挿入口に対応する部分には、凹部Ｅ２０１Ｋが形成されてい
るため（図１０８（ａ）参照）、よりカバーＥ３６を開閉しやすい。
【０６９４】
また、ゲーム装置Ｅ１を使用する場合、ユーザはゲーム装置Ｅ１を開いて、両手で下側
ハウジングＥ２を把持し、上側ＬＣＤＥ５１を正視する。図１２０は、ユーザがゲーム装
置Ｅ１を把持してゲーム装置Ｅ１を操作する様子を示す図である。各スイッチ（Ｅ３５お
よびＥ３７）は、下側ハウジングＥ２の左右側面の中間層（第５パーツＥ２０１）に配設
されるため、ユーザが下側ハウジングＥ２を把持した場合、ユーザは人差し指や中指等で
操作しやすい。すなわち、各スイッチ（Ｅ３５およびＥ３７）が配設された下側ハウジン
グＥ２の第５パーツＥ２０１（中間層）は、第４パーツＥ２０２よりも内側に凹んでいる
。このため、ユーザはこの凹み（第４パーツＥ２０２の側面の正面端と第５パーツＥ２０
１の側面とで形成される凹み）に沿って指を上下方向にスライドさせることができる。従
って、ユーザは、上側ＬＣＤＥ５１を正視しながら（各スイッチを目視せずに）、各スイ
ッチ（Ｅ３５およびＥ３７）の位置を確認することができ、各スイッチ（Ｅ３５およびＥ
３７）を操作することができる。
【０６９５】
また、各ＬＥＤＥ２８Ｂ〜Ｅ２８Ｄは、第５パーツＥ２０１（中間層）の側面および底
面に配設される。側面や底面に設けることにより、閉じているときも開いているときも視
認できる。しかしながら、側面や底面にＬＥＤを設けると正面からの視認性が悪い。そこ
で、凹部を利用してＬＥＤレンズを突出させることにより、正面からもＬＥＤの点灯状態
を視認することができる。また、無線スイッチＥ３７とその機能の状態を示すＬＥＤＥ２
８Ｂを同一面に近接して設けることができて、直感的に把握できる。ゲーム装置Ｅ１の使
用状態（開いた状態）においては、各ＬＥＤＥ２８Ｂ〜Ｅ２８ＤのＬＥＤレンズは、側面
方向および底面方向に僅かに突出する。図１２１（ａ）は、ゲーム装置Ｅ１を開いた状態
の正面視において電源ＬＥＤＥ２８Ｃおよび充電ＬＥＤＥ２８Ｄが配設される部分を拡大
して示した図である。図１２１（ｂ）は、ゲーム装置Ｅ１を開いた状態の正面視において
無線ＬＥＤＥ２８Ｂが配設される部分を拡大して示した図である。図１２１（ａ）および
Ｂに示されるように、各ＬＥＤＥ２８Ｂ〜Ｅ２８Ｄは、ゲーム装置Ｅ１を開いた状態の正
面視において、僅からながら底面方向および側面（右側面）方向に突出する。このため、
開いた状態においてゲーム装置Ｅ１を正視した場合、ユーザは、各ＬＥＤＥ２８Ｂ〜Ｅ２
８Ｄを視認することができるため、ゲーム装置Ｅ１の状態（電源のＯＮ／ＯＦＦや無線通
信が確立しているか否か等）を確認することができる。また、これらは凹状の中間層に設
けられるため、ＬＥＤレンズを突出させても、装置の折りたたみ時に装置の側面から突出
する度合いを無くすまたは少なくすることができる。
【０６９６】
また、ゲーム装置Ｅ１は、上記３層構造となっているため、各層の色彩や模様等を変え
ることにより、多様なデザインバリエーション（色彩や模様、質感等）を有することが可
能である。例えば、上層（上側ハウジングＥ５）、中間層（第５パーツＥ２０１）、およ
び、下層（第４パーツＥ２０２および第６パーツＥ２０３）を同系色にして各層の色の濃
さを変えることができる。また、例えば、３つの層をそれぞれ異なる色にすることができ
る。さらには、第６パーツＥ２０３を別の色にすれば、さらに、カラーバリエーションを
増やすことができる。
【０６９７】
また、ゲーム装置Ｅ１の上側ハウジングＥ５の内側面は、透明領域を有する平板である
第２パーツＥ５０２によって覆われている。このため、第１パーツＥ５０１と第３パーツ
Ｅ５０３と
を締結するネジが内側面に露出しない。また、上側ハウジングＥ５の内側面の全面が第２
パーツＥ５０２によって覆われることによって、当該内側面に配設される上側ＬＣＤＥ５
１と内側面との一体感、統一感を持たせることができる。これにより、ユーザを上側ＬＣ
ＤＥ５１に注目させることができる。すなわち、上側ハウジングＥ５の内側面は凹凸がな
く、フラットに形成されるため、ユーザが上側ハウジングＥ５の内側面を正視した場合に
、より上側ＬＣＤＥ５１に注目しやすい。上側ＬＣＤＥ５１に表示される立体画像をユー
ザが見る場合、ユーザは、目の焦点を画面より手前や画面の奥方向に合わせる必要がある
。この場合において、上側ハウジングＥ５の内側面に凹凸があると、目の焦点を合わせ難
い場合がある。しかしながら、上側ハウジングＥ５の内側面は第２パーツＥ５０２によっ
て覆われているため、ユーザは上側ＬＣＤＥ５１をより見やすい。
【０６９８】
また、第２パーツＥ５０２は、上側ＬＣＤＥ５１や内側撮像部Ｅ５２に対応する領域以
外の領域が裏面から印刷されて、第１パーツＥ５０１に接着される（図１１２（ｇ））。
また、第２パーツＥ５０２には、ＬＥＤを覆うとともに、ＬＥＤに対応する領域に透明抜
き文字が印刷される。このように、第１パーツＥ５０１と第２パーツＥ５０２とが分離し
ていることにより、上側ハウジングＥ５に印刷を施す際の印刷工程を効率化することがで
きる。例えば、第１パーツＥ５０１に直接印刷が行われて上側ハウジングＥ５の内側面を
構成する場合、まず、金型によって形成されたハウジング部材に塗装がなされる。塗装さ
れたハウジング部材は、所定時間乾燥させる必要がある。乾燥されたハウジング部材は、
タンポ印刷により印刷が行われる。そして、印刷が行われた後、表面保護のためのコーテ
ィング等がなされる。これらの工程は、それぞれが独立した工程であり、各工程はそれぞ
れ異なる装置によって行われる。また、タンポ印刷では、ハウジング部材の位置を正確に
固定する必要があり、位置が正確に固定されていない場合、印刷がずれることがある。一
方、本実施形態のように、第２パーツＥ５０２に印刷が施されて第１パーツＥ５０１に接
着される場合、上記印刷工程を効率化することができる。すなわち、第１パーツＥ５０１
と第２パーツＥ５０２とは、別々の工程で形成され、第１パーツＥ５０１が塗装されて乾
燥されている間に、第２パーツＥ５０２に印刷を施すことができる。第２パーツＥ５０２
は、ハードコートされた平板状の透明樹脂にスクリーン印刷によって瞬間的に印刷を行う
ことができる。このように、２つのパーツによって構成される場合、並列的に各工程を行
うことができ、印刷に要する時間が異なる。以上のように、第１パーツＥ５０１と第２パ
ーツＥ５０２とが分離していることにより、上側ハウジングＥ５に印刷を施す際の印刷工
程を効率化することができる。また、透明な部材である第２パーツＥ５０２に印刷が行わ
れて、背面にＬＥＤが配置されることにより、透明抜きの文字等、様々な印刷が可能であ
り、これらの文字等をＬＥＤで光らせることができる。
【０６９９】
また、第２パーツＥ５０２は上側ハウジングＥ５の全面を覆うため、当該第２パーツＥ
５０２は、内側撮像部Ｅ５２のレンズカバーを兼ねることができる。
【０７００】
また、下側ハウジングＥ２の背面は、略全面が第６パーツＥ２０３で覆われているため
、第４パーツＥ２０２および第５パーツＥ２０１を締結するネジを隠蔽することができる
。これらのネジが第６パーツＥ２０３で隠蔽されるため、外観上の制限を受けることなく
下側ハウジングＥ２の内部に収容する各部品の数や配置を設計することができ、また、強
度上必要なネジを配置する自由度を上げることができる。また、第６パーツＥ２０３が下
側ハウジングＥ２の背面を構成するため、当該第６パーツＥ２０３の色彩や模様等を変え
ることにより、多様なデザインバリエーションを持たせることができる。例えば、第６パ
ーツＥ２０３が下側ハウジングＥ２の背面の一部（例えば、バッテリーＥ４１が配設され
る部分）のみを覆い、その他の部分が第４パーツＥ２０２の背面又は他の部材で構成され
る場合、下側ハウジングＥ２の背面は、複数の領域によって形成される。このため、下側
ハウジングＥ２の背面全体に模様を付する場合、各領域の境界が不連続となって外観上好
ましくなく、複雑な模様を背面に付することが難しくなる。しかしながら、下側ハウジン
グＥ２の背面の全面が第６パーツＥ２０３で覆われるため、複雑な模様等を付することが
可能となる。
【０７０１】
また、下側ハウジングＥ２の内側面には、シートキーＥ２７ａ〜Ｅ２７Ｃが配設される
。ゲーム装置Ｅ１は、多数の操作用のボタン等（Ｅ２３、Ｅ２４、Ｅ２５）を有しており
、シートキーＥ２７ａ〜Ｅ２７Ｃは、これら操作用ボタン等（Ｅ２３、Ｅ２４、Ｅ２５）
とは異なる用途で用いられる。すなわち、操作用ボタン等（Ｅ２３、Ｅ２４、Ｅ２５）は
主にゲーム中に出現するキャラクタ等の操作に用いられるが、シートキーＥ２７ａ〜Ｅ２
７Ｃは、主に画面の切り替えやゲームのスタートや中断等、特別な用途に用いられる。こ
のように、用途の異なるキー（Ｅ２７Ａ〜Ｅ２７Ｃ）が種類の異なるシートキーによって
構成されるため、多数の操作ボタンを有することによってユーザが混乱することを防止す
ることができ、誤操作を防止することができる。すなわち、多数のスイッチやボタン等を
有するゲーム装置Ｅ１では、ユーザがある操作をする場合に、どのスイッチやボタンを押
したらいいのか分かり難い場合があるため、混乱しやすいことがある。しかしながら、ゲ
ーム装置Ｅ１のように、用途の異なるキーをシートキーで構成することにより、このよう
な混乱や誤操作を防止することができる。
【０７０２】
（ゲーム装置Ｅ１の内部構成）
次に、図１２２を参照して、ゲーム装置Ｅ１の内部の電気的構成について説明する。図
１２２は、ゲーム装置Ｅ１の内部構成を示すブロック図である。図１２２に示すように、
ゲーム装置Ｅ１は、上述した各部に加えて、情報処理部Ｅ４２、メインメモリＥ４３、デ
ータ保存用内部メモリＥ４４、リアルタイムクロック（ＲＴＣ）Ｅ４５、加速度センサＥ
４６、ジャイロセンサＥ４９、および、電源回路Ｅ４８等の電子部品を備えている。これ
らの電子部品は、電子回路基板上に実装されて下側ハウジングＥ２内に収納される。
【０７０３】
情報処理部Ｅ４２は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐ
ｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｅ４２１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ  
Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）Ｅ４２２等を含む情報処理手段である。本実施形態で
は、所定のプログラムがゲーム装置Ｅ１内のメモリ（例えばゲームカードユニットＥ３２
に接続されたゲームカードＥ７０やデータ保存用内部メモリＥ４４）に記憶されている。
情報処理部Ｅ４２のＣＰＵＥ４２１は、当該所定のプログラムを実行することによって、
上記外側撮像部Ｅ５６や内側撮像部Ｅ５２を用いて画像を撮像したり、所定のゲームを行
ったりする。なお、情報処理部Ｅ４２のＣＰＵＥ４２１によって実行されるプログラムは
、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部Ｅ４２は
、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）Ｅ４２３を含む。情報処理部Ｅ４２のＧＰＵＥ４２２
は、情報処理部Ｅ４２のＣＰＵＥ４２１からの命令に応じて画像を生成し、ＶＲＡＭＥ４
２３に描画する。そして、情報処理部Ｅ４２のＧＰＵＥ４２２は、ＶＲＡＭＥ４２３に描
画された画像を上側ＬＣＤＥ５１及び／又は下側ＬＣＤＥ２１に出力し、上側ＬＣＤＥ５
１及び／又は下側ＬＣＤＥ２１に当該画像が表示される。
【０７０４】
情報処理部Ｅ４２には、メインメモリＥ４３、ゲームカードユニットＥ３２、ＳＤカー
ドユニットＥ３６、データ保存用内部メモリＥ４４、無線通信モジュールＥ３９、赤外線
通信モジュールＥ３０、ＲＴＣＥ４５、加速度センサＥ４６、各ＬＥＤＥ２８Ａ〜Ｄ、３
ＤＬＥＤＥ５３、十字キーＥ２３、各ボタン（操作ボタンユニットＥ２４、ボタンＥ２７
Ａ〜Ｃ、Ｅ２９Ａ〜Ｂ）、アナログキーＥ２５、下側ＬＣＤＥ２１、上側ＬＣＤＥ５１、
外側撮像部Ｅ５６、内側撮像部Ｅ５２、各スイッチ（音量ボリュームスイッチＥ３５、無
線スイッチＥ３７、視差量調整スイッチＥ５５）、および、インターフェイス（Ｉ／Ｆ）
回路４７等が接続される。
【０７０５】
メインメモリＥ４３は、情報処理部Ｅ４２（のＣＰＵＥ４２１）のワーク領域やバッフ
ァ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリＥ４３は、上
記所定のプログラムを実行中に用いられる各種データを一時的に記憶したり、外部（ゲー
ムカードＥ７０や他の機器等）から取得されるプログラムを一時的に記憶したりする。本
実施形態では、メインメモリＥ４３として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）
を用いる。
【０７０６】
ゲームカードＥ７０は、情報処理部Ｅ４２によって実行されるプログラムを記憶するた
めの不揮発性の記憶手段である。ゲームカードＥ７０は、例えば読み取り専用の半導体メ
モリで構成される。ゲームカードＥ７０がゲームカードユニットＥ３２に接続されると、
情報処理部Ｅ４２はゲームカードＥ７０に記憶されたプログラムを読み込むことができる
。情報処理部Ｅ４２が読み込んだプログラムを実行することにより、所定の処理が行われ
る。ＳＤカードＥ７１は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシ
ュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、ＳＤカード
Ｅ７１には、外側撮像部Ｅ５６で撮像された画像や他の機器で撮像された画像が記憶され
る。ＳＤカードＥ７１がＳＤカードユニットＥ３６に接続されると、情報処理部Ｅ４２は
ＳＤカードＥ７１に記憶された画像を読み込み、上側ＬＣＤＥ５１及び／又は下側ＬＣＤ
Ｅ２１に当該画像を表示することができる。
【０７０７】
データ保存用内部メモリＥ４４は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型
フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、デ
ータ保存用内部メモリＥ４４には、無線通信モジュールＥ３９を介した無線通信によって
ダウンロードされたデータやプログラムが格納される。
【０７０８】
また、情報処理部Ｅ４２には、加速度センサＥ４６が接続される。加速度センサＥ４６
は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する
。加速度センサＥ４６は、下側ハウジングＥ２の内部に設けられる。加速度センサＥ４６
は、ゲーム装置Ｅ１を開状態として正面から視認した場合において（図１００）、下側ハ
ウジングＥ２の長辺方向をｘ軸、下側ハウジングＥ２の短辺方向をｙ軸、下側ハウジング
Ｅ２の内側面（正面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検
出する。なお、加速度センサＥ４６は、例えば静電容量式の加速度センサであるとするが
、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサＥ４６は１軸
又は２軸方向を検出する加速度センサであってもよい。情報処理部Ｅ４２は、加速度セン
サＥ４６が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置Ｅ１の
姿勢や動きを検出することができる。
【０７０９】
また、情報処理部Ｅ４２には、ジャイロセンサＥ４９が接続される。ジャイロセンサＥ
４９は、３軸方向の角速度の大きさを検出する。当該ジャイロセンサＥ４９が角速度を検
出することによって、情報処理部Ｅ４２は、ゲーム装置Ｅ１の姿勢や動きを検出すること
ができる。すなわち、情報処理部Ｅ４２は、ジャイロセンサＥ４９が検出した角速度を時
間で積分することによって、各軸周りの回転角を検出することができる。なお、ゲーム装
置Ｅ１が所定の姿勢のときに、ジャイロセンサＥ４９は初期化される必要がある。そして
、情報処理部Ｅ４２は、当該所定の姿勢からの変化をジャイロセンサＥ４９が検出する角
速度に基づいて検出することにより、ゲーム装置Ｅ１の空間における姿勢を検出すること
ができる。
【０７１０】
ＲＴＣＥ４５は、時間をカウントして情報処理部Ｅ４２に出力する。情報処理部Ｅ４２
は、ＲＴＣＥ４５によって計時された時間に基づき現在時刻（日付）を計算する。電源回
路Ｅ４８は、ゲーム装置Ｅ１が有する電源（バッテリーＥ４１）からの電力を制御し、ゲ
ーム装置Ｅ１の各部品に電力を供給する。
【０７１１】
また、情報処理部Ｅ４２には、Ｉ／Ｆ回路Ｅ４７が接続される。Ｉ／Ｆ回路Ｅ４７には
、タッチパネルＥ２２、マイクＥ４０およびスピーカーＥ５４が接続される。具体的には
、Ｉ／Ｆ回路Ｅ４７には、図示しないアンプを介してスピーカーＥ５４が接続される。マ
イクＥ４０は、ユーザの音声を検知して音声信号をＩ／Ｆ回路Ｅ４７に出力する。アンプ
は、Ｉ／Ｆ回路Ｅ４７からの音声信号を増幅し、音声をスピーカーＥ５４から出力させる
。
【０７１２】
また、十字キーＥ２３、アナログキーＥ２５、各ボタン（Ｅ２４、Ｅ２７、Ｅ２９）、
各スイッチ（Ｅ３５、Ｅ３７、Ｅ５５）は、情報処理部Ｅ４２に接続される。情報処理部
Ｅ４２は、これら操作手段（各キーやボタン、スイッチ等）が操作されたことを検出し、
操作された操作手段に応じて所定の処理を行う。
【０７１３】
下側ＬＣＤＥ２１および上側ＬＣＤＥ５１は情報処理部Ｅ４２に接続される。下側ＬＣ
ＤＥ２１および上側ＬＣＤＥ５１は、情報処理部Ｅ４２（のＧＰＵＥ４２２）の指示に従
って画像を表示する。例えば、情報処理部Ｅ４２は、外側撮像部Ｅ５６で撮像した右目用
画像と左目用画像とを用いた立体画像（立体視可能な画像）を上側ＬＣＤＥ５１に表示さ
せたり、内側撮像部Ｅ５２で撮像した平面画像を上側ＬＣＤＥ５１に表示させたりする。
【０７１４】
具体的には、情報処理部Ｅ４２は、上側ＬＣＤＥ５１のＬＣＤコントローラ（図示せず
）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。
上側ＬＣＤＥ５１の視差バリアがＯＮになっている場合、情報処理部Ｅ４２のＶＲＡＭＥ
４２３に格納された（外側撮像部Ｅ５６で撮像された）右目用画像と左目用画像とが、上
側ＬＣＤＥ５１に出力される。より具体的には、ＬＣＤコントローラは、右目用画像につ
いて縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１
ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭＥ４２
３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像
が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊
状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤＥ５１の画面
に表示される。そして、上側ＬＣＤＥ５１の視差バリアを介して当該画像がユーザに視認
されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認さ
れる。このようにして、上側ＬＣＤＥ５１の画面には立体視可能な画像が表示される。
【０７１５】
外側撮像部Ｅ５６および内側撮像部Ｅ５２は、情報処理部Ｅ４２に接続される。外側撮
像部Ｅ５６および内側撮像部Ｅ５２は、情報処理部Ｅ４２の指示に従って画像を撮像し、
撮像した画像データを情報処理部Ｅ４２に出力する。
【０７１６】
また、３ＤＬＥＤＥ５３は、情報処理部Ｅ４２に接続される。情報処理部Ｅ４２は、３
ＤＬＥＤＥ５３の点灯を制御する。以上がゲーム装置Ｅ１の内部構成の説明である。
【０７１７】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示
に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく
種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲
によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発
明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を
実施することができることが理解される。また、本明細書において使用される用語は、特
に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきで
ある。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語およ
び技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を
有する。矛盾する場合、本明細書（定義を含めて）が優先する。
【０７１８】
以下では、上述した種々の実施形態に関連する関連実施形態について開示する。
【０７１９】
第１の関連実施形態の画像表示プログラムは、右目用の実カメラおよび左目用の実カメ
ラからの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェク
トを合成した実世界画像を立体表示する画像表示プログラムであって、コンピュータを、
第１位置姿勢算出手段、仮想カメラ設定手段、右仮想空間画像生成手段、左仮想空間画像
生成手段、および、表示制御手段として機能させる。上記第１位置姿勢算出手段は、上記
右目用の実カメラから出力される実世界画像データと上記左目用の実カメラから出力され
る実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の
撮像対象を認識することにより、当該一方の実カメラと上記所定の撮像対象との間の相対
的な位置および姿勢を示す位置姿勢情報を算出する。上記仮想カメラ設定手段は、上記第
１位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、所定の仮想空間にお
ける右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想
カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成手段は、上
記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮想空間
画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す左仮想空間画像を生成す
る。上記表示制御手段は、上記右目用の実カメラから出力される実世界画像データに上記
右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力される実世界画像データ
に上記左仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
【０７２０】
なお、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段における上記一方の実カ
メラとは異なる他方の実カメラから出力される実世界画像データ内の上記所定の撮像対象
の認識結果を用いずに、所定の仮想空間における右目用の画像を生成するための右仮想カ
メラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決
定してもよい。
【０７２１】
上記構成によれば、上記２つの実カメラから出力されるの２つの実世界画像データのい
ずれか一方においてしか上記所定の撮像対象を認識できない場合でも、上記所定の撮像対
象を認識できた方の実世界画像データに基づいて算出される位置姿勢情報に基づいて、２
つの仮想カメラのうちの一方の仮想カメラの位置および姿勢が決定され、こうして決定さ
れた一方の仮想カメラの位置および姿勢に基づいて、他方の仮想カメラの位置および姿勢
が決定される。したがって、上記２つの実カメラのいずれか一方から出力されるの２つの
実世界画像データのいずれか一方においてしか上記所定の撮像対象を認識できない場合で
も、仮想オブジェクトを適切に立体表示することができる。また、上記２つの実カメラか
ら出力されるの２つの実世界画像データの両方において上記所定の撮像対象を認識し得る
場合であっても、いずれか一方の実世界画像データから上記所定の撮像対象を認識するだ
けで仮想オブジェクトを適切に立体表示することができるので、コンピュータの処理負担
を軽減することができる。
【０７２２】
他の好ましい構成例として、上記仮想カメラ設定手段は、上記右仮想カメラと上記左仮
想カメラとの間の相対姿勢の関係が、上記右目用の実カメラおよび上記左目用の実カメラ
との間の設計上の相対姿勢の関係と同一になるように、上記右仮想カメラと上記左仮想カ
メラの位置および姿勢を決定してもよい。
【０７２３】
上記構成によれば、上記所定の撮像対象の認識精度の誤差や、上記２つの実カメラの取
り付け精度の誤差などの原因によって、上記２つの実カメラのいずれか一方から出力され
るの実世界画像データに基づいて算出される位置姿勢情報と、いずれか他方の実カメラか
ら出力される実世界画像データに基づいて算出される位置姿勢情報とが、上記２つの実カ
メラの相対姿勢に正確に対応していない場合であっても、上記右仮想カメラと上記左仮想
カメラとの間の相対姿勢を適切に設定できるので、仮想オブジェクトを適切に立体表示す
ることができる。
【０７２４】
他の好ましい構成例として、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段に
よって算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラ
のうち、上記第１位置姿勢算出手段における上記一方の実カメラに対応する一方の仮想カ
メラの姿勢を決定する第１仮想カメラ姿勢決定部と、上記第１仮想カメラ姿勢決定部によ
って決定された上記一方の仮想カメラの姿勢に基づいて、上記右仮想カメラと上記左仮想
カメラとの間の相対姿勢の関係が、上記右目用の実カメラおよび上記左目用の実カメラと
の間の設計上の相対姿勢の関係と同一になるように、他方の仮想カメラの姿勢を決定する
第２カメラ姿勢決定部とを含んでもよい。
【０７２５】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記右
仮想カメラと上記左仮想カメラの相対位置関係を決定する仮想カメラ相対位置関係決定手
段としてさらに機能させ、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によっ
て算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラのう
ち、上記第１位置姿勢算出手段における上記一方の実カメラに対応する一方の仮想カメラ
の位置を決定する第１仮想カメラ位置決定部と、上記第１仮想カメラ位置決定部によって
決定された上記一方の仮想カメラの位置から、上記仮想カメラ相対位置関係決定手段によ
って決定された上記相対位置だけ離れた位置に、他方の仮想カメラの位置を決定する第２
仮想カメラ位置決定部とを含んでもよい。
【０７２６】
なお、上記の「相対位置関係」とは、上記左仮想カメラと上記右仮想カメラの間の距離
であってもよいし、一方の仮想カメラを基準とした他方の仮想カメラの相対位置であって
もよい。
【０７２７】
なお、上記仮想カメラ相対位置関係決定手段は、上記２つの実カメラから出力される２
つの実世界画像データ内の所定の撮像対象を認識した結果に基づいて、上記右仮想カメラ
と上記左仮想カメラの相対位置関係を決定してもよいし、上記右目用の実カメラおよび上
記左目用の実カメラとの間の設計上の相対位置の関係に基づいて、上記右仮想カメラと上
記左仮想カメラの相対位置関係を決定してもよい。
【０７２８】
上記構成によれば、上記所定の撮像対象の認識精度の誤差や、上記２つの実カメラの取
り付け精度の誤差などの原因によって、上記２つの実カメラのいずれか一方から出力され
るの実世界画像データに基づいて算出される位置姿勢情報と、いずれか他方の実カメラか
ら出力される実世界画像データに基づいて算出される位置姿勢情報とが、上記２つの実カ
メラの相対位置関係に正確に対応していない場合であっても、上記右仮想カメラと上記左
仮想カメラとの間の相対位置関係を適切に設定できるので、仮想オブジェクトを適切に立
体表示することができる。
【０７２９】
他の好ましい構成例として、上記仮想カメラ設定手段は、上記第１位置姿勢算出手段に
よって算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラ
のうち、上記第１位置姿勢算出手段における上記一方の実カメラに対応する一方の仮想カ
メラの位置を決定する第１仮想カメラ位置決定部と、上記第１位置姿勢算出手段によって
算出された上記位置姿勢情報を用いて、上記右仮想カメラおよび上記左仮想カメラのうち
、上記第１位置姿勢算出手段における上記一方の実カメラに対応する上記一方の仮想カメ
ラの姿勢を決定する第１仮想カメラ姿勢決定部と、上記第１仮想カメラ位置決定部によっ
て決定された上記一方の仮想カメラの位置から見て、上記第１仮想カメラ姿勢決定部によ
って決定された当該一方の仮想カメラの姿勢に基づく方向に、他方の仮想カメラの位置を
決定する第２仮想カメラ位置決定部とを含んでもよい。
【０７３０】
なお、上記第２仮想カメラ位置決定部は、上記第１仮想カメラ位置決定部によって決定
された上記一方の仮想カメラの位置から見て、上記第１仮想カメラ姿勢決定部によって決
定された当該一方の仮想カメラの姿勢の横方向に、他方の仮想カメラの位置を決定しても
よい。
【０７３１】
他の好ましい構成例として、上記コンピュータを、上記右仮想カメラと上記左仮想カメ
ラの間の距離を決定する仮想カメラ間距離決定手段としてさらに機能させ、上記第２カメ
ラ位置決定部は、上記第１仮想カメラ位置決定部によって決定された上記一方の仮想カメ
ラの位置から見て、上記第１仮想カメラ姿勢決定部によって決定された当該一方の仮想カ
メラの姿勢に基づく方向に、上記仮想カメラ間距離決定手段によって決定された距離だけ
離れた位置に、上記他方の仮想カメラの位置を決定してもよい。
【０７３２】
他の好ましい構成例として、上記仮想カメラ相対位置関係決定手段は、上記右目用の実
カメラから出力される実世界画像データと上記左目用の実カメラから出力される実世界画
像データの視差に基づいて上記右仮想カメラと上記左仮想カメラの相対位置関係を決定し
てもよい。
【０７３３】
上記構成例によれば、上記２つの実世界画像データの視差に基づいて上記右仮想カメラ
と上記左仮想カメラの相対位置関係が決定されるので、上記２つの実カメラの相対位置関
係が既知でない場合や、上記２つの実カメラの取り付け精度の誤差によって、上記２つの
実カメラの相対位置関係に誤差が含まれる場合であっても、上記右仮想カメラおよび上記
左仮想カメラを適切に設定できる。
【０７３４】
他の好ましい構成例として、上記相対位置関係決定手段によって決定される上記相対位
置関係は、上記右仮想カメラと上記左仮想カメラの間隔であってもよい。
【０７３５】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記２
つの実カメラからそれぞれ出力される２つの実世界画像データのうち、上記第１位置姿勢
算出手段における上記一方の実カメラとは異なる他方の実カメラから出力される実世界画
像データ内の上記所定の撮像対象を認識することにより、当該他方の実カメラと上記撮像
対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第２位置姿勢算出手
段としてさらに機能させ、上記仮想カメラ相対位置関係決定手段は、上記第１位置姿勢算
出手段によって算出された上記一方の実カメラと上記撮像対象との間の相対的な位置の情
報と、上記第２位置姿勢算出手段によって算出された上記他方の実カメラと上記撮像対象
との間の相対的な位置の情報とを用いて、上記一方の実カメラと上記他方の実カメラとの
間の距離を算出してもよい。
【０７３６】
他の好ましい構成例として、上記第１位置姿勢算出手段は、上記一方の実カメラから出
力される実世界画像データに基づいて、上記所定の撮像対象を原点とした座標系で表され
る座標値を上記一方の実カメラを原点とした第１撮像部座標系で表される座標値へと変換
するための第１変換行列を生成する第１変換行列生成手段を含み、上記第２位置姿勢算出
手段は、上記他方の実カメラから出力される実世界画像データに基づいて、上記所定の撮
像対象を原点とした座標系で表される座標値を上記他方の実カメラを原点とした第２撮像
部座標系で表される座標値へと変換するための第２変換行列を生成する第２変換行列生成
手段を含んでもよい。
【０７３７】
好ましい他の構成例として、上記仮想カメラ相対位置関係決定手段は、上記２つの実カ
メラから新たな実世界画像データが出力される度に、上記右仮想カメラと上記左仮想カメ
ラの相対位置関係を算出する処理を実行し、当該処理を複数回実行することによって得ら
れた複数回分の相対位置関係算出結果に基づいて上記右仮想カメラと上記左仮想カメラの
相対位置関係を確定してもよい。
【０７３８】
上記構成例によれば、実世界画像データにおいて上記所定の撮像対象を認識する際の認
識精度の誤差の影響が軽減されるので、上記仮想カメラ相対位置関係決定手段によって決
定される上記右仮想カメラと上記左仮想カメラの相対位置関係の信頼度が向上する。
【０７３９】
好ましい他の構成例として、上記仮想カメラ相対位置関係決定手段は、上記複数回の相
対位置関係算出結果が全て所定の範囲に収まっている場合にのみ、当該複数回の相対位置
関係算出結果に基づいて上記右仮想カメラと上記左仮想カメラの相対位置関係を確定して
もよい。
【０７４０】
上記構成例によれば、上記仮想カメラ相対位置関係決定手段によって決定される上記右
仮想カメラと上記左仮想カメラの相対位置関係の信頼度が向上する。
【０７４１】
好ましい他の構成例として、上記画像表示プログラムは、上記コンピュータを、上記仮
想カメラ相対位置関係決定手段によって上記右仮想カメラと上記左仮想カメラの相対位置
関係が決定された後、当該相対位置関係が決定された時点から、上記２つの実カメラに対
する上記所定の撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定する奥行変
化判定手段としてさらに機能させ、上記仮想カメラ相対位置関係決定手段は、上記奥行変
化判定手段の判定結果が肯定である場合に、上記右仮想カメラと上記左仮想カメラの相対
位置関係を決定し直してもよい。
【０７４２】
上記２つの実カメラの取り付け精度の誤差による影響の大きさは、上記２つの実カメラ
から上記所定の撮像対象までの奥行距離に依存して変化するが、上記構成例によれば、上
記２つの実カメラの取り付け精度の誤差による影響を必要に応じて随時適切に補正するこ
とができる。
【０７４３】
好ましい他の構成例として、上記画像表示プログラムは、上記コンピュータを、上記所
定の撮像対象が含まれている実世界画像データに基づいて、上記２つの実カメラに対する
上記所定の撮像対象の奥行距離を算出する奥行距離算出手段としてさらに機能させ、上記
奥行変化判定手段は、上記仮想カメラ相対位置関係決定手段によって上記右仮想カメラと
上記左仮想カメラの相対位置関係が決定された時点において上記奥行距離算出手段によっ
て算出された基準奥行距離と、その後に上記奥行距離算出手段によって算出された最新奥
行距離とを比較することによって、上記２つの実カメラに対する上記所定の撮像対象の奥
行距離が所定範囲を超えて変化したか否かを判定してもよい。
【０７４４】
好ましい他の構成例として、上記奥行距離算出手段は、上記２つの実カメラから新たな
実世界画像データが出力される度に、上記２つの実カメラに対する上記所定の撮像対象の
奥行距離を算出する処理を実行し、当該処理を複数回実行することによって得られた複数
回分の奥行距離算出結果に基づいて上記基準奥行距離を算出してもよい。
【０７４５】
上記構成例によれば、実世界画像データにおいて上記所定の撮像対象を認識する際の認
識精度の誤差の影響が軽減されるので、上記奥行距離算出手段によって算出される上記２
つの実カメラに対する上記所定の撮像対象の奥行距離の信頼度が向上する。
【０７４６】
好ましい他の構成例として、上記奥行距離算出手段は、上記複数回の奥行距離算出結果
が全て所定の範囲に収まっている場合にのみ、当該複数回の奥行距離算出結果に基づいて
上記基準奥行距離を算出してもよい。
【０７４７】
上記構成例によれば、上記奥行距離算出手段によって算出される上記２つの実カメラに
対する上記所定の撮像対象の奥行距離の信頼度が向上する。
【０７４８】
好ましい他の構成例として、上記画像表示プログラムは、上記コンピュータを、上記２
つの実カメラからそれぞれ出力される２つの実世界画像データのうち、上記第１位置姿勢
算出手段における上記一方の実カメラとは異なる他方の実カメラから出力される実世界画
像データ内の上記所定の撮像対象を認識することにより、当該他方の実カメラと上記所定
の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第２位置姿勢
算出手段、および、上記２つの実カメラからそれぞれ出力される２つの実世界画像データ
の少なくとも一方における上記所定の撮像対象の位置に応じて、当該２つの実カメラのう
ち１つを選択する実カメラ選択手段としてさらに機能させ、上記仮想カメラ設定手段は、
上記実カメラ選択手段によって選択された実カメラが上記一方の実カメラであったときに
は、上記第１位置姿勢算出手段によって算出された、当該一方の実カメラと上記所定の撮
像対象との間の相対的な位置および姿勢を示す位置姿勢情報を用いて、上記右仮想カメラ
と上記左仮想カメラの位置および姿勢を決定し、上記実カメラ選択手段によって選択され
た実カメラが上記他方の実カメラであったときには、上記第２位置姿勢算出手段によって
算出された、当該他方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢
を示す位置姿勢情報を用いて、上記右仮想カメラと上記左仮想カメラの位置および姿勢を
決定してもよい。
【０７４９】
上記構成例によれば、上記所定の撮像対象が一方の実カメラの撮影範囲から外れたとし
ても、上記右仮想カメラおよび上記左仮想カメラを適切に設定できるので、仮想オブジェ
クトの立体表示を継続することができる。
【０７５０】
好ましい他の構成例として、上記実カメラ選択手段は、上記２つの実カメラのうちの左
目用の実カメラから出力される実世界画像データにおける上記所定の撮像対象の位置が当
該実世界画像データの右端領域へ進入したことに応じて、上記左目用の実カメラから上記
右目用の実カメラへと切り替え、上記右目用の実カメラから出力される実世界画像データ
における上記所定の撮像対象の位置が当該実世界画像データの左端領域へ進入したことに
応じて、上記右目用の実カメラから上記左目用の実カメラへと切り替えてもよい。
【０７５１】
好ましい他の構成例として、上記第１位置姿勢算出手段および上記表示制御手段によっ
て利用される上記実世界画像データは、上記実カメラからリアルタイムに出力される実世
界画像データであってもよい。
【０７５２】
上記構成例によれば、立体表示装置の画面において、実世界に仮想オブジェクトがリア
ルタイムに実在しているように見せることができる。
【０７５３】
好ましい他の構成例として、上記コンピュータは、上記２つの実カメラと上記立体表示
装置とを備えた情報処理装置に内蔵されていてもよい。
【０７５４】
第１の関連実施形態の画像表示装置は、右目用の実カメラおよび左目用の実カメラから
の出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合
成した実世界画像を立体表示する画像表示装置であって、第１位置姿勢算出手段、仮想カ
メラ設定手段、右仮想空間画像生成手段、左仮想空間画像生成手段、および、表示制御手
段を備える。上記第１位置姿勢算出手段は、上記右目用の実カメラから出力される実世界
画像データと上記左目用の実カメラから出力される実世界画像データのうち、一方の実カ
メラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一
方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報
を算出する。
上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算出された上記位置姿勢
情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左
目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する。
上記右仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す右仮想空
間画像を生成する。上記左仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想
空間を示す左仮想空間画像を生成する。上記表示制御手段は、上記右目用の実カメラから
出力される実世界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメ
ラから出力される実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置
に立体視のための画像出力を行う。
【０７５５】
第１の関連実施形態の画像表示システムは、右目用の実カメラおよび左目用の実カメラ
からの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクト
を合成した実世界画像を立体表示する画像表示システムであって、第１位置姿勢算出手段
、仮想カメラ設定手段、右仮想空間画像生成手段、左仮想空間画像生成手段、および、表
示制御手段を備える。上記第１位置姿勢算出手段は、上記右目用の実カメラから出力され
る実世界画像データと上記左目用の実カメラから出力される実世界画像データのうち、一
方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより
、当該一方の実カメラと上記所定の撮像対象との間の相対的な位置および姿勢を示す位置
姿勢情報を算出する。上記仮想カメラ設定手段は、上記第１位置姿勢算出手段によって算
出された上記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するた
めの右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置お
よび姿勢を決定する。上記右仮想空間画像生成手段は、上記右仮想カメラから見た上記仮
想空間を示す右仮想空間画像を生成する。上記左仮想空間画像生成手段は、上記左仮想カ
メラから見た上記仮想空間を示す左仮想空間画像を生成する。上記表示制御手段は、上記
右目用の実カメラから出力される実世界画像データに上記右仮想空間画像を合成し、かつ
、上記左目用の実カメラから出力される実世界画像データに上記左仮想空間画像を合成し
て、上記立体表示装置に立体視のための画像出力を行う。
【０７５６】
第１の関連実施形態の画像表示方法は、右目用の実カメラおよび左目用の実カメラから
の出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合
成した実世界画像を立体表示する画像表示方法であって、第１位置姿勢算出ステップ、仮
想カメラ設定ステップ、右仮想空間画像生成ステップ、左仮想空間画像生成ステップ、お
よび、表示制御ステップを備える。上記第１位置姿勢算出ステップでは、上記右目用の実
カメラから出力される実世界画像データと上記左目用の実カメラから出力される実世界画
像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を
認識することにより、当該一方の実カメラと上記所定の撮像対象との間の相対的な位置お
よび姿勢を示す位置姿勢情報を算出する。上記仮想カメラ設定ステップでは、上記第１位
置姿勢算出ステップにおいて算出された上記位置姿勢情報を用いて、所定の仮想空間にお
ける右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想
カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成ステップで
は、上記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮
想空間画像生成ステップでは、上記左仮想カメラから見た上記仮想空間を示す左仮想空間
画像を生成する。上記表示制御ステップでは、上記右目用の実カメラから出力される実世
界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力され
る実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置に立体視のため
の画像出力を行う。
【０７５７】
第２の関連実施形態の画像表示プログラムは、立体視可能な立体表示装置の画面に、３
次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示プログラムであっ
て、コンピュータを、第１実世界画像取得手段、第２実世界画像取得手段、カメラ相対位
置関係算出手段、仮想カメラ設定手段、第１仮想空間画像生成手段、第２仮想空間画像生
成手段、および表示制御手段として機能させる。第１実世界画像取得手段は、左目用の実
カメラによって撮像された第１実世界画像を取得する。第２実世界画像取得手段は、右目
用の実カメラによって撮像された第２実世界画像を取得する。カメラ相対位置関係算出手
段は、上記第１実世界画像における所定の撮像対象の見え方と上記第２実世界画像におけ
る当該撮像対象の見え方に基づいて、上記左目用の実カメラと上記右目用の実カメラの相
対位置関係を算出する。仮想カメラ設定手段は、所定の仮想空間における左目用の画像を
生成するための左仮想カメラの位置および右目用の画像を生成するための右仮想カメラの
位置を、上記カメラ相対位置関係算出手段によって算出された相対位置関係に応じて離れ
るように、それぞれ決定する。第１仮想空間画像生成手段は、上記左仮想カメラから見た
上記仮想空間を示す第１仮想空間画像を生成する。第２仮想空間画像生成手段は、上記右
仮想カメラから見た上記仮想空間を示す第２仮想空間画像を生成する。表示制御手段は、
上記第１実世界画像に上記第１仮想空間画像を合成し、かつ、上記第２実世界画像に上記
第２仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
【０７５８】
上記構成によれば、上記２つの実カメラで撮像された実世界画像を用いて、これら２つ
の実カメラの相対位置関係を算出し、こうして算出した相対位置関係に基づいて仮想空間
における上記２つの仮想カメラの位置が決定される。よって、例えば、上記２つの実カメ
ラの相対位置関係が既知で無い場合や、上記２つの実カメラの取り付け精度の誤差がある
場合であっても、上記右仮想カメラと上記左仮想カメラの相対位置関係を適切に設定でき
、仮想オブジェクトを適切に立体表示することができる。
【０７５９】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記第
１実世界画像における上記撮像対象の位置および姿勢に基づいて、上記左目用の実カメラ
と上記撮像対象との間の少なくとも相対位置を算出する第１位置姿勢算出手段、および、
上記第２実世界画像における上記撮像対象の位置および姿勢に基づいて、上記右目用の実
カメラと上記撮像対象との間の少なくとも相対位置を算出する第２位置姿勢算出手段とし
てさらに機能させ、上記カメラ相対位置関係算出手段は、上記第１位置姿勢算出手段によ
って算出される、上記撮像対象に対する上記左目用の実カメラの相対位置と、上記第２位
置姿勢算出手段によって算出される、上記撮像対象に対する上記右目用の実カメラの相対
位置とに基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出
してもよい。
【０７６０】
他の好ましい構成例として、上記第１位置姿勢算出手段および上記第２位置姿勢算出手
段の少なくとも一方は、上記実世界画像における上記撮像対象の位置および姿勢に基づい
て、上記実カメラと上記撮像対象との間の相対位置に加えて相対姿勢を算出し、上記仮想
カメラ設定手段は、上記第１位置姿勢算出手段および上記第２位置姿勢算出手段の少なく
とも一方によって算出される上記実カメラと上記撮像対象との間の相対姿勢に基づいて、
上記左仮想カメラおよび上記右仮想カメラの姿勢を決定してもよい。
【０７６１】
他の好ましい構成例として、上記カメラ相対位置関係算出手段によって算出される上記
相対位置関係は、上記左目用の実カメラと上記右目用の実カメラの間隔であってもよい。
【０７６２】
他の好ましい構成例として、上記カメラ相対位置関係算出手段は、上記第１実世界画像
に基づいて算出される上記左目用の実カメラに対する上記撮像対象の相対位置と、上記第
２実世界画像に基づいて算出される上記右目用の実カメラに対する上記撮像対象の相対位
置との差に基づいて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算
出してもよい。
【０７６３】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記第
１実世界画像に基づいて、上記撮像対象を基準とした座標系で表される座標を上記左目用
の実カメラを基準とした座標系で表される座標へと変換する第１変換行列を算出する第１
変換行列算出手段、および、上記第２実世界画像に基づいて、上記撮像対象を基準とした
座標系で表される座標を上記右目用の実カメラを基準とした座標系で表される座標へと変
換する第２変換行列を算出する第２変換行列算出手段としてさらに機能させ、上記カメラ
相対位置関係算出手段は、原点を表す３次元ベクトルに対して、上記第１変換行列と上記
第１変換行列のいずれか一方の変換行列を乗算し、さらに、いずれか他方の変換行列の逆
行列を乗算することによって、上記左目用の実カメラと上記右目用の実カメラの相対位置
関係を示す相対位置ベクトルを算出し、上記仮想カメラ設定手段は、上記相対位置ベクト
ルの大きさに基づいて上記左仮想カメラと上記右仮想カメラの間隔を設定してもよい。
【０７６４】
他の好ましい構成例として、上記仮想カメラ設定手段は、撮影方向が互いに平行になる
ように、上記左仮想カメラおよび上記右仮想カメラの姿勢を設定してもよい。
【０７６５】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記カ
メラ相対位置関係算出手段によって算出された上記相対位置関係と、上記左目用の実カメ
ラと上記右目用の実カメラの設計上の相対位置関係とに基づいて、実世界のスケールに応
じた所定の処理を仮想空間において実行するスケール関連処理手段としてさらに機能させ
てもよい。
【０７６６】
上記構成例によれば、仮想空間において、実世界のスケールに対応した処理が可能とな
る。
【０７６７】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記カ
メラ相対位置関係算出手段によって上記左目用の実カメラと上記右目用の実カメラの相対
位置関係が算出された後、当該相対位置関係が決定された時点から、上記左目用の実カメ
ラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離が所定範囲を超えて変化
したか否かを判定する奥行変化判定手段としてさらに機能させ、上記カメラ相対位置関係
算出手段は、上記奥行変化判定手段の判定結果が否定である間は、上記左目用の実カメラ
と上記右目用の実カメラの相対位置関係を算出し直すことなく、直前に決定した相対位置
関係をそのまま維持してもよい。
【０７６８】
上記構成例によれば、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を
常に更新する必要がなく、処理負荷を低減できる。
【０７６９】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記カ
メラ相対位置関係算出手段によって上記左目用の実カメラと上記右目用の実カメラの相対
位置関係が算出された後、当該相対位置関係が決定された時点から、上記左目用の実カメ
ラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離が所定範囲を超えて変化
したか否かを判定する奥行変化判定手段としてさらに機能させ、上記カメラ相対位置関係
算出手段は、上記奥行変化判定手段の判定結果が肯定である場合に、上記左目用の実カメ
ラと上記右目用の実カメラの相対位置関係を算出し直してもよい。
【０７７０】
上記構成例によれば、算出された上記左目用の実カメラと上記右目用の実カメラの相対
位置関係の信頼度の低下を防止することができる。
【０７７１】
他の好ましい構成例として、上記画像表示プログラムは、上記コンピュータを、上記撮
像対象が含まれている実世界画像に基づいて、上記左目用の実カメラまたは上記右目用の
実カメラに対する上記撮像対象の奥行距離を算出する奥行距離算出手段としてさらに機能
させ、上記奥行変化判定手段は、カメラ相対位置関係算出手段によって上記左目用の実カ
メラと上記右目用の実カメラの相対位置関係が算出された時点において上記奥行距離算出
手段によって算出された基準奥行距離と、その後に上記奥行距離算出手段によって算出さ
れた最新奥行距離とを比較することによって、上記左目用の実カメラまたは上記右目用の
実カメラに対する上記撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定して
もよい。
【０７７２】
他の好ましい構成例として、上記奥行距離算出手段は、上記第１実世界画像取得手段ま
たは上記第２実世界画像取得手段によって新たな実世界画像が取得される度に、上記左目
用の実カメラまたは上記右目用の実カメラに対する上記撮像対象の奥行距離を算出する処
理を実行し、当該処理を複数回実行することによって得られた複数回分の奥行距離算出結
果に基づいて上記基準奥行距離を算出してもよい。
【０７７３】
上記構成によれば、算出される基準奥行距離の信頼度が向上する。
【０７７４】
他の好ましい構成例として、上記奥行距離算出手段は、上記複数回の奥行距離算出結果
が全て所定の範囲に収まっている場合にのみ、当該複数回の奥行距離算出結果に基づいて
上記基準奥行距離を算出してもよい。
【０７７５】
上記構成によれば、算出される基準奥行距離の信頼度が向上する。
【０７７６】
第２の関連実施形態の画像表示装置は、立体視可能な立体表示装置の画面に、３次元の
仮想オブジェクトを合成した実世界画像を立体表示する画像表示装置であって、第１実世
界画像取得手段、第２実世界画像取得手段、カメラ相対位置関係算出手段、仮想カメラ設
定手段、第１仮想空間画像生成手段、第２仮想空間画像生成手段、および表示制御手段を
備える。第１実世界画像取得手段は、左目用の実カメラによって撮像された第１実世界画
像を取得する。第２実世界画像取得手段は、右目用の実カメラによって撮像された第２実
世界画像を取得する。カメラ相対位置関係算出手段は、上記第１実世界画像における所定
の撮像対象の見え方と上記第２実世界画像における当該撮像対象の見え方に基づいて、上
記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出する。仮想カメラ設定
手段は、所定の仮想空間における左目用の画像を生成するための左仮想カメラの位置およ
び右目用の画像を生成するための右仮想カメラの位置を、上記カメラ相対位置関係算出手
段によって算出された相対位置関係に応じて離れるように、それぞれ決定する。第１仮想
空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す第１仮想空間画像を
生成する。第２仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す
第２仮想空間画像を生成する。表示制御手段は、上記第１実世界画像に上記第１仮想空間
画像を合成し、かつ、上記第２実世界画像に上記第２仮想空間画像を合成して、上記立体
表示装置に立体視のための画像出力を行う。
【０７７７】
第２の関連実施形態の画像表示システムは、立体視可能な立体表示装置の画面に、３次
元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示システムであって、
第１実世界画像取得手段、第２実世界画像取得手段、カメラ相対位置関係算出手段、仮想
カメラ設定手段、第１仮想空間画像生成手段、第２仮想空間画像生成手段、および表示制
御手段を備える。第１実世界画像取得手段は、左目用の実カメラによって撮像された第１
実世界画像を取得する。第２実世界画像取得手段は、右目用の実カメラによって撮像され
た第２実世界画像を取得する。カメラ相対位置関係算出手段は、上記第１実世界画像にお
ける所定の撮像対象の見え方と上記第２実世界画像における当該撮像対象の見え方に基づ
いて、上記左目用の実カメラと上記右目用の実カメラの相対位置関係を算出する。仮想カ
メラ設定手段は、所定の仮想空間における左目用の画像を生成するための左仮想カメラの
位置および右目用の画像を生成するための右仮想カメラの位置を、上記カメラ相対位置関
係算出手段によって算出された相対位置関係に応じて離れるように、それぞれ決定する。
第１仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す第１仮想空
間画像を生成する。第２仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空
間を示す第２仮想空間画像を生成する。表示制御手段は、上記第１実世界画像に上記第１
仮想空間画像を合成し、かつ、上記第２実世界画像に上記第２仮想空間画像を合成して、
上記立体表示装置に立体視のための画像出力を行う。
【０７７８】
第２の関連実施形態の画像表示方法は、立体視可能な立体表示装置の画面に、３次元の
仮想オブジェクトを合成した実世界画像を立体表示する画像表示方法であって、第１実世
界画像取得ステップ、第２実世界画像取得ステップ、カメラ相対位置関係算出ステップ、
仮想カメラ設定ステップ、第１仮想空間画像生成ステップ、第２仮想空間画像生成ステッ
プ、および表示制御ステップを備える。第１実世界画像取得ステップでは、左目用の実カ
メラによって撮像された第１実世界画像を取得する。第２実世界画像取得ステップでは、
右目用の実カメラによって撮像された第２実世界画像を取得する。カメラ相対位置関係算
出ステップでは、上記第１実世界画像における所定の撮像対象の見え方と上記第２実世界
画像における当該撮像対象の見え方に基づいて、上記左目用の実カメラと上記右目用の実
カメラの相対位置関係を算出する。仮想カメラ設定ステップでは、所定の仮想空間におけ
る左目用の画像を生成するための左仮想カメラの位置および右目用の画像を生成するため
の右仮想カメラの位置を、上記カメラ相対位置関係算出ステップにおいて算出された相対
位置関係に応じて離れるように、それぞれ決定する。第１仮想空間画像生成ステップでは
、上記左仮想カメラから見た上記仮想空間を示す第１仮想空間画像を生成する。第２仮想
空間画像生成ステップでは、上記右仮想カメラから見た上記仮想空間を示す第２仮想空間
画像を生成する。表示制御ステップでは、上記第１実世界画像に上記第１仮想空間画像を
合成し、かつ、上記第２実世界画像に上記第２仮想空間画像を合成して、上記立体表示装
置に立体視のための画像出力を行う。
【０７７９】
第３の関連実施形態の画像表示プログラムは、右目用の実カメラ撮像部および左目用の
実カメラ撮像部からの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮
想オブジェクトを合成した実世界画像を立体表示する画像表示プログラムであるコンピュ
ータを、前記２つの実カメラ撮像部からそれぞれ出力される２つの実世界画像データのそ
れぞれについて、当該各実世界画像データ内の所定の撮像対象を認識することにより、前
記２つの実カメラ撮像部と当該撮像対象との間の相対的な位置および姿勢を示す位置姿勢
情報をそれぞれ算出する位置姿勢算出手段、前記位置姿勢算出手段によって算出された２
つの位置姿勢情報を統合して、単一の位置姿勢情報を算出する位置姿勢統合手段、前記位
置姿勢統合手段によって統合された単一の前記位置姿勢情報に基づいて、所定の仮想空間
における右目用の仮想画像を生成するための右仮想カメラおよび左目用の仮想画像を生成
するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段
、前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画
像生成手段、前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左
仮想空間画像生成手段、および、前記右目用の実カメラ撮像部から出力される実世界画像
データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラ撮像部から出力され
る実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のため
の画像を出力する表示制御手段として機能させる。
【０７８０】
また、この関連実施形態では、前記仮想カメラ設定手段は、前記右仮想カメラと前記左
仮想カメラとの間の相対姿勢の関係が、前記右目用の実カメラおよび前記左目用の実カメ
ラとの間の設計上の相対姿勢の関係と同一になるように、前記右仮想カメラと前記左仮想
カメラの位置および姿勢を決定するようにしてもよい。
【０７８１】
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によっ
て算出された右目用の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報と、左目用
の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報を用いて、それらの姿勢の情報
を統合した単一の姿勢を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によ
って統合された姿勢を前記右仮想カメラおよび左仮想カメラの姿勢として用いるようにし
てもよい。
【０７８２】
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によっ
て算出された右目用の実カメラ撮像部と前記撮像対象との相対的な位置の情報と、左目用
の実カメラ撮像部と前記撮像対象との相対的な位置の位置を用いて、それらの位置の情報
を統合した単一の位置を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によ
って統合された位置から対称な位置に前記右仮想カメラおよび左仮想カメラの位置を設定
するようにしてもよい。
【０７８３】
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によっ
て算出された右目用の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報と、左目用
の実カメラ撮像部と前記撮像対象との相対的な姿勢の情報を用いて、それらの姿勢の情報
を平均した姿勢を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によって平
均された姿勢を前記右仮想カメラおよび左仮想カメラの姿勢として用いるようにしてもよ
い。
【０７８４】
また、この関連実施形態では、前記位置姿勢統合手段は、前記位置姿勢算出手段によっ
て算出された右目用の実カメラ撮像部と前記撮像対象との相対的な位置の情報と、左目用
の実カメラ撮像部と前記撮像対象との相対的な位置の位置を用いて、それらの位置の中点
を算出し、前記仮想カメラ設定手段は、前記位置姿勢統合手段によって算出された前記中
点から対象な位置に前記右仮想カメラおよび左仮想カメラの位置を設定するようにしても
よい。
【０７８５】
また、この関連実施形態では、前記コンピュータを、前記右仮想カメラと前記左仮想カ
メラの間の距離を決定する仮想カメラ間距離決定手段としてさらに機能させ、前記仮想カ
メラ設定手段は、前記位置姿勢統合手段によって統合された位置から前記仮想カメラ間距
離決定手段によって決定された前記距離だけ対称に離れた位置に記右仮想カメラおよび左
仮想カメラの位置を設定するようにしてもよい。
【０７８６】
また、この関連実施形態では、前記仮想カメラ距離決定手段は、前記右目用の実カメラ
から出力される実世界画像データと前記左目用の実カメラから出力される実世界画像デー
タの視差に基づいて前記右仮想カメラと前記左仮想カメラの間の距離を決定するようにし
てもよい。
【０７８７】
また、この関連実施形態では、前記仮想カメラ距離定手段は、前記位置姿勢算出手段に
よって算出された右目用の実カメラ撮像部と前記撮像対象との相対的な位置および姿勢の
情報と、左目用の実カメラ撮像部と前記撮像対象との相対的な位置および姿勢の情報を用
いて、前記右仮想カメラと前期左仮想カメラとの間の距離を算出するようにしてもよい。
【０７８８】
第３の関連実施形態の画像表示装置は、右目用の実カメラおよび左目用の実カメラから
の出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合
成した実世界画像を立体表示する画像表示装置である。前記２つの実カメラ撮像部からそ
れぞれ出力される２つの実世界画像データのそれぞれについて、当該各実世界画像データ
内の所定の撮像対象を認識することにより、前記２つの実カメラ撮像部と当該撮像対象と
の間の相対的な位置および姿勢を示す位置姿勢情報をそれぞれ算出する位置姿勢算出手段
、前記位置姿勢算出手段によって算出された２つの位置姿勢情報を統合して、単一の位置
姿勢情報を算出する位置姿勢統合手段、前記位置姿勢統合手段によって統合された単一の
前記位置姿勢情報に基づいて、所定の仮想空間における右目用の仮想画像を生成するため
の右仮想カメラおよび左目用の仮想画像を生成するための左仮想カメラの両方についての
位置および姿勢を決定する仮想カメラ設定手段、前記右仮想カメラから見た前記仮想空間
を示す右仮想空間画像を生成する右仮想空間画像生成手段、前記左仮想カメラから見た前
記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、前記右目
用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前
記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、
前記立体表示装置に立体視のための画像出力を行う表示制御手段を備える。
【０７８９】
第３の関連実施形態の画像表示システムは、右目用の実カメラおよび左目用の実カメラ
からの出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクト
を合成した実世界画像を立体表示する画像表示システムである。前記２つの実カメラ撮像
部からそれぞれ出力される２つの実世界画像データのそれぞれについて、当該各実世界画
像データ内の所定の撮像対象を認識することにより、前記２つの実カメラ撮像部と当該撮
像対象との間の相対的な位置および姿勢を示す位置姿勢情報をそれぞれ算出する位置姿勢
算出手段、前記位置姿勢算出手段によって算出された２つの位置姿勢情報を統合して、単
一の位置姿勢情報を算出する位置姿勢統合手段、前記位置姿勢統合手段によって統合され
た単一の前記位置姿勢情報に基づいて、所定の仮想空間における右目用の仮想画像を生成
するための右仮想カメラおよび左目用の仮想画像を生成するための左仮想カメラの両方に
ついての位置および姿勢を決定する仮想カメラ設定手段、前記右仮想カメラから見た前記
仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成手段、前記左仮想カメラか
ら見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、
前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、
かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合
成して、前記立体表示装置に立体視のための画像出力を行う表示制御手段を備える。
【０７９０】
第３の関連実施形態の画像表示方法は、右目用の実カメラおよび左目用の実カメラから
の出力を利用して、立体視可能な立体表示装置の画面に、３次元の仮想オブジェクトを合
成した実世界画像を立体表示する画像表示方法である。前記２つの実カメラ撮像部からそ
れぞれ出力される２つの実世界画像データのそれぞれについて、当該各実世界画像データ
内の所定の撮像対象を認識することにより、前記２つの実カメラ撮像部と当該撮像対象と
の間の相対的な位置および姿勢を示す位置姿勢情報をそれぞれ算出する位置姿勢算出ステ
ップ、前記位置姿勢算出ステップにおいて算出された２つの位置姿勢情報を統合して、単
一の位置姿勢情報を算出する位置姿勢統合ステップ、前記位置姿勢統合ステップによって
統合された単一の前記位置姿勢情報に基づいて、所定の仮想空間における右目用の仮想画
像を生成するための右仮想カメラおよび左目用の仮想画像を生成するための左仮想カメラ
の両方についての位置および姿勢を決定する仮想カメラ設定ステップ、前記右仮想カメラ
から見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成ステップ、前
記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生
成ステップ、および、前記右目用の実カメラから出力される実世界画像データに前記右仮
想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前
記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制
御ステップを備える。
【０７９１】
第４の関連実施形態の第１の局面に係る情報処理プログラムは、撮像手段と入力手段と
画面上において現実空間を視認可能な表示手段とに接続された情報処理装置のコンピュー
タを、撮像画像データ取得手段、入力データ取得手段、検出手段、算出手段、仮想カメラ
設定手段、生成手段及び表示制御手段として機能させる。撮像画像データ取得手段は、撮
像手段により撮像された撮像画像を示す撮像画像データを逐次取得する。入力データ取得
手段は、入力手段により入力された入力画像を示す入力データを逐次取得する。検出手段
は、撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出
する。算出手段は、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対
的位置を算出する。仮想カメラ設定手段は、算出手段による算出結果に基づいて、仮想空
間内の仮想カメラを逐次設定する。生成手段は、入力データ取得手段により逐次入力され
た入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジ
ェクトのオブジェクト画像を生成する。表示制御手段は、画面上の現実空間に生成手段に
より生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる。
【０７９２】
この構成によると、画面上の現実空間にオブジェクト画像が重ね合わせられた重畳画像
が表示手段に表示される。この場合において、オブジェクト画像は、ポインティングデバ
イス等の入力手段からユーザが逐次入力した入力画像であって、例えば手書き画像である
。このオブジェクト画像は、仮想カメラで撮像されて生成されたオブジェクト画像データ
で構成される。この仮想カメラの仮想空間内における設定が、撮像画像に含まれるマーカ
等の特定対象物の検出（認識）結果に基づいて、逐次変更される。このため、撮像方向が
変化することによるマーカ等の見え方の変化に対応して、仮想カメラの設定が変更される
。したがって、仮想カメラにより撮影されたオブジェクト画像データの表示は、このよう
な撮像方向の変化に対応して変更される。その結果、ユーザが手書き等で作成したオブジ
ェクト画像を現実世界に存在するように表示し、自然な拡張現実感を実現することができ
る。
【０７９３】
好ましくは、入力手段を、ポインティングデバイスで構成することができる。この場合
において、入力データ取得手段は、ポインティングデバイスへ入力された手書きの軌跡で
構成されるオブジェクトを示す入力データを所定の時間間隔で取得するように構成するこ
とができる。表示制御手段は、所定の時間間隔における手書きの進捗を反映させた重畳画
像を表示手段に表示させるように構成することができる。
【０７９４】
この構成によると、ポインティングデバイスに手書き入力された軌跡で構成されるオブ
ジェクト画像が背景画像に重ね合わせられて、現実空間に存在するように表示される。こ
のとき、オブジェクトを示す入力データを所定の時間間隔で取得されるので、ユーザの手
書き操作に比較して所定時間を短く設定すれば、手書き途中のオブジェクトを表示させる
ことができる。このため、ユーザは、表示される手書き途中のオブジェクト画像を確認し
ながら、オブジェクト画像を完成させることができる。
【０７９５】
好ましくは、表示手段は、重畳画像が表示される第１の画面領域とは別の第２の画面領
域を含むように構成することができる。この場合において、表示制御手段は、第１の領域
に重畳画像を表示させるとともに、第２の表示領域に入力画像を表示させるように構成す
ることができる。
【０７９６】
この構成によると、第１の画面領域に重畳画像が表示され、第２の画面領域に入力画像
が表示される。このため、第１の画面領域に表示された重畳画像では入力画像を識別する
ことが困難な場合であっても、第２の画面領域に表示された入力画像で確認することがで
きる。
【０７９７】
好ましくは、このプログラムは、コンピュータを、オブジェクトの表示態様を変化させ
る変化手段としてさらに機能させるように構成することができる。この場合において、表
示制御手段は、撮像画像データと、変化手段により表示態様が変化したオブジェクトを示
すオブジェクト画像データとを重ね合わせた重畳画像を前記表示手段に逐次表示させるよ
うに構成することができる。
【０７９８】
現実空間に重ね合わせられて、現実空間に存在するように表示されるオブジェクトは、
その表示態様（表示位置、表示形状）が変化して表示される。このため、例えば、より強
く現実感をユーザに与えるように表示態様を変化させることができたり、ユーザがより強
く興味を引くように表示態様を変化させたりすることができる。
【０７９９】
好ましくは、変化手段は、オブジェクトの表示位置を所定の規則に応じて変化させるよ
うに構成することができる。
【０８００】
オブジェクトが表示される位置を変化させることにより、ユーザに、より強い現実感を
与えたり、より強い興味を与えたりすることができる。このような変化の例として、オブ
ジェクトを上下又は左右に揺らして表示させることが挙げられる。
【０８０１】
好ましくは、変化手段は、オブジェクトの表示位置を時間の経過に応じて変化させるよ
うに構成することができる。
【０８０２】
オブジェクトが表示される位置を時間の経過に応じて変化させることにより、ユーザに
、より強い現実感を与えたり、より強い興味を与えたりすることができる。このような変
化の例として、予め設定された時間が経過すると（すなわち周期的に）オブジェクトを上
下又は左右に動かすことが挙げられる。
【０８０３】
好ましくは、変化手段は、オブジェクトの表示形状を変化させるように構成することが
できる。
【０８０４】
オブジェクトの表示形状を変化させることにより、ユーザに、より強い現実感を与えた
り、より強い興味を与えたりすることができる。このような変化の例として、オブジェク
トを拡大したり縮小したり、オブジェクトを縦方向又は横方向に拡張又は伸縮したりする
ことが挙げられる。さらに、このとき、周期的に形状を変化させるようにしても構わない
。
【０８０５】
好ましくは、変化手段は、オブジェクトの影をオブジェクトに付加した表示形状に変化
させるように構成することができる。
【０８０６】
オブジェクトの影をオブジェクトに付加することにより、ユーザに、より強い現実感を
与えたり、より強い興味を与えたりすることができる。
【０８０７】
好ましくは、変化手段は、オブジェクトの厚みを変化させるように構成することができ
る。
【０８０８】
オブジェクトに厚みを持たせることにより、ユーザに、より強い現実感を与えたり、よ
り強い興味を与えたりすることができる。
【０８０９】
好ましくは、変化手段は、複数のオブジェクトを並べて配置することにより、オブジェ
クトの厚みを変化させるように構成することができる。
【０８１０】
平面画像であるオブジェクト画像を並べて配置することにより、オブジェクトに厚みを
与えて、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができ
る。
【０８１１】
第４の関連実施形態の第２の局面に係る情報処理装置は、撮像画像を撮像する撮像手段
と、ユーザにより入力画像が入力される入力手段と、画面上において現実空間を視認可能
な表示手段と、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する
撮像画像データ取得手段と、入力手段により入力された入力画像を示す入力データを逐次
取得する入力データ取得手段と、撮像画像データ取得手段により逐次取得された撮像画像
データから特定対象物を検出する検出手段と、特定対象物の検出結果に基づいて、撮像手
段と特定の対象物との相対的位置を算出する算出手段と、算出手段による算出結果に基づ
いて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、入力データ取得手
段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメ
ラで撮像して、オブジェクトのオブジェクト画像を生成する生成手段と、画面上の現実空
間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐
次表示させる表示制御手段とを含む。
【０８１２】
第４の関連実施形態の第３の局面に係る情報処理システムは、撮像画像を撮像する撮像
手段と、ユーザにより入力画像が入力される入力手段と、画面上において現実空間を視認
可能な表示手段と、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得
する撮像画像データ取得手段と、入力手段により入力された入力画像を示す入力データを
逐次取得する入力データ取得手段と、撮像画像データ取得手段により逐次取得された撮像
画像データから特定対象物を検出する検出手段と、特定対象物の検出結果に基づいて、撮
像手段と特定の対象物との相対的位置を算出する算出手段と、算出手段による算出結果に
基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、入力データ取
得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想
カメラで撮像して、オブジェクトのオブジェクト画像を生成する生成手段と、画面上の現
実空間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段
に逐次表示させる表示制御手段とを含む。
【０８１３】
第４の関連実施形態の第４の局面に係る情報処理方法は、撮像手段により撮像画像を撮
像する撮像ステップと、ユーザにより入力画像が入力される入力ステップと、画面上にお
いて現実空間を視認可能な表示ステップと、撮像ステップにて撮像された撮像画像を示す
撮像画像データを逐次取得する撮像画像データ取得ステップと、入力ステップにて入力さ
れた入力画像を示す入力データを逐次取得する入力データ取得ステップと、撮像画像デー
タ取得ステップにて逐次取得された撮像画像データから特定対象物を検出する検出ステッ
プと、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出
する算出ステップと、算出ステップによる算出結果に基づいて、仮想空間内の仮想カメラ
を逐次設定する仮想カメラ設定ステップと、入力データ取得ステップにて逐次入力された
入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェ
クトのオブジェクト画像を生成する生成ステップと、画面上の現実空間に生成ステップに
て生成されたオブジェクト画像を重ね合わせた重畳画像を表示ステップにて逐次表示させ
る表示制御ステップとを含む。
【０８１４】
第４の関連実施形態の第２の局面に係る情報処理装置、第３の局面に係る情報処理シス
テム及び第４の局面に係る情報処理方法によると、第１の局面に係る情報処理プログラム
と同様の作用効果を発現する。
【０８１５】
第５の関連実施形態の画像処理プログラムの一構成例は、表示装置に画像を表示する画
像処理装置のコンピュータを、撮像画像取得手段、位置姿勢算出手段、音声データ取得手
段、音声認識手段、設定手段、画像生成手段、および表示制御手段として機能させる。撮
像画像取得手段は、実カメラによって撮像された撮像画像を繰り返し取得する。位置姿勢
算出手段は、実空間における実カメラの位置および姿勢にしたがって決められる位置姿勢
情報を繰り返し算出する。音声データ取得手段は、音声入力デバイスから音声信号を示す
音声データを取得する。音声認識手段は、音声入力デバイスに入力された音声を認識する
。設定手段は、撮像画像に付加表示する仮想オブジェクトまたは文字を付加表示物として
設定し、音声認識手段の音声認識結果に基づいて、当該付加表示物の表示位置、姿勢、お
よび表示態様から成る群から選ばれた少なくとも１つを設定する。画像生成手段は、撮像
画像における位置姿勢情報に応じた位置を基準として、設定手段が設定した付加表示物を
重畳して合成画像を繰り返し生成する。表示制御手段は、合成画像を表示装置に繰り返し
表示する。
【０８１６】
上記によれば、撮像画像に付加表示物を付加表示する際、付加表示物に対して音声で操
作することができ、実世界画像に付加表示された仮想物体や文字等に対して新たな入力方
法を用いて簡便性の高い操作を行うことができる。
【０８１７】
また、上記位置姿勢算出手段は、撮像画像に含まれる特定の撮像対象物または特徴点を
検出し、当該検出結果に基づいて当該撮像対象物または当該特徴点と実カメラとの間の相
対的な位置および姿勢を示す情報を位置姿勢情報として算出してもよい。
【０８１８】
上記によれば、実空間に配置された所定のマーカ等の撮像対象物や自然特徴点を用いる
ことによって、実空間における実カメラの位置や姿勢を正確に認識することができる。
【０８１９】
また、上記位置姿勢算出手段は、実空間における実カメラの地理的な位置および実カメ
ラの撮像方向の方位の少なくとも一方を用いて、位置姿勢情報を算出してもよい。
【０８２０】
上記によれば、ＧＰＳ等による実カメラの地理的な位置および磁気センサ等による実カ
メラの撮像方向の方位の少なくとも一方を用いることによって、実空間における実カメラ
の位置や姿勢を正確に認識することができる。
【０８２１】
また、上記設定手段は、仮想オブジェクトを付加表示物として設定してもよい。また、
上記画像生成手段は、仮想カメラ設定手段、仮想オブジェクト配置手段、および仮想世界
画像生成手段を含んでいてもよい。仮想カメラ設定手段は、仮想世界において、位置姿勢
情報に基づいて仮想カメラの位置および姿勢を設定する。仮想オブジェクト配置手段は、
仮想世界に設定手段が設定した仮想オブジェクトを配置する。仮想世界画像生成手段は、
仮想カメラから見た仮想世界の画像を仮想世界画像として生成する。この場合、上記画像
生成手段は、撮像画像に仮想世界画像を重畳した画像を合成画像として生成してもよい。
【０８２２】
上記によれば、実空間における実カメラの位置および姿勢にしたがって決められる位置
姿勢情報に基づいて設定された仮想カメラから見た仮想世界内の仮想オブジェクトが仮想
世界画像として撮像画像に合成されるため、仮想オブジェクトがあたかも実世界に本当に
存在しているかのように見える画像を表示することができる。
【０８２３】
また、上記設定手段は、音声入力デバイスに入力された音声が第１の音声であると認識
され、かつ、位置姿勢情報が第１の条件を満たす場合に第１の動作に基づいて仮想オブジ
ェクトの表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを設定
し、音声入力デバイスに入力された音声が当該第１の音声であると認識され、かつ、位置
姿勢情報が当該第１の条件を満たさない場合に第２の動作に基づいて仮想オブジェクトの
表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを変更してもよ
い。
【０８２４】
上記によれば、同じ音声を入力したとしても、実空間における実カメラの位置および姿
勢によって仮想オブジェクトの動作が異なるため、さらに拡張現実とのインタラクティブ
性が高い操作が可能となる。
【０８２５】
また、上記位置姿勢算出手段は、撮像対象物と実カメラとの間の相対的な位置および姿
勢を示す情報を位置姿勢情報として算出してもよい。上記設定手段は、仮想オブジェクト
を付加表示物として設定してもよい。上記画像生成手段は、仮想カメラ設定手段、仮想オ
ブジェクト配置手段、および仮想世界画像生成手段を含んでいてもよい。仮想カメラ設定
手段は、位置姿勢情報に基づいて撮像対象物に対応する位置および方向を仮想世界内に設
定し、位置姿勢情報に基づいて当該仮想世界において当該撮像対象物に対応する位置およ
び方向を基準として仮想カメラの位置および姿勢を設定する。仮想オブジェクト配置手段
は、仮想世界に設定手段が設定した仮想オブジェクトを、撮像対象物に対応する位置を基
準として配置する。仮想世界画像生成手段は、仮想カメラから見た仮想世界の画像を仮想
世界画像として生成する。この場合、上記設定手段は、音声入力デバイスに入力された音
声が第１の音声であると認識された場合、仮想世界における撮像対象物に対応する方向を
基準として動作する第１の動作に基づいて仮想オブジェクトの表示位置、姿勢、および表
示態様から成る群から選ばれた少なくとも１つを設定し、音声入力デバイスに入力された
音声が第２の音声であると認識された場合、仮想世界における仮想カメラへの方向を基準
として動作する第２の動作に基づいて仮想オブジェクトの表示位置、姿勢、および表示態
様から成る群から選ばれた少なくとも１つを変更してもよい。上記画像生成手段は、撮像
画像に仮想世界画像を重畳した画像を合成画像として生成してもよい。
【０８２６】
上記によれば、異なる音声入力を行うことによって、仮想オブジェクトが実空間に配置
された所定のマーカ等の撮像対象物の方向を基準として動作する場合と、仮想オブジェク
トが仮想カメラの方向、すなわち実空間における実カメラの方向をあたかも基準としたよ
うな動作をする場合があるため、さらに拡張現実とのインタラクティブ性が高く興趣性に
富んだ操作が可能となる。
【０８２７】
また、上記設定手段は、音声入力デバイスに音声が入力されていない場合、または音声
認識手段が認識した音声が付加表示物を設定する対象ではない場合、付加表示物の表示位
置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを、予め定められた内
容に設定してもよい。
【０８２８】
上記によれば、ユーザが音声入力をしなくても付加表示物の表示位置、姿勢、および表
示態様が自動的に変化することがあり得るため、付加表示物自体が自由に行動しているか
のような画像が表示できる。
【０８２９】
また、上記画像処理プログラムは、撮影保存手段として、さらにコンピュータを機能さ
せてもよい。撮影保存手段は、ユーザによる撮影指示に応じて、画像生成手段が現時点で
生成している最新の合成画像を記憶手段に保存する。
【０８３０】
上記によれば、撮像画像に付加表示物を重畳させた状態で撮影した画像を保存できるた
め、当該状態を再表示することが可能となる。
【０８３１】
また、上記撮像画像取得手段は、第１の実カメラおよび当該第１の実カメラから所定の
距離離れた位置に設けられた第２の実カメラによってそれぞれ撮像された第１の撮像画像
および第２の撮像画像を繰り返し取得してもよい。上記位置姿勢算出手段は、実空間にお
ける第１の実カメラの位置および姿勢にしたがって決められる第１の位置姿勢情報および
実空間における第２の実カメラの位置および姿勢にしたがって決められる第２の位置姿勢
情報をそれぞれ繰り返し算出してもよい。上記画像生成手段は、第１の撮像画像における
第１の位置姿勢情報に応じた位置を基準として、設定手段が設定した付加表示物を重畳し
て第１の合成画像を繰り返し生成し、第２の撮像画像における第２の位置姿勢情報に応じ
た位置を基準として、設定手段が設定した付加表示物を重畳して第２の合成画像を繰り返
し生成してもよい。上記表示制御手段は、立体視可能な表示装置に第１の合成画像および
第２の合成画像を出力して、付加表示物を合成した撮像画像を繰り返し立体表示してもよ
い。
【０８３２】
上記によれば、立体視可能な表示装置に立体表示された撮像画像に付加表示物を付加表
示して表示することができる。
【０８３３】
また、上記音声認識手段は、音声入力デバイスに入力された音声を予め登録音声として
登録されている音声と少なくとも照合することによって、音声入力デバイスに入力された
音声が第１の音声であるか否かを判別し、音声入力デバイスに入力された音声波形のレベ
ルのみに基づいて、音声入力デバイスに入力された音声が第２の音声であるか否かを判別
してもよい。
【０８３４】
上記によれば、予め登録された登録音声と照合することによって話し言葉として発する
音声（言語）等を用いて操作したり、音声波形のレベルによって拍手の音等を用いて操作
したりすることができる。
【０８３５】
また、上記音声認識手段は、音声入力デバイスに入力された音声入力パターンから得ら
れる特徴パラメータ時系列に対する予め登録音声として登録されている特徴パラメータ時
系列の尤度に基づいて、音声入力デバイスに入力された音声が第１の音声であるか否かを
判別し、音声入力デバイスに入力された音声波形のレベルおよびスペクトル情報の少なく
とも一方のみに基づいて、音声入力デバイスに入力された音声が第３の音声であるか否か
を判別してもよい。
【０８３６】
上記によれば、入力された音声入力パターンから得られる特徴パラメータ時系列に対す
る予め登録されている特徴パラメータ時系列の尤度に基づいて音声認識することによって
、話し言葉として発する音声（言語）等を用いて操作したり、入力された音声波形のレベ
ルおよびスペクトル情報の少なくとも一方のみに基づいて音声認識することによって、拍
手の音、口笛の音、息の音等を用いて操作したりすることができる。
【０８３７】
また、上記画像処理プログラムは、音声登録手段として、さらにコンピュータを機能さ
せてもよい。音声登録手段は、付加表示物に対する指示に対応する音声をユーザに入力さ
せ、当該音声に応じた音声データを当該指示に対応する登録音声として記憶手段に登録す
る。この場合、上記音声認識手段は、音声登録手段が登録音声として登録した音声データ
を用いて、音声入力デバイスに入力された音声が第１の音声であるか否かを判別してもよ
い。上記設定手段は、音声認識手段が音声入力デバイスに入力された音声が第１の音声で
ある場合、当該第１の音声に対応して音声登録手段が予め登録した指示に基づいて、付加
表示物の表示位置、姿勢、および表示態様から成る群から選ばれた少なくとも１つを設定
してもよい。
【０８３８】
上記によれば、指示に対応する話し言葉として発する音声（言語）を予めユーザが音声
入力して音声データを登録することによって、音声認識の誤認識が防止されるとともに、
ユーザが好む言語を予め登録することも可能となる。
【０８３９】
また、上記設定手段は、位置姿勢情報が示す実カメラの地理的な位置および実カメラの
撮像方向の方位の少なくとも一方に基づいて、撮像画像に撮像されている被写体を推定し
、当該被写体に関する情報を示す文字を付加表示物として設定してもよい。上記画像生成
手段は、撮像画像における位置姿勢情報に応じた位置を基準として、設定手段が設定した
被写体に対応する文字を重畳して合成画像を繰り返し生成してもよい。上記設定手段は、
音声認識手段が音声認識した言語に一致する文字が付加表示物として設定されている場合
、当該文字が選択指示されたことを示す表示態様に変更して当該文字を設定してもよい。
上記画像生成手段は、言語に一致する文字を設定手段が変更した表示態様で撮像画像に重
畳して合成画像を生成してもよい。
【０８４０】
上記によれば、撮像装置で撮像されている撮像画像を表示装置に表示しながら、当該撮
像装置が撮像している場所や被写体（建物や看板等）に関連する複数の文字情報を付加情
報として当該撮像画像に重畳して表示される場合、音声によって文字情報を選択すること
ができるため、拡張現実とのインタラクティブ性および操作性が高い入力方法を提供する
ことができる。
【０８４１】
また、上記撮像画像取得手段は、画像処理装置を構成する筐体に内蔵される実カメラか
ら撮像画像を取得してもよい。上記音声データ取得手段は、筐体に内蔵される音声入力デ
バイスから音声データを取得してもよい。上記表示制御手段は、筐体に内蔵される表示装
置に合成画像を表示してもよい。
【０８４２】
上記によれば、同じ筐体内に画像処理装置、実カメラ、表示装置、および音声入力デバ
イスを内蔵することによって、あたかも表示装置を介して実空間を見ているかのような拡
張現実を実現することができるとともに、当該実空間内に音声を発して指示しているよう
な操作感や臨場感を与えることができる。
【０８４３】
また、第５の関連実施形態は、上記各手段を備える画像処理装置および画像処理システ
ムや上記各手段で行われる動作を含む画像処理方法の形態で実施されてもよい。
【０８４４】
第６の関連実施形態は、実空間を撮像する左実カメラおよび右実カメラと、立体視画像
を表示可能な表示手段とに接続される情報処理装置のコンピュータを、実画像取得手段、
仮想カメラ設定手段、左テクスチャ領域設定手段、右テクスチャ領域設定手段、左仮想カ
メラ画像取得手段、右仮想カメラ画像取得手段、および、表示制御手段として機能させる
。実画像取得手段は、前記左実カメラにより撮像された左目用実画像、および、前記右実
カメラにより撮像された右目用実画像を取得する。仮想カメラ設定手段は、前記実空間に
おける前記左実カメラの位置および姿勢と前記実空間における前記右実カメラの位置およ
び姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右仮想カメラを設
定する。左テクスチャ領域設定手段は、前記仮想カメラ設定手段によって設定された左仮
想カメラから見た場合の、前記仮想空間における所定の仮想モデルに対応する領域を前記
左目用実画像から左テクスチャ領域として設定する。右テクスチャ領域設定手段は、前記
仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空間にお
ける前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域として設定
する。左仮想カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された
左テクスチャ領域に含まれる画像を、前記仮想モデルと同一のまたは前記仮想モデルと所
定の関係を有する描画用モデルに適用して、当該描画用モデルを前記左仮想カメラで撮像
した左仮想カメラ画像を取得する。右仮想カメラ画像取得手段は、前記右テクスチャ領域
設定手段によって設定された右テクスチャ領域に含まれる画像を、前記描画用モデルに適
用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想カメラ画像を取得する。
表示制御手段は、ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想
カメラ画像を視認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右
仮想カメラ画像を表示させる。
【０８４５】
なお、仮想カメラ設定手段は、実空間に存在する所定の対象物と上記左目用実カメラと
の相対的な位置および姿勢に基づいて、左仮想カメラを設定してもよい。すなわち、実空
間の所定の対象物を基準とした左実カメラの位置および姿勢に基づいて左仮想カメラが設
定されてもよいし、左実カメラを基準とした実空間の所定の対象物の位置および姿勢に基
づいて左仮想カメラが設定されてもよい。また、絶対的な位置を検出する手段（例えば、
ＧＰＳ）や姿勢検出手段（例えば、角速度センサや加速度センサ、地磁気を検出する手段
等）によって検出された左実カメラの絶対的な位置および姿勢に基づいて左仮想カメラが
設定されてもよい。同様に、実空間に存在する上記所定の対象物と上記右実カメラとの相
対的な位置および姿勢に基づいて右仮想カメラが設定されてもよいし、右実カメラの絶対
的な位置および姿勢に基づいて右仮想カメラが設定されてもよい。
【０８４６】
上記によれば、左右の実画像をそれぞれテクスチャとして仮想モデルに適用ことができ
、仮想モデルを立体的に表示するとともに、取得した実画像に応じてその表示態様を多様
にすることができる。また、左右の実画像をそれぞれテクスチャとして用いるため、一方
の実画像のみを用いる場合よりも解像度を低下させずに、左右の仮想カメラ画像を生成し
て表示することができる。
【０８４７】
また、本関連実施形態の他の構成では、前記左テクスチャ領域設定手段は、前記仮想モ
デルを前記左仮想カメラで撮像した場合のレンダリング画像上での当該仮想モデルの位置
および輪郭に対応する領域を左テクスチャ領域として設定してもよい。また、前記右テク
スチャ領域設定手段は、前記仮想モデルを前記右仮想カメラで撮像した場合のレンダリン
グ画像上での当該仮想モデルの位置および輪郭に対応する領域を右テクスチャ領域として
設定してもよい。
【０８４８】
上記によれば、各仮想カメラで仮想モデルを撮像した場合において、撮像される画像に
おける仮想モデルの位置および輪郭に対応する領域を各テクスチャ領域として設定するこ
とができる。
【０８４９】
また、本関連実施形態の他の構成では、上記情報処理プログラムは、上記左目用実画像
と上記左仮想カメラ画像とを重ね合わせた左目用重畳画像と、上記右目用実画像と上記右
仮想カメラ画像とを重ね合わせた右目用重畳画像とを生成する重畳画像生成手段、として
上記コンピュータを更に機能させてもよい。そして、上記表示制御手段は、上記左目用重
畳画像および上記右目用重畳画像を上記表示手段に表示させる。
【０８５０】
上記によれば、仮想モデルを撮像した左右の仮想カメラ画像と左右の実画像とを重畳し
て表示することができる。
【０８５１】
また、本関連実施形態の他の構成では、上記情報処理プログラムは、上記仮想モデルを
変形した変形オブジェクトを生成し、上記仮想空間に設定する変形オブジェクト設定手段
、として上記コンピュータを更に機能させてもよい。上記左仮想カメラ画像取得手段は、
上記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を上
記変形オブジェクトにテクスチャとして適用した上記変形オブジェクトを上記左仮想カメ
ラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、上記右テ
クスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像をテクスチャ
として適用した上記変形オブジェクトを上記右仮想カメラで撮像した右仮想カメラ画像を
取得する。
【０８５２】
上記によれば、実空間を撮像した画像に立体的な変化を与えることができる。例えば、
平面上の仮想モデルを変形させることによって、実空間の平面が変形したような画像を表
示することができる。
【０８５３】
また、本関連実施形態の他の構成では、上記仮想モデルは、平面または曲面状の仮想モ
デルであって、上記実空間の平面または曲面に沿うようにして上記仮想空間内に設定され
てもよい。上記変形オブジェクト設定手段は、上記平面または曲面状の仮想モデルを変形
した変形オブジェクトを生成して、上記仮想空間に設定する。
【０８５４】
上記によれば、実空間の平面や曲面が立体的に変化する様子を表示することができる。
【０８５５】
また、本関連実施形態の他の構成では、上記変形オブジェクト設定手段は、上記仮想モ
デルの端部を除く部分を変形して上記変形オブジェクトを生成してもよい。
【０８５６】
上記によれば、実画像と仮想カメラ画像とが重ね合わされた場合に、変形オブジェクト
の境界部分において違和感のない画像にすることができる。
【０８５７】
また、本関連実施形態の他の構成では、上記情報処理プログラムは、上記仮想空間内に
上記変形オブジェクトとは異なる第２オブジェクトを当該変形オブジェクトと所定の位置
関係で設定する第２オブジェクト設定手段として、上記コンピュータを更に機能させても
よい。上記左仮想カメラ画像取得手段は、上記変形オブジェクトおよび上記第２オブジェ
クトを上記左仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像
取得手段は、上記変形オブジェクトおよび上記第２オブジェクトを上記右仮想カメラで撮
像した右仮想カメラ画像を取得する。
【０８５８】
上記によれば、変形オブジェクトと所定の位置関係で第２オブジェクトを仮想空間に設
定し、実空間が変形された画像と仮想空間の第２オブジェクトの画像とが重ね合わされて
、表示される。このため、第２オブジェクトが実空間の変形された部分と所定の位置関係
で実在しているように見える。例えば、実空間の平面を変形させることで波打つ水面と、
水中に存在する魚とを表示することができる。
【０８５９】
また、本関連実施形態の他の構成では、上記第２オブジェクトは、上記左仮想カメラお
よび上記右仮想カメラの撮像方向に関して上記変形オブジェクトよりも遠方に配置されて
もよい。上記情報処理プログラムは、上記変形オブジェクトの端部に上記第２オブジェク
トをマスクする所定のマスクオブジェクトを設定するマスクオブジェクト設定手段として
、上記コンピュータを更に機能させる。
【０８６０】
上記によれば、変形オブジェクトを介して上記第２オブジェクトが見えない位置に仮想
カメラが設定される場合（斜めから第２オブジェクトを撮像した場合）、第２オブジェク
トをマスクすることができる。
【０８６１】
また、本関連実施形態の他の構成では、上記左実カメラおよび右実カメラは実空間上に
配置された所定の平板状のマーカをそれぞれ撮像してもよい。また、上記仮想カメラ設定
手段は、上記マーカの位置および姿勢を基準として、左実カメラの位置および姿勢と上記
右実カメラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラお
よび右仮想カメラを設定する。上記仮想モデルは、上記マーカを基準に設定されたマーカ
座標系において、上記マーカが載置される平面上に配置された板状のモデルである。また
、上記情報処理プログラムは、上記仮想モデルを変形した変形オブジェクトを生成し、上
記仮想空間に設定する変形オブジェクト設定手段として、上記コンピュータを更に機能さ
せる。上記左仮想カメラ画像取得手段は、上記左テクスチャ領域設定手段によって設定さ
れた左テクスチャ領域に含まれる画像をテクスチャとして適用した上記変形オブジェクト
を上記左仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得
手段は、上記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる
画像をテクスチャとして適用した上記変形オブジェクトを上記右仮想カメラで撮像した右
仮想カメラ画像を取得する。
【０８６２】
上記によれば、マーカが載置された実空間の平面が変化する様子を立体的に表示するこ
とができる。これにより、例えば、実空間の平面を水面として、当該水面が波打つような
様子を表示することができる。
【０８６３】
また、本関連実施形態の他の構成では、上記仮想カメラ設定手段は、上記左目用実画像
に含まれる特定対象物を検出し、当該検出結果に基づいて、上記左実カメラと上記実空間
に存在する上記特定対象物との相対的な位置および姿勢を取得し、当該取得した位置およ
び姿勢に基づいて、前記左仮想カメラを設定してもよい。また、上記仮想カメラ設定手段
は、上記右目用実画像に含まれる上記特定対象物を検出し、当該検出結果に基づいて、上
記右実カメラと上記実空間に存在する上記特定対象物との相対的な位置および姿勢を取得
し、当該取得した位置および姿勢に基づいて、前記右仮想カメラを設定する。
【０８６４】
上記によれば、上記特定対象物を撮像することにより、左右の実カメラ以外の構成を用
いなくても、当該左右の実カメラの実空間における位置および姿勢に対応させて左右の仮
想カメラを配置できる。
【０８６５】
また、本関連実施形態の他の構成では、上記仮想モデルは、上記実空間における上記特
定対象物の位置に対応する、上記仮想空間における位置を基準として配置されてもよい。
【０８６６】
上記によれば、上記特定対象物の位置に仮想モデルが配置されるため、上記特定対象物
が撮像される場合は、必ず仮想モデルを仮想カメラで撮像することができる。
【０８６７】
また、本関連実施形態では、上記各手段を実現した情報処理装置であってもよい。また
、本関連実施形態では、上記各手段を実現する複数の要素が相互に動作することによって
、１つの情報処理システムとして構成されてもよい。当該情報処理システムは、１つの装
置によって構成されてもよいし、複数の装置によって構成されてもよい。
【０８６８】
第７の関連実施形態に係る携帯電子機器は、ハウジングの主面に裸眼立体視可能な立体
表示部が設けられる。そして、一体成形されたスクリーンカバーで当該主面の略全体を覆
う。
【０８６９】
裸眼立体視可能な立体表示部を有する装置において、ユーザーが立体表示を視認すると
きに、立体表示部が配置されるハウジングの主面における現実物にユーザーは自己の目の
焦点をあわせようとしてしまう。立体表示部には様々な立体感の画像が表示されるため、
ハウジングの主面の現実物に焦点があうと立体視がうまく見えない場合がある。この関連
実施形態では、立体表示部が配置されるハウジングの主面の略全体を一体のスクリーンカ
バーで覆ったので、ハウジングの主面上の現実物を隠すことができ、また、主面全体をフ
ラットにすることができる。それゆえ、立体視が容易となる。
【０８７０】
また、本関連実施形態では、前記主面においてスピーカーが設けられ、前記スクリーン
カバーは当該スピーカーに対応する位置に音抜き孔が形成されるようにしてもよい。
【０８７１】
この関連実施形態では、スピーカー部をスクリーンカバーで隠すことができる。また、
立体表示部と同じ主面にスピーカー部を設けることができて、画像と音との一体感を感じ
ることができる。
【０８７２】
また、本関連実施形態では、前記主面において撮像部が設けられ、前記スクリーンカバ
ーによって当該撮像部が覆われるようにしてもよい。
【０８７３】
この関連実施形態では、撮像部用の別途のレンズカバーが必要ない。
【０８７４】
また、本関連実施形態では、前記主面において前記立体表示部の表示状態を示す発光部
が設けられ、前記スクリーンカバーによって当該発光部が覆われるようにしてもよい。
【０８７５】
この関連実施形態では、発光部用の別途のカバーが必要ない。
【０８７６】
また、本関連実施形態では、前記ハウジングは正面側パーツと背面側パーツで構成され
、当該正面側パーツと当該背面側パーツがネジ留めされ、前記スクリーンカバーは、前記
立体表示部に対応する領域を除いて背面から所定のカラーで印刷が施され、当該印刷によ
り、ネジ留め部が覆われ、前記スクリーンカバーは前記ハウジングの主面に接着されるよ
うにしてもよい。
【０８７７】
また、本関連実施形態では、前記ハウジングは正面側パーツと背面側パーツで構成され
、当該正面側パーツと当該背面側パーツがネジ留めされ、前記スクリーンカバーは、前記
立体表示部および前記撮像部に対応する領域を除いて背面から所定のカラーで印刷が施さ
れ、当該印刷により、ネジ留め部が覆われるようにしてもよい。
【０８７８】
この関連実施形態では、ネジの露出を少なくするまたは無くすことができて、立体視の
視認性があがるとともに、美観や安全性が向上する。
【０８７９】
また、本関連実施形態では、前記スクリーンカバーは、前記発光部に対応する位置に透
明抜きで文字または記号が示されるように背面から所定のカラーで印刷が施されるように
してもよい。
【０８８０】
この関連実施形態では、発光部のための印刷工程を効率化することができる。
【符号の説明】
【０８８１】
Ａ１０  ゲーム装置
Ａ１１  下側ハウジング
Ａ１２  下側ＬＣＤ
Ａ１３  タッチパネル
Ａ１４  操作ボタン
Ａ１５  アナログスティック
Ａ１６  ＬＥＤ
Ａ２１  上側ハウジング
Ａ２２  上側ＬＣＤ
Ａ２３  外側撮像部
Ａ２３ａ  外側撮像部（左）
Ａ２３ｂ  外側撮像部（右）
Ａ２４  内側撮像部
Ａ２５  ３Ｄ調整スイッチ
Ａ２６  ３Ｄインジケータ
Ａ２８  タッチペン
Ａ３１  情報処理部
Ａ３１１  ＣＰＵ
Ａ３１２  ＧＰＵ
Ａ３２  メインメモリ
Ａ６０ａ〜Ａ６０ｃ  ボール
Ａ６１  マーカー
Ａ６２  仮想オブジェクト
Ａ６３Ｌ  左仮想カメラ
Ａ６３Ｒ  右仮想カメラ
Ｂ１０  ゲーム装置
Ｂ１１  下側ハウジング
Ｂ１２  下側ＬＣＤ
Ｂ１３  タッチパネル
Ｂ１４  操作ボタン
Ｂ１５  アナログスティック
Ｂ１６  ＬＥＤ
Ｂ２１  上側ハウジング
Ｂ２２  上側ＬＣＤ
Ｂ２３  外側撮像部
Ｂ２３ａ  外側撮像部（左）
Ｂ２３ｂ  外側撮像部（右）
Ｂ２４  内側撮像部
Ｂ２５  ３Ｄ調整スイッチ
Ｂ２６  ３Ｄインジケータ
Ｂ２８  タッチペン
Ｂ３１  情報処理部
Ｂ３１１  ＣＰＵ
Ｂ３１２  ＧＰＵ
Ｂ３２  メインメモリ
Ｃ１０  ゲーム装置
Ｃ１１  下側ハウジング
Ｃ１２  下側ＬＣＤ
Ｃ１３  タッチパネル
Ｃ１４  操作ボタン
Ｃ１５  アナログスティック
Ｃ１６  ＬＥＤ
Ｃ１７  挿入口
Ｃ１８  マイクロフォン用孔
Ｃ１９  無線スイッチ
Ｃ２１  上側ハウジング
Ｃ２２  上側ＬＣＤ
Ｃ２３  外側撮像部
Ｃ２３ａ  外側左撮像部
Ｃ２３ｂ  外側右撮像部
Ｃ２４  内側撮像部
Ｃ２５  ３Ｄ調整スイッチ
Ｃ２６  ３Ｄインジケータ
Ｃ２７  スクリーンカバー
Ｃ２８  タッチペン
Ｃ３１  情報処理部
Ｃ３１１  ＣＰＵ
Ｃ３１２  ＧＰＵ
Ｃ３１３  ＶＲＡＭ
Ｃ３２  メインメモリ
Ｃ３３  外部メモリＩ／Ｆ
Ｃ３４  データ保存用外部メモリＩ／Ｆ
Ｃ３５  データ保存用内部メモリ
Ｃ３６  無線通信モジュール
Ｃ３７  ローカル通信モジュール
Ｃ３８  ＲＴＣ
Ｃ３９  加速度センサ
Ｃ４０  角速度センサ
Ｃ４１  電源回路
Ｃ４２  Ｉ／Ｆ回路
Ｃ４３  マイク
Ｃ４４  スピーカ
Ｃ４５  外部メモリ
Ｃ４６  データ保存用外部メモリ
Ｄ１０  ゲーム装置
Ｄ１１  下側ハウジング
Ｄ１２  下側ＬＣＤ
Ｄ１３  タッチパネル
Ｄ１４  操作ボタン
Ｄ１５  アナログスティック
Ｄ１６  ＬＥＤ
Ｄ２１  上側ハウジング
Ｄ２２  上側ＬＣＤ
Ｄ２３  外側撮像部
Ｄ２３ａ  外側撮像部（左）
Ｄ２３ｂ  外側撮像部（右）
Ｄ２４  内側撮像部
Ｄ２５  ３Ｄ調整スイッチ
Ｄ２６  ３Ｄインジケータ
Ｄ２８  タッチペン
Ｄ３１  情報処理部
Ｄ３１１  ＣＰＵ
Ｄ３１２  ＧＰＵ
Ｄ３２  メインメモリ
Ｄ５１  釣りざおオブジェクト
Ｄ５２  魚オブジェクト
Ｄ５３ａ  左仮想カメラ
Ｄ５３ｂ  右仮想カメラ
Ｄ５５  仮想モデル
Ｄ５６  変形オブジェクト
Ｄ５７  マスクオブジェクト
Ｄ６１  マーカ
Ｅ１  ゲーム装置
Ｅ２  下側ハウジング
Ｅ３  第２部分
Ｅ４  第２連結部
Ｅ５  上側ハウジング
Ｅ６  第１部分
Ｅ７  第１連結部
Ｅ２１  下側ＬＣＤ
Ｅ２２  タッチパネル
Ｅ２３  十字キー
Ｅ２４  操作ボタンユニット
Ｅ２５  アナログキー
Ｅ３５  音量ボリュームスイッチ
Ｅ３６  ＳＤカードユニット
Ｅ３７  無線スイッチ
Ｅ５１  上側ＬＣＤ
Ｅ５２  内側撮像部
Ｅ５６  外側撮像部
Ｅ５６ａ  外側撮像部（左）
Ｅ５６ｂ  外側撮像部（右）
Ｅ２０１  第５パーツ
Ｅ２０２  第４パーツ
Ｅ２０３  第６パーツ
Ｅ５０１  第１パーツ
Ｅ５０２  第２パーツ
Ｅ５０３  第３パーツ
Ｅ５０４  第３Ａパーツ
Ｅ５０５  第３Ｂパーツ
【図１】
0005622609.tif 000002
【図２】
0005622609.tif 000003
【図３】
0005622609.tif 000004
【図４】
0005622609.tif 000005
【図５Ａ】
0005622609.tif 000006
【図５Ｂ】
0005622609.tif 000007
【図５Ｃ】
0005622609.tif 000008
【図６】
0005622609.tif 000009
【図７】
0005622609.tif 000010
【図８】
0005622609.tif 000011
【図９】
0005622609.tif 000012
【図１０】
0005622609.tif 000013
【図１１】
0005622609.tif 000014
【図１２】
0005622609.tif 000015
【図１３】
0005622609.tif 000016
【図１４】
0005622609.tif 000017
【図１５】
0005622609.tif 000018
【図１６】
0005622609.tif 000019
【図１７】
0005622609.tif 000020
【図１８】
0005622609.tif 000021
【図１９】
0005622609.tif 000022
【図２０】
0005622609.tif 000023
【図２１】
0005622609.tif 000024
【図２２】
0005622609.tif 000025
【図２３】
0005622609.tif 000026
【図２４】
0005622609.tif 000027
【図２５】
0005622609.tif 000028
【図２６】
0005622609.tif 000029
【図２７】
0005622609.tif 000030
【図２８】
0005622609.tif 000031
【図２９】
0005622609.tif 000032
【図３０】
0005622609.tif 000033
【図３１】
0005622609.tif 000034
【図３２】
0005622609.tif 000035
【図３３】
0005622609.tif 000036
【図３４】
0005622609.tif 000037
【図３５】
0005622609.tif 000038
【図３６】
0005622609.tif 000039
【図３７】
0005622609.tif 000040
【図３８】
0005622609.tif 000041
【図３９】
0005622609.tif 000042
【図４０】
0005622609.tif 000043
【図４１】
0005622609.tif 000044
【図４２】
0005622609.tif 000045
【図４３】
0005622609.tif 000046
【図４４】
0005622609.tif 000047
【図４５】
0005622609.tif 000048
【図４６Ａ】
0005622609.tif 000049
【図４６Ｂ】
0005622609.tif 000050
【図４６Ｃ】
0005622609.tif 000051
【図４７】
0005622609.tif 000052
【図４８】
0005622609.tif 000053
【図４９】
0005622609.tif 000054
【図５０】
0005622609.tif 000055
【図５１】
0005622609.tif 000056
【図５２】
0005622609.tif 000057
【図５３】
0005622609.tif 000058
【図５４】
0005622609.tif 000059
【図５５】
0005622609.tif 000060
【図５６】
0005622609.tif 000061
【図５７】
0005622609.tif 000062
【図５８】
0005622609.tif 000063
【図５９】
0005622609.tif 000064
【図６０Ａ】
0005622609.tif 000065
【図６０Ｂ】
0005622609.tif 000066
【図６０Ｃ】
0005622609.tif 000067
【図６０Ｄ】
0005622609.tif 000068
【図６１】
0005622609.tif 000069
【図６２】
0005622609.tif 000070
【図６３】
0005622609.tif 000071
【図６４】
0005622609.tif 000072
【図６５】
0005622609.tif 000073
【図６６】
0005622609.tif 000074
【図６７】
0005622609.tif 000075
【図６８】
0005622609.tif 000076
【図６９】
0005622609.tif 000077
【図７０】
0005622609.tif 000078
【図７１】
0005622609.tif 000079
【図７２】
0005622609.tif 000080
【図７３】
0005622609.tif 000081
【図７４】
0005622609.tif 000082
【図７５】
0005622609.tif 000083
【図７６】
0005622609.tif 000084
【図７７】
0005622609.tif 000085
【図７８】
0005622609.tif 000086
【図７９】
0005622609.tif 000087
【図８０】
0005622609.tif 000088
【図８１】
0005622609.tif 000089
【図８２】
0005622609.tif 000090
【図８３】
0005622609.tif 000091
【図８４】
0005622609.tif 000092
【図８５】
0005622609.tif 000093
【図８６】
0005622609.tif 000094
【図８７】
0005622609.tif 000095
【図８８】
0005622609.tif 000096
【図８９】
0005622609.tif 000097
【図９０】
0005622609.tif 000098
【図９１】
0005622609.tif 000099
【図９２】
0005622609.tif 000100
【図９３】
0005622609.tif 000101
【図９４】
0005622609.tif 000102
【図９５】
0005622609.tif 000103
【図９６】
0005622609.tif 000104
【図９７】
0005622609.tif 000105
【図９８】
0005622609.tif 000106
【図９９】
0005622609.tif 000107
【図１００】
0005622609.tif 000108
【図１０１】
0005622609.tif 000109
【図１０２】
0005622609.tif 000110
【図１０３】
0005622609.tif 000111
【図１０４】
0005622609.tif 000112
【図１０５】
0005622609.tif 000113
【図１０６】
0005622609.tif 000114
【図１０７】
0005622609.tif 000115
【図１０８】
0005622609.tif 000116
【図１０９】
0005622609.tif 000117
【図１１０】
0005622609.tif 000118
【図１１１】
0005622609.tif 000119
【図１１２】
0005622609.tif 000120
【図１１３】
0005622609.tif 000121
【図１１４】
0005622609.tif 000122
【図１１５】
0005622609.tif 000123
【図１１６】
0005622609.tif 000124
【図１１７】
0005622609.tif 000125
【図１１８】
0005622609.tif 000126
【図１１９Ａ】
0005622609.tif 000127
【図１１９Ｂ】
0005622609.tif 000128
【図１２０】
0005622609.tif 000129
【図１２１】
0005622609.tif 000130
【図１２２】
0005622609.tif 000131