(57)【特許請求の範囲】
【請求項１】
ゲームボード上にアイテムを配置することにより進行するゲームのための映像体験システムであって、
プレイヤー視点のゲームボードからの相対的な位置を示すプレイヤー視点情報を計測するプレイヤー位置決定手段と、
前記ゲームボード上のアイテムを自動的に識別するアイテム識別手段と、
前記識別結果に応じて、予め格納されているルールに基づきゲームの進行を管理するゲーム管理手段と、
前記ゲーム管理手段からの指示に応じてキャラクタに対応するモデルデータを仮想世界に配置し、前記プレイヤー視点情報に基づきレンダリングすることにより、コンピュータグラフィックスを生成する生成手段と、
現実世界の画像に前記生成されたコンピュータグラフィックスを合成して表示するヘッドマウントディスプレイとを有することを特徴とする映像体験システム。
【請求項２】
前記プレイヤー位置決定手段は、センサを用いて前記プレイヤーの姿勢を計測し、該計測されたプレイヤーの姿勢と予め校正されたポジション情報とから前記プレイヤー視点情報を求めることを特徴とする請求項１記載の映像体験システム。
【請求項３】
さらに、前記ヘッドマウントディスプレイに固定されたカメラを有し、
前記プレイヤー位置決定手段は、前記カメラの撮影画像を解析し、画像内のマーカを認識することにより、前記プレイヤーの視点情報を求めることを特徴とする請求項１記載の映像体験システム。
【請求項４】
さらに、プレイヤーの位置を計測する位置センサと、
前記ヘッドマウントディスプレイに固定されたカメラとを有し、
前記プレイヤー位置決定手段は、前記位置センサの出力からプレイヤー視点の位置情報を求める第一の位置決定部と、前記カメラの撮影画像からプレイヤー視点の位置情報を求める第二の位置決定部とを有し、前記第一および前記第二の位置決定部の夫々の出力値の信頼度に基づき、前記プレイヤーの視点の位置情報を求めることを特徴とする請求項１に記載の映像体験システム。
【請求項５】
さらに、プレイヤーの姿勢を計測する姿勢センサと、
前記ヘッドマウントディスプレイに固定されたカメラとを有し、
前記プレイヤー位置決定手段は、前記姿勢センサからの出力からプレイヤー視点の位置情報を求める第一の位置決定部と、前記カメラの撮影画像からプレイヤー視点の位置情報を求める第二の位置決定部とを有し、前記第一および前記第二の位置決定部の夫々の出力値の信頼度に基づき、前記プレイヤーの視点の位置情報を求めることを特徴とする請求項１に記載の映像体験システム。
【請求項６】
さらに、前記第一の位置決定部または前記第２の位置決定部の出力値から補正値を求め、前記補正値を用いて前記第一の位置決定部または前記第２の位置決定部の出力値を補正することを特徴とする請求項４または請求項５記載の映像体験システム。
【請求項７】
前記アイテム識別手段は、アイテムに付けられた特殊マーク識別子を認識することを特徴とする請求項６記載の映像体験システム。
【請求項８】
可視あるいは不可視のバーコードを特殊マーク識別子として用いることを特徴とする請求項６記載の映像体験システム。
【請求項９】
ＲＦＩＤトランスポンダを特殊マーク識別子として用いることを特徴とする請求項６記載の映像体験システム。
【請求項１０】
前記アイテム識別手段は、アイテムの形状、またはアイテム上に描かれた模様、あるいはその両方を、画像認識を用いて認識することを特徴とする請求項６に記載の映像体験システム。
【請求項１１】
前記アイテム識別手段でアイテムを識別するために、ユーザにアイテムを動かす位置をガイド表示するためのコンピュータグラフィックを生成することを特徴とする請求項１０記載の映像体験システム。
【請求項１２】
ゲームボード上にアイテムを配置することにより進行するゲームのための映像体験システムを制御するための情報処理方法であって、
プレイヤー視点のゲームボードからの相対的な位置を示すプレイヤー視点情報を計測するプレイヤー位置決定工程と、
前記ゲームボード上のアイテムを自動的に識別するアイテム識別工程と、
前記識別結果に応じて、予め格納されているルールに基づきゲームの進行を管理するゲーム管理工程と、
前記ゲーム管理手段からの指示に応じてキャラクタに対応するモデルデータを仮想世界に配置し、前記プレイヤー視点情報に基づきレンダリングすることにより、コンピュータグラフィックスを生成する生成工程と、
現実世界の画像に前記生成されたコンピュータグラフィックスを合成して、ヘッドマウントディスプレイに出力する出力工程とを有することを特徴とする情報処理方法。
【請求項１３】
ゲームボード上にアイテムを配置することにより進行するゲームのための映像体験システムを制御するための情報処理方法であって、
プレイヤー視点情報を計測するプレイヤー位置決定工程と、
ゲームボード上のアイテムを該アイテムの画像を解析することにより識別するアイテム識別工程と、
前記識別結果に応じて、予め格納されているルールに基づきゲームの進行を管理するゲーム管理工程と、
前記ゲーム管理手段からの指示に応じてキャラクタに対応するモデルデータを仮想世界に配置し、前記プレイヤー視点情報に基づきレンダリングすることにより、コンピュータグラフィックスを生成する生成工程と、
現実世界の画像に前記生成されたコンピュータグラフィックスを合成して、ヘッドマウントディスプレイに出力する出力工程とを有し、
前記アイテム識別手段でアイテムを識別するために、ユーザにアイテムを動かす位置をガイド表示するためのコンピュータグラフィックを生成することを特徴とする情報処理方法。
【請求項１４】
請求項１２または１３に記載された情報処理を、コンピュータに実行させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載されたコンピュータによって実行可能なプログラムが記録されたことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
ゲームボード上にアイテムを配置することにより進行するゲームに関するものである。
【０００２】
【従来の技術】
従来よりゲームのジャンルとして、ボードゲームというものがある。これはボード上に区分けされた領域があり、その領域上にコマを置いたり、除いたり、また移動させたりしつつゲームを進行させていく類のゲームである。例えば、コマとして通常特定の立体形状をしたオブジェクトを使うものとしては、チェスやチェッカー、バックギャモン、また囲碁や将棋、すごろく等がよく知られている。またコマとしてカードを使うものもあり、これはカードゲームと呼ばれている。トランプを用いるものはババ抜き、ナポレオン、７並べ、ポーカー、ブラックジャック等、枚挙に暇がない。
【０００３】
さらにカードゲームには、ゲーム特有のカードを用い、各々のカードには特定の役割を持たせたものもある。いわゆるカードバトルと呼ばれるゲームがこれに該当する。なお、トランプゲームの多くは区分けされた領域が単純であるので、特別なボードを用いない場合もあるが、これは不可視の区分けされた領域のあるボードがあり、プレイヤーが互いにその存在を認知、共有しているものと考えることができる。
【０００４】
このようなボードゲーム、カードゲーム自体はある出来事を想定しているものである場合も多く、アイテム（例えば、コマ）も特定の動物、人物等を想定していることが多い。またボードやコマはあらかじめ形が決まっており、描かれている模様もゲームの進行状況に応じて変化するものではなかった。
【０００５】
一方、ＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術を用いたゲームも存在する。これはゲームを行う環境を大道具、小道具といった現実のセットで構築し、その中にプレイヤーが入り込んで、プレイを行う。多くの場合、各プレイヤーはシースルーＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を装着し、ＨＭＤを装着しない場合に見える映像に、ゲーム進行に合わせたＣＧ映像を重畳してＨＭＤに表示する。
【０００６】
【発明が解決しようとする課題】
上記従来例のボードゲームは、ゲームの状況に応じて、コマの形や模様が変化するものではない。たとえば戦闘シーンでも実際に戦闘が眼前で起こるというものではなく、また「天使が〜と指示を出す」というようなカードにあたっても、実際に天使が喋るわけではない。
【０００７】
そのため、ゲーム自体はある場面を想定しているにもかかわらず、対応する表示がないために、臨場感が劣るという問題があった。また、同様な理由でゲームの進行状況を一目で把握するのが難しいという問題があった。
【０００８】
一方、上記従来例のＭＲゲームでは、臨場感は非常にあるものの、ゲーム環境の設置が非常に大変である。セットを作成する作業そのものも大掛かりになりがちであるが、それに加えて、セットを構成するたびにセット内のオブジェクトの位置を計測しなければならなかった。また、ゲーム内容の変更は困難であった。
【０００９】
本発明は上述の点に鑑みてなされたものであり、現実のボードゲームの面白さに加えて、臨場感が増し、さらにゲームの進行状況が把握しやすくすることを目的とする。
【００１０】
請求項１記載の発明は、従来のＭＲゲームに比べて必要なセットがコンパクトとなるとともに、校正も含めた設定が容易にできるようにすることを目的とする。
請求項１３記載の発明は、プレイヤーがアイテムを空間条の適切な場所にかざすことが容易にできるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明は上記目的を達成するために、以下の構成を有することを特徴とする。
【００１２】
本願請求項１に記載の発明は、ゲームボード上にアイテムを配置することにより進行するゲームのための映像体験システムであって、プレイヤー視点のゲームボードからの相対的な位置を示すプレイヤー視点情報を計測するプレイヤー位置決定手段と、前記ゲームボード上のアイテムを自動的に識別するアイテム識別手段と、前記識別結果に応じて、予め格納されているルールに基づきゲームの進行を管理するゲーム管理手段と、前記ゲーム管理手段からの指示に応じてキャラクタに対応するモデルデータを仮想世界に配置し、前記プレイヤー視点情報に基づきレンダリングすることにより、コンピュータグラフィックスを生成する生成手段と、現実世界の画像に前記生成されたコンピュータグラフィックスを合成して表示するヘッドマウントディスプレイとを有することを特徴とする映像体験システム。
【００１３】
本願請求項１３に記載の発明は、ゲームボード上にアイテムを配置することにより進行するゲームのための映像体験システムを制御するための情報処理方法であって、プレイヤー視点情報を計測するプレイヤー位置決定工程と、ゲームボード上のアイテムを該アイテムの画像を解析することにより識別するアイテム識別工程と、前記識別結果に応じて、予め格納されているルールに基づきゲームの進行を管理するゲーム管理工程と、前記ゲーム管理手段からの指示に応じてキャラクタに対応するモデルデータを仮想世界に配置し、前記プレイヤー視点情報に基づきレンダリングすることにより、コンピュータグラフィックスを生成する生成工程と、現実世界の画像に前記生成されたコンピュータグラフィックスを合成して、ヘッドマウントディスプレイに出力する出力工程とを有し、前記アイテム識別手段でアイテムを識別するために、ユーザにアイテムを動かす位置をガイド表示するためのコンピュータグラフィックを生成することを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の映像体験システムを図面に基づいて説明する。なお、各図面において同一の構成については同一の番号を付加する。
【００１５】
以下に説明する映像体験システムでは、プレイヤーにシースルーＨＭＤ（ヘッドマウントディスプレイ）を被ってもらい、ゲームボードという限られた場で現実にボードゲームやカードゲームを行っている状況にＣＧ（コンピュータグラフィックス）を重畳して表示する。ここでＣＧはゲームの進行状況に応じて変化する。例えばチェスであればナイトは馬に乗った騎士のＣＧであり、移動するときには馬が走るＣＧとなる。また相手のコマを取るときには、相手のコマに対応するＣＧと戦い、勝利するＣＧとなる。
【００１６】
この映像体験システムによれば、現実のボードゲームの面白さに加えて、臨場感が増し、さらにゲームの進行状況が把握しやすくなる。
【００１７】
また、従来のＭＲ技術を用いたゲームに比較して、設置が容易であり、ゲーム内容の変更にも比較的柔軟に対応できる。
【００１８】
（第１の実施形態）
図１は第１の実施形態の映像体験システムの構成例を示す図である。
【００１９】
ゲームの場となるゲームボード１０１があり、プレイヤーはボード１０１上でコマを置いたり、除いたり、移動させたりしてゲームを進行させていく。プレイヤーはシースルーＨＭＤ１０３を被ったままゲームを行う。位置センサ１０４はＨＭＤ１０３に固定されており、プレイヤー視点のポジションや姿勢を検出する。
【００２０】
ここで本提案書で使用する「位置」「ポジション」「姿勢」を定義しておく。「位置」とは、「ポジション」と「姿勢」の両方を含んだものである。すなわち、「位置情報」と言えば「ポジション情報」と「姿勢情報」の両者の情報ということである。「ポジション」とは、特定の空間座標系の中で一点を指示するための情報であり、ＸＹＺ直交座標系の場合は（ｘ，ｙ，ｚ）の３つの値の組で表される。また、地球上の事象を表すのであれば、緯度、経度、高度（または深度）の３つの値の組で表すこともできる。「姿勢」とは、「ポジション」で示される一点からどの方向を向いているかを示すもので、向いている方向上にある任意の一点のポジションを使うことも可能であるし、ＸＹＺ直交座標系の場合は、視線が各座標軸となす角度、あるいは規定の視線方向（たとえば−Ｚ方向）を決めておき、それを各座標軸のまわりにどれだけ回転させるか、で表すことができる。
【００２１】
いずれにしろ、特に拘束条件がない場合は、「ポジション」は自由度３であり、「姿勢」も自由度３である。
【００２２】
位置センサは「ポジション」および「姿勢」の６自由度の値を得ることができるセンサである。
【００２３】
位置センサとしては様々なものが販売されており、磁場を利用したもの、マーカーを外部に設置したカメラで撮影し画像処理するもの、ジャイロセンサと加速度センサを組み合わせたもの等がある。
【００２４】
またボードゲームの性格上、プレイ中はプレイヤーの頭部の位置はほとんど変化しない。そこで、ポジション情報としてはゲーム開始時に校正された値を用い、姿勢情報のみを計測するセンサ、すなわち姿勢センサを用いることもできる。この場合、ゲーム中は姿勢情報の３自由度のみを計測しているわけであるが、システムとしては最初に校正されたポジション情報と併せて、６自由度の値を返しているものとして処理することができる。すなわち、姿勢センサと校正されたポジションデータとで位置センサとみなすことができる。
【００２５】
図２にゲーム前の校正の方法を示す。ゲームボード１０１上には識別のためのマーカー２０１が四隅に付けられている。マーカー２０１はここでは簡単のため、正方形に配置されているとし、正方形の一辺の長さはｌである。プレイヤーはボードの手前に位置するが、プレイヤーの視点２０２のポジションはボードの正面で手前の辺からｄである。この状態でプレイヤーがボードを見たとき、ボードは手前の辺に比べて奥の辺が短く観測される。観測された手前の辺の長さをｍ１、奥の辺の長さをｍ２とすると、視点２０２のボード１０１面からの高さｈは投影方法にもよるが、次のように求められる。
【００２６】
ｈ＝（（ｍ２２（ｄ＋ｌ）２    ｍ１２ｄ２）  ／  （ｍ１２    ｍ２２））０．５
ＨＭＤ１０３との映像の入出力、及び位置センサ１０４からの位置情報は、ゲームコンソールあるいはＰＣ１０２によって処理される。
【００２７】
図３はシースルーＨＭＤ１０３の内部構成を示した図である。シースルーＨＭＤにはビデオシースルータイプと光学シースルータイプとがある。
【００２８】
ビデオシースルータイプの場合、プレイヤーの目には直接外界の光は届かない。外界からの光は両面ミラー３０１で光線方向を変更し、撮像素子３０２に入る。また、プレイヤーに提示する映像は表示素子３０３に表示され、両面ミラー３０１を経由してプレイヤーの目に入る。撮像素子３０２の出力画像を直接表示素子３０３に入力してやると、単なるメガネになるが、この間にゲームコンソールまたはＰＣ１０２で処理を加え、生成したＣＧを重畳表示することができる。
【００２９】
光学シースルータイプの場合は、外界の光は直接プレイヤーの目に届く一方、別途生成したＣＧをも同時に表示することにより、プレイヤーにはＣＧが重畳表示されたように見える。
【００３０】
外界からの光はハーフミラーをそのまま突き抜けて、プレイヤーの目に入る。同時に表示素子に表示された映像はハーフミラーで反射され、プレイヤーの目に入る。この場合、撮像素子は必要ないが、プレイヤー視点での映像を画像処理に使う場合には必要となる。あるいは撮像素子３０２を用いずに、別途画像処理用にカメラを設け、ＨＭＤ１０３に固定することも可能である。
【００３１】
ゲームコンソールまたはＰＣ１０２は、通常のゲームと同様にゲームを管理・進行する。
【００３２】
なお、ボードゲームの場合は、位置情報としては、ボード１０１とＨＭＤ１０３との相対的位置関係さえわかればよく、設置のたびに大道具、小道具によるセットや、人体に装着するセンサの校正を行わなくてよい。
【００３３】
本実施形態によれば、ＭＲゲームに比べて必要なセットがコンパクトである。さらにて、校正も含めた設置が容易である。ＭＲゲームについての詳細は、たとえば日本バーチャルリアリティ学会第４回大会論文集の２２Ａ：複合現実感の「複合現実型アミューズメントのためのフレームワークと実装  （Ｄｅｓｉｇｎ  ａｎｄ  Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ｆｏｒ  ＭＲ  Ａｍｕｓｅｍｅｎｔ  Ｓｙｓｔｅｍｓ）  に記載されている。
【００３４】
また、本実施形態によれば、従来のボードゲームに比べて臨場感を向上させることができる。
【００３５】
図４は本実施形態が適用される映像体験システムの構成例である。
【００３６】
ゲームコンソールまたはＰＣ１０２はゲーム管理部４０１によりゲームの進行を管理する。そして、ゲームの進行に応じて、各場面に対応したＣＧ（コンピュータグラフィックス）をＣＧ生成部４０５で生成する。ＣＧ生成部４０５はプレイヤー視点からみたＣＧ画像を生成するために、プレイヤー視点の位置情報をプレイヤー位置決定手段４０２から取得する。プレイヤー位置決定手段４０２には、たとえば、位置センサ１０４と、その情報を解析し、プレイヤー視点の位置情報を決定する位置センサ情報処理部４０３が含まれる。
【００３７】
位置センサ情報処理部４０３は、位置センサ１０４から得られるデータのフォーマット変換や、システムで用いる座標系への変換、また位置センサの取り付けられている位置とＨＭＤ１０３視点との差の補正等を行う。
【００３８】
ＣＧ生成部４０５で生成されたＣＧはプレイヤー視点から見た画像であるので、ビデオシースルータイプのＨＭＤの場合はＨＭＤ１０３の撮像部３０２より得られた画像に、画像合成部４０４で重畳して、表示部３０３に表示する。
【００３９】
光学シースルータイプのＨＭＤの場合は画像合成の必要がないので、撮像部３０２及び画像合成部４０４は必要なく、ＣＧ生成部４０５の出力をそのまま表示部３０３に表示する。
【００４０】
ゲーム管理部４０１はゲームそのものに関する情報、いわゆるルールが格納され、ゲーム進行中は現在の状態や場面を保持し、次にどの状態に移行するかを決定、管理する。さらにＣＧを用いてプレイヤーに提示する場面では、ＣＧの描画指示をＣＧ生成部４０５に対して発行する。
【００４１】
ＣＧ生成部４０５は、ゲーム管理部４０１からの指示に従い、各キャラクタに対応する内部表現であるモデルデータをプレイヤーがプレイしている仮想世界の内部表現であるワールドに配置する。モデルデータもワールドもシーングラフと呼ばれる手法で内部表現されており、ワールドのシーングラフを生成したのちに、シーングラフをレンダリングする。その際、プレイヤー位置決定手段４０２より与えられる位置からワールドを見たシーンをレンダリングする。
【００４２】
レンダリングは表示されない内部のメモリ上で行われることもあるし、フレームバッファと呼ばれる表示用のメモリ上に行われることもある。ここでは簡単のため、表示されない内部のメモリ上にレンダリングされるものとする。
【００４３】
画像合成部４０４ではＣＧ生成部４０５が生成したＣＧをＨＭＤ１０３内の撮像部３０２によって撮像された画像に重畳する。画像を重畳表示するには、アルファブレンディングという手法が使える。画像合成部４０４の画素出力フォーマットとして、ＲＧＢＡというＲＧＢの三原色の強度に加えて、不透明度Ａ（アルファ値）（０≦Ａ≦１）を持っている場合は、不透明度Ａの値によって、合成する。
【００４４】
たとえば、撮像部３０２からの出力上のある画素の値をＲＧＢ値で（Ｒ１，Ｇ１，Ｂ１）、画像合成部４０４の対応する画素の値をＲＧＢ値で（Ｒ２，Ｇ２，Ｂ２）、不透明度の値をＡとする。
【００４５】
そのとき、表示部３０３に出力される対応する画素の値はつぎのようになる。
【００４６】
（Ｒ１＊（１−Ａ）＋Ｒ２＊Ａ，  Ｇ１＊（１Ａ）＋Ｇ２＊Ａ，  Ｂ１＊（１Ａ）＋Ｂ２＊Ａ）
このアルファブレンディングの処理はＣＧ生成部４０５内で行うことも可能であるが、ここでは機能をわかりやすく説明するために、別々の構成要素として図示してある。
【００４７】
以上のような構成にすることにより、プレイヤーはゲームの面白さに加えて、臨場感の高まりを感じる。さらに重畳されるＣＧはゲームの進行に同期したものなので、ゲームの進行状況が把握しやすくなる。
【００４８】
また、位置情報としては、ボード１０１とＨＭＤ１０３との相対的位置関係さえわかればよく、設置のたびに大道具、小道具によるセットや、人体に装着するセンサの校正を行わなくてよい。
【００４９】
なお、本発明はゲームに限ったものではなく、プレゼンテーション、教育、シミュレーション、ビジュアライゼーションといった、さまざまな分野のアプリケーションにも適用できる。
【００５０】
（第２の実施形態）
図５は第２の実施形態の映像体験システムの構成例を示す図である。図４と比べて、プレイヤー位置決定手段４０２の構成のみが異なっている。
【００５１】
プレイヤー位置決定手段４０２はＨＭＤ１０３に固定されたカメラ５０１とボード画像認識部５０２より構成される。カメラ５０１で撮影された画像に映ったボード１０１の画像はプレイヤー視点２０２の位置によって異なる。そこでカメラ５０１で撮影された画像をボード画像認識部５０２で解析し、プレイヤー視点の位置、姿勢を決定することができる。
【００５２】
ボード画像認識部ではボード１０１の画像を認識するが、ゲームボード１０１にマーカー２０１が付けられている場合、カメラ５０１によって得られる画像は歪んだものとなる。この歪みをもとに、カメラ５０１の位置を決定する。マーカー２０１に関して、少なくとも４点の対応が取れれば、カメラ５０１の位置が決定できることが知られている。こうして得られたカメラ５０１の位置を、カメラ位置とプレイヤー視点位置の違いに基づき補正し、プレイヤー視点２０２の位置を算出し、出力とする。
【００５３】
なお、ＨＭＤ１０３に撮像部３０２が予め付属している場合には、カメラ５０１の代わりに撮像部３０２を使用してもよく、同等の効果がある。
【００５４】
本実施形態によれば、プレイヤー位置決定手段が、シースルーＨＭＤに固定されたカメラ、およびボード画像認識部により構成され、ボード画像認識部はカメラによって撮像されたボードの画像からボードとプレイヤー視点の相対的な位置を決定するので、位置センサを用いずにプレイヤー視点の位置情報を求めることができ、構成を簡単にすることができる。
【００５５】
（第３の実施形態）
図６は第３の実施形態の映像体験システムの構成例を示す図である。
【００５６】
図４、図５と比べて、プレイヤー位置決定手段４０２の構成のみが異なっている。
【００５７】
図４、図５におけるプレイヤー位置決定手段４０２の構成要素の両方を構成要素として持ち、さらに最尤位置決定部６０１を持つ。
【００５８】
一般に位置センサ１０４の出力は外乱に弱く、また安定度も低い。そこでボード画像認識部５０２からの位置情報を、プレイヤー位置決定手段の出力として用いればよいのであるが、カメラの撮像範囲にボード１０１が必ずしも含まれているとは限らず、プレイヤーの手など、認識を妨げる要素もある。このような場合は、位置情報の値の信頼度が低下する。
【００５９】
そこで、その場合に限って、位置センサ１０４からの情報を用いるようにする。この結果、位置情報出力が途切れることなく、またボード１０１が認識されている期間は精度の高い位置情報が取得できる。
【００６０】
最尤位置決定部の処理を示すＵＭＬアクティビティ図を図７に示す。
【００６１】
まず、位置センサ情報処理部４０３からと、ボード画像認識部５０２からとの位置情報データを待つ。両者のデータが揃ったところで、ボード画像認識部５０２からの位置情報データが適切なものかどうかを判断する。適切と判断されれば、プレイヤー位置決定手段４０２の出力として、ボード画像認識部５０２からの情報を用い、そうでない場合は位置センサ情報処理部４０３からの情報を用いる。
【００６２】
なお、ここではボード画像認識部５０２からは正常に認識できている間は高精度な値が、そうでない場合は不適当な値が得られることを前提に説明しているが、本発明はそのような場合に限らない。カメラ５０１からの画像によっては、値は算出できるが信頼度の低い場合もあるかもしれず、またある種の位置センサを用いれば、特定の範囲では非常に高精度な値が得られるが、その範囲を外れると徐々に信頼度が低下していく場合もあるかもしれない。位置センサ情報処理部４０３とボード画像認識部５０２の各々の出力値に対する信頼度に基づき、もっとも最適と思われる値を出力するように設計することが必要である。
【００６３】
本実施形態によれば複数の方法で求められた位置情報のいずれかが不適当な場合でも、信頼できる位置情報を求めることができる。
【００６４】
（第４の実施形態）
位置センサの方式にはいくつかあるが、多くの方式で、その得られた値が揺らぐという問題がある。計測された値と本来の値との差ｄＶを時間経過を横軸にしてグラフ化したものの例を図８に示す。点線のように小さく揺らぐものと、実線のように大きく遷移していくものがあるが、本実施形態では実線のように大きく値が遷移していく場合を対象とする。
【００６５】
大きな遷移の場合、十分な頻度でサンプリングすれば、連続するｄＶの２サンプルの差は微小である。そこでボード画像認識部５０２の値が適正な場合に、それを本来の値と仮定した上でｄＶを計算し、位置センサ情報の補正値として−ｄＶを使う。
【００６６】
こうすることにより、大きな値の遷移はボード画像認識部５０２の値が不正となったときを０として始まることになり、このときプレイヤー位置決定手段４０２が出力する位置情報は連続した値となるために、プレイヤーにとって突然ＣＧ描画位置がずれることによる不快感はなくなる。
【００６７】
さらにボード画像認識部５０２の値が不正な期間が十分に短い場合は、大きな遷移によるｄＶの変化は微小であるので、再びボード画像認識部５０２の値がプレイヤー位置決定手段４０２の値となったときも、ＣＧ描画位置が不連続になることはない。
【００６８】
図９に第４の実施形態の映像体験システムの構成例を示す。
【００６９】
図６と比べて基本的構成は変わっていないが、ボード画像認識部５０２の出力が最尤位置決定部６０１に加えて、位置センサ情報処理部４０３にも入力されており、位置センサ情報処理部４０３の出力が最尤位置決定部６０１に加えて、ボード画像認識部５０２にも入力されている点のみ異なる。ただしここでは位置センサ情報処理部４０３の出力がボード画像認識部５０２に入力されている部分に関しては無視できるものとして説明する。
【００７０】
位置センサ情報処理部４０３の処理を示すＵＭＬアクティビティ図を図１０に示す。
【００７１】
位置センサ１０４からの情報は通常通り処理され、位置情報が計算される。その値を変数ＬａｓｔＳｅｎｓｏｒＰｏｓに退避する。変数ＬａｓｔＳｅｎｓｏｒＰｏｓはオブジェクト変数で、すぐ後で述べる別のスレッドからも参照される。
【００７２】
続いて計算された位置情報に補正値を加えた値を戻り値として一時退避する。なお補正値もオブジェクト変数であり、すぐ後で述べる別のスレッドによって値を設定される。戻り値はローカル変数であるが、これは排他的実行を行うために一時的に使用するだけである。そして、最後に戻り地を位置センサ情報処理部４０３の出力として返す。
【００７３】
さて、上述の補正値を計算する必要があるが、これはボード画像認識部５０２から出力があったときに、随時更新される。
【００７４】
まず、画像認識情報が適切かどうかを判断する。不適切であった場合は更新処理は行わない。適切であった場合は、補正値を画像認識による位置情報からＬａｓｔＳｅｎｓｏｒＰｏｓを減じて設定する。
【００７５】
なお、ここでは位置センサ情報処理部４０３からボード画像認識部５０２への入力は無視できると考えたが、本発明はそのような場合に限らない。位置センサ１０４から高精度な情報が得られる場合には、ボード画像認識部５０２も位置センサ情報処理部と同様な方法で補正値を更新できる。また、各々の値の確信度により、互いにどの程度、値を補正するかを変化させてもよい。たとえば、確信度の差が非常に大きい場合には、高い側の出力をほぼそのまま出力するように低い側の位置決定手段の補正値を更新するが、あまり差がないような場合は、互いに少しづつ補正しあうように補正値を更新する、といった具合である。
【００７６】
本実施形態によれば、補正値を更新することにより、常に高い信頼度のプレイヤー視点の位置情報を連続した値で得ることができる。よって、突然ＣＧ描画位置がずれることによる不快感を防ぐことができる。
【００７７】
（第５の実施形態）
位置センサの方式として、ジャイロセンサと加速度センサを組み合わせたものがあると前に述べたが、ジャイロセンサは姿勢情報のみを検出する。このような姿勢センサを用いる場合、あらかじめポジションを校正しておけば、位置センサとして使える。しかし、カメラ５０１とボード画像認識部５０２からなる位置決定手段を同時に持つ場合には、校正が不要である。
【００７８】
そこで基本的には画像処理によって位置情報を計算するが、画像処理による位置情報が不正である場合に、姿勢データのみを姿勢センサの値で補完することができる。ボードゲームやカードゲームの場合、ＨＭＤ１０３のポジション変化による視野の変化とＨＭＤ１０３の姿勢変化によるはそれを比べると、後者の方が支配的と考えられるので、姿勢情報のみを補完することも大いに有意義である。そこでカメラ５０１の他に姿勢センサをＨＭＤ１０３に固定する。
【００７９】
これは第５の実施形態の映像体験システムの例であり、図１１にその構成例を示す。
【００８０】
図６と比べてプレイヤー位置決定手段３０２の構成のみが変わっている。位置センサ１０４の代わりに姿勢センサ１１０１、位置センサ情報処理部４０３の代わりに姿勢センサ情報処理部１１０２、最尤位置決定部６０１の代わりに最尤姿勢決定部１１０３となっている。
【００８１】
基本的な処理の流れは第３の実施形態の場合と変わらない。姿勢センサ１１０１の出力データを姿勢センサ情報処理部１１０２が処理をし、姿勢情報を出力する。位置センサ情報処理部４０３では姿勢情報に加えてポジション情報も出力していたが、その点が異なる。
【００８２】
最尤姿勢決定部１１０３の処理をＵＭＬアクティビティ図を図１２に示す。
【００８３】
まず姿勢センサ情報処理部１１０２からの姿勢センサ情報と、ボード画像認識部５０２からの画像認識情報の来るのを待つ。両データが揃ったら、画像認識情報が適切であるかどうかを判断する。
【００８４】
適切であると判断されると、そのうちのポジション情報をのみをオブジェクト変数ＬａｓｔＩＰＰｏｓに設定する。そして、画像認識情報を返して処理を終了する。
【００８５】
もし、不適切だと判断されたなら、姿勢情報として姿勢センサ情報を使うが、足りないポジション情報としてさきほど設定しておいたＬａｓｔＩＰＰｏｓを用いる。両データを組み合わせて得られる位置情報を返して処理を終了する。
【００８６】
なお、ここでは姿勢情報に関しては姿勢情報処理部の値よりもボード画像認識部の値のほうが信頼度が高いと仮定しているが、互いの信頼度に応じて、最尤姿勢決定部１１０３は両者の値から姿勢情報を計算、決定することができる。
【００８７】
本実施形態によれば、最尤姿勢決定部では、それぞれの出力値の信頼度によって、もっとも信頼できるプレイヤー視点の姿勢を、各々の出力値を元に決定するので、１つの出力が不適当な場合でも、もっとも信頼できるプレイヤー視点の姿勢を得ることができる。
【００８８】
また、姿勢センサのみの場合に必要だった、プレイヤー視点の位置の校正が不要である。また、位置センサの代わりに姿勢センサを用いるため、安価に構成できる。
【００８９】
（第６の実施形態）
姿勢センサ情報処理部１１０２から得られる姿勢情報も、前に説明した通り、値が揺らぐ。そこで、第４の実施形態と同様な方法でこの問題を克服する。
【００９０】
図１３は第６の実施形態の映像体験システムの構成例を示す図である。図１１と比べて構成は変わっていないが、ボード画像認識部５０２の出力が最尤姿勢決定部１１０３に加えて、姿勢センサ情報処理部１１０２にも入力されている点のみ異なる。ただし、姿勢センサ情報処理部１１０２に渡される値は位置情報のうちの姿勢情報のみである。
【００９１】
姿勢センサ情報処理部１１０２の処理を示すＵＭＬアクティビティ図を図１４に示す。
【００９２】
姿勢センサ１１０１からの情報は通常通り処理され、姿勢情報が計算される。その値を変数ＬａｓｔＳｅｎｓｏｒＤｉｒに退避する。変数ＬａｓｔＳｅｎｓｏｒＤｉｒはオブジェクト変数で、すぐ後で述べる別のスレッドからも参照される。
【００９３】
続いて計算された姿勢情報に補正値を加えた値を戻り値として一時退避する。なお補正値もオブジェクト変数であり、すぐ後で述べる別のスレッドによって値を設定される。戻り値はローカル変数であるが、これは排他的実行を行うために一時的に使用するだけである。そして、最後に戻り値を姿勢センサ情報処理部１１０２の出力として返す。
【００９４】
さて、上述の補正値を計算する必要があるが、これはボード画像認識部５０２から出力があったときに、随時更新される。
【００９５】
まず、画像認識情報が適切かどうかを判断する。不適切であった場合は更新処理は行わない。適切であった場合は、補正値を画像認識による姿勢情報からＬａｓｔＳｅｎｓｏｒＤｉｒを減じて設定する。
【００９６】
なお、ここでは姿勢センサ情報処理部１１０２からボード画像認識部５０２への入力は無視できると考えたが、本発明はそのような場合に限らない。姿勢センサ１１０１から高精度な情報が得られる場合には、ボード画像認識部５０２も姿勢センサ情報処理部と同様な方法で補正値を更新できる。また、各々の値の確信度により、互いにどの程度、値を補正するかを変化させてもよい。たとえば、確信度の差が非常に大きい場合には、高い側の出力をほぼそのまま出力するように低い側の姿勢決定手段、または位置決定手段内の姿勢決定にかかわる部分の補正値を更新するが、あまり差がないような場合は、互いに少しづつ補正しあうように補正値を更新する、といった具合である。
【００９７】
本実施形態によれば、高い信頼度のプレイヤー視点の姿勢情報を含む位置情報を、連続した値で得ることができる。
【００９８】
（第７の実施形態）
さて、ボードゲームで用いる場であるボード１０１上にはいくつかの領域があり、プレイヤーは各領域にコマを置いたり、除いたり、また領域間を移動させたりすることによって、ゲームを進行させていくことは既に述べた通りである。ゲームの場面状況、あるいは進行状況をゲーム管理部４０１が把握することにより、ＣＧ生成部４０５は、ゲームの場面状況、あるいは進行状況に合ったＣＧを生成することができ、プレイヤーにとってはより現実味の高いゲームと感じられる。
【００９９】
そこで、プレイヤーが操作するコマに関して、「どのコマが」「どの領域に」「置かれた／除かれた」を認識するコマ操作認識手段を持たせる。
【０１００】
なお、コマに限らず他のアイテムを用いてゲームを進行させ、そのアイテムの操作を認識するようにしても構わない。
【０１０１】
図１５は第７の実施形態の映像体験システムの構成例である。
【０１０２】
コマ操作認識手段１５０１は、コマに付けられたバーコード等の特殊マークと、それを認識するバーコードリーダ等の特殊マーク認識手段１５０２とから構成される。ただし、特殊マークはコマに付けられるものであるので、図１５には図示していない。
【０１０３】
なお、特殊マークはコマを識別するためだけのものなので、一般的な印刷によるマークのみならず、ＩＣチップ等を用いたＲＦＩＤと呼ばれるシステム、または類似のシステムを用いることもできる。
【０１０４】
特殊マーク認識手段１５０２はボード１０１上の各領域ごとに個別に設置してもよいし、複数の、あるいは全部の領域をまとめて、１台で賄ってもよい。
【０１０５】
特殊マーク認識手段１５０２からのデータは特殊マーク認識部１５０３に渡された後に、コマ操作認識部１５０４に渡される。
【０１０６】
特殊マーク認識部１５０３では、特殊マーク認識手段１５０２からの情報を解釈して、コマ操作認識部１５０４が必要とするデータ形式に変換する。もし各領域に対し、ひとつづつの特殊マーク認識部１５０３が対応しているとすると、出力を出す特殊マーク認識部１５０３によって「どの領域に」は判断できるので、その情報は出力する必要はないが、複数の領域をひとつの特殊マーク認識部１５０３が賄っている場合には、賄っている範囲の領域に関しては「どの領域に」という情報も出力する。また、たとえば特殊マーク認識手段１５０２からの入力が１０桁の数字であった場合には、対応表を用いる等して、「どのコマが」という情報に変換する。
【０１０７】
コマ操作認識部１５０４では、「どのコマが」「どの領域に」「置かれた／除かれた」を認識し、コマ操作認識手段１５０１の結果として、認識結果をゲーム管理部４０１に渡す。
【０１０８】
ゲーム管理部４０１では、コマ操作認識手段１５０１からの認識結果をもとにゲームを進行させていく。実際のゲーム進行においては、「どのコマが」「どの領域から」「どの領域に」移動した、という情報が必要な場合もある。これは、コマが「領域ｊから除かれた」という情報と、「コマｉ領域ｋに置かれた」という情報を組み合わせることにより、ゲーム管理部４０１が判断する。この場合ならば領域ｊに置かれているコマがｉだったならば、「コマｉが領域ｊから領域ｋに移動した」となる。領域ｊに置かれているコマがｉだったということは、ゲーム管理部が履歴を管理、参照することで認知可能である。
【０１０９】
図１６はコマ操作認識部の処理をＵＭＬのアクティビティ図で示したものである。
【０１１０】
特殊マーク認識手段１５０２が、ボード１０１上の各領域に一つづつ設置されており、領域ｉには特殊マーク認識手段ｉが対応している。また特殊マーク認識部１５０３はコマｊが置かれたときは特殊マーク識別子としてｊを、除かれたときは特別な特殊マーク識別子Ｎｏｔｈｉｎｇを返すものとする。
【０１１１】
特殊マーク認識部からの入力を待ち、特殊マーク識別子ｊがＮｏｔｈｉｎｇであれば「領域ｉからコマが除かれた」とし、そうでなければ「領域ｉにコマｊが置かれた」として、コマ操作認識手段１５０１の結果とする。
【０１１２】
本実施形態によれば、ゲームの進行を実際にプレイヤーが行った動作をもとに進められることができる。そして、ゲームの場面状況、あるいは進行状況に合ったＣＧを生成することができるので、プレイヤーにとってはより現実味の高いゲームと感じられるという効果がある。
【０１１３】
（第８の実施形態）
バーコードを特殊マーク識別子として用いることができる。これは請求項１０に対応する。
【０１１４】
バーコードは物流等の分野で広く使われており、入手がしやすい、高精度の認識、認識が安定している、安価である、等の特徴がある。特にカードゲームの場合は、カードの印刷時に同時にバーコードを印刷できる。また、不可視のバーコードを用いれば、デザインに影響を与えることなく、特殊マークを付与できる、という効果がある。
【０１１５】
（第９の実施形態）
ＲＦＩＤシステムを特殊マーク認識手段として用いることができる。ＲＦＩＤとはＲａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎと呼ばれる技術で、無線周波による非接触自動識別技術のことである。
【０１１６】
タグあるいはトランスポンダと呼ばれるものを物体に取り付け、リーダでタグ固有のＩＤを読み取る。一般的には、タグは送受信回路、制御回路メモリ等がシングルチップされた半導体とアンテナで構成される。リーダは質問電波を発射するが、この質問電波を電気エネルギーとして使用するため、タグには電池が不要である。タグは質問電波に対して、予めメモリに収められたＩＤを発射する。リーダはこのＩＤを読み取り、物体を識別する。
【０１１７】
ＲＦＩＤシステムは、ＩＤカード等で広く使われている技術で、入手の容易性、高精度の認識、安定した認識、安価、といった特徴がある。またコマの内部に納めれば、外観に全く影響を与えずにコマの認識ができる、という効果がある。さらに表面形状は平面でなくてもよく、また非金属の物体であればタグとリーダの間に障害物があってもよいため、コマやボードそのもののデザインに自由度が出る、という効果もある。
【０１１８】
（第１０の実施形態）
「どのコマが」を認識するのは、特殊マーク認識手段を用いずとも、カメラを用いて得られた画像を画像認識処理することによっても可能である。例えばカードゲームであれば、カード表面に描かれた模様を、チェスのようなものであればコマの形状を、さらにゲームによってはコマの形状とそこに描かれた模様を同時に用いて、コマを認識する。
【０１１９】
ここでは四角いカード表面に描かれた模様を認識することを例にとるが、本発明はコマの形状を認識しても、またコマの形状とそこに描かれた模様を同時に用いて認識する場合でも、適用可能である。
【０１２０】
図１７は第１０の実施形態の映像体験システムの構成例である。図１５と比べて、コマ操作認識手段１５０１の構成のみが異なっており、特殊マーク認識手段１５０２がコマ認識カメラ１７０１に、特殊マーク認識部１５０３がコマ画像認識部１７０２に対応している。なお、コマ操作認識部１５０４は同一なものである。
【０１２１】
ここではコマに描かれた模様として、図１８に示す２パターンのものを認識する例を示すが、さらに複雑な処理を用いれば、漫画や写真のような複雑な様々な模様を認識することも可能である。
【０１２２】
図２０はコマ画像認識部１７０２の処理をＵＭＬアクティビティ図で示したものである。
【０１２３】
認識には２段階あり、まず枠の検出、続いて模様の検出である。枠が検出できなかった場合は、カードがないと判断し、コマ識別子としてＮｏｔｈｉｎｇを返す。枠の検出は特に図示しないが、ハフ変換等を用いて直線を検出し、それらの位置関係から枠と判定する方法等がある。
【０１２４】
枠が検出できた場合は、次に模様を検出する。枠内を図１９に示すように４つに分け、各々の領域の色を検出する。色検出にもいくつかの手法がある。たとえば、白と黒だけの検出では、明度情報のみを用い、検出しようとする領域の明度の平均値を求め、その値がある一定値ＴＢ以下ならば黒、ある一定値ＴＷ以上ならば白と判定することができる。
【０１２５】
各々の領域に図１９に示すように１から４の番号を付けた。領域１から４までの色を順に並べた結果が、黒白白黒または白黒黒白であれば、コマ識別子として１を返し、黒黒白白または白白黒黒または黒白黒白または白黒白黒であれば２を返す。それ以外であれば、想定していないカードであるか枠の誤認識等であり、これはカードがないものとしてＮｏｔｈｉｎｇを返す。なお、連続して画像認識する場合、同じ結果が連続して出る。
【０１２６】
またカードを置いている最中、あるいは除こうとしている最中はカードが置かれたり除かれたりといった状態がランダムに出力される可能性がある。これらが問題となるようなゲームでは連続する同じ出力は抑制したり、一定時間以上同じ状態が続いたときに出力をする、といった工夫が必要になるが、ここでは説明しない。
【０１２７】
（第１１の実施形態）
コマの認識用いるカメラとして、ＨＭＤ１０３に固定されたカメラ５０１を使ってもよい。コマ操作認識手段で用いるカメラとして、プレイヤーのＨＭＤに固定されたカメラを用いるので、装置を簡素化することができる。
【０１２８】
ボード画像認識部５０２によって、ボード１０１が認識できれば、ボード１０１上に設けられた領域を判断することができる。そこで、その領域にあるコマを認識することによって、コマ操作認識手段とすることができる。
【０１２９】
図２１は第１１の実施形態の映像体験システムの構成例である。コマ操作認識手段１５０１はボード上コマ画像認識部２１０１とコマ操作認識部１５０４とから構成され、認識する画像データはカメラ５０１より、ボード１０１の認識情報はボード画像認識部５０２より入力される。ボード画像認識部５０２の出力はプレイヤー視点の位置であるが、プレイヤー視点の位置がわかれば、その情報から画像上のボードの位置は容易に計算できる。
【０１３０】
図２２はボード上コマ画像認識部の処理をＵＭＬアクティビティ図で示したものである。カメラ５０１からの画像入力を得、続いてその画像に対応したＨＭＤ視点の位置をボード画像認識部５０２から得る。
【０１３１】
ＨＭＤ視点の位置から、まず入力画像上のボード１０１の位置を計算する。次いで予め決められたボード上の各領域の位置情報から、入力画像上での各領域の位置を計算する。
【０１３２】
各領域の位置がわかればその位置の画像を切り出し、画像認識を行うことにより、各領域上のコマを認識する。この際、各領域の位置情報には姿勢の情報も含まれているので、この情報も用いて画像認識を行うことにより、精度を上げることもできる。
【０１３３】
（第１２の実施形態）
カメラ５０１を用いて、ボード上のコマを認識する場合、カメラ５０１からコマまでの距離や、カメラ５０１に対するコマの姿勢等が問題となり、画像上のコマが占める画素数が少なくなり認識が難しくなったり、画像の変形を補正するために画像認識部の構成が複雑になることがある。
【０１３４】
そこで「どのコマか」を認識する際にカメラ５０１から、予め定められた特定の位置にコマを持ってくることにより、コマの認識を行う。
【０１３５】
たとえば、眼前３０ｃｍのところにコマを持ってくるという具合である。もし図１８に示したようなカードであれば、枠が画像上の特定の位置にくることにより、カードをかざしたと判定でき、そこで認識を行う。
【０１３６】
コマが認識できれば、「どこに置く」はボード上に置かれるまでコマを追跡してもよいし、第１０の実施形態での画像認識部を簡略化して「何かが置かれた」を認識させればよい。「除かれた」に関しても同様である。
【０１３７】
「どのコマが」を認識する際に、特定のカメラの特定の位置にコマを配置するようにすることにより、認識率を上げることができる。さらに、認識部の構成を簡単にすることができる。
【０１３８】
図２３は第１２の実施形態の映像体験システムの構成例である。図２１と比べてコマ操作認識手段１５０１の構成のみが異なる。ボード上コマ画像認識部２１０１は第１１の実施形態で記載のものでもよいが、コマが「置かれた」「除かれた」のみを判断すればよいので、さらに簡略化してもよい。コマ画像認識部は第１０の実施形態で記載したものと同様である。コマ操作認識部２３０１はコマ操作認識部１５０４と多少異なっており、ボード上コマ画像認識部２１０１とコマ画像認識部１７０２の両者から入力を得る。
【０１３９】
図２４、図２５にコマ操作認識部２３０１の処理をＵＭＬアクティビティ図で示す。コマ画像認識部１７０２から「コマｊが認識された」という情報があったときを図２４に、ボード上コマ画像認識部２１０１から「領域ｉにコマが置かれた／除かれた」という情報があったときを図２５に示す。
【０１４０】
コマ画像認識部１７０２から「コマｊが認識された」という情報があったときは、「コマｊ」ということをオブジェクト変数に記録しておき、後に「どの領域にコマが置かれた」という情報があったときに「どのコマが」という情報として用いる。
【０１４１】
ボード上コマ画像認識部２１０１から「領域ｉにコマが置かれた」という情報があったときは、オブジェクト変数からさきほど記録しておいた「コマｊ」を読み出し、「領域ｉにコマｊが置かれた」という結果を返す。
【０１４２】
また「ボード上コマ画像認識部２１０１」から「領域ｉからコマが除かれた」という情報があったときは、「領域ｉからコマが除かれた」という結果をそのまま返す。
【０１４３】
なお、コマ画像認識部１７０２への入力をＨＭＤ１０３に固定されたカメラ５０１ではなく、別途用意した書画カメラのような専用のカメラを用いてもよい。また、専用のカメラとコマ画像認識部１７０２の組み合わせを、別途用意した特殊マーク認識手段１５０２と特殊マーク認識部１５０３に置き換えても同様の効果がある。
【０１４４】
（第１３の実施形態）
カメラ５０１の前にコマをかざすことにより、コマは認識されるわけであるが、プレイヤーにとってはどの位置に持っていったらよいのかが、なかなかわかりにくい。また、映像体験システム側としてはなるべくプレイヤーの使いやすいようにすると、空間的な認識範囲を広く取らざるを得ず、そうすると認識部の複雑・高度化や認識率の低下を招く。
【０１４５】
プレイヤーが迷うことなく、予め定められた空間的に狭い認識範囲にコマをかざすことができればよい。それにはプレイヤーがコマを認識させようと思ったときに、ＨＭＤ１０１の表示部３０３にガイドを表示し、プレイヤーはそのガイドに合わせるようにコマをかざせばよい。
【０１４６】
図２６に第１３の実施形態の映像体験システムの構成例を示す。図２３と比べて、構成は変わっていないが、コマ画像認識部１７０２がコマ画像認識・ガイド表示指示部２６０１に変更になり、ここからＣＧ生成部４０５に情報が出力されている部分のみが異なっている。
【０１４７】
コマ画像認識・ガイド表示指示部２６０１はコマ画像認識部１７０２とほとんど同じ構成であるが、認識結果に対する確信度がある程度以下の場合はガイド表示指示を出す点のみが異なる。図２７にコマ画像認識部１７０２とコマ画像認識・ガイド表示指示部２６０１の出力の違いを示す。
【０１４８】
コマ画像認識部１７０２と同様な認識エンジンを用いるとすると、認識の確信度がコマ画像認識部１７０２よりも高いある値Ｔｈ以上であれば認識できたと判断し、認識結果を出力する。この閾値Ｔｈが高いために、高い認識率を実現することが容易となる。
【０１４９】
ある値Ｔｌよりも低い確信度の場合は非認識、すなわちコマがかざされていないと判断するが、この値Ｔｌはコマ画像認識部１７０２の場合は、認識できる場合の値Ｔｈと同一である。しかし、コマ画像認識・ガイド表示指示部２６０１の場合は低く設定してある。この「認識」でも「非認識」でもない確信度の場合、ガイド表示指示を出すことになる。
【０１５０】
図２８にコマ画像認識・ガイド表示指示部２６０１の処理をＵＭＬアクティビティ図で示す。なお、確信度を０以上１以下とすると、０＜Ｔｌ≦Ｔｈ＜１の関係がある。コマ画像認識処理を行い、その認識結果に対する確信度がＴｌよりも低ければ非認識として、何も行わない。もし確信度がＴｈよりも高ければ、認識できたとしてコマ操作認識部２３０１に認識結果を渡す。そのどちらでもない場合は、ＣＧ生成部４０５に対して、ガイド表示指示を出す。ガイド表示は例えば図２９のようなものである。
【０１５１】
本実施形態によれば、特定のカメラの特定の位置にコマを配置する際、コマを配置しやすくするガイドをＣＧで構成し、プレイヤーのＨＭＤに合成表示するので、プレイヤーがコマを空間上の適切な場所にかざすことが容易である。
【０１５２】
（第１４の実施形態）
複数のプレイヤーによって行うゲームでは、ボード１０１上での出来事は表示も含め、全てのプレイヤーによって共有する必要がある。これは、論理的に１つのゲーム管理部４０１を全てのプレイヤーで共有することによって実現できる。物理的には、１台の専用ＰＣとしても、他の構成部分を含む特定の１台の専用ゲームコンソールでも、また分散データベースのように複数のゲームコンソールまたはＰＣ上に配置されていてもよい。
【０１５３】
すなわち各プレイヤーにとって、ゲームコンソールまたはＰＣ１０２は図４のような構成をとっており、ゲーム管理部４０１は他のプレイヤーが行った操作の結果も反映している。
【０１５４】
図３０は第１４の実施形態の映像体験システムの構成例を示す。
【０１５５】
プレイヤー１人に各１台のゲームコンソールまたはＰＣ１０２が割り当てられ、互いにネットワークで接続されている。ネットワークを流れる情報は各ゲームコンソールまたはＰＣ１０２内の各ゲーム管理部４０１の内容の同期を取るための情報である。
【０１５６】
また、コマ操作認識手段は各ゲームコンソールまたはＰＣ１０２に配置されているが、この場合同じコマを複数の視点から認識を行っていることになる。このような場合、ネットワークを介して、互いに情報を交換し合い、より信頼度が高い側の認識結果を使うこともできる。
【０１５７】
図３１も第１４の実施形態の映像体験システムの構成例である。インターネット上のゲームサーバ内にゲームコンテンツがあり、各プレイヤーのゲームコンソールまたはＰＣ１０２はインターネットを介して接続される。
【０１５８】
ゲーム管理部４０１はローカルゲーム管理部３１０１とゲームサーバ３１０２で構成され、ゲームサーバ３１０２は独立したマシンに配置される。ローカルゲーム管理部３１０１は各プレイヤーにのみ関係すること、また時間的遅延が問題となる各ローカルプレイヤーへのフィードバックが必要なことを扱う。また、個々のゲームコンテンツの内容に関連することは、ゲーム開始時、またはゲーム中にネットワークを介してゲームサーバ３１０２よりデータやプログラムをダウンロードする。
【０１５９】
本実施形態によれば、複数のプレイヤーがひとつのボード上でプレイし、複数のプレイヤーによる複合操作の結果を各プレイヤー視点で、それぞれのＨＭＤに表示することができ、複数のプレイヤーで対戦するゲームを体験することができる。
【０１６０】
（他の実施形態）
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【０１６１】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１６２】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【０１６３】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【０１６４】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【０１６５】
【発明の効果】
本発明によれば、現実のボードゲームの面白さに加えて、臨場感が増し、さらにゲームの進行状況が把握しやすくすることができる。
【０１６６】
さらに、請求項１記載の発明によれば、従来のＭＲ技術を用いたゲームに比較して、設置が容易であり、ゲーム内容の変更にも比較的柔軟に対応することができる。
また、請求項１３記載の発明によれば、プレイヤーがアイテムを空間条の適切な場所に容易にかざすことができる。
【図面の簡単な説明】
【図１】第１の実施形態の映像体験システムの構成例を示す図である。
【図２】ボードと、プレイヤー視点の高さを計算する際のボードの見え方を示す図である。
【図３】シースルーＨＭＤの内部構成を示した図である。
【図４】第１の実施形態の映像体験システムの構成例を示す図である。
【図５】第２の実施形態の映像体験システムの構成例を示す図である。
【図６】第３の実施形態の映像体験システムの構成例を示す図である。
【図７】第３の実施形態の映像体験システムの構成要素である最尤位置決定部の処理を表すＵＭＬアクティビティ図である。
【図８】第４の実施形態の映像体験システムの構成要素である位置センサにより計測された値と本来の値との差を、時間経過とともにグラフ化したものの例を示す図である。
【図９】第４の実施形態の映像体験システムの構成例を示す図である。
【図１０】第４の実施形態の映像体験システムの構成要素である位置センサ情報処理部の処理を表したＵＭＬアクティビティ図である。
【図１１】第５の実施形態の映像体験システムの構成例を示す図である。
【図１２】第５の実施形態の映像体験システムの構成要素である最尤姿勢決定部の処理を表したＵＭＬアクティビティ図である。
【図１３】第６の実施形態の映像体験システムの構成例を示す図である。
【図１４】第６の実施形態の映像体験システムの構成要素である姿勢センサ情報処理部の処理を表したＵＭＬアクティビティ図である。
【図１５】第７の実施形態の映像体験システムの構成例を示す図である。
【図１６】第７の実施形態の映像体験システムの構成要素であるコマ操作認識部の処理を表したＵＭＬアクティビティ図である。
【図１７】第１０の実施形態の映像体験システムの構成例を示す図である。
【図１８】第１０の実施形態の映像体験システムの動作を説明するのに用いる、カードの模様の例を示す図である。
【図１９】第１０の実施形態の映像体験システムの動作を説明するのに用いる、カード上の認識領域を示す図である。
【図２０】第１０の実施形態の映像体験システムの構成要素であるコマ画像認識部の処理を示すＵＭＬアクティビティ図である。
【図２１】第１１の実施形態の映像体験システムの構成例を示す図である。
【図２２】第１１の実施形態の映像体験システムの構成要素であるボード上コマ画像認識部の処理を示すＵＭＬアクティビティ図である。
【図２３】第１２の実施形態の映像体験システムの構成例を示す図である。
【図２４】第１２の実施形態の映像体験システムの構成要素であるコマ操作認識部の処理を示すＵＭＬアクティビティ図である。
【図２５】第１２の実施形態の映像体験システムの構成要素であるコマ操作認識部の処理を示すＵＭＬアクティビティ図である。
【図２６】第１３の実施形態の映像体験システムの構成例を示す図である。
【図２７】第１３の実施形態の映像体験システムの構成要素であるコマ画像認識・ガイド表示指示部を説明するために、コマ画像認識部との出力の違いを示した図である。
【図２８】第１３の実施形態の映像体験システムの構成要素であるコマ画像認識・ガイド表示指示部の処理を示すＵＭＬアクティビティ図である。
【図２９】第１３の実施形態の映像体験システムによって、ＨＭＤのに表示部に表示されるガイドの例を示す図である。
【図３０】第１４の実施形態の映像体験システムの構成例を示す図である。
【図３１】第１４の実施形態の映像体験システムの構成例を示す図である。
【図１】
0003584229.tif 000002
【図２】
0003584229.tif 000003
【図３】
0003584229.tif 000004
【図４】
0003584229.tif 000005
【図５】
0003584229.tif 000006
【図６】
0003584229.tif 000007
【図７】
0003584229.tif 000008
【図８】
0003584229.tif 000009
【図９】
0003584229.tif 000010
【図１０】
0003584229.tif 000011
【図１１】
0003584229.tif 000012
【図１２】
0003584229.tif 000013
【図１３】
0003584229.tif 000014
【図１４】
0003584229.tif 000015
【図１５】
0003584229.tif 000016
【図１６】
0003584229.tif 000017
【図１７】
0003584229.tif 000018
【図１８】
0003584229.tif 000019
【図１９】
0003584229.tif 000020
【図２０】
0003584229.tif 000021
【図２１】
0003584229.tif 000022
【図２２】
0003584229.tif 000023
【図２３】
0003584229.tif 000024
【図２４】
0003584229.tif 000025
【図２５】
0003584229.tif 000026
【図２６】
0003584229.tif 000027
【図２７】
0003584229.tif 000028
【図２８】
0003584229.tif 000029
【図２９】
0003584229.tif 000030
【図３０】
0003584229.tif 000031
【図３１】
0003584229.tif 000032