(57)【要約】      （修正有）【課題】ＶＲテニスゲームシステムの構成が簡単かつ安価にできる。【解決手段】スクリーン１２にボール図形を含むテニスゲーム画面を表示し、プレイヤ１６は、スクリーンの前方でラケット１８をスイングする。ラケットには光マーカ２０を設け、カメラ２２Ｌ，２２Ｒでその光マーカを撮影する。コンピュータ４２は、カメラ信号を処理して光マーカの移動量を計算し、移動量が所定値以上のときプレイヤがラケットをスイングしたと判断する。光マーカがどの方向へ移動したかに応じて、フォアハンドスイングであるのかまたはバックハンドスイングであるのかを判定する。また、プレイヤの左右の足首に色マーカ２６Ｌ，２６Ｒを装着させ、別カメラ２４で色マーカを撮影し、スイング時に前になる足の位置を、「右」、「真中」、「左」のいずれかとして検出し、検出した前足の位置に応じた方向へボール図形を返球させる。【選択図】図１
2005218757.tif 000002
【特許請求の範囲】
【請求項１】
バーチャルリアリティテニスゲームにおいてスクリーン上に表示されるボール図形を打つようにプレイヤが実空間でラケットをスイングすることによってゲームを進行させる、バーチャルリアリティステニスゲームシステムであって、
前記ラケットに設けられるマーカ、
前記マーカを撮影する第１カメラ、および
前記第１カメラからの第１カメラ信号を処理することによって、前記マーカの移動方向に応じてフォアハンドスイングおよびバックハンドスイングのいずれであるか判定するフォア／バック判定手段を備える、バーチャルリアリティテニスゲームシステム。
【請求項２】
前記第１カメラからの第１カメラ信号を処理することによって、前記マーカの移動方向に応じてサーブスイングを検出するサーブスイング検出手段をさらに備える、請求項１記載のバーチャルリアリティテニスゲームシステム。
【請求項３】
前記第１カメラ信号を処理することによって前記マーカの移動量を計算し、その移動量が所定以上のとき前記プレイヤが前記ラケットをスイングしたと判断するスイング判断手段をさらに備える、請求項１または２記載のバーチャルリアリティテニスゲームシステム。
【請求項４】
前記プレイヤの両足に互いに異なる色の色マーカを設け、さらに
前記色マーカを撮影する第２カメラ、
前記第２カメラからの第２カメラ信号を処理することによって、前記フォアハンドスイングまたは前記バックハンドスイング時に前になる一方の足の色マーカの位置を判定する位置判定手段、および
前記位置判定手段の判定した位置に応じて前記スクリーン上での前記ボール図形の返球方向を制御する返球方向制御手段を備える、請求項３記載のバーチャルリアリティテニスゲームシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はバーチャルリアリティテニスゲームシステムに関し、特にたとえばプレイヤが実空間内で実際にラケットを振ることによってビデオゲーム等の電子ゲームを進行させる、バーチャルリアリティ（Virtual Reality：仮想現実。以下、「ＶＲ」とする。）テニスゲームシステムに関する。
【背景技術】
【０００２】
たとえば、特許文献１には、２人のプレイヤがテニスのラケットを模した装置体を実空間中で振って仮想ボールを打ち合う、バーチャルテニス装置が開示されている。この特許文献１の従来技術は、２つの装置体間において、無線と音でテニスゲームを進行させるものである。ただし、この従来技術では映像を利用したビデオゲームではないので、手軽に楽しめる反面リアリティに欠けるきらいがある。
【０００３】
これとは別に、本件発明者等は、特許文献２において、リハビリテーションのためのＶＲビデオテニスゲームシステムを提案している。この特許文献２で提案した従来技術は、訓練者がリアルプレイヤとなってビデオ画面内のバーチャルプレイヤとボールを打ち合うＶＲテニスゲームシステムである。
【０００４】
特許文献２の従来技術では、リアルプレイヤすなわち訓練者は実空間中で実際にラケットを振り、そのラケットの動きや姿勢を３軸加速度センサおよび３軸角速度センサで検出して、コンピュータがラケット軌跡を計算する。コンピュータこのラケット軌跡とゲーム画面内の仮想ボールの軌跡との相対位置を判断することによって、ラケットのボールとの当りや方向を計算し、仮想ボールをゲーム画面内で飛翔させる。
【特許文献１】特開２０００−１９７７７３号公報〔A63F 13/00〕
【特許文献２】特開２００３−１８０８９６号公報〔A63B 69/00 504 69/38 A63F 13/00〕
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献２の従来技術では、実際にラケットを使うＶＲテニスゲームで画像を用いるので、特許文献１の従来技術に比べてリアリティが増すとともに、プレイヤが体を動かす（腕を振る）ことによるリハビリ効果が期待できる。
【０００６】
反面、この従来技術では、ラケットの位置や姿勢を検出するために３軸加速度センサや３軸角速度センサなどを用いなければならず、ラケット自体の構造が複雑になるばかりか、システム全体としても高価になり、このようなリハビリ装置の普及の妨げになっていた。
【０００７】
それゆえに、この発明の主たる目的は、新規なＶＲテニスゲームシステムを提供することである。
【０００８】
この発明の他の目的は、構成が簡単でかつ安価な、ＶＲテニスゲームシステムを提供することである。
【課題を解決するための手段】
【０００９】
請求項１の発明は、ＶＲテニスゲームにおいてスクリーン上に表示されるボール図形を打つようにプレイヤが実空間でラケットをスイングすることによってゲームを進行させる、ＶＲステニスゲームシステムであって、ラケットに設けられるマーカ、マーカを撮影する第１カメラ、および第１カメラからの第１カメラ信号を処理することによって、マーカの移動方向に応じてフォアハンドスイングおよびバックハンドスイングのいずれであるか判定するフォア／バック判定手段を備える、ＶＲテニスゲームシステムである。
【００１０】
請求項１の発明では、ＶＲテニスゲームシステム（１０：実施例で相当する参照番号。以下、同じ。）はスクリーン（１２）を含み、このスクリーン（１２）にたとえばプロジェクタ（１４）によってボール図形（図２：４０）を含むテニスゲーム画面を表示する。プレイヤ（１６）は、たとえばこのスクリーンの前方の実空間でラケット（１８）を、あたかもスクリーン上のボール図形を打つようなタイミングで、スイングする。ラケット（１８）にはたとえばＬＥＤのような光マーカ（２０）を設けておき、第１カメラに相当するカメラ（２２Ｌ，２２Ｒ）でその光マーカ（２０）を撮影する。
【００１１】
図３に示すコンピュータ（４２）は、ラケットがスイングされたとき、その光マーカ（２０）を含む第１カメラ信号を処理して（図５：Ｓ２１‐Ｓ３１）、光マーカの移動方向（右→左、左→右）によってラケットのスイングがフォアハンドスイングであるのかまたはバックハンドスイングであるのかを判定する（図５：Ｓ３９，Ｓ４１；Ｓ４３，Ｓ４５）。
【００１２】
このように、第１カメラ信号を処理するだけでラケットのスイングがフォアハンドスイングであるのかバックハンドスイングであるのかを判定できるので、複雑で高価な特殊センサを設ける必要がない。したがって、より簡単かつ安価にＶＲテニスゲームシステムを提供することができる。
【００１３】
請求項２の発明は、第１カメラからの第１カメラ信号を処理することによって、マーカの移動方向に応じてサーブスイングを検出するサーブスイング検出手段をさらに備える、請求項１記載のＶＲテニスゲームシステムである。
【００１４】
請求項２の発明では、マーカが上から下へ移動したとき、サーブ検出手段がサーブスイングを検出する。したがって、サーブ検出のために特別なスイッチやセンサが不要となる。
【００１５】
請求項３の発明は、第１カメラ信号を処理することによってマーカの移動量を計算し、その移動量が所定以上のときプレイヤがラケットをスイングしたと判断するスイング判断手段をさらに備える、請求項１または２記載のＶＲテニスゲームシステムである。
【００１６】
請求項３の発明では、コンピュータ（図３：４２）は、第１カメラ信号を処理して（図５：Ｓ２１‐Ｓ２９）、マーカの前フレームからの移動量を計算し（図５：Ｓ３１）、その移動量が所定値以上のときプレイヤがラケットをスイングしたと判断する（図５：Ｓ３３）。そして、フォア／バック判定手段は、スイング判断手段によってスイングしたと判断した後、そのスイングがフォアハンドスイングおよびバックハンドスイングのいずれであるか判定する。同様に、サーブ検出手段は、スイング判断手段によってスイングしたと判断した後、そのスイングがサーブスイングであることを検出する。特殊なセンサを用いなくてもスイングの有無を判断することができ、より簡単かつ安価にＶＲテニスゲームシステムを提供することができる。
【００１７】
請求項４の発明は、プレイヤの両足に互いに異なる色の色マーカを設け、さらに色マーカを撮影する第２カメラ、第２カメラからの第２カメラ信号を処理することによって、フォアハンドスイングまたはバックハンドスイング時に前になる一方の足の色マーカの位置を判定する位置判定手段、および位置判定手段の判定した位置に応じてスクリーン上でのボール図形の返球方向を制御する返球方向制御手段を備える、請求項２記載のＶＲテニスゲームシステムである。
【００１８】
請求項４の発明では、プレイヤ（１６）の左右の足首に色マーカ（２６Ｌ，２６Ｒ）を装着させる。この色マーカの色は互いに異なる。そして、第２カメラ（２４）を、色マーカを撮影可能な位置に設け、コンピュータ（４２）はその第２カメラからの第２カメラ信号を処理する。ただし、この第２カメラは先の第１カメラと同じカメラであってよい。
【００１９】
実際にラケットをスイングするとき、右利きのプレイヤでも左利きのプレイヤでも、フォアハンドのときとバックハンドのときとでは前方に出る足は違う。たとえば右利きのプレイヤでは、フォアハンドの場合には左足が前になり、バックハンドの場合には右足が前になる。左利きのプレイヤでは、フォアハンドの場合には右足が前になり、バックハンドの場合には左足が前になる。
【００２０】
そこで、コンピュータ（４２）は、フォアハンドまたはバックハンドのときに前になる足の位置を、たとえば「右」、「真中」、「左」のいずれかとして検出する（図６：Ｓ５３（Ｓ７３）‐Ｓ５７）。
【００２１】
たとえば、フォアハンドでもバックハンドでも前足の位置が「右」のときには、プレイヤの体は相対的に右方向に向いていると考えられる。したがって、実際のテニスゲームの場合、その右向きの体勢でラケットがボールを打ったと考えられ、ボールは相手コートの右側へ打ち返されると考えてよい。同様に、前足が「真中」の位置にあるときにはボールは相手コートの真中へ打ち返され、前足が「左」の位置にあるときにはボールは相手コートの左へ打ち返される、と考えてよい。そこで、コンピュータは、検出した前足の位置に応じた方向へボール図形（図２：４０）を返球させる。
【００２２】
この場合にも、前足の位置だけで返球方向を制御するようにしているので、返球時の処理が簡単に行なえる。
【発明の効果】
【００２３】
この発明によれば、複雑で高価な特殊なセンサを用いる必要がないため、簡単かつ安価にＶＲテニスゲームシステムを提供することができる。
【００２４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２５】
図１に示すこの発明の実施例のＶＲテニスゲームシステム１０は、スクリーン１２を含み、このスクリーン１２上にプロジェクタ１４によってＶＲテニスゲームのための映像を表示する。この実施例では、床面上の空きスペースを十分確保するために天吊り型のプロジェクタ１４を用いたが、床面据置型のプロジェクタが利用されてもよい。さらに、この実施例では、スクリーン１２とプロジェクタ１４との組み合わせからなる映像表示装置を用いるが、たとえば大画面テレビジョンなどの他の映像表示装置が利用されてもよい。
【００２６】
この実施例のＶＲテニスゲームシステム１０は、リハビリにおける主として上肢の運動のために利用でき、訓練者はプレイヤ１６として、スクリーン１２の前方の実空間でラケット１８を実際に振る。ラケット１８にはたとえば赤色のような可視光発光ダイオード（ＬＥＤ）のような光マーカ２０が設けられる。
【００２７】
なお、このような光マーカ２０を設けるためには、図示しないが、ラケット１８に、電池とその電池からの電源を光マーカ（ＬＥＤ）２０へ与えるためのスイッチを設ける必要がある。ただし、このスイッチとしては、プレイヤがラケット１８を握ったときオンとなり、離したときオフとなるものが利用可能である。
【００２８】
他方、スクリーン１２の左右に１台ずつ、第１カメラとしての、ＵＳＢカメラ２２Ｌおよび２２Ｒを設け、ラケット１８の光マーカ２０をＵＳＢカメラ２２ＬＲおよび２２Ｌで撮影することによって、後述のようにして、プレイヤ１６がラケット１８を振ったか（スイングしたか）どうかを検出する。
【００２９】
なお、ＵＳＢカメラとは、コンピュータのＵＳＢ（Universal Serial Bus：共通のコネクタでさまざまな周辺機器を接続することができるインタフェース規格）端子に接続されて、たとえば水平角度が５０度、画素数が２５−４５万画素程度でＷｅｂカメラとも呼ばれる比較的安価なカメラである。ただし、もっと画素数の大きいカメラを用いてもよいが、発明者等の実験によれば、実施例のテニスゲームでは、この程度の画素数で十分対応できた。画素数が少ない分、コンピュータ処理量が少なくて済み、全体として安価にシステムを構築できる。
【００３０】
また、スクリーン１２の下方中央に１台、第２カメラとしての、ＵＳＢカメラ２４を設ける。他方、プレイヤ１６の左右の足の足首に、互いに異なる色、たとえば黄色と青の色マーカ２６Ｌおよび２６Ｒが装着される。ＵＳＢカメラ２４で２つの色マーカ２６Ｌおよび２６Ｒを撮影することによって、後述のように、フォアハンドまたはバックハンドのときの姿勢（返球方向）を判定する。
【００３１】
なお、図１のＶＲテニスゲームシステム１０にはステレオスピーカ２８Ｒおよび２８Ｌが設けられていて、このスピーカ２８Ｒおよび２８Ｌによって打球音や観衆の声援あるいはその他適宜のＢＧＭ等が発音される。
【００３２】
図１実施例のＶＲテニスゲームシステム１０でテニスゲームを実行する場合のスクリーン１２上のゲーム画面の表示例が図２に示される。すなわち、コンピュータ４２（図３）によって、仮想空間内にテニスコート図形３０やネット図形３２、さらには観衆図形３４が固定的に表示される。コンピュータ４２はさらに、コート手前側にプレイヤ１６によって実空間内で振られたラケット１８を表すラケット図形３６を表示し、相手方コート内にコンピュータ４２によって移動制御されるバーチャルプレイヤまたはコンピュータプレイヤの図形（バーチャルプレイヤ図形）３８を表示し、さらにはラケット図形３６とバーチャルプレイヤ図形３８との間を飛翔するようにテニスボール図形４０を移動表示する。
【００３３】
図１実施例のＶＲテニスゲームシステム１０のブロック図が図３に示される。ＶＲテニスゲームシステム１０はコンピュータ４２を含み、このコンピュータ４２は、ＵＳＢカメラ２２Ｌおよび２２Ｒならびに２４からのカメラ信号を受ける。そして、グラフィックボード４４から映像信号をプロジェクタ１４に与え、サウンドボード４６からスピーカ２８Ｒおよび２８Ｌに音声信号を与える。
【００３４】
コンピュータ４２の内部メモリ４８には後述のフロー図で示すプログラムが記憶されているとともに、この内部メモリ４８はワーキングメモリやレジスタなどとしても利用される。特に、内部メモリ４８には、画像処理においてコンピュータ４２が抽出処理または獲得処理すべき色（マーカの色）を示す色相値（実施例では、黄および青）を予め設定しておくための色相レジスタ（図示せず）が形成される。
【００３５】
コンピュータ４２にはメモリインタフェース５０を介して外部メモリ５２が結合される。この外部メモリ５２は、たとえばハードディスクまたはＣＤ−ＲＷ、ＤＶＤ−ＲＷなどのディスクあるいは半導体メモリなど任意の記録媒体または記憶媒体であり、ここではそれらを便宜上「メモリ」と呼ぶことにする。外部メモリ５２には、リハビリテーションに必要な、訓練者（プレイヤ）やそれらの症状などを含むマスタデータなどが記憶または記録されている。
【００３６】
図１実施例のＶＲテニスゲームシステム１０でテニスゲームをプレイする場合には、図４の最初のステップＳ１でＶＲテニスゲームの開始が指示されたかどうか判断する。具体的には、電源（図示せず）をオンするなどのゲーム開始操作が行なわれたかどうか判断する。
【００３７】
ただし、ゲーム開始においては、図示していないが、たとえば色相レジスタを設定したり、あるいは各種フラグをリセットする等の初期設定を行なうものとする。
【００３８】
続くステップＳ３では、コンピュータ４２（図３）は、相手プレイヤすなわちバーチャルプレイヤ（コンピュータプレイヤ）の返球動作を実行する。具体的には、ステップＳ５において、図２に示すゲーム画面中のボール図形４０の軌道を計算するとともに、その軌道上をボール図形４０が動くように、ボール図形４０を描画する。
【００３９】
続くステップＳ７において、コンピュータ４２は、プレイヤ１６（図１）が打球可能な位置にボールが存在しているかどうか判断する。詳しく言うと、プレイヤ１６によってボール図形４０（図２）を打球可能な位置ないし領域を予め設定しておき、その位置または領域にボール図形が到達したとき、このステップＳ７で“ＹＥＳ”が判断される。
【００４０】
ステップＳ７で“ＹＥＳ”が判断されると、コンピュータ４２は、次のステップＳ９において、ラケット１８のスイングを判定する。このステップＳ９は、具体的には、図５のサブルーチンとして実行される。
【００４１】
図５の最初のステップＳ２１では、コンピュータ４２は、２つのＵＳＢカメラ２２Ｌおよび２２Ｒからの画像信号（第１カメラ信号）を取り込む。ただし、スイング判定においては、ラケット１８に設けた光マーカ２０（図１）が検出できればよいだけであるので、ＵＳＢカメラ２２Ｌおよび２２Ｒの露光時間は極端に短く設定するとともに、ＵＳＢカメラ２２Ｌおよび２２Ｒからはモノクロの画像信号を入力するようにしておく。つまり、ＵＳＢカメラ２２Ｌおよび２２Ｒからは輝度信号だけが入力される。
【００４２】
コンピュータ４２は、次のステップＳ２３において、ＵＳＢカメラ２２Ｌおよび２２Ｒからの輝度信号を２値化し、光マーカ２０と思われる明るさの領域を検出できるようにする。
【００４３】
続くステップＳ２５では、コンピュータ４２は膨張処理（分割された領域や穴のあいた領域を埋めて一連の領域とする処理）を実行する。
【００４４】
そして、ステップＳ２７において、コンピュータ４２は面積フィルタ処理を行なう。つまり、このステップＳ２７では、コンピュータ４２は、ステップＳ２３によって２値化されかつステップＳ２５で膨張処理した後の、高輝度領域を検出し、それの面積の小さい領域をノイズと判定して除去し、所定の閾値以上の面積を持つ領域を検出する。そして、その閾値以上の面積の領域のうち最大面積の領域を光マーカ２０と判定する。
【００４５】
ステップＳ２７で光マーカ２０の位置を検出した後、ステップＳ２９で、重心座標を計測する。すなわち、コンピュータ４２は、画像上での重心座標を計測するとともに、画像の中心を原点として設定する。ただし、「重心」とは、画素値を密度とみなすときの質量分布の中心をいうものとする。
【００４６】
ステップＳ２９で重心座標を計測した後、ステップＳ３１で、コンピュータ４２は、前回（前フレーム）の重心位置と、今回（現フレーム）の重心位置とに基づいて、重心の移動量を計算する。次いで、ステップＳ３３において、コンピュータ４２は、この移動量が所定の閾値以上かどうかを判断する。
【００４７】
ステップＳ３３で“ＮＯ”が判断されると、つまり、前フレームの重心位置からの移動量が所定値より小さいときには、コンピュータ４２は、プレイヤ１６がラケット１８をスイングしていないと判断し、ステップＳ３５において、スイングフラグＳＦをリセットする（ＳＦ＝０）。ただし、このスイングフラグＳＦは、図示してはいないが、後述のフォアハンドフラグＦＨＦ、バックハンドフラグＢＨＦ、およびサーブフラグＳＶＦと同様、図３に示す内部メモリ４８に設けられる。
【００４８】
ステップＳ３３で“ＹＥＳ”が判断されると、つまり、前フレームの重心位置からの移動量が所定値以上のときには、コンピュータ４２は、ステップＳ３７において、プレイヤ１６がラケット１８をスイングしたと判断し、スイングフラグＳＦをセットする（ＳＦ＝１）。
【００４９】
このように、カメラ２２Ｌおよび２２Ｒでラケット１８の光マーカ２０を撮影し、そのカメラ信号を処理するだけで、プレイヤ１６が実際にラケット１８を振ったかどうか検出することができる。したがって、従来技術で用いていたセンサが不要となり、それに伴って複雑な信号処理をする必要がない。したがって、簡単な構成でかつ簡単な処理で、プレイヤ１６がラケット１８をスイングしたかどうか検出することができる。
【００５０】
ただし、実施例では検出精度を上げるために、つまり、検出ミスを可及的回避するために、２台のＵＳＢカメラ２２Ｌおよび２２Ｒを用いた。しかしながら、ラケットスイング検出のためには、１台のＵＳＢカメラだけが用いられてもよい。
【００５１】
そして、次のステップＳ３９において、コンピュータ４２は、光マーカ２０（図３）が右から左（図１のスクリーン１２に向かって）へ移動したのかどうか判断する。つまり、ステップＳ３１で、現フレームでの、前フレームからの光マーカ２０の重心移動量を計算するが、この計算過程において、重心がスクリーン１２の左右方向において、向かって右から左へ移動したのか、向かって左から右へ移動したのかを併せて判別できる。そして、光マーカ２０が右から左に移動したということは、ラケット１８が右から左へ移動したことを意味し、この場合には、プレイヤ１６がラケット１８を右手で振っているのであれば、フォアハンドスイングと判定できる。したがって、ステップＳ３９で“ＹＥＳ”が判断されたとき、コンピュータ４２は、続くステップＳ４１で、フォアハンドフラグＦＨＦをセット（ＦＨＦ＝１）する。
【００５２】
ステップＳ３９で“ＮＯ”のとき、次のステップＳ４３で、コンピュータ４２は、光マーカ２０（図３）が、スクリーン１２に向かって左から右へ移動したのかどうか判断する。このステップＳ４３もステップＳ３９と同様に、ステップＳ３１の計算結果から判断できる。たとえば、光マーカ２０が左から右に移動したということは、ラケット１８が左から右へ移動したことを意味し、この場合には、右手でラケットを振っているのであれば、バックハンドスイングと判定できる。したがって、ステップＳ４３で“ＹＥＳ”が判断されたとき、コンピュータ４２は、続くステップＳ４５で、バックハンドフラグＢＨＦをセット（ＢＨＦ＝１）する。
【００５３】
ステップＳ４３で“ＮＯ”が判断されたとき、コンピュータ４２は、次のステップＳ４７で、光マーカ２０が、スクリーン１２の上から下へ移動したのかどうか判断する。前述のように、ステップＳ３１で、前フレームからの光マーカ２０の重心移動量を計算するが、この計算過程において、重心がスクリーン１２の上下方向において、上から下へ移動したのかどうかも併せて判別できる。そして、光マーカ２０が上から下に移動したということは、右手で振っていても左手で振っていても、ラケット１８が上から下へ振り下ろされたことを意味し、この場合には、サーブスイングと判定できる。したがって、ステップＳ４７で“ＹＥＳ”が判断されたとき、コンピュータ４２は、続くステップＳ４９で、サーブフラグＳＶＦをセット（ＳＶＦ＝１）する。
【００５４】
なお、右利きか左利きかを特に区別する必要はない。つまり、右手でラケットを振ったときのフォアハンドが左手でラケットを振ったときのバックハンドとなり、右手でラケットを振ったときのバックハンドが左手でラケットを振ったときのフォアハンドとなり、前者のときにはフォアハンドフラグＦＨＦがセットされ、後者のときにはバックハンドフラグＢＨＦがセットされるだけで、後の処理を変更する必要はない。
【００５５】
このようにしてスイングの判定が行なわれた後、プロセスは、図４のステップＳ１１にリターンする。ステップＳ１１では、コンピュータ４２は、フラグＳＦとフラグＦＨＦ、ＢＨＦまたはＳＶＦとが「１」にセットされているかどうか、つまりプレイヤがラケットをスイングしたかどうか判断する。ステップＳ１１で“ＮＯ”なら、コンピュータ４２は、空振りと判定し、相手すなわちコンピュータプレイヤに得点を計上し、ステップＳ３に戻る。
【００５６】
ステップＳ１１で“ＹＥＳ”なら、コンピュータ４２は、続くステップＳ１５において、プレイヤ１６（図１）の体の向きを検出する。このステップＳ１５は、詳細には、図６に示される。
【００５７】
図６の最初のステップＳ５１では、コンピュータ４２は、内部メモリ４８（図３）のフラグ領域を参照して、フォアハンドフラグＦＨＦが「１」かどうか判断する。“ＹＥＳ”なら、次のステップＳ５３で、コンピュータ４２は、左足色マーカ２６Ｌ（図示せず）を検出する。つまり、プレイヤの右手によるラケットのスイングの方向をフォアハンドであると判定したとき、前に位置する足は左足になる、つまり、スクリーン１２に近いほうの足は左足になるため、ステップＳ５３で左足色マーカ２６Ｌ（図１）を検出する。
【００５８】
たとえばフォアハンドの場合、前足、すなわち左足が、スクリーン１２に向かって右側にある状態を想定すると、その状態では、プレイヤ１６の体の正面は右方向に向いていると考えられる。逆に、フォアハンドで左足が左側にある状態では、プレイヤ１６の体の正面は左方向に向いていると考えられる。左足が真中（中央）にある状態では、プレイヤ１６の体はスクリーン１２に正対していると考えられる。
【００５９】
フォアハンドで、プレイヤ１６の体の正面が右方向に向いているときには、実際のテニスゲームの場合、その右向きの体勢でラケット１８がボールに当ったと考えられ、その状態では、単純には、ボールは相手コートの右側へ打ち返されると考えてよい。
【００６０】
これに対して、フォアハンドで、プレイヤ１６の体の正面が左方向に向いているときには、実際のテニスゲームの場合、左向きの体勢でラケット１８がボールに当ったと考えられ、その状態では、ボールは相手コートの左側へ打ち返されると考えてよい。
【００６１】
フォアハンドで、プレイヤ１６の体がスクリーン１２に正対しているときには、実際のテニスゲームの場合、単純には、ボールは相手コートの中央へ打ち返されると考えてよい。
【００６２】
このように、フォアハンドまたは場合の左足の位置が右か、左か、中央かによってプレイヤ１６が打ち返すボールの方向を変更することが考えられる。そこで、この実施例では、フォアハンドの場合、左足の位置を検出するために、ステップＳ５３で左足色マーカ２６Ｌを検出する。
【００６３】
左足色マーカ２６Ｌを検出するために、図７に示すサブルーチンが実行される。すなわち、最初のステップＳ６１において、コンピュータ４２はスクリーン１２の下方に設置しているＵＳＢカメラ２４からの画像信号（第２カメラ信号）を取り込む。その画像信号にはプレイヤ１６の左足色マーカ２６Ｌの画像以外にプレイヤの背景の画像も含まれる。そこで、次のステップＳ６３では、コンピュータ４２はそのようなノイズを除去するために、左足色マーカ２６Ｌが存在すると考えられる領域以外の領域にマスクをかけ、そのマスクした領域すなわち左足色マーカ存在領域以外の領域の画像信号は処理の対象から除外してコンピュータの負担軽減を図る。
【００６４】
続くステップＳ６５では、コンピュータ４２は、マスクから露出した領域すなわち左足色マーカ存在領域の画像のＲＧＢ信号から、色相レジスタ（図示せず）に設定されている色相値（０〜２５５のうちの適宜の値）によって示される特定の色（この実施例では左足色マーカ２６Ｌが黄色であるため、黄色）の領域（部分）を抽出する。
【００６５】
そして、ステップＳ６７において、ステップＳ６５で獲得した特定の色領域から左マーカと思われる色の領域を検出するために、２値化処理を行なう。続くステップＳ６９で、コンピュータ４２は膨張処理を実行する。
【００６６】
ステップＳ７１において、コンピュータ４２は面積フィルタ処理を行なう。つまり、このステップＳ７１では、コンピュータ４２は、ステップＳ６７によって２値化されかつステップＳ６９で膨張処理した後の、左足色マーカ２６Ｌ（図１）と同じまたは類似の色相の領域のうち、面積の小さい領域をノイズと判定して除去し、所定の閾値以上の面積を持つ領域を検出する。そして、その閾値以上の面積の領域のうち最大面積の領域を左足色マーカと判定する。このステップＳ７１の面積フィルタ処理を施した後に図６のステップＳ５５にリターンする。
【００６７】
図６のステップＳ５５では、ステップＳ２９（図５）と同様にして、面積フィルタ処理後の画像信号から重心座標を計測する。その重心座標位置が左足色マーカ２６Ｌの位置であり、次のステップＳ５７では、その位置（左、真中、右）の検出結果を戻して、ステップＳ１７（図４）にリターンする。
【００６８】
なお、図６のステップＳ５１で“ＮＯ”が判断されたときには、次のステップＳ５９で、コンピュータ４２は、バックハンドフラグＢＨＦが「１」かどうか判断する。このステップＳ５９で“ＹＥＳ”のときには、次のステップＳ７３で、ステップＳ５３および図７で左足色マーカを検出したと同じ方法で、右足色マーカ２６Ｒ（図１）を検出する。
【００６９】
つまり、プレイヤの右手によるラケットのスイングの方向をバックハンドであると判定したとき、前に位置する足は右足になるため、つまり、スクリーン１２に近いほうの足は右足になるため、ステップＳ７３で右足色マーカ２６Ｒを検出する。
【００７０】
たとえばバックハンドの場合、前足、すなわち右足が、スクリーン１２に向かって右側にある状態を想定すると、その状態では、プレイヤ１６の体はスクリーン１２に対して向かって右側にあると考えられる。逆に、バックハンドで右足が左側にある状態では、プレイヤ１６の体はスクリーン１２に向かって左側にあると考えられる。右足が真中（中央）にある状態では、プレイヤ１６の体はスクリーン１２に向かって中央にあると考えられる。
【００７１】
バックハンドで、プレイヤ１６の体が右側にあるときには、実際のテニスゲームの場合、その状態では、単純には、ボールは相手コートの右側へ打ち返されると考えてよい。
【００７２】
これに対して、バックハンドで、プレイヤ１６の体が左側にあるときには、実際のテニスゲームの場合、ボールは相手コートの左側へ打ち返されると考えてよい。
【００７３】
バックハンドで、プレイヤ１６の体がスクリーン１２の左右方向中央にあるときには、実際のテニスゲームの場合、単純には、ボールは相手コートの中央へ打ち返されると考えてよい。
【００７４】
このように、バックハンドの場合の右足の位置が右か、左か、中央かによってプレイヤ１６が打ち返すボールの方向を変更することが考えられる。そこで、この実施例では、バックハンドの場合、右足の位置を検出するために、ステップＳ７３で右足色マーカ２６Ｒを検出する。
【００７５】
右足色マーカ２６Ｒを検出するために、図７に示すサブルーチンが実行されるが、その検出方法は左色マーカ２６Ｌのときと同様であるので、ここでは重複する説明は省略する。その後、ステップＳ５５およびＳ５７を実行した後、右足色マーカ２６Ｒの位置（左、真中、右）の検出結果を戻して、ステップＳ１７（図４）にリターンする。
【００７６】
図６のステップＳ５７からリターンした図４のステップＳ１７では、コンピュータ４２は、リアルプレイヤ１６の打球の結果として、ボール図形４０（図２）を、ステップＳ５７で判定した位置（右、左、中央）の方向に返球する。
【００７７】
このように、フォアハンドかバックハンドかに応じて、そのときに前になる足の位置をカメラで検出することによって、簡易的に、プレイヤ１６からの返球方向を決定することができる。したがって、ラケットとボールとの当り角度や軌道計算のような複雑な計算処理が不要となる。
【００７８】
なお、実施例の説明では、ラケット１８のスイング判断やフォアハンドまたはバックハンド判定のためのカメラ２２Ｌおよび２２Ｒと、色マーカ２６Ｌおよび２６Ｒの位置検出のためのカメラ２４とを別に準備した。しかしながら、１台のカメラのカメラ信号でラケットのスイングと、前足の位置とを検出または判定するようにしてもよい。ただし、この場合でも、便宜上、スイング判断やフォアハンドまたはバックハンド判定のためのカメラを第１カメラといい、前足位置検出のためのカメラを第２カメラと呼ぶことにする。
【００７９】
色マーカ２６Ｌおよび２６Ｒはカラーバンドのようなものを足首に装着するようにしたが、任意の変形が可能である。たとえば、プレイヤの靴の色を左右で違えるようにしても色マーカとして機能する。
【００８０】
さらに、上述の実施例では、ラケット１８に光マーカ２０を設け、それを第１カメラ２２で撮影してラケット１８のスイングやその方向を検出するようにした。しかしながら、この光マーカ２０は、プレイヤの足と同様の色マーカに代えられてもよい。たとえば、ラケット１８のガットの両面に色シートを設け、その色シートをカメラで撮影することによっても、ラケット１８のスイングの判断、フォアハンドまたはバックハンドの区別は可能である。
【図面の簡単な説明】
【００８１】
【図１】図１はこの発明の一実施例のＶＲテニスゲームシステムを示す図解図である。
【図２】図２は図１実施例のＶＲテニスゲームシステムで表示されるゲーム画面の表示例を示す図解図である。
【図３】図３は図１実施例の電気的構成を示すブロック図である。
【図４】図４は図１実施例におけるテニスゲームのための基本動作を示すフロー図である。
【図５】図５は図４のステップＳ９のサブルーチンを示すフロー図である。
【図６】図６は図４のステップＳ１５のサブルーチンを示すフロー図である。
【図７】図７は図６のステップＳ５３（Ｓ７３）のサブルーチンを示すフロー図である。
【符号の説明】
【００８２】
１０  …ＶＲテニスゲームシステム
１２  …スクリーン
１４  …プロジェクタ
１６  …プレイヤ
１８  …ラケット
２０  …光マーカ
２２Ｌ、２２Ｒ、２４  …ＵＳＢカメラ
２６Ｌ  …左足色マーカ
２６Ｒ  …右足色マーカ
【図１】
2005218757.tif 000003
【図２】
2005218757.tif 000004
【図３】
2005218757.tif 000005
【図４】
2005218757.tif 000006
【図５】
2005218757.tif 000007
【図６】
2005218757.tif 000008
【図７】
2005218757.tif 000009