特集JVRSJ Vol.7 No.2 June, 2002

スポーツと VR

31
127

エンターテイメントとしてのバーチャルスポーツ

竹田仰、蒲原新一
長崎総合科学大学

らこの分野について述べることにする。

１．はじめにスポーツの要素の中には、「見て楽しむ」とか「して楽しむ」といった娯楽や遊びの感情を高揚する一面が存

２．当たり判定を伴う CG 映像によるスポーツゲーム

在している。このため、スポーツは広く人々の心を捉え、最初に、娯楽としてのバーチャル・スポーツとして思気楽に観戦したり、参加したりして、気分転換を図った

いつくのは、飛んでくるピンポンの球や野球のボールをり、興に耽けったりすることができる。つまり、スポー打つようなことであろう。このとき、その場に臨んでいツというものは、一時的であるにせよ比較的簡単に別のる雰囲気を演出するためにも、ある程度のスクリーンの環境に心身を投じることができる仕掛けということにな大きさが要求される。ボールがこちらに飛んでくるためる。一方、バーチャルリアリティ（以下 VR）は人の視に、場合によっては 3 次元 CG にしたり、音響効果や音覚や聴覚、触覚などの五官にコンピュータで作られた情源コントロールについても考慮しなければならない。さ報を提示して、仮想環境での動作や表現を可能にする試らに、飛んでくるボールを打つためには、ボールの空間みである。従って、スポーツの娯楽や遊びの側面におけでの位置座標とラケットやバットの位置座表の計算を行る感情を高揚することは、VR 技術が持つ「人間の肉体い、当たり判定をしなければならない。ボールは CG でや精神に働きかける」という性格上、極めて有効に活用制作するが、ラケットやバットは実物を振り回すために、できるのではないかと考えられる。スポーツにおける仮これらの位置の認識には、カメラによる画像処理か、あ想環境を構築する際に、ボールなどの運動方程式や筋骨るいは何らかのセンサが必要である。

格の生体力学を正確に反映することに超したことはないが、それに囚われすぎると、計算式が複雑になり、娯楽

２. １

2 次元でのボールゲームで重要な要素であるリアルタイムな感じや強調された動図 1 に、操作者がモニタ画面の中に入って、バレーきなどが損なわれる可能性がある。スポーツの持つ「娯ボール風なゲームを行っている様子で、ボールを手で打楽性」や「スリル感」というエンターテイメントなとてばその方向に飛ぶように作ってある [1]。これは、自ころに焦点を当てると、ゲーム感覚に近いため、スポー分の身体の一部か、または身体全体の画像をカメラからツ科学の知識が多少不足していてもコンピュータグラコンピュータに取り込み、CG で作られた画像とインタフィックス (CG) 制作や計測、制御技術を組み込んで、ラクションするシステムである。この手法は、「ユーザ比較的容易に仮想環境を構築できるというメリットがあの映像をキャプチャ処理することによって、ユーザのアる。ここでは、我々の研究してきたことを振り返りながクションに応じた対象物の操作などを行うインタフェー

31

32 日本バーチャルリアリティ学会誌第 7 巻 2 号 2002 年 6 月
128

特集

スポーツと VRするのではなく、数ドットずつ読み飛ばす。さらに、図5 に示すように、コア領域を 4 分割し、最初にどの領域が当たりとなったかを調べる。このことにより、およその手の運動方向を判定することができる。
このシステムのメリットは、操作者が特殊な装置やデバイス、センサを装着しなくても気楽に CG 画面とインタラクション取れること。また、自分がモニタ画面に入り込んだ感じで興味をそそる点にあると思われる。

図１

２次元ボールゲームの様子

画像入力ボード

カメラ

AD変換ス」ということで、アクションインタフェースと呼ばれフレームメモリDA変換ている [2]。システムの構成は、図 2 に示すようになる。

画像合成部

PC
ディスプレイ
青色カーテン

以下、システムの概要をまとめる。

パソコンビデオ信号 画像判定
ゲームの処理 CGの表示(1) パソコンのディスプレイアダプタから出力される画像と、カメラから出力される画像は同期信号の速度が異図２

クロマキーを使ったシステム構成図なるため、同一のモニタ上に表示しても同期が合わず映像が流れる。そこで、カメラ側の画像を一端 AD 変換して、ボードのフレームメモリに書き込み、パソコン側の原点をあわせる画像と同一の速度になるように DA 変換して読み出す。
これにより 2 つの画像を同一のモニタに表示できる。
(2) パソコンの画像とカメラの画像のそれぞれについて、ハードウェア回路で色成分の抽出を行い、その結果に基づいて 2 つの画像の優先順位を決定する。

ＣＧ作業系

図３

(3) カメラ画像と CG 画像は同一サイズとし、座標系をカメラ作業系

１対１対応

座標系の対応図 3 に示すように、1 対 1 に合わせる。
(4) ビデオ画像に取り込まれた操作者の体の一部、例えば手が CG 画像のオブジェクトに当たったかどうか判定する必要がある。ビデオ画像として取り込まれた操作者の世界（カメラ座標系）も、CG 座標系も 2 次元であるとする。

キャラクタ(5) 操作者の手を認識するために、ビデオ画像の RGB 成

図４

コア領域の設定

図５

コアの分割分中の R 成分の輝度レベルを使う。このとき手の R 成分を周囲から際立たせて誤作動を防ぐために、青色のカーテンを背景に設置してクロマキー処理を行う。
(6) 当たり判定を早くして、ゲームのスピードに追従するために、図 4 に示すようにあらかじめオブジェクトを包む単純な四角形のコア領域を設け、この領域内に相当するビデオ画像側の R 成分のみに注目し、設定値以上であるならば当たりと判定する。
(7) このとき、コア領域すべてについて R 成分の検定を

32

コア領域当たり判定

特集

JVRSJ Vol.7 No.2 June, 2002

スポーツと VR

２. ２

129
33

ピンポンゲームとネット接続

この他の例として、ピンポンは、ラケットが赤いので当たり判定がしやすい。図 6 に、ピンポンをこの装置で行っているところを示す。このゲームはオブジェクト全てが 3 次元 CG で構成されている。画面の手前にピンポン台があり、その上をピンポン玉が操作者に向かって飛んでくる。実写のラケットの 2 次元奥行き位置に、3次元の CG の球が通過するときに当たり判定を行っている。
これで、操作者はこのピンポン玉を手に持ったラケットで打ち返すことができる。ついでに、より対戦効果を高めるために、このラケットには、スピーカが内蔵されていて赤外線通信によって受信された音情報を再生でき

図７

CAVE でのキャッチボールる。これにより、ピンポン玉を打ち返すと当たったときの効果音や、「やったね！」とか「がんばれ！」などの励ましの声を出すことができる。さらに、ネットワーク

３．力覚ディスプレイを使用した例
前章では、もっぱら CG などの画像が中心で、力の感を通じて別のパソコンに球が飛んでいき、対戦できるように工夫している [3]。

覚は得られない。スポーツにおいては、力の感覚が提示されることは重要ではあるが、この力覚ディスプレイの設計・製作は大変難しい。それは、人間の関節可動の動きが、機械でいうところの軸受けの回転とは異なり、複雑である上に屈曲、伸展にひねりや回転が伴っているからである。その上、力の提示能力が大きくないと物足りなさを感じる。逆に、人の筋力に拮抗するくらいのトルクを発生させると、ディスプレイが大きくなり今度は機械に翻弄させられている感覚がでてくる。そこで、図 8に示すように空気式のゴム人工筋を使った力覚ディスプレイを製作した [5]。ゴム人工筋はそれ自体は軽く場所をとらない。3 〜 5 気圧注入することで数百 kg の牽引能力がある。前腕部分の先端に種々のアタッチメントを

図６

ピンポンの例装着することで、用途を変えられるように工夫した。同図はバスケットボールのドリブルのためのアタッチメン

２. ３

CAVE でのキャッチボール

図 7 に CAVE 内でキャッチボールを行っている様子を示す。この場合、映像は 3 次元 CG である。操作者は、液晶シャッタメガネを装着し、手には空間センサを着ける。ボールが手の位置に来たときに、うまくキャッチされると音が発生する [4]。これは高次元脳機能障害の半側空間無視のテストにも利用できる。CAVE のような多面体のスクリーンで囲まれた内部でバーチャルスポーツを行えば、没入感も得られ、さらにエキサイトできるであろう。仮想空間同士をインターネットで結べば、離れた場所でのキャッチボールやバッティングも可能であ

図８

る。

33

力覚ディスプレイの構成図

34 日本バーチャルリアリティ学会誌第 7 巻 2 号 2002 年 6 月
130

図９

特集

ボールドリブルの様子

図 12

スポーツと VR

５軸力覚ディスプレイ

トで、手のひらの plate 部分は、ボールの接触感を表す[6]。図 12 は、力覚ディスプレイの自由度を 5 軸にしたための空気により膨張、収縮できるゴム膜が貼ってある。

ものを示す。肘・肩の 3 軸に加え、前腕の回旋、手首の図 9 にこの力覚ディスプレイを使ってバスケットボール屈曲・伸展に力の感覚を得ている。手首の自由度が増えのドリブルをしているところを示す。

ると、ボーリングのようなゲームが可能になる。図 13

図 10 は仮想世界の様子で、図 11 はボールのバウンドにその様子を示す。ボーリングのボールを取るとその重と手の動きを示している。この装置は、ボールの 3 次元量がディスプレイに伝わってくる [7]。それをレーンに表示と共に、ボールの影の変化、ボールが床でバウンド投げると、物理方程式に従ってボールは飛び、手首のダするときの音、手で押すときの力の感覚が提示される。
また、物理パラメータとしてのボールの大きさや重量、床との反発係数、重力加速度などが自由に変えられる

図 10 仮想空間におけるドリブルの様子������������������

図 13ボーリングの様子

イナミズムは解放される。
４．走行に関する例���������

図 14 には、大型の傾斜型スクリーンを利用して、自転車漕ぎのトレーニングマシンのシステム図を示す [8]。
このシステムでは、静止状態から目標心拍数までの立ち上がり時間、その後の保持時間がタイムチャート通りに管理されるように、画面に映るバーチャルペースメーカ���������の走行速度が調節される。方法は、被験者の耳に付けたドリブルの周期と運動量�������� �������� ���������, ＨＭＤ・音・力覚・圧覚あり

図 11

脈拍センサから心拍数をコンピュータに取り込み、これとその時点での目標心拍数が比較され、バーチャルペー

ボールドリブルの解析

スメーカの走行速度を早めたり遅くしたりする。これに

�34

特集

JVRSJ Vol.7 No.2 June, 2002

スポーツと VR35
131

専門家の資料となるようにした方がよいと思われる。
５．腕相撲対戦の例
仮想世界において視覚・聴覚に加えて力覚を扱うことができることにより、それまでは仮想世界内では受け身であった人間が積極的にアクションを行うことができるようになる。それによってより現実感が増し、仮想世界に没入することができる。仮想世界において、何らかの感覚を人間に与えると、それに対してアクションが起こり、さらにそのアクションに対して次の感覚を与えることができるということは、このようなシステムをエンターテイメントとして応用可能であることを示している。
ここでは、人間と仮想世界に創られた仮想人物とが図 14バーチャルに腕相撲対戦可能なシステムを取り上げる

バーチャルメーカのシステム図

[9]。
５．１

ハードウエアシステム

図 17 に 示 す 仮 想 腕 相 撲 対 戦 シ ス テ ム で は 力 覚 のフィードバックを担当する力覚ディスプレイが中心的な働きをする。本システムで開発した力覚ディスプレイを
図 18 に示す。力覚ディスプレイの操作者は右腕上腕をarm guide 2 にあてがい、前腕を arm guide 1 にあてがっ
図 15て grip を手で握る。この力覚ディスプレイは 3 つの回ペースメーカの様子

転軸 (JS1、JS4、JE) をもつが、腕相撲対戦システムとしての動作時は、JS1 および JE の軸は固定し、JS4 の軸のみを回転させる。力覚ディスプレイ装着時の JS4 軸の回転は操作者の肩の内旋・外旋の動きと対応し、腕相撲の動きと一致している。この JS4 軸にはポテンショメータが取り付けられており、腕相撲対戦時の角度情報を取得することができるようになっている。

図 16

トレーニング例

被験者が追従することで、心拍を一定にする試みである。
図 15 に画面のバーチャルペースメーカの様子を、図 16135）と実際の心拍数の結果をに目標心拍数（ここでは、示す。まだまだ改良の余地はあるが、ただ気の向くまま

図 17にトレーニングするより、目標を設定して、規則正しくトレーニングを行い、毎日の記録を保管し、その履歴を35

仮想腕相撲対戦システムの外観

132
36 日本バーチャルリアリティ学会誌第 7 巻 2 号 2002 年 6 月特集

表示し、対戦状態を表現することができる。仮想人物の��������������������� �����

表情に力覚ディスプレイと同期した喜怒哀楽の変化を与����������

スポーツと VR

えてやり、さらには聴覚情報も加えてやると、仮想人物
����� �の力の入れ具合が力覚情報からだけでなく他の感覚情報からも判断可能になり、対戦の現実感が増し楽しさが向����� �上する。

��� ���� �����������������５．２

対戦制御システム��� ����� �

仮想人物に勝つことだけを目的にし、仮想人物と人����� ����� �間が単純に持てる力を全て出し切るような対戦をするだ
けでは寂しい [10]。人間が腕相撲対戦を楽しめるように����するためには、システムの主要素である力覚ディスプレ�������������

���イの制御に自律性を持たせ「ひとらしさ」の要素をもつ
��������

制御ルールの構築が必要であろう。ひとらしさをもった制御のためには、if 〜 then ルール的な腕相撲対戦の状

図 18

況に応じた制御が基礎となる。さらに、人間は外部から力覚ディスプレイの構造の感覚器官を通した入力に対して何らかの行動をとる場合、その入力値のしきい値に曖昧さをもって判断・行動
力覚ディスプレイの肩 (JS4) の内旋・外旋、肘 (JE) のしている。このような曖昧さをもった制御を可能とする

屈曲・伸展を制御するアクチュエータには空気圧式ゴム手法としてファジィシステムがあり、曖昧性（ファジィ）人工筋肉 (RUB) を用いている。RUB はゴム管の上に繊を含む非線形システムをモデル化可能である。本システ

維コードが網状に編み上げられ、両端に口金を取り付けムでもひとらしさをもつような力覚ディスプレイ制御た構造となっており、特徴として以下のものがある [10]。

ルール構築のため、このファジィシステムを利用してい・収縮力が同型のシリンダと比較して、3 〜 10 倍でかる。

つ軽量で高トルクを出力できる。

腕相撲対戦システム用に構築されたファジィシステム

・ゴム人工筋肉固有のヒステリシス特性を有し、非線形は、力覚ディスプレイに取り付けられたセンサーから取特性とバネ特性をもつ。

得した情報より算出された角度、角速度、角加速度の 3

力覚を中心とした仮想世界において、それに視覚情報つの値を入力とする。この 3 つ の入力からファジィ演を加えてやることにより臨場感が高まり、力覚運動に楽算をおこない、力覚ディスプレイを動作させるための制しさを与えることができる。
仮想腕相撲対戦においても、御コードを出力する。このファジィシステムによる腕相図 19 に示すようにヘッドマウントディスプレイを使っ撲対戦の流れを図 20 に示す。仮想世界での腕相撲の動て仮想世界内に対戦相手の仮想人物と操作者自身の腕を出力

入力
ファジィシステム
角度

ラバチュエータの制御コード

角速度
角加速度

力覚ディスプレイのセンサ情報

図 19

図 20

仮想人物

36

ファジィシステムによる腕相撲対戦の流れ

特集

133
37

JVRSJ Vol.7 No.2 June, 2002

スポーツと VR

作をよいものとするためには、このファジィシステム（対している。この結果から、対戦に有利（相手を押し込ん戦制御ルール）をどのように構築するかが重要である。

でいる）な場合は腕にかかっている力は大きくなっているが、広背筋の筋電位は小さくなっていることが分かる。

５．
３広背筋の筋電位と実際の力には相関は見られず、腕相撲

現実世界の腕相撲

対戦制御ルールを構築する前に現実の腕相撲対戦時のという単純な運動でも多くの筋が関わっているようで、データを測定した。腕相撲は力の入れ具合をコントロー

筋電位を測定することにより肩の回旋や負荷の状態を把ルする動作であり、相手の腕の動きを見なくとも、相手握し、制御ルールに活用するようなことは困難なようでから受ける力を感じ取ることで対戦が可能な力覚コミュ
ニケーションである。可能ならば対戦中の人間の知識である「対戦戦略」を読み取りたいが、これは無理である。

変換した波形計算機

電圧［�］

最終的に力を出力しているものは筋肉であるため、腕相変換前の波形
生体電気用アンプ

Ａ/Ｄ変換ボード 入力箱

全波整流、積分回路

時間［�］

微弱な電位
正規化された値（�～���）

図 23

各筋肉の筋電位の変化

入力箱
皿電極（�）
０．２５５０皿電極（+,-）
ポテンショメータ

０．２４４０

筋電位計測システム

撲対戦中の人間の筋電位測定をおこなった [11]。

０．２２０．２１２００．２１０電圧［�］

図 21

変位角θ［°］０．２３

角度

３００．１９図 21 に計測システム、図 22 に測定風景を示す。図筋電位０．１８23 は腕相撲に関係すると考えられる筋と筋電位の関係

００．１７０図である。上腕二等筋、上腕三等筋、棘上筋、広背筋の２４６８１０

時間［�］

4 つが実際に腕相撲をおこなった場合に筋電波形が顕著

図 24

人間が勝ったときの筋電位と角度の変化に現れた筋であった。この図より、広背筋が腕相撲対戦において使われている筋であるとして、広背筋に関してある。

詳しく測定をおこなった。図 24 は腕相撲対戦中に人間の腕にかかる力の大きさと広背筋の筋電位の大きさを示
５．４

対戦制御ルールの構築

力覚ディスプレイの制御、すなわち仮想人物の動作に「ひとらしさ」の要素をもたせるにはどのようにしたらよいのだろうか。これによって単なる力と力のぶつかり合いだけではなく、力のやり取りを基本としたコミュニケーションとしてのエンターテイメント性をもった腕相撲が可能となる。
力覚ディスプレイを制御するファジィシステムに対し、この「ひとらしさ」の要素を組み込むためには「ひ図 22とらしさ」の基準というものが必要になってくる。こ

筋電位測定風景の基準が数値式などで表現可能であれば、ファジィ制御

37

134
38 日本バーチャルリアリティ学会誌第 7 巻 2 号 2002 年 6 月

特集

スポーツと VR

ルールを「ひとらしさ」の要素をもったルールへ最適化することは難しくない。しかし、力覚ディスプレイの動ファジィシステム

作に「ひとらしさ」を感じるといったものは感覚的なも遺伝的アルゴリズムによるファジィシステムのパラメータのチューニングのであり、これを絶対的な数値や数式では表現できない。

入力
角度センサー

しかし我々人間は力覚ディスプレイの動作に対してその実際に対戦を行いながら対戦ルールのチューニングを進める

動きをどう感じたかを判断・評価することができる。すなわち、ファジィシステムを「ひとらしさ」をもつよう出力
ラバチュエータ

力覚ディスプレイ

評価入力装置にチューニングする場合が、通常計算機の中だけで実行

力覚提示

人されるような最適化に対して人間の判断（評価）を活用

間動作に対する評価することが考えられる。図 25 に人間の判断を評価基準として制御ルールのチューニングに活用するシステムを

図 26

GA による対戦制御ルールのチューニング方法示す。このチューニングシステムでは、適当なファジィ制御ルールで実際に腕相撲対戦をしながら、力覚ディスせることが可能となる。

プレイの動作に「ひとらしさ」が感じられるかどうかを評価値入力デバイスを使ってリアルタイムにシステムに６．おわりに入力する。対戦中に力覚ディスプレイの動作に対して、ここでは、あくまでエンターテイメントとしてのバーひとらしい動きに感じられた場合と、ひとらしい動きでチャルスポーツに限定して、我々の研究室での事例を述はないと感じられた場合にそれぞれの評価に対応づけらべた。エンターテイメントといえども、スポーツ科学に根ざし、人間のスポーツ時の生体・生理・心理と係わっていなくてはいけない。そして、スポーツの有している競争心、スリル感、克服感、トレーニング成果などの諸々のファクターを満たしながら、そこにエンターテイメン

評価値
角度センサ情報制御コード

ト性を上手く織り込み、スポーツの仮想環境を構築することが大切である。このようなことができれば、非常に有意義な VR の新しい分野になると思われる。

力覚提示

力覚ディスプレイ図 25

力覚ディスプレイの動きに対する評価を入力

参考文献［1］久保寺、竹田：アクションインタフェースによるゲー

対戦制御ルールのチューニングシステム

ム制作、HI 部会、N&R Vol.12、No.2、pp.217-222,、（1997）
れた評価値入力デバイスの操作をおこなう [12]。

［2］佐木、谷口、田村、渋谷：アクションインタェー

評価値入力デバイスより入力された評価値を基に、スのメニュー配置とユーザビリティ、HI 部会、N&R Vol.12、No.1、pp.13-18（1997）

ファジィシステムをチューニングするために遺伝的アルゴリズム (GA) を利用している。GA を用いて力覚ディ［3］久保寺、竹田：通信機能を有するアクションインタ

スプレイを制御するファジィシステムをチューニングすフェースゲームの制作、第２回日本バーチャルリアリるシステムを図 26 に示す。このチューニング方法では、

ティ学会大会論文集 Vol.2、pp.296-299 （1997）

遺伝的アルゴリズムによる初期値としてのファジィシ［4］崔、尤、竹田：仮想空間におけるボールキャッチのステムを乱数などを用いて複数個体生成する。ここで、検討、電子情報通信学会総合大会（平成 12 年 3 月）

GA の一つの個体は腕相撲対戦ルールを形成する 1 つの［5］竹田仰：人工現実感による上肢訓練および筋力計測

ファジィシステムのパラメータ列が並んでいる。これらシステムの開発、バイオメカニズム 12、pp.265-279、バ各個体 ( ファジィシステム ) を使って腕相撲対戦をおこ

イオメカニズム学会論文集、東京大学出版会（1994

ない、GA 演算を進めることによって、力覚ディスプレ

年 8 月）

イの動作の「ひとらしさ」に対して人間が感じた判断を［6］竹田、筒井：力覚提示機能を持つボールのドリブル

対戦ルールの頭脳であるファジィシステムの中に反映さ仮想環境の構築、テレビジョン学会誌、Vol.49、No.10、

38

特集

JVRSJ Vol.7 No.2 June, 2002

スポーツと VR

pp.1339-1346（1995）

39135

【略歴】

［7］M. Lawn, T. Takeda and T. Yamada：Development of a 5

竹田仰（TAKEDA Takashi）

axis upper limb force display operating in a VR

昭和 47 年九州芸術工科大学音響設計学科卒業。平成 3

environment for training，International Conference

年長崎大学大学院後期博士課程修了。昭和 47 年〜 57 年

on Artificial Reality and Tele-Existence ’97, pp.99-105

九州松下電器開発研究所勤務。昭和 57 年４月より長崎（Dec.1997）

総合科学大学勤務。現在、同大学人間環境学部教授。バー［8］鈴木、北島、竹田：バーチャルヒューマンを用いたチャルリアリティの研究に従事。電子情報通信学会、日リハビリ訓練機、バーチャルリアリティ学会第 6 回大本バーチャルリアリティ学会、日本人間工学会、日本音会論文集、pp.173-176（2001 年 9 月）

響学会、映像情報メディア学会、日本リハビリテーション工学協会各会員。工学博士。

［9］竹田、蒲原：仮想人物との腕相撲対戦システムの構
築、 電子情報通信学会論文誌、Vol.J79-A No.2 1996

蒲原新一（KAMOHARA Shinichi）［10］竹田仰：人工筋モデルによる人体筋の再構築、Japanese Journal of Sports Sciences,、Vol.14、No.5、

長崎総合科学大学人間環境学部講師。1970 年生まれ。

pp.537-543 (1995)

1994 年長岡技術科学大学大学院修士課程修了。長崎総合科学大学情報科学センター助手を経て 2001 年より現［11］中山、竹田、蒲原：腕相撲対戦時の筋電位測定について、電気関係学会九州支部連合大会講演論文集 (1999

職。計算機科学、ロボット制御などの研究に従事。

年 10 月 )［12］S. Kamohara,Y. Ichinose, T.Takeda, H.Takagi:
Construction of Virtual Reality System for Arm Wrestlingwith Interactive Evolutional Computing, Journal ofRobotics and Mechatronics, Vol.12 No.1 (Feb. 2000)

39