WISS2011

スマートフォンによるボールの動作認識と動作に合わせたフィードバックの提示
Motion Recognition of a Ball and Synchronized Force Feedback using Smart Phones

堀田 高大佐藤 俊樹

木谷 クリス

小池 英樹∗

Summary. 近年スポーツの人気は上昇し、趣味で行う人や、プロの競技を観戦に行く人も多くなってきた. スポーツ観戦に注目すると、通常スポーツ観戦は、視覚的・聴覚的な情報しか手に入らない. これだけでも十分面白いものではあるが、ここに新たな力覚的な情報を加えるとより面白くなるのではないだろうかという考えに至った。そこで本稿ではボールに着目し、ボールの動作や状態を識別し、それに合わせて力覚的なフィードバックを与えることで一味違った試合観戦法の提案を行う. この新たな試合観戦の形の実現のためにはボールのセンシングを行わなければならない. このセンシングでは加速度センサを用いて行う.
本研究では加速度センサやその他の様々なセンサと BlueTooth や WiFi などを利用して無線通信も行える、近年ほとんどの人が持っているスマートフォンに着目した. さらにボールの状態によって力覚的なフィードバックを与えるデバイスとしてもスマートフォンを用いる. この理由としても先ほど述べたとおり、近年のスマートフォン利用者増加により、新たな提示デバイスを作るよりも簡単に大勢の人に同時に力覚フィードバックを与えることができると考えたからである. このようなことを踏まえ、スマートフォンを用いてこのボールとのインタラクションを行うシステムのプロトタイプを作成した.

1

はじめにスポーツには様々な種類のスポーツがあるが、私たちにとって身近でより楽しく感じれるスポーツにボールを使った球技のスポーツがある. この球技のスポーツは、自分でプレーしたり、ただ単に観戦するだけでもおもしろい. しかし、単に観戦するだけでは、視覚的・聴覚的な情報しか入ってこないため、何か新たな情報を付加してあげることで、さらに観戦がおもしろくなるのではないかと考えた. そこで
本稿では、ボールに加えられた衝撃やボールの回転の振動などを観戦者に与えるという力覚的な情報を従来の視覚・聴覚の情報に付加することで、新たな球技のスポーツの楽しみ方を提供することを目的とした.
この目的の実現のために今回はボールの動作を認識する加速度センサをボール内部に入れる手法をとることにした. ここで、ボールの中に仕込むセンサとして組み込むという手法もあるが、着目したのが、近年誰しもが持っているスマートフォンである. ス
マートフォンに着目した理由はスマートフォンには加速度センサの他にも様々なセンサが内蔵してあり、その上で非常にコンパクトなサイズの物が多い. そして BlueTooth 通信や WiFi 通信などによる無線通信も利用できるため比較的簡単にデータを外部に送∗Copyright is held by the author(s).
Kodai Horita , Toshiki Sato，Hideki Koike, 電気通信
大学大学院 情報システム学研究科;Kris Kitani , カーネ
ギーメロン大学

信することも可能であるからである。このようにス
マートフォンは各種センサの集合体であるために自分で加速度センサなどを組み合わせた機器を作成する必要がない. 今回はこのスマートフォンを用いてプロトタイプシステムを作成すると同時に、スマートフォンの新たな利用法を開拓する.
またボールの力覚フィードバックを与えるのも、スマートフォンで行う. 先ほども述べたように、近年急速にスマートフォンを所持する人たちが増えてきたため、新たなデバイスを作らなくとも、誰しもがアプリとしてダウンロードするだけで、簡単にボールのフィードバックを受けることができると考えたためである.
本稿ではこのボールの動作認識用スマートフォンとフィードバック用スマートフォンの 2 つを用いてプロトタイプを作成し、ボールを投げたときとキャッチしたときにフィードバック用スマートフォンで動作に応じてフィードバックを与えるシステムを開発した.

2

関連研究

ボール内にセンサ等を埋め込み、ボールとのインタラクションを行っている関連研究として出田らの跳ね星 [1] があげられる. この研究はボールにかかる加速度とボール内部に響く音に応じて発光色や発光周波数を変えることができる．またカメラを用いてボールの位置検出を行い、加速度情報と音情報により視覚的な特殊エフェクトをフィールドに生成している. 関連研究と本研究との差異は関連研究は

WISS 2011

視覚的エフェクトを用いて視覚情報をより強いものにしているが、本研究ではボールの衝撃を力覚的なフィードバックとして付加し新たな情報を加えている点である.

システム概要3

本研究では最低 2 台のスマートフォンを利用する.
一台は、ボールの内部に入れて加速度を測定するためのもの、そしてもう一台はボールの動作に応じてフィードバックを与えるためのものである. 今回使用したボールは図 1 のようなスポンジボールで、図2 のような形でスマートフォンを入れ込んでいる.

図 3. ボールの動作判定結果

図 1. 今回使用したボール

図 2. ボールの中にスマートフォンを入れている様子

今回ボールの中に仕込むためのセンサとして使用したスマートフォンは”Galaxy S 2”である. システ
ムの流れとしてはまず、この Galaxy S 2 に内蔵された加速度センサーにより 3 軸の加速度を取得する.
加速度は 10 ミリ秒ごとに取得し、加速度の変化を見る. ここで加速度が大きく変化したときに、ボールの衝撃を擬似的なフィードバックとして与える. このときの擬似的なフィードバックとは受け側のスマートフォンが振動することである.

3.1

ボールの動作判定

実際にスマートフォンを入れたボールを投げて、キャッチした時の加速度は次の図 3 である. このように投げ動作の時とキャッチの時に大きな加速度の変化が見て取れる. そして、ボールが投げられたときは加速度が一定となるので変化も少ないのも同時にわかった. 今回は閾値処理で動作の判定をしている.

4

今後

今回スマートフォンは図 1 のようなスポンジボールにいれるためある程度の衝撃には耐えられるようになっていると思われる. 実験の際に投げた結果では壊れるというようなことはおきなかった. しかし、かなり強い衝撃を与えてしまうとスマートフォンが耐えられない可能性が出てくるので、そのあたりの検証も必要になってくる. 今回はスマートフォンを入れたボールの動きの動作を識別する際に閾値処理で行ったが、今後はより正確な判定と動作の区別を確実行うために、機械学習で動作の判定を行うことを考えている. また、ボールの投げられたときの回転速度などをスマートフォンに内蔵されているジャイロセンサ等で求め、そのボールの回転速度によって、ユーザーに与えるフィードバックを変化させたり、ボールに入れたスマートフォンからサウンドエフェクトを加えることによって、より多くの人がボールとインタラクションができるようにすることも考えている. また、今後はエフェクトを追加したり、実際にスポーツの中で実験を行ったり、今回はプロトタイプであるので、より本格的なフィードバックデバイスの開発も考えている.

参考文献[1] “跳ね星：電子機器を組み込んだデジタルスポーツ用ゴムボールの開発，出田修，佐藤俊樹，間宮暖子，芝崎郁，中村潤，児玉幸子，小池英樹, ，第 16
回インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2008) 論文集, pp.41-44,
2008.

Motion Recognition of a Ball and Synchronized Force Feedback using Smart Phones

未来ビジョン
本稿では、スマートフォンを入れたボールとのインタラクションについて述べた. 今回は単純にそのボールの加速度を求め、その変化に応じスマートフォンでフィードバックを行うものであったが未来ビジョンとしては、受け側のデバイスをスマートフォン以外の物にすることでボールの動きに応じたフィードバックをより多く与えることができると思われる. しかし、
今回このスマートフォンを使った理由としてア
プリさえあれば誰でもフィードバックを受けることができるという利点を利用したためである. 先ほど述べたように、スマートフォン以外の物にすることで利点もあるが多くのデバイスを作成しなければならない. しかし、スマートフォンを利用することで多くの人が同時に同じボールからのフィードバック得ることができる. これを利用すると、例えばスポーツ観戦を行っている際に、視覚的な情報に加え、通常味わうことができないボールが受けた衝撃のフィードバックという力覚的な情報も観戦することができる. また、ボールの状態をセンシングすることで、今まで得ることができなかった情報も取得できるのではないかと考えられる. 例えば野球などの変化球の場合、私たち素人ではどのような回転を起こしているのかがわからないが、センシングによって得られた回転の向きと速度を試合を観戦している人に与えることができれば、より面白く観戦できると思われる.
また他の未来ビジョンとしては、ボールのセンシングによって、既存の球技 (例えば、野球やドッジボールなど) の拡張もできるのではないかと思われる.