情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C57
2016/3/4

タブレット駆動型身体拡張インタフェース〜スタンドアローン型 ExtendedHand〜
上田 雄太1,a)

浅井 唯貴1,b)

榎本 龍一1,c) 新明 拓也1,d)
佐藤 宏介1,g)

武村 紀子1,e)

岩井 大輔1,f)

概要：手は人間のコミュニケーションには欠かせない．しかし，ポインタで遠くの物を示すようなコミュ
ニケーションの場では，手の持つ表現の高さが活かしきれていない．本稿では，手の届かない位置の対象を扱うような場合に，プロジェクタ投影されたバーチャルハンドを自分の手の代わりとして操作する身体拡張型インタフェースを提案する．特に，本研究ではバーチャルハンドの操作から表示までをタブレット端末 1 台で行うシステムを設計・開発した．この特徴により，車椅子使用者が本システムを車椅子へ組み込んで使用し，コミュニケーションの場に役立てるというような応用が考えられる．

Tablet-based Body-extending Interface for Gesture Communication〜Stand-alone ExtendedHand〜Yuta Ueda1,a)Yuki Asai1,b)

Ryuichi Enomoto1,c) Takuya Shinmei1,d)Daisuke Iwai1,f) Kosuke Sato1,g)Noriko Takemura1,e)Abstract: Hand is an essential part of our body for communication. However, in a situation that we reach a
distant target, we can’t express our intension fully because our arm has limit of the length. In this paper, we
propose the body-extending interface for this situation. In our proposed system, we manipulate a projectedvirtual hand instead of our real hand for reaching distant targets. We can use this proposed system by using
only single tablet PC and a projector. The compact settings enable us to reach the distant target easily. We
think that our system will be helpful especially for wheelchair users.

1. はじめにいるのかを直観的に理解することは困難である．このため，遠くの対象を明確に示すためには指差しではなくレー

人間は手を使用して他者とのコミュニケーションを行う．

ザーポインタ等のポインタが使用される．しかし，ポイン

手の表現力は高く，手のポーズや動きは自分の意図を伝えタには手のような自由度がないため表現に乏しく，ポインることや相手の行動を類推することに役立つ．しかし，遠タを使用している際に，対象を手で直接扱うような表現力

くの物を対象としたコミュニケーションにおいては，相手の高いコミュニケーションが出来ているとは言えない．まの意図を類推することが困難になる．例えば，相手が離れた，一般的なポインタやリモコンで遠隔対象の選択や操作た位置の本棚を指差した場合，その行為がどの本を指してを行う際，その動作は日常的な身体動作と乖離している．

1a)
b)
c)
d)
e)
f)g)

大阪大学
Osaka University
ueda@sens.sys.es.osaka-u.ac.jp
asai@sens.sys.es.osaka-u.ac.jp
enomoto@sens.sys.es.osaka-u.ac.jp
shinmei@sens.sys.es.osaka-u.ac.jp
takemura@sys.es.osaka-u.ac.jp
daisuke.iwai@sys.es.osaka-u.ac.jp
sato@sys.es.osaka-u.ac.jp© 2016 Information Processing Society of Japan

例えば，対象をある場所へ移動させるときに，その位置や方向を逐一コントローラで指定する操作手法には，実際に手で物を持って動かすような動作が含まれず，直観性を欠いている．
小川, 岡原らは，直接手で対象を扱うかのように，遠隔対象に働きかけるシステム ExtendedHand を提案した [1] [2]．

1004情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C57
2016/3/4

バイスに関しては入力用スマートフォンと，手の状態推定からハンドの描画までを行う PC の，最低２機のデバイスが必要であった．今回新たに，システムを据え置き型で操作するような状況でも簡便に使用できるよう，タッチ検出から手の状態推定・ハンドの描画までを一つのタブレット端末で行うシステムを構築した．また，実用上の機能やハンドの取りうる動作を増やした上で，研究成果を配布可能な Windows アプリケーションの形式にまとめた．研究成果を還元し，システムの改善に繋がるよう，専用サイト *1での配布を行っている．本稿では，従来の関連研究との考察，並びに本システムの設計・実装とシステムの使用者のコメントに基づく考察を記す．

2. 関連研究2.1 ラバーハンド錯覚による身体拡張感
ExtendedHand にはラバーハンド錯覚の知見を取り入れている．ラバーハンド錯覚は Botvinick らによって初めて報告された [4]．Botvinick らは，被験者を椅子に座らせ，図 1

スタンドアローン型 ExtendedHand を車椅子に組み込み，使用した様子．タブレット端末をタッチするユーザーの手の状態と同期して，プロジェクタ投影されたバーチャルハンドが動作する

被験者から見て自分の手の位置にラバーハンド (ゴム製の腕の模型) が見えるように，仕切りや鏡を設置した．次に，実験者は被験者の手とラバーハンドを同時に筆でなぞる．
このとき，被験者は筆による触刺激を手で感じながら，筆ExtendedHand では多関節を持つ手の CG モデル (バーチャでなぞられるラバーハンドを観察する．この同期の結果，ルハンド，ハンド) を実世界上にプロジェクタ投影する．

身体の固有受容感覚がラバーハンドの位置する側に転移す

ユーザーは自分の手を動かすことでこのバーチャルハンドることが示された．この研究をきっかけとして，人工的なを制御し，対象へと働きかける際に自分の手の代わりに使手のモデルへの身体感覚の生起が数多く研究され，ゴム製用する．このとき，バーチャルハンドはユーザの手の状態の腕モデルだけでなく CG によるバーチャルな腕モデルもに同期して動作する．このように，バーチャルハンドを使その研究対象となった．Yuan らは，HMD を使用し，没入用することで，対象が手の届かない位置にあっても，手の型 VR 空間で一人称視点でバーチャルハンドを操作した場

形が持つ表現力の高さを利用したコミュニケーションが可

合にラバーハンド錯覚の効果が表れることを示した [5]．実能となる．また，ExtendedHand には手の模倣物を身体の験では，被験者の腕の動きに合わせてバーチャルハンドが一部のように感じるラバーハンド錯覚の知見が用いられて動くシステムと，矢の CG が動くシステムの 2 つが実装さおり，自分の身体の一部のようにバーチャルハンドを操作れており，同様に動く CG であっても，その見た目が手ですること，つまり自分の身体を拡張し，身体による操作範あることが身体感覚の生起に重要であることが示されてい囲を拡張することを研究の最終的な目的としている。しかる．また，Maria らは，データグローブで操作を行うバー

し，過去の研究では心理学的な実験や考察が主であり，日チャルハンドを実装し，そのハンドを前方のスクリーンに常生活で実際にシステムを使用するには，入力機器を利便プロジェクタ投影してステレオグラスで観察させ，被験者性の高いものに変更する必要や，ハンドの操作法を検討しに操作をさせた [6]．この結果，被験者の手の動きとバーて新たに設計を行う必要がある．

チャルハンドの動きの同期に遅延が少ないことがラバーハ

そこで，本研究では，岡原らのコンセプトを元に，システンド錯覚の効果を高める要因の一つであることが示された．

ムとしての実用性を考えた新たな ExtendedHand を提案・

ExtendedHand に関しても，ラバーハンド錯覚が生起さ実装する (図 1)．岡原らは赤外線カメラでユーザの手の状れることが岡原らにより報告された [2]．ラバーハンド錯態を推定していたが，本研究では機器自体が広く普及し，覚の研究としては，投影されたバーチャルハンドを目視す使用に際する準備が少なく，光源環境に依存せず手を検出る際に同様の錯覚が生じるかという点が新しい．岡原ら

できることから，タブレット端末のタッチパネルを用いては，この投影ハンドと被験者の手に筆で同時に触刺激を与ユーザの手の状態を推定する．スマートフォンでバーチャえ，その結果，固有受容感覚が投影ハンド側に転移するこルハンドを操作するという，著者の過去の研究 [3] では，そ*1のシステムに通信用のアクセスポイントが必要であり，デ© 2016 Information Processing Society of Japan

ExtendedHand (2015 年 12 月 14 日現在)
http://www.extendedhand.net/1005

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C57
2016/3/4とを示した．今回提案するシステムにおいても，このバーチャルハンドを使用している．また，本システムにおいても，バーチャルハンドへの身体感覚を高めるために，ユーザーの手の状態とバーチャルハンドの状態を同期した操作法を設計し，動きの同期に関する遅延を抑えるように実装を行っている．

2.2 仮想手を用いた対象へのインタラクション
近年，バーチャルハンドの操作は，モーションキャプ

図 2

チャセンサでゲーム内のアバターの手を操作するような従来システムのコンセプト

状況でよく見られる．また，近年では主にディスプレイや HMD に表示される CG を，バーチャルハンドで３次元的に操作することのできる LeapMotion*2 が開発されている．ExtendedHand では，主に VR の分野としてディスプレイ内で使用されてきたバーチャルハンドを実世界上にプロジェクタ投影し，実物体を対象とする AR の立場から使用することを提案する．
実世界上でバーチャルハンドを使用する関連研究としては，Poupyrev らの GoGo インタラクションが挙げられ
る [7]．この研究では，HMD 上に表示されるバーチャルハンドを，遠隔対象に向けて自分の腕を伸ばすことで操作す図 3

新たに提案するスタンドアローン型のコンセプト

る．今回提案する ExtendedHand では，プロジェクタ投影によってバーチャルハンドの様子を複数人で共有することが可能となっており，その他，ハンドの指が操作可能である点や手元操作でハンドを制御できる点などが Poupyrev

3. スタンドアローン型 ExtendedHand
3.1 システムコンセプト

らのシステムとは異なる．また，関連研究として，テレイ

図 2 は著者が過去に発表したスマートフォンによるバーグジスタンスの分野で投影ハンドを遠隔ロボットに実装しチャルハンド操作 (InstantReach)[3] のコンセプト図，図 3

た研究 [8] や，遠隔協調作業時に，HMD で共有したバーは本研究で提案するシステムのコンセプト図である．図 2

チャルハンドから作業視点位置を指示する研究 [9] がある．のシステムでは，Android スマートフォンでアプリを起動

このように，バーチャルハンドはコミュニケーションの場し，WiFi にアクセスしている描画用 PC とソケット通信でに有用であると考えられる．また，本研究では，関連研究接続を行う．そして，スマホからタッチ点等のデータを送で用いられる HMD やデータグローブなどは，装着が必要信し，PC 側で残りの処理を行う．このシステムでは，ユーとなるために使用せず，日常生活での使用の容易さを考慮

ザーはスマホのみを保持すればよいという簡便さがある．

して，空間に取り付けられたプロジェクタと簡便な入力機

また，WiFi を使用しているため，多人数で同じアクセスポ器のみのコンパクトな設計を重視している．このため，一イントにアクセスすることで，多数のハンドを投影し，複般的に普及しているタブレット端末を入力機器に用いる．

数人で各々のハンド操作を行うということも可能である．

一方，タブレット端末でバーチャルハンドを操作する研例えば，会議室などで各々がスマートフォンを取り出し，究としては THING がある [10]．THING では，キャラク会議ボード上のコンテンツを指差したり，操作したりしてターの手の部分の CG を直観的に生成するために，タッチ討議を行う，というような状況での使用に適している．

パネルからバーチャルハンドを操作する手法を提案してい図 3 で提案するシステムは，スタンドアローン型である．

る．本研究で用いたタッチ座標に基づく手の状態推定は，本システムでは Windows タブレット 1 台でタッチの検出

著者自身の過去の研究 [3][11] を発展させたものである．そからハンドの描画まで全てを処理する．本システムは，例のため，THING とはハンドの並進操作が大きく異なり，今えば電波の途絶している廊下での使用など，その環境の回提案する ExtendedHand では，自分の手の代わりとしてネットワークの有無に依存せずに使用できることが利点で使用する際に実用性の高い動作が行えるようになっている．

あり，従来よりも使用可能な範囲が広がっている．本シス
テムは，例えば車椅子にタブレット端末とプロジェクタを*2

Leap Motion (2015 年 12 月 14 日現在)
https://www.leapmotion.com/© 2016 Information Processing Society of Japan

組み込み，車椅子使用者が移動した先の手の届かない場所に対して投影ハンドを使う，というような状況での使用に

1006

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C57
2016/3/4

適している．

3.2 システムデザイン
スタンドアローン型 ExtendedHand について，仕様を詳
細にデザインする．使い方は次の通りである．タブレット
端末をプロジェクタに無線接続等で接続し，その画面を複製状態にする．アプリケーションを起動すると，タブレッ
ト上には黒を背景としたバーチャルハンドが全画面表示され，プロジェクタの投影像からはバーチャルハンドのみが見える (図 3)．ここで，タブレットの画面をタッチしたま
ま手指を動かすと，そのユーザーの手の状態に合わせて画
図 4面内のバーチャルハンドが動作し，複製された投影ハンドハンドの取りうる状態を操作することができる．アプリ使用時のユーザーの視点は投影ハンドにあることを想定しているが，オプションの設定やアプリの終了時にはタブレット端末に視点を戻して操作を行うことを想定し，操作用のボタンをアプリの画面上に設置する．

図 5

操作に関しては，端末の画面サイズと指の動かしやすさを考慮し，タッチに使用する指は基本的に親指，人差し指，画面構成に個別にモードを設けた (図 4)．

中指の 3 指とした．特に 3 指をともに使用する 3 指タッチ

最後に，ユーザーがハンドの操作を少しの間止めているを標準操作としているが，人差し指による 1 指タッチ，親ような状況を考える．以前のシステム [3] では非制御時の指と人差し指による 2 指タッチ，人差し指と中指による 2ハンドは不動であったが，不動ではハンドに移っていた身指タッチもユーザーの操作方法に含めている．また，4 本

体感覚が薄れていくのではないかと考え，非制御時のハン目の指が触れることでハンドの操作が停止する現象を避けドには生体的なゆらぎを行わせ，生物的な印象を持続するるという理由と，5 指全てを接触させた操作の方が自然だようにした．と感じるユーザーに対応するという理由から，4 指以上でもハンドの操作を受け付けている．

3.3 実装次に，バーチャルハンドで行う動作について考える．基以上のデザインを踏まえ，実装を行う．開発用 PC には

本的には，ユーザーの各指とバーチャルハンドの各指が対Surface Pro3 (Windows 8.1, 64bit) を使用し，開発環境と応しており，タッチパネルに指を接触させたまま指先を中して Visual Studio 2013 Community を使用した．初めに，央に向けてすぼめると，対応するハンドの指が屈曲する．

画面の設計を行う．グラフィック部分には OpenGL によ

以前のシステム [3] では操作法を 3 指タッチのみに定めてるウィンドウを使用する．ここで，タッチを検出しながいたが，例えば，この状態で親指と人差し指によるつまみらハンドを全画面表示させるためには工夫を行う必要がを動作を行う場合には，動作に使用しないハンドの中指をある．本システムでは，OpenGL ウィンドウより前面に，曲げておくために，自身の中指をタッチパネル上で中央にWindowsAPI によってタッチ検出用のフォームを作成し，向けて大きく動かす必要があった．過去のデモ発表で頂いフォームの透明度を上げることでハンドが確認できる状態たコメントから，従来の設計では少数の指のみを使用するを作成する (図 5)．よって，本システムでは 2 つのアプリ動作の操作が難しいということがわかった．ここで，特にケーションが同時起動し，共有メモリを通じてデータのや実用的な手の動作については，その動作に使用しない指をり取りを行う．このシステム全体の処理フローを図 6 にタッチパネルから離すように操作法を変更し，操作性の改示す.

善を試みる．手の実用的な動作として，人差し指を用いた手の状態推定については，初めにタッチ点の個数を読み指示動作や親指と人差し指によるつまみ動作，全ての指を取り，その個数が 2 個の場合は，その座標の離れ具合か曲げる把持動作が挙げられる．このうち，指示動作についら，親指と人差し指によるタッチか，人差し指と中指によてはタッチ点が 1 個のときに，つまみについてはタッチ点るタッチかを判別する．手の並進・回転・指の屈曲等は初が 2 個かつ，タッチが親指と人差し指によるものと判断でめに指が端末に触れたときのタッチ位置と現在のタッチ位きたときにその操作を行う．ハンドの行う把持動作につい置を比較することで推定する．具体的には，タッチ点の重ては 3 指の曲がり具合から判定を行う．このように指示やみ付き重心の移動量をハンドの並進操作に使用し，人差しつまみ動作などの実用的な動作については，標準操作の他指・重心・中指がなす角の変化をハンドの回転操作に，各© 2016 Information Processing Society of Japan1007

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

図 6

163C57
2016/3/4

処理フロー

タッチ点と重心との距離の変化を各指の屈曲操作に使用する．非制御時には，間欠カオス法のアルゴリズムを参考に揺らぎを実装した．また，ハンドの表示については並進時に腕が伸びるように表示し，今回新たにハンドに服を着せている．

図 7

アプリケーション画面 (メニュー画面表示時)

これらの実装の他，アプリとしてはメニューボタンを画面に設置した．ボタンを押すとメニュー画面が起動するようになっている．機能については，まずはアプリの終了処
理を Exit ボタンで実装した．

4. システムの動作検証
4.1 システムの使用
Windows 8.1 64bit のタブレット PC を持つユーザーにアプリをダウンロードさせ，本システムを使用させた．この結果，対象機器 5 台全てでシステムが正しく動作することを確認した．

4.2 考察・システムの改善システムの使用者から，投影先とプロジェクタとの距離によってバーチャルハンドのサイズを変更したいというコ

図 8 操作時のバーチャルハンドの状態メントが得られた．このため，ハンドのサイズを変更する機能をメニュー画面に追加し，システムを改善した．これに関しては，実際に建物の案内板や本棚の本に対して本システムを使用した際に，プロジェクタと対象の距離の関係からハンドのサイズが対象に対して過度に大きくなり，対リ使用時のバーチャルハンドの挙動の一例を図 8 に示す．

5. おわりに象を正確に指示することが困難であった状況を確認してい実世界上で投影バーチャルハンドを操作することよってる．このような操作性の観点からハンドのサイズを変更可

身体を拡張するという，コミュニケーション支援のインタ能にしておく必要がある．また，単に投影されたハンドのフェースを開発した．本システムが一つのタブレット端末

サイズが大きいことに対して違和感を感じるという意見もで構築できることにより，環境のネットワークに依存せず得られた．このような違和感は，バーチャルハンドへの身にシステムを使用することや，他の装置へ本システムを組体感覚から生じるのではないかと考えられる．ハンドを手み込むことが容易になった．例えば，車椅子やベッドサイと認識した場合に，サイズが自分の手より過度に大きいこドにシステムを組み込み，福祉支援として ExtendedHandとで身体感覚が減衰するのではないかと考えられ，ハンドを使用するような応用が考えられる．今後はアプリの配布の大きさは身体感覚に関係する要因の一つでなないかと考やデモによってシステムの使用者を増やし，得られたコメえられる．本システムを車椅子に組み込み使用した時の様ントをもとにシステムの改善や身体感覚に関わる要因を調子を図 1 に，システム改善後のアプリ画面を図 7 に，アプ

べたい．

© 2016 Information Processing Society of Japan1008

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C57
2016/3/4

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Shuhei Ogawa, Kohei Okahara, Daisuke Iwai and Kosuke
Sato. A Reachable User Interface by the Graphically Extended Hand. In Proceedings of IEEE Global Conference
on Consumer Electronics, pp.215-216, 2012.
岡原浩平, 小川修平, 新明拓也, 岩井大輔, 佐藤宏介. 身体
拡張型インタフェースのための前腕の投影表現に関する基礎検討. 日本バーチャルリアリティ学会論文誌, Vol.19,No.3, pp.349-355, 2014.
Yuta Ueda, Daisuke Iwai and Kosuke Sato. InstantReach: Virtual hand interaction using smartphone.
In USB Proceedings of IEEE International Symposiumon Mixed and Augmented Reality, S&T Demos 14, 2015.
Matthew Botvinick and Jonathan Cohen. Rubber hands‘feel’ touch that eyes see. Nature, Vol.391, Issue 6669,p.756, 1998.
Ye Yuan and Anthony Steed. Is the rubber hand illusion
induced by immersive virtual reality ?. In Proceedings ofIEEE Virtual Reality, pp.95-102, 2010.
Maria V Sanchez-Vives, Bernhard Spanlang, Antonio
Frisoli, Massimo Bergamasco and Mel Slater. Virtual
hand illusion induced by visuomotor correlations. PloS
one, 5(4):e10381, 2010.
Ivan Poupyrev, Mark Billinghurst, Suzanne Weghorst
and Tadao Ichikawa. The go-go interaction technique:non-linear mapping for direct manipulation in VR. In
Proceedings of ACM symposium on User interface software and technology, pp.79-80, 1996.
MHD Yamen Saraiji, Charith Lasantha Fernando, Kouta
Minamizawa and Susumu Tachi. Development of mutualtelexistence system using virtual projection of operator’s
egocentric body images. In Proceedings of International
Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments, pp.125132, 2015.
Morgan Le Chénéchal, Thierry Duval, Valérie Gouranton, Jerome Royan, and Bruno Arnaldi. The stretchable arms for collaborative remote guiding. In Proceedings of International Conference on Artificial Reality andTelexistence Eurographics Symposium on Virtual Environments, pp.147-150, 2015.
Merwan Achibet, Géry Casiez, Anatole Lécuyer andMaud Marchal. THING: Introducing a tablet-based interaction technique for controlling 3d hand models. InProceedings of ACM Conference on Human Factors inComputing Systems, pp.317-326, 2015.
上田雄太, 岩井大輔, 佐藤宏介. バーチャルハンド操作のための携帯タッチ端末を使用した手指状態推定. 第 59 回
システム制御情報学会研究発表講演会 (SCI’15) 講演論文集, 343-3 (4 pages), 2015.

© 2016 Information Processing Society of Japan1009