情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT014
2016/3/3

装着型ディスプレイを用いた非利き手トレーニングシステム
小西 直人1,a)

寺田 努1,2,b)

塚本 昌彦1,c)

概要：人間には利き手と非利き手が存在し，その利用頻度は利き手が遙かに大きい．日常生活において非利き手の使用頻度を増加させれば，その能力が向上し，さまざまなシーンで非利き手を活用できるようになる．そこで本研究では，没入型ヘッドマウントディスプレイ (HMD: Head Mounted Display) を装着して生活する状況を想定し，視覚効果を用いて利き手を不可視にすることで，非利き手の使用頻度を増加させるシステムを提案する．利き手が見えなくなる視覚効果の有無によるユーザの非利き手の使用頻度の変化を調査するために実験を行ったところ，被験者は非利き手を使用することが分かった．

A Non-dominant Hand Training System Using Head Mounted Display
Naoto Konishi1,a)Tsutomu Terada1,2,b)Masahiko Tsukamoto1,c)Abstract: In bimanual tasks, one hand is usually the main executor and the other is the supporter. By
increasing the frequency of using the non-dominant hand in everyday life, the performance of the dominant
hand may become equivalent to that of the non-dominant hand. In this paper, we propose a system thatenforces users to use the non-dominant hand by using visual eﬀects of see-through head mounted display(HMD). We consider this is achieved by giving the visual eﬀect of diminishing the dominant hand. Our
system mirrors the image that is taken by a head mounted camera and is processed as if there is no dominant
hand and thus a user does not know its position. We conducted preliminary experiments to investigate thefrequency of using the non-dominant hand in this system. We have found that subjects by using the system
to work in the non-dominant hand.

1. はじめにき手よりも使いづらくなり，不便なことも増えた．例としては，利き手の左右に関わらず利き手側が骨折，怪我など

世界中の，利き手をもつ現代人のうち約 89% が右利き，の運動機能障害によって使えないときに，手を使ったパ

約 11% が左利きと大きく割合が偏って利き手があると推

フォーマンスが低下することや，利き手で電話の受話器を定されている．日本はその中でも，約 12% が左利きだと咄嗟に取ってしまった場合にメモが取りづらくなることがいわれている．この利き手の有無により，左右の手に役割挙げられる．咄嗟に利き手で取った電話は非利き手に持ちが生じた．例えば，右利きの人が瓶のふたを開けるなどの替えることも可能だが，持ち替える際に電話の受話器を落

両手を協調させて作業する際に，右手が主要な役割を担いとすなどの可能性がある．先ほど述べた通り，これらの問

左手がそれをサポートする，といったことが挙げられる．

題は利き手を優先的に使っていることで生じている．つままた，利き手の利用頻度の偏りによって，反対側の手が利り，両方の手が利き手と同様のパフォーマンスを行うことで解決できると考えられる．

1

2

a)
b)
c)

神戸大学大学院工学研究科
Graduate School of Engineering, Kobe University, 1-1
Rokkodai, Nada Kobe, Hyogo 657-8501, Japan
科学技術振興機構さきがけ
PRESTO, Japan Science and Technology Agency, 7 Gobancho, Chiyoda, Tokyo, 102-0076, Japankonishi524@stu.kobe-u.ac.jp
tsutomu@eedept.kobe-u.ac.jp
tuka@kobe-u.ac.jp© 2016 Information Processing Society of Japan

そこで本研究では非利き手の使用頻度を上げるために，利き手を見えなくする視覚効果をユーザに与えるシステムを提案する．利き手が不可視になることで利き手の作業のしやすさが非利き手よりも下がるため，非利き手の使用頻度が増加すると考えられる．非利き手の使用頻度の増加により，ユーザの非利き手のパフォーマンスが向上し，利き手

116情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT014
2016/3/3と同様のパフォーマンスを発揮できる．具体的には，カメかし，視覚のない到達運動の終点については非利き手の方

ラを搭載した，装着型ディスプレイ（HMD: Head Mounted

が誤差の平均が小さいという結果 [7] や，未知の負荷に対Display）を用いてユーザに利き手が見えなくなる視覚効果

する影響は非利き手の方が少ないという結果などが報告さをリアルタイムで与える．利き手の識別は，ユーザに色のれている．利き手と非利き手の運動の違いについて，一概付いた手袋を利き手に装着してもらうことで識別を実現さに非利き手の方が利き手よりも劣っているとは言えない．

せた．システムの構築にあたり，ユーザの利き手が見えな

これらのことから，視覚情報の有無は両手のパフォーマン

くなる視覚効果の有無による，ユーザの非利き手の使用頻スに強く関係していることがわかる．

度の変化を調査した．簡単な物体認証と物体除去により利き手を見えなくするシステムを実装し，利き手の不可視が非利き手の使用頻度に与える影響の調査を行った．

2. 関連研究2.1 非利き手支援

2.2 HMD を使った支援システム
HMD を用いた訓練システムはこれまでに多数提案されている．イギリスの軍隊では，パラシュートの降下訓練
シミュレーター [8] に HMD が使われている．これはバーチャルの世界でパラシュートの降下や着地の訓練を行う

非利き手による上肢の作業能や調節能についてはリハビ

システムである．バーチャル世界で訓練するシステムだ

リテーション医学や人間工学の方面で注目されている [2]．

けでなく，実世界で HMD を用いて行う訓練用システムも脳梗塞や脊椎損傷により利き手側を麻痺した場合，動かな存在する．確認される一番古いものに，T.Jebara ら [9] のくなった利き手の代わりに非利き手を実用手にする訓練でStochastick がある．このシステムではビリヤード台上のある利き手交換を行う．リハビリテーションとして作業療

球情報を，HMD に搭載したカメラからの入力画像を処理法士が行う利き手交換方法は日常生活動作に非利き手を参することで取得し，リアルタイムで最適なキューボールの加させることである．このことから，非利き手で利き手と弾道を HMD に示した．ユーザは，表示された経路に沿っ同様のパフォーマンスを行うためには，日常生活においててショットをすれば，ポケットにオブジェクトボールが入

非利き手の使用頻度を増加させることが効果的である．しるというシステムである．小林ら [10] は手溶接訓練システ

かし，普段の生活において利き手を無意識のうちに優先しムを提案した．手溶接作業者は強烈なアーク光から顔や目て使用している．そのため，非利き手の使用を意識し，非を保護するための溶接用保護面を着用し，限られた視界を

利き手の使用頻度を増加させ，非利き手のパフォーマンス

通して得られる視覚情報や聴覚情報などを基に，時々刻々を向上させることは難しいと考えられる．今泉ら [3] は非と変化する溶接箇所の状態を推量しながら溶接棒の移動を利き手で投動作を繰り返すとフィードバック系の運動学習行う．この作業環境をできるだけ忠実に模擬するために保が成立し，非利き手投げによる投動作パターンや投距離が護面型 HMD と疑似溶接棒を開発した．また，松井ら [11]利き手投げ側に近づくことを報告している．また，立屋敷による HMD を用いた拡張現実 (AR:Augmented Reality)

ら [4] は箸使用時の非利き手のトレーニング効果を調査しにおける筆記支援システムでは，HMD に搭載したステレ

た．この研究では繰り返し行った箸を用いた非利き手の試

オ赤外線カメラで筆記時に紙を押さえる手を検出とする．

料の移動所要時間を測定した．移動所要時間は約 1 週間で検出した手を基準位置とし，拡張現実を用いて手書きによ

0 日目の 0.85 倍と有意に効果が認められ，さらに，トレーる筆記のお手本の文字を没入型 HMD に投影して，筆記をニングを中止して 45 日に改めて運動を行ってもその効果が支援するシステムを構築している．藤塚ら [12] による拡張持続した．非利き手でも箸の動作を繰り返し行うと運動プ

現実を用いた毛筆学習支援システムに関する研究では，先ログラミングを司る大脳での情報処理機能が働くと共に動生の筆使いを学ぶために，あらかじめお手本の先生の筆運

作の繰り返しによるフィードバック系の運動学習が成立しびのデータを習字台で取得しておき，それらのデータを元て試料の移動時間が短縮したものと推定できる．このことにお手本の筆が文字を書く様子を 3DCG で再現する．学習から非利き手を繰り返し使用すれば，非利き手のパフォー者がつけているカラーカメラを搭載した HMD に AR マー

マンスを向上させ，維持できるのではないかと考えられる．

カを基準として，お手本の 3DCG を表示し，筆の動きをト

また，菅野ら [5] は，運動の滑らかさについて非利き手よレースする筆記支援システムを開発した．

り利き手の方が視覚情報が得られなくなることで滑らかさ

このように HMD を用いた支援システムは多数提案されが失われる傾向にあり，視覚情報の有無による影響を受けているため，HMD を用いた支援システムは有効であるとやすいことを明らかにした．Roy ら [6] は，上肢の 2 点間考えられる．よって，本研究においても HMD を用いる．

の到達運動について，視覚の条件，運動時間，目標までの距離を変えて，利き手と非利き手の運動をそれぞれ計測し2.3 手の検出システムて，運動終点の精度の違いは力の制御の差というよりも視本研究では利き手を見えなくするために，利き手を識別

覚フィードバックの効果的な利用の差であると述べた．ししなければならない．手の検出システムもこれまでにいく© 2016 Information Processing Society of Japan117

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT014
2016/3/3

つか開発されている．富林ら [13] による装着型無線加速度などは現実環境と仮想環境の同期ずれの原因となり，センサを用いたウェアラブル DJ システムでは，手につけこれが位置ずれとしてユーザに知覚される．

た装着型の無線通信機能付き加速度センサから動作認識を

ビデオシースルー方式

行い，あらかじめ登録された動作定義に従って BGM やエユーザの視線方向とカメラの光軸を一致させて撮影しフェクトを制御し，DJ パフォーマンスを行える．

た現実環境の映像上に仮想環境を合成して提示する．

また，手にデバイスを装着することなく，手を認識する研光学式シースルー方式に対して，現実環境と仮想環境究も行われている．Microsoft 社の kinect for windows[14]の同期をとって提示できるため，同期ずれによる両者

や Softkinetic 社の DepthSense325[15] などの深度センサの位置ずれは原理的に生じない．しかし，提示されるは手の形状や動きを認識してくれるデバイスがある．李環境全体が，仮想環境を合成する際の計算時間などにら [16] の深度センサを用いたキーボード上の手形状認識

よって遅れて提示され，見回し遅延としてユーザに知に基づくウィンドウ操作システムの提案では，深度センサ

覚される．

を用いてあらかじめ手が映ってない背景距離画像を設定

本研究では利き手をユーザから 見えなく することがし，キーボード使用時の距離画像と背景距離画像を比較す目的であるので，ビデオシースルー方式を用いて，除去することで手の領域を割り出し，キーボード上のハンドジェ

る手の上に背景画像をのせることで，ユーザに利き手を見スチャを認識する手法を提案している．背景差分法は監視えなくする．

カメラのような固定されたカメラで物体を検出する場合に画像内の物体を除去するためのソフトウェアは数多く存

有効な手法であるため，本研究のシステムではユーザが装在する．例えば，証明写真などの顔からホクロやシミを消着した HMD にカメラを設置するため背景差分法は適さなしたり，ノイズを除去するものが挙げられる．これらは除い．背景差分法以外にも手の検出方法はある．T. Lee[17]去する物体の背景が単調な色の場合には有効であるが，複の Markerless Handey AR では，web カメラを用いて取得

雑な背景では綺麗に除去することができない．高性能なした映像から肌色抽出することで手の輪郭を認識し，輪郭

画像編集ソフトウェアとしては，アドビシステムズ社の線の曲がり具合から指を判定する．認識した手を AR マー

Adobe Photoshop[19] などがある．また，ＤＲの問題点とカとして映像内にオブジェクトを生成している．

して，物体を消しても物体の影が残ったり，壁や台に反射し，映ってしまうなどがあげられる．そのため物体を除去

2.4 隠消現実感

したことを分からないようにするための手法も存在する．

現実世界において，カメラで捉えた障害物を実時間で視田中ら [20] の光源の色情報を用いた影検出・除去では，あ覚的に隠蔽・消去・透過する技術分野は隠消現実感 (DR:らかじめ陰影部の判明している画像を使用して，陰影領域

Diminished Reality)[18] と呼ばれている．DR の方法としと非陰影領域の色相値と輝度値それぞれの差分を求めるこて主流なのは，画像上の見えなくしたい物体に，背景画像とで，光源の色相値と輝度値を処理前に取得しておき，陰などを重畳描画することで物体を存在していないように見影領域に非陰影領域との色の差を足し合わせ，陰影の無いせる方法である．つまり，DR は拡張現実の一種である．

状態へ戻すことで陰影除去を行う．Mirkamali ら [21] は，本研究でも，利き手を見えなくする技術を取り入れている．

複雑なシーン内でもオブジェクトや背景の画像を重ねるこ

DR の実現には，カメラ位置姿勢の推定，合成する隠背景とで物体を除去している．あらかじめ 3DCG でオブジェ

投影画像の準備，除去対象の認識・追跡による対象領域のクトを作成したり，背景やオブジェクトを全方向から撮影決定等，多くの技術要素の組み合わせが含まれる．DR のするなどでシーン内のオブジェクトのデータを登録する．

達成目標は，物体を除去したことをユーザに気づかせない，

そして，オブジェクトが複数置かれたシーン内のオブジェ

もしくはその処理過程を意識させないだけの高品質な視覚

クトの奥行や並びを深度センサで取得し，適切なデータを的除去を実時間で遂行することであると言える．

当てはめることで複雑なシーンでも物体の除去を可能にし現実環境と仮想物体を重畳表示する方式には以下の二つがある．
光学式シースルー方式ている．しかし，これらは静止画像内の物体のみを除去できる．
映像内のリアルタイムで物体除去する手法としては，清ハーフミラーなどを用いて，映り込む仮想環境と透過水ら [22] のデプスカメラを用いたリアルタイム領域抽出して見える現実環境を同時にユーザに提示する．現実による隠消現実感映像生成がある．清水らは，ピッチャと環境が時間遅れなく提示される反面，ハーフミラーをキャッチャの延長線上に並べて設置したカラーカメラ (中用いているため仮想物体が半透明に描画される．その央カメラ) とデプスカメラの 1 台ずつと，その左右に 1 台ず

ため，仮想物体による現実物体の隠ぺいを表現するのつ設置したカラーカメラ (左カメラ，右カメラ) を用いて，は一般的に困難である．また，現実環境が時間遅れな

野球における投球シーンをキャッチャの視点から見たようく提示されるため，仮想環境を提示する際の計算時間な映像を生成することに成功している．除去対象領域の遮© 2016 Information Processing Society of Japan118

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT014
2016/3/3

蔽物を中央カメラ映像から除去するために，距離情報を用いることで除去対象領域の抽出を行うことが可能となる．
また，左右カメラの映像から背景を復元し，中央カメラ映像へと投影・合成している．本田ら [23] は複数のスマートフォンカメラの協調利用による実時間隠消現実感を実装している．映像内の特徴点 (自然特徴) を用いることで固定マーカを使わずに Homography を算出する．そして，複数のユーザそれぞれがスマートフォンを用いることで，ユー

図 1取得したカラー画像

図 2 青色領域の 2 値化画像

ザが自由に移動できる隠消現実感を実現している．これらの研究では，複数のカメラを用いて重畳する背景画像をリ
アルタイムで取得している．本研究ではユーザがカメラを装着するため，複数のカメラを用いることは難しい．したがって，HMD に装着したカメラ一つを用いた隠消現実感を構築する．

3. 提案手法
3.1 システム構成

図 3 重畳する画像

図 4

提示画像

システム構成はユーザは頭部に web カメラを搭載した

HMD を装着する．HMD に搭載された web カメラから視
表 1

界映像を取得し，取得した視界映像を PC に送信する．このときに利き手の識別，重畳画像の生成，利き手への重畳描画を行う．そして，画像処理された映像を HMD のディ

HMD の主な仕様

型名

HMZ-T3W(SONY)

パネル

有機 EL パネル ×2

画素数

1280×720

スプレイに提示する．カメラ付き HMD を用いて視覚を制

アスペクト比16:9

御することで日常的な場面で利用可能な訓練システムにな

視野角

45◦

ると考えられる．利き手を抑制することで非利き手の利用

仮想画面サイズ

750 インチ頻度を向上させるだけであれば，他の考えられる簡単な手法として利き手を利用できないように固定するなどが挙げられるが，日常的な場面において手を縛ることは転倒時などに手を着くことができないなどの危険性がある．

3.1.2 重畳画像の生成
web カメラから取得したユーザの視界映像 (図 1) から得られた青色領域を用いて重畳画像を生成する．まず閾値を

また関連研究では，隠消現実感を再現する手法として複設定し，青色領域を決定する．手や腕の輪郭や影が机の上

数のカメラを用いて重畳する背景画像をリアルタイムで取に残らないようにするために，青色領域を 10 ピクセル分膨得する方法を挙げたが，今回は人に装着したカメラを用い張させて，2 値化画像に変換する（図 2）．そして，あらかじて隠消現実感を再現するため，利用することは困難である．

め取得した利き手が写っていない状態の一番最初のフレー

そこで，ひとつのカメラから隠消現実感を実現する方法とム前の視界映像と，先ほど変換した 2 値化画像を用いて，して，重畳画像を生成する．

重畳画像を生成する (図 3)．生成した重畳画像を視界映像

3.1.1 利き手の識別に重ねることで，HMD に映す提示画像を作成する (図 4)．

本研究では web カメラ (color カメラ) を用いて，利き手

図 4 のように青色領域，つまり，利き手領域に 1 フレームの識別を行う．color カメラを用いた手を識別する方法と前の映像から生成した重畳画像である背景の机の画像を重して，手領域の色である肌色の色情報を利用した手法があねることで，ユーザには利き手が除去されたように見える．

げられる．この手法は，定点カメラから得られた色情報によって肌色らしい領域を抽出するものである．本研究で3.2 システムの実装

はカメラは頭部にあるため，定点でなく動点である．した

提案した手法に基づいてシステムデバイスを実装しがって，実験環境側の色や照明の影響を受けやすい肌色抽た．使用した HMD は SONY の HMZ-T3W を使用した．

出を用いた手法は使えない．よって，影響を受けにくい青HMZ-T3W の主な仕様を表 11 に示す．プロトデバイスと色領域を抽出する手法を取った．そのため利き手に布製のして使用した web カメラは，iBUFFALO 社の広角 web カ

青色手袋とアームカバーを装着する．青色領域を利き手とメラ (型番：BSW20KM11BK) を使用した．web カメラのすることで，利き手の検出を行う．

主な仕様を表 2 に示す．また，システムデバイスの外観を
図 5 に示す．本システムデバイスは HMD，web カメラ，

© 2016 Information Processing Society of Japan119

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

表 2

16INT014
2016/3/3

web カメラの主な仕様

型番

BSW20KM11BK(iBUFFALO)

最大解像度

1920×1080

有効画素数

200 万画素

最大フレームレート

30fps

最短撮影距離

10cm

視野角

120◦

サイズ

48mm×105mm×50mm

重量

70g

図 7

システムデバイスを使用したユーザの視点映像

図 8

HMD

作業 1 に用いた平仮名が印字された紙Webカメラ図 5 提案デバイス
図 9

作業 2 に用いた箸と試料時のユーザの視点映像を図 7 に示す．左側は視覚効果なしの画像で，右側の画像が利き手である右手に視覚効果を与えた場合である．

3.3 評価ユーザに視覚効果で利き手を見えなくすることで，日常生活における動作の中で非利き手の使用頻度が増加するのかを明らかにするために提案システムを用いて実験を行った．本論文では提案システム未使用時と比較を行う．

3.3.1 実験手順
実験手順を以下に示す．
作業 1
図 6

手袋・アームカバー装着例

作業 2

PC で構成されており，HMD と web カメラは有線で PC

青いペンで紙に印字された赤色の平仮名「あいうえお」の 5 つの文字をなぞる．(図 8)
青い箸 (230mm) を用いて白い籠 (ϕ140×47mm) に入っている 5 つの黄色い試料 (26mm×13mm×5mm，と接続されている．利き手識別用の手袋・アームカバー装

0.4g) を 23cm 離れた赤い容器 (ϕ90×15mm) に移す．

着の様子を図 6 に示す．図 6 では，利き手が右手，非利き(図 9)

手が左手であるため，右手に青色を，左手に赤色の手袋・

作業 1，作業 2 をそれぞれ 3 度ずつ行い，計 6 度の試行を

アームカバーを装着している．解析する PC は Panasonic

1 セットとする．その際，各作業の 1 度目は利き手で，2 度社の Let’s note(CF-S9) を，PC 側のソフトウェア開発は

目は非利き手で，3 度目は 1 度目と 2 度目を踏まえて，被Microsoft 社の VisualC++2013 を用いる．可視化と解析

験者が作業をし易いと感じた手で行ってもらった．また，は Intel 社の画像処理ライブラリ OpenCV[24] を用いた．

被験者を A グループと B グループの 2 つのグループに分

実際にシステムデバイスを使用して，筆記作業を行った

けて，2 セット行ってもらった．A グループは 1 セット目

© 2016 Information Processing Society of Japan120

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

表 3
グループ

A

B

16INT014
2016/3/3

3.3.2 結果と考察

被験者が各作業で使用した手
視覚効果なし視覚効果あり

被験者

作業 1

作業 2

作業 1

作業 2

a

右手

右手

左手

右手

b

右手

右手

左手

右手

c

右手

右手

左手

右手

たが，書き物は右に矯正したため，作業 1 である筆記作業

d

右手

左手

左手

左手

では右手が利き手，作業 2 の箸を持つ手は左手と利き手が

e

左手

左手

右手

右手

異なっている．また，手を使用したかを定量的に評価する

f

右手

右手

左手

右手

ために，加速度センサから取得した 3 軸方向の加速度デー

g

右手

右手

左手

右手

h

右手

右手

右手

左手

タの合成値 Ai を計算し，合成値 Ai から標準偏差 σ を割

i

右手

右手

右手

左手

j

左手

左手

右手

右手

被験者の各作業に対する利き手 (視覚効果なし) と，視覚効果を与えたときに主に使用した作業の行い易い手 (視覚効果あり) を表 3 に示す．被験者 d は元々左利きであっり出した．各作業における利き手と非利き手の加速度デー
タの標準偏差を表 4 と表 5 に示す．この標準偏差が高ければ手を使用したと判断する．また，加速度センサから得

表 4 加速度センサで取得した作業１の標準偏差 (単位: mG)
視覚効果なし視覚効果あり

被験者 利き手 非利き手 利き手 非利き手

a

29.0

24.6

15.2

21.7

b

88.8

44.8

55.6

44.8

c

45.7

37.8

46.4

42.4

d

57.9

72.4

40.3

38.0

e

50.3

43.6

27.0

23.5

f

40.2

34.5

42.3

32.3

g

46.1

35.8

33.2

31.7

られる x 軸，y 軸，z 軸方向のデータをそれぞれ xi ，yi ，zi (i = 1, 2, · · · , n) として，標準偏差 σ を割り出すまでの計算式を以下に示す．
√
Ai = x2i + yi2 + zi2

(1)

1∑
Ai
n

(2)

1∑
(Ai − Ā)2
n

(3)

n

Ā =

k=1
n

σ2 =

k=1

h

46.1

25.8

61.4

38.9

i

35.1

24.6

30.8

24.1

作業 1 の筆記作業については，視覚効果なしと視覚効果

j

46.3

24.5

32.7

21.8

ありのどちらの場合も被験者全員がどちらか一方の手で最初から最後まで行った．表 3 より，被験者 h，i 以外の 8 人

表 5

加速度センサで取得した作業 2 の標準偏差 (単位: mG)
視覚効果なし視覚効果あり

被験者 利き手 非利き手 利き手 非利き手

が視覚効果ありの場合に利き手と逆の非利き手を用いて作業を行った．表 4 より，視覚効果なしの場合，被験者 d 以
外は利き手の加速度の標準偏差値が非利き手の標準偏差値

a

29.5

17.8

27.8

24.2

よりも大きくなった．よって，利き手を非利き手より使用

b

62.0

46.9

58.7

36.5

していることがわかる．被験者 d のみが利き手の加速度の

c

46.5

41.7

50.2

39.1

標準偏差が小さくなったのは，文字をなぞる際に筆記作業

d

72.6

29.0

73.2

34.2

e

44.4

24.4

14.4

27.4

f

50.2

46.7

41.3

22.5

でゆっくりと動かし，その間に素早く非利き手である左手

g

50.3

37.9

36.7

25.3

を動かして紙を抑えに動かしていたためだと考えられる．

h

54.0

30.6

26.8

43.4

しかし，視覚効果ありの場合，作業を行った手の標準偏差

i

48.8

22.1

26.0

30.7

値が作業を行っていない手の標準偏差値よりも上回ったの

j

43.1

25.6

38.0

21.1

は，被験者 a，h，i の 3 名のみである．これは利き手で筆における利き手であるペンを把持した右手を目的の文字ま記作業を行うと，加速度センサを装着している手首の動き
は視覚効果を与えず，2 セット目に視覚効果を与えて作業で行ったが，被験者 a，h，i 以外の 7 名は筆記に慣れていを行ってもらった．B グループは 1 セット目に視覚効果をない非利き手で筆記作業を行ったため，手首を固定して指与えて，2 セット目には視覚効果を与えずに作業を行っての動きでペンを動かしたことが原因として挙げられる．ペもらった．被験者は 10 人 (男性 8 人，女性 2 人，平均年齢ンを把持しない手 (この場合は利き手) は紙を抑える働き

22 歳) で，実験の所要時間は平均 1 時間であった．被験者をするために一画毎に動いていたことも原因として考えらには視覚効果を与えるセットの前に，あらかじめ視覚効果

れる．

の発生条件について説明を行った．各作業の 3 回目に使用

次に，作業 2 の箸を用いた試料の移動作業の考察を行う．

した左右の手を記録し，また，被験者の両手首に装着した

表 3 より視覚効果ありの場合には，10 人中 4 名が主に非利加速度センサの値を用いて非利き手の使用頻度が増加した

き手を用いて作業を行った．表 5 より，被験者全員が視覚か，評価を行う．

効果なしの際に利き手の加速度の標準偏差値が非利き手の© 2016 Information Processing Society of Japan121

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT014
2016/3/3

標準偏差値よりも大きいことが分かる．視覚効果ありの場

* ϯϬϬ
P
ϮϱϬ

差 ϮϬϬ
偏
の ϭϱϬ
値サ ϭϬϬ
ン ϱϬセ Ϭ
度 ϭ ϭϰ ϭϴ ϭϭϮ ϭϭϲ ϭϮϬ ϭϮϰ ϭϮϴ ϭϯϮ ϭϯϲ ϭϰϬ ϭϰϰ ϭϰϴ ϭϱϮ ϭϱϲ ϭϲϬ ϭϲϰ ϭϲϴ ϭϳϮ ϭϳϲ ϭϴϬ ϭϴϰ ϭϴϴ ϭϵϮ ϭϵϲ ϭϬϬ ϭϬϰ ϭϬϴ ϭϭϮ ϭϭϲ ϭϮϬ ϭϮϰ ϭϮϴ ϭϯϮ ϭϯϲ ϭϰϬ ϭϰϰ ϭϰϴ速ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ加ৎ৑ PV合，利き手で箸を把持し，試料を移動させた被験者 a，b，c，d，f，g についても表 5 より，利き手の標準偏差値が非利き手の標準偏差値よりも大きくなっている．箸を用いた試料の移動作業において視覚効果を与えられた際に非利き

* ϯϬϬ
P
ϮϱϬ

差 ϮϬϬ
偏
の ϭϱϬ
値 ϭϬϬ
サ ϱϬ
ンセ
度 Ϭ ϭ ϭϰ ϭϴ ϭϭϮ ϭϭϲ ϭϮϬ ϭϮϰ ϭϮϴ ϭϯϮ ϭϯϲ ϭϰϬ ϭϰϰ ϭϰϴ ϭϱϮ ϭϱϲ ϭϲϬ ϭϲϰ ϭϲϴ ϭϳϮ ϭϳϲ ϭϴϬ ϭϴϰ ϭϴϴ ϭϵϮ ϭϵϲ ϭϬϬ ϭϬϰ ϭϬϴ ϭϭϮ ϭϭϲ ϭϮϬ ϭϮϰ ϭϮϴ ϭϯϮ ϭϯϲ ϭϰϬ ϭϰϰ ϭϰϴ速ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ加ৎ৑ PV

手で箸を把持し，試料を移動させた被験者 e，h，i，j については，被験者 j のみ利き手である左手の加速度の標準偏差値が大きい．これは被験者 j が視覚効果ありの時，最初の試料のみを利き手である左手を用いて試料を運んだが，2 つ目の途中から箸を利き手から非利き手である右手に持

図 10

視覚効果なしの場合で作業 2 を行っている被験者 j の加速度
データ

上：右手

下：左手

ち替えて作業を続けたことが原因であると考えられる．初めの一つに時間がかかったため，非利き手に持ち替えた．
*
P ϯϬϬ
ϮϱϬ

その時の被験者 j の両手首に装着した加速度データの偏差

差偏
の ϮϬϬ
値 ϭϱϬ
サ ϭϬϬ
ン ϱϬ
セ Ϭ
度速 ϭ Ϭϭ ϵϭ ϴϮ ϳϯ ϲϰ ϱϱ ϰϲ ϯϳ Ϯϴ ϭϵ ϬϬ ϵϬ ϴϭ ϳϮ ϲϯ ϱϰ ϰϱ ϯϲ Ϯϳ ϭϴ Ϭϵ ϵϵ ϴϬ ϳ ϲ ϱ ϰ ϯ Ϯ ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰϮ ϯϮ ϰ ϲ ϴ Ϭ Ϯ ϰ ϲ ϴ Ϭ ϯ ϱ ϳ ϵ ϭ ϯ ϱ ϳ ϵ ϭ ϯ ϱ ϴ Ϭϭ ϮϮ ϰϯ ϲϰ ϴϱ Ϭϲ Ϯϳ ϰϴ ϲϴ ϴϵ ϭϬ ϯϭ ϱϭ ϭ ϭ ϭ ϭ Ϯ Ϯ Ϯ Ϯ Ϯ ϯ ϯ ϯ ϯ ϯ ϰ ϰ ϰ ϰ ϱ ϱ ϱ ϱ ϱ ϲ ϲ ϲ ϲ ϲ ϳ ϳ ϳ ϳ
ϳ
加
ৎ৑ PV

のグラフを図 10 と図 11 に示す．視覚効果なしの場合の図10 では，利き手である左手を用いて作業を行ったため，加速度のグラフの起伏が激しくなっている．しかし，図 11

*
P ϯϬϬ
ϮϱϬ

差
偏 ϮϬϬ
の値 ϭϱϬ
サ ϭϬϬ
ン ϱϬ
セ Ϭ
度 ϭϬϵϴϳϲϱϰϯϮϭϬϵϴϳϲϱϰϯϮϭϬϵϴϳϲϱϰϯϮϭϬϵϴϳϲϱϰ速ϭϮ ϯϮ ϰϭ ϲϮ ϴϯ Ϭϰ Ϯϱ ϰϲ ϲϳ ϴϴ Ϭϵ ϯϬ ϱϬ ϳϭ ϵϮ ϭϯ ϯϰ ϱϱ ϳϲ ϵϳ ϭϴ ϯϵ ϱϵ ϴϬ Ϭϭ ϮϮ ϰϯ ϲϰ ϴϱ Ϭϲ Ϯϳ ϰϴ ϲϴ ϴϵ ϭϬ ϯϭ ϱϭ ϭ ϭ ϭ ϭ Ϯ Ϯ Ϯ Ϯ Ϯ ϯ ϯ ϯ ϯ ϯ ϰ ϰ ϰ ϰ ϱ ϱ ϱ ϱ ϱ ϲ ϲ ϲ ϲ ϲ ϳ ϳ ϳ ϳ
ϳ
加
ৎ৑ PV

の視覚効果ありの場合，視覚効果により利き手が使いづら
くなり，非利き手を使用して作業を再開した．そのため，グラフの起伏が左手から右手に移ったようになっている．
本実験では左利きが 2 人いたが，2 人とも各作業において視覚効果ありの場合は非利き手を用いた．被験者本人は

図 11

視覚効果ありの場合で作業 2 を行っている被験者 j の加速度データ

右手で使う練習をした経験があり，被験者 i に視覚効果あ

上：右手

下：左手

りの作業において非利き手を用いた理由を聞くと，非利き手である左手を用いて箸を使う練習をした経験があるため，領域抽出の画像処理により，利き手に同じ色の手袋とアー非利き手である左手で作業を行ったと答えた．したがっ

ムカバーを装着することでユーザにリアルタイムで利き手て，非利き手で作業を行う練習を行った経験がある人は視を見えなくなる視覚効果を与え，非利き手の使用頻度を促覚効果により利き手周りが見えない場合，非利き手を用いすシステムを提案し，筆記作業および箸を用いた試料の移る可能性が高いと考えられる．しかし，普段は利き手のみ

動作業における非利き手の使用頻度の増加について議論ししか使用しないと答えたため，システムを用いることで非た．利き手が不可視になることで利き手の作業のしやすさ

利き手の使用を促すことができたと言える．以上より，筆が非利き手の場合よりも下がるため，非利き手の使用頻度

記作業においては被験者の非利き手の使用頻度は非利き手が増加すると考えられる．

を用いて作業を行っているため，システム未使用時と比較

今後の課題として，ユーザが手に何も装着しないようにすると増加していると言える．しかし，視覚効果を与えた

深度センサを用いた利き手認識システムを実装を行うこときの作業 2 においては 10 人中 4 人しか非利き手を用いと，視覚効果におけるユーザの危険性や不快感を最小限になかった．この原因として，被験者の感想から「手袋ではするために隠消現実感のシステムアップをすること，ビデ

滑るために物を持ちにくい」「手袋を着けると箸で試料をオシースルーにおけるリアルタイムの映像表示の遅延をで挟む感覚がわかりづらい」「手袋のサイズが合わない」な

きるだけ少なくすること，非利き手の使用頻度を加速度セ

どの手袋に関する問題点が挙げられた．今後の課題として

ンサから取得するために，センサの取り付け位置を考慮す

手に何も装着せずに利き手や腕を判別するアルゴリズムをること，ユーザに立体感や距離感を掴みやすくするために実装する必要がある．また，実時間と映像のズレによる動

HMD に web カメラを 2 つ搭載するなど，ユーザの視覚効

作のしづらさや映像内の物体との距離感が掴めないなどの果に以外における不快感を少なくすることなどが挙げられ問題点もあり，こちらについても今後の課題として改善する．本稿ではまた，利き手を見えなくする以外の視覚効果る必要がある．さらに被験者によっては視覚効果に慣れたや，視覚以外のフィードバックでシステムを提案し，非利ら利き手でも作業が可能かもしれないという意見もあるのき手の使用頻度が増加するかを比較実験を行う．

で，長期的な実験を行う必要性もある．

4. まとめ
本論文では，カメラを搭載した没入型 HMD を用いて色© 2016 Information Processing Society of Japan

謝辞

本研究の一部は，科学技術振興機構戦略的創造研究推進事業 (さきがけ) および科学技術振興機構研究成果
展開事業スーパークラスタプログラムによるものである．
ここに記して謝意を表す．

122

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

参考文献
[1]

[2]
[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]
[15]
[16]

[17]

[18]

[19]
[20]

左利きの割合-両利きマスターズ-,
http://www.doublehand-masters.com/left-hand/fact/ratio_lefty.html.
久保田競: 左右差の起源と脳, 朝倉書店, pp. 80–95 (Sep.
1991).
今泉和彦, 立屋敷かおる, 滝澤裕治, 村上晴久, 直原 幹: 利
き手投げと非利き手投げにおける投動作パターンおよび投距離の比較とその解析, 体力科學, Vol. 46, No. 2, pp.
161–177 (Apr. 1997).
立屋敷かおる, 杉田和彦, 今泉和彦: 箸およびスプーン使用
時の利き手と非利き手の比較と箸のトレーニング効果, 日本調理科学会誌, Vol. 38, No. 4, pp. 350–354 (Apr. 2005).
菅野大地: 視覚情報が利き手と非利き手の運動に与える影響, 岡山県立大学認知行動科学研究室卒業論文要旨,
http://www-cb.ss.oka-pu.ac.jp/grad.html.
E. A. Roy, and D. Elliott: Manual Asymmetries in
Aimed Movements, The Quarterly Journal of Experimental Psychology, Vol. 41, No. 3, pp. 501–516 (July
1988).
A. Lenhard, and J. Hoﬀmann: Constant Error in Aiming Movements without Visual Feedback is Higher in the
Preferred Hand, Laterality, Vol. 12, No. 3, pp. 227–238(June 2006).
バーチャルリアリティー技術を使って安全安価に訓練できる軍用スカイダイビングシミュ
レ ー タ, http://dailynewsagency.com/2011/03/07/
virtual-parachute/.
T.Jebara, C.Eyster, J.Weaver, T.Starner, andA.Pentland: Stochastics: Augmenting the Billiards
Experience with Probabilistic Vision and Wearable
Computers, Proc. of ISWC 1997, pp. 138–145 (Oct.
1997).
小林一彦, 石亀 忍, 加藤秀雄: 複合現実感技術を用いた手溶接訓練システム:保護面型 HMD と疑似溶接棒によるシミュレータ, 日本バーチャルリアリティ学会論文誌, Vol.
7, No. 2, pp. 211–218 (June 2002).
松井健人: HMD を用いた拡張現実における筆記支援シス
テム, 同志社大学知的システムデザイン研究室 第 160 回
月例発表会, pp. 1–2 (Dec. 2014).
藤塚哲也, 小林幸雄: 拡張現実を用いた毛筆学習支援シス
テムに関する研究, 千葉工業大学電気電子情報工学専攻卒
業研究論文 (Mar. 2014).
冨林 豊, 竹川佳成, 寺田努, 塚本昌彦: 装着型センサを用いたウェアラブル DJ システムの開発と実運用, 情報処理学会研究報告 2008-MUS-78, pp. 39–44 (July 2008).
Microsoft,
http://www.microsoft.com/en-us/
kinectforwindows/.
SoftKinetic, http://www.softkinetic.com/.
李 俊穆, 寺田 努, 塚本昌彦: 深度センサを用いたキーボー
ド上の手形状認識に基づくウィンドウ操作システムの提案, DICOMO 2014, pp. 108–114 (July 2014).
T. Lee, and T. Hollerer: Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip
Tracking, Proc. of ISWC 2007, pp. 83–90 (Oct. 2007).
小向啓文, 森 尚平, 柴田史久, 木村朝子, 田村秀行: 隠消
現実感における隠背景投影誤差の軽減 (2) -周辺参照領域の効果的利用-, 電子情報通信学会技術研究報告, Vol. 113,
No. 402, pp. 147–152 (Jan. 2014).
Adobe Photoshop, https://www.adobe.com/jp.
田. Mirkamali, and P. Nagabhushan: Object Removal by
Depth-wise Image Inpainting, Sign 中宙夫, 鎌田卓治, 森
江 隆: 光源の色情報を用いた影検出・除去, 情報科学技術フォーラム講演論文集, Vol. 8, No. 3, pp. 151–152 (Aug.
2009).

© 2016 Information Processing Society of Japan

16INT014
2016/3/3

[21]
[22]

[23]

[24]

S. Sal, Image and Video Processing, pp. 1–10 (July
2014).
清水直樹, 橋本昂宗, 植松裕子, 斎藤英雄: デプスカメラを用いたリアルタイム領域抽出による隠消現実感映像生成,
映像情報メディア学会誌, Vol. 66, No. 12, pp. 549–552(Nov. 2012).
本田俊博, 斎藤英雄: 複数のスマートフォンカメラの協調利用による実時間隠消現実感, 日本バーチャルリアリティ
学会論文誌, Vol. 17, No. 3, pp. 181–190 (Sep. 2012).
OpenCV, http://opencv.org/.

123