情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-72
2020/3/9

半側空間無視のための PA 療法支援システムの視界共有下における指示方法
永吉徹 1

藤井秋希良 1 藤村誠 1

東登志夫 1

概要：半側空間無視（unilateral spatial neglect; USN）という病症に対してプリズム順応療法は有効な治療法の一つである．我々は VR 技術を用いた PA 療法支援システムを提案しており，これは患者が HMD（HMD）を装着して VR 空間でリハビリテーションの課題を遂行し，医師が 2 次元モニターを通してその様子を確認するというものであった．患者は HMD を装着している間は現実空間を視認することが出来ないため，医師は患者に対して声で指示することになる．しかし，医師が患者とのリアルタイムの指示を行う場合，音声指示だけでは説明が困難な場合も考えられる.
本研究では HMD を装着した患者に対してリアルタイムに，より効果的に指示を出す方法として，医師も HMD を装着し仮想空間に入り，患者の視界を共有するシステムを検討した．医師は患者の視界を確認することができ，医師，患者それぞれの手に把持するコントローラに連動したカーソル間でリンクを表示した，リンク付きカーソルを用いた指示を提案する．評価実験では，リンク付きカーソルを用いた指示と音声のみの指示とで，カーソルをターゲットに接触させる課題達成までの時間を比較する評価実験を行った．その結果，医師が HMD を装着してリンク付きカーソルと音声で指示を出した方が，課題達成に要する時間が大幅に減少することがわかった．

1. はじめに時，2 次元ディスプレイには患者に提 a示されている仮想空

近年，VR 技術の医療分野での活用が盛んに研究されて察し，指示を行う．しかし，患者は装着した HMD によっおり，リハビリテーション医療分野でも研究，開発が行わて奥行き情報を持つ 3 次元空間を見ており，一方，医師はれている．半側空間無視（unilateral spatial neglect; USN）は脳卒中の後遺症の 1 つであり，損傷を受けた大脳半球の反間が表示されており，医師はそれを通して患者の様子を観

2 次元ディスプレイで患者の視界を観察しており，ターゲットに関する指示を行う場合に患者の視覚による認識とず対側の視空間認識ができないという病態である[1][2]．そのれるという問題がある．また，現実空間での PA 順応によ回復方法として期待されている一つがプリズム順応（prismるリハビリテーションでは，患者，医師とも同じ空間に同adaptation: PA）療法によるリハビリテーションであり，患時に存在しており，医師も横からであるが患者と同じ体感者にプリズム眼鏡を装着させ実際より左側を見ている状態をもって観察，指示が行えた．しかし，患者が 3 次元仮想に順応させる視覚フィードバックにより脳に刺激を与えて，空間におり，医師は現実空間にいるため，両者の体感に食左側空間の認識領域を拡張するというものである[2]．

い違いが生じる恐れがある．

この半側空間無視の評価法や治療法へ VR 技術を導入す

これらの問題点の解決法として，VR 技術を用いた PA 療る研究がいくつか報告されている[3]-[5]．文献[3]では，非法支援システムを用いてリハビリテーション療法を行う際没入型の VR 技術を導入し，患者に仮想ターゲットを提示に，医師が患者と同じ仮想空間に入ることで仮想空間内でし，患者の手の動きをキャプチャしターゲットを触ることの患者の振る舞いを観察できる．加えて，患者の視界を医で PA 療法を実現している．しかし，ターゲットの配置な師にも提示し共有できれば，従来の現実空間における PA 療

どに制限があり，十分な訓練を行うのは難しいと考えられ法では実現不可能であった新しい視点からの診断が可能にる．文献[4]では，仮想空間内に構築した街路において道路なるものと期待できる．

を横断する課題を行うことで，日常生活におけるリハビリ

視界共有および仮想空間内での指示については，多くのテーション訓練を安全に行っている．文献[5]は，没入型仮研究が報告されている[9]-[14]．文献[9][10]では，遠隔コミ想空間において 3 次元空間内での物体左端の認識を測定すュニケーションの支援を目的として，遠隔地のユーザ同士るシステムを提案している．

が手元の資料を参照する際に視界を相互共有する実時間遠PA 療法における，プリズム眼鏡の細かい偏角調整が困難

隔コミュニケーション支援システム（相互視界共有システであること，順応課題に用いるターゲット配置に手間がかム）を提案している．文献[11][12]は，心臓マッサージなどかるという問題解決のため，我々は USN に対する PA 療法を行う際に，現場の人間に対して遠隔地にいる専門家がネを仮想空間で実現した PA 療法支援システムを提案していットワークを介して動作を指導する場合に頭部に装着した

る[6]-[8]．この PA 療法支援システムは没入型仮想空間に構カメラ映像を互いに共有することで円滑な指示を可能とす築しており，患者が HMD を装着し，仮想空間内に提示さるものである．文献[13]では，ビデオシースルーHMD を用れるターゲットを手に把持しているコントローラのカーソ

いた視界共有によって，頭部装着カメラで撮影された手のルを接触させることでプリズム順応を誘発している．この映像などを複数人で共有することで手の動作などを円滑に

1 長崎大学© 2020 Information Processing Society of Japan1037

情報処理学会 インタラクション 2020
IPSJ Interaction 2020伝えることが可能である．文献[14]は，多数ユーザが装着するウェアラブルデバイス附属のカメラで撮影した映像を仮想空間に集めて共有することによって思考を補助するものである．今回提案する PA 療法システムの改良は，特に遠3P-72
2020/3/9

えられる．

3. VR 空間の視界共有による指示システム
3.1 従来の PA 療法支援システム

隔地間での患者と医師のコミュニケーションを想定しては

図 1 に我々が提案していた PA 療法支援システムにおけいないが，仮想空間内での医師から患者への指示および患る仮想空間内の構成を示す[6]-[8]．VR はその映像を三次元者の視界を共有することを目的とした場合，文献[9]-[12]にコンピュータグラフィックス（以下，3DCG と称する）で関連が大きいと考えられる．ただし，患者は USN の症状を構築しており，HMD を装着した人間は仮想空間内に配置もつため視界あるものすべてを認識していないため，医師された仮想カメラを通して映像を見る．この仮想カメラのから患者への指示については，より明示的な方法で行う必撮影方向を正面からずらすことにより，視野の角度を自由要がある．に変更することが可能になる．これにより，プリズム眼鏡以上のことを踏まえ，PA 療法支援システムに次のようなのように視野を屈折させる事が可能になる．また，仮想空改良を加えた．まず，患者と医師を同時に仮想空間のリハ間内には球や直方体といった形状のオブジェクトを容易にビリテーション環境に入ること．次に，患者の HMD に提配置する事が可能であり，球状のオブジェクトを一列に並示される視界を医師の HMD に提示し，視界共有を実現しべたものをターゲットとしている． PA 療法支援システム

た．最後に，仮想空間内で医師が患者に指示を行う場合に，のリハビリ手順についてだが，まず仮想カメラの撮影方向患者のコントローラカーソルに医師のコントローラカーソを任意の角度にずらす．次に，患者が仮想空間内で認識でルを視覚的にリンクさせ，仮想空間内での患者への指示がきるコントローラを右手に持ち，赤いターゲットまで移動明確になるようにした．

させてボタンを押す．右手と赤いターゲットが重なった状

本論文では，2．で関連研究，3．で提案する VR 技術を用いた PA 療法支援システムについて説明し，4．で評価実験結果および考察を述べる．最後に 5．でまとめを行う．

2. 関連研究

態でボタンを押すと，赤いターゲットが移り変わる．これを繰り返すことにより，プリズム順応が得られる．
図 2 は PA 療法支援システムのハードウェア構成図である．HMD を患者に装着させてプリズム順応課題に取り組んでもらうが，HMD を装着した状態のままでは現実空間

本研究と特に関連が大きい研究として，貴島らが提案しを見ることが不可能である．医者は 2D モニター越しにリた「実時間遠隔コミュニケーションを支援する相互視界共ハビリの様子を観察出来るが，HMD を装着した患者に対有システム」が挙げられる[9][10]．このシステムは遠隔地しての指示方法は声のみに限られるため，意思伝達が行いにいる人間同士が手元にある物体を見ながら会話を行う際づらい．そこで，患者だけでなく医者も HMD を装着し，に，視界を相互に共有することによりお互いが見ているも患者に対して VR 空間内で指示を出すシステムを検討する．のを伝えることが可能であり，自身の視界を撮影するフェイスマウントカメラと，相手の視界を確認するめがね型フェイスマウントディスプレイによって構成されている．共有された視界にはフェイスマウントカメラから得られた画像と手画像が合成されたものが映し出されており，これにより遠隔地にいても話題の対象となっている物体を視覚的に共有することを可能としている．貴島らは，2 人 1 組で実時間遠隔コミュニケーションを取りながら物を探すという評価実験を行った．音声のみのコミュニケーションの場
合と相互視界共有システムを用いたコミュニケーションの場合に分けて実験を行ったところ，相互視界共有システムを用いた場合の方が音声のみの場合と比較して，対象物体の形状が複雑であり，相手がその物体についての知識を有していない場合に特に有効であった．
これらの研究はお互いの視界内に常時情報を提示して

図 1

PA 療法支援システム指示を行うという方法であるが，本研究では USN 患者は視界全部が認識できるかどうかは不明であり，視界内に指示があっても認識できない可能性がある．そこで，視界外からでも指示の存在が分かるような方法が必要であると考© 2020 Information Processing Society of Japan1038

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-72
2020/3/9

間で同期することにより，視界の共有が可能となる．
また，USN 患者は HMD で提示されている映像については無視側の部分は認識できていない可能性が高い．このため，患者に医師の Touch コントローラカーソルを単に見せても気が付かない恐れがある．そこで，医師のカーソルの存在を強調するために，患者のカーソルに医師のカーソルからの協調色の矢印をつなぐことによって，患者は自分のカーソルにリンクしている矢印を見て，たどることで医師のカーソルを認識できるものと考えた．この両者のカーソルを矢印でつないだものを，リンク付きカーソルと呼ぶことにする．
なお，本研究は，患者と医師は同一の場所において，PA療法支援システムを使用することを想定しており，音声による指示や対話についても含めるものとする．
図 2

PA 療法支援システムのハード構成

3.2 視界共有と指示機能の導入
VR 診療支援システムでは，HMD として Oculus Rift[15]を使用し，入力デバイスとして Touch コントローラを使用していた．Touch コントローラは，患者自身の右手の位置を仮想空間内で認識するために用いられる．また，仮想空間における PA 療法環境の開発にはゲーム開発エンジンで図3

提案システム構成図ある Unity[16]を用いている．
本システムの改良は，まず，患者と医師の両者が HMD を

表 1装着し，患者の視界を医師に提示する視界共有を実現する．

同期するパラメータ

同期するパラメータリスト型

次に，仮想空間内で医師が患者に対して指示を出す機能を仮想カメラ座標

Vector3

検討する．

仮想カメラ回転値

Quaternion

視界共有は，患者の HMD の仮想空間内での座標およびコントローラ座標値

Vector3

姿勢情報を医師の HMD に渡すことで実現する．患者側

各種オブジェクト

GameObject

HMD を制御するコンピュータと医師側 HMD を制御するコンピュータはネットワークを介して接続され，同一の仮

図 4 にリンク付きカーソルの実行例を示す．これは仮想想空間を共有することとなる．また，患者と医師は両者と空間中において，医師と患者のそれぞれの Touch コントロも一つの Touch コントローラを把持しており，仮想空間内ーラのカーソル動詞が赤色の直線でリンクされている様子のカーソルに連動している．図 3 は，視界共有を導入したを描画したものである．この可視化されたリンクによって，PA 療法支援システムの構成図である．図中にあるサーバー

視界外に医師のカーソルがある場合でも患者は医師のカーは，リアルタイム同期用サーバーの Photon Network[17]であソルの存在を常時認識できる．

り，互いのコンピュータの仮想空間の各種パラメータの同期を可能とする．表 1 は今回同期するパラメータを示している．表中の仮想カメラは仮想空間上に存在する仮想カメラを指し，このカメラで撮影している仮想空間の景観がHMD を装着している人間に提示される．この仮想カメラの座標値は仮想空間中のであり，回転値はカメラの撮影方向を表している．この 2 つのパラメータがあれば HMD 装着者が仮想空間上のどこでどのような景色を見ているのかを求めることができる．コントローラ座標値は Touch コン
トローラの仮想空間内の位置を表しており，同座標位置に図4

リンク付きカーソルの実行例はカーソル（球状）が表示されている．各種オブジェクト
は，PA 療法に用いられる球状のターゲットの座標を表している．これらのパラメータを患者側と医師側の仮想空間の© 2020 Information Processing Society of Japan1039

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

4. 評価実験

3P-72
2020/3/9

ーゲットの Z 軸座標（奥行き）も変化させることで 3 次元的な配置となっている． なお，球状ターゲットの 2 次元配4.1 実験目的
本実験では，提案したリンク付きカーソルの有効性を検証する．HMD を装着した患者に対して，医師が HMD を装置ではターゲットの個数は 9 個，3 次元配置ではターゲッ
トの個数は 20 個である．

着せず 2 次元ディスプレイの表示を参照して音声のみで指示を行う実験条件 A の場合と，医師も HMD を装着し音声とともに仮想空間内においてリンク付きカーソルを用いて指示を出す実験条件 B の場合とで比較を行う．
図 5 に実験条件 B の場合の評価実験システムの全体像を示す．実験条件 B の場合については患者の視界を医師に提示した視界共有状態を想定している．ただし，実験条件 Aは，医師が 2 次元モニターを観察しながら患者に音声で指示を行う場合を想定しており，医師は HMD と Touch コン
トローラは用いずに患者の視界を 2 次元モニターで参照する．

図6

球状ターゲットの 2 次元配置

図 7 球状ターゲットの 3 次元配置

図5

評価実験システム

評価実験で実施する課題について説明する，まず，仮想空間にターゲットとして，複数の球状の 3DCG を配置する．
次に，医師がターゲットを 1 つ選び，患者に Touch コントローラを動かしてターゲットに触れるように指示する．次
いで，患者は指示された球の位置まで Touch コントローラ

4.2 実験条件
患者役の被験者は 20 歳前半の健常者 10 人（男性 9 人，女性 1 人）である．医師役はすべての実験を通して筆者の1 人が担当し，指示がばらつかないように留意した．
以下に評価実験の手順を示す．
（1） 患者役に HMD を装着し，右手に Touch コントロー
ラを持たせるを把持した右手を移動させる．最後に，指定されたターゲットとコントローラのカーソルの衝突が判定されれば，そ（2） 医師役は音声のみで患者役に指示を行う．
（医師役は2 次元モニター越しに患者役の視界を確認する．）の指示はクリアされたものとする．以上の，手順を何回か繰り返し，医師役の被験者が指示の説明に要した時間，患者役の被験者が指示の説明を聞いた後に，カーソルをターゲットに衝突させるまでの時間などを測定する．
なお，ターゲットの配置パターンは指示の難易度が異なる 2 通り用意し，1 つは図 6 ように球を規則的に 1 面分配置する．このターゲットのパターンでは，ターゲットの Z軸座標（奥行き）を固定しており，2 次元的な配置となっている．もう 1 つは図 7 ように球を不規則に配置する．タ© 2020 Information Processing Society of Japan⚫

図 6，図 7 の配置でそれぞれ 3 個のターゲットの指示を順次行い，患者役は指示がある度に右手をターゲットまで移動させる．なお，指示内容および指示ターゲットはすべての被験者役に対して同じである．患者役が医師役の指示を理解できなかった場合，または患者役が誤ったターゲットを選んだ場合，医師役は正しいターゲットを選ぶまで追加指示を行う．

（3） 医師役は HMD を装着し患者役の視界を共有する．

1040

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-72
2020/3/9

また，右手に Touch コントローラを持ち，音声とリンク付きカーソルを用いて患者に指示を行う．
⚫

図 6，図 7 の配置でそれぞれ 3 個のターゲットの指示を順次行い，患者役は指示がある度に右手をターゲットまで移動させる．なお，指示するターゲットは（2）とは異なる位置のものである．
ただし，指示内容および指示ターゲットはすべての被験者役に対して同じである．

⚫

（2）と同様の測定を行う．

（4） （1）から（3）を 10 人分行う．

図 9

4.3 実験結果患者役が要した時間[sec.]

図 9 は患者役が医師役の指示を聞き，右手の Touch コン

表 2 に評価実験の結果を示す．なお，実験結果は 10 人分トローラを動かしてカーソルをターゲットに接触させるまの測定データの平均値を取ったものである．なお，V2D おでに要した時間の 10 人分の平均値である．V2D，C2D，C3D

よび VD3 は，それぞれ球状ターゲットの 2 次元配置およには差が殆ど見られなかったが，V3D は他と比べて特に多び 3 次元配置での音声のみの指示の結果である．C2D およくの時間を要したことが分かる．

び C3D は，それぞれ球状ターゲットの 2 次元配置および 3次元配置において，音声とリンク付きカーソルによる指示を行った結果である．
表 2

評価実験の結果

医師役の指患者役の所全体の時間

示時間[sec.]

要時間[sec.][sec.]

V2D

2.30

1.96

4.25

V3D

5.51

11.3716.88

C2D0.841.25

2.09

C3D0.921.512.43

評価方法

図 10 合計時間
図 9 は，医師役の指示に要した時間と患者が要した時間の合計時間である．図 8 では目立っていた V2D であるが，全体の時間でみると大きな差とはならなかった．V3D が他と比べて非常に多くの時間を要する結果となった．

図 8 医師役の指示に要した時間[sec.]
図 8 は，医師役の指示に要した時間の 10 人分の平均値である．音声による指示は Touch コントローラを用いた指示と比較して，多くの時間を要したことがわかる．V2D とC2D を比較した場合でも 2 倍以上の差であり，V3D と C3Dを比較した場合は 5 倍以上もの差がついている．

図 11

V3D にて追加指示を行った回数

図 11 は，V3D において，追加指示を行った回数である．
横軸は患者役の番号を表しており，縦軸は追加指示の回数である．追加指示は，患者役が誤ったターゲットを選んだ
場合や医師役の説明に対して追加説明の要求があった場合© 2020 Information Processing Society of Japan1041

情報処理学会 インタラクション 2020
IPSJ Interaction 2020に行った．なお，V3D 以外では追加指示は生じなかった．
4.4 考察図 7 のような 3 次元的な配置に対して音声だけでターゲットを指示する場合，患者役が要した時間が大きい要因の一つとしては，球状ターゲットの配置にあると考えられる．
図 6 のような 2 次元的な球状ターゲット配置の場合，奥行き（Z 軸方向）を考慮する必要がなく，横（X 軸）と縦（Y軸）方向に関する情報があれば十分である．しかし，3 次
元的な球状ターゲット配置の場合は奥行き（Z 軸）に関する情報も必要になる．実際に V3D では図 11 に示されている通り，個人差はあるが追加指示が行われていたため，医師役と患者役とで意思疎通が容易ではなかったと考えられる．
一方，リンク付きカーソルを用いて指示を行った C3D の場合は，V3D の場合に比べて殆ど時間を要さなかった．音
声による指示とリンク付きカーソルによる指示の違いは，視覚的な情報の有無であり，音声と視覚という複数モーダルを用いた指示であるため，患者役の指示の遂行に要する時間が短かったという結果は妥当なものであると考えられる．また，患者役の被験者から視界外に医師役のカーソルがある場合であっても，カーソル間を矢印で表示しているリンク付きカーソルを使うことによって問題なく指示に気づくことができたとの感想が得られた．
今回の実験結果から，医師が患者と同じ仮想空間に入り，患者の視界を共有するにあたり，リンク付きカーソルを用いることで指示が容易になることがわかった．

5. まとめ本稿では VR 技術を用いた PA 療法支援システムにおいて，従来の患者のみが仮想空間の PA 療法環境で課題を遂行していたことに対して，医師も患者と同じ仮想空間に入り，患者視界の共有とリンク付きカーソルによる指示を導入することを提案した．健常者による評価実験の結果，視界共有を含め HMD による仮想空間において，リンク付きカーソルを用いることで視界外からの指示であっても，相手に気づかせることができ，医師の指示を短時間で患者に正確に伝えることが可能であることを示した．
今後の課題は，PA 療法支援システムにおける視界共有についての評価および USN 患者によるリンク付きカーソルの有効性の評価などである．

3P-72
2020/3/9[4] N. Katz, H. Ring, Y. Naveh, R. Kizony, U. Feintuch, P. L. Weiss,
Interactive virtual environment training for safe street crossing ofright hemisphere stroke patients with unilateral spatial neglect.
Disability and Rehabilitation. 2005 Oct 30; 27(20): 1235–1243.
[5] 萩原晨功, et al. 物体中心無視に対する没入型仮想現実による手がかり刺激呈示システムの使用経験. 脳科学とリハビリテーション, 2018, 18: 25-30.
[6] 藤井秋希良, 井上一輝, 藤村誠, 東登志夫.半側空間無視のためのプリズム順応療法の仮想現実への適用についての一検討.情報処理学会研究報告,2017.
[7] Akira Fujii, Makoto Fujimura and Toshio Higashi, Virtual
Environment of Prism Adaptation for Unilateral Spatial Neglect,
Proc. of 2018 IEEE 7th Global Conference on Consumer
Electronics (GCCE), pp.696-697, 2018.
[8] Makoto Fujimura, Akira Fujii, Higashi Toshio and Kazuya
Nakatomi, Problem of Pointing Target in Virtual Environment forPrism Adaptation, Proc. of 2019 IEEE 1st Global Conference onLife Sciences and Technologies (LifeTech2019) , pp.8-9 ,2019.
[9] 貴島茂雄, 加藤朋宏, 西川敦, 宮崎文夫.相互視界共有による実時間遠隔コミュニケーション支援システム,情処学インタ
ラクション 2004 論文集，2004.
[10] 西川敦，貴島茂雄，加藤朋宏，丸谷誠慶，山口哲，宮崎文夫，実時間遠隔コミュニケーションを支援する相互視界共有システム，信学会論文誌 D，Vol.J88-D1，No.2，pp.292-304，2005．
[11] Daisuke Kondo, Keitaro Kurosaki, Hiroyuki Iizuka, Hideyuki
Ando, and Taro Maeda. 2011. View sharing system for motion
transmission. In Proceedings of the 2nd Augmented Human
International Conference (AH '11). ACM, New York, NY, USA, ,Article 26 , 4 pages.
DOI=http://dx.doi.org/10.1145/1959826.1959852[12] Yuki Hashimoto, Daisuke Kondo, Tomoko Yonemura, Hiroyuki
Iizuka, Hideyuki Ando, and Taro Maeda. 2012. A video seethrough face mounted display for view sharing. In ACM
SIGGRAPH 2012 Posters (SIGGRAPH '12). ACM, New York, NY,USA, Article 115, 1 pages. DOI:
https://doi.org/10.1145/2342896.2343029[13] Shunichi Kasahara, Mitsuhito Ando, Kiyoshi Suganuma, and Jun
Rekimoto. 2016. Parallel eyes: exploring human capability andbehaviors with paralleled first person view sharing. In ACM
SIGGRAPH 2016 VR Village (SIGGRAPH '16). ACM, New York,NY, USA, Article 16, p.2. DOI:
https://doi.org/10.1145/2929490.2929495[14] Risa Kimura and Tatsuo Nakajima. 2018. Sharing Collective
Human's Eye Views for Stimulating Reflective Thinking. In
Proceedings of the 17th International Conference on Mobile andUbiquitous Multimedia (MUM 2018), Slim Abdennadher andFlorian Alt (Eds.). ACM, New York, NY, USA, 341-349. DOI:
https://doi.org/10.1145/3282894.3289724[15]“Oculus Rift”. https://www.oculus.com/rift/?locale=ja_JP,（参照2019-12-19）.
[16] “Unity”. https://unity.com/ja,
https://www.oculus.com/rift/?locale=ja_JP,（参照 2019-12-19）.
[17] “photon network”. https://www.photonengine.com/ja-JP/Photon,（参照 2019-12-19）.

参考文献
[1]

石合純夫. 半側空間無視へのアプローチ, 高次脳機能研究 28（3）, 2008, vol.247.
[2] 太田久晶. 半側空間無視に対するプリズム順応の臨床応用,
臨床神経学, 2018, 53（11）:p.1270-1272[3] Glover S, Castiello U. Recovering space in unilateral neglect: aneurological dissociation revealed by virtual reality. Journal ofCognitive Neuroscience 2006; 18:833–43.

© 2020 Information Processing Society of Japan1042