情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-29
2024/2/28

複合現実における場所にとらわれない生活行動に基づく認知リハビリテーションシステムの検討
吉田 瑞生1,a)

大井 翔1,b)

概要：本論文では，現実空間中に 3D オブジェクトをおく MR を用いた高次脳機能障害におけるリハビリテーションが有意であるかを検証する事前段階としてシステムが機能することを確認し修正点や改善点を得ることを目的とする．高次脳機能障害の訓練の 1 つに生活訓練があり，そのなかでも調理に焦点を当てる．MR を用いた調理訓練を行うことで現実空間かつ安全で再現性があり，VR のものと比べより意義のある体験になる．

1. はじめに交通事故などによる脳外傷や脳出血などの外的要因によって脳が部分的に損傷を受けたためにおこる障害のことを高次脳機能障害という．高次脳機能障害では注意障害・遂行機能障害・記憶障害・社会的行動障害などの症状がある．高次脳機能障害の主な症状について以下の表 1 に示す [1]．
注意障害は注意力や集中力が低下し作業にミスが多くなることや長時間の作業が難しくなる．記憶障害は新しいことが覚えにくく以前のことも思い出しにくくなり約束を破ることや同じ質問を何度もしてしまうことがある．遂行機能障害は仕事の内容を整理することや計画することなどが難しくなるため行き当たりばったりの行動が多くなり優先順位を決められなくなり 1 つ 1 つ指示されないと行動に移せないようになる．高次脳機能障害はどれか 1 つだけが起こるということではなく重複して起こることが多い [2]．

図 1

神経心理ピラミッド

ニューヨーク大学の Rusk 研究所では後天性脳損傷による高次脳機能障害を神経心理ピラミッドと呼ばれる独自の方法でまとめている [3]．以下の図 1 に示す．

平成 20 年（2008 年）に東京都で行われた調査によると，東京都内での高次脳機能障害者数は 49,508 人と推定され，重度の高次脳機能障害を持つ方が障害を完治させてこれそこから全国の高次脳機能障害者数は約 50 万人とある [1]．

までのように日常生活を送ることは難しい．しかし軽度な他の推計によっては約 27 万人ともいわれており，日常生障害であればリハビリテーションなどで進行を遅らせるこ活の中で症状が多く現れるが、外見からは障害がわかりにとや少しずつ快復させることは可能と言われている．リハ

くいことが多いといわれている [4]．

ビリテーションにも様々な方法が存在するが近年では仮想

高次脳機能障害を対象とした認知リハビリテーションで現実 (Virtual Reality:VR) によるリハビリテーションが注は鹿島らの研究 [5] がある．この研究では記憶や注意機能目されている．に障害を持たれている方へのリハビリテーションの妥当性や有効性の検討をされており，記憶障害に対するリハビリ1a)b)

大阪工業大学
mizuki.yoshida@mix-lab.net
sho.ooi@outlook.jp© 2024 Information Processing Society of Japan

テーションとしては領域特異的な知識の学習やメタ認知の改善がいいとされており記憶機能障害に対するリハビリ

754

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-292024/2/28表 1

高次脳機能障害の主な症状 [1]

1

注意障害

(例：すぐに飽きるなど)

2

遂行機能障害(例：一日の予定を立てられない)

3

記憶障害

(例：数日前の出来事を思い出せない)4

失語症(例：言葉がうまく話せない，理解できない)

5

半側空間無視(例：おかずの左半分を残す)

6

地誌的障害

(例：よく道に迷う)7

失認症(例：櫛を見ても何に使うのかわからない)

8

半側身体失認(例：麻痺している上下肢に注意が払われない)9

失行症(例：お茶の入れ方を忘れてしまった)10

行動と感情の障害

ⅰ 抑うつ状態(例：気分が落ち込みがち，引きこもり)

ⅱ 幻覚妄想(例：現実はないものが見える，聞こえる)ⅲ 興奮状態(例：ささいなことで興奮する)

ⅳ 意欲の障害(例：やる気がない)

ⅴ 情動の障害(例：暴言，暴力，衝動的)

ⅵ 不安(例：心配ばかりしている，何かに怖がっている)ⅶ その他

テーションとしては直接刺激療法がよいと示されている．
岡橋らの研究 [6] では VR リハビリテーションの利点として，従来のリハビリテーションでは日常生活の環境などから難易度を設定することは難しくその点 VR では容易に変更できる点などが挙げられている．しかし，VR では実際に見るのではなくビデオを通して見ることや操作にコントローラを用いるため慣れがないと上手く操作ができないため現実感が薄れてしまうと考えられる．さらにリ
ハビリテーションプログラムでは定量的な Primary KeyIndicators(PKIs) と Temporal Key Events(TKEs) を使用

図 2

VxReha 概要図

することでリハビリテーションプログラムの評価と指導が可能であること示している [7]．VR での現実感，没入感がが自立している確率が 50 ％を下回っていることから特に薄れてしまうことへの解決策としてシースルー型ヘッド「買い物」に焦点を当て検査・評価する VR システムを開

マウントディスプレイを用い，ビデオ型とコントローラな発し，高次脳機能障害者における VR 検査成績としては測どの操作ではなく，手の動きや音声入力を用いてリハビリ定された数値の複数の項目で有意な差が見られ，注意や記テーションを行う手法を提案する．本論文で行う訓練の内憶障害を持つ高次脳機能障害者の能力評価に適応できるこ

容は生活訓練の 1 つである調理のシミュレーションによるとが示唆されている．原の研究 [8] では VR によるリハビ訓練である．高次脳機能障害者のなかでも主に注意，記憶，リテーションは既存のリハビリテーション手法を単に模倣遂行機能障害に焦点を当てる．本研究では MR を用いた場するだけと述べており座位での認知・歩行 (姿勢) などに同所にとらわれない，複合現実を用いる高次機能障害者に対時にアプローチできるという VR リハビリテーションによする認知リハビリテーションシステムを作成することを目る利点が示されている．

的とする．

調理訓練を用いたリハビリテーションの先行研究として本論文で提案する MR 認知リハビリテーションシステ

大井らが行った高次脳機能障害者に向けた調理行動によるム (以下 VxReha とする) の概要図を以下の図 2 に示す．

認知リハビリテーションの研究 [9] がある．この研究ではVxReha とは Virtual X Rehabilitation, 仮想現実とリハビ

調理を用いた体験の後に教師映像と自身の録画映像を見なリテーションを掛け合わした xR 技術を用いたリハビリ

がら客観的に自身の行動を見直すことで工夫・失敗・行動テーションなどの意味から”VxReha”と命名した．の危険さに気づくことが示唆されており，調理を題材とし

2. 関連研究た訓練は多く行われており多くの例で調理を用いたリハビリテーションを行うことは高次脳機能障害者に対する認知岡橋らの研究 [6] では日常生活場面に即した総合的な高リハビリテーションに有効であると示されている．

次脳機能を「買い物」
・「近所付き合い」
・「金銭管理」
・「銀行上記二つを組み合わせた実験として岩崎らが行った VRや役所での用事」の４項目で手段的日常生活活動（IADL）を用いた高次脳機能障害における認知機能検査アプリケー© 2024 Information Processing Society of Japan755

情報処理学会 インタラクション 2024
IPSJ Interaction 20242B-29
2024/2/28

ションの開発の研究 [10] がある．この研究では VR を用されたオブジェクトに対しアクションを行っていく．まずいた高次脳機能障害者に対する生活行動に基づくリハビリ

空間上に机，まな板，包丁や鍋・食材の調理道具が表示さテーションが行われており調理・片付け・来客対応などをれる．

行うことでリハビリテーションとしており，これらのリハ

訓練内容は調理訓練を行う. 関連研究の大井らの研究 [9]ビリテーションが高次脳機能障害者に対する認知リハビリの他にも池ヶ谷らの研究 [12] がありこの研究ではレシピ分テーションに有効であると示されている．

析・手の動作・調理器具認識の情報からヘッドマウントカ

Louis の研究 [11] ではコンピュータソフトウェアや身体メラを使用した１人称視点の調理行動の認識手法を提案し活動プログラムによって認知的刺激を与えることは一時的ている．これらの研究より訓練内容を調理訓練とする．訓に認知機能を高め，現実の生活場面でも役立つ可能性があ

練内容は岩崎らの研究 [10] で行われている調理を基に訓練ると示しており，他にも日常生活の中には運動や認知的刺を行う．具体的な内容としては包丁を用いて食材を切る動激に定期的に取り組むなど脳の可塑性を誘発するのに適し作とフライパンや鍋での加熱調理を想定する．まな板の上た行動があると示している．にある食材を包丁で切り，切った食材をフライパンの上に以上の研究から調理行動は認知リハビリテーションに有乗せる．コンロ下部に押しボタンにより ON/OFF を切り効であり，高次脳機能に VR 検査を用いることが有意であ

替え ON の状態では赤色で，OFF の状態では白色でコンるため VR と比べ現実感が高くなる MR を用いた訓練シス

ロ上部とボタンの部分を表示しフライパンなどをコンロとテムを用いた場合に有意であるのか本研究では検証する．

接触させることによって過熱を再現する．加熱の時間経過によってフライパンなどの状態を変化させる．フライパン

3. 提案手法

では豆腐を焼くのだが焼き始めて 50 秒後には茶色にさらに 60 秒後には黒に変わる．鍋ではコーンスープを茹で始

3.1 VxReha の概要使用機材として HoloLens2，PC, ケーブルを用いる．

めて 30 秒後には白紙煙さらに 10 秒後には黒い煙という風

HoloLens2 は VxReha を使用する際に用いる HMD であに遷移させ，その間にコーンスープを混ぜる動作を必用化

る．HoloLens2 のハンドトラッキングなどの技術を用いさせ，リハビリテーション中にアラームを鳴らし聴覚によてリハビリテーションを行う．PC はシステムを動かし，るノイズを生じさせることで注意機能の訓練を行う．これHoloLens2 の画面をミラーリングし画面録画をすることでらの動作を同時に行い感性タイミングを同時にするという録画を見ながらリハビリテーション終了後フィートバッ義務を与えることにより遂行機能の訓練を行う．評価としクを行うために用いる．ケーブルはシステムを動かす際にては調理したものに火が通っていないことや焦げているこデータ転送用として用いる．VxReha の映像を以下の図 3と，切る動作中もう一つの手で食材を抑えていない，包丁に示す．

が包丁を持っていない手に触れてしまっていることなどをシステムを起動させテーブルなどの平面の前に立ち，平面を検出したらその点をタップする．タップした点を中心減点対象とする．システムのステートチャートを以下の図4 に記す．に調理スペースができる．その後に実際の調理動作と同様の調理訓練を開始する．本システムの開発には，UnityEngine を用いる．

図 4

VxReha のステートチャート

4. 実験
図 3

VxReha の映像

本論文での実験は健常者 3 名に対して実験を行う．実験
内容としては VxReha を用いた認知リハビリテーションを行い，制限時間は 1 回当たり 10 分〜15 分としている．体3.2 VxReha の提案手法
提案手法としては HoloLens2 にて VxReha 起動後投影© 2024 Information Processing Society of Japan

験終了後に VxReha の使用感に対するアンケートを 5 段階のリッカート尺度を用いて行い，評価項目①操作方法に違756

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-29
2024/2/28

表 2和感がについては，「1：とてもあった」「2：あった」「3：アンケート結果どちらでもない」「4：あまりなかった」「5：なかった」
，評

評価項目

12345

価項目②実験中に酔いがについては，「1：とてもあった」①操作方法に違和感が0

1200「2：あった」「3：どちらでもない」「4：あまりなかった」②実験中に酔いが00

102「5：なかった」，評価項目③システム中のノイズをについ③システム中のノイズを

1

00

1

1

④操作方法が直感的に

1

2000ては，「1：とても感じた」「2：感じた」「3：どちらでもない」「4：あまり感じなかった」「5：感じなかった」，評価
項目④操作方法が直感的にについては，「1：分からなかった」「2：あまり分からなかった」「3：どちらでもない」「4：の操作を統一化させる必要があると考えられる，実験中のわかった」「5：よくわかった」本アンケートは実際に高次

酔いに関してはアンケート②実験中の酔いがより VR とは脳機能障害者に対する実験を行う際の修正点，改善点を得違い実空間が見えていることが理由と考えられる．システることを目的とする．実験の様子を以下の図 5 に示す．

ム外からのノイズはアンケート③システム中のノイズがより気にならない人の方が多く，本稿における実験では音を用いたが視覚的にどれだけノイズを作れるかが注意機能に対するアプローチにつながると考えられる．

5.3 今後の展望
今後の展望では考察より操作方法を統一化し，システム外で起こすノイズとして正面から光を当てるなど視覚的またはポケットに携帯を持たせその携帯に通知を送ることで振動させ触覚的にもノイズを加えるなどで注意機能を阻害するものを追加する．
謝辞 本研究の一部は，JSPS KAKENHI Grant Number

JP19K20750 の支援を受けた．
図 5

実験の様子

参考文献
[1]

この実験は大阪工業大学ライフサイエンス実験委員会の審査 (2021-45-2) に基づき実施している[2]

5. 結果と考察[3]

5.1 結果アンケート結果を以下の表 2 に示す．表の数値はそれぞれの評価項目の評価を選んだ人数である．アンケート結果[4]から操作方法に関する 2 項目ではどちらも評価が悪くなった．実験中に HMD による酔いに関しては評価は高くなっている．システム以外のノイズを感じたかという質問では[5]

とても感じた人もいたが感じない場合の方が多くあった．
自由記述欄ではポインターがオブジェクトからある程度離[6]

れていないと反応しないことに違和感を感じたという意見
やシステムの操作に慣れてしまえば簡単だったのでもう一つほど調理過程を作ったらよいと思いますといった意見が[7]あった．

5.2 考察結果より操作方法に関してはアンケート①操作方法に違和感が，④操作方法が直感的に，自由記述から理由はコンロの操作が他の操作と異なる点が原因と考えられ操作を他© 2024 Information Processing Society of Japan[8]

山口武兼, 橋本圭司, 猪口雄二, 菅原誠 : 東京都における高次脳機能障害者総数の推計渡邉修 日本リハビリテーショ
ン医学会誌 46(2) 118-125 2009.
「 高 次 機 能 障 害 」を ご 存 じ で す か ？ 沖 縄 県 入 手先 ⟨https://www.pref.okinawa.jp/site/kodomo /shogaifukushi/old/23507.html⟩(2023.07.24).
神 奈 川 県 総 合 リ ハ ビ リ テ ー シ ョ ン セ ン タ ー: 第 6
回 「Rusk 研 究 所 の 神 経 心 理 ピ ラ ミ ッ ド 」入 手 先⟨https://www.chiiki-shien-hp.kanagawa-rehab.or.jp/wpcontent/uploads/sites/3/2019/05/koujinour eha7 .pdf ⟩整備が進む「高次脳機能障害」支援〜誰もが自分らしく暮らし続けられるような社会的支援の充実を〜入手先⟨https://www.dlri.co.jp/report/ld/197005.html)⟩(2023.0731）
鹿島晴雄，加藤元一郎，本田哲三：認知リハビリテーショ
ン 神経心理学 13；184 − 189，1997
岡橋さやか，関啓子， 長野明紀，種村留美，小嶌麻木，羅志偉: バーチャルリアリティ技術を用いた買い物課題による高次脳機能検査の開発高次脳機能研究 第 32 巻 第 2 号
pp. 302-311 2012.
Paolo Mosna，Stefano E. Lenzi，Stefano Lazzarini，Massimiliano Gobbo Monica Angelini，Riccardo Buraschi Stefano Negrini，Maddalena Fabbri Destro Pietro Avanzini，
Giacomo Rizzolatti，Nicola F. Lopomo ”An Integrated
Rehabilitation Platform Based on Action，bservation
Therapy，Mixed Reality and Wearable Technologies”
ICNR Converging Clinical and Engineering Research on
Neurorehabilitation IV 2020 pp 239 ‒ 244
原正彦：VR を活用したリハビリテーション，medicina ,Vol.58 No.6 2021-5757

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[9]

[10]

[11]
[12]

2B-29
2024/2/28

大井翔，佐野睦夫，渋谷咲月，水野翔太，大出道子，中山佳代：高次脳機能障害者の自立に向けた調理行動振り返り支援システムに基づく認知リハビリテーション認知リ
ハビリテーション Vol.20 No.1 2015
岩崎寛太，大井翔，鈴木基之，佐野睦夫：VR を用いた高次脳機能障害における認知機能検査アプリケーションの開発，Vol.2023-ASD-26 No.5，2023.
Cognitive plasticity in older adults:eﬀects of cognitive
training and physical exercise Vol. 1337.
池ヶ谷 剛，大井 翔，佐野 睦夫：調理器具認識とレシピ分
析に基づく認知リハビリテーションのための一人称による調理動作行動， 第 78 回全国大会講演論文集, 2016

© 2024 Information Processing Society of Japan758