情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1P09
2018/3/5

仮想空間における片づけ行動の振り返りによる認知トレーニングシステム
佐野睦夫†1 辻村拓実†１ 大井翔†2 田渕肇†3 斎藤文恵†3 梅田聡†4
概要：認知症・軽度認知障害や高次脳機能障害者などの認知障害者が増加する中で，認知症予防やリハビリテーションにおいて，日常生活の質を向上させるため，調理や片づけなどの生活行動に基づく認知トレーニングの必要性が増してきている．ここで，認知トレーニングを円滑に進めていくためには，病識の改善が不可欠である．我々は，認知機能をリアルタイムで評価しながら，体験映像から気づきを発現させる振り返り支援による認知リハビリテーションの研究を推進している．しかしながら，認知トレーニング空間には制約があるため，空間を症状に応じて拡張できる機能が求められている．本論文では，生活行動として，片づけ行動を採り上げ，仮想空間における片づけ行動の振り返りによる認知トレーニングシステムを提案するとともに，既存の認知トレーニング手法と対比し，提案する認知トレーニングシステムの検証を行う．

A VR Cognitive Training System based on Behavior Reflection
for Cleaning Task
MUTSUO SANO†1 TAKUMI TSUJIMURA†1SHO OOI†2†3†3
HAJIME TABUCHI
FUMIE SAITOSATOSHI UMEDA†4Abstract: The number of cognitive disabled persons such as dementia / mild cognitive impairment patients and higher brain
dysfunction people has increased gradually. Then, a cognitive training based on ADL such as cooking and cleaning has beennavigated in order to improve a quality of life. It is necessary to improve an awareness of being ill to make a cognitive training
smoothly. We have studied a cognitive rehabilitation based on reflection supporting which can make an awareness develop fromexperienced video through evaluating cognitive functions in real-time. However, its cognitive training space is restricted. So it isrequired to have its training space extend according to disease symptoms. This paper proposes a cognitive training system basedon behavior reflection for cleaning task in a virtual space. In addition, the effectiveness of the proposed system is verified throughcomparing with conventional cognitive training approaches.

1. はじめにへの気づきを定着させるためには，行動の振り返りの中で，障害行動に対する客観的なエビデンスとともに，体験映像認知症・軽度認知障害や高次脳機能障害などの認知障害を提示し，体験的気づきを発現させることが重要となる[5]．

者が増加する中で，認知症予防やリハビリテーションにおしかしながら，現状では，客観的認知指標としては，紙面いて，日常生活の質を向上させるため，調理や片づけなどや簡単な道具を用いた認知機能検査[6][7]を定期的に実施の生活行動に基づく認知トレーニングの必要性が増してきしているだけで，障害が起因する行動をタイムリーに捉えている[1][2]．我々は，注意障害・記憶障害・遂行機能障害ることができていない．同時に，その場面を追体験し，改などの障害に応じた調理ナビゲーション支援システムの研善を促すことも困難である．我々は，生活行動に対する認究を通して，生活行動に密着した認知リハビリテーション

知機能をリアルタイムで評価しながら，体験映像から気づや認知トレーニングシステムの在り方を現場のリハビリ担きを発現させる振り返り支援による認知リハビリテーショ

当者とともに追求してきた[3][4]．

ンの研究を推進している[5][8]．

この中で，認知リハビリテーションや認知トレーニング

同時に，認知リハビリテーションや認知トレーニングをを円滑に進めていくためには，病識（自己の障害へ意識）障害に応じて効率的に進めていくためには，障害に応じての改善が不可欠であることがわかってきた[5]．自己の障害段階的な課題設定を行える必要がある．しかしながら，日†1 大阪工業大学 情報科学部
Osaka Institute of Technology, Faculty of Information Science andTechnology†2 大阪工業大学大学院 情報科学研究科
Osaka Institute of Technology, Graduate of Information Science andTechnology†3 慶應義塾大学医学部精神・神経科学教室
Keio University School of Medicine Neuropsychiatry†4 慶應義塾大学文学部心理学教室
Keio University Faculty of Letters Psychology© 2018 Information Processing Society of Japan

常生活に対して段階的に課題設定をすることは物理的に困難になることが多い．
本論文では，日常生活の中の片づけ行動に着目し，効果的に生活行動 VR 空間を設定し，リハビリテーションやトレーニングの難易度に応じ，適切なアイテムを設定・追加・削減することにより，認知機能に合わせた段階的な日常生

481

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1P09
2018/3/5

活における振り返り認知リハビリテーション・認知トレー

づけ行動をリアルタイムでモニタリングし，難易度を容易ニング方式を提案する．同時に，認知能力向上の観点から，に調整可能な認知リハビリテーション支援／認知トレーニその有効性を検証する．

ング支援システムを提案する．本提案システムは，認知障

2. 片付け行動に対する認知機能と測定の課題

害者に対する認知リハビリテーション支援システムとしても位置付けることは可能であるが，実験過程において健常

片づけ行動は，効率的な行動を発見し，動作の系列を組者に対する認知機能のトレーニング向上の効果を検証するみ立てる能力が要求される．これは認知機能の中で，遂行ことから，本論文では，以下，認知トレーニングシステム機能に該当する．遂行機能は，脳機能の中で，注意機能，という用語で統一する．

記憶機能を統合した高次脳機能であり，幅広い認知機能が必要となる．知覚－＞同期－＞競合スケジューリング－＞
スキーマ選択が大きな流れであり，スキーマ選択した結果

3. 仮想空間（VR）片付け行動振り返り認知トレーニングシステム

は同期機構にフィードバックされ，再スケジューリングが片づけ行動に対して，仮想空間の中で，リアルタイムに行われる．競合スケジューリングは，注意制御システムと行動モニタリングを行い，振り返りインタラクションを通連動しており，時分割で動作がスイッチングされる．また，して，認知機能の向上を図るトレーニング方式を提案する

スケジューリングやスキーマ選択，注意制御システムなど（図 1）．

至るところにおいて，作動記憶（ワーキングメモリ）が関

3.1 認知機能プロフィールに基づく片づけ仮想空間の生与しており，ワーキングメモリが少ないと遂行機能は大き成く低下する．

部屋の種類や片づけ対象数，片づけルールなど，認知機遂行機能を測定する検査バッテリとして，Wilson らによ能プロフィールなどに従って，図 2（3 人称視点），図 3（一る BADS （ Behavioural Assessment of the Dysexecutive人称視点）に示すような片づけ仮想空間を生成させる．片Syndrome）[6]が提案されており，鹿島らが日本語版を提案

づけ対象の位置は，その都度ランダムに設定され，毎回，し[7]，国内のリハビリ施設で用いられている．BADS には，散らかった新しい状態を生成させる．図 4 に机の片づけシ

6 つの検査項目（規則変換カード検査，行為計画検査，鍵探し検査，時間判断検査，動物園地図検査，修正 6 要素検査）がある．藤田ら[9]は，片づけ行動を，７種類の作業課
題（掃除機で指定した枠に対して床を掃除／雑巾がけ４か所／本を本棚に種類に分けて入れる／服を畳み収納ケースにしまう．ジャケットとコートはハンガーにかける／写真
立を指定の場所に飾る／ゴミを分けてごみ箱に捨てる／テレビをつけて１０分後に消す）として捉え，軽度アルツハ
イマー患者と健常者に対して，時間を制限し，７種類の作業課題と BADS の比較を行い，遂行機能評価の一手段となり得ることを示した．同時に，BADS は，難易度が高く，検査時間も多く必要となることから，７種類の作業課題の方が軽度アルツハイマー患者には難易度が適していることを示唆した．藤田らの作業課題においては，検査者が VTRから，遂行した動作や掃除機をかけた軌跡などを手動でチェックしており，遂行機能の測定に大きな人的コストを必要とする．同時に，大きな実作業空間のリソースを必要と

図 1 提案システム
Figure 1

The Proposed System

し，手軽に行えるものではない．さらに，症状に応じて，作業内容を変更するにも大きなコストを要する課題がある．
我々は，簡単な片づけ課題を設定し，画像認識によるリア
ルタイムモニタリングにより認知機能評価[10]をしたり，実生活の認知機能評価を推進するために調理行動や掃除行動に対してリアルタイム行動モニタリングを行う研究[11]を並行で行っている．しかし，対象とする生活行動環境を柔軟に変更することは難しい．本研究では，このような課題に対して，片づけ行動に着目し，仮想空間において，片© 2018 Information Processing Society of Japan

図 2 散らかった状態の発生シーン（空中散布中）
Figure 2

A Messy Daily Commodities

482情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1P09
2018/3/5

テムに基づき，リアルタイムに行動モニタリングを行う．
仮想空間での日常物品の操作履歴は，接触判定を介して，ハンドデバイスでの ON/OFF 検出により獲得する．これらの取得データにより，移動軌跡を求めることが可能となる．
3.4 認知行動評価方式
評価方式は，各片づけ場所への片づけ忘れや片づけ間違
図 3 一人称視点の初期画面
Figure 3

Initial Screen of 1st Vision

いが生じた場合は，その都度減点する（図 6）．無駄な動きがしきい値以上超えた場合も減点対象とする．減点が全くない場合は 100 点満点とする．
3.5 振り返りインタラクション
図 7 に示すように，3 人称視点体験映像を介して追体験を行い，認知機能評価結果や移動軌跡を提示することにより，振り返りインタラクションを行う．この振り返りにより，自らの動きの無駄や良かった所を体験映像から視覚的

図 4 机の片づけのシーン
Figure 4

A Scene of Cleaning up on the Deskに認識することができる．同時に，スコア画面に表示された最終結果と項目ごとの減点数が提示され，その項目がな
ぜ減点されているか，気づきを誘発させる仕組みを実現している．このような振り返りインタラクションを通じて，ーンの例を示す．
3.2 認知機能モデルと認知機能プロフィールに基づく片づけルール生成
遂行機能における再スケジューリング能力のチェックを行うために，片づけ途中でルールがランダムに追加・変更させる規則変換の考え方を導入する．
・筆記用具は入れ物に全て種類が違うように片づける・筆記用具は入れ物に全て色が違うように片づける・筆記用具は入れ物に色を揃えて片づける
また，指定されない片づけ対象は，片づけ空間の状態を気づきを次回のトレーニングに活かすことにより，トレーニング効果を高めることが期待される．ここで，３人称体
験映像のユーザの位置・姿勢は，頭部位置・傾きと手の位置・傾きの関係性から骨格位置を，逆動力学計算を介して推定することにより得ることができる．

4. 仮想空間（VR）片付け行動振り返り認知トレーニングシステム
4.1 実験条件
提案システムの有効性を検証するために，維持するように片付ける．例えば，同じ色で整列されている場合はその状態を変更しないようにする必要がある．
例：・図 5 に示すように，本は色別に番号順に並ぶように，適切に空いた箇所に挿入する．（明示はしない）
3.3 行動モニタリング方式
行動環境に設置された複数の赤外線センサから HMD（ヘッドマウントディスプレイ）（頭部）やハンドデバイス（手）の３次元位置を同定可能で，HMD やハンドデバイスに搭載された加速度センサやジャイロセンサデータから顔の向き手の向きを推定できる典型的な仮想（VR）空間提示シス

図6
Figure 6

認知行動評価結果の例

A Result of Cognitive Behavior Evaluation

図 7 移動軌跡を重畳させた体験映像（3 人称視点）
図 5 本棚の片づけ先のシーン
Figure 5

Figure 7

An Experience Video overlayed by Movement
Trajectory ( 3rd Vision)

A Scene of Book Shelf© 2018 Information Processing Society of Japan483

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1P092018/3/5

A グループ：従来の定型的な Web 認知トレーニング

でレベルが 1 つ上昇し，20％以下であればレベルが 1 つ低

B グループ：振り返りなしの提案システム

下する．レベルが上がるごとに，比較する図形は 2 個前，C グループ：振り返りありの提案システム

3 個前と変化していく．の３群に分けて，トレーニング効果に関する評価実験を行・Roulette Bingo Training Test

った．後述するが，Web 認知トレーニングは，提案システ

図 10 に示すように，星マークがある場所に円の赤い部ムの効果を測定するテストとしても位置付けている．

分が揃った時に決定ボタンを選択するテストである．テス＜Web 認知トレーニング＞

トは，円の数が 2，分割数が 4，回転速度が 1 秒間隔をレベ

BADS などの遂行機能テストは拘束時間のコストが大き

ル 1 とし，レベルが上昇するごとに円の数が 3，分割数がくユーザへの負荷が大きくなることから，遂行機能の各構4 といったように各要素が変化する．5 回で 1 セットとし，成要素に大きな影響を与えるワークキングメモリ（WM）

正解率が 80％以上でレベルが上昇し，20％以下でレベルがに関する認知トレーニングを行うこととした．本 WM トレ低下する．

ーニングは，我々が独自に開発した４種類のテストであり，・Goal Neglect Training Test

健常者の WM に強く働きかけ，レベルを簡単に上げること

図 11 に示すように，指示された□の中の矢印と同じ方向が難しいものも含まれている．のボタンを選択するテストで，「‐」が出てきたら反対の□・Digit Span Training Testの中のボタンを選択するという変化がある．テストは，矢図 8 に示すように，表示される数字を順番に覚える．テ印の出現速度 1.5 秒，「‐」の切り替わり頻度少をレベル 1

ストは 5 回で 1 セットとし，覚える個数はレベルごとに変とし，レベルが上昇するごとに出現速度 1 秒や切り替わり化する．正解率が 80％以上でレベルが 1 段階上昇し，正解頻度少といったように各要素が変化する．5 回で 1 セット率が 20％を下回るとレベルが 1 段階低下する．覚える個数とし，正解率が 80％以上でレベルが上昇し，20％以下でレは 3 個を基本としており，レベルが上昇するたびに 4 個，ベルが低下する．

5 個と増加する．

＜実験参加者＞

・N-Back Training Test
図 9 に示すように，N 個前と同じ「図形・色・位置・音」

20 代前半の大学生 14 人（男性：10 人，女性：4 人）とした．

であれば，同じ要素のボタンを選択するテストである．今＜実験期間・回数＞

回は，「位置」と「色」の 2 個の要素を記憶するように設定３週間とし，A～C グループ共，最初に 4 種類の WM テした．はじめは，1 個前と比較し各要素が同じであればボストを行う．また，提案システムの実施前後で WM テスト

タンを選択する．5 回で 1 セットとし，正解率が 80％以上を行うことにより，WM テストを提案システムのトレーニング効果を測定する役割しても位置付ける．図 12 に，実験構成を示す．

図 8 Digit Span Training Test
Figure 8 Digit Span Training Test
図 10 Roulette Bingo Training Test
Figure 10Roulette Bingo Training Test

図 9 N Back Training Test
Figure 9N Back Training Test

© 2018 Information Processing Society of Japan

図 11 Goal Neglect Training Test
Figure 11Goal Neglect Training Test

484

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1P09
2018/3/5

A グループ：最初から続けて 4 回，WM トレーニングを実施
B グループ：1 日 1 回振り返りなしの片付けトレーニングを行い，3 回目に WM テストを 1 回行う．この流れを 3 回繰り返し，トレーニングを計 9 回，WM テストを計 3 回行う．
C グループ：1 日 1 回振り返りありの片付けトレーニング

図 14 散らかっている部屋空間を行い，3 回目にテストを 1 回行う．この流れを 3 回繰りFigure 14

Messy Room

返し，トレーニングを計 9 回，テストを計 3 回行う．
＜実験用に構築した仮想生活空間と片づけ行動の例＞
部屋には，図 13 に示すように，ベッド，机，本棚，衣装棚，ゴミ箱といった基本的な家具等を 5 つ用意し配置した．この環境に対し，トレーニング開始時に，色の異なり番号が付与された本，色の異なる服，帽子，バッグ，色の異なる文房用具（ボールペン，鉛筆ペン，ホッチキス），ゴミなどの生活用品を図 14 に示すように毎回ランダムに散布させた．これらの生活用品を図 15 に示すようにハンドリング

図 15 片づけ行動のシーン
Figure 15

A Scene of Cleaning Actionを行い，3.2 節で示したルールに従い，片づけを行った．
＜実験で用いたＶＲシステムの構成＞

4.2 実験結果と考察

今回，利用した仮想空間提示システムは，HTC-Vive（HTC1 回目～2 回目，2 回目～3 回目，3 回目～4 回目の計 3 回社）を活用し，システムは Unity で実装した．本ＶＲシスの認知行動評価点数の上り幅の平均を各グループで算出しテムで利用する空間は，3.0m×2.3m であり，自由に動き回た．図 16 に示すように， Digit Span Training テストの評価で，A＜C（t 検定：有意差 5％）となり，振り返りありの提れるよう配慮した．

案システムが，WM トレーニングよりも認知機能向上に関して効果が確認された．また，C，B，A の順となり，VR 片づけ行動認知トレーニングの有効性を示すことができた．
N-Back Training, Roulette Bingo Training, Goal Neglect
Training を含めて，WM テストの難易度が高く，本提案システムを評価するのに適していないと推測される．DigitSpan Training テストは，難易度はそれほど高くなく，本提案システムを評価するのに適していると言える．ただし，個人差が大きく，実験サンプル数を増やして信頼性を高める必要がある．
表 1 に，各 WM トレーニングと振り返りありの提案システム（Ｃ）との相関係数を示す．

図 12 実験の構成
Figure 12Experiments Construction

図 13 散らかっていない部屋空間
Figure 13

No Messy Room

© 2018 Information Processing Society of Japan

図 16 パターン A,B,C に対する認知行動評価点数の上り幅平均の比較
Figure 16 Improved Values for Pattern A, B, C485

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1P09
2018/3/5

表 1 提案方式と各認知トレーニングとの相関係数
Table 1 Correlation Coefficient of the Proposed
Method to Cognitive Training Test
相関係数

DigitSpan

N-BackRoulette

GoalNeglect

-0.24

0.53

0.36

-0.29振り返りありの提案システムの得点と N-Back Training の結 果 に は 「 比 較 的 強 い 相 関 」 が 見 ら れ ， Roulette Bingo
Training の結果には「弱い相関」が確認された．Roulette
Bingo Training および N-Back Training は難易度が高く，WMの認知トレーニングとしても活用されている．本トレーニ
ングシステムは，難易度の高い WM の認知トレーニングとして使える可能性がある．

5. まとめ仮想空間における片づけ行動の振り返りによる認知トレーニングシステムを提案し，健常者に対する実験ではあるが，振り返りありの VR 片づけトレーニングシステムは，通常の認知トレーニングと較べて，認知機能を向上させることを確認した．
本提案システムは，トレーニングの難易度に応じ，適切なアイテムを設定・追加・削減することにより，認知機能に合わせた段階的な認知トレーニングが実現できる能力を[3]

宮脇健三郎，佐野睦夫，米村俊一，大出道子，松岡美保子，“高次脳機能障害者向け調理ナビゲーションのためのレシピおよび提示メディアの構造化，”映像情報メディア学会論文
誌 Vol.64, No.12, pp.1863-1872(2010)[4] 佐野睦夫，宮脇健三郎，米村俊一，大出道子，“調理ナビゲーションシステムに基づく高次脳機能障害者の認知リハビリテーション，”認知リハビリテーション Vol.18, No.1,pp.72-77 (2013)[5] 大井翔，佐野睦夫，渋谷咲月，水野翔太，大出道子，中山佳代，“高次脳機能障害者の自立に向けた調理行動振り返り支援システムに基づく認知リハビリテーション，”認知リハビ
リテーション Vol.20, No.1 , pp.51-61 (2015)[6] Wilson, B.A., Alderman, N., Burgess, P.W., Emslie, H. ＆ Evans,
J.J.：Behavioural Assessment of the Dysexecutive Syndrome.
Thames (1996)．
[7] 鹿島晴雄監訳，“BADS 遂行機能障害症候群の行動評価，”日本版.新興医学出版社，(2003)．
[8] 佐野睦夫，中川葵，小谷凌和，大井翔，小山智美，西野朋子，”高次脳機能障害者に対する掃除行動振り返り支援シス
テムに基づく認知リハビリテーション，“認知リハビリテーション Vol.22, No.1, pp.31-40 (2017)[9] 藤田高史， 二木淑子，高橋美幸，杉本まみ， 能登谷晶子，“軽度アルツハイマー病者に対する遂行機能評価としての片付け検査の妥当性-BADS との比較から-．”作業療法，28(4),pp.396-409 (2009)[10] 大井翔，池ヶ谷剛，渋谷咲月，水野翔太，佐野睦夫，田渕肇，仲地良子，斎藤文恵，加藤元一郎，“生活密着型認知リハビリに向けた片づけタスクの注意機能評価，”電子情報通信学会 2014 年総合大会(2015)[11] Sho Ooi, Tsuyoshi Ikegaya, Mutsuo Sano,”Cooking Behavior
Recognition using Egocentric Vision for CookingNavigation,”Journal of Robotics and Mechatronics, Vol.29, No.4,
pp.728-736 (2017)

有している．
今後，健常者の実験サンプル数を増やし，信頼性をさらに向上させるとともに，まず，認知障害者に対しては，まず，軽度認知障害や比較的軽度の高次脳機能障害者などの認知障害者に対して，VR 片づけ認知リハビリテーションの有効性を検証していく予定である．同時に，システムの難易度調整がコンポーネントの入れ替えのみでできるよう改良を行っていく計画である．さらに，片づけだけでなく掃除行動など，その他の生活行動に対しても本方式を適用し，生活全体の QOL を向上できるように研究を進めていきたい．
謝辞

本研究の一部は，JSPS KAKENHI Grant Number JP

15K00368 の支援を受けた．WM トレーニングシステム開発メンバーの慶應義塾大学医学部精神神経科・堀込俊郎医師に深謝します．

参考文献
[1]

小倉郁子，早川裕子，三村將，穴水幸子，藤森秀子，前野豊，“高次脳機能障害を持つ患者に対する調理訓練の経験”
認知リハビリテーション，Vol.2007，pp. 40-45，(2007)[2] 山下満智子, 川島隆太, 岩田一樹, 保手浜勝, 太尾小千津, 高倉美香，“調理による脳の活性化(第一報)”日本食生活学会
誌，Vol.18，No.2，pp.134-139，(2006)．

© 2018 Information Processing Society of Japan486