情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-16
2017/3/2

仮想空間内の掃除行動におけるリアルタイム遂行機能評価方式の提案
三原顕仁†1 大井翔†1 佐野睦夫†2 田渕肇†3斎藤文恵†3 梅田聡†4 堀込俊郎†3
概要：近年，高次脳機能障害者は全国で 50 万人を超えると推察されているが，リハビリテーションを行う医師や専門施設は不足している．我々は，日常生活を認知リハビリテーション対象として，在宅で高次脳機能障害者の自立を促進するためのリハビリテーション方式に取り組んでいる．本研究では，日常生活における遂行機能に着目する．従来，遂行機能評価手法としては BADS テストなどが代表的であるが，リアルタイムに評価することはできていない．
そこで，仮想空間で掃除行動を行うことによって，リアルタイムで遂行機能を評価する方式を提案し，有効性の検証を行う．

A Real Time Executive Function Evaluation Method
for Cleaning Action in Virtual SpaceAKIHITO MIHARA†1 SHO OOI†1 MUTSUO SANO†2 HAJIME TABUCHI†3FUMIE SAITO†3 SATOSHI UMEDA†4 TOSHIRO HORIGOME†3Abstract: In recent years, the patients with acquired brain injury are more than 500 thousand. However, doctors and specialized
facilities for rehabilitation are missing. We study an ADL cognitive rehabilitation method at home for promoting self-reliance ofthe patients with acquired brain injury. This paper focus on executive function in their ADLs. The BADS (Behavioural
Assessment of the Dysexecutive Syndrome) test can assess the skills and the demands involved in daily living. However, it can't
evaluate their activities of daily living in real-time. We propose an evaluation method for executive function of ADL in virtual
space based on cleaning task. In addition, the effectiveness of the proposed method is verified through cognitive experiments.

1. はじめに
近年，高次脳機能障害者数は，全国で 50 万人を超えると推察されている[1]．高次脳機能障害とは，病気や交通事故など様々な原因で，脳が部分的に損傷を受けたために生ずる，言語や記憶などの知的機能の障害のことである．この障害を呈する疾患の 60-70%を脳卒中（脳梗塞，脳出血，くも膜下出血）が占め，次いで脳外傷，低酸素脳症，脳腫瘍，脳炎などの感染症がある[2]．主な症状は，①記憶障害，②注意障害，③遂行機能障害，④社会的行動障害，⑤失語症，⑥失認症，⑦失行症，⑧地誌的障害，⑨半側空間無視，⑩半側身体失認である．
通常，高次脳機能障害に対する訓練は，医療機関やリハビリテーション施設において，医師の指示および十分な指導・監督のもとで，作業療法士・看護師・臨床心理士・精神保健福祉士で構成させる医療チームによって実施されている[3]．しかし，現状では医師をはじめとした複数の専門医および専門施設は不足している．そこで，我々は高次脳機能障害者の自立を促進するため，掃除や料理をはじめとした日常行動全体を認知リハビリテーション対象とし，在宅で認知リハビリテーションを行うことのできる方式の確立に取り組んでいる[4]．
本研究では遂行機能に着目し，仮想空間で掃除行動を行†1 大阪工業大学大学院 情報科学研究科
Major in Information Science and Technology, Graduate School of Osaka
Institute of Technology†2 大阪工業大学 情報科学部
Faculty of Information Science and Technology, Osaka Institute of Technology†3 慶應義塾大学 医学部 精神・神経科
Department of Neuropsychiatry, School of Medicine, Keio University†4 慶應義塾大学 文学部
Department of Psychology, School of Medicine, Keio University© 2017 Information Processing Society of Japan

うことで，リアルタイムに遂行機能を評価する方式の提案を行う．また，本方式で使用するパターン認識技術の認識率と評価結果の妥当性について検証を行う．

2. 従来の遂行機能評価手法
従来，遂行機能を評価するために，テスト形式であるBADS(Behavioural Assessment of the Dysexecutive Syndrome)
テストを行う[5]．BADS テストは，Wilson ら（1996）によって提案され，鹿島ら（2003）によって日本語版 BADS テストが提案された[6]．このテストは，以下に示す 6 つの検査により遂行機能を評価する．
（１）

規則変換カード検査（２）

行為計画検査

（３）

鍵探し検査

（４）

時間判断検査（５）

動物園地図検査（６）

修正 6 要素検査（3）の鍵探し検査について説明する．この検査項目では，真ん中の 100mm 四方の正方形とその下 50mm のところに黒い小さな点を描いた A4 版の紙を提示する．実験参加者にはこの正方形が大きな野原であると考えてもらい，その中で鍵をなくしたと仮定してもらう．この鍵を確実に見つけだすためには正方形内をどのように歩いて探すかを，黒点からスタートして線で書き込んでもらう．評価は，ⅰ）
野原の入路，ⅱ）鍵探しの終点，ⅲ）線の連続性，ⅳ）平443

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-16
2017/3/2

行性，ⅴ）水平性か垂直性，ⅵ）既定のパターン，ⅶ）すべての場所を網羅しようとする試み，ⅷ）鍵の発見，の８

開始

つに項目を基に行う．
日本語版 BADS テストはペーパーテスト形式であるため，リアルタイムな評価をすることができない．また，遂行機生活用品を机に配置

能は日常生活上での問題を解決する際に発揮されるものだ
が，BADS テストの検査項目は日常行動からずれている．
そこで，日常生活に密着したリアルタイムな遂行機能評価配置に対して机拭きの最適解を算出方式を提案する．

3. 提案システム

机拭き検査

検査場面

本研究で提案するシステムでは，2 章で述べた鍵探し検査を日常生活における机拭きに置き換え，仮想空間上でリアルタイムな遂行機能評価を行う．使用するハードウェア

検査結果と最適解を比較し，遂行機能評価を出力として，GPU を内蔵した PC，仮想空間に没入するためのヘッドマウントディスプレイとして Oculus Rift DK2，手の認識を行うための Leep Motion を使用する．また，開発環アニメーションを用いて，最適な拭き方を出力境として Unity5.3.1 を用いる．図 1 にシステムの構成を示

振り返り場面す．また，システムのフローチャートを図 2 に示す．以下
より，フローチャートの「検査場面」と「振り返り場面」を節で分け，説明を行う．

No

3.1 検査場面

ユーザが最適解を理解

3.1.1 生活用品の配置
本システムでは，最初に生活用品をユーザ自身が机に配Yes置する．生活用品の配置例を図 3 に示す．配置できる生活用品としては本とペン，リモコン，ペットボトルの 4 種類Noとする．また，配置できる生活用品の数には上限と下限を検査を終了設定しておき，配置する物体数を制限する．これは物体数が少なすぎるまたは多すぎることによって，検査が簡単すYesぎるまたは難しすぎるようになることを防ぎ，正当に遂行機能の評価結果が得られるようにするためである．

終了図 2

3.1.2 基本となる評価項目

システムのフローチャート
Figure2

机拭きの評価項目として，2 章で述べた鍵探し検査の「鍵System flowの発見」を除く 7 つの評価項目を採用し，それぞれ机拭き

図 1
Figure1

図 3システムの構成
System configuration© 2017 Information Processing Society of Japan

Figure3

生活用品の配置例（上面図）

Example of daily living tool position(top view)444

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-16
2017/3/2に合わせ変更した．その項目は，机拭きにおけるⅰ）入路，の連続性は，拭き始めから拭き終わりまで一筆書きのようⅱ）終点，ⅲ）連続性，ⅳ）平行性，ⅴ）水平性・垂直性，に拭くことができているかを判定し，評価を行う．図 5 のⅵ）規定のパターン，ⅶ）網羅率である．そして，この 7

ように，机拭きの軌跡が途切れていない場合は 1 点，途切つの評価項目にⅷ）生活用品を移動させた移動量，ⅸ）生れている場合は 0 点とする．本システムでは手の誤認識が活用品を移動させた回数，ⅹ）布巾で拭いた距離，ⅺ）布起きる可能性を考慮し，机から布巾が 2 秒以上離れた，も巾を持った回数を加えた計 11 個の項目から机拭きの評価

しくは布巾が 2 秒以上手から離れた回数をカウントし，こを行う．のカウントが一定回以上になれば軌跡が途切れているとす

表 1 に BADS テストの鍵探し検査から採用した評価項目の得点範囲を示す．この点数は鍵探し検査の評価手法に基る，それ以外の場合は途切れていないとみなす．この一定回の基準は配置した生活用品の数によって変化する．

づいている．机拭き検査における評価項目の詳細について

1点0点

以下に述べる．
表 1
Table1

評価項目と得点範囲

Execution item and scoring range

評価項目ⅰ）入路ⅱ）終点ⅲ）連続性ⅳ）平行性ⅴ）垂直性・水平性ⅵ）既定のパターンⅶ）網羅率

得点範囲
1~3点
1~3点
0・1 点
0・1 点0・1 点
3・5 点
0・1 点

図 5
Figure5

連続性の評価分類

Execution classification of continuityⅳ）平行性
机拭きでは，同じ拭き方を繰り返すことは効率的である．
この平行性は，拭いた軌跡の傾きがすべて同じかどうかを判定し，評価を行う．線の傾きを測るため，布巾が机に触れている時に随時その座標を取得する．取得した座標から

ⅰ）入路
机拭きでは，どこから拭き始めたかは重要なポイントである．本システムではどこから拭き始めたかを判定し，評価を行う．4 か所のいずれかの角から拭き始めた場合 3 点，それ以外の端の部分から拭き始めた場合 2 点，これら以外の場所なら 1 点とする．評価範囲の分類を図 4 に示す．図の上に明記された点数は，色で塗られた範囲内から拭き始めたときの点数を表している．
3点

図 4Figure4

2点方向に分類しそれぞれを足し合わせることで，どの方向にどれだけ移動したかを算出する．そこから，最も移動距離の大きい方向とその逆方向を見つけ，お互いの移動距離を比較し差を算出する．その差が小さければ，平行性があると判定し，1 点を与える．平行性がない場合は 0 点である．
8 方向と 16 方向に分類し足し合わせた例を図 6 に示す．

1点

入路における評価範囲の分類
Classification for entry path executionⅱ）終点どこで拭き終えたかも同様に重要なポイントである．本システムでは机拭きをどこで終えたかを判定し，評価を行う．机の入路と同じく，4 か所のいずれかの角で拭き終えた場合 3 点，それ以外の端の部分なら 2 点，これら以外の場所なら 1 点とする．
ⅲ）連続性
机拭きでは何回も分けて拭くことは効率的ではない．こ© 2017 Information Processing Society of Japan

連続する 2 点間の角度を全て算出し，それを 8 方向と 16

図 68 方向と 16 方向の分類と足し合わせFigure6

Classification and foot calculationof 8 direction and 16 directionⅴ）垂直性・水平性
机拭きは，斜めに拭くことは効率的ではない．垂直性または水平性は，拭いた軌跡が水平または垂直の線のみで構成されているかどうかを判定し，評価を行う．水平性と垂直性を判定するために，上記で述べた机拭きで取得した座標を用いる．連続する 2 点の(X1, Y1)と(X2, Y2)が，式(1)を満たすときは水平，式(2)を満たすときは垂直とする．これ445

情報処理学会 インタラクション 2017IPSJ Interaction 20172-503-16
2017/3/2を拭き始めから拭き終わりまでの全ての座標データで行い，目での移動量とする．重なった状態の生活用品を移動させ全ての連続する 2 点間で水平または垂直性を満たしているる場合は一つの物体としてとらえ， 1 度に移動させる生活

場合は 1 点，満たしていない場合は 0 点とする．

用品の中心座標の移動量とする．

X1 ≅ X2(1)

Y1 ≅ Y2(2)ⅵ）既定のパターン(3)

移動量= √(𝑥1 − 𝑥2)2 + (𝑦1 − 𝑦2)2ⅸ）生活用品の移動回数

机拭きでは，ⅵ）で述べたように同じ拭き方を繰り返す移動量と同様に，生活用品を移動させた回数も重要なポことは効率的であるため，効率的な拭き方はある程度絞るイントである．本システムでは，生活用品を移動させるごことができる．そこで，本システムでは既定のパターンととに回数をカウントしていき，この合計回数で評価する．

して 4 つパターンを用意し，机拭きの軌跡がその 4 つのパ

上記でも述べたように，重なった状態での移動に関してはターンのどれに当てはまるかを判定し，評価を行う．どの一物体の移動としてとらえ，1 度の移動に対して移動回数パターンであるかは，上記で述べた 8 方向と 16 方向のベクは 1 回とする．

トルを特徴量とし，k-NN 法を用いることで認識する．既定のパターンとして用意した 4 種類のパターンとそのパターンの点数を図 7 に示す．

ⅹ）布巾で拭いた距離本システムでは，遂行機能を評価するという観点から，同じ場所を複数回拭くことは効率的ではないと判断する．
そこで，机拭きで取得したデータから布巾の移動距離を計算し，評価する． 距離の計算は式(3)を使用し，すべての移動距離を足し合わせたものをこの評価項目での移動距離とする．

図 7

既定のパターンとそれぞれの点数

Figure7

Default patterns and scoresⅶ）網羅率
机がどれだけ拭けているかは当然重要なポイントである．
これを机拭きの網羅率とし，机上をどれだけ網羅できたかを判定し，評価を行う．本システムでは，机上の 80％以上を網羅していた場合 1 点，それより下回っている場合 0 点ⅺ）布巾を持った回数
机拭き検査において，生活用品の移動と机拭きは複数回行わなければ机上全てを網羅した机拭きを実施できない．
しかし，机拭き→生活用品の移動→机拭きというような遷移を何回も行うことは効率的ではない．そこで，本システ
ムではこの遷移回数は布巾を持った回数としてカウントし，評価する．とする．網羅率を算出するにあたり，小さな立方体のオブジェクトを多数用意し，机と同じサイズになるように配置している．それぞれのオブジェクトに対して当たり判定をつけておき，布巾が接触した個数を基に網羅率を算出する．
3.1.3 追加する評価項目
3.1.2 項でも述べたように，本システムでは BADS テストの鍵探し検査から採用した評価項目に加えて，ⅷ）生活用品の移動量，ⅸ）生活用品の移動回数，ⅹ）布巾で拭いた距離，ⅺ）布巾をつかんだ回数を加える．この 4 つの項目については上記で述べた 7 つの項目と異なり点数化はせず，そのままの移動量または回数を保持する．追加する 4 つの項目について以下に述べる．
ⅷ）生活用品の移動量
効率的な机拭きを行うにあたって，机上にある物をどう

3.1.4 最適解の算出
3.1.1 項の机上に置かれた生活用品の数とそれぞれの座標から最適な机拭きを計算する．3.1.2 項で示したⅰ）～ⅶ）の点数は，大きな値ほど効率的な机拭きであるといえ，ⅷ）～ⅺ）は小さい値になるほど効率的であるといえる．ⅰ）～ⅶ）の最大合計値が 15 であることから，15 からⅰ）～ⅶ）の点数結果の合計を引くことで小さい値ほど効率的であるとする．この結果と，生活用品の移動量と布巾の移動量の合計，生活用品の移動回数と付近を持った回数の合計の 3 つを掛けた値が最も小さくなるものを最適解とする．
ⅰ）～ⅶ）の点数をxi = (x1, x2 ⋯ x7)とし，ⅷ）とⅸ）の結果をそれぞれ d1 と d2，ⅸ）とⅺ）の結果を n1 と n2 とする．これらをから式(4)のように定式化することができる．
目的関数：(15 − ∑7𝑖=1 𝑥𝑖)(d1 + d2)(n1 + n2)

制約条件：0 ≤ ∑ 𝑥𝑖 ≤ 15

動かすかは重要なポイントである．本システムでは，生活用品が机上の上をどれだけ動いたかを測定し，評価する．
生活用品が(x1, y1)から(x2, y2)に動いた時の移動量を式(3)で計算する．机拭きを終えるまで全ての生活用品の移動量を計算し，終えた後ですべてを合計したものをこの評価項© 2017 Information Processing Society of Japan

→最小

7𝑖=1

(4)

d1 ≥ 0,d2 ≥ 0

n1 ≥ 0,n2 ≥ 0446

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-16
2017/3/2

4. 実験

3.1.5 机拭き検査
この検査では，3.1 節の生活用品が置かれた机に対して，行ってもらう．また，正当な遂行機能評価を行うため，「生本方式で使用するパターン認識技術の認識率と評価結果の妥当性について検証を行うため，2 つの実験を行う．
これらを実験 1 と実験 2 とし，次節に詳細を述べる
4.1 実験 1

活用品を机上以外の場所へ置くこと」と「生活用品を持っこの実験では，評価項目の規定パターンで用いるパターた状態での机拭き」を不可能にし，ユーザにもあらかじめン認識の認識率，全体の正解率，適合率を測定する．実験

明示しておく．3.1.3 項でも述べたように，この検査場面でを以下の①～④の手順で行う．

は評価を行うためのデータとして，布巾が机と触れている①

布巾を用いて机拭きを行う．その際，ユーザに対して効率的な机拭きの実施を促し，思考時間を与えたのち机拭きを学習データをとる

際の座標，布巾を持った回数，生活用品を移動させたとき

実験参加者として学生 10 人（男子 9 人，女子 1 人）にの移動量，生活用品を移動させた回数を取得する．重なっ

参加してもらい，3.1.2 項で述べた既定の 4 パターンの机拭

た状態の生活用品を移動させる場合は一つの物体としてときをそれぞれ 10 回ずつ行ってもらう．ここで得た 8 方向とらえ，1 度の移動に対して移動回数は 1 回，移動量は 1 度

16 方向ベクトル特徴量を学習データとする．に移動させる生活用品の中心座標の移動量とする．検査を②行っている様子を図 8 に示す．

未知データをとる
学生 10 人（男子 9 人，女子 1 人）に全 4 パターンの机拭きをそれぞれ 10 回ずつ行ってもらう．ここで得た 8 方向ベクトル特徴量と 16 方向ベクトル特徴量を未知データとする．
③

未知データを k-NN 法を用いて，認識を行う
取得した学習データから未知データを k-NN 法を用いてパターン認識を行う．本実験では，k=1，3，5，7，9 を求める．
④

認識率，全体の正解率，適合率を算出する
認識結果から以下の式(5)，式(6)，式(7)を用いて，認識率，全体の正解率，適合率を算出する．

図 8

実験の様子

認識率 =

Figure8 Experiment overview
3.2 振り返り場面

正解率 =

正答数
パターン毎の実施回数

全パターンの認識率の合計な拭き方を示すことでこれを実現する．評価結果と最適な

適合率 =

(6)

パターン数

認知検査において，ユーザに結果を納得させることは重要なことである。本システムでは，評価結果の出力と最適(5)

× 100

正答数
（正答数 + 他のパターンで認識した回数）(7)×100

法により点数化を行う．そこで得た結果と最適解を比較す

4.2 実験 2
この実験では，大学生健常者 20 名に対し従来の BADSテストの鍵探し検査と提案した遂行機能評価方式を行う．
実験の手順は，鍵探し検査を行った後，2 週間の期間を空けて提案した手法を行う．そこで得た評価結果から相関をとる．

ることで遂行機能評価を行い，その評価結果を仮想空間上5. 結果・考察拭き方の出力について次節より述べる．
3.2.1 評価結果の出力検査で取得したデータは，3.1.2 項と 3.1.3 項で述べた手に出力する．
3.2.2 最適な拭き方の出力
最後に，3.1.4 項で求めた最適解を基に最適な拭き方をユーザにフィードバックする．その際，アニメーションを用いることによって，ユーザにより分かりやすくする．このフィードバックを行うことによって，ユーザに対して評価結果の妥当性を明示的に示すことできる．

実験結果と考察を次節から述べる．
5.1 実験 1
8 方向ベクトルと 16 方向ベクトルの認識率および全体の正解率を表 2 に示す．また，適合率を表 3 に示す．
表 2 よりパターンごとの最高認識率を見ると，パターンⅠが 77%，パターンⅡが 76%，パターンⅢが 86%，パターンⅣが 98%になった．また，パターンⅠ，Ⅱ，Ⅲでは，kの値が大きくなるにつれて認識率が低くなっている．表 2と表 3 より，パターンⅣの認識率が k の値が大きくなるに© 2017 Information Processing Society of Japan447

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-16
2017/3/2

表 28 方向ベクトルと 16 方向ベクトルの認識率(%)および全体の正解率(%)

Table2Accuracy(%) and whole correct(%) of 8 directions and 16 directions
8 方向16 方向K の値

1357913579パターンⅠ

777575757575

56463733パターンⅡ

76636464636954

444035パターンⅢ

6656555556

8664

615445

パターンⅣ

60

5657

57

60

72

9095

9798

全体の正解率

69.75

62.5

62.75

62.75

63.5

75.56661.5

5752.75

表 38 方向ベクトルと 16 方向ベクトルの適合率(%)

Table3Precision(%) of 8 directions and 16 directions
8 方向

16 方向

K の値

13579

1

3579

パターンⅠ

73.3

74.3

73.5

72.8

74.3

80.6

88.5

95.8

100

100

パターンⅡ

77.6

73.3

73.6

72.7

73.3

83.1

81.8

81.5

81.6

83.3

パターンⅢ

67.3

60.9

63.2

63.2

63.6

83.5

87.7

89.7

96.0

91.8

パターンⅣ

60.6

45.2

46.0

46.7

48

59.5

46.2

41.1

37.9

35.5

つれて高くなり，適合率は低くなった．これは，パターンで 98%となった．正確な認知評価の実現には全てのパター

Ⅳが他のパターンの間に散布していることによって，誤認ンにおいて 100%に近い認識率が求められるため，認識率識を起こしているのではないかと考えられる．

を向上させる必要がある．今後は認識率向上のため，4 つ本実験の結果から，パターンⅠとパターンⅡの最高認識のパターンに加えて「既定のパターン以外」というパター率が 80%にも満たなかった．正確な認知評価の実現には全ンを追加し，再度認識率の検証を行う．加えて，実際に高てのパターンで 100%に近い認識率が求められるため，認次脳機能障害者を対象に評価を行い，有効性の検証を行っ識率を向上させる必要がある．これは，4 つのパターンにていく．
謝辞
本研 究 の一 部は ， 文部 科 学 省研 究 費補 助金 （ 基盤 C15K00368）の支援を受けた．

加え「既定のパターン以外」を追加し，学習することで認識率を向上させることができると考えられる．また，実験結果から k の値が大きくなるにつれて認識率が低くなった．
これは学習データが少なかったことによって、パターンご参考文献とに密集した散布にならなかったことが考えられる[1]

5.2 実験 2[2]

東京都高次脳機能障害者実態調査検討委員会：東京都高次脳機能障害者実態調査報告書，2008．

現在，それぞれの評価結果から相関をとり，提案した方式の妥当性を検証しているところである．BADS テストの版），2016[3]

山里道彦，井上浩希，山倉敏之，ほか：高次脳機能障害症例に対するグループ訓練．認知リハビリテーション，15（1）：

鍵探し検査と提案した遂行機能評価方式の相関が取れる結果を出すことができれば，提案した遂行機能評価方式の有

東京都：高次脳機能障害者地域支援ハンドブック（改訂第 39-16,2010.
[4]

大井翔，池ヶ谷剛，渋谷咲月，水野翔太，佐野睦夫，中山佳

効性を示すことが期待される．

代，大出道子，荻原摩紀：“認知リハビリテーションのため

6. おわりにの一人称視点による生活行動の注意評価”，情報処理学会第今回，仮想空間でのリアルタイムな遂行機能評価方式を77 回全国大会，2015．
[5]

1996．

価結果の妥当性について検証を行った．パターン認識における認識率の実験結果から，最高認識率はパターンⅠで77%，パターンⅡで 76%，パターンⅢで 86%，パターンⅣ© 2017 Information Processing Society of Japan

Wilson,B.A,Alderman.N.,Burgess,P.W,Emshe,H.andEvans,J.J.：
Behavioural Assessment of the Dysexecutive Syndrome. Thames,

提案し，本方式で使用するパターン認識技術の認識率と評[6]

鹿島晴雄監訳：BADS 遂行機能障害症候群の行動評価，日本版.新興医学出版社，2003．

448