映像データ自動評価技術を基軸とした
歩行改善支援システム

背景⮚様々な分野においての専門家が行う指導の際の介入スキルは，自分自身の経験等によって培われているケースが多い．

専門家の知識、評価尺度を客観化

指導の狙い(介入を通して改善したかった部分)をわかりやすく表現し専門家がフィードバックをしやすくなり，被介入者はより理解を深めることができる

被介入者の介入内容の関心・意欲の更なる増加に役立ち，専門家が介入者により説得力のあるフィードバックを行うことができるように支援するシステムの開発1

歩行と姿勢

⮚ 本研究では，「歩行と姿勢」という題材に焦点を当てて進める。
⮚歩行と姿勢は全ての年代の健康や精神面にとって重要な身体的活動であると言われている。

2

研究全体の流れ

設計

歩行と姿勢の専門家の知識、評価尺度を客観化

開発

姿勢推定(OpenPose)を用いた1軸2軸歩行,接地比率に関した自動評価技術を開発

評価

自動評価技術を用いた歩行改善支援システムの開発を行い，その技術が実際の現場でどのくらい役に立つのか実践，評価，検証を行う
3

映像データからの歩行に関する自動評価項目の設計

専門家が重要視する６つの観点

介入優先度

骨盤が前傾か後傾か介入の入り口歩行が1軸か2軸か

1接地比率 (両足接地:片足接地 = 4:1が理想)

2

足や股関節の使い方

3

身体のさまざまな角度 (背骨や首など)

3

腕の振り (前振りかどうかなど)

4⮚専門家が設計したプログラムの評価を行う全体的な観点，介入の優先順位をまとめた⮚歩行の専門家の重要視する観点からどんな人の評価にも使うことのできる共通尺度として重要な2つの観点の自動評価技術の開発を行なった．

4

1軸歩行，2軸歩行のイメージ

1軸歩行

2軸歩行
7

専門家の評価を推測するための４つの評価基準
評価(1)

(2)

(3)

(4)

パターンC,Dによる評価基準
1軸

2軸

1 (1軸)

0~0.250~0.33

0~0.5

0~0.1

2 (やや1軸)

0.25~0.5

0.33~0.66

0.5~0.8

0.1~0.3

3 (やや2軸)0.5~0.75

0.66~1.0

0.8~1.0

0.3~1.0

4 (2軸)

0.75~

1.0~

1.0~

1.0~

⮚パターンCでは両足同士の距離を骨盤の長さで正規化し測り続け，パターンDでは体の中心線からの片足ずつの距離を左右の骨盤の長さで正規化し測り続ける．(骨盤の長さを1とする)⮚専門家には事前に被験者の歩行を1~4の４段階であらかじめ評価をさせ，その評価と自動検出による評価の一致率を測定する．

⮚(2)以降は，骨盤の幅より広い幅で歩くことができれば評価値４(2軸歩行)としている．

8

専門家の評価を推測するための４つの評価基準
評価

1軸

2軸

(1)

(2)

(3)

評価値の乖離平均パターンC,Dによる評価基準(4)(1)・・・ 1.080~0.33(パターンC), 0~0.5
1.0 (パターンD)
0~0.250~0.1(2)・・・ 0.75 (パターンC), 0.75 (パターンD)(3)・・・ 0.5 0.33~0.66(パターンC), 0.5~0.8
0.42 (パターンD)
2 (やや1軸)
0.25~0.5
0.1~0.3(4)・・・ 1.17 (パターンC), 1.17 (パターンD)
3 (やや2軸)
0.5~0.75
0.66~1.0
0.8~1.0
0.3~1.0
1軸寄りの評価が最も専門家の主観評価と近かった
4 (2軸)
0.75~
1.0~
1.0~
1.0~
.
1 (1軸)⮚パターンCでは両足同士の距離を骨盤の長さで正規化し測り続け，パターンDでは体の中心線からの片足ずつの距離を左右の骨盤の長さで正規化し測り続ける．(骨盤の長さを1とする)⮚専門家には事前に被験者の歩行を1~4の４段階であらかじめ評価をさせ，その評価と自動検出による評価の一致率を測定する．

⮚(2)以降は，骨盤の幅より広い幅で歩くことができれば評価値４(2軸歩行)としている．

8

1軸2軸に関する専門家の評価基準

42軸

32

やや2軸l

やや1軸

評価:1231軸

やや1軸

やや2軸

0.5
0.8
1.0 (自分の骨盤の幅)

42軸9歩行改善の介入場面におけるフィードバック環境の構築

介入内容の作成
Aさんこの間より軽快に足が動いてる

歩行改善支
援システム

改善

要望
開発者

専門家

改善のためのデバッグ

Bさんこの間より２軸歩行できてるシス
各テ個ム
人をへ通のじフたィ|
ドバッ
ク

前より良くなってる！

介入者
Aさん

介入者
Bさん

意欲・関心の向上

じゃあもっとこうしたほうがいいのかな..?

⮚ 介入者へのフィードバック場面と介入内容の作成，システムのデバッグを想定⮚ 開発者には，専門家の意図を汲み取ってシステムに反映することに役立つように⮚ 専門家には，分かりやすい形に加工されたデータを使用した介入内容の作成とフィードバックに役立つように⮚ 介入者には，専門家システムを通じたフィードバックによって歩行と姿勢に対する関心・意欲の向上に役立つように11

歩行改善支援システム機能設計
機能一覧
動画再生、動画比較機能
自動評価の出力

1軸2軸は４段階評価、接地比率は片足：両足の比率

収集データのグラフ出力

1軸2軸は骨盤の幅を１とした時の足の距離を測り続けたグラフ
接地比率はいつ接地したかしていないかを表したグラフなど

収集データからの特徴抽出と可視化

1軸2軸のアルゴリズムから得られた歩行時の足の動きの可視化など

アルゴリズム選択機能

どのグラフを見るかなどを選択する機能

開発者用 専門家用
機能
機能

介入者用
機能

○○

○

○

○

○

○

○

○

○

○

○

○

○

正解データ比較機能算出した接地比率と正解データの比較をする機能
専門家の1軸2軸の評価と自動評価の比較
収集データのグラフを参照して原因追求○
12

歩行改善支援システム開発⮚開発環境 : Unity⮚設計した6つの機能を実装

13

自動評価出力機能14

歩行改善支援システムの実践，評価⮚石川県加賀市において行った，地域おたっしゃサークル 地域サポーター養成のための歩行と姿勢運動介入プログラム⮚フィードバック対象者：16名

21

歩行撮影環境の変化による接地比率の精度評
価⮚第1回と第2回の介入教室で，撮影環境を検討⮚動画ファイルの形式，撮影する距離，撮影に使用する機材を変更すること

で，接地判定の誤認識率を全体のフレームに対して平均2.2%に抑えることができた．

22

介入者用機能の実践，評価

第1回の介入教室において動画を撮影した，16名を対象に結果表を作成
 介入前後での接地比率と歩行画像
 介入前後での1軸2軸自動評価と評価の解説
 情報過多による混乱を予想し，元々想定していた搭載する機能からより重要なものをピックアップして選択した．
23

介入者用機能の実践，評価

第1回結果表に関するアンケートを実施
 関心・意欲や状態の理解に関わる項目では良い評価を得られた
ものの，分かりやすさに関する項目では1/4が分かりづらいと回答⬇
 介入前後での歩幅比較と歩行画像
 介入前後での1軸2軸自動評価と，正面からの歩行画像
 結果だけでなく，意欲を向上させるためのコメントも記載
24

介入者用機能の実践，評価⮚足の軌跡を描画した歩行画像⮚1軸2軸に関する情報を視覚的に捉えることができる⮚足が内側に入る特徴なども可視化できている

25

専門家用機能の実践，評価⮚実際に専門家にシステムを使用させ，アンケートを実施⮚専門家が行う普段の施術と，介入内容の作成に場面を分けてアンケート⮚それぞれの機能に対する設問に対し，5段階で評価＋理由を記述

26

開発者用機能の実践，評価⮚開発者専用の機能であった正解データ比較機能に加えて，結果表作成機能を追加⮚結果表に記載する項目の結果を出力して名前を記載し，ボタンを押してローカルに結果表を作成

30

結論⮚歩行の専門家の暗黙知であった，歩行の評価を行う具体的な尺度を見出し，その中から共通尺度として重要な「接地比率」と「歩行が1軸か2軸か」を自動評価する手法を開発した．
⮚歩行改善の介入場面におけるフィードバック環境の構築を行い，介入者にフィードバックをする際に歩行の状態をより的確に伝えるためにデータの可視化を様々な観点から行う，歩行改善支援システムの開発を行った．

⮚歩行改善支援システムの現場での実践や評価から，自動評価技術そのものが専門家のフィードバックや，介入者の意欲・関心の向上に役立つことを示した．

35

XR技術を活用した認知症世界の体験システムの開発

目標システム[Minsky 06]

障害による認知・身体機能低下による問題解決能力の低下

障害による認知機能低下
困り事（不安）石川，竹林，人工知能33(3)，2018

物盗られ妄想のロジック[岡田 19]
 自分の大切なものを隠すが，記憶の障害でどこに隠したのか忘れてしまう．支援者がそれを見つけるが，どんどん隠す場所が巧妙化し，大切なものがどんどん見つからなくなる．そのうち，無くしたものを見つけてくる支援者を大切なものを盗ったと犯人に仕立て上げる
心の状態＝不安な状態
探す

結果予測

待つ

結果予測

誰かに盗られたと訴える

結果予測比
較比較比
較差分
差分差分最少差分を選択

選択した選択肢を実行

物を盗られたという選択肢を積極的に選択したというよりは「不安」状態から逃れるための選択••「物盗られ」という選択肢の合理性や根拠を精査した上での選択ではない「物盗られ妄想」の否定＝「不安が充満する心の状態」への後戻りだから妄想に執着コミュニケーションのギャップ記憶障害で自分で隠したことを忘れる

大事なものだが，本人は管理できないので支援者が管理したい

大事なものなので自分で管理したい

認知症の人

支援者

コミュニケーションのギャップ

スクリプト:
記憶障害->
体験を忘れる->
体験で生じた事の記憶はない

if-do-then:
自分が置いたはずのない場所から大切なものが出てきたら，隠した人が他にいる

認知症の人

if-do-then:
記憶障害があると自分の行動を忘れるので代わりに探す支援者人間コミュニケーションの限界：共生は面倒

このgapを認識しそれぞれの人に対して埋めないといけない
定型でいいはずなのに，熟考が毎回要求される

当事者

支援者

当事者の希望に伴走するためのメタバースを活用した PX(Patient eXperience) 体験デザイン
 加賀市において実証実験を開始

 言葉で知っていても認知症の方の体験を理解することが難しく共感的な対応に課題 実践で理解していくためには時間を要する ケアの達人と若手の差が開き，会話も噛み合わず，イメージを共有する場がない

多様な認知症の方の多様な症状（地方では教育を提供する余裕も十分でない）

 メタバースを活用することで，効率的・効果的な実践的学びの環境を構築
参考：認知症ナレッジライブラリー

認知症世界への没入とシミュレーション

PX介入実験 メタバース上PX体験することによって，認知症の方への共感性の獲得や，支援スキルの向上につながるのかを検証
 実験対象 加賀市の介護プロフェッショナル（24名）
 ３年以内の新人＋プリセプタの12組

 看護・福祉科の高校（70名）

 実験手続き

1. 事前アンケート（日本語版対人反応性指標(IRI)，ケース評価）
2. アンケート後にHMDを装着して体験 食事をとるシチュエーションで，錯視，幻視，立体感覚，幻聴の４つの体験

3. 事後アンケート（日本語版対人反応性指標(IRI)，ケース評価）
IRI：全28項目の５段階リッカートスケール

個人的苦痛，共感的関心，視点取得，想像性

74アンケートconfidential

介護プロフェッショナル

高校生

体験の感想conﬁdential

 ケアプロフェッショナル

 レビー小体型認知症の方の支援について、 今まで、数名の方の支援を行ってきましたが、皆、症状が違っている。症状についても、言葉での症状しかわかっていなく、今回の研修を体験することで、本人の生活のしづらさが良く理解できたように思います。この体験は介護職の方、全員が体験できるとよいと思います。
 実際には見えないものも、生々しく見え、それを食べてということは苦痛でしかないと思った。自分達が見えている世界が正しいという考えはやめようと思った。理解は難しくとも、相手の思いを受け止めるこで、その人が求めていることに少しでも近づけるのではないかと思うようになりました。

 高校生

 今までしたことのない体験だった 画角を変えたときは前の人との距離感が全くと行っていいほど掴めなかった 本来は虫などは入っていないが実際に入っているよ
うに見えてこれは飲めないなと思った 認知症の人のことを全然知れてなかったのだと思った
 掴みにくかったり食べたくない飲みたくないと思ったりした 楽しかった日本語版対人反応性指標（介護プロフェッショナル）
confidential
有効回答者24名
p<0.01（Wilcoxonの符号順位検定，両側）※多変量解析
p<0.05

プリセプターの方が優位に上昇

日本語版対人反応性指標（高校生）
confidential
有効回答者67名
p<0.01（Pared T-Test，両側）p<0.01
30.0
25.0
20.0
15.0
10.0
5.0
0.0
PD事前PD事後EC事前 EC事後 PT事前 PT事後 FS事前 FS事後

なぜか下がる・・特に共感性の項目

「恐怖」「気持ち悪い」というキーワード
 高校生の体験の感想

confidential

 距離感がつかめなかったり、実際には存在しないものが目に見えることは非常にこわいことだと感じた。
 実際に虫が見えたり距離がわからなくなる体験で少し怖いなと思いました。
 はじめてのVRだったので楽しかったですが、実際に患者さんたちはこう見えていると思うと恐怖でしかないのだと思った。
 空間や虫がリアルで本当なら気持ち悪いと思った

 ７件の感想にそのようなキーワードがあり，この感覚が共感性を下げた？？（介護プロフェッショナルは１件のみ）

VR体験の作用と副作用
 The simulation of hallucinations to reduce the stigma ofschizophrenia: A systematic review

 Simulated hallucinations have contradictory eﬀects on stigma,
increasing empathy but also the desire for social distance. They
should therefore be used with caution. Further research is required to
discover if there is a way of using simulated hallucinationinterventions that increases empathy without increasing the desire
for social distance from people with mental illness.

 Virtual Reality Improves Emotional but Not Cognitive Empathy: AMeta-Analysis

 emotional empathy can be aroused automatically when witnessing
evocative stimuli in VR, but cognitive empathy may require more
eﬀortful engagement, such as using oneʼs own imagination toconstruct othersʼ experiences.

現実と体験の間の設計
 体験者の感想 もっとリアルな感じだとさらに怖いと思う。
 正直なところ虫も動いているけど、自分にとってはそこまでのリアル感がなく、もう少し恐怖を感じるものの方が伝わるのではないかと感じた。

 樋口直美（誤作動する脳より抜粋，p.56）
このGapがテクノロジーの一つの方向性では？

 幻視におびえていたころは夜中にトイレに行くことが怖く，目をつぶって手探りで行ったことがありました．……今でも幻視は現れるのですが，VRで再現したころとは違う，平穏な世界に私はいます．幻視の受け止め方は，時間とともに変化していったのです．

360°映像によるケアの体験 ユマニチュードの関わりと通常のケアの関わりの違いの体験によって，生体的な反応がどのように表出するのかを調査
 同じ場面におけるユマニチュード・通常のケアをセットで作成
 ネガティブな状態を計測
EDAデータ0-5

1234567
89
111
133
155
177
199
221
243
265
287
309
331
353
375
397
419
441

EDA

5

時間娯楽b

病室b

ストレッチャーb

体温b

おむつb

ストレッチャーg

体温g

EDA(Electrodermal activity) sensorを利用した不安やストレス反応の評価

おわりに 障害のある人とのコミュニケーションは，人の知能の理解に向けて重要な手がかりとなる AIやXRの技術によって，センシティブな空間のデータ化や活用方法の大きな進展が予想される
 課題

 TechnologyとScienceの相互作用と共進化
 障害当事者へのセルフケアのデザイン