平成 30 年度 卒業論文

論文題目
介護施設入居者に対する対話可能な映像提示による心的ケアの試み

指導教員
舟橋

名古屋工業大学

工学部

平成 27 年度入学

名前

情報工学科

27115070 番

柴田 航

健司

准教授

i

目次
第 1 章 はじめに

1

第 2 章 対話可能な映像提示システム

32.1

本システムの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32.2

ジェスチャー認識と映像インタラクション . . . . . . . . . . . . . . . . . . . . . . .

32.2.1

手を振る動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32.2.2

手をかざす動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52.2.3スワイプ動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

72.2.4 前傾動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
プロジェクターによる 2 壁面への投影 . . . . . . . . . . . . . . . . . . . . . . . . . .

7102.3

第 3 章 心的ケアについての検証実験

133.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

133.2

結果と考察

18. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 4 章 むすび

21

謝辞

22

参考文献

23

1

第1章

はじめに

我が国では年々高齢化率が上昇している. 平成 29 年 10 月 1 日現在, 総人口は 1 億

2,671 万人となり, 65 歳以上人口は 3,515 万人と総人口に占める割合が 27.7%にもなった [1]. これに伴い有料老人ホーム等の介護施設の施設数や定員数も年々増加傾向にある [2]. 介護施設の需要は高まっており, 施設のサービスも充実してきている. そのサービスの一環として, 施設では様々なレクリエーションやイベントを行っている.
これは施設での生活が単調になり, 入居者が引きこもりがちになるのを防ぐためである. レクリエーションの一つには施設外への外出するものもあるが, 外出は健康状態が比較的良好な者に限られてしまう. また, 介護施設入居者の中には認知症を患う人も少なくない. 認知症のリハビリテーションにおいて, 認知機能そのものを向上させるようなものはなかなか効果が上がらないが、残存機能を活かした笑顔と生活機能の向上をめざすものは比較的有効とされている [3]. 過去には音楽療法によって認知症の症状を緩和する研究もある [4]. そこで, 外出している感覚を楽しく得るようなコンテンツがあれば介護施設入居者への心的ケアが可能なのではないかと考える.
ところで, 室内にいながら外出している感覚を得る方法はすでに提案されている[5] が, このシステムでは実装コストの高い機材を複数使用する必要がある. また, 高齢者のなかには機材を身に着けることに抵抗がある人がいるかもしれない. そこで,機材を身に着けず、体の動きに応じてスライドを操作するような研究 [6][7] も存在す
るが, そのほとんどがプレゼンテーション支援を目的としたものであり, . 外出している感覚を得られるようなものの例はみない.
そこで本研究では介護施設入居者に対して, VR 技術によって対話的な視聴が可能な映像を提供し, 入居者の心的ケアを行うシステムを提案する. 単に写真をスライドショーとして受動的に視聴するだけでなく, 能動的に方向転換や移動できるような感覚を与えたり, 手を振り上げる等の動作に対して動物が反応して動くようなシー

第1章

はじめに2

ンや植物を手に取るようなシーンを提供することで, 外出気分を感じてもらい, 心的ケアにつなげたい. 提案システムでは, Kinect センサーを用いて人物の動きを取得することで, 体験者に機材を身に着けてもらう必要をなくし, システム全体のコストも抑える.
以下本論文では, 第 2 章で構築したシステムについて述べる. 第 3 章では本システムの動作の検証実験とその結果について述べる. 第 4 章では本研究のまとめや今後の課題について述べる.

3第2章

2.1

対話可能な映像提示システム

本システムの概要

本研究では, 介護施設入居者に対して, 対話可能な映像を提示することで心的ケアを行うことを目的としている. そこで, 人の動きに対応して映像を変化させるシステ
ムを, PC, Microsoft Kinect, および 2 台のプロジェクターを用いて構築した. 構築したシステムの模式図を図 2.1 に示す. Kinect はマイクロソフトから発売されたモーションキャプチャ機器である. Kinect には Depth センサーと Color センサーが搭載されており, 人物の深度 ( Depth ) や人物領域, 人物骨格 ( Skeleton ) の情報を取得することができる. Kinect の座標系を図 2.2 に, Kinect で認識できる骨格情報を図2.3 に示す.

2.2

ジェスチャー認識と映像インタラクション

本システムでは, Kinect により得られる Skeleton 情報を利用し, ジェスチャーの認識を行う. ジェスチャーの認識後, 認識したジェスチャーに対応して映像を変化させる. 本システムでは, 手を振る動作, スワイプ, 前傾姿勢, 手をかざす動作の 4 つのジェスチャーの認識を可能とする. 以下それぞれのジェスチャーに対し, 認識方法と対応する映像の変化について述べる. なお, ジェスチャー認識に用いた閾値は数人にジェスチャーを行ってもらい, 経験的に設定した.

2.2.1

手を振る動作

手を振る動作は遠くの人を呼ぶときや別れるときに使われる一般的なジェスチャーである. 本システムでは人が写っている画像に対して手を振る動作をすることで, その人物が手を振り返すといったような画像を表示するという変化を与える. なお, 手第2章

対話可能な映像提示システム

図 2.1: システムの模式図

図 2.2: 骨格のジョイント情報の基準となる座標系

4第2章

対話可能な映像提示システム5

図 2.3: Kinect で認識する骨格情報を振る動作の可否は映像ごとに事前に設定しておき, また変化を与えるための別の画像も事前に対応付けしておく.
手を振る動作の認識に必要な情報は肘の関節座標と手のひらの座標, そして時間である. 手のひらと肘が追跡されていて, 手のひらが肘よりも上の状態 ( 図 2.4 状態 A) ならば手を振る動作の途中であるとする. 一定の時間以内に状態の遷移 ( 図 2.4 状
態 B から図 2.4 状態 C, または 図 2.4 状態 C から図 2.4 状態 B ) を一定回数行うことで手を振る動作が行われたと認識する. 手のひらの X 座標の値と肘の X 座標の値の差 ( 図 2.4MB および MC ) が閾値を越えた場合に状態が遷移したと判断する. 手を振る動作の途中で手のひらが肘よりも下にある状態になった場合と一定時間以内に状態の遷移が行われなかった場合は手を振る動作は失敗であると判断して状態遷移の回数をリセットする.

2.2.2

手をかざす動作

本システムでは 2 種類の手のひらをかざす動作と対応する映像変化を用意する. 手のひらを体の前にかざす ( 図 2.5A ) ことで自分がそのシーンの中で上下左右に移動

第2章

対話可能な映像提示システム

図 2.4: 手を振る動作の判定

6

第2章

対話可能な映像提示システム

7

しているように相対的に画像を移動させるものである. なお, 手のひらを体の前にかざす動作の可否は映像ごとに事前に設定しておき, また変化を与えるための別画像も事前に対応付けておく.
手をかざす動作の認識には手のひらの座標と時間が必要である. 手のひらが追跡された状態で手のひらの X 座標および Y 座標が閾値で定められた範囲に入った場合に手をかざす動作の開始とする. その後閾値で定められた範囲内で手のひらが一定時間留まった場合に手をかざす動作が行われたと判断する. 一定時間が経過する前に手のひらが範囲を外れてしまった場合は手をかざす動作は行われていないと判断する.

2.2.3

スワイプ動作スワイプはタッチパネルが普及している現代社会において状態遷移を目的とする一般的なジェスチャーの一つである. 本システムではスワイプを認識することで, 時系列や空間的に関連付けられた画像列において直後や直前の画像への遷移を行う.
スワイプの認識には手のひらの座標と時間が必要である. 手のひらが追跡されている状態で手のひらの X 座標の値が閾値を越えた場合にスワイプ開始とする ( 図 2.6状態 1 ) . スワイプ開始から一定時間以内に一定距離だけ X 軸方向に移動したら (図 2.6 状態 2 ) スワイプが行われたと認識する. スワイプが認識される前に開始位置から Y 軸方向に一定距離離れてしまった場合と X 軸方向に一定距離移動する前に一定時間過ぎてしまった場合はスワイプは行われていないと判定する.

2.2.4

前傾動作

本研究は外出が容易にできない介護施設入居者を対象としている. そのため本システムの体験者は椅子や車いすに座っていることを前提としている. そこで, 表示された映像内において, そのシーンの奥へと進む状況を前傾動作により実現する. 本シ
ステムでは椅子に座り背もたれに背中を付けている状態 ( 図 2.7 状態 C ) から前傾動作 ( 図 2.7 状態 A ) を行うことで, 自分がそのシーン中で奥に移動しているように映像を拡大する. 拡大には上限を設けることで, 表示解像度が極端に低くなること

第2章

対話可能な映像提示システム

図 2.5: 手をかざす動作の判定

8

第2章

対話可能な映像提示システム

図 2.6: スワイプ動作の判定

9

第2章

対話可能な映像提示システム

10を抑制する. また, 前傾動作を止めて元の背もたれに背中を付けている状態に戻すことで, 自分がそのシーンの中で後方に戻っているように映像を縮小する. 縮小にも上限を設けており, 拡大前の本来の縮尺よりも縮小しない. さらに, 図 2.7 状態 B のよ
うに中間の姿勢をとることで映像を拡大した状態で止める.
前傾姿勢の認識には頭の深度値が必要である. 頭が追跡されている状態で頭の深度値が閾値を越えると前傾動作を行ったと判断する.

2.3

プロジェクターによる 2 壁面への投影

映像を 2 台のプロジェクターを用いて 2 壁面に投影することで没入感を高める. また, 画像の一部分を表示し, 対応したジェスチャーに応じて画像を動かすことで画像内を移動している感覚を与える. プロジェクター 1 で画像の中心から左の一部分を,プロジェクター 2 で画像の中心から右の一部分を投影することで実装している ( 図2.8 ). 拡大の起点と拡大の倍率, 移動方向, 移動間隔を合わせることで 1 枚の画像として表示する. 図 2.9 に実際に 2 壁面に映像を投影した様子を示す.

第2章

対話可能な映像提示システム

図 2.7: 前傾動作の判定

11

第2章

対話可能な映像提示システム

図 2.8: プロジェクターによる 2 壁面への投影

図 2.9: 実際に 2 壁面に投影した様子

12

13第3章

3.1

心的ケアについての検証実験

実験概要

本研究の目的は介護施設入居者に対して対話可能な映像を提示することで, 介護施設入居者に外出気分を感じてもらい, 心的ケアを行うことである. そこで本システムを利用した場合の主観評価による評価実験を行った.
本来なら介護施設入居者などの高齢者を対象に実験を行うべきであるが, システムの完成度を確認するために, 本実験では大学生および大学院生の計 8 人に参加して頂いた. そのため, 提示する画像は大学生活をテーマとした画像 10 枚とジェスチャーに対応した画像 7 枚を用意し, 各種動作に対応する映像変化を対応付けた物語構成のコンテンツとして提示した. 実験風景を図 3.1 と図 3.2 に示す. また, 実験参加者が行った手を振る動作, 手をかざす動作, スワイプ動作, 前傾動作とそれぞれのジェスチャーに対する映像インタラクションを図 3.3 から図 3.7 に示す. なお, 被験者の様子を見やすくするために照明を点けた状態での画像を含んでいるが, 実際には照明を落とした部屋で実験を行っている. 実験参加者にはシステムを体験した後に, 以下の 3 点について評価を行ってもらった.

• 質問 1 : 外出気分を味わうことが得られたかどうか.
• 質問 2 : 自分の思い通りに画像内を移動できたと感じられたかどうか.
• 質問 3 : 手を振る動作などに対して, 対話ができていると感じられるような, 適切な応答が得られたかどうか.
評価は 5 段階評価 ( 5: はい, 4: どちらかと言えばはい, 3: どちらとも言えない, 2:どちらかと言えばいいえ, 1: いいえ ) で行った. また, システムを体験した感想とシステムに関して改善点やあると良いと思う機能についても伺うことにした.

第3章

心的ケアについての検証実験14

図 3.1: 実験の様子

図 3.2: 実験の様子 ( 照明あり )第3章

心的ケアについての検証実験

図 3.3: 手を振る動作と対応する映像インタラクション

15

第3章

心的ケアについての検証実験

図 3.4: 手をかざす動作と対応する映像インタラクション

16

第3章

心的ケアについての検証実験

図 3.5: 手をかざす動作と映像シーン内での移動

17

第3章

心的ケアについての検証実験

18

図 3.6: スワイプ動作と前後のシーン映像への移動

3.2

結果と考察

評価結果を表 3.1 に示す. 3 つの質問全てにおいて平均 4 点を越えており, 一定の効果が期待できる結果となった. 実験参加者の感想として• 参加者 B : 楽しかった.
• 参加者 D : ずっと室内にいる人がこのシステムを使えばリフレッシュになると感じた.

• 参加者 F : システムとしてはおもしろく外出しているようだった.という好意的な意見があった. 一方で• 参加者 C : 疲れる.
• 参加者 F : 高齢者の方には手をずっと上げるような動作はつらいのではないか.
• 参加者 G : 下方向への移動が難しかった.

第3章

心的ケアについての検証実験

図 3.7: 前傾動作と映像シーン内での奥行き方向移動

19

第3章

心的ケアについての検証実験

20といった指摘もあった. さらにあると良いと思う機能として• 参加者 D : 視覚情報だけでなく音や触覚 ( 風など ) 情報があると良い.
• 参加者 E : 個別に閾値を設定できると良い.
• 参加者 H : 手のカーソルを表示すればどこに手を持っていけばいいのかわかりやすい.という意見をいただいた.
実験の様子を見ていると実験参加者のほとんどのジェスチャーは認識されていたが, ジェスチャーが認識されないこともあった. 上述の実験参加者に指摘していただ
いた点も含め, 閾値の設定に問題があったと考えられる. この問題を解決するには高齢者の方が疲れない範囲でジェスチャーをしっかり認識できる閾値の設定を行う必要がある. この閾値を設定する方法は 2 種類考えられる. 1 つめは今回の実験参加者からいただいた意見にあった個別に閾値をとる方法である. この方法は確実性があるが, システムを体験してもらう前にすべてのジェスチャーを行ってもらう必要がある. 2 つめは閾値の統計をとる方法である. この方法ではシステムを体験してもらう前にジェスチャーを行ってもらう必要はないが, 個別に閾値を設定するよりも確実性に欠けると考えられる.
表 3.1: 評価結果
C D E F

被験者

A

B

GH

平均

質問 1

544555454.63

質問 2

3554

質問 3

443444544.25

45444.00

21

第4章

むすび

本研究では外出が容易ではない介護施設入居者に対して対話可能な映像を提示することで外出気分を感じてもらい, 心的ケアを行うための手法を提案した. 人の動きに対応して映像を変化させるシステムを構築し, 評価実験を行った. その結果, 一定の効果が期待できることが示された. 本論文では介護施設入居者に対しての評価実験は行っていない. 今後の課題としては, 実際に介護施設入居者に本システムを体験してもらい心的ケアが行えるのかを確認することや, 介護施設入居者が行うジェスチャーを認識するための閾値の設定をすることが考えられる. さらに, 静止画だけでなく動画を利用したり, 認識できるジェスチャーの種類を増やすことで, 介護施設入居者がより楽しむことができて心的ケアにつながるシステムを提案していきたい.

22

謝辞

本研究を進めるにあたって, 日頃から多大な御尽力を頂き, ご指導を賜りました名古屋工業大学, 舟橋健司 准教授, 伊藤宏隆 助教に心から感謝致します. 最後に, 本研究に多大な御尽力頂きました舟橋研究室諸氏に深く感謝致します.

23

参考文献

[1] 平成 30 年版高齢社会白書
https://www8.cao.go.jp/kourei/whitepaper/w-2018/zenbun/pdf/1s1s 01.pdf[2] 平成 29 年社会福祉施設等調査の概況
https://www.mhlw.go.jp/toukei/saikin/hw/fukushi/17/dl/gaikyo.pdf[3] 山口 晴保, “ 認知症の脳活性化リハビリテーション ”, 老年期認知症研究会誌,
p.133-139, 2011[4] 岡部 多加志, 小林 俊恵, “ アルツハイマー型認知症の音楽療法 ”, バイオメカニ
ズム学会誌, Vol. 30, No. 2, pp.71-76, 2006

[5] 張 慶椿, 高橋 伸, 田中 二郎, “ 回転式カメラと没入空間による疑似共同外出感覚の実現 ”, 情報処理学会インタラクション, 2011[6] 和田 智, “ Kinect センサーを用いたプレゼンテーションの実践 ”, 情報学研究,
Vol. 2, p.111-115, 2013[7] 山田 裕之, 丹羽 佑輔, 白松 俊, 大囿 忠親, 新谷 虎松, “ ジェスチャーで操作可能なスライドオブジェクトに基づくプレゼンテーション支援システムについて ”,
日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集