2020 年度 卒業論文

論文題目
施設入所者と家族を適度につなぐ
ビデオ通話ベースバーチャルリビングシステムの提案

指導教員
舟橋

名古屋工業大学

工学部

2017 年度入学

名前情報工学科

29114026 番

瓜生 賢輝

健司

准教授

i

目次
第 1 章 はじめに

1

第 2 章 Bluetooth に関する技術と Skype の機能

42.1

Bluetooth に関する技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42.2

Skype の機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

第 3 章 バーチャルリビングシステム

3.1

8

在室確認機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83.2

通話開始終了機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83.3

情報送受信機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93.4

画面表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

第 4 章 評価実験

184.1

実験方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

4.2

実験結果とその考察

18. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 5 章 むすび

22

謝辞

23

参考文献

24

1

第1章

はじめに

近年，日本をはじめ多くの国で，高齢者は増加傾向にある．2019 年 9 月 15 日時点
で日本の総人口は前年に比べ 26 万人減少している一方で，65 歳以上の高齢者の人
口は前年に比べ 32 万人増加し，3588 万人となった．これは過去最高の値である．割合で見ても，我が国の 65 歳以上の高齢者が総人口に占める割合は 28.4 ％と前年に比べ 0.3 ポイント増加した [1]．また，65 歳以上の高齢者の中で介護が必要であると介護保険制度により認められた人は，2017 年度末で約 628 万人となっている [2]．介
護をする家族が居ればいいのだが，介護をする時間的余裕がなく介護施設に入ることを強いられる人もいる．
入院したり，介護施設に入ることで起こる問題の一つは，居住場所の変化や今まで一緒に過ごしてきた家族と離れ離れになることなどの環境の変化からくるストレスである．このストレスによりせん妄などの病気になる可能性がある [3]．せん妄とは環境認識の低下などの意識障害，集中力が下がることなどといった注意障害，失見当識や言語の障害などの認知障害，誤解をすることや錯覚を起こすことなどの知覚障害を伴う症候群のことである [4]．多くのせん妄患者は完全に回復するが，適切な治療を施さなければ，昏睡やけいれんの症状を起こしたり，最悪の場合は死にいたることもある．このようなことから，高齢者がせん妄になることを予防する，またはせん妄を発症してしまった高齢者に対して適切な対応をすることが必要であると考えられる．
高齢者がせん妄をなるべく発症しないようにする，またはその高齢者がせん妄の症状から回復するために家族らができることは，例えば安心感を与えるため高齢者と同じ部屋で一緒に過ごすことである [4]．しかし，近年は家族が遠方に居住するなど面会が困難であり，また 2020 年度のように感染症の流行により面会が大きく制限されてしまうこともある．このような環境下においても人とコミュニケーションを

第1章

はじめに

2

取ることができる方法の一つとして，ビデオ通話を使用した会話が考えられる．ビ
デオ通話は近年，ウェブサービスの発達によって誰でも安価に，また容易に使用することができるようになった．このビデオ通話を常時使用し，病室や介護施設の部屋にいる高齢者と，家にいる家族らを繋ぎながら生活することである程度は高齢者が家にいたときと同じように家族らとコミュニケーションを取ることができると考えられる．しかしこの方法では，ビデオ通話を常時使用することによる不快感，圧迫感が双方に生まれるかもしれないという問題点が考えられる．すなわち，不快感や圧迫感を感じさせないような適度なつながりを実現する必要がある．適度なつながりを持つ空間は例えば家のリビングが挙げられる．家のリビングでは，家族が自由に生活しており強いつながりはないがリビングにいる人が他のリビングにいる人に話しかけることによっていつでも会話を始めることができる．さらに，始めた会話は会話の終了を主張しなくても自然と終了する．このようなつながりを実際にお互いが同室にいないときにも感じることができるような仮想的な空間を，本研究では「バーチャルリビング」と呼ぶことにする．
本研究では，介護施設などに入居している高齢者や，病院に入院している高齢者と，その家族とが，家庭のリビングという同じ場所にいないにもかかわらず，同じ場所にいるように適度なつながりが維持できているような感覚を得られる，バーチャルリビ
ングシステムを提案する．提案するシステムで満たすべき要件は，互いに相手がバーチャルリビングに対応する実際の部屋の中にいるかどうかを知ることができること，任意のタイミングでビデオ通話を始めることができること，会話が自然に終了することである．ある人が部屋にいるかどうかを判定するためには Bluetooth の機能を利用した iBeacon を用いる．部屋の中に設置するシステム (PC) が，PC (Bluetooth端末) と，iBeacon 発信器を身につけた対象者との距離を測定することで，その人が部屋の中にいるのか外にいるのか判定する．ビデオ通話機能は独自に作成することも考えられるが，本研究ではアカウントの作成が容易で，無料で利用できるコミュニケーションツール Skype[5] をサブシステムとして利用することで検証実験を行う．
第 2 章では実験システムを構成するために使用する Bluetooth の技術と Skype の機能に関して説明する．第 3 章では構築したシステムの詳細について述べる．第 4章では，システムの評価実験及び，結果と考察について述べる．第 5 章では，研究

第1章

はじめにのまとめと今後の展望について述べる．

3

4第2章

2.1

Bluetooth に関する技術と Skype の機能

Bluetooth に関する技術

Bluetooth とは近くのものを無線を用いて繋げる通信技術である．1999 年に初めて公開されて以来，数年に一度更新されており，機能の向上，新たなネットワークへの対応が進められている．近年ではイヤホン，キーボード，マウスなどのパソコンの周辺機器や，カーナビゲーション，デジタルカメラなどの機器に利用されている [6]．

BLE (Bluetooth Low Energy) は Bluetooth 規格の一つである．BLE のデバイスにはセントラルという役割を持つものと，ペリフェラルという役割を持つものの 2 種類が存在する．セントラルの役割はネットワーク上の親局となることで，ペリフェラルの役割はネットワーク上の子局となることである．例えば，体温計で測った値を，接続したスマートフォンに提供する場合，スマートフォンがセントラルとなり，体温計がペリフェラルとなる．BLE は消費電力の低さが特徴である．BLE のペリフェラルとなるデバイスは，電力消費量を低減するため，大半の時間をスリープモードで維持している．このスリープモードはセンサーの変化などのイベントが起こったときに解除され，セントラルとなるデバイスに情報が送信される [6]．ペリフェラルとセントラルの動作の様子を図 2.1 に示す．

iBeacon とは Apple 社の商標であり，BLE のブロードキャスト通信を利用した位置特定および，近接検出を行う技術のことである [7]．iBeacon のペリフェラル端末
は，個体を識別するためのアドバタイズパケットというものを発信する．これをセントラルが受信することでセントラルがあらかじめ決められた処理を実行する．また，セントラルがペリフェラルの信号を検出したとき，セントラルは検出したペリフェラルの信号の強度を示す RSSI を使用し，セントラルとペリフェラルのおおよ第2章

Bluetooth に関する技術と Skype の機能

5

その距離を推定する．

2.2

Skype の機能

Skype では特定の Skype ユーザと，図 2.2 のように文字でのチャット，通話，ビデオ通話によりコミュニケーションを取ることができる．また，Skype では図 2.3 のようにビデオ通話中にビデオ通話の画面のまま，文字チャットを使用して文字でのコミュニケーションも取ることができる．ビデオや音声による最大 100 人での会議の開催も可能である．通話では字幕をリアルタイムで表示することができ，これにより難聴や聴覚障害を持っている人たちも便利に利用することができる．通話の録音機能も提供されており，聞き逃したくない内容も録音しておき，後から聞き直すことができる．登録している Skype ユーザのページでは，図 2.4 のようにそのユーザの状況がアイコンで表示される．これにより Skype ユーザが現在オンラインで連絡を取ることができる状態なのか，オフラインであったり，何かをしていたりして連絡を取ることができない状態なのか知ることができる．

第2章

Bluetooth に関する技術と Skype の機能

図 2.1: セントラルとペリフェラル

図 2.2: Skype の文字チャット画面

6

第2章

Bluetooth に関する技術と Skype の機能

図 2.3: ビデオ通話中に文字チャットをしている様子

図 2.4: Skype の相手が連絡可能かどうかを表すアイコン

7

8

第3章

3.1

バーチャルリビングシステム

在室確認機能ある人がリビングなどの空間にいるとき，強いつながりはなくても別のある人が同じ空間にいるのか，いないのかを判断することができる．このことからバーチャルリビングシステムにはシステム利用者がバーチャルリビングに対応する実際の部屋にいるかどうかを判定する機能が必要であると考えられる．システム利用者がバーチャルリビングに対応する実際の部屋にいるかどうかを判定するためには Bluetooth の機能を利用した iBeacon を用いる．部屋の中に設置するシステム (PC) が，PC (Bluetooth端末) と，iBeacon 発信器を身につけた対象者との距離を測定することで，その人が部屋の中にいるのか外にいるのか判定する．

3.2

通話開始終了機能

リビングなどの空間での会話の始まり方は会話をするどちらか一方が，もう一方になんらかの言葉をかけて始まる．しかしこれは，例えば電話をかけるような機械的な操作ではなく，さりげない「声かけ」である．このことを再現するためバーチャ
ルリビングシステムでは発された特定の言葉を認識することで，Skype のビデオ通話を開始したい．しかし，サブシステムとして利用する Skype にはそのような機能はない．そこで，メインシステムからマウスカーソルを制御することで Skype の通
話開始ボタンのクリック操作を実現して，通話が始まるようにする．通話が始まる
特定の言葉は普段のリビングなどの空間での会話の始まり方を考え，実験システム
では「なあ」という言葉にする．
リビングでの会話の終了は会話しているどちらか一方がコミュニケーションの終了を主張するということもなく自然に終了することが多い．そこで提案するシステム
では通話状態において，お互いに何も言葉を発さない時間がある程度続くと，Skype第3章

バーチャルリビングシステム

9のビデオ通話を終了したい．実際には，メインシステムから開始時と同様にマウスカーソルを制御することで通話終了ボタンのクリック操作を再現して，通話を終了させる．お互いが何も言葉を発さなくなり，通話を終了するまでの時間は，普段のリビングなどの場所での会話時間を考え 3 分間とする．なお，音声認識機能はマイクロソフト社が提供している Speech SDK[8] を利用する．

3.3

情報送受信機能

リビングなどの同じ空間にいる 2 人の人は，片方の人がその空間から出たことをもう片方の人は知ることができる．また，片方の人がリビングなどの空間から出たあと，その空間へ戻ってきたことをもう片方の人は知ることができる．バーチャル
リビングシステムではこれらのことを再現するために，システム利用者の在室状況の変化を，お互いに伝え合う必要がある．
在室状況の変化をお互いに伝え合うには，その情報を UDP 通信を利用し送受信する方法が考えられるが，通信を行うためのサーバを用意することにはコストがかかる．そこで Skype の文字チャットを利用して相手に必要な情報を送信することにする．ビデオ通話の開始終了処理と同様に，メインシステムがマウスカーソルを制御して，Skype 文字チャットの画面からテキスト情報を「コピー」することで，クリップボードを経由して情報をやり取りする．互いのメインシステムは，Skype の文字チャットを介して，互いの利用者の在室状況を取得する．このため，Skype 文字チャット画面を表示しておく必要がある．なお利用者は，文字チャット機能を通常の利用の仕方で活用することも可能である．

3.4

画面表示

なお実際のリビングでは，リビングの中にいる人は，ある人がリビングの中にいるのかいないのか一目で分かる．このことからバーチャルリビングシステムでは相手の在室状況がシステムの利用中いつでも一目でわかるような工夫が必要であると考える．相手が在室している時は，画面に相手を表すキャラクターを表示し，相手が在室していない時は，画面に相手を表すキャラクターを表示しないようにする．

第3章

バーチャルリビングシステム

10

相手の在室状況を表示しながら，Skype 文字チャット画面を表示しておく必要がある．そこで図 3.1 のように画面の左半分は相手の在室状況を表示し，画面の右半分は Skype の文字チャット画面を表示する．以下に，実際の動作例を示す．

1. 自分が退室したとき (図 3.2)
メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「自分が退室した」というテキスト情報をペーストする．
サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

2. 自分が入室したとき (図 3.3)
メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「自分が入室した」というテキスト情報をペーストする．
サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

3. 相手が退室したとき (図 3.4)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの画面に表示されているテキスト情報をコピーする．メインシステムはその情報をクリップボードを経由して得ることで，「相手が退室した」という情報を得る．

(2) メインシステムは在室状況表示画面において相手の退室を示すアニメーションを表示する．

(3) 在室状況表示画面に表示されていたねずみ (相手を表すキャラクター) は表示されていない．

4. 相手が入室したとき (図 3.5)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの画面に表示されているテキスト情報をコピーする．メインシステムはその情報をクリップボードを経由して得ることで，「相手が入室した」という情報を得る．

第3章

バーチャルリビングシステム

11(2) メインシステムは在室状況表示画面において相手の入室を示すアニメーションを表示する．

(3) 在室状況表示画面に，ねずみ (相手を表すキャラクター) が表示されている．
5. 特定の言葉を発し，ビデオ通話が開始されるとき (図 3.6)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「まもなく通話を開始する」というテキスト情報をペーストする．サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

(2) Skype の画面が右半分のままでは，ビデオ通話画面が小さく相手の様子がよくわからない．そこで，メインシステムはビデオ領域を含む Skype 画面を最大化する．

(3) メインシステムがマウスカーソルを制御し，ビデオ通話開始ボタンをクリックすることでビデオ通話を開始する．

6. 一定時間，どちらかが言葉を発さず，ビデオ通話が終了するとき (図 3.7)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「まもなく通話を終了する」というテキスト情報をペーストする．サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

(2) メインシステムがマウスカーソルを制御し，ビデオ通話終了ボタンをクリックすることでビデオ通話を終了する．

(3) Skype の画面が最大化された状態では，相手の在室状況を表す画面を利用することができない．そこでメインシステムは，ビデオ領域が不要となった

Skype の画面を右半分にし，画面の左半分には相手の在室状況を表示する．

第3章

バーチャルリビングシステム

図 3.1: システムの待機時の画面

図 3.2: 自分の退室通知を送信する様子

12

第3章

バーチャルリビングシステム

図 3.3: 自分の入室通知を送信する様子

13

第3章

バーチャルリビングシステム

図 3.4: 相手の退室通知を読み取り画面が切り替わる様子

14

第3章

バーチャルリビングシステム

図 3.5: 相手の入室通知を読み取り画面が切り替わる様子

15

第3章

バーチャルリビングシステム

図 3.6: 通話を開始する前に画面が最大化される様子

16

第3章

バーチャルリビングシステム

図 3.7: 通話を終了して待機時の画面に戻る様子

17

18

第4章

4.1

評価実験

実験方法

提案したバーチャルリビングの実験システムを構築し，検証実験を行なった．本シ
ステムの目的は第 1 章で述べたように，離れた場所にいる人たちが，実際には同じ場所にはいないがあたかも同じ場所にいるように感じるようにすることである．またその人たちが，電話で会話するような強い拘束関係はなく，離れた場所にいる人が同じ場所にいて関わりたいときのみ関わることができる関係を持っているように感じるようにすることである．
実験ではまず，被験者に本システムを使用せず，ビデオ電話を繋ぎながらいつも通りの生活をしてもらい，被験者からその状況下での生活に対しての感想を聞く．その後，被験者に別の日に本システムを使用しながら生活をしてもらう．最後に被験者に，これら 2 つの生活方法を比較した感想を聞き，本システムが目的を達成できるのか検証する．実験は一対一の 2 組の被験者に対して行なった．それぞれの組に，本システムを使用しない実験を 4 時間，本システムを使用する実験を 6 時間行ってもらった．なお，本研究は高齢者とその高齢者の家族らが離れた場所で暮らす状況においての問題解決手法についてのものであり，被験者同士は離れた場所で実験を行なった (図 4.1)．また，本システムを使用している様子を図 4.2 に示す．

4.2

実験結果とその考察

本システムを使用しない実験に対して被験者から以下の感想が得られた．

• 何か話さなければいけないと思い，気を遣う．
• 普通に一緒の空間で過ごすよりは不快感のようなものを感じた．
• 会話のやめ時を失うことがあった．

第4章

評価実験

19

本実験で行なったこれら 2 つの生活方法を比較した感想として被験者から以下の感想が得られた.

• カメラが常についているわけではないので前 (本システムを使用しない実験) よりは自由に過ごしやすかった．

• 入退室を繰り返ししていると何をしているのか気になった．
• 会話が意識せずともフェードアウトした際に接続終了するのも自然で心地よいものだと思えた．

• 接続終了はコミュニケーションの終わりを示すものではなく，また話しかければよいものだという気軽さをも持っている．
本システムを使用しない生活に対して「気を遣う」，「不快感のようなものを感じた」という感想が確認できる．このことから，被験者はビデオ通話を繋ぎながらの生活において，居心地の悪さを感じたと考えられる．一方で，本システムを利用した状態と比較した場合には，本システムに対して，「自由に過ごしやすかった」，「心地よい」，「気軽さ」という感想が確認できる．本システムの利用は，単にビデオ通話を繋ぎ続けた状態よりも，両者が適度に「つながっている」状態を実現できている．また，「入退室を繰り返していると何をしているのか気になった．
」という感想に着目す
る．実際にリビングで家族と一緒にいるとき，家族がリビングから出る，入るを繰り返していると何をしているのか気になる．このような感情を本システムは使用者に抱かせている．このことから本システムは実際のリビングをある程度再現できていると考える．しかし，実際のリビングでは持ち物や移動方向からおおよその行動が推定できることもある．この点についての改良が必要かもしれない．

第4章

評価実験

20

図 4.1: 行なった実験のイメージ

第4章

評価実験

21

図 4.2: 本システムを利用している様子

22

第5章

むすび

本研究では，入院することや介護施設に入ることで，家族と離れて暮らすことになった高齢者が環境の変化や孤独を感じることからのストレスを軽減するためのシステムを提案した．家のリビングでは，家族が自由に生活しており強いつながりはないが，リビングにいる人が他のリビングにいる人に話しかけることによっていつでも会話を始めることができる．さらに，始めた会話は会話の終了を主張しなくても自然と終了する．このようなつながりを実際にお互いが同室にいないときにも感じることができるような仮想的な空間である「バーチャルリビング」を実現するシステムを提案し，評価実験を行なった．実験システムでは実際のリビングでのつながりを再現できていることが確認された．本システムは離れた場所にいる 2 人がコミュニケーションをとることを可能にするものである．しかし，入院や介護施設に入ることによって家族と離れ離れになった高齢者の家族は 1 人とは限らない．家族が複数人いる場合に，離れた場所にいる高齢者はその家族全員の様子が知りたいと思うだろう．そこで今後の課題として，例えば iBeacon 発信器を家族全員に身につけてもらうことで，家族それぞれの様子や，その関わりの状態を高齢者側に知らせることを検討したい．高齢者が家族の様子をある程度想像することができるようになることで，その高齢者の，入院などの環境の変化によるストレスが軽減されることが期待できる．また，実際のリビングでは持ち物や移動方向からおおよその行動が推定できることもある．そこで，iBeacon より得られる情報を手掛かりに人の動きを推定して，何をしているのか伝え合うことも検討したい．家族の動きを家族と離れた場所にいる高齢者に送信することにより，その高齢者は家族の様子を詳しく知ることができる．これによりさらに，家にいた頃の環境に近い環境を作り，環境の変化からくるストレスを軽減できると期待できる．

23

謝辞

本研究を進めるにあたり，日頃から多大なるご尽力を頂き，ご指導を賜りました
名古屋工業大学，舟橋健司 准教授，伊藤宏隆 助教に心から感謝致します．
最後に，本研究に多大なご協力を頂きました舟橋研究室諸氏ならびに被験者の方々に深く感謝致します．
本研究の一部は JSPS 科研費 JP20K11918 の助成を受けたものです．

24

参考文献

[1] 総 務 省 統 計 局 ，統 計 か ら み た 我 が 国 の 高 齢 者-「 敬 老 の 日 」に ち な んで-，統 計 ト ピック ス No．121，1．高 齢 者 の 人 口(2019.9.15 現 在)，https://www.stat.go.jp/data/topics/topi1211.html (2021.1.25 閲覧)[2] 内閣府，令和 2 年版高齢社会白書 (全体版)，第 1 章，第 2 節，2．健康・福祉，
https://www8.cao.go.jp/kourei/whitepaper/w-2020/html/zenbun/s1 2 2.html(2021.1.28 閲覧)[3] 松井 文，八塚 美樹，高畠 里美，向山 要吏子，長谷川 薫，田澤 賢次，“高齢手術患者のせん妄発症要因に関する検討”，富山医科薬科大学看護学会誌，
第 6 巻 1 号，2005[4] 米国精神医学会，“米国精神医学会治療ガイドライン せん妄”，日本精神神経学会監訳，粟田主一，佐藤光源責任訳，医学書院，東京，2000．

[5] Microsoft Skype，https://www.skype.com/ja/ (2021.1.29 閲覧)[6] 東 芝 情 報 シ ス テ ム 株 式 会 社 ，特 集 記 事 ，“Bluetooth と は 何 か?”，https://www.tjsys.co.jp/focuson/clme-bluetooth/index j.htm (2021.2.1 閲覧)[7] Apple Developer，“iBeacon”，https://developer.apple.com/ibeacon/(2021.2.1 閲覧)[8] Microsoft，ドキュメント，“Speech SDK について”，https://docs.microsoft.com/
ja-jp/azure/cognitive-services/speech-service/speech-sdk?tabs=windows(2021.2.1 閲覧)