2022 年度 修士論文

論文題目
施設入居者とその家族のための写真とビデオ通話を利用したバーチャルリビングシステム(Virtual living system with photos and video calls
for facility residents and their families)

指導教員
舟橋

名古屋工業大学大学院

工学研究科

情報工学系プログラム 2021 年度入学

瓜生

賢輝

健司

工学専攻

33414021 番

准教授

i

目次
第 1 章 はじめに

1

第 2 章 バーチャルリビングシステム

4

2.1

2.2

ICT 技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.1.1

Bluetooth に関する技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.1.2

Skype の機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5バーチャルリビングシステム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.2.1

在室確認機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.2.2
2.2.3

通話開始終了機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
情報送受信機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6
7

2.2.4

画面表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

第 3 章 バーチャルリビングシステムの改良

16

3.1

視覚的な臨場感 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.2

相手側環境音の把握. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.3

通話の意思把握 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.4

ユーザビリティ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

第 4 章 評価実験

23

4.1

実験方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

4.2

実験結果とその考察

23. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 5 章 むすび

28

謝辞

29

参考文献

30

発表論文リスト

32

1

第1章

はじめに

昨今の，日本をはじめとする多くの国での傾向の一つとして，人口に対する高齢者人口の割合増加が挙げられる [1]．2022 年 9 月 15 日時点で日本の総人口は前年に比べ 82 万人減少している一方で，65 歳以上の高齢者の人口は前年に比べ 6 万人増
加し，3627 万人となった．これは過去最高の値である．割合で見ても，我が国の 65
歳以上の高齢者が総人口に占める割合は 29.1 ％と前年に比べ 0.3 ポイント増加した．
また，65 歳以上の高齢者の中で介護が必要であると介護保険制度により認められた人は，令和元年度で 655.8 万人となっており，平成 21 年度 (469.6 万人) から 186.2 万人も増加している [2]．
日常的に介護できる家族が居ればいいのだが，介護をする時間的余裕がなく介護施設に入ることを強いられる人もいる．高齢者が病院に入院したり，介護施設に入ることで起こる問題の一つは，環境の変化からくるストレスである．この環境の変化からくるストレスによってせん妄などの重大な病気になる可能性がある [3]．高齢者がこれらのような重大な病気にならないように家族らができることの一つとして，高齢者と同じ部屋で一緒に過ごすことが挙げられる．家族が高齢者の施設へ面会に行き，同じ部屋で一緒に暮らすことで高齢者に安心感を与えることができ，環境の変化からくるストレスを軽減できると考えられる [4]．しかし，感染症の流行，施設と自宅との距離など様々な理由で面会をすることが難しいことがある．高齢者のス
トレス軽減の方法として，面会をして実際に会う方法の代わりにビデオ通話を使用
してコミュニケーションを取る方法が考えられる．ビデオ通話を常時使用し，施設の部屋で過ごす高齢者と，離れた家で過ごす高齢者の家族らを繋ぎながらお互い生
活することで，ある程度は高齢者が家族らと一緒に過ごしていたときと同じような環境を維持できると考えられる．しかしこの方法ではビデオ通話を常時使用するた
めにカメラが常に起動していることで不快感，圧迫感が高齢者とその家族の双方に

第1章

はじめに

2

生まれる可能性がある．離れて過ごす人々が適度な関係でつながることのできるよ
うな工夫が必要である．
家族が適度につながって過ごす場所といえば，家庭のリビングルームが思い浮か
ぶ．家庭のリビングルームでは，家族が各々自由に生活しており強いつながりはない
が，リビングルームにいる人が同じ部屋にいる他の人に話しかけることでいつでも会話を始めることができる．さらに始めた会話は，会話を終えるということを主張
せずとも自然と終了する．当研究室ではこれまでに，家族などが互いに実際には同室にいないときにも，ICT 技術を利用することで適度なつながりを実現する「バーチャルリビングルーム」システムを提案している [5][6]．このシステムが満たすべき要件は，互いに相手がバーチャルリビングに対応する実際の部屋の中にいるかどうかを知ることができること，任意のタイミングでビデオ通話を始めることができる
こと，会話が自然に終了することである．ある人が部屋にいるかどうかを判定する
ために Bluetooth の機能を利用した iBeacon を用いている．部屋の中に設置するシステム (PC) が，PC (Bluetooth 受信機) と，iBeacon 発信機を身につけた対象者との距離を測定することで，その人が部屋の中にいるのか外にいるのか判定する．ビデ
オ通話機能は独自に作成することも考えられるが，アカウントの作成が容易で，無料で利用できるコミュニケーションツール Skype [7] をサブシステムとして利用している．実験システムを作成した上で実際に被験者らに使用してもらい，システムを利用することで実際のリビングルームに近い環境を再現することができたと報告している．
しかし，先行研究で作成したシステムの問題点も明らかになった．例えば，視覚的な臨場感の低さである．このシステムは相手の状況を図 1.1 のようにイラストで表示している．このイラストは使用者とは関係のないキャラクターであり，これによりステムの使用者は，使用者らが同じ部屋にいるとはあまり感じない可能性がある．
また，システムを使用することの難しさも問題である．このシステムを使用を開始する前に，システムが iBeacon 発信機を持つ人が部屋の中にいるかどうかを判定できるようにするために必要な値を登録する必要がある．この iBeacon に関する情報の登録を行なう操作は複雑であり，コンピュータ操作に精通している人間でないと難しい可能性がある．そこで本研究では，まず，相手の状況をキャラクターのイラ

第1章

はじめに

3

ストに代えて，その人本人の写真を表示する [8]．このとき，背景も実際の家の部屋の写真にして，本人写真を重ねて表示する．さらに実際の人の移動に合わせ，その人の写真の表示位置を変更するようにする．これらの写真の登録は，GUI でユーザが行えるようにする．また iBeacon に関する各種パラメータの登録も GUI でユーザが行えるようにする．本論文では，離れた人々の適度な関係をより良好な関係とすることを目的に，これらのアイデアに基づいたバーチャルリビングシステムを提案する．
第 2 章では先行研究で提案している実験システムの詳細について説明する．第 3
章では，先行研究で作成した実験システムを使用して行った実験で明らかになった
問題点を整理して，さらにその問題を解決する手法について説明する．第 4 章では，
本研究で作成したシステムと先行研究で作成したシステムとを比較する評価実験及び，結果と考察について述べる．第 5 章ではまとめと今後の展望について述べる．

図 1.1: システムの画面に表示される相手の状況

4

第2章

2.1

バーチャルリビングシステム

ICT 技術

本節では，先行研究で提案しているシステムで利用する ICT 技術について説明
する．

2.1.1

Bluetooth に関する技術

Bluetooth とは，無線通信規格の一つである [9]．Bluetooth に対応した機器同士は，ケーブルなどを接続しなくともデータをやり取りすることができる．有効範囲は約10m 以内で，Bluetooth に対応した機器であればどのメーカーの機器同士でも接続することができる．近年ではイヤホン，スピーカー，キーボードなどのパソコン周辺機器に用いられており，機器の置き場所候補を広げたり，コード類がかさむ PC
周りを整頓することに役立てられている．

Bluetooth は 1999 年に最初の規格である BLuetooth1.0 が発表されて以降，度々規
格の更新が行われており，BLE (Bluetooth Low Energy) はその Bluetooth 規格の一つである [10]．BLE は消費電力の低さが特徴であり，ボタン電池でも長時間の利用が可能であるため，Bluetooth の対応デバイスを小型化しやすいことが利点の一つである．BLE を用いた通信方法においてはセントラルという役割を持つ端末と，ペリフェラルという役割を持つ端末の 2 種類が存在し，この二つの役割を持つ端末同士が通信を行なう．この通信方法ではセントラルの役割を持つ端末がペリフェラルの役割を持つ端末に対して要求を出すことでデータ通信が行われる．一般的には PC
やスマートフォンがこのセントラルの役割をすることが多い．一方でペリフェラルの役割を持つ端末はセントラルの役割を持つ端末の要求に応える形で通信を行なう．
近年では BLE を用いてスマート体温計との通信，エアコンや照明の操作，電子値札の管理など様々な用途に用いられている [11]．ペリフェラルとセントラルの動作の第2章

バーチャルリビングシステム

5

具体的な例を図 2.1 に示す．図 2.1 のようにまず PC，スマートフォンがペリフェラ
ルである体温計などの端末へ接続を要求し，体温計などの端末はそれに応答する形
で通信を行なう．

iBeacon とは Apple 社の商標であり，BLE のブロードキャスト通信を利用した位
置特定および，近接検出を行なう技術である [12]．iBeacon のペリフェラルの役割を持つ端末は，個体を識別するためのアドバタイズパケットというものを発信する．
これをセントラルが受信することでセントラルがあらかじめ決められた処理を実行する．また，セントラルがペリフェラルの信号を検出したとき，セントラルは検出したペリフェラルの信号の強度を示す RSSI を使用し，セントラルの役割を持つ端末とペリフェラルの役割を持つ端末とのおおよその距離を推定する．

2.1.2

Skype の機能

コミュニケーションツールの一つである Skype を用いることで，図 2.2 のように文字でのチャット，通話，ビデオ通話により離れた相手とコミュニケーションを取ることができる．また，Skype では図 2.3 のようにビデオ通話中においてもビデオ
通話の画面を維持したまま，文字チャットを使用して文字でのコミュニケーションも取ることができる．1 対 1 のコミュニケーションだけでなく，最大 100 人でのビデ
オ通話を用いた会議の開催も可能である．画面共有機能も備えておりプレゼンテー
ションを行なうことや，友人間での休暇の写真の共有を楽しむことに役立てることができる．通話の録音機能も提供されているため，重要な会議などで聞き逃してはいけない内容を聞き逃した際も，あらかじめ録音しておくことで，後から聞き直すことができる．登録している Skype ユーザのページでは，図 2.4 のようにそのユーザの状況がアイコンで表示される．これにより Skype ユーザが現在オンラインで連絡を取ることができる状態なのか，オフラインであったり，何かをしていたりして連絡を取ることができない状態なのか知ることができる．

2.2

バーチャルリビングシステム

本節では先行研究で提案しているバーチャルリビングシステムの概要を説明する．

第2章

バーチャルリビングシステム

2.2.1

在室確認機能6ある人が実際にリビングルームなどの部屋にいるとき，強いつながりはなくとも別の人が同じ部屋の中にいるのか，いないのかを判断することができる．このことからバーチャルリビングシステムにおいても，システム利用者がバーチャルリビン
グに対応する実際の部屋にいるかどうかを判断できるようにする必要がある．シス
テム利用者がバーチャルリビングシステムに対応する実際の部屋の中にいるかどうかを判定するために Bluetooth の機能を利用した iBeacon を用いる．部屋の中に設置するシステム (PC) が，PC (Bluetooth 受信機) と，iBeacon 発信機を身につけた対象者との距離を測定することで，その人が部屋の中にいるのか外にいるのか判定
する．

2.2.2

通話開始終了機能

実際のリビングルームなどの部屋の中で，会話が始まるとき，どちらか一方の人が，もう一方の人になんらかの言葉をかけることで始まることが多い．この契機は，
例えばスマートフォンをタップして電話をかけるような所定の操作ではなく，何気ない「声かけ」である．バーチャルリビングシステムではこのような何気ない「声かけ」を，離れた人とも行なうことができるように再現したい．使用者がシステムに
普段の何気ない一言を発することで，Skype のビデオ通話が開始されるようにする．
しかし，サブシステムとして使用する Skype には自動でビデオ通話を開始する機能はない．そこで，メインシステムからマウスカーソルを制御することで Skype の通
話開始を行なうボタンのクリック操作を再現して，通話が始まるようにする．あら
ゆる人が会話を始める際に一方へかける何気ない一言は様々であり，全てを網羅するのは難しい．そこでバーチャルリビングシステムにおいては，発することでビデ
オ通話が始まる言葉として，様々な何気ない一言の代わりに一つの特定の言葉と設定する．ビデオ通話が開始されるように発する特定の言葉は普段のリビングルームなどの部屋の中での会話の始まり方を考え，実験システムでは「なあ」という言葉にする．
実際のリビングルームなどの部屋の中で，会話が終了するとき，会話をしている

第2章

バーチャルリビングシステム

7

どちらか一方の人がコミュニケーションの終了を主張するということもなく自然に終了することが多い．そこで，Skype を用いた通話状態にあるときに，お互いの人が何も言葉を発さない時間が一定時間続くと，Skype のビデオ通話を終了させる．しかし前述の開始時と同様に，サブシステムとして使用する Skype には自動でビデオ
通話を終了する機能はない．そこで同様にメインシステムからマウスカーソルを制御することで Skype の通話終了を行なうボタンのクリック操作を再現して，通話を終える．お互いが何も言葉を発さなくなり通話を終了するまでの時間は，普段のリビングなどの場所での会話時間を考えて，実験システムでは 3 分間とする．なお，音声認識機能はマイクロソフト社が提供している Speech SDK [13] を利用する．

2.2.3

情報送受信機能

実際のリビングなどの同じ空間にいる 2 人の人は，片方の人がその空間から出たことを他方の人は知ることができる．また，片方の人がリビングなどの空間から出た
あと，その空間へ戻ってきたことを他方の人は知ることができる．バーチャルリビン
グシステムではこれらのことを再現するために，システム利用者の在室状況の変化
を，お互いに伝え合う必要がある．在室状況の変化をお互いに伝え合うには，UDP
通信を利用してその情報を送受信する方法が考えられるが，Skype の文字チャットを利用して相手に必要な情報を送信することにする．ビデオ通話の開始終了処理と同様に，メインシステムがマウスカーソルを制御して，Skype 文字チャットの画面からテキスト情報を「コピー」することで，クリップボードを経由して情報をやり取りする．互いのメインシステムは，Skype の文字チャットを介して，互いの利用者の在室状況を取得する．このため，Skype 文字チャット画面を表示しておく必要がある．なお利用者は，文字チャット機能を通常の利用の仕方で活用することも可
能である．

2.2.4

画面表示

なお実際のリビングでは，別の人がリビングの中にいるのかいないのか一目で分かる．バーチャルリビングシステムでは相手の在室状況がシステムの利用中いつで第2章

バーチャルリビングシステム

8

も一目でわかるような工夫が必要であると考える．相手が在室しているときは，画面に相手を表すキャラクターを表示する．相手が在室していないときは，画面に相手を表すキャラクターを表示しない．前述の通り情報送受信のために，相手の在室状況を表示しながら，Skype 文字チャット画面を表示しておく必要がある．そこで
図 2.5 のように画面の左半分は相手の在室状況を表示し，画面の右半分は Skype の文字チャット画面を表示する．以下に，実際の動作例を示す．

1. 自分が退室したとき
メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「自分が退室した」というテキスト情報をペーストする．
サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

2. 自分が入室したとき
メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「自分が入室した」というテキスト情報をペーストする．
サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

3. 相手が退室したとき (図 2.6)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの画面に表示されているテキスト情報をコピーする．メインシステムはその情報をクリップボードを経由して得ることで，「相手が退室した」という情報を得る．

(2) メインシステムは在室状況表示画面において相手の退室を示すアニメーショ
ンを表示する．

(3) 在室状況表示画面に表示されていたねずみ (相手を表すキャラクター) を削除する．

4. 相手が入室したとき (図 2.7)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの画面に表示されているテキスト情報をコピーする．メインシステムはそ第2章

バーチャルリビングシステム

9の情報をクリップボードを経由して得ることで，「相手が入室した」という情報を得る．

(2) メインシステムは在室状況表示画面において相手の入室を示すアニメーショ
ンを表示する．

(3) 在室状況表示画面に，ねずみ (相手を表すキャラクター) を表示する．
5. 何気ない言葉 (特定の言葉) を発し，ビデオ通話が開始されるとき (図 2.8)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「まもなく通話を開始する」というテキスト情報をペーストする．サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

(2) Skype の画面が右半分のままでは，ビデオ通話画面が小さく相手の様子がよくわからない．そこで，メインシステムはビデオ領域を含む Skype 画面を最大化する．

(3) メインシステムがマウスカーソルを制御し，ビデオ通話開始ボタンをクリッ
クすることでビデオ通話を開始する．

6. 一定時間，どちらかが言葉を発さず，ビデオ通話が終了するとき (図 2.9)
(1) メインシステムがマウスカーソルを制御することで，サブシステム Skypeの文字チャットに「まもなく通話を終了する」というテキスト情報をペーストする．サブシステム Skype はそのテキスト情報を文字チャットで相手へ送信する．

(2) メインシステムがマウスカーソルを制御し，ビデオ通話終了ボタンをクリッ
クすることでビデオ通話を終了する．

(3) Skype の画面が最大化された状態では，相手の在室状況を表す画面を利用することができない．そこでメインシステムは，ビデオ領域が不要となった

Skype の画面を右半分にし，画面の左半分には相手の在室状況を表示する．

第2章

バーチャルリビングシステム

図 2.1: BLE のセントラルとペリフェラル

図 2.2: Skype の文字チャット画面

10

第2章

バーチャルリビングシステム

図 2.3: ビデオ通話中に文字チャットをしている様子

図 2.4: Skype の相手が連絡可能かどうかを表すアイコン

図 2.5: システムの待機時の画面

11

第2章

バーチャルリビングシステム

図 2.6: 相手の退室通知を読み取り画面が切り替わる様子

12

第2章

バーチャルリビングシステム

図 2.7: 相手の入室通知を読み取り画面が切り替わる様子

13

第2章

バーチャルリビングシステム

図 2.8: 通話を開始する前に画面が最大化される様子

14

第2章

バーチャルリビングシステム

図 2.9: 通話を終了して待機時の画面に戻る様子

15

16

第3章

バーチャルリビングシステムの改良先行研究で提案している従来のバーチャルリビングシステムの問題点は視覚的臨場感が低いこと，相手側環境音が不明なこと，希望しない通話が行われること，そしてユーザビリティが低いことである．本章では各問題点を整理した上で，それぞれの解決方法について述べる．

3.1

視覚的な臨場感

従来システムは図 3.1 のようにキャラクターのイラストを表示している．このイラストのように相手の在室状況を簡潔に表示することにより相手が部屋の中にいるのかいないのかが使用者が一目で分かると考えていた．しかしこのキャラクターは相手に全く関係のないキャラクターであり，実際に人が部屋にいるという臨場感がな
く，このキャラクターでは使用者は相手と認識しづらく同じ空間にいるとは感じられない可能性がある．キャラクターイラストの背景も問題である．画面に表示された白い背景を見ることにより，相手が同じ空間にいると感じることができるとは思えない．また実際のリビングルームという一つの部屋は，ダイニングルーム，キッ
チンとつながっていることがある．この場合，これら３つの部屋をまとめて「リビングルーム」という 1 つの部屋ということができるだろう．このような 1 つの大きな部屋では部屋の中にいるかどうかだけでなく，図 3.2 のように誰がどこにいるかということも気になるだろう．
そこでシステムの使用者が相手と同じ空間にいるように感じさせるために，キャ
ラクターのイラストに代えて，実際の相手の写真を表示する．相手が実際に過ごす部屋の写真を背景画像として表示する．さらに実際の人の移動に合わせ，その人の写真の表示位置を変更する．
しかし，厳密な詳細の位置を計測することは機器の費用や準備，計測技術など様々

第3章

バーチャルリビングシステムの改良

17な面に置いて容易ではない．一方で，前述のリビング，ダイニング，キッチンの違いが分かるだけで，大体のいる場所や行なっているだろうことの雰囲気が伝わると期待できる．そこでまずリビングルームをこの 3 つのエリアに分けて，その上で所在のエリアが分かるように表示する．エリア別表示のために，所在エリアを判定する必要がある．従来システムでは，ユーザが身につける iBeacon 発信機の RSSI の値
により室内外を判定していた．改良システムでは，RSSI の値によりエリアの違いまで判定した上で，全てのエリアが見通せる背景画像上の適切な位置に当該人物写真を重ねて表示する．そのため事前に，固定設置する Bluetooth 受信機としてのシス
テム PC において，各エリアに存在する iBeacon 発信機から届く RSSI の値を調べておく．例えば，PC のあるリビングルームでは大きな値で，やや離れたキッチンでは小さな値であることを想定している．各人にそれぞれ iBeacon 発信機を所持してもらい，それぞれの RSSI の値からいずれのエリアにいるのか推定する．

3.2

相手側環境音の把握

従来システムは図 3.1 のように相手が部屋にいるかどうかだけを表示している．こ
れを見ることでシステムの使用者は，実際に同じ部屋にいるときと同じように相手が今，部屋の中にいるのかいないのかを一目で知ることができる．しかし，実際の部屋の中では，相手と会話をせずとも，相手がいるかいないかだけでなく，相手の周辺の音を聞くことができる．例えば，テレビの音が聞こえるとき，相手の方を見ることなく，相手はテレビを見ているのだろうと推測することができる．
そこでシステムの使用者が相手と同じ空間にいるときと同じように相手の状況を知ることができるように，通話をすることなく相手側の音を聞こえるようにする．

Skype のボイスメッセージ送信機能を使用することで，相互に通話を行なうことな
くマイクから録音した音を送信することができる．しかし，Skype には自動的にボ
イスメッセージを録音，送信する機能はない．そこでメインシステムがマウスカー
ソルを制御することで，相手から送信されてきた要求メッセージを読み取り，自動的に録音した音を相手へ送信する．さらにそのボイスメッセージを受信した相手側のシステムは，受信したボイスメッセージを自動的に再生する．以下に，実際のシ

第3章

バーチャルリビングシステムの改良

18

ステムが相手側の環境音を再生する流れを示す．

(1) ユーザが特定の言葉を発し，その言葉をメインシステムが認識する．
(2) メインシステムがマウスカーソルを制御することで，「今から相手側の音を録音する」という情報を Skype の文字チャット機能を利用して相手へ送信する．

(3) そのメッセージを受信した相手のメインシステムはマウスカーソルを制御することでボイスメッセージを一定時間録音する．

(4) そのボイスメッセージを相手のメインシステムはマウスカーソルを制御することでユーザに送信する．

(5) そのボイスメッセージを受信したユーザのメインシステムはマウスカーソルを制御することでボイスメッセージを再生する．

3.3

通話の意思把握

従来システムは一方がビデオ通話を行いたい，行いたくないという意思にかかわらず，他方がビデオ通話を行なうために特定の言葉を発することでビデオ通話が始
まる．しかし，実際の部屋で一緒にいるとき一方が会話を始めたいと思い他方に話しかけたとしても，その話しかけを無視することで会話は始まらない可能性もある．
あるいは，テレビ視聴中などで呼びかけに気づかず，相手側はそのことに気づいてさらなる呼びかけを断念することもあるだろう．提案するシステムではこのように，望まない会話に対して，明示的に拒否するのではなく，自然に会話を避けることができるようにする．
望まない通話を避けるために，一方が何気ない一言を発するだけでビデオ通話を開始するのではなく，一方が何気ない一言を発したうえで他方がそれに何気ない返答をした場合のみビデオ通話を開始したい．しかし，Skype には音声を認識したう
えで通話を開始する機能はない．そこでメインシステムによるマウスカーソルの制
御とマイクロソフト社が提供している Speech SDK を用いた音声認識機能を用いて合意の取れた通話を実現する．以下に，実際のシステムがビデオ通話を開始する流
れを示す．

第3章

バーチャルリビングシステムの改良

19(1) メインシステムが使用者が発した何気ない一言 (特定の言葉) を認識する．
(2) メインシステムがマウスカーソルを制御することで，通話を行いたいという情報を Skype の文字チャット機能を利用して相手へ送信する．

(3) そのメッセージを受信した相手のメインシステムは一定時間待機状態に入る．
(4) 待機状態に入っている間，そのシステムが何気ない返答 (特定の言葉) を認識す
るとビデオ通話を開始する．

3.4

ユーザビリティ

従来システムでは，使用前の設置時に特別な作業は必要なかった．しかし提案シ
ステムでは，3.1 節で述べたことを実現するために，家族の写真や背景用の部屋の写真を登録する必要がある．また，各エリアの iBeacon 発信機から固定設置するシス
テム PC に届く RSSI の値を登録する必要もある．しかしバーチャルリビングシステ
ムは，介護施設への入所や病院への入院により家族と離れて過ごすことになる高齢者が，家族と一緒に暮らしていたときと同じようにコミュニケーションを取れるよ
うにしたい．すなわち，このシステムは高齢者が過ごす介護施設や病院で使用されることを想定しており，その家族や職員がコンピュータ操作に詳しいとは限らない．
そこでユーザビリティを向上するために GUI による設定の仕組みを導入する．ユー
ザはこのシステムを初めて使用する前に，図 3.3 のように画面に表示される指示に従い，簡単なマウスクリックにより，デジタルカメラやスマートフォンで撮影しておいた背景用の部屋写真と家族の人物写真を登録する．なお，実験システムでは家族側の人数を 3 人に固定している．以下にユーザの操作によって，システムが表示する写真の登録を行なう流れを示す．

(1) 「部屋」ボタンにより相手が過ごす部屋の写真 (全てのエリアが見通せる) を選
択する．
1 〜○
3 」ボタンにより相手側の 3 人の写真を選択する．
(2) 「人○(3) 背景用の部屋の写真の上で，リビング，ダイニング，キッチンに相当する箇所をそれぞれクリックして指定する．

第3章

バーチャルリビングシステムの改良

20(4) 「保存」ボタンにより保存，設定終了する．
またユーザは，図 3.5 のような流れで簡単なマウスクリックにより iBeacon に関する
事前設定を行なう．なお，実験システムではエリアの数を３つに固定している．各エリアに対して以下の作業を行なう．

(1) 画面の指示に従い，エリアの中央に iBeacon 発信機を置く．
(2) 画面に表示されている登録用のボタンをクリックすることで，上記 (1) で仮置
きした発信機からの RSSI を計測，記録する．

(3) システム利用時には各ユーザはそれぞれ iBeacon 発信機を身につけるため，回収する．

図 3.1: 従来システムの画面に表示される相手の状況

第3章

バーチャルリビングシステムの改良

図 3.2: リビング，ダイニング，キッチンそれぞれにいる家族

図 3.3: システム事前設定ー写真登録の画面

21

第3章

バーチャルリビングシステムの改良

図 3.4: システム事前設定ー iBeacon 登録の流れ

22

23

第4章

4.1

評価実験

実験方法

前述の改良システムが，従来システムと比べて，離れた人々の適度な関係をより良好な関係とすることができているかを確かめるため，実験システムを構築し評価実験を行った．まず，離れて生活している高齢者の女性とその家族に，ビデオ通話
を繋ぎながら (注意：従来システムの使用ではなく) いつも通りの生活をしてもらい，被験者からその状況下での生活に対しての感想を聞く．その後，別の日に従来シス
テムを使用しながら生活をしてもらい，これら２つの生活方法を比較した感想を聞
く．後日，改良システムの利用開始準備を自身で行なってもらった上で，そのシステムを使用しながら生活してもらう．最後に従来システムを使用して過ごした生活と提案するシステムを使用して過ごした生活を比較した感想と，提案するシステムの利用開始操作についての感想を聞く．なお，本研究では高齢者とその高齢者の家
族らが離れた場所で暮らす状況においての問題解決を目指しており，被験者同士は離れた場所で実験を行なった．また，本システムを使用している様子を図 4.1 に示
す．ユーザが目にするシステムの画面は図 4.2 の通りである．相手が現在，リビング
ルームのどのエリアにいるのか知ることができる．また，図 4.3 に示す通り，相手がリビングルーム内の別のエリアへ移動すると，相手を表す写真の表示位置が変わる．

4.2

実験結果とその考察

ビデオ通話を繋ぎながら過ごす生活を行なってもらう実験に対して被験者から以下の感想が得られた．

• 普段，同じ部屋で過ごしているときにはなかった不快感を感じた．
• いつ会話を止めればいいか分からないことが多かった．

第4章

評価実験

24

ビデオ通話を繋ぎながら過ごす生活 (従来システム，改良システム共に使用しない)と従来システムを使用する生活を比較について被験者から以下の感想が得られた．

• カメラがついているのは一時的であるため，前 (従来システムを使用せずにビ
デオ通話を繋ぎながら過ごす生活) より自由に過ごしやすく感じた．

• 会話の終了を言うことなく自然に終了するため，ビデオ通話を行なっているというよりは近くで話をしている感覚だった．
これらの感想により，従来システムの利用が離れた人々が適度な関係でつながることを可能にすることを改めて確認できた．しかし一方で以下のような否定的な感想も得られた．

• 相手がいるかいないかを表すキャラクターのイラストでは，相手が今どんな状態なのかあまり想像できなかった• 通話を行いたくないときにも通話が始まってしまうことがあった．
これらの意見から視覚的な臨場感の欠如と望まない通話の発生が確認できる．
本論文で提案する改良システムを使用する実験に対して，従来システムに対する好意的な意見に加えて被験者から以下の感想が得られた．
視覚的な臨場感について：• キャラクターのイラストではなく相手の写真が表示されているため相手のことを認識しやすかった．

• 相手がどのあたりにいるのか写真で表示されているため相手の状況を想像することができた．
相手側環境音の把握機能について：• 話を聞かれるのは数秒間だけなので不快感などはなかった．
• 聞き耳 (相手側環境音の把握機能) のおかげで相手の状況が少し分かった．
• テレビの音が聞こえてくることでその様子がなんとなく想像できた．

第4章

評価実験

25

通話の意思把握について：• 前回のシステム (従来システム) ではあまり話かけて欲しくない時も話かけられてしまったが今回はそのことを相手に伝えることができてよかった．
ユーザビリティについて：• 次に何をしたらよいか操作を指示してくれるので，分かりやすかった．
• クリック操作という普段から行なっている操作の指示が多く，操作しやすかった．
キャラクターのイラストの代わりに実際の相手の写真を表示していることに対して好意的な意見が確認できる．相手の実際の写真を表示することにより視覚的な臨場感が向上していると考える．また，相手の位置を表示することに対して「相手の状況を想像することができた」という感想が確認できる．本システムの利用により，従来システムの利用では気になっていたが知ることができなかった誰がどこにいるかという情報も知ることができ，相手の状況をより想像しやすくなっていると考える．
相手側環境音の把握機能についての感想として「（相手側の）様子がなんとなく想像できた」，「(相手側環境音の把握機能のおかげで) 相手の状況が少し分かった」という感想が確認できる．従来システムよりも相手の状況を詳しく把握することができるため，実際に同じ部屋に相手といる感じを与えられたのだろう．本システムの相
手側環境音の把握機能の利用で，従来システムよりもユーザは相手側の状況を把握することができていることが分かる．通話の意思把握について，従来システムの利用と比較した好意的な感想が確認できる．本システムは，従来システムの問題点であった望まない通話をなくし，自然に会話を避けることができていると考える．本システムの利用準備に関して「分かりやすかった」，「操作しやすかった」という感想が確認できる．本実験でシステムの利用準備を行なった人物はコンピュータ操作に精通してはいない．本システムの利用準備は，本システムの利用が想定される介護施設や病院にいる職員や施設に入所している高齢者の家族らにも行なうことができると考える．

第4章

評価実験

26

図 4.1: システムを使用している様子

図 4.2: システム使用中にユーザが見る画面

第4章

評価実験

27

図 4.3: 相手の表示位置が変わる様子

28

第5章

むすび

本研究では，先行研究で提案しているバーチャルリビングシステムの改良を提案
した．従来システムで実現されている，離れた人々の適度な関係を，さらにより良好な関係とすることが目的である．具体的には，システムの使用者が相手と同じ空間にいるように感じさせるよう，相手の状態を表すために，実際の相手の写真を表示した．また，システムの使用者が相手と同じ空間にいるときと同じように相手の状況を知ることができるように，通話をすることなく相手側の音を聞こえるようにした．さらに，望まない通話を避けるために，通話の意思の確認をとった上でビデ
オ通話を開始するようにした．加えて，GUI によるシステム設定を導入することでユーザビリィティを向上させた．提案するアイデアに基づき実験システムを作成し，ビデオ通話を常時繋ぎながらの生活，従来システムを使用しながらの生活，提案するシステムの実験システムを使用しながらの生活の 3 通りを比較してもらう評価実
験を行なった．まず，提案システムに対しても，従来システム同様に，離れた人々が適度な関係でつながることができる，との意見を得られた．離れた人々の適度な関係を，さらにより良好な関係とすることができていることを確認できる意見も得られた．本論文の実験被験者は介護施設には入所しておらず，また病院にも入院していなかった．今後は，実際に施設に入所している高齢者とその家族らにシステムを利用してもらい，評価したい．その上でバーチャルリビングシステムが実際に有効であることを確認したい．

29

謝辞

本研究を進めるにあたり，日頃から多大なるご尽力を頂き，ご指導を賜りました名
古屋工業大学，舟橋健司 准教授，伊藤宏隆 助教に心から感謝致します．また，本研究に多大なご協力を頂きました舟橋研究室諸氏ならびに被験者の方々に心から感謝いたします．最後に，心の支えになっていただいた愛猫のもちに深く感謝致します．

30

参考文献

[1] 総 務 省 統 計 局 ，統 計 ト ピック ス No．132

統計からみた我が国の高齢 者「 敬 老 の 日 」に ち な ん で ー ，1．高 齢 者 の 人 口(2022.9.15 現 在)，https://www.stat.go.jp/data/topics/topi1321.html (2023.1.13 閲覧)[2] 内閣府，令和 3 年版高齢社会白書 (全体版)，第 1 章，第 2 節，2．健康・福祉，
https://www8.cao.go.jp/kourei/whitepaper/w-2022/html/zenbun/s1 2 2.html(2023.1.14 閲覧)[3] 松井 文，八塚 美樹，高畠 里美，向山 要吏子，長谷川 薫，田澤 賢次，“高齢手術患者のせん妄発症要因に関する検討”，富山医科薬科大学看護学会誌，
第 6 巻 1 号，2005[4] 米国精神医学会，“米国精神医学会治療ガイドライン せん妄”，日本精神神経学
会監訳，粟田主一，佐藤光源

責任訳，医学書院，東京，2000．

[5] 瓜生 賢輝，舟橋 健司，“施設入所高齢者の環境変化によるストレス軽減を目指すバーチャルリビングシステムの提案”，第 26 回日本バーチャルリアリティ学会大会論文集，3C2-2，2021．

[6] Genki Uryu，Kenji Funahashi，”Virtual living room system based on video callto connect nursing home resident and family moderately” ，2021 NICOGRAPH INTERNATIONAL，p.111，2021．
[7] Microsoft Skype，https://www.skype.com/ja/ (2023.1.17 閲覧)[8] Genki Uryu，Kenji Funahashi，Shinji Mizuno，”Photo based improvement of
virtual living room system using video call to connect family moderately” ，2022 IEEE 11th Global Conference on Consumer Electronics ，p.582，2022．

31[9] KDDI トビラ，「Bluetooth」ってなに？

Wi-Fi との違いは...，https://time-space.kddi.com/special/it words/20140515/ (2023.1.18 閲覧)[10] HOUWA SYSTEM DESIGN，BLOG，テクノロジー，「そもそも BLEって何？」Bluetooth の技術概要，
https://houwa-js.co.jp/2018/06/20180629/ (2023.1.18 閲覧)[11] Marubun，テクニカルスクエア，無線インターフェイス，はじめての BLE，
https://www.marubun.co.jp/technicalsquare/9091/ (2023.1.19 閲覧)[12] Apple Developer，“iBeacon”，https://developer.apple.com/ibeacon/(2023.1.19 閲覧)[13] Microsoft，ドキュメント，“Speech SDK について”，
https://docs.microsoft.com/ja-jp/azure/cognitive-services/speech-service/
speech-sdk?tabs=windows(2023.1.19 閲覧)32

発表論文リスト

1. 瓜生 賢輝，舟橋 健司，“施設入所高齢者の環境変化によるストレス軽減を目指すバーチャルリビングシステムの提案”，第 26 回日本バーチャルリアリティ学会大会論文集，3C2-2，2021．

2. Genki Uryu，Kenji Funahashi，Shinji Mizuno，”Photo based improvement of
virtual living room system using video call to connect family moderately” ，2022 IEEE 11th Global Conference on Consumer Electronics ，p.582，2022．
3. Genki Uryu，Kenji Funahashi，”Virtual living room system based on video
call to connect nursing home resident and family moderately” ，2021 NICOGRAPH INTERNATIONAL，p.111，2021．