情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B192016/3/3

高齢者向け住空間サービスのための発話感情ラベルを活用した体感状況理解新村 颯†1バルガス 晴夫†2 川崎 進也†2 柴田 健一†3石川 翔吾†1 桐山 伸也†1

筆者らは個人の主観に基づく体感情報に着目し，センサから得られる客観情報と併せて住空間におけるユーザ状況理解機能を導入した空調制御システムを構築してきた．本稿では，高齢者の見守りサービス検討に役立つ場面を対象に，発話の韻律的特徴に着目して体感状況理解を高度化する方策について述べる．

Bodily Feeling Situation Utilizing Emotion Labeling for Each
Utterance to Provide Indoor Service for Elderly People
HAYATE NIIMURA†1 HARUO VARGAS†2 SHINYA KAWASAKI†2KENICHI SHIBATA†3 SHOGO ISHIKAWA†1 SHINYA KIRIYAMA†1An air conditioning system has developed by introducing situation understanding functions for users in living space. The
system handles not only integrating objective information from sensors but also subjective bodily feeling information. This
paper describes how to enhance bodily feeling situation understanding by focusing on prosodic features of utterances for thescenes effective to investigate watching service creation for elderly people.

1. はじめにが出やすく，多様な体感特性を持つ個々人に着目した分析に適している．

高齢化社会の急速な進行に伴い，高齢者を対象とした住関連研究として，複数人のインタラクションを様々なセ空間サービスの需要が増している．そのひとつに見守り支ンサで取得し，インタラクションのコーパス構築を目指す

援サービスがある．高齢者が普段と変わらずに暮らしてい研究[2]がある．この研究では，環境に偏在するカメラやマるかどうかをセンシングし，異常に対しシステムから働きイクと，ユーザ自身が身につけるカメラやマイクを駆使しかける見守り支援サービスの構築には，高齢者が日常の場て，人と人のインタラクションを客観的に記録し，インタでどのように感じ，過ごしているのかを知る必要がある．

ラクション・コーパス構築を目指している．我々の研究は

しかし住空間においてどのように感じるかは人それぞれ異高齢者と高齢者の過ごす住空間を対象としており，高齢者なり，複数人が同じ空間にいたとしても個人ごとに感じ方が日常を過ごす空間を模した住空間実験場で気温や空調には異なる．見守り支援サービスを含めた高齢者向け住空間関するデータを含めて取得を行うことで，実環境で役立つサービスの構築には，高齢者の持つ多様な体感特性に関すサービスの創出を目指している．また，被験者自身から取る知識を蓄積し，活用する必要がある．

得する体感情報（＝主観情報）を重要視している．

我々はこれまで，被験者の体感情報の入力に基づいて状

過去の研究[3]において，実験中の被験者の体感入力時の況理解を行い，空調制御を行うシステムを開発してきた[1]．

状況をマルチモーダル分析した結果，実験中の被験者間の被験者の体感温度が変化する要因は，そのときの実験空間会話への関心・参与の度合いが体感の違いに影響する可能の気温や湿度，その日の天候，他の被験者との関係など，性が明らかにされた．本稿ではこの可能性を検証すること様々である．その中のひとつに被験者の発話音声があるとを目的として，体感温度変化を発話音声の韻律的特徴に着考える．発話は人間がコミュニケーションをとるための手目して解析した結果について述べる．

段として手軽で能率の良いものであり，分析対象になり得るさまざまな情報を含む．また，音声は人それぞれに特徴†1 静岡大学 情報学部
Faculty of Informatics, Shizuoka University†2 静岡大学大学院 総合科学技術研究科・情報学専攻
Department of Informatics, Graduate School of Integrated Science andTechnology, Shizuoka University†3 静岡大学 創造科学技術大学院
Graduate School of Science and Technology, Shizuoka University© 2016 Information Processing Society of Japan

2. マルチモーダル状況理解に基づく空調制御と体感評価実験
2.1 体感情報入力を用いた状況理解システム
従来の住空間における体感状況理解システムは，その環境がどのような状態であるかを示す客観情報が主に用いられてきたが，被験者自身が今どのように感じているかを知るための主観情報は用いられてこなかった．我々は，被験544

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B192016/3/3

者の主観情報である体感情報を用いたマルチモーダル状況に 4～6 名が参加する．実験中は咽喉マイクを首に，リスト理解システムを構築し，実験を行ってきた．状況理解シス

バンド型心拍計を手首に装着するが，トイレ休憩や食事でテムの概要を図 1 に示す．

外出の際は外す．実験中は，体感情報を入力すること以外
は，会話・読書・作業・昼寝等何をしてもよい．実験の手順を以下に示す．


被験者全員がセンサを装着し，実験開始時に現在の体感を入力する



入力された体感情報に基づき，状況理解システムで導き出された空調設定を実験者のリモコン操作によりエアコンに反映する



実験開始以降，被験者は体感が変化したと感じたら体感情報を入力する．被験者ごと任意のタイミングで入力できるが，一定時間入力がないとシステムが入力を促す

図 1：マルチモーダル状況理解システム



体感入力に基づき，一定時間ごとに状況理解システムが空調設定を導き出すので，それに基づき実験者がエ状況理解を行うために，主観情報と客観情報を取得する．
取得するデータを表 1 に示す．

アコンを操作する2015 年 1 月 14 日から 1 月 27 日にかけ，延べ 6 日間実験を実施した．各日 4 時間，昼食の時間を含めて実施した．

表 1：取得するデータ一覧
分類 取得データ内容
データ取得センサパ
被験者が今感じている体感温度
主 体感温度ー（ちょうどよいかそうでないか）
観ソ
RoomTouch（Webアプリ）
風向き
風のわずらわしさ
情ナ音
その場を煩く感じないか報
ル
気分 今の気持ち（リラックス，空腹…）
情発話音声
被験者自身の発話音声
咽喉マイク
報
心拍数
被験者自身の心拍数
リストバンド型心拍計
客
気温
部屋と被験者の手元・足元
気温センサ
環 観
湿度
境 情
屋内環境測定モジュール
騒音レベル
情 報
実験空間全体について
CO2濃度
報
映像
カメラ

3. 発話音声を用いた体感温度変化分析
3.1 見守り支援の対象となる特徴的な体感温度変化場面
2015 年 1 月に行われた実験は 6 日間で延べ 24 時間である．その際に被験者から行われた体感温度変化の中に，一言では説明しづらい特徴的なものが複数あった．通常，実験中のある体感入力時から次の体感入力時までに部屋の気温が上昇あるいは下降した場合，被験者の体感温度も前回の体感入力時より高くあるいは低くなる．しかし，6 名の被験者の内 4 名に，部屋の気温が 3℃以上上昇あるいは下主観情報として取得する被験者の体感情報の中で特に降したにも関わらず，体感温度が前回の入力時から変化し重要なのは，被験者が今感じている体感温度である．「暑ない場面が計 22 場面見つかった．この 22 場面は，被験者い・少し暑い・ちょうどよい・少し寒い・寒い」の 5 段階

が室温の変化に気づけなかった場面と捉えることができる．

から選択する．その他に風，音，今の気分という情報を取住空間のユーザが室温の大きな変化に気づけないことは，得する．これらはすべてタブレット端末から Web アプリケ

屋内での熱中症など重大な健康問題につながるサインであーションによって取得する．

ると考えられる．将来構築を目指す見守り支援サービスで客観情報として取得するデータは，住空間の環境情報とは，システムからこのような状況に対し働きかけることを被験者自身のパーソナル情報に分けられる．環境情報とし想定するため，この見守り支援が必要な場面を対象に分析ては，住空間実験場の気温・湿度，被験者の座っている席を行う．の手元及び足元の気温等を取得する．パーソナル情報とし

22 場面の内，体感入力の間隔が 5 分以内と短かった場面ては，被験者の 5 分ごとの心拍数，そして被験者の発話音と，発話自体がほとんどされていない場面は，発話継続時声を取得する．

間によって特徴を見出せないため，分析対象場面から除く．
また，2 つの体感入力の間に昼食を挟んでいる場合は，一2.2 体感評価実験

定時間実験空間から退出して体感がリセットされていると多様な体感特性を持つ高齢者に対する住空間サービス構考えられるので，分析対象から除く．よって分析対象は，築のため，前節で述べた空調制御システムによる体感評価

室温が 3℃以上上昇した際に体感温度が変化しなかった 12

実験を行う．実験協力者は 60～70 代の高齢者 6 名（男性 4場面となる．

名，女性 2 名）で，それぞれ知り合いである．実験日ごと© 2016 Information Processing Society of Japan545

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B192016/3/3

表 5：被験者 E の発話時間

3.2 発話継続時間による特徴的な体感温度変化に対する分析
分析対象の 4 名の被験者の 1 分あたりの平均発話時間を表 2 に示す．

前回体感入力日時
体感入力日時
体感温度 発話時間(秒) 発話時間/分(秒)2015/1/26 10:16:10 2015/1/26 10:26:04 ちょうどいい
215.4821.77
2015/1/26 10:26:04 2015/1/26 10:43:32 ちょうどいい
200.3311.47
2015/1/27 10:08:11 2015/1/27 10:23:28 ちょうどいい
276.2718.08
2015/1/27 10:23:28 2015/1/27 11:11:05 ちょうどいい769.56
16.16

表 2：被験者別平均発話時間

平均発話時間/分(秒)
被験者A
19.10
被験者B
20.54
被験者E
10.49
被験者F
23.69

被験者 E についても，被験者 B と同様，発話時間が平均よりも長い．また，場面ごとばらつきがある．
3.2.4 被験者 F（男性）について
被験者 F が気温変化に気づけなかった場面について，入力された体感温度とその間の発話時間，1 分あたりの発話

この 4 名の中では，被験者 E の発話時間が他の 3 人のそれ時間を表 6 に示す．のおよそ半分であり．普段から積極的に会話に加わるタイプではないことが推察される．

表 6：被験者 F の発話時間

3.2.1 被験者 A（女性）ついて前回体感入力日時
体感入力日時
体感温度 発話時間(秒) 発話時間/分(秒)2015/1/20 10:22:28 2015/1/20 10:33:34 ちょうどいい
1.39
15.45
2015/1/22 12:18:05 2015/1/22 12:29:36 少し寒い
16.54
190.49

被験者 A が気温変化に気づけなかった場面について，入力された体感温度とその間の発話時間，1 分あたりの発話

被験者 A と同様，発話時間が被験者 A の平均発話時間より時間を表 3 に示す．

短かったことを示しているが，一方は極端に発話時間が少なく，傾向を見出しにくい．

表 3：被験者 A の発話時間
前回体感入力日時
体感入力日時
体感温度 発話時間(秒) 発話時間/分(秒)2015/1/20 10:16:33 2015/1/20 10:26:15 少し暑い
48.11
4.96
2015/1/22 13:10:24 2015/1/22 13:58:36 ちょうどいい
798.42
16.56

3.3 発話感情ラベリング
前節において，発話時間を元に体感温度変化について検討を行った．しかし，発話時間は被験者ごと，また時間帯どちらの場面も，発話時間が被験者 A の平均発話時間よりごとにばらつきが大きく，被験者の体感温度変化の傾向を短かったことを示しているが，一方は極端に発話時間が少説明し切れなかった．被験者の体感温度変化の傾向についなく，傾向を見出しにくい．てより詳細に知るために，「感情ラベル」を導入する．
感情ラベルとは，被験者一人によって一回の実験中にさ3.2.2 被験者 B（男性）についてれた発話音声すべてに対し，その発話音声の基本周波数（ピ被験者 B が気温変化に気づけなかった場面について，入ッチ）と発話自体の長さによって“positive”，“neutral”，力された体感温度とその間の発話時間，1 分あたりの発話“negative”の 3 パターンのラベルを付すものである．ある時間を表 4 に示す．

発話の基本周波数が全体の平均値よりも高ければ，気分が盛り上がっていると考え“positive”，平均値より低ければ

表 4: 被験者 B の発話時間

余り気分が盛り上がっていないと考え“negative”，平均値

前回体感入力日時
体感入力日時
体感温度 発話時間(秒) 発話時間/分(秒)2015/1/14 10:41:26 2015/1/14 10:55:49 少し寒い
204.4814.22
2015/1/19 10:05:39 2015/1/19 10:17:59 少し寒い
408.7233.14
2015/1/26 10:26:59 2015/1/26 10:48:15 ちょうどいい
726.2134.15
2015/1/27 10:15:37 2015/1/27 10:37:36 少し寒い
558.1125.39

付近なら“neutral”を付与する．また，ひとつの発話の長さが 10 秒以上であれば，主体的に会話に参加していると考え，基本周波数に関わらず“positive” を付与する．発話
区間切り出し及びラベリングは，スクリプトにより自動化

被験者 B に関しては，発話時間が平均より長い場面が多くされている．

見られる．
3.2.3 被験者 E（男性）について

3.4 感情ラベルによる特徴的な体感温度変化に対する分析

被験者 E が気温変化に気づけなかった場面について，入力された体感温度とその間の発話時間，1 分あたりの発話時間を表 5 に示す．

体感入力時の発話時間の多少だけでは説明がつかない状況に対し感情ラベルを導入することで，どの程度詳細な説明ができるかを調べる． 分析対象となる 4 名の被験者の発話感情ラベルの割合の平均を表 7 に示す．

© 2016 Information Processing Society of Japan546

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

表 7：被験者別発話感情ラベル割合

被験者A
被験者B
被験者E
被験者F

positive neutral negative
53.8%
44.2%
2.0%
45.7%
48.2%
6.1%
30.5%
56.0%
13.5%
45.7%
38.9%
15.4%

3.4.1 被験者 A（女性）について被験者 A が気温変化に気づけなかった場面について，入力された体感温度とその間の 1 分あたりの発話時間，感情

162B192016/3/3

3.4.4 被験者 F（男性）について
被験者 F が気温変化に気づけなかった場面について，入力された体感温度とその間の 1 分あたりの発話時間，感情ラベル別の発話の割合を表 11 に示す．
表 11：被験者 F の発話ラベル割合
前回体感入力日時
体感入力日時
体感温度 positive neutral negative 発話時間/分(秒)2015/1/20 10:22:28 2015/1/20 10:33:34 ちょうどいい
59.2%
40.8%
0.0%
1.39
2015/1/22 12:18:05 2015/1/22 12:29:36 少し寒い
15.2%
37.1%
47.7%
16.54

被験者 F は．時間帯こそ違うものの，おおむね被験者 A と同じ傾向を示した．

ラベル別の発話の割合を表 8 に示す．

3.5 分析結果の考察
表 8：被験者 A の発話ラベル割合
前回体感入力日時
体感入力日時
体感温度 positive neutral negative 発話時間/分(秒)2015/1/20 10:16:33 2015/1/20 10:26:15 少し暑い
58.4%
33.8%
7.8%
4.96
2015/1/22 13:10:24 2015/1/22 13:58:36 ちょうどいい
39.0%
59.9%
1.1%
16.56

今回の分析対象である「室温が 3℃以上上昇した際に体感温度が変化しなかった場面」では，その場の話題への興味が薄れ，会話に参加しなくなった結果，活発さが低下し実温度が上昇しても暑いと感じなくなった可能性が考えら

被験者 A は，1 月 22 日の場面において予想した傾向を示しれる．すなわち，これらの場面における被験者の発話感情た．1 月 20 日の場面は，感情ラベルの割合こそ予想に当て

ラ ベ ル の 割 合 が ， 平 均 値 と 比 べ て ”positive” が 少 な

はまらないものの，発話時間が短かった．

く，”negative”が多いという結果は，この仮説を支持する要因の一つとなる．感情ラベルを導入することにより，発話3.4.2 被験者 B（男性）について
被験者 B が気温変化に気づけなかった場面について，入継続時間だけでは検証できなかった発話時の心的状態が考察可能となり，体感温度変化の仮説を導くことができた．

力された体感温度とその間の 1 分あたりの発話時間，感情ラベル別の発話の割合を表 9 に示す．
表 9：被験者 B の発話ラベル割合
前回体感入力日時
体感入力日時
体感温度 positive neutral negative 発話時間/分(秒)2015/1/14 10:41:26 2015/1/14 10:55:49 少し寒い
24.6%
69.5%
5.9%
14.22
2015/1/19 10:05:39 2015/1/19 10:17:59 少し寒い
58.8%
41.0%
0.3%
33.14
2015/1/26 10:26:59 2015/1/26 10:48:15 ちょうどいい
51.4%
46.8%
1.8%
34.15
2015/1/27 10:15:37 2015/1/27 10:37:36 少し寒い
38.7%
59.4%
1.9%
25.39

4. おわりに
本稿では，見守り支援などの高齢者向け住空間サービス構築を目指し，体感情報入力を用いた状況理解システムを用いて高齢者を対象に体感評価実験を行い，結果を発話音
声情報の観点から分析した．結果として，発話音声情報によって，ある体感温度変化事例に関して説明できる場合が被験者 B については，4 場面中 2 場面で”positive”ラベルのあることを見出した．従来分析に用いていた発話時間は，割合が小さくなったが，そうでない場面も 2 場面あった．

実験日や被験者ごとにばらつきが大きく，それだけで傾向を説明することは難しいが，発話感情ラベルに着目するこ

3.4.3 被験者 E（男性）についてとで，個人差はあるものの，室内の実温度の変化に気づき被験者 E が気温変化に気づけなかった場面について，入にくい状況を部分的に説明できる可能性があるとわかった．

力された体感温度とその間の 1 分あたりの発話時間，感情見守り支援など，高齢者向け住空間サービスの実現につなラベル別の発話の割合を表 10 に示す．

がる知見を得た．

表 10：被験者 E の発話ラベル割合
前回体感入力日時
体感入力日時
体感温度 positive neutral negative 発話時間/分(秒)2015/1/26 10:16:10 2015/1/26 10:26:04 ちょうどいい
36.2%
52.8%
11.0%
21.77
2015/1/26 10:26:04 2015/1/26 10:43:32 ちょうどいい
22.5%
54.3%
23.2%
11.47
2015/1/27 10:08:11 2015/1/27 10:23:28 ちょうどいい
25.3%
29.7%
45.0%
18.08
2015/1/27 10:23:28 2015/1/27 11:11:05 ちょうどいい
29.8%
30.9%
39.3%
16.16

参考文献
[1] 池谷 謙吾，小川 慧他，“インドアコモンセンスに基づく高齢者のマルチモーダル体感情報理解”，情報処理学会
研究報告．SLP2013-SLP-95(16)， 1-6 (2013-01-25)[2] 角 康之，伊藤 禎宜

他，“協調的なインタラクション

被験者 E は，4 場面中 3 場面で予想したとおり平均値と比の記録と解釈”，情報処 理 学会論文誌， Vol.44, No.11,

べて”positive”が少なく，”negative”が多くなった．他の被験

pp.2628-2637(Nov.2003)

者と比較すると，”negative”ラベルの割合の多さが顕著であ[3] 川崎 進也，バルガス 晴夫

る．

況理解システム高度化のためのマルチモーダル体感分析”，

他，“高齢者向け住空間状

インタラクション 2015．

© 2016 Information Processing Society of Japan547