情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-78
2020/3/9

CNN による生活リズムの可視化を用いた HRI
青柳 翔大1

唐 書宇1

何 宜欣2

下川原 (佐藤) 英理1

山口 亨1

概要：近年，対話ロボットに関する研究が多くなされている．ロボットとの長期的な会話をするためには，ロボットが会話時の状況やユーザに合った発話をする必要がある．我々は，会話時における背景情報の一つである時節情報に関する研究をしてきた．しかし，まだユーザ本人の生活に着目できていない．ロボッ
トはユーザの活動状況や睡眠時間などのライフログに応じて発話を行う必要がある．そこで我々は腕時計型ウェアラブル端末でユーザのライフログを取得した．本研究では歩数データを使用し，ユーザの一週間の生活リズムを，CNN を用いて可視化する．ユーザの一週間が規則的であったか否かを予測し，その結果を元にロボットとのインタラクションを行う．

1. はじめにら [5][6] の研究がある．この研究では，ロボットから個々のユーザに適したアプローチへと繋げるために，ユーザの近年，対話ロボットに関する研究が多くなされている．

生活リズムに着目し，データマイニングによるユーザモデ

対話ロボットは大きく分けて，タスク指向型対話を目的とルの構築を行なっている．一週間の行動ログデータに対ししたものと，非タスク指向型対話を目的としたものの二つて，運動量 METs と生活リズムそれぞれに関して点数化をに分類される．非タスク指向型対話において，我々はこれし，クラスタリングをしている．だが，ユーザのログデーまで，長期的な会話を目指した音声対話ロボットの構築をタを作成するに当たって，アンケート記入型でデータを取行ってきた [1]．従来の対話ロボットは，会話時の季節や得しており，全てユーザの主観的データに基づいている．

天気といった背景情報を考慮できていないものが多い．ロ

高間ら [7] や矢野ら [8] の研究では，センサデータを用いボットが会話時の状況にそぐわない発話をすると，ユーザることで，ユーザの活動やライフログに着目している．本は違和感を感じ，ロボットと会話をするモチベーションが研究でもセンサを用いて，客観的なデータから得られるラ低下してしまうという問題がある．そこで我々は，背景情イフログを扱うことを考える．特に近年では，常時装着で報の一つである時節情報に着目し，時節情報を用いた発きるウェアラブル端末のセンサを用いることで，24 時間

話分類 [2] や，会話中のリアスキングによる時節情報の取365 日連続でライフログを取得することが可能となってい得 [3] を行なった．しかし，ロボットからユーザに寄り添っる [9]．よって本研究では，腕時計型ウェアラブル端末のセたアプローチをするためには，ユーザの生活に合った発話ンサにより，心拍や歩数，睡眠時間といったユーザのライをする必要がある．そのため，本研究では，ユーザの内部フログを取得し，ユーザの生活リズムを可視化する方法に情報として心拍や歩数，睡眠などのライフログに着目し，ついて検討する．また，その結果に基づいて，ロボットをロボットの対話へ適用する．

用いたインタラクションを行う（図 1）．

2. HRI における生活リズムの活用
HRI(ヒューマンロボットインタラクション）において，システムが人を理解するというアプローチが重要となっている [4]．しかし，誰に対しても同様に行うのではなく，個々のユーザに適したアプローチが必要である．そのためにも，システム側からユーザへアプローチする上で，ユーザモデルが重要視されている. ユーザモデルに関して，何1
2

首都大学東京拓殖大学© 2020 Information Processing Society of Japan

図 1 センサデータと生活リズムを用いた HRI の例

760

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3. 提案手法

2P-78
2020/3/9

3.2 入力データの整形
次に，CNN にデータを入力する方法について説明する．

本研究では，センサによって取得したユーザのライフロ

fitbit の API を用いて，1 日分のデータに対して 15 分ごとグから，生活リズムを可視化することを提案する．ユーザの合計歩数を取得する．時間を行，月曜日から日曜日までの生活リズムを考慮するに当たって，一週間分のデータをの 7 日間を列として 96 × 7 の 2 次元配列のデータにする

1 つのデータとして扱う．ユーザの一週間分のライフログ（図 4）．この 1 週間分のデータを 1 データをして扱う．こを画像データに変換し，畳み込みニューラルネットワークのデータを 96 × 96 の正方形に変形し，0-255 に正規化す（以下 CNN）によって特徴を抽出することで，ユーザの生る．グレースケールの画像データとみなし，実際の入力に活リズムが持つ特徴を可視化する．

使用した．6 月から 11 月の歩数のデータを使用し，総データ数は一人あたり約 26 枚である．それぞれのデータにつ3.1 ライフログの取得いて，教師ラベルを付けた．その 1 週間が「1：規則的でまずはユーザのライフログを取得する方法について説明あった」「0：規則的でなかった」「2：どちらでもない」のする．本研究では，fitbit 社*1 の fitbit versa，fitbit charg2３つに分け, 被験者本人にラベル付けを行なってもらった．

（以下 fitbit）のセンサからライフログ取得する（図 2）．

今回「2：どちらでもない」は入力に使わない．入力データ

fitbit は腕時計型ウェアラブル端末であり，心拍センサや 3に関する概要を表 1 に示す．

軸加速度センサなどが備わっている．デバイスと専用アプリケーションを同期させることで解析が行われる．API を用いることで睡眠，平均心拍数，歩数，消費カロリー，登った階段数，座っている時間，運動時間などの好きなデータを好きなように取得することができる．被験者 3 名に 5 月から 11 月の約 6 ヶ月間，端末を装着しながら生活をしてもらった．被験者は本研究室の 22-27 歳の学生である．本
研究では，初期検討として fitbit で取れるライフログの内，歩数のデータを扱う．fitbit で取得できる歩数データの例

図 4 入力データの形式

を図 3 に示す．ユーザの生活リズムを取得するにあたり，どの時間に活動的で，どの時間に活動的ではないかを知る上で歩数のデータが有効であると考えた．

表 1

被験者と使用データ

被験者

期間

データ数

規則的な週

A

5/27 - 12/1

26

165B

6/10 - 12/125618C

6/10 - 12/1

26813

規則的でない週

3.3 CNN のネットワーク構成
CNN は畳み込み層とプーリング層と全結合層から構成される．畳み込み層とプーリング層で学習・特徴抽出をし
図 2 左：fitbit versa，右：fitbit charge2

た後，一次元に変換し，全結合層に入力されて分類・ラベルの予測を行う．今回はオープンソースニューラルネットワークライブラリである Keras*2 を用いて CNN を実装する．使用した CNN のネットワーク構成を図 5 に，各パラメータを表 2 に示す．第 1 層で 6 枚のフィルタで畳み込み，第 2 層でプーリング，第 3 層で 16 枚のフィルタで畳み込み，第 4 層でプーリングを行なった．畳み込み層とプーリング層の活性化関数には ReLU 関数を，全結合層の出力層のみ Softmax 関数を用いた．バッチサイズは 35 で行

図 3 fitbit で取得した歩数データの例

なった．1 人あたり約 25 のデータを 9：1 でランダムに学習データとテストデータに分けて学習を行った．

*1

https://www.fitbit.com/jp/home© 2020 Information Processing Society of Japan*2https://keras.io/ja/761

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 52P-78
2020/3/9

CNN のネットワーク構成

表 2 CNN のパラメータ概要
層種類

出力 ((H × W) × D)

フィルタ

ストライド活性化関数

1

畳み込み

(96 × 96) × 6(3 × 3)(1, 1)

ReLU

2

プーリング

(48 × 48) × 6-

(2, 2)

ReLU

3

畳み込み

(46 × 46) × 16

(3 × 3)(1, 1)

ReLU
ReLU

4

プーリング

(23 × 23) × 16-(2, 2)

5Flatten8464---

6

Dence

120--

ReLU

7Dence84--

ReLU

8Dence2--SoftMax

図 6

横線の特徴が出ている（被験者 B）

図 7

横線の特徴が出ている（被験者 C）

4. CNN による生活リズムの可視化
4.1 可視化により得られたユーザの生活リズム
第 4 層のプーリングを終えた後の特徴マップの一部を
図 6，図 7 に示す．これは被験者 B と被験者 C の結果である．両方とも，画像の水平方向に伸びる線のような特徴があることがわかる．特に図 7 は 2 つの線が特徴として見られる．このデータの時間ごとの平均歩数を図 8 に示す．
見てわかるように，ある時間帯だけ歩数が著しく高くなっている．被験者 B（左）だと 13 時と 18 時付近，被験者 C（右）だと 11 時付近と 19 時付近の歩数が著しく高くなっており，被験者が一週間を通して，決まった時間に活動的であることを示している．今回の被験者の場合，通学・帰宅の時間帯を示しており，被験者の一週間が規則的であることが可視化によって明らかになった．このように，一週間を通して規則的に活動している場合に，図 6 や図 7 のように，特徴マップに横方向の線が現れると考えられる．よって，CNN を用いることでユーザの生活リズムを可視化することができた．

4.2 生活リズムの予測とインタラクション
新しい入力に対して予測を行い，それを元にインタラクションを行なった．今回は「1: 規則的な週」「0: 規則的でない週」の二値分類となる．学習の際には使用していない

図8

特徴が見られた一週間の平均歩数（左:被験者 B，右:被験者 C）

新しいデータを入力とした．予測された値によってロボットの発話を変えてインタラクションを行なった．使用する© 2020 Information Processing Society of Japan762

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-78
2020/3/9

表 3 生活リズムを用いたインタラクションの結果
ユーザの応答
理由user

CNN による予測

被験者 A

11

被験者 B

00

まぁ，発表原稿の資料作りとかで，規則的でなかったです．

被験者 C

10

いっぱい夜更かししたり逆に寝すぎたりしたからです．

いつも通り学校に来たり，6 時くらいはスーパーに行って食材を買って家帰って，作ってご飯食べて寝る。だから特別なイベントがなかったので，規則的な週だった．

ロボットにはソフトバンク社*3 の Pepper を用いる．イン
タラクションの流れを図 9 に示す．ロボットの発話に対して，被験者に実際の評価を行なってもらい，その理由を発話として取得する．インタラクションの実際の様子と結果を，図 10 と表 3 にそれぞれ示す．結果において，CNN による予測がユーザの評価と異なる場合があった．しかし，インタラクションによってその理由を取得することができ，取得したデータを新しい教師データとして利用することができると考えている．

図 10 実際のインタラクションの様子に 4.1 章で述べた横線の特徴が出ているとしても，本人にとっては規則的であったかどうかはわからない．今後は，可視化した生活リズムを通して，何がその人にとっての規則的なのかを明確にしていく必要があると考える．そのために，歩数だけでなく，運動量や睡眠なども複数のデータを用いて，CNN による出力も増すことを検討していきたい．それによって，その後のインタラクションの質の向上にも繋がると考えている．
図 9 インタラクションの流れ

5. おわりに本研究では，対話ロボットがユーザの生活に合った発話をすることを可能とするために，ユーザの生活リズムに着4.3 考察と今後の課題目した．腕時計型ウェアラブル端末によってユーザのライ今回の結果において課題は大きく 2 つある．1 つ目は，フログを取得し，CNN によってユーザの生活リズムの可データが少なかったということだ．一週間分を 1 データと視化を行なった．学習後の特徴マップに，横方向の線が見したことで，6 ヶ月のデータでも 26 件ほどのデータにしかられることがあり，一週間の中で毎日同じ時間帯に活動しならなかった．そのため，CNN による予測の精度が低かっている人は，そのような特徴が見られることがわかった．

たと考えられる．2 つ目は，歩数データしか使用していな

生活リズムに基づいたインタラクションでは，CNN によいことだ．生活リズムを判断する要因は他にもある．日中るの予測とユーザ評価が合わないことがあったが，インタの活動に重きを置く人や，睡眠に重きを置く人がおり，久ラクションによって，その理由を取得することができた．

保ら [10] の研究でも，日中の活動と睡眠の関係について調センサデータに基づいたインタラクションをすること査している．また，今回出力として用いた「規則的な週でで，ユーザが自らライフログを記録する必要がなくなる．

あるかどうか」という基準も人によって違う．特徴マップ

生活改善のアドバイスなども可能となるため，ヘルスケア*3の分野に貢献できると考えている．

https://www.softbank.jp/robot/pepper/© 2020 Information Processing Society of Japan763

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-78
2020/3/9参考文献[1]

Sato-Shimokawara, E., Nomura, S., Shinoda, Y., Lee,H., Takatani, T., Wada, K. and Yamaguchi, T.: A
cloud based chat robot using dialogue histories for elderly people, 2015 24th IEEE International Symposium on Robot and Human Interactive Communication(RO-MAN), pp. 206–210 (online), DOI: 10.1109/ROMAN.2015.7333648 (2015).
[2]
平田和暉，下川原英理，高谷智哉，山口 亨：クラウド
ベースの対話システムにおける時節情報を用いた発話分類，人工知能学会 全国大会 論文集，Vol. JSAI2018,
pp. 2E4NFC1b02–2E4NFC1b02（ オ ン ラ イ ン ），DOI:
10.11517/pjsai.JSAI2018.0-2E4NFC1b02 (2018).
[3]
Aoyagi, S., Hirata, K., Sato-Shimokawara, E. and Yamaguchi, T.: A Method to Obtain Seasonal Information for Smooth Communication Between Human andChat Robot, 2018 Joint 10th International Conference on Soft Computing and Intelligent Systems (SCIS)
and 19th International Symposium on Advanced Intelligent Systems (ISIS), pp. 1121–1126 (online), DOI:
10.1109/SCIS-ISIS.2018.00176 (2018).
[4]
Shimokawara, E., Yamaguchi, T. and Harashima, F.:
Networked intelligence by using ontology, Vol. 1, pp. 311–316/vol.1 (online), DOI: 10.1109/FUZZY.2004.1375740(2004).
[5]
Ho, Y., Shimokawara, E. and Yamaguchi, T.: Developinga Robotic Service System by Applying a User ModelBased Application for Supporting Daily Life, International Journal of Advanced Robotic Systems, Vol. 9 (online), DOI: 10.5772/51322 (2012).
[6]
Ho, Y., Murakami, K., Shibano, T., ¡br/¿Eri SatoShimokawara, and Yamaguchi, T.: An Intelligent Human
Support System Using Motion Patterns and Environment Information, Journal of Advanced Computational
Intelligence and Intelligent Informatics, Vol. 15, No. 6,
pp. 723–730 (online), DOI: 10.20965/jaciii.2011.p0723(2011).
[7]
高間康史，藤本泰成，山口 亨，新田 收，寄崎恵美子，糀谷
香美：介護老人福祉施設におけるセンサログを用いた介護スタッフ・入居者の活動分析，知能と情報，Vol. 29, No. 4,pp. 619–627（オンライン），DOI: 10.3156/jsoft.29.4-619(2017).
[8]
矢野理香，吉田祐子，鷲見尚己：202）ウェアラブルデバ
イス情報による身体活動量・睡眠と自覚的疲労度の関連，
日本看護研究学会雑誌，Vol. 38, No. 3, pp. 3–232–3–232（オンライン），DOI: 10.15065/jjsnr.20150722229 (2015).
[9]
新 谷 隆 彦：ラ イ フ ロ グ 活 用 を 支 え る 技 術 ，知 能 と 情
報 ， Vol. 26, No. 2, pp. 51–56（ オ ン ラ イ ン ），DOI:
10.3156/jsoft.26.2-51 (2014).
[10] 久保博子，桂樹良子，寺嶋 綾：女子大生における日中の活動と睡眠に関する実態調査，一般社団法人日本家政学会研究発表要旨集，Vol. 68, p. 46（オンライン），DOI:
10.11428/kasei.68.0-46 (2016).

© 2020 Information Processing Society of Japan764