情報処理学会
IoT 行動変容学研究グループ
キックオフシンポジウム論文集（Proceedings of IPSJ Behavior Transformation by IoT Research Group Kickoff Symposium）

2022 年 4 月 16 日
青山学院大学（青山キャンパス）総研ビル 大会議室

目 次

● 設立趣意・・・ P1 ～ P2

● 設立発起人／運営委員会

・・・ P3● スポンサー・・・ P4● プログラム（講演題目）

・・・ P5 ～ P6

● ポスター・デモ発表一覧

・・・ P7 ～ P9

● ポスター・デモ予稿集

・・・ P10 ～ P87

設立趣意書昨今、新型コロナウイルス感染拡大の影響により、生活様式が急速に変化しており、新時代の生活様式に合わせた人の「行動変容」が求められている。また、多様な科学技術の発展により、人間の生活を豊かになり、利便性が高まる一方で、期待される恩恵とは異なる方法に進み社会問題を生じる場合も出てきた。そのため、特定の価値観を押し付けず、個人の生活を尊重しながら社会との調和を実現できるような、人と技術の関わり合いについて体系的に行動変容について議論の場を設けることが急務である。そこで本研究グループでは、個人に最適化した行動変容を促進するために、IoT を組み合わせた行動変容に関する研究について幅広く議論する。
本研究グループで用いる「行動変容」として、先駆的な研究と実践事例を一部紹介する。「行動変容」に関係が深い概念として、2017 年にノーベル経済学賞を受賞した Richard H. Thaler 教授が提唱した「行動経済学」が挙げられる。行動経済学で有名な「ナッジ（Nudge）理論」では、「人は感情で動く」という観点から経済活動を体系的に組み立てた理論が幅広く活用されている。ナッジでは、相手の行動変容を促すための４つのフレームワーク E（Easy：簡単／人は、簡単で楽な行動を選びやすい）A（Attractive：魅力的／人は、自分にとって魅力的なものを選ぶ）S（Social：社会的／人は、社会規範に影響を受ける ）T（Timely：タイムリー／人は、タイムリーなアプローチに反応しやすい）が定められており、生活に密着した IoT と行動変容の促進は親和性が高いと考えられる。
ただし、画一的な方法でデータを示し、行動変容のための数値目標を押し付ける方法は効果的であるとは言い難く、安易に IoT を活用するのではなく、個人に最適化した行動変容支援を検討していかなければならない。
パフォーマンス工学分野では、Thomas F. Gibert が、達成目標を設定し、多種多様な行動の中から価値ある達成（valuable accomplishment）とそれに繋がる行動を「尊敬すべきパフォーマンス
（worthy performance）」であると定義した。これは達成目標に対しては、単なる行動変容だけではなく、主題（subject matter）に沿った行動が適切に変容すると論じている。つまり、達成目標に対し、組織もしくは個人の価値観を特定し、それに最適化した上での行動変容が求められることを意味する。達成目標の視点については、哲学レベル・文化レベル・ポリシーレベル・戦略的レベル・戦術レ
ベル・後方支援レベルの 6 段階のレベルに分類されている。
適切な行動変容を促進するためには、各レベルの達成モデルを定め、現状を測定・把握し、測定
結果と達成モデルに差異があった時には介入プログラムを策定・実施する。そして再度達成モデルに戻り、その妥当性を検討し、行動変容の対象者（個人・組織等）との歳を測定し、差異があった
場合には、介入プログラムを通じて修正していく。介入プログラム、即ち行動変容プログラムの策定には、人の行動観察、質問によるファイリングを実施し、行動変容の対象者に必要な行動レパートリーを調査し適用する必要がある。

1

工学及び医学分野では、人が発信する生体情報を多面的に解明する学際的研究が長年行われてきた。例えば、小型軽量ウェアラブル機器でセンシングし、蓄積されたデータを解析し、個人の健康状態や快適度を可視化して人にフィードバックする研究である。これにより、人の有する情報を多面的に解明することが有用であることが明らかになった。また、社会科学系研究分野では、人が保有する多様な情報を融合し、新たな情報に創り上げていく観点からの研究が数多く行われている。
社会学者の Peter L. Berge 等が示唆するように、社会事象を説明するためにはそれぞれの社会に所属する人の認識を考慮すべきであり、統計的手法に基づく定量分析だけではなく、社会を構成する各個人が発信する、きめ細かい情報に基づいた定性分析が必要不可欠である。そのため、個人に最適化した行動変容について、工学・医学・社会科学等の分野と融合して体系化することにより、新しい生活様式に密接した行動変容へと繋がる可能性を秘めており、さらなる発展が期待できる。
以上から、本研究グループでは、各個人に即して最適化した行動変容を促進するための IoT の基
礎・応用研究を幅広く議論する。また、IoT と行動変容に関連する学術分野として、Affective
Computing・行動経済学・社会行動学・理学・工学等、幅広い分野の研究者の参加を呼びかける。
また医療関係者、電気メーカ、情報関連企業、健康産業従事者にも参加を呼びかける。これにより、従来の学問体系を超えて、「行動変容」を総合的に討議する場としたい。
情報処理学会 IoT 行動変容学研究グループ
主査 ロペズ ギヨーム

2

設立発起人（五十音順）
荒川 豊 (九州大学)
石塚 宏紀 (KDDI 株式会社)
井上 創造 (九州工業大学)
大内 一成 (株式会社 東芝)
落合 圭一（株式会社 NTT ドコモ）
栗原 聡 (慶應義塾大学)
徳田 英幸 (NICT)戸辺 義人 (青山学院大学)
中澤 仁 (慶應義塾大学)
東野 輝夫 (大阪大学)
森川 博之 (東京大学)
安本 慶一 (奈良先端科学技術大学院大学)
ロペズ ギヨーム (青山学院大学)

運営委員会
主査
ロペズ ギヨーム (青山学院大学)
幹事
大越 匡（慶應義塾大学）
石塚 宏紀（KDDI 株式会社）
横窪 安奈（青山学院大学）
運営委員（五十音順）
岩本 健嗣（富山県立大学）、内山 彰（大阪大学）、大森 幹真（早稲田大学）、
落合 桂一（株式会社 NTT ドコモ）、柏本 幸俊（株式会社 KDDI 総合研究所）、
岸野 泰恵（NTT コミュニケーション科学基礎研究所）、久保 尋之（千葉大学）、
是村 由佳（株式会社 コレムラ技研）、坂本 一憲（早稲田大学）、
酒井 智弘（株式会社 KDDI 総合研究所）、中村 優吾（九州大学）、西山 勇毅（東京大学）、
長谷川 大（北海学園大学）、本多 達也（富士通株式会社）、松田 裕貴（奈良先端科学技術大学
院大学）

3

スポンサー本シンポジウムは、以下の組織よりご支援いただいて開催しております。

ヤフー株式会社
本研究グループは、以下の組織よりご支援を受けて活動しております。

ゴールドスポンサー

株式会社 KDDI 総合研究所

シルバースポンサー
NTT ドコモ株式会社

ブロンズスポンサー

株式会社リンクアンドコミュニケーション

カディンチェ株式会社

4プログラム● 13:00 ～ 13:10 オープニング / 主査ご挨拶● 13:10 ～ 14:20 基調講演
「ヒューマンサービスとしての行動変容学：応用行動分析学の理論・基礎・実践との連携」
山本淳一 (東京都立大学特任教授 / 慶應義塾大学名誉教授)

ご講演概要
心理学を基盤として構築された応用行動分析学（applied behavior analysis）について、具体的な研究、実践、事例を取り上げて、行動変容学との連携に発展させることを、基調講演の目的とします。
応用行動分析学では、行動を、「環境」と「個人の反応」との相互作用システムととらえます。したがって、行動変容のためには、環境を変えること、個人の反応を変えること、環境と個人との相互作用
を変えることが、目的となります。システムなので、常に PDCA を回しながら、効果的な介入方法を明らかにしていきます。ターゲットとなる行動がドラスティックに変容する条件が明らかになった時、その現象が理解できたと考えます。行動を制御する条件を明らかにすることに徹底し、仮説構成概念を用いないという姿勢を貫いています。様々な事例を含めて概説をお話しした後に、トピックとして、講演者が取り組んできた発達障害のある幼児・児童の行動変容に関する基礎研究、臨床研
究、実践研究の具体的な話しをします。その中に、身体、ことば、こころ、発達、学習、障害、社会性、意欲、幸福、子育て、親子関係、学校教育、福祉、心理臨床、地域支援、遠隔地支援、など
様々な行動変容のテーマを含めます。さらに、現在、融合領域の構築に取り組んでいる精神科臨
床での成果（行動ウェルネス）、理学療法・作業療法・言語聴覚療法などのリハビリテーションとの融合（行動リハビリテーション）について、実践的な話題を提供します。さらに、今後取り組む予定のロボティックスとの共同研究についても触れ、討議を発展させたいと考えています。
本講演で示す研究は、JST【ムーンショット型研究開発事業】【JPMJMS2034-3】の支援を受けた。

5

● 14:30 ～ 15:45 Poster/Demo セッション
14:30 ～ 14:40 オンライン発表者のポスター発表
14:40 ～ 15:10 現地ポスター発表（前半）P1, P3, P5, P8, P10, P12, P14, P19, P21, P23, P25, P27, D
15:15 ～ 15:45 現地ポスター発表（後半）
P2, P4, P6, P9, P11, P13, P16, P18, P20, P22, P24, P.26, P.28
● 16:00 ～ 17:00 研究事例報告
時空間ビッグデータによる行動変容の可能性 (1) (16:00-)
岩本健嗣 (富山県立大学 工学部 電子･情報工学科 准教授)

時空間ビッグデータによる行動変容の可能性 (2) (16:10-)
米澤拓郎 (名古屋大学大学院 工学研究科 准教授)

Persuasive Technology 2022 参加報告 (16:20-)
酒井智弘 (株式会社 KDDI 総合研究所)
中村優吾 (九州大学大学院システム情報科学研究院 助教)

パフォーマンス・エンジニアリングシステムと行動変容 (16:40-)
是村由佳 (株式会社コレムラ技研)

当たり前を疑うことからの行動変容 (16:50-)
大森幹真 (早稲田大学 人間科学学術院 准教授)

● 17:00 ～ 17:30 パネルディスカッション 「IoT × 行動変容 :今後の研究課題と期待」
司会：LOPEZ Guillaume (青山学院大学理工学部 教授)
パネリスト
岩本健嗣、米澤拓郎、大森幹真、中村優吾、
是村由佳、石塚宏紀 他● 17:30 ～ 17:40 クロージング

6

ポスター・デモ発表一覧(P01) 集合的な人間の目の共有を利用したリフレクティブシンキングの促進
木村梨沙，中島達夫（早稲田大学）(P02) ウェアラブルデバイスを用いた簡易計測における 機械学習を応用した脳波によるうつ病判
別モデルの構築において利用できる脳波指標の評価
鈴木圭，菅谷みどり（芝浦工業大学）(P03) オンライン授業における生体センシングによる精神状態の客観的評価の IoT 化に向けて
中川友梨，谷田川ルミ，PeerayaSripian，菅谷みどり（芝浦工業大学）(P04) 行動変容向けアンビエントディスプレイの表示カスタマイズによる興味喪失防止
国方詩織，辻愛里，藤波香織（東京農工大学）(P05) ロボットと人の Emotion Aware コミュニケーション を実現する ROS による基盤システム
井口拓海，菅谷みどり（芝浦工業大学）(P06) Aromug:糖分摂取量低減を補助するスマートマグカップの検討
真弓大輝（奈良先端大），中村優吾（九州大学/JST さきがけ），松田裕貴，安本慶一（奈良先端大）(P07) グループディスカッション参加者のマルチモーダルデータに 基づく印象・理解度評価法の提案
酒井元気（日本大学）(P08) 深層学習を用いた「かわいいキャラ」モデル構築と ポジティブフィードバック効果の検証に向けて
大塚嵩柾，TippornLAOHAKANGVALVIT，PeerayaSRIPIAN，菅谷みどり（芝浦工業大学）(P09) 精神状態推定における因果関係の推定とデータ活用方法の検討
井上健一，鈴木圭，菅谷みどり（芝浦工業大学）(P10) 音楽聴取時の快適と覚醒の生体情報による 評価方法の検討
Jadram Narumon，菅谷みどり（芝浦工業大学）(P11) 食事音を用いた食習慣改善システム
蒲地遥，大久保紗恵，横窪安奈，ロペズギヨーム（青山学院大学）(P12) 作業コンテキストに応じた「ながら運動」推薦機構
小林美月，辻愛里，藤波香織（東京農工大学）

7

(P13) 社会便益のための ICT 行動変容支援システム
荒川豊（九州大学）(P14) 発言における感情極性の比率操作を目的としたトークン付与による会議支援ツールの研究
足立雄大，稲見皓介，岩本健嗣（富山県立大学）(P15) *Twitter を活用したソーシャルナッジのためのいいね！と運動習慣化成功との関係の分析
濱谷尚志，三村知洋，山田渉，落合桂一（株式会社 NTT ドコモ）
(P16) 楽曲に対するコメントから受容性の高い推薦文を作成する手法の研究
山内大河，井黒海星，岩本健嗣（富山県立大学）(P17) *新型コロナウイルス感染防止に向けた混雑回避行動を促進する行動変容技術の検証
井手崇博，大滝亨，山田暁，佐藤弘之，落合桂一，川上博，矢野達也，大川博生，和久井圭祐，
白井拓也（株式会社 NTT ドコモ），荒川豊（九州大学）(P18) スマートウォッチを用いたマスク装着の促進手法
小野翔多，西山勇毅，瀬崎薫（東京大学）(P19) パフォーマンス工学の IoT 行動変容学研究グループへの活用
是村由佳（コレムラ技研）(P20) SynCook+：角速度データを用いた炒める動作におけるレシピ動画進行度自動制御システム
村島朋奈，瀧川みり子，横窪安奈，ロペズギヨーム（青山学院大学）(P21) 頭痛発生予測モデル構築に向けた頭痛記録システムの検討
中嶋桃香，佐々木航，大越匡，中澤仁（慶應義塾大学）(P22) 急ぎ検知モデル作成のための手法の提案
桑田翔平，佐々木航，大越匡，中澤仁（慶應義塾大学）(P23) アーチェリー時のハイブリッドなコンディション推定手法
高澤雄，別宮広朗，大越匡，中澤仁（慶應義塾大学）(P24) 遠隔ソーシャルダイニングはどんな行動変容を起こすのか
益田岳（東京女子医科大学），酒造正樹（東京電機大学）(P25) イヤホンマイクを用いた摂取カロリーのリアルタイムモニタリングのための食事内容予測
泉川茉莉，河崎隆文，大越匡，中澤仁（慶應義塾大学）(P26) COVIDGuardian: Augmented situated visualization to increase risk perception and selfefficacy towards infectious diseases by fear appeal
Kento Katsumata，Tadashi Okoshi，Jin Nakazawa（Keio University）

8

(P27) 精神課題における機械学習モデルの構築手法の比較
金井健太郎，鈴木圭，菅谷みどり（芝浦工業大学）(P28) リアルタイム心拍変動計測とフィードバックによる アンガーマネジメントゲーム
吉岡佑，菅谷みどり（芝浦工業大学）(D29) 筋電信号を用いた着脱可能なウェアラブルサイレントスピーチインターフェースの開発
黒瀧悠太（GMO ペパボ株式会社ペパボ研究所，横浜国立大学），太田裕貴（横浜国立大学）

9情報処理学会 SIG-BTI シンポジウム

集合的な人間の目の共有を利用した
リフレクティブシンキングの促進
木村
早稲田大学

梨沙
中島
基幹理工学部達夫
情報理工学科を紹介し, 次にプロトタイプシステムを使用して提示した

1. はじめにシナリオの登場人物の役割を果たすように依頼した . 最後

スマートグラスやスマートイヤフォンなどのウェアラブル

に, 私たちは現在のアプローチへの様々な知見を得るため

デバイスは, 近い将来, そのカメラやマイクロフォンで取に参加者にインタビューをおこなった.

得した人の視覚や聴覚を他の人と共有することが可能とな

ほとんどの参加者は, 複数の視界映像を見せることが, 視る. 我々のアプローチは, 共有経済とクラウドソーシング

点間の違いを見つけるために不可欠であることに同意した.

の考えをベースに複数の人々の視点をバーチャルリアリテ

しかし, その違いの意味を正しく理解する必要があるため,

ィ空間内に同時に表示することで, 人々が世界の様々な問

内省的思考を導くのに十分ではないと参加者は主張した.

題を内省的に考えることを助けることを目的としている.

また, 参加者はこれらの違いがユーザをもっと意識的にす

内省的思考は, 現在起こっていることについて分析し判断るために彼らの好奇心を刺激するべきであると答えた. いを下す, 重要な思考プロセスの一部である. Dewey は, 内

くつかの具体的なコメントに, 「特定の視界映像がいかにし省的思考は信念または想定される知識の形式, その知識をて内省的思考を対象にしようとしているのか理解するのは支える根拠, およびその知識が導くさらなる結論を積極的困難である. 視界映像に表示されていること, またはキーに, 持続的に, そして慎重に検討することであると示唆しワードで指定されたものを強調することが望ましい. 」,

た [1]. 日常生活はますます複雑なものとなってきている「内省的な思考のためには, 特定の時間の異なる場所の景ため, 我々は, 日常生活内で本質的に欠かせないものが何色を見せるのではなく, 同じ場所の異なる時間の景色を見かを忘れる傾向がある. 我々のアプローチはマインドレス

せることがより好ましい. 」, 「自分と同じ趣味を持っていになりがちな日常を内省的に考えることをエンカレッジする人や自分に近い性格の人の視界映像は, 自分内の内省をることにより, 日常の様々なことに対して内省的に考える

育むのに効果的である. 」などがあった.

ことを促する.

実験の参加者によって提案されたコメントは, ユーザに提2. CollectiveEyes and CollectiveEars

示する適切な視界映像を選択するための戦略の重要性を示

CollectiveEyes [2]と CollectiveEars [3]は, 人間の身体的な部している. 実験から得られた知見は, 複数の視界映像を提分, 特に人間の目や耳を集団で共有することに焦点を当て示することで, ユーザが視界映像のいくつかの違いに気付ており,人々の物理的な持ち物や論理的なリソースは共有さくことを示している. しかし, 彼らはまた, ユーザがそれられない.これらのプラットフォームでは, 従来のシェアリンの違いから見つけられる本質的な情報を理解するために十グエコノミーのような物理的な持ち物ではなく, 目や耳と分な知識と興味を持つ必要があるとコメントした. この議

いった身体の一部を共有することを可能とする. そのため，論は, 内省的思考を刺激するために複数の視界映像を選択

人々は，ごくわずかな労力で自分の目や耳を集団で共有すすることは, システムを使用するときにシステムがユーザることを可能にしている．また, これらのプラットフォームの意図を理解し, 意図を反映するように慎重に視界映像をは，多様な人々が生活する複数の時間や空間を統合するこ

選択することを必要とすることを示す.

とで，複雑なユーザ体験を構築している．

参考文献

3. 現状の知見[1] John Dewey, “How We Think: A Restatement of the Relation ofReflective Thinking to the Educative Process”, New York: D.C. Heathand Company, 1933.
[2] Risa Kimura, and Tatsuo Nakajima, Collectively Sharing People’s
Visual and Auditory Capabilities: Exploring Opportunities andPitfalls, SN Computer Science, 1(5), 298:1-24, Springer Nature, 2020.
[3] Risa Kimura, and Tatsuo Nakajima, CollectiveEars: Sharing
Collective People’s Hearing Capability, In Proceedings of the
23rd International Conference on Information Integration and Webbased Applications & Services (iiWAS 2021), 2021.

本調査の目的は, 提案手法の課題と潜在的可能性に関する知見を, 現在のプロトタイプシステムから引き出すことである. 実験は著者の所属する大学にておこなった. 11 人の参加者（年齢 m = 25.5, sd = 10.6, 5 人の女性）を集め, 各参
加者には最初に, 提案されたアプローチの基本的な考え方

Encouraging Reflective Thinking through Collective Sharing Eyes and Ears
Risa Kimura, Waseda University

Tatsuo Nakajima, Waseda Universtyⓒ2022 Information Processing Society of Japan10

ウェアラブルデバイスを用いた簡易計測における機械学習を応用した脳波によるうつ病判別モデルの構築において利用できる脳波指標の評価
鈴木圭†1

菅谷みどり†1
複雑度，左右対称性，機能的結合度の 4 種類である．パワ

1. はじめにースペクトルとは，脳波データを周波数解析し，一定の周新型コロナウィルスのパンデミック以降，うつ病やうつ

波数帯ごとの強さを算出した脳波指標である．複雑度とは，状態の人の割合が増加しているという報告が存在している

脳波データの複雑度合を定量化した脳波指標である．左右[1]．このように増加しているうつ病患者に対し，ヘルスケ

対称性とは，左脳と右脳の脳活動をパワースペクトルや複アや治療を行うためには適切な診断が必要である．しかし，雑度で定量化した後，その数値の差や商を算出した脳波指現状の診断方法は臨床医による面接などであり，診断が臨標である．機能的結合度とは，脳波計のそれぞれの電極か

床医や患者の主観に依存するという課題がある[2]．そこで，ら得られた脳波データの相互情報量などの統計的依存性を臨床医や患者の主観だけでなく，客観的な評価による診断定量化した脳波指標である．

のサポートが必要である．その試みとして，機械学習を応

4. 結果と考察

用した脳波によるうつ病と健康な人とを判別するモデルの精度検証した結果を図 1 に示す．

開発が存在する．これらのモデルを構築する際に，脳波データから脳波の特徴を定量化した脳波指標を算出し，その脳波指標を機械学習モデルが学習することで，うつ病か健康な人かを判別するモデルを構築する．しかし，現状では，
ウェアラブルデバイスによる簡易計測において，どの脳波指標がうつ病か健康な人かの判別に有効であるのか評価が少ない．そこで，本研究では，どの脳波指標がうつ病と健図 1

康な人との判別に有効であるのかを調査することを目的と脳波指標ごとに学習した際の精度

脳波データの複雑度を学習した場合，最も良い精度であする．この調査により，IT ヘルスケアにおけるウェアラブ
ルデバイスの活用の幅を広げることができると考える．

る 0.72 となった．一般的に用いられることが多い脳波指標2. データ計測

はパワースペクトルである．そのパワースペクトルを学習した場合の精度である 0.60 と比較して，複雑度を表す脳波

うつ病と診断されている人 8 名・健康な人 9 名に対して,5指標の精度が 0.72 と上回ったため，複雑度を表す脳波指標

分間の椅子に座った状態での閉眼安静時の脳波データを 2の有効性が示唆された．

回計測した．脳波データの計測機器は EMOTIVE EPOC X で本研究では，大別した脳波指標の種類ごとにうつ病と健ある．サンプリングレートは 256hz に設定した．電極数は康な人との判別における有効性を評価した．しかし，電極14 個であり，電極位置は国際 10-20 法における AF7, F7, F3,

位置や周波数帯などを考慮すれば，さらに脳波指標の種類

FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 と，頭部の広範を分類できる．今後は，このように，より小分類化された囲から脳波を計測できる．

脳波指標の有効性の評価を検討する．

3. 評価

参考文献
[1] Organisation for Economic Co-operation and Development, A new
benchmark for mental health systems A new benchmark for mental
health systems: tackling the social and economic costs of mental
ill-health. Paris Cedex, France: Organization for Economic
Co-operation and Development (OECD), 2021, p. 253.
[2] X. Li, R. La, Y. Wang, B. Hu, and X. Zhang, “A Deep Learning
Approach for Mild Depression Recognition Based on Functional
Connectivity Using Electroencephalography,” Front. Neurosci., vol.
14, p. 192, Apr. 2020.
[3] G. Ke et al., “LightGBM: A Highly Efficient Gradient Boosting
Decision Tree,” in Advances in Neural Information Processing
Systems, 2017, vol. 30.
[4] Z. C. Lipton, C. Elkan, and B. Naryanaswamy, “Optimal
Thresholding of Classifiers to Maximize F1 Measure,” Mach Learn
Knowl Discov Databases, vol. 8725, pp. 225–239, 2014.

どの脳波指標がうつ病か健康な人かの判別に有効であるのかの評価として，脳波指標の種類ごとに機械学習モデル
を学習させ，その精度を算出した．本研究で用いた機械学
習モデルは LightGBM[3]である．交差検証には，訓練データとテストデータに同一の被験者のデータを含めない方法を用いた．精度指標には，マルチクラス分類時の精度指標として頻繁に用いられている Macro F1[4]を用いた．
本研究の調査対象となった特徴量は，パワースペクトル，†1 KEI SUZUKI, Shibaura Institute of Technology†2 MIDORI SUGAYA, Shibaura Institute of Technology

11オンライン授業における生体センシングによる精神状態の客観的評価の IoT 化に向けて中川友梨†

谷田川ルミ† Peeraya Sripian†
芝浦工業大学†

菅谷みどり†

1. はじめにオンライン授業は COVID-19 というパンデミック下でも学生が授業を受けることを可能にした．しかしオンライン
授業は他の学生とのコミュニケーションが不足するというデメリットがあるとされており[1]，コミュニケーションの不足が解消されるべきである．しかし，オンライン授業におけるコミュニケーションと学生の精神状態との関係が明確であるとは言えない．なぜなら，単純な機能を用いたコ

図 1 Emotion Hub システム概要[3]ミュニケーションの比較や客観的な評価が不足しているた

それによって，例えば，授業者に対して受講している学めである．そのため，映像や音声といった単純な機能を用

生の集中状態をリアルタイムにフィードバックされることいたコミュニケーションをとる際の精神状態を生体センシ

で，授業者が受講者に対して発言などのコミュニケーショ

ングによって客観的に評価を行った[2]．

ンを促すような行動をとるきっかけを作ることができる．

その結果として，オンライン授業における集中と緊張にまた，受講者の集中や緊張状態が授業者に可視化される関する精神状態の傾向が見られた．集中に関しては，自身ことで，高等教育で多く用いられるディスカッション形式

のみが話す状況において高くなり，反対に自身は聞いていの授業においても，ディスカッションを行うグループの編

るのみの状況において低くなった．緊張に関しては，他の成を決定する際にグループのメンバーの全体のバランスを学生の映像や音声が伝達されない状況で最も高くなり，自みた編成を決定することが可能になると考えられる．

身と他の学生と双方向にやり取りをする状況で最も低く(リ

我々の研究では，脳波センシングによる集中評価，心拍ラックス状態に)なった．

センシングによる緊張評価を行った．しかし，学習意欲といったより抽象度の高い精神状態に関して生体センシング

2. IoT を活用した授業支援システムの提案により評価ができていない．今後は主観評価と複合的に評価をしたり，生体情報から得られるその他の指標の評価を

近年では，ウェアラブルデバイスや簡易センサの普及によしたりすることで，受講者の精神状態についてより詳細にり生体センシングを比較的簡易に行うことが可能になって評価をすることができるようにする必要がある．また，よいる．そのため，我々の研究で行っている評価実際のオンり実環境下に近い状態で評価をするために，より長期的なライン授業で活用することが可能であると考える．また，評価を行っていく必要があると考えられる．

Narumon らは，複数人の生体センシング結果をクラウド上に集め，リアルタイムに値を確認することができる

3. おわりに

EmotionHub というシステムを提案した[3] (図 1)．我々の評
価と EmotionHub を組み合わせることで，生体センシングと本稿では，オンライン授業におけるコミュニケーション

その分析結果を可視化しフィードバックするような IoT シ不足を解決し，よりよいオンライン授業の実施に向けた授ステムがオンライン授業支援に活用できると考える．

業支援システムへの提案を述べた．評価指標に関する課題や評価方法，開発に対する課題を解決する必要があるが，今後も継続する可能性があるオンライン授業にとって，本稿で述べたようなオンライン授業支援システムは必要とされるシステムであると考えられる．今後は実環境下での応用に重点をおいた研究を進めていく．

How to Prepare Your National Convention of IPSJ Reports in MS-Word† YURI NAKAGAWA, Shibaura Institute of Technology.
† RUMI YATAGAWA, Shibaura Institute of Technology.
† Peeraya Sripian, Shibaura Institute of Technology.
† MIDORI SUGAYA, Shibaura Institute of Technology.

12

参考文献
[1] “新型コロナウイルス感染症の影響による学生等の学生生活に関する調査（令和 3 年 5 月 25日）”,https://www.mext.go.jp/content/20210525-mxt_kouhou01-000
004520_1.pdf (参照 2022-02-23) .
[2] 中川友梨,谷田川ルミ,Peeraya Sripian, 菅谷みどり,“オンライン
授業におけるコミュニケーション機会の差異が精神状態に与える効果の脳波・心拍変動を用いた客観的評価”, 教育システム情報学会（JSiSE）2021 年度第 5 回研究会,(2022).
[3] Narumon Jadram and Yanzhi Li and Yuri Nakagawa and Midori
Sugaya “A Proposal for a Simultaneous Biometric Measurement
System for Multiple People using a Cloud Server” "Proceedings ofAsia Pacific Conference on Robot IoT System Development andPlatform",vol.2021,112-113,(2022).

13

情報処理学会 SIG-BTI シンポジウム

行動変容向けアンビエントディスプレイの表示カスタマイズによる興味喪失防止
国方詩織 † ，辻愛里 ‡ ，藤波 香織 †‡†1

東京農工大学大学院 生物システム応用科学府 生物機能システム科学専攻‡
東京農工大学大学院 工学研究院 先端情報科学部門

はじめにたものである．一方で，アンビエントディスプレイでは長期にわたるユーザの興味を扱う必要があり，チャレン
ジングである．本研究では，長期にわたって行動変容をサポートできるアンビエントディスプレイの開発のために，ディスプレイを眺める行為から興味喪失状態を推定
し，完全に興味を失う前に再び興味を惹く手法を提案す
る．在宅時の非着座活動の意識付けを題材とした約 5 週間の評価実験を実施し，効果を検証した．

新型コロナウィルスの蔓延防止行動やダイエット・禁煙などの健康増進行動，地球温暖化回避のための省資源行動など，日常の様々な場面で行動変容を迫られる機会が増えてきている．行動を望ましい方向に変化させるためには，現状にもとづき適切な方法で対象者を動機づける必要がある．ウェアラブルデバイスや環境に設置されたセンサなどから対象となる行動の実施状態を定量化することが可能になりつつあるが，その情報への容易なア
クセスと動機付け要素の分かりやすい伝達が効果的な行
動変容にとって重要である．一方，情報を数値やグラフのような具体的な表現ではなく仮想の生物のイラストや光などにマッピングして抽象的に表現することで情報を直感的に理解させるアンビエントディスプレイ [1] の研究が数多く存在する．アンビエントディスプレイは，複数あるアプリケーションの一つとして情報確認の都度起動して使うというより，独立したシステムとして常時起動した状態でオブジェや絵画のような環境の一部として認知されることを狙っている．情報表現の工夫により，日常生活で他の作業を妨げることなく情報を伝達出来るう
えに，ユーザが情報を前向きに受け取ることに繋がるため，行動変容で多く活用されている [2–6]．
しかし，アンビエントディスプレイは，他の作業を妨げずに情報を間接的に提示するという特性から，デバイ
スを使用し始めた頃はその真新しさでユーザによく利用してもらえるが，長期利用をする際には徐々にユーザが興味を失い，見向きもされなくなることがあり [2]，その結果システムの効果低減に繋がることが示唆されている [3]．また，システムの不具合によりユーザの期待を下回る結果が提示されることで，興味の喪失からシステムの放棄に繋がることも報告されている [4,7]．しかし，行動変容の文脈においてこれらの問題の解決を狙った研究は我々の知るところではほとんど存在しない．興味の推定とその応用に関する研究として，視線情報 [8] やユー
ザの性格特性 [9]，発話情報 [10] などを用いたものが存在するが，それらはユーザの一時的な興味や好みを扱っ

2

ロボット遊びをする子供の心的状態をモデル化した先行研究 [11] を参考に，アンビエントディスプレイの長期利用に伴って生じる馴れと不信感という 2 つの状態を追加したモデル（図 1）を提案してきた [12]．

図 1: 興味喪失に至るまでの状態モデル
まず，システムを使用し始めて間もない「新鮮」状態
では，システム内容が未知なため関心が高く，利用頻度も高くなっている．その後，自分なりのシステム利用方法を見出し，ユーザ自身のペースで情報の変化を「楽しむ」状態に遷移する．システムの機能性やバリエーショ
ンに応じて，この期間は長くなる．しかし，システムを使用していくうちに，2 つの状態に陥る可能性が生じると考えられる．まず，全ての機能や表示パターンを網羅してしまったと感じ，徐々にシステムに対する関心が失われていく「馴れ」状態である．長期間システムが同様の情報提示を続けることで，ユーザの中でその情報が「背景」のように認識されてしまい，いずれ見向きもしなくなる可能性が生じると推測される．この現象は長期間のユーザ評価実験を実施した先行研究において複数指摘されており，例えば Bauer らの研究 [13] では，長期にわたって関心を維持し続けたい場合はデザインの定期的な変更を視野に入れる必要があると述べている．また，「シ
ステムが自分の希望に沿ってくれない」，「情報やその表現手法が不正確」と感じた場合にユーザがシステムに対して覚える「不信感」状態がある．例えばユーザの行動
情報が正確にディスプレイに反映されていないこと [4,7]Preventing Loss of Interest in Ambient Displays for Behavior Change by Contents Customization
Shiori KUNIKATA† , Airi TSUJI‡ , Kaori FUJINAMI†‡† Department of Bio-Functions and Systems Science, Graduate
School of Bio-Applications and Systems Engineering, Tokyo University of Agriculture and Technology‡ Division of Advanced Information Technology and Computer
Science, Institute of Engineering, Tokyo University of Agriculture and Technology
fujinami@cc.tuat.ac.jp©2022 Information Processing Society of Japan

興味喪失に至るまでのユーザの状態モデル

14

情報処理学会 SIG-BTI シンポジウム
や，デザインがユーザ好みでない時などに生じる．不信感を覚えることで，システムの使用を意図的に避ける傾向が強まると考えられる．これらの状態を経て，最終的にシステムに対する関心を完全に失った「興味喪失」状態に達してしまうと推測される．以上のことから，興味喪失を防止するためには，「馴れ」や「不信感」を覚え始めている状態（興味の低下）を検出して直ちに回避策を実施することが有効であると考えられる．

3

システム概要と実装

3.1 システム概要
昨今の在宅時間の増加に伴う座りすぎな傾向が健康リ
スクを高めていることを背景に，馴れや不信感の発生により生じる興味喪失を回避するというコンセプト検証用
タスクを「在宅中に座ったままでいる連続時間を減らすこと」とした．1 時間あたりの非着座時間（≈ 活動時間）が一定の割合を超えると画面内の仮想の木が成長する仕様となっており，ユーザの「木をより成長させたい」という向上心の喚起から行動変容を促す．
本システムは図 2 に示すような主要機能で構成される．
アンビエントディスプレイは Raspberry Pi 4 とタッチス
クリーンディスプレイにより実現する．活動データの計
測には Fitbit Charge 41 を用いて，ユーザの状態推定のために小型カメラモジュール HVC2 を使用する．

3.2.2 馴れと不信感の推定
馴れと不信感は，「その度合いが高いほど画面を見る回数が減る」という仮説を元に発生を定義した．以前の調査 [12] では距離センサを用いて，ユーザとディスプレイ
間の距離から画面視認回数を推定することで行った．しかし，判定精度の低さが問題となったため，ユーザの状
態をより正確に取得できる計測手法を用いる必要性が生じた．そこで HVC から取得できる視線情報を用いて，画面内に視線の先が収まる回数を算出して判断した．
ユーザの状態推移と画面視認回数の相関の有無を明らかにするために，20 代の大学生 9 名を対象に予備実験を実施した．被験者は時間によって背景色が変化するのみの簡易なアンビエントディスプレイを自宅に設置して利用し続ける中，1 時間に 1 回，馴れと不信感の度合いに関する 11 段階のアンケートに回答した．図 3 (a) に，ある被験者の経過時間と馴れおよび不信感の度合いの関係を示す．度合いが最大値（10）に達するまでに約 1 日
から約 2 週間まで個人差はあるものの，9 名全員に時間とともに度合いが上昇する傾向が見られた．画面視認状
況の定量化に際しては，1 時間に 1 回以上画面を視認していたら 1，していなかったら 0 として，それを 1 日ごとの在宅時間で平均化したものを視認頻度とした．図 3(b) は (a) と同一人物の経過時間と視認頻度の関係である．半数程度の被験者に右肩下がりの傾向が見られ，日数経過に従って画面を見る頻度が下がったことが確認された．視認頻度と馴れまたは不信感の度合いの間には，一人の被験者を除いて負の相関があり平均–0.60（標準偏差：0.39）となった．これは，慣れや不信感の度合いが高
くなるにつれて画面を視認する頻度が減ったことを表している．このことを利用して，利用開始日と比較して画面視認頻度の割合が一定（0.516）以下になった時点で，馴れや不信感が発生したと見なす（図 2 (b)）．

図 2: システム概要図

3.2

主要機能

3.2.1 在宅活動率の計算
1 時間に 1 回の頻度で式 (1) で定義される在宅活動率を算出する．
「在宅時間」はユーザ宅の無線 LAN にユー
ザのスマートフォンが接続されている時間とし，当該端末に対して ping コマンドを一定間隔ごとに発行して簡易的に測定する．また，「着座時間」は Fitbit API3 を用いて取得した “sedentary“時間を用いる（図 2 (a)）．こ
れらの値は 1 時間毎にリセットされる．
在宅活動率 =

在宅時間 − 着座時間
在宅時間

図 3: 予備実験結果：(a) 経過日数と感じた馴れおよび不信感の度合い，(b) 画面視認頻度．
（被験者 H）

3.2.3 情報提示
木の成長というメタファーにより，ユーザが定期的に活動をして健康になっていく様子を表現する．1 時間に 1回，在宅活動率が評価され，目標値（4.1 節参照）に達していれば木が 1 段階成長する（図 2 (c)）．一定期間行動に改善が見られなかった場合，木は徐々に痩せ細り，最終的に折れるという 2 段階の負のフィードバックを与えることで，動機づけ強化を狙った（図 2 (d)）．

(1)

1 URL: <https://www.fitbit.com/global/jp/products/
trackers/charge4>
2 URL: <https://www.omron.co.jp/ecb/product-info/
image-sensing-/b5t-007001>
3 URL: <https://www.fitbit.com/jp/dev>©2022 Information Processing Society of Japan

3.2.4 馴れと不信感に対するアプローチ
既報 [12] において，馴れや不信感の発生をシステムが検知したタイミングでユーザの接近を検知すると，情報15

情報処理学会 SIG-BTI シンポジウムのカスタマイズを促すアプローチとアニメーションによって興味を引くアプローチの 2 種類を比較し，ユーザの好みに合わせる情報提示が有効である可能性を示した．本
稿ではカスタマイズ手法に関して 2 種類の手法を提案す
る．1 つ目はユーザが好きなタイミングでカスタマイズ可能なものである．木の成長段階に応じてカスタマイズ
可能箇所が増加していくことにより，カスタマイズに対する未知性を持たせ，長期にわたって興味を維持できるようにする．また，馴れや不信感の発生が検知された場
合にはシステムが情報のカスタマイズをユーザに提案することによって，興味喪失に向かうことを防止する（図 2(e)）．2 つ目はシステム利用開始時に目標となる木をユー
ザ好みにカスタマイズできるものである．木の成長につれて目標とした木に近づいていくことによって，目標意
識を高め，活動時間増加への動機づけを強化する（図 2(f)）．また，カスタマイズ可能な色や形の種類は事前にアンケートを実施することで決定した．

4

評価

4.1 方法
著者研究室所属の 20 代学生 6 名（女性 2 名，男性 4名）を対象に，興味喪失防止（画面視認頻度低下防止）のためのカスタマイズの有効性を検証した．被験者は各システムを以下の 3 条件で 12 日間ずつ使用した．在宅時間や在宅時の過ごし方は特に指示していない．被験者
ごとにシステムの利用順序を変えて順序効果を相殺した．
木の成長ための在宅活動率の目標値は，「座位時間が長時間に及ぶ場合には 30 分ごとに座位行動を中断して軽く動くべき」という推奨 [14] を参考に 30 分に 1〜2 分以上動くことを想定して 3/60 とした．健康増進を目的とした本格運用では，目標値は適切に設定する必要がある．
• 情報提示のみ：情報提示のみ実施（対照群）• 随時カスタマイズ：成長に応じてカスタマイズ可能部が増加（図 2 (e)）• 目標カスタマイズ：最初に目標の木を設定（図 2 (f)）
「情報提示のみ」は，システム側で画面視認回数のカ
ウント自体は行うものの，馴れや不信感の判定およびその判定結果によるアプローチ等は一切行わず情報提示のみ行う．
「随時カスタマイズ」は，画面をタップすることで画面に表示されている木のカスタマイズが常に可能なうえに，馴れや不信感が検知された場合にユーザが画面の前を通過したタイミングでカスタマイズを提案する．
「目
標カスタマイズ」では，最初に目標となる木をユーザ好みにカスタマイズさせ，木が成長していく度にその姿に近づいていく．定量データとして画面視聴回数や在宅中の活動時間（参考値），定性データとして各アプローチ
に対する印象や好みについての回答を収集して評価した．

4.2 結果および考察
被験者は 3 種類のシステムを連続して使用し，実験期間は計 1ヶ月以上にわたったことから，システムの利用順序や個人の傾向によって興味の喪失（維持）度合いに違いがみられた．そのため，個人ごとの結果をまとめる
ことで，被験者を 3 つのタイプに分類した．
©2022 Information Processing Society of Japan16「モチベーションが強い」タイプ 1 には 3 名が該当し，多少の傾向の違いはあるものの，実験期間中全般で，大きく画面を見た頻度や活動時間が低下することなくシス
テムを活用し続けていた．また，いずれの被験者も随時
カスタマイズを好み，目標カスタマイズの評価が随時カ
スタマイズと比較して低かった．タイプ 1 の被験者は木の成長というメタファによってモチベーションが向上している傾向があったため，目標の有無によって結果が左右されなかったと考えられる．また，定期的にディスプレイを確認していたため，ユーザの好きなタイミングで情報をカスタマイズできる随時カスタマイズとの相性が良かったと考えられる．カスタマイズをするためには自らディスプレイを操作する必要があるため，そもそもの興味が薄いと使ってもらえない．その点，タイプ 1 の被験者はディスプレイに対する関心が高く，随時カスタマ
イズの活用によって，さらに興味の維持に繋がったと考えられる．一方で，カスタマイズ要素のないシステムに対しては，他のシステムと比較して馴れや不信感の要素を感じていた．よって，システムに対するモチベーショ
ンが強い状態の被験者には，木の見た目を好きなタイミ
ングで変更できるというような，馴れと不信感に対処できるアプローチが有効に働くということが分かった．
「モチベーションが徐々に弱くなる」タイプ 2 には 2名該当し，最初はシステムを活用しようと感じていたが，馴れや不信感の度合いが大きくなったことによって，1 週
目の後半から既に興味喪失の傾向が見られていた．タイプ 2 の被験者はいずれも 2 週目以降に随時カスタマイズを利用しており，すでに興味を喪失していたことや，木の成長が見られなかったことを理由に，カスタマイズを
1 度も実施していなかった．また，最初に目標の木の設定ができる目標カスタマイズを最も好んでいるという傾向が一致していた．つまり，タイプ 2 の被験者は，木の成長というメタファのみではモチベーションの維持が難
しく，目標の設定によって目指すゴールを示されたことから，その到達までの努力意識を与えられたと考えられる．よって，モチベーションが持続せず，馴れや不信感の傾向が強くなった被験者には，自主的な操作を促すようなアプローチは有効ではないことが分かる．また，完
全に興味喪失に至った後ではあらゆる機能を搭載しても活用される可能性は低いため，それ以前の段階で対処する必要がある．さらに，長期間のモチベーション持続が難しいという点から，目標の設定により目指すものが明らかになるため意識の改善傾向が確認された．
「モチベーションが弱い」タイプ 3 には 1 名が該当し，最初からシステムに対する興味や行動変容に対する意識が低く，終始システムを活用しない傾向にあった．木の成長を確認しても，特に行動を変化させたいという意識が湧かず，システム間の違いも特段感じていなかった．被験者は家では座り続けることが多く，それに対して危機感を特に感じていないうえに，アンビエントなアプロー
チで行動を変えようと思えるほどの意識がなかったため，
このような結果になったと思われる．このように，活動時間の変化そのものに対して興味がないタイプの被験者に情報処理学会 SIG-BTI シンポジウム
は，カスタマイズによって意識を変化させることは難し
く，活動時間以外の情報やより強いアプローチが必要であると考えられる．例えば，被験者の興味のある情報や見る必要がある情報を同時に表示することで，間接的に活動時間に興味を向けさせることが有効となる可能性がある．全く別のシステムを用いることも考えられるが，保健指導などで使用を指示され，興味が無い状態から本人も気付かないうちに徐々に興味を強めていくという点で，同一のシステムで対応できることが望ましいと考える．
このように．ユーザがシステムに対して感じるモチベー
ションの高さにより有効なアプローチが異なると考えられる．このことは文献 [15, 16] などでも指摘されている．
我々の研究グループでは過去に省電力行動促進を対象として電力消費と情報提示システムの利用状況から動機レベル（行動変容段階）の決定木による推定と段階に応じた動機付け戦略変更を試みており，有効性の示唆を得ている [17]．本稿で扱ったような活動時間に対しても，動機レベルを表す行動特徴と十分な量の正解ラベルが得られれば，機械学習により動機レベルを推定してタイプ 2 や3 のユーザをカバーすることが可能になると考えられる．
また，各システムへの嗜好度の差を以下の 3 つの質問によりシェフェの一対比較法（中屋の変法）で検証した．

• Q1：「馴れ」に有効そうなアプローチはどちらか？
• Q2：「不信感」に有効そうなアプローチはどちらか？
• Q3：今後も使い続けたいと感じるのはどちらか？
Q1 と Q3 に関しては，情報提示のみの場合と比較して，カスタマイズ要素のある随時カスタマイズおよび目標カスタマイズが有意に好まれた．一方で，Q2 に関しては，システム間で差がみられなかった．2 つのシステムに対して得られた意見を以下の表 1 にまとめる．
表 1: 各システムに対して得られた意見
随時

目標

・色の変更によって新鮮に利用できる・長期利用における馴れ対策に有効
・手動でカスタマイズする気が起きない
・全種類を網羅したら飽きる可能性有り
・目標の木のデザインが良い
・目標が明確になり，モチベーションが向上
・使用につれて設定した目標を忘れる
・成長に対する未知性が損なわれる

随時カスタマイズと目標カスタマイズに関しては，好みが分かれている傾向が見られた．随時カスタマイズは成長過程に未知性があり，見た目を好きなタイミングで変更できるという利点があるが，自身で操作をする必要があり，目標意識は湧きづらい．逆に目標カスタマイズは最初に完成形を好みにデザインできて目標が明確になるという利点があるが，未知性は損なわれる．これは成長の途中まではユーザが予め設定した木の色と全く違う色に成長するようにすることで対処可能であると考える．
さらに，成長に必要となる活動時間を伝達することで目標に対する意識を持ちやすくすることができると考える．
また，被験者に生じた不信感の度合いに，システム間による差異が少なかったことから，アプローチの有無による不信感の程度の差は少なく，システム全般の挙動に©2022 Information Processing Society of Japan17

対して生じていたと推測される．例えば，実験中のデー
タ取得の遅延や失敗について複数人から指摘されており，それによる信頼度の低下がユーザの不信感の度合いに大きな影響を与えていたと考えられる．この指摘のような不具合はシステム側で検出できるため，これを情報提示に反映してシステムの内部状態を可視化することで，ある程度の不信感の軽減は可能と考える．

5

おわりに

本稿では，行動変容向けアンビエントディスプレイが長期にわたり効果を発揮するために鍵となる興味喪失を防止する手段として，ユーザによるカスタマイズを提案
し，在宅時の座りっぱなしを解消するという事例への適用を試みた．その結果，ユーザが興味喪失に近づくに従って画面を見る頻度が減少することや，ユーザのモチベー
ションによって有効なアプローチが異なることを確認した．今後の課題として，各カスタマイズ手法の改善や，モチベーション推定とそれに合ったカスタマイズ手法の切り替え，システム内部状態の可視化などが挙げられる．

参考文献[1] C. Wisneski, et al. Ambient displays: Turning architectural
space into an interface between people and digital information. In Proc. CoBuild’98, pp. 22–32, 1998.
[2] S. Consolvo, et al. Activity sensing in the wild: a ﬁeld trialof UbiFit garden. In Proc. CHI’08, pp. 1797–1806, 2008.
[3] J. Froehlich, et al. Ubigreen: investigating a mobile tool
for tracking and supporting green transportation habits. In
Proc. CHI’09, pp. 1043–1052, 2009.
[4] K. Fujinami. A case study on information presentation toincrease awareness of walking exercise in everyday life. Int’lJ. Smart Home, 4(2), pp.11-26, 2011.
[5] K. Fujinami, et al. An augmented refrigerator with theawareness of wasteful electricity usage. Int’l J. Internet,
Broadcasting and Communication, 6(1), pp. 1–4, 2014.
[6] K. Fujinami. Facilitating unmotivated tasks based on aﬀection for virtual pet. In Proc. PerPersuasion’19, pp. 736–741,
2019.
[7] S. Consolvo, et al. Flowers or a robot army? encouraging
awareness & activity with personal, mobile displays. In Proc.
UbiComp ’08, p. 54–63, 2008.
[8] S. Castagnos, et al. Inferring art preferences from gaze exploration in a museum. In Adj. Proc. UMAP 19, pp. 425–430,
2019.
[9] S. Dhelim, et al. Personality-aware product recommendation
system based on user interests mining and metapath discovery. IEEE Trans. Comput. Soc. Syst., 8(1), pp. 86–98, 2021.
[10] 稲葉, 高橋. ニューラルネットワークを用いた雑談対話からのユー
ザの興味推定. 人工知能学会論文誌, 34(2), pp. E–I94 1–9, 2019.
[11] 阿部, 他. 子供と遊ぶロボット：心的状態の推定に基づいた行動
決定モデルの適用. 日本ロボット学会誌, 31(3), pp. 263–274,
2013.
[12] S.Kunikata, et al. Involvement of a System to Keep Users
Interested in the Contents of Ambient Persuasive Display.
In Poc. GCCE’21, pp. 37–38, 2021.
[13] J. S. Bauer, et al. Shuteye: encouraging awareness of healthy
sleep recommendations with a mobile, peripheral display. In
Proc. CHI’12, pp. 1401–1410, 2012.
[14] 福島, 井上. 座位行動と健康との関連. 東京医科大学雑誌, 76(1),pp. 33-37, 2018.
[15] R. Orji, et al. Modeling the eﬃcacy of persuasive strategies
for diﬀerent gamer types in serious games for health. User
Model User-Adap Interact, 24(5), pp. 453-498, 2014.
[16] S. Berkovsky, et al. Adaptivity and personalization in persuasive technologies. In Proc. Personalization in Persuasive
Technology Workshop, 2016.
[17] 田口, 藤波. 省資源行動の変容段階を考慮した動機づけ戦略の切換え手法. 情処学会第 76 回全国大会, pp. 699–701, 2014.

情報処理学会 SIG-BTI シンポジウム

ロボットと人の Emotion Aware コミュニケーションを実現する ROS による基盤システム
井口拓海†1菅谷みどり†1
芝浦工業大学†1
1. はじめに3. 開発と課題
3.1 ROS での開発

近年，ロボットは様々な社会分野で導入されてきている．
特に介護分野においては，高齢者社会の進行に伴い人手不本研究では，ロボットに Raspberry Pi 4 を搭載し，ROS1

足が加速しており，対策としてロボットを用いたセラピー

Noetic で開発を行った．実装は以下の図 1 のようになる．本が挙げられる．しかし，従来のロボットでは実際に介護や福研究では人から生体情報を収集する機能と，それをもとに祉の分野に導入された際に，人とコミュニケーションが取感情を推定する機能を実装した．それぞれをノードで実装れないという課題があった．そこで，コミュニケーションにし，ノード間は Pub/Sub 通信を用いてデータをやり取りしとって重要な相手の感情を知る機能を実現するために，いた．また生体情報を扱うためのカスタムメッセージも独自

くつもの感情推定手法が提案されてきた．その中でも，無意に実装した．感情推定機能では，簡易的な手法と機械学習モ

識下でも存在し数値として扱える生体情報を利用した感情

デルを用いた手法の両方を実装した．機械学習はロボット

推定手法は，リアルタイム性が高く客観的な手法であると上で行うと時間がかかりすぎてしまうため，サーバ上で行

言える．この手法を搭載したロボットは過去にいくつか開い，そこからモデルを取得するようにした．

発されてきたが，その機能は汎用的ではなく，各ロボットのハードウェアや OS の要件に合わせて開発する必要があった．そこで本研究では ROS に利用して，人とコミュニケー
ションを取ることが出来るセラピーロボットの実現に向けた汎用的な感情推定機能の開発と評価を行った．

2. 生体情報による感情推定手法
2.1 簡易的な手法
生体情報を用いた感情推定手法として，Sripian らのもの

図1

提案機能の設計が挙げられる[1]．これは，Russell の円環モデルという心理モデルの縦軸と横軸に脳波と心拍の指標を当てはめること

4. おわりにで，感情を推定する手法である．簡易的でありながらも，これまでに多くの研究で用いられており，ある程度の有効性

本研究では，介護福祉分野でのロボット利用に向けて，人は示されている．一方で，個人差に対応できず精度が下がるとコミュニケーションを取るために必要な感情推定機能を可能性が考えられる．

ROS で開発した．これにより汎用的な機能は完成したもの

2.2 機械学習モデルを用いた手法の，簡易手法は推定精度が十分ではなく，モデルを用いた手先ほどの簡易手法に対して，より精度の高い推定を行う

法では推定時間がかかりすぎてしまう課題がある．今後はために，鈴木らは生体情報を用いた機械学習モデルを提案

これらの組み合わせにより，より自然なコミュニケーショ

した[2]．これは生体情報と主観感情評価を組み合わせたデンを取れるロボットを実現したいと考えている．

ータセットを用いて，感情を分類する機械学習モデルを生成するものであり，途中で特徴量分類を挟むことで，より精

参考文献

度の高いものを生成できるようにしている．このモデルを[1] Peeraya Sripian, Midori Sugaya, e t al , Emo-tion sensitive voice
casting care robot in rehabilita-tion using real time sens i ng andanalysis of biometricinformation ””, Journal of Amb ient IntelligenceandSmart Environments , 2021.
[2] 鈴木圭, 松原良太, 菅谷みどり: “機械学習による脳波指標と心拍変動指標を特徴量とした感情推定モデルの構築”, 人工知能学会全国大会論文集, vol.35, 2021.

用いた感情分類の精度は 99%以上であった．

How to Prepare Your National Convention of IPSJ Reports in MS-Word†1 TAKUMI IGUCHI, MIDORI SUGAYA, Shibaura Institute of Technology.

ⓒ2022 Information Processing Society of Japan18

情報処理学会 SIG-BTI シンポジウム

Aromug: 糖分摂取量低減を補助するスマートマグカップの検討
真弓 大輝 †1
奈良先端科学技術大学院大学 †1

中村 優吾 †2
九州大学 / JST さきがけ †2

松田 裕貴 †3
奈良先端科学技術大学院大学 †3

安本 慶一 †4奈良先端科学技術大学院大学 †4

香りデバイス

1. はじめに（Aroma Shooter）

香り噴射口

私たちが普段何気なく飲んでいる飲料には多くの糖分が香りデバイス（Aroma Shooter）

マグカップ
IMUセンサ（MetaMotionR+）

含まれている．特に発展途上国では，都市化の進展と飲料のマーケティングにより，砂糖入り飲料の消費量が劇的に増加している [1]．結果として，世界の糖尿病患者数は年々著しく増加する傾向にある [2]．過剰な糖分摂取は血糖値の上昇，糖尿病のリスク上昇，メタボリックシンドロームの原因(a) Aromug の外観となる内臓脂肪の増加に繋がることが知られている [3, 4]．

図1(b) Aromug の使用イメージ

Aromug のデバイス外観と使用例

また，高カロリーの飲料を 1 日約 114g，4 年間飲み続けることによって 2 型糖尿病の発症リスクが 16 ％上昇するこりによる影響であることが知られている [7, 6, 8]．また，香と，1 日に 1 杯の高カロリー飲料を水やお茶などのゼロカロ

りによって体感する甘さが増強される効果が確認されていリー飲料水に置き換えることで糖尿病リスクは 2〜10 ％減

る [9]．本研究では，これら知見を根拠とし，日常生活に溶少することが報告されている [5]．

け込む情報技術を活用して，飲むという行為中にタイミング

糖分摂取量を削減する方向に人々を後押しする方法が良く香り情報を提示することにより，知覚される甘さを増幅

いくつか提案されている．Hoenink らは，飲料水の栄養成するシステムの実現を目指す．具体的には，我々が飲み物を分表を表示し，糖分含有量を意識させる方法を提案してい飲む際に日常的に使用する道具であるマグカップに着目し，る [2, 6]．また，Villinger らは，コーヒー店などで利用さ飲むという行為の動作センシング機能と，コンテキスト・アれるシュガーシェイカーの砂糖を出にくくすることによりウェアな香り情報の提示機能を備えたスマートマグカップ

糖分使用量の削減を促す方法 [7] を提案している．これら「Aromug」を提案する（図 1）．本稿では，Aromug のプロの手法によって，一時的に砂糖含有量の少ない飲料の選択

トタイプシステムを提示し，飲み物を飲む際に Aromug かや砂糖の使用量削減を促すことが可能である．しかし，習ら提示するのに最適な香りフレーバーを探索するための初

慣的に砂糖が多く含まれる清涼飲料水を好んで飲んでいる期実験の結果を紹介する．実験では被験者 10 名に対して糖人々にとって，砂糖の少ないまたは無糖の飲料水は，味が物分が含まれない白湯と計 12 種類の香りフレーバーを同時に足りなく感じられることが多い．結果的に，糖分が控えめ試飲した際の味の満足度・味の濃さ・味の甘さに関する官能な飲料を選択するという習慣が長続きせず，甘い飲み物を評価を行い，どのようなシチュエーションで飲みたいかに常飲する元の生活に戻ってしまうケースが多い．そのため，

ついてアンケート調査を行った．実験の結果，味の感じ方

徐々に糖分使用量を低減できるように対象者を補助する解には個人差があるものの，いちごやココナッツといった香決策が求められる．

りフレーバーを提示することで，知覚する甘さが向上する

本研究では，実際の糖分含有量を減らしつつも，飲料を可能性が示唆された．

飲む際に知覚する甘さを維持するための方法として，香りを用いたアプローチを検討する．味覚のうち 75〜95 ％は香

2. 関連研究
Aromug: Designing Smart Mug to Assist in Reducing Sugar
Intake†1†2†3†42.1. 嗅覚デバイスに関する研究
近年，様々な種類の嗅覚デバイスとそれを用いたインタ

DAIKI MAYUMI, Nara Institute of Science and Technology
YUGO NAKAMURA, Kyushu University / JST PRESTOYUKI MATSUDA, Nara Institute of Science and Technology
KEIICHI YASUMOTO, Nara Institute of Science and Technology

ラクションが提案されている．Wang らの研究 [10] では，
ピアス型，ネックレス型，顔に装着するオンフェイス型の19

情報処理学会 SIG-BTI シンポジウム

香りデバイスを提案し，社会的受容性，快適性および装着

30 歳の会社員，太郎さんは出勤前の朝食は，パンとミル

者と観察者の双方が感じる匂いの強さなどを評価している．

クコーヒーが定番である．太郎さんは大の甘党であり，ホッAmores らの研究 [11] では，スマートフォンから遠隔操作

トコーヒーや紅茶には毎度ミルクと角砂糖を 4 つ入れる習可能で，生体情報や文脈情報に基づいて香りの強さや頻度慣がある．出勤時には，会社内で 3 回ほど甘さたっぷりのを変えることができるネックレス型の香りデバイスを提案

ミルクコーヒーを，仕事から帰宅後は，食事と一緒にビールしている．Dobbelstein らの研究 [12] では，日常生活で利を飲む．就寝前にはミルクティーを飲みながら読書をする

用可能なウェアラブル香りデバイスを開発し，個人の香り習慣がある．そんな太郎さんの奥さんは，夫の血糖値が高の通知を受けることが可能である．また VR と嗅覚デバイ

めであることを気にかけており，糖分摂取量を控えてほしスを用いたマルチモーダルな体験として Brooks ら [13] は，

いと望んでいた．

ペパーミントの香りを用いて冷たさを表現し，カプサイシン

ある日，健康診断で太郎さんの血糖値が境界域に達したの香りを用いて熱さを表現するなど，香りによって VR 空

ことをきっかけに，妻から「Aromug」をプレゼントされる．

間での体験を拡張する仕組みを開発している．本研究では，飲み物を飲む際に日常的に使用する道具であるマグカップ

Aromug は，飲み物を飲む際に，甘さを増強するアロマが提示されるスマートマグカップである．太郎さんは，Aromugに着目して，受容性が高く，日常生活に溶け込むことが可能

を用いて減糖生活を始めることを決意する．そして，会社内な嗅覚インタフェースを模索するとともに，それを用いて，で飲み物を飲む際には，必ず Aromug を使用することにし知覚する甘さを増幅しながら，実際の糖分摂取量を削減すた．太郎さんは，Aromug の甘さ増強効果が知りたくなり，るためのインタラクションを検討する．

ホットコーヒーを Aromug に注ぐ．そして，入れるミルク

2.2. 嗅覚が味覚に与える影響

ると飲むと同時に Aromug から甘い香りが噴射され，いつと角砂糖の量をいつもより減らし，Aromug で試飲した．す
私たちの味覚のうち 75〜95 ％は香りによる影響であるこ

もとは違うが甘さのあるミルクコーヒーの味わいを楽しんとが知られている [7, 6, 8]．風邪を引いて鼻が詰まったり，だ．この時，太郎さんは普段飲むミルクコーヒーに近い満鼻を摘んで食事を行なった際，味を感じなかったり，感じ

足感を体感した．これなら，砂糖控えめでも，問題ないかも取りにくい経験はないだろうか．これは味覚が嗅覚に依存しれないと太郎さんは思った．太郎さんは，Aromug で飲していることがわかる身近な体験の 1 つである．また嗅覚

み物を飲む体験が大変気に入り，紅茶や白湯も Aromug にが味覚に与える影響の例としてかき氷のシロップが挙げら注ぐようになった．太郎さんは Aromug の利用頻度が高くれる．かき氷で使用される代表的なシロップとして，いちなるにつれて，わずかな甘さを楽しめるようになっていた．

ご味・レモン味・ブルーハワイ味などがある．これら 3 種

そして，ミルクコーヒーや，紅茶を砂糖なしで飲む習慣が身類のシロップは甘味，旨味，塩味，苦味，酸味の数値は全につき始めていた．Aromug を利用してから，数週間後，久てほとんど同じ数値であるが味わいがそれぞれ異なる．赤しぶりに太郎さんは，定番だった甘さたっぷりのコーヒー

いシロップといちごの香りでいちご味を表現するなど，視を口にした．このとき，太郎さんは，自分がこんなに甘い覚および嗅覚情報の提示によって異なる味わいを表現でき

コーヒーを常飲していたのかと驚いた．そして，糖分入れる．Ranasinghe らの研究 [14] では，味覚（電気刺激）と嗅

すぎは体に良くないなと改めて反省した．数ヶ月後，いつ

覚（香り）を一緒に作動させることで実際の飲み物に似せる

しか，太郎さんは，Aromug なしでも甘さ控えめの飲み物をデジタル機器の開発を行なっている．結果として電気刺激

選択するようになっていった．

と香りによって味覚の拡張を報告しており，異なるフレー

3.2. システム設計

バー間の対照実験では異なる味を認識することに成功している．香りによって味覚の拡張を表現することに成功して本研究では，飲料の糖分含有量を減らしつつ，コンテキいるものの，日常的な糖分摂取量の削減といった行動変容

スト・アウェアな香り情報の提示によって飲料を飲む際にを促すためのインタラクションをどのように設計するかと知覚する甘さを増強するためのスマートマグカップである

いう点については，明らかになっていない．

Aromug を提案する．Aromug は，マグカップ型のデバイスであり，飲むという行為の動作センシング機能と，コン
テキスト・アウェアな香り情報の提示機能を備えている.

3. Aromug のコンセプト

Aromug では，飲むという行為中の香り情報提示をタイミ

3.1. ユースケースシナリオ

ング良く制御することにより，知覚される甘さを増幅することを狙っている．

ここでは Aromug が実際にどのように活用されるのかに

図 1 に，Aromug の初期プロトタイプシステムを示す．

ついてユースケースシナリオを紹介する．

20

情報処理学会 SIG-BTI シンポジウム

表1

実験で使用した香りの種類
香りの種類

果物

図2

いちご・グレープ

甘味キャラメル・ココナッツ

柑橘

オレンジ・グレープフルーツ・ライム・レモン

ハーブ

ペパーミント・ジャスミン

その他

ショウガ・コーヒーを調査した．参加者の健康状態は問題なく（風邪や発熱な

IMU センサデータと噴射タイミングの例

どの症状はない），味覚や嗅覚についても正常な状態で実験は行われた．

現状は，図 1(a) に示すようにマグカップと香り提示デバ

本実験では，ベースの飲み物として無味で糖分ゼロの飲イスを簡易的に取り付けたデバイスとなっている．プロ
トタイプの香りデバイスには，株式会社アロマジョインの料である白湯を選定し，表 1 に示す各種フレーバー 12 種類

Aroma Shooter*1 を使用した．また，マグカップの底面には，図 1(b) に示すように，IMU センサ（MetaMotionR+）*2

を用いて実験を行なった．香りによるバイアスを防ぐためを搭載している．

するアンケートに回答してもらった．アンケートには，7 段

各刺激の間に 5 分間の休息を行った．各試行後，試飲に対Aromug では，ユーザがマグカップを掴んでから飲み物を階のリッカート尺度を採用し，被験者には，飲んだ時に知覚飲むまでの区間を認識して，香りを噴射する．３回飲み物をした，味の満足度，濃さ，甘さについて評価してもらった．

飲む動作を取る場合における，底面に設置した IMU センサ

4.2. 実験結果から得られるセンサデータと噴射タイミング（ピンク部分）の関係を示したものを図 2 に示す．このセンサデータは机図 3 に白湯とフレーバーの違いによる味覚変化の実験結上に置かれたマグカップを基準とした姿勢の変動量（クォー

果を示す．各種フレーバーに対する評価は基準となる白湯タニオン）を示している．飲む動作によって，クォータニオ

と比較する．

ンの y 成分，w 成分ともに変化が見られる．装着方向の関味の満足度に対しては，白湯に比べていちご，オレンジ，

係から，飲む動作に Y 軸周りの回転動作が多いことが y 成

レモン，ジャスミンの評価が高い傾向があった．甘い香料分に現れているものと考えられる．結果，ピンクで示した部やショウガ，コーヒーの香料に対しては満足度が低い結果

分が一連の飲む行動を示しており，この区間で匂いを噴射となった．味の濃さに関してはどのフレーバーに対してもすることが適していると考えられる．このように，Aromug

白湯より評価が高くなる結果となった．しかし，味の濃さ

は底面のセンサを用いて，ユーザがマグカップを持ってかが顕著に大きく感じられたフレーバーはなかった．また味ら，飲み物を一口飲み終わるまでの間を特定し，香りを噴の甘さに関しては，基準となる白湯に比べて全てのフレー射する設計となっている．現状は，閾値ベースの手法に留バーが上回る結果となり，その中でも果物のいちごや甘味のまっているが，今後は，機械学習手法を用いた動作認識のココナッツは特に評価が高くなった．また甘味としてキャアプローチも検討し，最適な香り提示制御の実現を目指す．

ラメルとココナッツを使用したが，ココナッツの方が満足

また，将来的には，香り提示デバイスや IMU センサを内側

度や味の甘さが有意に作用することが示唆された．
また，実験を通してオレンジやレモン，ペパーミント，に組み込み，外見がマグカップのように見えるデバイスのジャスミンの香料に関しては評価が分かれており，香料の好開発を目指す．

みには個人差があることがわかった．甘さを感じさせる香4. 調査実験料としていちごやココナッツの評価が他に比べて高くなっ

4.1. 実験概要て満足度や味の甘さについて評価し，香料の有効性を示したため，今後は，コーヒーや紅茶など白湯以外の飲料に対し

各種フレーバーが味覚に及ぼす影響を調査するために，ていく．また，実験を通じて，現状のプロトタイプは，香りAromug のプロトタイプを用いて感覚的な官能評価実験を行った．具体的には，23 歳から 24 歳までの 10 人の参加者が噴射された先が鼻に直接向けられるように設計できていなかったという問題点があることが明らかとなった．

を募り，白湯を飲むと同時に，香りが提示されるという体験

5. おわりにが，白湯を飲む際に知覚する味の濃さや甘さに与える影響*1*2

本稿では Aromug を提案し，糖分摂取量を減少させるた

https://aromajoin.com/products/aroma-shooter
https://mbientlab.com/metamotionr/

めの初歩段階である味覚変化に最適なフレーバーを探索す21

情報処理学会 SIG-BTI シンポジウム

図3

フレーバーの違いによる味覚変化の実験結果

るための初期実験の結果を示した．実験の結果，フレーバー

W., Beulens, J. W. and Mackenbach, J. D.: The eﬀect of
on-shelf sugar labeling on beverage sales in the supermarket: a comparative interrupted time series analysis of anatural experiment, International Journal of Behavioral
Nutrition and Physical Activity, Vol. 18, No. 1, pp. 1–11
(2021).
[7] Villinger, K., Wahl, D. R., Engel, K. and Renner, B.:
Nudging sugar portions: a real-world experiment, BMC
nutrition, Vol. 7, No. 1, pp. 1–5 (2021).
[8] Harbers, M. C., Beulens, J. W., Rutters, F., De Boer, F.,
Gillebaart, M., Sluijs, I. and Van Der Schouw, Y. T.: Theeﬀects of nudges on purchases, food choice, and energy
intake or content of purchases in real-life food purchasing
environments: a systematic review and evidence synthesis, Nutrition journal, Vol. 19, No. 1, pp. 1–27 (2020).
[9] Nahon, D. F., Roozen, J. P. and De Graaf, C.: Sweetness ﬂavour interactions in soft drinks, Food chemistry,
Vol. 56, No. 3, pp. 283–289 (1996).
[10] Wang, Y., Amores, J. and Maes, P.: On-face olfactoryinterfaces, Proceedings of the 2020 CHI Conference on
Human Factors in Computing Systems, pp. 1–9 (2020).
[11] Amores, J. and Maes, P.: Essence: Olfactory interfaces
for unconscious inﬂuence of mood and cognitive performance, Proceedings of the 2017 CHI conference on humanfactors in computing systems, pp. 28–34 (2017).
[12] Dobbelstein, D., Herrdum, S. and Rukzio, E.: inScent: A
wearable olfactory display as an ampliﬁcation for mobile
notiﬁcations, Proceedings of the 2017 ACM International
Symposium on Wearable Computers, pp. 130–137 (2017).
[13] Brooks, J., Nagels, S. and Lopes, P.: Trigeminal-based
temperature illusions, Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp.
1–12 (2020).
[14] Ranasinghe, N., Suthokumar, G., Lee, K.-Y. and Do, E.
Y.-L.: Digital ﬂavor: towards digitally simulating virtual ﬂavors, Proceedings of the 2015 ACM on international conference on multimodal interaction, pp. 139–146(2015).

の好みには個人差があるものの，香りのない白湯に比べてフレーバーを付与することによって知覚する味の満足度や濃さ，甘さが変動する可能性が示唆された．今後は，Aromugのプロトタイプシステムの完成度を高めるとともに，匂いだけでなく，視覚や聴覚情報を用いた甘さの増強についても検討を進める予定である．
謝辞 本研究の一部は，JST さきがけ（JPMJPR21P7）の助成によって行われた．

参考文献[1] Malik, V. S., Willett, W. C. and Hu, F. B.: Global obesity: trends, risk factors and policy implications, Nature
Reviews Endocrinology, Vol. 9, No. 1, pp. 13–27 (2013).
[2] World Health Organization: Diabetes, Available online: https://www.who.int/news-room/fact-sheets/
detail/diabetes. Accessed: 2022-02-25.
[3] Dhingra, R., Sullivan, L., Jacques, P. F., Wang, T. J.,
Fox, C. S., Meigs, J. B., D’Agostino, R. B., Gaziano,J. M. and Vasan, R. S.: Soft drink consumption andrisk of developing cardiometabolic risk factors and themetabolic syndrome in middle-aged adults in the community, Circulation, Vol. 116, No. 5, pp. 480–488 (2007).
[4] Malik, V. S., Li, Y., Pan, A., De Koning, L., Schernhammer, E., Willett, W. C. and Hu, F. B.: Long-term consumption of sugar-sweetened and artiﬁcially sweetened
beverages and risk of mortality in US adults, Circulation,
Vol. 139, No. 18, pp. 2113–2125 (2019).
[5] Drouin-Chartier, J.-P., Zheng, Y., Li, Y., Malik, V., Pan,
A., Bhupathiraju, S. N., Tobias, D. K., Manson, J. E.,
Willett, W. C. and Hu, F. B.: Changes in Consumptionof Sugary Beverages and Artiﬁcially Sweetened Beverages and Subsequent Risk of Type 2 Diabetes: Results
From Three Large Prospective U.S. Cohorts of Womenand Men, Diabetes Care, Vol. 42, No. 12, pp. 2181–2189(2019).
[6] Hoenink, J. C., Stuber, J. M., Lakerveld, J., Waterlander,

22情報処理学会 SIG-BTI シンポジウム

グループディスカッション参加者のマルチモーダルデータに基づく印象・理解度評価法の提案
酒井元気†1
日本大学†1
反駁，総括全てをこなすことで実施させた．

1. はじめに企業の採用選考において，グループディスカッション

2.2

印象，理解度アノテーションラベル

(GD)は学生のコミュニケーション能力を判定するための重前述の通り，本研究では，発話者に対する聞き手の印象，

要な手段の一つとなっている．中には，10 分程度の短時間

及び，発話者の発話内容に対する聞き手の理解度のアノテで実施される GD もあり，学生は高度なスキルが求められーションを作成した．聞き手の印象ラベルは，ポジティブ，ている．例えば，学生は採用選考の GD で，論理的な発言

ネガティブの 2 値とし，理解度は 1～7 でスケーリングさせを行う必要があることはもちろん，面接官に好印象を与えた(7 が最も理解しやすい事を示す)．

ることまで考慮して挑む必要がある．

アノテーションラベル付けは，2.1 で示した短時間ディベ

著者らは，これまでに，GD 中の発話者に対する，聞き手

ートの直後に行ってもらった．例えば，ディベートの流れの感情をマルチモーダル情報に基づいて推定する手法につで示したステップ A)の場合，聞き手は賛成者 2，反対者 1，

いて報告してきた[1][2]．今回は，短時間で行うディベート

2 の 3 名となり，それぞれ，3 件の印象，理解度のラベルがを採用し，1 回当たり短時間で行える GD のトレーニングシ

得られることになる．つまり，約 6，7 分程度の 1 セッショ

ステムの提案を行う．短時間ディベートは，実施におけるンで 18 件の印象，理解度のラベルを得る事が可能である．

時間的コストが低いことから，ユーザーの利便性はもちろん，自動診断を可能とするための AI 基盤構築を目指したデ

3. 収集データータ収集においても有益である．

本研究は Zoom を用いてディベート実験を行っているた
め，スピーカービュー，ギャラリービューの動画データ，
及び，参加者毎の音声データが収集可能である．また，音声データからは，発話の書き起こしデータを作成した(一部，作成中)． 更に，全セッションで使用できてはいないが一部，
Fitbit による心拍数データも収集した．

本論文では，実施した短時間ディベート実験の流れ，印象，理解度アノテーションの作成法，収集したマルチモー
ダルデータについて解説を行う．また，収集されたデータの活用法についても言及する．

これまでの実験で，東京電機大学，日本大学，京都産業大学，北陸先端技術大学院大学，京都大学，東京農工大学の学生を参加者とし，44 セッションのデータを収集した．
印象のアノテーションに関して，ラベルの比率は，ポジテ
ィブ：ネガティブ=334：126 であった(集計中)．現在のところ，ポジティブラベル数がネガティブラベル数の約 2.7 倍である．これは，ディベート参加者が基本的に研究室内メン
バーで構成されており，ネガティブな印象を持ちにくい傾向があるためと推察できる．今後の実験では，初対面の参加者で実施し，ネガティブラベル数の増加を図りたい．

2. 短時間ディベート
2.1

短時間ディベートの流れ

Zoom を用いたオンラインにて，4 名 1 組でディベートを行ってもらった．
今回のディベートでは，4 名をあるテーマ X に賛成するグループ(賛成者 1，賛成者 2)と，反対するグループ(反対者
1，反対者 2)に個人的意見によらずに分け，以下の手順で議論を進めさせた．
A)
B)
C)
D)
E)
F)

「テーマ X」に対する賛成者 1 の意見「テーマ X」に対する反対者 1 の意見
反対者 1 の意見に対する賛成者 2 の反駁
賛成者 1 の意見に対する反対者 2 の反駁
反対者 1 の総括
賛成者 1 の総括

4. データの活用法と今後の展望
先に示した様に，今回，我々は，短時間ディベートの動
画，音声，発話書き起こし，心拍数等のマルチモーダルデータを収集してきた．更に，発話毎に，聞き手の印象，理上記の A)～F)の発言時間は，上限を 1 分間とした．なお，参加者が 3 名の場合も，1 名の賛成者(または反対者)が意見，解度のラベルも付与してきた．これらのデータを基に，今後は，聞き手の印象，理解度を推定する学習器の作成を進めてゆく予定である．例えば，聞き手のポジティブ，ネガ

How to Prepare Your National Convention of IPSJ Reports in MS-Word†1 MASATO TERADA, Hitachi Ltd.
†2 TOSHIAKI NISHIDA, Kyoto University†3 SHUNSUKE UEMURA, Nara Institute of Science and Technology

ティブの印象ラベルを，聞き手の表情，心拍数から推定すⓒ2022 Information Processing Society of Japan23

情報処理学会 SIG-BTI シンポジウム

る試みや，聞き手にネガティブな印象を与える発話者の音声の特性，表情等の自動解析も行う予定である．
今回の短時間ディベート実験は，1 回当たりの実験実施に要する時間的，費用的コストも低いと言える．更に，オンラインでの実施であるため，比較的場所を選ばず実施することが可能である．今後，複数の大学と連携し更にデータを収集してゆく予定である．

参考文献[1] Motoki Sakai, Masaki Shuzo, Masahide Yuasa, Kanae Matsui, andEisaku Maeda, “Biological and Behavioral Information-based Methodof Predicting Listener Emotions toward Speaker Utterances during
Group Discussion, ” Activity and Behavior Computing, Springer, pp.
189–207, December, 2020.
[2] 高木 章裕，酒造 正樹，酒井 元気, “加速度・角速度セン
サデータによる感情の状態分類モデルの提案, ”, 電子情報通信学会 ISS ジュニア＆学生ポスターセッション , 3 月 9 日,
2021.

ⓒ2022 Information Processing Society of Japan24

情報処理学会 SIG-BTI シンポジウム

深層学習を用いた「かわいいキャラ」モデル構築とポジティブフィードバック効果の検証に向けて
大塚嵩柾†

TippornLAOHAKANGVALVIT† PeerayaSRIPIAN†
芝浦工業大学†

菅谷みどり†

2.2 データセット作成

1. はじめに

まず初めに「かわいいキャラ」の深層学習モデルを構築す

近年，感性価値として「かわいい」感性が注目されており，るためのデータセット作成を行う．データセットでは，基本

様々な目的のために用いられている [1]．「かわいい」といモデルのキャラ 2 体を基本とし，属性として，図 1 のようう感性は，価値の向上や人の心をポジティブにするといっにアクセサリー，後ろ髪，口，髪型，服装，目の 6 つを設けた効果が期待されている[2].その他にも会話の少なさによるた．これらの属性ごとの異なるパターンのキャラを準備し，誤解やミス・コミュニケーションを「かわいい」ものを見る

アンケートにより評価し，データセットを作成した．

ことで会話を活発化させ減らせる可能性がある[3]．このよ
うに「かわいい」という感性価値は様々な効果があると考えられ重要な感性価値の一つである．そんな中「かわいい」を取り入れたキャラは，公共事業などの PR などに用いられている[4]．例えば，能勢町では能勢町の魅力を PR するためにお浄とるりりんというキャラが作成された[5]．このように「かわいいキャラ」を作成することで，キャラを取り入れた対象に対してポジティブな印象を提供することが可能である．しかし，現状，PR をする相手である対象者達に対して効果的な「かわいいキャラ」のモデルを構築する手法は提案されていない．
本研究は，「かわいい」を構成する要素について，対象と図1

するグループにアンケートを実施し，データを取得して，そ6 つの属性と 10 の設定例

2.3 分類モデル構築のデータから「かわいい」を判別するための深層学習のモデ

Deep Station により， VGG16, ResNet, MobileNet の DL モ

ル構築を行うことを目的とした．深層学習モデルの構築に

デル構築，モデル検証の３つのステップにより評価結果をあたり，Laohakangvalvit らの研究[6]を参考に構成する属性

得た．

の調査を実施し，本研究では，対象者に合わせた「かわいい表1キャラ」を分類する深層学習モデルを提案することを目的

VGG16 モデルの分類確率の結果
かわいい確率(％)とし，データセット及び属性の評価方法を検討した結果
VGG16 を用いたモデルでは分類確率が最大 99％のモデルを構築することに成功した．さらに，本手法を提供すること
で人の気持ちを実際にポジティブにできたかを評価することで，ポジティブフィードバック効果を検証する実証が可能であると考える．

2. 「かわいいキャラ」分類モデルの構築

かわいくない確率(％)

アクセサリー

92.5

97.6

後ろ髪

98.4

98.2

後ろ髪型

71.1

76.1

髪型

99.2

99.0

服装

72.5

78.8

目

58.5

86.9

表 1 より分類確率が最大 99％の精度の高いモデルとなった．しかし，目に関しては分類確率が 58％と低い結果とな

2.1 モデル作成手順った．この結果よりキャラ画像内で占める面積などの属性モデル作成の手順は次の通りである．
(1)アンケートを行い，アンケート結果からデータセット作

は，分類精度に関係する要因と考えられる．

成を行う．(2)データセットを学習済みモデルに入力し転移

2.4 ポジティブフィードバックシステム
ポジティブフィードバックの効果を客観的に評価するた学習を行いかわいいキャラモデルを作成する．

めには，生体情報などによる評価が望ましい．今後，本研究†Construction and Evaluation of a "kawaii Character"Classification Model Using
Deep Learning

Shuma OTHSUKA, Tipporn LAOHAKANGVALVIT, Peeraya SRIPIAN, Midori
SUGAYA, Shibaura Institute of Technologyⓒ2022 Information Processing Society of Japan25

情報処理学会 SIG-BTI シンポジウム

3. まとめと今後の課題

においては特に深層学習を用いることで，対象となる人に対して「かわいいキャラ」を作成したことで，よりポジティ

本研究では，「かわいい」を判別するための深層学習のモデ

ブな感情喚起ができている可能性が高い．しかし，これらのル構築を行うことを目的とし，その結果モデルでは分類確評価を精度高く，客観的に行うことは困難である．このこと率が最大 99％のモデルを構築できた. 今後は，生体情報のから，生体情報などを用いてどちらのキャラが対象者達に評価により，ポジティブフィードバックの効果について検とってかわいいキャラであるか客観的に評価を行う必要が証を行う．

あると考える．

参考文献[1] 大倉典子.感性価値としての「かわいい」.横幹.9 巻.1
号.p14-19.2015.

費科学.55 巻.12 号.p933-941.2014.
[5] おおさかのてっぺん能勢 PR キャラクターお浄＆るりりん.https://www.ojyo-ruririn.com(参照 2022-2-6)[2] 豊島 彩，入戸 野宏.高齢者にとっての”かわいい”の概念と構成要素.老年社会科学.41 巻.4 号.p409-419.2020.

[6] Tipporn.Laohakangvalvit，Tiranee ACHALAKUL，Michiko
OHKURA.A Method to Obtain Effective Attributes for
Attractive Cosmetic Bottles by Deep Learning.International
Journal of Affective Engineering.Volume19.Issue1.p3748.2020.

[3] 岡田 真奈，小高 直樹，阪田 真己子.「かわいい」ものが引き起こすふるまい-ある幼児用動物玩具を題材として-.日本感性工学会論文誌.19 巻.2 号.p207-213.2020.
[4] 辻幸恵.ゆるキャラに対する好悪の実態調査.繊維製品消ⓒ2022 Information Processing Society of Japan26

情報処理学会 SIG-BTI シンポジウム

精神状態推定における因果関係の推定とデータ活用方法の検討
井上健一†1

鈴木圭†1 菅谷みどり†1
芝浦工業大学†1
2.2 データセット作成

1. 背景

特徴量として，電極毎の脳波データ 14 個，脈波データ，質

精神患者数は H29 では 400 万人を超え，特にうつ病など

問票の回答，さらに実験開始時間，実験回数，開眼安静などの著しい増加がみられる[1]．精神病疾患を患う患者の増大の実験時の状態を用いて分析を行った．また，用いた脳波デが見込まれる中，客観的かつ実用的な診断方法が重要となータの電極の位置については図 1 に示した．また，質問の患っている．これに対して近年，客観的な診断方法として，生っている精神疾患については，回答された疾患の中から，実理指標と機械学習を活用し，精神状態を推定する研究が提験協力者の内 25%の人が回答した精神疾患である ASD・案されている[2]．特に脳波や心拍などの生理指標は，人のADHD・うつ病を特徴量として分析を行った．

主観の影響 を受けずにセンシングできることから患者の実験結果から，うつ病・ADHD・性別は生理指標のセンサ

主観表現の影響を受けず，医師が精神状態を客観的に診断値と因果関係があることがわかった．また，うつ病・ADHD・できるものとして期待されている．しかし，これらの機械学性別の影響を受ける脳波指標などが明らかになり，実験結習を用いた精神状態推定では，個人差が大きい課題がある．

果の因果関係の推定結果が正しい可能性が示唆された．

これは，生理指標のセンサ値は年齢，サーカディアンリズム，
起床時間，精神疾患，心理的な疲労状態などの要因の影響を

3. まとめと今後の課題

受けていると考えられる[3]．生理指標のセンサ値と個人差

本研究では，精神状態推定における機械学習の適用を目を発生させる要因との因果関係を明らかにすることで，汎的とした因果関係の推定手法の検討を目的に，性別や年齢

用的な精神状態推定モデルを構築できる可能性が高まる．

などの生理指標のセンサ値に影響を与える要因の因果関係

このことから，本研究では，生理指標のセンサ値と個人差の調査を行った．結果，性別やうつ病・ADHD は生理指標のを発生させる要因との因果関係の調査を目的とした．目的

センサ値に影響を与えていることがわかった．この結果かの実現のため(1)脳波・心拍計測における測定値へ影響する

ら，うつ病・ADHD・性別を考慮することで複数人から汎用要因を検討する．(2)複数ある要因の要因同士の因果関係に的に構築するモデルの精度が安定する可能性が示唆された．
今後は，IT ヘルスケアへの活用を目的とした複数人からついて因果関係の推定手法による調査を行う．

2. 要因の検討

汎用的に構築する精神状態推定モデルの構築を目的に，特2.1 提案手法

び特徴量の因果関係を考慮していないモデルとの精度比較

脳波・心拍計測におけるセンサ値に影響を与える要因としを行うことを考えている．また，行動変容に向けたウエアラて，本研究では，年齢，性別，起床時間，精神疾患，疲労度

ブルデバイスの活用を目的に，行動変容と行動変容の影響合いなどがあると考えた．要因同士の因果関係の推定手法を受ける影響要因の因果関係の調査を実施し，ウェアラブ

として，データから因果関係を推定するために，因果探索を

ルデバイスで測定するべき影響要因の特定を行うことを考行う．因果探索の基本問題は，以下のような構造方程式モデえている．

ルにおける関数形と外生変数の分布にどのような仮定が成

参考文献

り立てば，もとの因果関係をどの程度推定できるのかを明［1］ 平成 29 年(2017)人口動態統計月報年計(概数)の概況．厚生労働省．56p,https://www.mhlw.go.jp/toukei/saikin/hw/jinkou/geppo/nengai20/d
l/gaikyouR2.pdf. 2018.
［2］ Bardeci, Mateo de, Cheng Teng Ip, and Sebastian Olbrich. 2021.
“Deep Learning Applied to Electroencephalogram Data in Mental
Disorders: A Systematic Review.” Biological Psychology 162(May): 108117.
［3］ 井上健一，鈴木圭，菅谷みどり． 生理指標を用いた精神状
態推定における機械学習によるサーカディアンリズムの検証．第 23 回日本感性工学会大会予稿集．2021-09-02/04．
［4］ S. Shimizu, P. O. Hoyer, A. Hyvärinen, and A. J. Kerminen. A
linear non-gaussian acyclic model for causal discovery. Journal of
Machine Learning Research, 7:2003-2030, 2006.

徴量の因果関係を考慮した精神状態推定モデルの構築およらかにすることである．
構造方程式モデル： 𝑥 = 𝑒
𝑦 =𝑓 ( )+𝑒
本研究では，セミパラメトリックアプローチの 1 つである
LiNGAM（Linear Non-Gaussian Acyclic Model）[4]を用いるものとした． 本研究で用いる要因となるデータセットは，定量データと定性データを混合したデータセットであることから，データがガウス分布に従っていない可能性がある．このため，誤差変数 ei が非ガウス分布である LiNGAM を用いることでより正確に因果推定ができると考えた．

ⓒ2022 Information Processing Society of Japan27

情報処理学会 SIG-BTI シンポジウム

音楽聴取時の快適と覚醒の生体情報による評価方法の検討
Jadram Narumon†1
菅谷みどり†１
芝浦工業大学†1
音楽はを DEAM dataset というデータベースから選んだ.

1. はじめに

DEAM のデータセットは,1802 曲の抜粋と全曲から連続的交通事故はドライバのヒューマンエラーが主な原因なっに(秒単位で)かつ全曲にわたって快適と覚醒値を注釈付けている.ヒューマンエラーの要因の一つにドライバの覚醒度たものである[4]. 快適と覚醒値が高い 2024 曲と快適値が低の低下がある．覚醒度が低下すると眠くなり,運転に必要ない覚醒値が高い 2033 曲を最初の 1 分間を用いる.

認知,予測,判断,そして操作が行えない状態になる.眠気や覚2.2 実験環境

醒度が上がらないまま運転すると事故が発生する可能性が20 代の実験協力者 1 名に対して実験を行った. 実験環境高くなる.このため,運転する最中,ドライバを運転できる状は,図 1 のようになる.モニター,マウス,web camera,脳波計,心態まで覚醒させる必要がある. 一方，感情状態も運転パフォ

拍 セ ン サ ー を 使 用 し た . 脳 波 計 測 に は NeuroSky 社 のーマンスに影響する.不快の感情は運転に負の影響を与える

MindWaveMobile2 を用いた．心拍計は Switch Sciences 社のことを多くの研究が報告した[1][2].H.Cai らは, ドライバの心拍計(Pulse Sensor)を用いた. また,Arduino に心拍センサー

怒り,興奮,そして普通の感情状態が車線制御能力に与えるを接続し,XBee を用いてパソコンにデータの無線通信を行

影響を調べた.その結果,普通の感情では最も車線制御能力った.画面に表示される主観評価をマウスで回答する.音楽が高い.しかし,怒りの感情では最も車線制御能力が低いこはデスクトップのスピーカから流す.

とを示した[1]. Zimasa らは，「幸せ，普通，悲しい」感情の中で,「悲しい」感情がある時,ドライバの危険認知時間が最も長く,安全運転に負の影響を及ぼすと示唆した[2].怒りや悲しいといった不快の感情がある時,運転パフォーマンスが低下する.このため,同じ高い覚醒度でも不快な状態になると,良い運転パフォーマンスを発揮できない異なる可能性がある.したがって,覚醒度を上げる際には，ドライバの快適を考慮して不快な感情にならないようにする必要がある．
これまでに，ドライバの眠気を検知し,覚醒させる手法は

図 1 実験様子（左）心拍センサー, Arduino, xBee による

様々提案されている[3].特に,脳波,心拍,眼球運転などの生体データの無線通信化（右）情報を用いて客観的に眠気を検知する研究はなされている.

2.3 実験手順

しかし, 生体情報を用いたドライバの感情評価や快性の評

実験において以下の手順で実験を行った(図 3)．

価は十分行われていない.特にドライバの音楽聴取時の快適(1) 実験を説明し,脳波計と心拍センサーを装着し,脳波とと覚醒の評価は十分ではない．

心拍を計測する．

2. ドライバの音楽聴取時の調査(2) 2 分間安静した後アンケートを回答する．
(3) 運転動画 10 分を見る

2.1 概要(4) 1 分間の音楽を聞く．

本研究では, ドライバの音楽聴取時の快適と覚醒を着目(5) アンケートを答えてもらう

し, 生体計測により取得した脳波と心拍変動指標を用いて(6) 手順 2～5 を 2 回分繰り返す．
1 回目は低い快適の音楽,2

客観的に評価する.実現にあたり, 運転動画による眠気を喚

回目は高い快適の音楽を用いる.

起し,音楽聴取時の快適と覚醒を評価する．実験は，運転動画を見ている最中, 2 種類の音楽（音楽 1: 不快で覚醒が高い
音楽,音楽 2: 快適で覚醒が高い音楽）を用いて快適と覚醒を評価し,主観評価と比較することを目的とした．同じ高い覚
醒異なる快適の音楽を聞く時の覚醒と快適はどのように増

図 2 実験の流れ減するかを評価する.
†1 JADRAM NARUMON, SUGAYA MIDORI ,Shibaura Institute of Technologyⓒ2022 Information Processing Society of Japan28

情報処理学会 SIG-BTI シンポジウム

2.4 評価指標
脳波指標は Mindwave Mobile2 により算出される Lowα，High α，Low β, High β を用いた.α を Low α と High α の和, βを Low β と High β の和として β/α 算出して覚醒を評価した．
心拍変動指標は心拍計から取得した心拍間隔(RRI)を用いて pNN50 を算出して快適を評価した.pNN50 は連続した隣接する RRI の差が 50 ms を超える割合である. pNN50 は副交感神経活動を反映するとされている.本研究では,pNN50が低い時を不快，高い時を快適として解釈する．
主観感情評価は SAM 尺度(Self-Assessment Manikin)を用い
図 4 実験協力者 1 の pNN50 の平均

た．SAM 尺度は非言語的な手法であり，表情の違うアバターから自分の気持ちに最も近いものを表している項目を選

4. 考察

択することで計測する.1～9 までの尺度で覚醒度(Arousal),

まず,実験結果よりこのようにまとめた.

感情価(Valence)を評価する．
⚫

主観評価の覚醒結果は音楽 2 の方が覚醒が高い⚫

脳波指標の結果は,音楽 2 の方が少し β/α が高い

実験協力者 1 の実験結果は以下のようにまとめる.まず,表⚫

主観評価結果では音楽 2 の方が快適が高い

1 に示したように,主観評価の結果では,音楽 2 は音楽 1 より⚫

3. 実験結果

表 1 実験協力者 1 の主観評価
音楽
音楽 1 (低い快適）
音楽 2 (高い快適）

心拍変動指標の結果は,音楽 2 の方が pNN50 が高い
データベースにより音楽 2 は音楽 1 はほぼ同じレベル

快適と覚醒が高い.
快適
4
5の覚醒が注釈付けられた.しかし,主観評価と脳波指標の覚醒
46

結果は同様に音楽 2 の方が覚醒を高くさせた.また,快適について音楽 2 は音楽 1 より快適が高く注釈付けたものである.主観評価と脳波指標の結果は同様に音楽 2 の方が実

脳波と心拍を安静 1,音楽 1 前,音楽 1,音楽 1 後,安静 2,音楽 2

験協力者を快適させた.特に心拍変動指標によると,快適

前,音楽 2,そして,音楽 1 後の 8 区間に分けて分析した.各区の差が明らかに見られる.このように,音楽の注釈,主観評

間の β/α と pNN50 の平均を求めた.図 3,図 4 にまとめた.

価,そして生体計測による β/α と pNN50 の結果は全部一致
した.β/α と pNN50 は快適と覚醒を評価できる可能性があ

図 3 は実験協力者 1 の β/α の平均を示す.音楽 1 と音楽 2ると考えられる.

を聞く前には,β/α が安静 1 より低いが,音楽を聞くと β/α が高い.音楽 2 は音楽 1 を聞く時より少し β/α が高い.また,音楽

5. おわりに

2 後は β/α が高いが,音楽 1 後は低い.さらに,音楽 1 後は音楽本研究では, ドライバの音楽聴取時の快適と覚醒を着目

2 後に比べて β/α が低い.

し, 生体計測により快適と覚醒を評価した.実験では,脳波計と無線通信化した心拍センサーにより,β/α と pNN50 を算出
して,異なる快適の音楽を聞く時の状態を比較した.結果はβ/α と pNN50 の結果と主観評価結果,そして音楽の快適と覚醒注釈と一致したため,快適と覚醒を評価できる可能性があると考えられる.しかし,実用化に向けて,運転中の評価を行うために,今後より安定な生体計測と正確な評価手法が必要
である.

参考文献
[1] H. Cai, Y. Lin, and R. Mourant, “Study on Driver Emotion in DriverVehicle-Environment Systems Using Multiple Networked Driving
Simulators,” Driving Simulation Conference, pp.1-9, 2007.
[2] Zimasa, T., Jamson, S. and Henson, B. “Are happy drivers safer
drivers? Evidence from hazard response times and eye tracking data”,
Transportation research. Part F, Traffic psychology and behaviour, 46,
pp. 14–23,2017.
[3] Jadram, N. et al. ‘Preliminary Experiment for Driver’s Comfortable
State Using EEG and HRV During Semi-autonomous Driving’, inAdvances in Human Aspects of Transportation., pp. 373–381,2021.
[4]“DEAM dataset - The MediaEval Database for Emotional Analysis ofMusic”:https://cvml.unige.ch/databases/DEAM/,(参照 2021-12-29).

図 3 実験協力者 1 の β/α の平均
図 4 は実験協力者 1 の pNN50 の平均を示す.音楽 1 を聞く
前,聞く最中,そして聞いた後の pNN50 はあまり変化しない
が,減る方向である.一方で,音楽 2 を聞く前,聞く最中,そして聞いた後の pNN50 は極めて高い.音楽 2 を聞く最中が一番高
い.また,音楽 1 より音楽 2 の方が pNN50 が高い.

ⓒ2022 Information Processing Society of Japan29

食事音を用いた食習慣改善システム
蒲池遥†1
青山学院大学†1

大久保沙恵†2
青山学院大学†2横窪安奈†3
青山学院大学†3

ロペズギヨーム†4
青山学院大学†4

習慣に基づく食事中の行動への意識改善を行うことである．

1. はじめに研究目的の達成のために，自然な食事環境下でリアルタイ

肥満は生活習慣病を引き起こす恐れがある [1]．早食いの

ムに食事行動を検出し，検出された食事行動に基づいたフ人ほど BMI が高い傾向があり，ゆっくりよく噛んで食べるィードバックを行うシステム 「ChewReminder（チュウリマ

ことが肥満を予防するために重要である [2]．また，食事中

インダ）」を提案する．

の会話は健康に関連があることが分かっており，食事中の図 1 に ChewReminder の概要を示す．骨伝導マイクロフォ

会話を増やすことが望ましい [3]．さらに，リアルタイムでンにより取得した食事音を自作のスマートフォンアプリに咀嚼回数などの食事に関する情報を食事者に提示することて自動でセグメンテーションし，特徴量を抽出したのち分により，早食いを防ぎ，食事行動に対する意識の改善を促

類モデルにより食事行動を予測することで，リアルタイム

すことが期待できる [4]．近年，市販されているウェアラブに食事行動を検出する．検出する食事行動は咀嚼・嚥下・

ルデバイスにより，一日の消費カロリーの測定やこれに関発話・その他の 4 種類である．

連した人間の活動レベルのモニタリングが可能である.
Nakaoka らは箸に IMU センサと小型カメラを搭載し，食事のスピードおよび食べる食材の色と大きさを検出し，デジ
タルキャンバスに反映するシステム「eat2pic」を開発した[5]．一方，自然な食事環境下での詳細な食事行動を自動的に検出するデバイスはまだ市販されている状況にない [6]．
咀嚼とは，口に取り込んだ食べ物を噛み砕くことである[7]．
食事の際に 1 回の咀嚼，
つまり口の中にある食物を 1 回
噛む動作を認識することができれば，リアルタイムで食事者に咀嚼回数の少なさや早食いである事を判定しフィードバックすることが可能になる．また，食事中の会話も検出できれば，合わせてフィードバックによって食事中の会話の増加も期待できる．咀嚼や，嚥下・発話のような食事の図 1

詳細行動を認識することが可能になれば，食事者の肥満のFigure 1

ChewReminder の構成概要
Schematic of ChewReminder outline

防止や健康促進につなげることができると考える．
よって本研究では，自然な食事環境下での食事行動の定リアルタイムでのフィードバックは，自然な食事を行う

量化実現によるフィードバックを用いた食事者の食事意識ことが出来るようスマートウォッチによる振動を利用した．

改善を目的としている．その目的の達成に向けて，以下の検出された行動と一口あたりの咀嚼回数がスマートウォッ

機能を持つアプリケーションソフトウェア（以降アプリとチ上のアプリにも共有され，嚥下が検出されたときの一口いう）を開発し，その効果を検証した．

の咀嚼回数によってスマートウォッチによるフィードバッ



自然な食事環境に対応した咀嚼・嚥下・発話・その他

クがリアルタイムで行われる．さらに，食事終了後は，計（ノイズなど）といった食事詳細行動をリアルタイ測が開始されてから終了するまでの時間により算出される

ムで自動抽出する．

全体の食事時間，検出された食事行動および，行動にかか

食事中または，食事後，食事行動とその意識の改善をった時間に基づき算出される以下の 5 つの指標をもとに食促すフィードバックを提示する．

事全体に対するフィードバックを表示する．

2. ChewReminder：咀嚼促進システム
以上より本研究の目的は，食事行動の定量化によって食Dietary Habits Improvement System Using Eating Sound†1 HARUKA KAMACHI, Aoyama Gakuin University†2 SAE OKUBO, Aoyama Gakuin University†3 ANNA YOKOKUBO, Aoyama Gakuin University†4 GUILLAUME LOPEZ, Aoyama Gakuin University30



全体の咀嚼回数



一口の咀嚼回数の平均

咀嚼のペース

食事時間全体に対する発話時間の割合



食事時間全体に対する咀嚼時間の割合

4. 今後の展望図 2 は 3 つのフィードバック画面の例を示している．各算出指標の達成度合いを色の変化もしくは，アイコンで表

今後は，会話に関するリアルタイムでのフィードバック

している．

の追加を検討したい．また嚥下の検出精度に課題が残るため，分類モデルの改善や音声収集に用いるデバイスの変更
による，嚥下を含む食事行動検出精度の向上を行う必要がある．音声の収集デバイスに関して，より簡単に扱うことができ，嚥下の検出にも適しているデバイスへの変更も検
討したい．

参考文献

図 2
Figure 2[1] “早食いが原因で肥満やメタボによく噛んで食べるための 6 つの対 策 ,” 日 本 生 活 習 慣 病 予 防 協 会 .
http://www.seikatsusyukanbyo.com/calendar/2017/009495.php(accessed on 1/21/2022).
[2] B. Zhu, Y. Haruyama, T. Muto, and T. Yamazaki. “Association
between eating speed and metabolic syndrome in a three-year
population-based cohort study,” Journal of Epidemiology, Vol. 25, No.
4, pp.332–336, 2015.
[3] “food for talk adds meaning to family meal,” the Seattle times.
https://www.seattletimes.com/news/food-for-talk-adds-meaning-to-fa
mily-meal/ (accessed on 01/25/2022).
[4] G. Lopez, H. Mitsui, J. Ohara, A. Yokokubo, “Effect of Feedback
Medium for Real-time Mastication Awareness Increase Using
Wearable Sensors,” the 12th Int. Conf. on Biomedical Engineering
Systems and Technologies (BIOSTEC 2019), Prague, Czech Republic,
2019.
[5] R. Nakaoka, Y. Nakamura, Y. Matsuda, S. Misaki and K. Yasumoto,“eat2pic: Food-tech Design as a Healthy Nudge with Smart
Chopsticks and Canvas, ” 2021 IEEE International Conference on
Pervasive Computing and Communications Workshops and otherAffiliated Events (PerCom Workshops), pp. 389-391, 2021. doi:
10.1109/PerComWorkshops51409.2021.9431002.
[6] N. A. Selamat and S. H. M. Ali, “Automatic food intake monitoring
based on chewing activity: A survey,” IEEE Access, Vol. 8, pp.
48846–48869, 2020.
[7] 日 本 咀 嚼 学 会 か ら の 発 信 , 日 本 咀 嚼 学 会 ,http://sosyaku.umin.jp/info/file/info01.pdf (accessed:2021/1/29).

食事終了後のフィードバック画面例
Examples of feedback displayed after the meal

3. 評価実験と結果
ChewReminder の有用性をリアルタイムフィードバックの側面から検証するために，被験者 14 人に対し評価実験を行った．フィードバック有り・無しと，フィードバック無し・有りの順番をランダムで被験者に割り振った．
ChewReminder のリアルタイムフィードバック機能有りと無しのそれぞれの状態において，メイン料理が同じ食感のお弁当を，日にちを変えて合計 2 回食べ，それぞれに次の 4
項目の数値の変化を評価した．
1.

全体の食事時間2.

全体の咀嚼回数

3.

一口の咀嚼回数の平均

4.

咀嚼ペース

結果，全体の咀嚼回数・一口の平均咀嚼回数・咀嚼ペースの項目で半数以上の人がリアルタイムフィードバックなしの時に比べ，リアルタイムフィードバックありの場合に数値が上昇した．また，実験前アンケートより，特に普段の食事において早食いの自覚がある人に意識改善の効果があった．
ChewReminder 利用後に行ったアンケート結果から，システム利用前に比べ，特に咀嚼への意識が改善したことが示された．
さらに，スマートフォン上に表示するフィードバックの効果を検証するために被験者 3 人に対して約 1 週間
ChewReminder を使用して食事をしてもらった．朝食や夕食などの食事内容の違いによる影響を受けないフィードバッ
ク項目である一口の平均咀嚼回数と咀嚼ペースの変化の結果より，ChewReminder が食事行動への意識改善に有効であることが示された．

31

情報処理学会 SIG-BTI シンポジウム

作業コンテキストに応じた「ながら運動」推薦機構
小林美月 †1
東京農工大学 †1

辻愛里 †2
東京農工大学 †2

1. はじめに

藤波香織 †3
東京農工大学 †3

つの要素が有効な情報提示手法であることを明らかにした．

運動は身体的だけでなく精神的にも良い効果をもたらす．

これらの要素を念頭に再設計した基盤システム構成を図 1

しかし，世界の多くの人々は運動不足であり，この傾向は長に示す．まずユーザが使用中の機器や滞在している場所か

年にわたって改善されていない [1]．また，運動の機会を増ら得られたデータをもとに，デスクワークや運動等のユー

やすことができない理由の一つに仕事や家事で忙しいといザ状態を検出する（図 1 の A）
．何らかの手段で，作業状態

うことが挙げられている [2]．この問題を解決する上で，仕検出時に緊急度が低く中断可能な作業の実施を検出した場

事や家事をしながら行うことのできる「ながら運動」を日常

合は，運動提案処理に移行する（図 1 の B）
．それ以外の場生活に取り入れることが提案されている [3]．

合には運動を推薦せずにユーザの状態検出を続ける．その我々は Internet-of-Things (IoT) 環境下でのシステマテ

後，あらかじめ作成したルールデータベースからユーザのィックな「ながら運動」促進システムの開発に取り組み，作業状態に合わせたながら運動の種目を決定する（図 1 のデスクワーク中の運動推薦と評価をケーススタディとしてC）．ユーザに提示する情報はながら運動種目のイメージ図

様々な作業や運動に対応可能な基盤システム化に取り組ん

や目標等を含めることで必要な事柄を端的に伝えることができた [4]．ながら運動促進システムにより，普段運動を行可能となる．また，使用中の道具や機器等からながら運動

わない人々が持つ運動への障壁を下げ，将来的にシステムの実施状態の検出が可能な場合には，その実施時間や運動が対応していない状況でも自発的に運動を実施するようなフォームの評価を行う（図 1 の D）
．評価に引き続き，ユー

行動変容を促す．「ながら運動」の根幹である他の作業中のザに実施状況をフィードバックすることで今後の運動実施

運動を実現するためには，ユーザの作業コンテキストを反への意欲を維持することを目指す（図 1 の E）．なおフィー

映した適切な推薦が重要な要素となる．本稿では，はじめ

ドバックには，運動終了直後の即時的なものと作業終了後等に基盤システム構成を示し，運動推薦機構の設計とオフラのサマリー的なものの 2 種類がある．運動の推薦やフィーインでの推薦性能の評価について述べる．

ドバックは，ユーザに提示する最適なタイミングを検出し，通知回数や通知間隔を考慮してユーザの作業を妨げないタ
イミングでプッシュ通知等で提示する（図 1 の F）．このよ

2. ながら運動促進システムの一般化に向けて

うに，運動種目やタイミングの決定に際して，ユーザが現在従事している作業やその緊急性・中断可能性，すなわちコン

2.1. 基盤システム構成の洗練

テキストを踏まえる必要がある．本研究において，コンテながら運動促進システムの要件を，1）ユーザが作業にキストは推薦内容決定と推薦タイミング決定の 2 つの側面使用している道具（器具）や所持している機器（スマートで使用される．

ウォッチ等），作業の場におけるセンシングが可能，2）ユー
ザの作業内容に沿ったながら運動の推薦が可能，3）ながら運動の実施後に適切なフィードバックの実施が可能，と定義する．デスクワーク時に実施可能なながら運動促進に向けたケーススタディ [4] から，a）緊急性が低い作業時の運動提案，b）適切な通知量とタイミングの考慮，c）図表を活用した端的な運動内容の提案とフィードバック，という 3
A Context-Aware Exercise Recommendation System While Doing Other Tasks
†1
†2
†3

MIZUKI KOBAYASHI, Tokyo University of Agriculture andTechnology
AIRI TSUJI, Tokyo University of Agriculture and Technology
KAORI FUJINAMI, Tokyo University of Agriculture andTechnology© 2022 Information Processing Society of Japan

図1

基盤システム構成

Figure 1 Platform System Architecture

32

情報処理学会 SIG-BTI シンポジウム

作業部位，使用しているモノや存在する場所の情報を抽出

2.2. ながら運動種目推薦に必要な情報
様々な状況に適したながら運動促進システムの設計に際し，適切な運動種目をデータベースから選択しユーザに推し，「体勢」，「主作業部位」，「環境情報」の 3 種類の情報か薦する．データベースは運動種目の実施方法等に加え，シら適切な運動種目の推薦を行う．次の表 1 に体勢と主作業

ステムが運動種目を決定する際に必要な体勢や使用部位を部位，環境情報で判定する状態を示す．体勢は代表的な体位記録している．推薦情報は Slack アプリを通じてユーザがと移動中を考慮した状態を判定する．これは体勢によって所有するデバイスに送信される．

可能な運動が異なるためである．また，主作業部位を識別

なお，不特定多数が使用するモノや場所の場合には，ユーすることにより，ユーザが行っている作業に使用しているザを識別する機能を追加することで，ユーザのデバイスに部位とながら運動で使用する部位の重複を防ぐ．また，環向けた個別の運動推薦やフィードバック，実施結果の管理

境情報はユーザの状況や場所を把握可能にするもので，家等が可能となる．またユーザ識別機能がなかったとしても，具に装着したセンサからの情報やユーザの位置情報等が該

モノや場所に表示装置を設置することで，その場限りの運当する．環境情報からユーザの具体的な作業内容や状態が動推薦やフィードバックは可能となる．

推定可能であるため，より実施しやすいながら運動種目を

3.2. 体勢・主作業部位の判定機能

提示することが可能になる．つまり，これら 3 種の情報がユーザの作業状況を判定する機能の実現に向け，歯磨きや推薦内容決定に使用される作業コンテキストとなる．

食事準備，歩行等の 23 種の日常行動を収集したデータセッ
表1

コンテキストとして判定すべき情報とその値

Table 1

ト [5] を用いて日常行動からユーザの体勢と主作業部位を判定する機能を実装した．ウェアラブルセンサは左手首と右Contextual Information and the Values

太ももに装着している．表 1 に挙げる 3 種の体勢の判定のコンテキスト情報

判定すべき状態（値）体勢

立位，座位，歩行から収集した体勢データを訓練データとして機械学習によ

主作業部位

上半身の使用，下半身の使用

り判定モデルを作成した．そして，日常行動から体勢判定が

環境情報使用中の物体，場所

可能であることを検証するために各日常行動（「自転車に乗ために，本データセットの作成に関わったのとは異なる人る」を除く 22 種類）の加速度データをテストデータとして精度評価を行った．また，機械学習による判定結果が妥当

3. ながら運動種目推薦機構の設計と精度評価であることを確認するため，事前に本データセットの収集

3.1. ながら運動種目推薦機構の設計

中の写真から著者が各日常行動が分類されうる体勢を予想して真値とした．表 2 に人間が予想した体勢を，表 3 に真2.2 節を踏まえ，作業内容に適したながら運動種目推薦機
能の構成を図 2 に示す．本機能は図 1 の＊部に相当する．

値と判定結果の一致を表す性能数値を示す．なお，使用したデータセットはクラスごとにデータ数が異なるため，適合率，再現率，F 値はマクロ平均で算出している．
表2

Table 2

各日常行動から予想した体勢

Predicted States for Each Daily Activity

日常行動

体勢

座ってカップで飲む，座って食べる，読書，

座位

パソコンを使う，座ってスマホを使う
歯を磨く，皿を洗う，顔を洗う，手を洗う，上着の着脱，ホワイトボードを消す，ホワイトボードに書く，立ってカップで飲む， 立位

図2

立って食べる，コーヒーを淹れる，配膳，立ってスマホで使う

作業内容に適したながら運動種目の決定機能の構成

歩く，走る，階段を下りる，階段を上る，掃除機をかける

Figure 2 Major System Components for Context-aware
Exercise Recommendation during Tasks

表3

人間とシステムの体勢判定の比較結果

Table 3 Comparison of Human Annotated Data andSystem’s Prediction on the States

体勢と主作業部位の 2 情報はウェアラブルセンサから取得する．環境情報は椅子等のモノに装着したセンサや，電子レンジの前等のユーザが一定時間以上滞在する場所に設置したセンサから取得する．これらのデータから体勢，主© 2022 Information Processing Society of Japan

歩行

33

正解率

適合率

再現率

F値

0.882

0.709

0.642

0.672

情報処理学会 SIG-BTI シンポジウム

表4

推薦する運動種目のルールを表す属性ベクトル（ri ）Table 4 Rule Attribute Vector ri for Each Exercise to be Recommended
ルール番号 (i)

座位

立位

歩行

上半身

下半身

椅子

電子レンジ前1

膝引き上げ腹筋運動

運動種目

1

2
3
4
5
6

足組み押し合い運動

1
0
0
0
0

0
0
1
1
0
0

0
0
0
0
1
1

0
1
0
1
0
1

1
0
1
0
1
0

1
1
0
0
0
0

0
0
1
1
0
0

立ち腕立て伏せ
かかとの上げ下げ運動
お腹をへこませたまま呼吸
大また・早足歩き

表 3 の F 値が低くなった理由として，「配膳」と「掃除機ル周りで歩く動作によって「歩行」と分類されることが多

3.2 節で使用したデータセットを適用し，推薦された運動種目を検証した．表 4 に推薦する運動とルールに相当する
属性ベクトル（r ）を示す．ここで，各運動種目における属

く，精度低下の一因になったと考えられる．また「掃除機を性ベクトルにおいては，実施体勢や運動に使用する部位やかける」においても，停止状態と歩行状態が混在したため立道具，さらに実施に適した場所の属性値を 1 と定め，それ以位と歩行に判定が二分したと考えられる．

外の体勢や部位，環境情報の属性値を 0 と定めている．そをかける」の誤分類の多さが挙げられる．「配膳」はテーブ

主作業部位判定は，加速度データの閾値処理により行っしてユーザの作業コンテキストを表す属性ベクトル（c）にた．閾値は体勢判定と同一のデータセットから 22 種類の日

おいて，ユーザの体勢（座位，立位，歩行）は，分類時の事

常行動の分散の中央値を用いた．センサ値の分散が大きい

後確率を使用する．上半身，下半身はユーザの主作業部位

ほど値の振れ幅が大きいため，「ユーザがセンサの装着部位を表しており，各部位の判定確率を使用する．環境情報はを用いた動作を行っている」と考えることができる．判定

椅子デバイス [4] を用いる日常行動と，距離センサを設置す結果から，「皿を洗う」等の行動における左手首の使用や，る電子レンジ前で実施可能な日常行動を考慮し，使用また「配膳」等の移動を伴う行動における右太ももの使用が判定は存在の有/無を 1/0 に対応づける．図 3 から図 5 に各日可能であることが明らかになったが，右手のみを使用する

常行動における運動種目の推薦結果を示す．

「座ってカップで飲む」や，両手を使用する「パソコンを使う」等の行動に対して，左手首を不使用と判定する場合が極めて多いことが明らかになった．この問題から生じる推薦内容の不適切さを解消するために，判定の確信度に相当する数値が低い場合に上半身の運動と下半身の運動の 2 種類を同時に推薦し，実施する運動をユーザ自身に判断させることで，推薦種目とユーザの状況のミスマッチを防ぐ．

3.3. 運動種目の推薦
推薦する運動種目の決定指標としてコサイン類似度を用いる．コサイン類似度はベクトル化した項目間の類似度を測る指標の 1 つで，様々な推薦システムに応用されている[6, 7]．運動種目 i ∈ [1, N ] に適する実施体勢等が含まれる
7 次元の属性ベクトルを ri ，ユーザの作業コンテキストを表す属性ベクトルを c とすると，この 2 つの類似度（simi ）はコサイン類似度により式 (1) で表される．ただし，⟨a, b⟩はベクトル a と b の内積，∥a∥ はベクトル a の長さを表す．
⟨ri , c⟩simi =∥ri ∥∥c∥

図3

座位行動における運動種目の推薦結果

Figure 3 Recommendation in Sitting-related States
図 3 より，座って行うながら運動である「膝引き上げ腹筋運動」と「足組み押し合い運動」の推薦が多いことが分かる．ユーザが座位状態の場合は上半身を使用する作業を行っていることが多いため，下半身を使用するながら運動(1)

である「足組み押し合い運動」がより多く推薦されている．

全ての運動種目に対して得られる類似度の中で最も高い

図 4 からは，立って行うながら運動である「立ち腕立て伏もの，すなわち式 (2) で選択される運動種目 k を推薦する．

せ」と「かかとの上げ下げ運動」の推薦が多い．しかし，「配膳」の場合には「お腹をへこませながら呼吸」を推薦した

k = arg max simi

(2)ケースが最も多い．配膳はテーブルの周辺を歩く動作が含i∈[1,N ]© 2022 Information Processing Society of Japan34

情報処理学会 SIG-BTI シンポジウム

図5

歩行行動における運動種目の推薦結果

Figure 5 Recommendation in Walking-related States

難であることが明らかとなり，判定結果の信頼度が低い場
合に複数の運動種目を推薦する手法を採用する方針を定め
図4た．また，コサイン類似度を用いた運動推薦を実施する際

立位行動における運動種目の推薦結果に，類似度の水準を向上させることで，ユーザの作業コンテ

Figure 4 Recommendation in Standing-related States

キストに応じた運動種目の推薦が可能であるということが明らかになった．今後は，本稿で示した機能を含むシステ

まれているため，歩行状態と近い行動であるといえる．そムを用いた評価実験を実施する．また，ユーザによるレーのため，歩行中でも実施可能な運動種目が推薦されたと考ティングによりルール（属性ベクトル）を最適化することでえられる．また，図 5 より，歩行中に実施可能な「お腹を推薦精度を向上させたり，一つの運動種目に対して複数のへこませたまま呼吸」と「大また・速足歩き」の推薦が多い

ルールを設定可能にして柔軟性を向上させたりする機能をことが分かる．歩行中は基本的に下半身を使用しているた

導入することで，基盤システムの洗練を図っていく．

め，上半身を使用するながら運動である「お腹をへこませたまま呼吸」を推薦するケースが多かった．

参考文献

以上より，コサイン類似度を用いて作業状態に適した運[1] R. Guthold, et al. Worldwide trends in insuﬃcient physical activity from 2001 to 2016: a pooled analysis of 358
population-based surveys with 1·9 million participants.
The Lancet Global Health, 6(10), pp. e1077–e1086, 2018.
[2] スポーツ庁. 令和 2 年度「スポーツの実施状況等に関する
世 論 調 査 」の 概 要. https://www.mext.go.jp/sports/
content/20200507-spt_kensport01-000007034_1.pdf（2022-03-06 閲覧）.
[3] 長野茂. 忙しいあなたの運動不足を解消！ 1 分間ながら運動ダイエット. PHP 研究所, 2003.
[4] 小林, 宅野, 藤波. デスクワークを対象としたながら運動促進シ
ステム. 情処学会第 83 回全国大会, 2021.
[5] 豊増, 藤波. 要素行動の含有度合いを用いたゼロショット行動
認識手法に関する研究. 情処学会第 82 回全国大会, 2020.
[6] B. Yong, et al. IoT-based intelligent ﬁtness system. J.
Parallel Distrib. Comput., 118, pp. 14–21, 2018.
[7] Y. Su, et al. Exercise-enhanced sequential modeling forstudent performance prediction. 32nd AAAI Conferenceon Artiﬁcial Intelligence, pp. 2435–2443, 2018.

動種目の推薦が可能であることが分かった．一方で立位で行う種目を推薦した場合の類似度が他種目のものより低下したことから，立位の運動推薦精度は座位や歩行より劣る
可能性がある．また，コサイン類似度計算に使用するベク
トルの要素において，必要に応じて環境情報の追加や削除を行うことで推薦精度の向上が可能であると考えられる．

4. おわりに
本稿では，ながら運動を促進するためのシステムを提案した．先行研究 [4] から得られた知見より，ながら運動促進のための基盤システムの構成を再検討し，さらにユーザがデスクワーク以外の作業に従事している場合でも適切なながら運動種目を推薦する機能構成を示した．また，体勢と主作業部位の判定機能の実装と精度評価を行い，日常行動か
らユーザの体勢判定が可能であることが明らかにした．主作業部位の判定においては指先を使用する行動の認識が困© 2022 Information Processing Society of Japan35

情報処理学会 SIG-BTI シンポジウム

社会便益のための ICT 行動変容支援システム
荒川豊 †1
九州大学 †1

1. はじめに関を圧迫しないように，早く収束させるために，とまさに“行動変容” という言葉は，生活習慣病の改善，禁煙やダイ社会のために自身の行動を制限している状態と言える．メ

エットの文脈で長年，医学の領域で利用されてきたものであディアでも，“行動変容” というキーワードが広く見られる

る．Apple Watch には，2015 年の watchOS 2 から，長時間ようになり，社会的に広く認知されるようになった．

座っていることを検知し起立を促す Stand Notiﬁcation が

筆者は，三密回避を支援するために，キャンパス混雑度可搭載され，現在は瞑想や深呼吸を含めた Activity Reminder

視化システムを全国の大学に先駆けて開発し，すでに 2 年という機能として，日常生活中の健康に関わる行動変容を近く運用している．単に混雑を計測する研究は他にも多数促している．同じく 2015 年に Nature biotechnology で発発表されているが，群集の行動を変えていくところまで踏み表された Deﬁning digital medicine[1] には，Apple Watch

込んだ実験をしている例は少ない．しかしながら，UCLAのようなウェアラブル機器が今後，薬として生活習慣病のからはいち早く，ワクチン接種率とナッジの効用に関する研究成果が Nature に発表される [2] など，社会便益を目的治療に使われていく未来が示唆されていた．
筆者は，こうした情報技術がもたらす “行動変容” は，健として群集の行動を変えていくというチャレンジを行って康増進といった個人の便益のみならず，何らかの社会問題をいる．日本でも職域接種が始まっているというのに，このよ解決する原動力になるのではないかと考え，社会便益のたうな研究が出てこないのはなぜだろうか？学内業務であっめの情報技術による行動変容，に関する研究を開始し，2016ても，その業務フローを見直し，行動変容を促していくこと

年には情報処理学会関西支部のもとに「行動変容と社会シは重要であるし，それを計測し，エビデンスに基づいて行動

ステム研究会 」を立ち上げ，自治体の首長や社会実装を担を決定することができれば，極めて有用であることは間違う企業などと議論を重ねてきた．

いない．そこで，筆者は，九州大学の指定国立構想に基づい*1

研究会設立の次の年 2017 年は，位置ゲーム Pokémon GOて新設されるデータ駆動イノベーション推進本部のもとに，がリリースされた年である．言うまでもなく，位置情報を

人や社会をセンシングし，心理学や行動経済学の知見に基活用したこのアプリは，プレイヤーの歩行量を増加させる．

づいた介入を行い，社会問題の解消や人類の Well-being に数が多いため引用は割愛するが，これまで世界中で，その寄与していく情報システムに関する学際的な研究を遂行す

効用についての研究がなされており，身体的な健康だけでる研究ユニット*2 を設立した．すでに，キャンパスライフ・

はなく，メンタルへの好影響なども示唆されている．位置

健康支援センターと連携した健康診断受診率を向上させるゲームがもたらす効用の面白い点は，健康という個人便益

ためのナッジに関する研究や，景観デザインなど都市工学をもたらすだけではなく，アイテムのある場所への訪問者と行動経済学を組み合わせた観光行動変容など，さまざまが増えるという社会便益をもたらす点である．なお，2017

な学際的研究が進みつつある．

年には，Pokémon GO に加えて，認知バイアスを活用して

本稿では，社会便益のための行動変容とは何か，そのため行動を変える「ナッジ理論」がノーベル経済学賞を受賞するの計測や介入に使える ICT 技術は何か，筆者のこれまでのなど，行動を変える技術が一定の認知を得た時期と言える．

種々のプロジェクトを通じて解説するとともに，最後に九州大学で実施中の混雑回避支援について紹介する．

しかし，社会便益のための行動変容，という意味で，もっとインパクトが大きかったのは，新型コロナウィルス感染

2. 社会便益のための行動変容とは？

症である．三密回避や外出自粛，という強い行動制限に始まり，現在も，新しい生活様式としてマスク着用，消毒，黙

社会便益のための行動変容という文脈は，新型コロナウイ

食など，種々の行動変容を求められている．感染しないとルス感染症という未曾有のパンでミンクによって顕在化しいう意味では個人の便益であるが，感染を広げない，医療機

たが，この数年，SDGs（Sustainable Development Goals）
に対する意識の高まりによって徐々に社会に浸透していた

ICT Behavior Change Support System for Social Beneﬁt†1*1

Yutaka Arakawa, Kyushu University
https://bcss.ubi-lab.com/© 2022 Information Processing Society of Japan*2

36

https://www.ict-bc.ait.kyushu-u.ac.jp/

情報処理学会 SIG-BTI シンポジウム

表1

社会のセンシング手段

プロジェクトキャンパス混雑度 [3]

これまでのプロジェクトにおける社会センシング手段

インフラ型

クラウドソーシング型

電波（WiFi/BLE），カメラ

ユーザ投票，モバイル空間統計

観光 EBPM[4]Twitter，Yahoo! DS.INSIGHT，プロファイルパスポート

観光客の興味 [5, 6]

参加型モバイルセンシングアプリ

バス運行管理 [7]ETC2.0，ドライブレコーダー

サクラセンサー [8]ドライブレコーダーアプリ

街灯の明るさ [9]参加型モバイルセンシングアプリと言える．例えば，CO2 排出低減や省エネを目的とした行と最寄り駅の合計 20 箇所の混雑度をリアルタイム計測して動変容の促進が全世界で実施されている．レジ袋有料化やいる．殆どの場所で，スマートフォンから発信される WiFi

紙ストローの普及など，すでに我々は社会のために行動変

Probe 信号や接触確認アプリ COCOA の BLE（Bluetooth
Low Energy）信号を検知する手法を適用しており，駅前の容していると言える．

み既設カメラを利用している．いずれにしてもインフラ型

このような社会に寄与する良い行動を ICT（Information
and Communication Technology）技術を活用して加速していくことが，ICT 行動変容支援システムが目指すところである．ICT 技術といってもさまざまなものがあるが，オンライン会議システムの活用も 1 つの例である．これにより通勤や移動に利用する交通機関からの CO2 排出低減になったと言える．しかしながら，筆者としては，ICT 技術に分類される手法である．ただし，混雑度予測において，モバイル空間統計データを活用したり，体感混雑度を得るために，アプリ上からユーザが投票できる機能があったりと一部クラウドソーシング型の手法も取り入れいている．
観光 EBPM（Evidence-based Policy Making）とは，観光客の地域内周遊を観測し，適切な観光施策を検討するといの中でも，人や社会をセンシングする技術を活用し，より適うものであるが，広範なエリアをセンシングするために，ク切な情報を適切な人に適切なタイミングで，効果的に伝えラウドソーシング型でデータ収集を行っている．プロファることができれば，より社会便益に繋がる行動を誘発でき

イルパスポートとは，ブログウォッチャー社が販売する人口

るのではないかと考えている．

動態データであり，さまざまなスマートフォンアプリに掲示される位置連動広告の位置情報をもとに算出されている．

3. ICT による社会のセンシング

このプロジェクトでは，Yahoo!の DS.INSIGHT という社会のセンシングは，街に設置されたセンサやカメラなどサービスも利用している．こちらは，位置情報と紐付けらから計測する手法（インフラ型）と個人のスマートフォンかれた検索キーワード情報を得ることができ，どこで，どんなら収集する手法（クラウドソーシング型）に大別される．交人が，どんなキーワードを検索しているのかという情報を通を例に考えると，日本では，インフラ型の VICS（Vehicle

得ることができる．また，そうした地域でつぶやかれる情

Information and Communication System）と呼ばれる道報を Twitter からも収集している．位置情報が付与された

路交通情報通信システムによって全国の主要道路の渋滞状

Tweet は少ないが，全世界で大人数が利用している点で汎況がセンシングされている．一方，Google Maps の渋滞情用性の高いデータである．

報は，クラウドソーシング型で，利用者の移動情報をもと観光という観点では，観光客の興味・関心を推定するに，渋滞状況を把握している．インフラ型は，初期コストが莫大であるが安定した計測が可能となる．一方，クラウド

EmoTour という研究 [5] や観光客に地域情報の収集を依頼する参加型モバイルセンシング [6] に関する研究などを行っ

ソーシング型は，低コストに広範囲をセンシングできる反ている．これらは，ミッション形式で，明示的にタスクを依面，カバー率は利用者依存であり，不安定である．また，低頼して，街をセンシングしてもらうというものである．

コストといっても，多くの利用者を獲得するためには多く

バスの運行管理では，キャンパス周辺を走行するバスの利用者が使うアプリの開発とその普及のためのコストはそれなりに必要である．そのため，費用対便益，社会受容性

50 台に，ETC2.0，独自のバスプローブを搭載している．
ETC2.0 は，位置情報に加えて，急ブレーキの情報も取得可なども考慮しながら，適切な手法を選択する必要がある．

能である．独自のバスプローブは，位置情報に加えて，バ

表 1 に，これまで筆者が関わったいくつかの社会センシ

ス停で利用しているものと同等の混雑度センサも搭載してングプロジェクトとそこで用いられるセンシング技術をまいる．バスは移動するが，車内に固定されていることから，とめる．キャンパス混雑度可視化システムでは，キャンパス© 2022 Information Processing Society of Japan37

情報処理学会 SIG-BTI シンポジウム

商品の販売に関する日欧の比較研究で，日本人は同調バイ

インフラ形と言える．
街をセンシングするというアプローチとして，何かのついアス（みんなと同じだと安心）が強いのに対して，ドイツ人

でにセンシングしてもらうという考え方もある．例えば，歩やロシア人は権威バイアス（専門家の意見だと受け入れる）

きスマホユーザの照度センサを活用した夜道の街灯センシが強いという論文 [12] もあり，文化や育った環境の影響もングや，藤沢市におけるゴミ収集車を用いた街の環境測定な大きいと考えられる．

どが挙げられる．もう一つの加速アプローチとしては，ゲー

5. 事例：新型コロナウイルス感染症と ICT 行

ミフィケーションがある．例えば，Foursquare は，チェッ

動変容支援システム

クインという機能を提供することで全世界の POI 情報を集めることに成功している．日本においても最近，マンホー

新型コロナウイルス感染症に関わる ICT 行動変容支援シ

ル写真を投稿するゲームを通じてインフラ状況をセンシン

ステムとして，九州大学伊都キャンパスで実施している混雑グする試みが行われており人気を博している．

度センシング，および，金銭的インセンティブと心理的ナッジを組み合わせた ICT 行動変容実験について紹介する．伊都キャンパスは日本最大面積を誇り，その在籍者数は学生・

4. ICT 行動変容支援システムにおける介入

教職員を合わせると 2 万人を超える．加えて，最寄り駅か

ICT 行動変容支援システムで重要となる点は，介入であろう．阪大・松村先生の仕掛学 [10] の仕掛けの原理に則って，行動介入を整理すると，ICT 技術によって可能になる

ら 5km 以上離れているため，バスの利用者が多く，登下校時には長いバス待ち行列ができるのが常であった．2020 年

4 月頃，外出自粛という強い行動制限が求められた際，キャ行動介入としては，視覚，聴覚，触覚，嗅覚，味覚という五ンパスは閉鎖されたが，再開時に如何に混雑を平滑化する感に対する刺激を行うフィードバック型の物理的トリガとかが課題となることが予見された．そこで，筆者の研究室なる．この中で，最も広く使われているものは，言うまででは，キャンパス混雑度可視化システム itocon*3 を開発し，もなく視覚である．我々はスマートフォンの画面，パソコ

2020 年 6 月からバス停混雑情報の提供をスタートした．今ンの画面，街頭の広告，案内板など，目から取り込まれるの混雑度に加え，過去の混雑度，また，将来の混雑予測も提様々な情報に基づいて意思決定をしている．次に利用され示することで，バス利用者の行動変容を促している．このているのは，聴覚（音）であろう．放送や警報の音を聞くとシステムは，単なる情報の可視化であり，介入としては，視我々の行動は変わるし，スーパーマーケットでは購買意欲覚介入に留まり，大きな効果を得ることは難しい．

を掻き立てるような音楽がかけられていたりもする．触覚

そこで，次のステップとして，図 1 に示すように，介入手は，情報通知において，振動によって着信などの単純な情報段を増やしていく研究へと発展させ，金銭的インセンティを伝えるために利用されている．嗅覚と味覚は，スーパーブや心理的ナッジ，ゲーミフィケーションなどを追加して，マーケットので試食販売で使われている手法である．近年

どの程度の金銭的インセンティブがモチベーション維持に

では，様々な香りを放出可能な IoT デバイス) が登場した

効果的で，どのようなナッジが行動変容に寄与するのか長り，電気刺激で味覚が変わるフォークといったものが開発

期間，大規模に社会実証を行った．このときには，対象を食されている．

堂の混雑度とし，新たに混雑度センサをキャンパス内の食行動変容支援という観点では，こうしたフィードバック

堂 11 箇所に設置するとともに，1634 名の学生モニタを集型の物理的トリガに，心理的トリガを加えていく．個人的め，約半年間にわたる実験となった．

文脈としては，ポイントなどの報酬が得られる，何かに挑戦

実験では，モニタに対して，ランチの場所，時間，形態とする（歩数によってバッジがもらえるなど），ポジティブないう 3 つの行動変容を促す．形態とは，イートインの代わ

期待（お得感を感じる）など，心理的なきっかけを与える手

りに，テイクアウトするという行動変容である．実験は大法が用いられる．これは認知バイアスとも呼ばれ，「先着・きく 4 期間に分かれ，行動変容の意思決定に関わる様々な

限定何名」という文言で希少性を感じさせたり，「顧客満足観点について検証を行った．

度 98%」等でみんなが良いと思っている感を出すといった

第 1 の実験では，外発的動機づけの効果検証である．進手法は，マーケティング分野で広く利用されている．

呈ポイントを変化させながら，どれくらいのインセンティ

ただし，心理的トリガの効果には個人差があると考えらブでどれくらいのモニタの行動変容に繋がるかということれる．例えば，アンカリング（値引き後の価格だけではなを観察していく．第 2 の実験では，心理的ナッジの効果検

く，元値を表示して割引率を強調する手法）という認知バ証である．通知メッセージを対象に，希少性バイアスやデイアスに敏感な人もいれば，そうでない人もいるでしょう．

フォルトナッジと呼ばれる手法を組み込んだ場合の，参加

メッセージが直接的か間接的か，定量的か定性的化といった違いでも受容率が異なることが示されている [11]．ある© 2022 Information Processing Society of Japan*338

https://hub.arakawa-lab.com/itocon情報処理学会 SIG-BTI シンポジウム

リアルタイム
混雑度計測

参考文献

可視化フィードバック

行動変容
場所の変容

[1] Elenko, E., Underwood, L. and Zohar, D.: Deﬁning digital medicine, Nature biotechnology, Vol. 33, No. 5, pp.
456–461 (2015).
[2] Dai, H. and et al.: Behavioural nudges increase COVID19 vaccinations, Nature, Vol. 597, No. 7876, pp. 404–409(2021).
[3] Ryo, T. and et al.: Itocon - A System for Visualizing
the Congestion of Bus Stops around Ito Campus in Realtime, The 18th ACM Conference on Embedded Networked
Sensor Systems (SenSys 2020) (2020).
[4] 荒川豊，石田繁巳，酒井幸輝， 峯恒憲: 大規模広告位置

認知バイアス
ポイント

P （外発的動機づけ）

時間の変容

データによる観光施策立案評価システムの設計，情報処理学

混雑度に応じた

動的なポイント変動

形態の変容

会 MBL 研究会 (2021).
[5] Matsuda, Y. and et al.: EmoTour: Estimating emotion
and satisfaction of users based on behavioral cues andaudiovisual data, Sensors, Vol. 18, No. 11, p. 3978 (2018).
[6] Kawanaka, S. and et al.: Gamiﬁed participatory sensing in tourism: An experimental study of the eﬀects on
tourist behavior and satisfaction, Smart Cities, Vol. 3,
No. 3, pp. 736–757 (2020).
[7] 川谷卓哉， 荒川豊， 峯恒憲: 路線バスと他の交通機関とのゲーミフィケーション（チームでポイント）

食堂

図1

ICT 行動変容実験の概要

率の変化を観察する．第 3 の実験では，混雑度に応じて進呈するポイントを動的に変更させ，混雑していない場合は，進呈ポイントを減らすことで行動変容率を保ちつつ，コス

相互乗り換えを保証するための遅延状況調査および運行ダイ

トを抑制できるかについて検証した．第 4 の実験では，参ヤ改善指標の検討，第 29 回マルチメディア通信と分散処理加率を改善するためにグループで目標を達成させるゲーミ

ワークショップ (DPSWS2021) (2021).
[8] Morishita, S. and et al.: Sakurasensor: quasi-realtime
cherry-lined roads detection through participatory video
sensing by cars, Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous
Computing, pp. 695–705 (2015).
[9] Arakawa, Y. and Matsuda, Y.: Gamiﬁcation mechanism for enhancing a participatory urban sensing: Survey
and practical results, Journal of Information Processing,Vol. 24, No. 1, pp. 31–38 (2016).
[10] Matsumura, N., Fruchter, R. and Leifer, L.: Shikakeology: designing triggers for behavior change, AI & SOCIETY, Vol. 30, No. 4, pp. 419–429 (2015).
[11] Zhang, Z. and et al.: Exploring the Impacts of Elaborateness and Indirectness in a Behavior Change Support
System, IEEE Access, Vol. 9, pp. 74778–74788 (2021).
[12] Miehle, J. and et al.: Cultural Communication Idiosyncrasies in Human-Computer Interaction, Proceedings of the 17th Annual Meeting of the Special Interest
Group on Discourse and Dialogue, Los Angeles, Association for Computational Linguistics, pp. 74–79 (online),
10.18653/v1/W16-3610 (2016).

フィケーションの効用について検証した．これらの検証結果については，本稿では割愛するが，いずれもポジティブな結果が得られている．

6. おわりに
本稿では，行動変容支援の中でも，社会便益を目的とした ICT 行動変容支援システムに関する解説と九州大学における実験について紹介した．個人の便益を目的とした行動変容支援では IoT（Internet of Things）機器程度で計測も介入も行うことが可能であるが，社会を対象とした場合，計測も介入も大掛かりになり，実証自体が相当労力を要するものとなる．しかも，情報科学だけではなく，心理学や経済学，都市工学，医学など多様な学問分野とのコラボレーションが不可欠である．
しかしながら，SDGs の世界的広がりを鑑みると，社会便益を目的とした行動変容支援システムの需要は今後も高まると考えられる．今回，情報処理学会のもとに設立された「IoT 行動変容学研究グループ」が中心となり，学際的な研究が広がることを期待する．
謝辞

本研究の一部は，国立研究開発法人科学技術振興機構センター・オブ・イノベーション（COI）プログラム（JPMJCE1318）および JSPS 科研費（JP18H03233）の支援を受けて実施したものである．

© 2022 Information Processing Society of Japan39

情報処理学会 SIG-BTI シンポジウム

発言における感情極性の比率操作を目的としたトークン付与による会議支援ツールの研究足立雄大 †1

稲見皓介 †2

富山県立大学 工学部 電子・情報工学科 †1

岩本健嗣 †1

富山県立大学 大学院工学研究科 電子・情報工学専攻 †2

1. 背景

存のツールは，非言語情報を元に感情分析を行なっている．

新型コロナウイルス感染症 (COVID-19) の大規模な感染

しかし，アイデアの量と質は主に言語情報から評価が行わ拡大に伴い，多くの企業が在宅での勤務を余儀なくされ，れている．高橋ら [1] の研究によると，アイデアの質は流暢

Web 会議システムを利用した遠隔会議を実施している．し性・柔軟性・独創性の 3 つの側面を用いて評価されている．

かし，一般社団法人オンラインコミュニケーション協会によ

流暢性とは，「アイデアの総数」，柔軟性とは「アイデアを複るコミュニケーションの質の低下に関する調査結果による数のカテゴリに分類した際の，カテゴリの総数」，独創性とと，社内会議が対面会議から遠隔会議になったことによっは「他には見られないアイデア数」から数値化できるものとて，約 70% 以上の人が「コミュニケーションの質」が低下して定義されている．これらの指標はアイデア創出の際のしたと回答している．その要因として，「感情の伝達不足」

発言内容，すなわち言語情報によるものが大きいと考えらと「アイデアの量と質の低下」が挙げられている．例えば，れる．そこで本研究では，会議参加者がアイデア創出を行

日本電気株式会社 (NEC) と Realeyes OU(Realeyes) が開なっている際の発言内容を対象とし，感情分析を行う．

発したツールでは，映像から参加者の感情を分析し，感情推2.2. 感情極性の比率

移のグラフをリアルタイムで参加者に提示することで感情の伝達不足を補い，参加者同士の円滑な対話や会話の活性化

ポジティブな感情を持つ単語とネガティブな感情を持つを目指している．また，aﬀective 社が開発した「心 sensor

単語を総称して感情極性を持つ単語と言われる．感情極性

for communication」は画像認識 AI を利用して参加者の感情を反映したアバターを仮想カメラを通じて既存の Web 会とは，その単語が肯定的 (ポジティブ) な意見か，否定的 (ネ議ツールに表示することで，感情の伝達不足を補っている．

見かといった情報である [2]．また，藤村ら [3] によると，与これらのツールは参加者の感情の可視化による，「感情の伝えられた文章中でのポジティブな単語の出現数とネガティ達不足」の補助を目的としている．しかし，これらのツール

ブな単語の出現数の割合によって文章の感情極性が推定では「アイデアの量と質」の向上が考慮されていない．つまきると述べられている．そこで，本研究ではポジティブな極り，既存のツールでは，アイデアの量と質を重要視する創造性を持つ文章をポジティブな文章，ネガティブな極性を持

会議には適していないと言える．そこで，本研究では，参加

つ文章をネガティブな文章とし，ネガティブ発言に対する者の感情の可視化を行いつつ，アイデアの量と質の向上を

ポジティブ発言の比率を感情極性の比率と定義する．アメ目的とした遠隔会議支援ツールの構築を行う．

リカの心理学者バーバラ・フレデリクソン博士とマーシャ

ガティブ) な意見か，あるいは中立的 (ニュートラル) な意

ル・ロサダ氏 [4] によると，ビジネス会議中の発言における感情極性の比率が「2.9」以上「11.6」未満の会社は、その2. 感情が会議にもたらす影響

後の経営状態が良好であったと述べられている．これらは，

2.1. 感情分析手法

感情極性の比率が「2.9」以上でポジティブ感情が高まり，

感情分析手法は，表情と音声については非言語情報を元創造性が向上したことによる影響だとされている．つまり，に感情を分析し，文章は言語情報に基づいて感情を分析す

感情極性の比率が「2.9」以上「11.6」未満を会議参加者がる，というように分析する対象が異なる．1 章で述べた既発言をする際に意識すべき指標と言える．

A Study of a Meeting Support Tool by Emotional Polarity Ratio
Manipulation

3. 目的

†1
†2
†1

YUDAI ADACHI,Toyama Prefectural University
KOSUKE INAMI,Toyama Prefectural University
TAKESHI IWAMOTO,Toyama Prefectural University© 2022 Information Processing Society of Japan

2.2 節で感情極性の比率が創造性の向上に影響を及ぼすと述べた．しかし，会議参加者が感情極性の比率を意識して

40

情報処理学会 SIG-BTI シンポジウム

発言することで，アイデアの量と質が向上することは明ら果を用いて，ユーザの感情極性の比率を推定し，NoSQL 型

かにされていない．そこで本研究では，会議参加者の感情のデータベースである Firestore に保存する．

極性の比率を操作することで，会議中に創出されるアイデ

5.2. 感情極性の比率を操作する機能

アの量と質にどのような影響を与えるか検証する．そのために，参加者の感情極性の比率を操作するための遠隔会議4 章で述べた 3 つのタイプの Fun 感情に対応した GF の支援ツールの構築を本研究の目的とする．しかし，明示的各機能を表 1 に示す．また，各機能の概要について以下にな操作では，自由な意見を阻害する要因となることが懸念示す．

される．そのため，暗示的な操作を行い，参加者が自発的に感情極性の比率を意識して発言する必要があると考えられ

表1

る．そこで自発的な行動変容を誘発するためのアプローチ

Table 1として，遠隔会議支援ツールにゲーミフィケーションの導Fun 感情入を試みる．

4. ゲーミフィケーション
ゲーミフィケーションとは，ゲーム要素をゲーム以外のGF と提案機能の対応表
GF and Suggestion function
GF

提案機能

Easy Funポイント

トークン付与機能

People Fun

リーダーボード

ランキング機能

Hard Fun

バッジ

バッジ付与機能[トークン付与機能]
GF の「ポイント」を導入し，ユーザが発言する毎にトー活動に取り入れることにより，サービス利用者に対する何らかの行動への動機づけを行う手法である [5]．代表的なクンを付与する．それに伴い，付与トークンと所持トーク

ゲーミフィケーション要素 (以下，GF) として，「ポインンの定義を行う．

ト (Point)」「バッジ (Badges)」「リーダーボード (Leader-boards)」の 3 つが挙げられている．また Lazzaro ら [6]は，”Easy Fun”，”Hard Fun”，”Serious Fun”，”People
Fun”の 4 つのタイプの Fun 感情がゲームをデザインする上で重要だと述べている．さらに，GF は外因性モチベーショ
ンと内因性モチベーションに分類できる．Amabile[7] によ付与トークン

ユーザが発言する毎に獲得できるトークン

所持トークン

会議中に獲得した累計の付与トークン

さらに，トークンには 5.1 節で推定した感情極性の比率に応じて変動するレートを導入する．レートとは，トークンの価値を変動させる要因であり，レートが高いほど，トークン

ると，外因性モチベーションとは，主に金銭など，自身を取の価値が増加する．つまり，ユーザは感情極性の比率を操り巻く外部からの要因であり，内因性モチベーションとは，作することで，自身が獲得できるトークンを増加させるこ

自身や他者からのポジティブな評価やフィードバックからとができる．

生じる関心や情熱など内部からの要因である．このうち，内因性モチベーションによって行われる活動が創造性を発揮[ランキング機能]GF の「リーダーボード」を導入し，ユーザの所持トークしやすいと述べられている．そこで本研究では，内因性モチベーションに起因する”Easy Fun”，”Hard Fun”，”People

ンの値によってランキング付けを行い結果をユーザに提示

Fun”の 3 つのタイプの Fun 感情に対応した GF を遠隔会する．

議支援ツールに導入する．

[バッジ付与機能]
GF の「バッジ」を導入し，一定数以上の所持トークン毎

5. 遠隔会議支援ツール
本章では，本研究で実装した遠隔会議支援ツールについにバッジを付与する．これにより，ランキング機能によるて述べる．本ツールではリアルタイム感情分析機能，感情

ユーザ同士で所持トークンを競わせるだけでなく，ユーザ

極性の比率を操作する機能，感情推移を可視化する機能を自身の所持トークンにおける記録の更新を目指してもらう．

実装した．

5.3. 感情推移を可視化する機能
5.1. リアルタイム感情分析機能

Firestore に保存されたユーザ毎の感情極性の比率をグラ
フとしてユーザに提示する．グラフとして可視化すること

Google 社が提供している Google Cloud Speech-To-Text
API(GCS) を用いてユーザの発言を文章化する．そして文章化したテキストに対して Google Cloud Natural Language API(GCN) を用いて感情分析を行う．出力された結© 2022 Information Processing Society of Japan

で，ユーザは感情極性の比率の推移を視覚的に見ることが可能となり，自身の発言の傾向を把握することができる．

41

情報処理学会 SIG-BTI シンポジウム

及ぼす影響を検証した．実験は 20 名の大学生 (20 歳〜22

5.4. 2 通りのトークン付与手法の検討

歳) を被験者とし，1 チーム 4 名で計 5 チームに分け，チー

本研究では 5.1 節で述べたトークン付与機能を実装する

ム毎に以下の 3 つの条件による 15 分間の遠隔会議を 2 回ずにあたり，以下の 2 つを目的とした手法を検討する．

つ行った．また，議論するテーマは Guilford’s Alternative

1. 会議中における感情極性の比率の操作
2. 会議終了時における感情極性の比率の操作

Uses Task[8] の形式を扱う．

そこで本研究では，会議中における感情極性の比率の操作を

1. GF 無しを使用した遠隔会議 (GF 無し)
2. GF 有り (手法 1) を使用した遠隔会議 (GF 有り 1)
3. GF 有り (手法 2) を使用した遠隔会議 (GF 有り 2)

手法 1，会議終了時における感情極性の比率の操作を手法 2とし，どちらの手法が感情極性の比率の操作に適しており，
アイデアの量と質の向上が見られるか検証する．以下に手本研究で実装したツールの評価は感情極性の比率，アイデ

法 1 と手法 2 の概要を述べる．

アの量と質をもとに行った．感情極性の比率の評価では GF無しと GF 有りの条件でユーザの感情極性の比率の比較を行った．アイデアの量と質の評価では，高橋ら [1] の研究で[手法 1：会議中における感情極性の比率の操作]用いられている，アイデアの流暢性 (多さ)，柔軟性 (多様ユーザが獲得する付与トークンに対してレートを乗法すさ)，独創性 (奇抜さ) をもとに評価を行った．

る．これにより，付与トークンの量が発言毎に変動する．
レートは，感情極性の比率が「3」に近づくにつれて増加し，離れるにつれて減少するように設定する．図 1 に手法 1 に

7. 実験結果と考察おけるユーザが所持トークンを獲得するまでの一連の流れ

7.1. 感情極性の比率を示す．

図 3 に各実験条件におけるチーム毎の感情極性の比率の平均値を示す．C，D，E チームにおいて GF 無しと GF 有りの条件による比較を行うと，GF 有りの条件において感情
極性の比率が大幅に増加し，C，D チームにおいては，感情極性の比率「4」以上を示した．しかし，GF 有りの条件に
図1

おいて，A チームは感情極性の比率が減少し，B チームは

手法 1 における一連の流れ

わずかな増加が見られるが，感情極性の比率は「3」未満にFigure 1 Method 1 Flow

留まった．これらの要因として，A，B チームは C，D，E
チームと比較して全ての条件による実験の発言数が極端に[手法 2：会議終了時における感情極性の比率の操作]
ユーザが獲得する付与トークンは一定とし，所持トーク少ないため，チームの発言数が影響する可能性が考えられン全体に対してレートを乗法する．レートの設定についてる．また，全てのチームにおいて，実験条件の違いによる発は手法 1 と同様である．また，所持トークンにレートが乗言数の大きな変化は見られない．そのため，発言数が少な法された値を予測トークンと定義する．図 2 に手法 2 においチームに対しては，本研究で実装した遠隔会議支援ツー

けるユーザが予測トークンを獲得するまでの一連の流れをルは有効でないと考えられる．

示す．

図2

手法 2 における一連の流れ

Figure 2 Method 2 Flow

6. 実験内容
本実験では GF を導入した遠隔会議支援ツール (GF 有

図3り) と導入していない遠隔会議支援ツール (GF 無し) で比Figure 3 Emotional Polarity Ratio

較実験を行い，実装した機能がユーザの感情極性の比率に© 2022 Information Processing Society of Japan

チーム毎の感情極性の比率

42情報処理学会 SIG-BTI シンポジウム

因として，実験のテーマによる難易度が影響していると考7.2. アイデアの量と質
図 4 に各実験条件における，5 チームのアイデアの量と質

える．被験者にテーマ毎の難易度に関してをアンケートをの平均評価値を示す．6 章で述べた 3 項目による評価を行実施した結果，GF 有り 2 の条件で議論したテーマの難易

い，GF 無しと GF 有りの条件にて比較を行うと，GF 有り

度が最も高いことが判明した．GF 有り 1 と GF 無しの条の条件において全ての項目で向上が見られた．そこで，感情

件では GF 有り 1 の条件で議論したテーマの難易度が高い．

極性の比率がアイデアの量と質の向上に及ぼした影響を検つまり，柔軟性と独創性に関して GF 有り 1 と GF 有り 2

証するため，7.1 節で感情極性の比率の増加が見られなかっで差が見られたのは，テーマの難易度による影響があるとた A と B チーム，増加が見られた C，D，E チームを対象考えられる．

にそれぞれ Steel-Dwass 法を用いて多重比較検定を行った．
なお有意水準 (p) は 0.05 と設定した．各評価項目における

8. まとめ詳細は以下に示す．

本研究では，ユーザの感情極性の比率を操作するための遠隔会議支援ツールを構築し，検証と評価を行った．その結果，5 チーム中 3 チームにおいて感情極性の比率の操作ができた．一方，5 チームの中で平均発言数が少ない 2 チーム
に関しては，感情極性の比率の操作ができなかった．つまり，本研究で実装した遠隔会議支援ツールは発言数が多い
チームに対して有効であると言える．また，感情極性の比率が増加した 3 チームによって創出されたアイデアを対象に，GF 無しと GF 有りの条件による比較を行った結果，ア
イデアの流暢性と柔軟性において有意差が見られ，独創性

図4

アイデアの量と質に関しては GF 無しと GF 有り 1 の条件による比較で有意差が見られた．つまり，感情極性の比率がアイデアの量とFigure 4 Quantity and Quality of Ideas

質の向上に有意な影響を及ぼすと言える．

[アイデアの流暢性の検定]
A，B チームを対象とした検定では 3 つの条件による比較において有意差は見られなかった．一方，C，D，E チームを対象とした検定では，GF 無しと GF 有りの条件による比較において有意差が見られた．図 4 の流暢性の平均評価値
より，手法 1 と手法 2 が流暢性に有効だと言える．

参考文献[1] 高橋誠：ブレーンストーミングの研究 (1):「発想ルール」の有効性，日本創造学会論文誌= Journal of Japan Creativity
Society， Vol. 2, pp. 94–122 (1998).
[2] 高村大也， 乾孝司，奥村学：スピンモデルによる単語の感情
極性抽出，情報処理学会論文誌，Vol. 47, No. 2, pp. 627–637(2006).
[3] 藤村滋，豊田正史，喜連川優：電子掲示板からの評価表現,
および評判情報の抽出，人工知能学会全国大会論文集 第 18 回
(2004)，一般社団法人 人工知能学会，pp. 252–252 (2004).
[4] Fredrickson, B. L. and Losada, M. F.: Positive aﬀect andthe complex dynamics of human ﬂourishing., American
psychologist, Vol. 60, No. 7, p. 678 (2005).
[5] Deterding, S., Dixon, D., Khaled, R. and Nacke, L.: Fromgame design elements to gamefulness: deﬁning” gamiﬁcation”, Proceedings of the 15th international academic
MindTrek conference: Envisioning future media environments, pp. 9–15 (2011).
[6] Games, W. W. P.: Four Keys to More Emotion Without
Story (2004).
[7] Amabile, T. M.: The social psychology of creativity: A
componential conceptualization., Journal of Personality
and Social Psychology, Vol. 45, pp. 357–376 (1983).
[8] Guilford, J. P.: The nature of human intelligence. (1967).

[アイデアの柔軟性の検定]
A，B チームを対象とした検定では GF 無しと GF 有りの条件による比較で有意差が見られなかった．一方，C，D，E チームを対象とした検定では全ての条件による比較で有意差が見られた．図 4 の柔軟性の平均評価値より，手法 1と手法 2 が柔軟性に有効だと言える．
[アイデアの独創性の検定]
A，B チームを対象とした検定では GF 無しと GF 有りの条件による比較で有意差が見られなかった．一方，C，D，E チームを対象とした検定では GF 有り 1 と GF 無し，GF
有り 2 の条件による比較で有意差が見られた．図 4 の独創性の平均評価値より，手法 1 が独創性に有効だと言える．
アイデアの柔軟性と独創性に関しては，GF 有り 1 と GF有り 2 の条件による比較で有意差が見れらた。これらの要© 2022 Information Processing Society of Japan43

情報処理学会 SIG-BTI シンポジウム

Twitter を活用したソーシャルナッジのためのいいね！と運動習慣化成功との関係の分析
濱谷尚志 †1
株式会社 NTT ドコモ †1

三村 知洋 †2
株式会社 NTT ドコモ †2

山田渉 †3株式会社 NTT ドコモ †3

落合桂一 †4株式会社 NTT ドコモ †4

1. はじめにて行い習慣化させていくことが重要であり，継続的な行動変容を実現するためのアプローチが求められている．

日本は長寿高齢化という課題に直面しており，今後予期される医療費や介護費増大といった課題に対処していくた

運動や読書などの習慣化のために，エーテンラボ株式会社

めに，国民の健康の増進を図ることが不可欠である．健康より「みんチャレ」*3 というサービスが社会実装され，習慣化に挑戦したいユーザを中心に活用されている．このサー増進のために，平成 24 年より厚生労働省は健康日本 21（第二次） を発出し，健康を増進し発病を予防する一次予防をビスでは，読書の習慣化や体重の減少など同じ目標を目指す

中心とした対策を推進している．健康を増進するためには，ユーザが匿名で 5 人集まり，チームで報告を行ったり，挑戦

健康的な食生活の実行や習慣的に運動を実施することが不が途切れる日が続くとチームを脱退させられるなどの仕掛可欠である．特に，健康というドメインにおいては，一日のけにより習慣化を高める支援を行っている．「みんチャレ」

行動の結果が健康に直結するわけではなく，長期的に健康では同じ目標を持った仲間からの働きかけのより社会的な的な生活習慣を続けることが重要である．そのため，健康繋がりを用い行動変容の後押し（本研究ではソーシャルナッ

的な生活習慣を続けるための行動変容が課題となっている．

ジと呼ぶ）を実現している．みんチャレではチームの仲間

人々の行動変容を後押しするために，例として行動経済の頑張り度合いが自身の行動変容にも影響すると考えられ学に基づくナッジ理論 [1] が実社会に組み込まれ，公共政策る．例えば，継続率が高いチームにおいては，皆が頑張ってなどで活用されている．一例として，COVID-19 の拡大防いるという同調圧力（ピアプレッシャー）が強くなることに止のために，街中で地面に整列用のテープが貼られ，人々が対し，継続率が低いチームにおいてはピアプレッシャーが自発的に整列し物理的距離を確保することを後押しする取弱まると考えられるため，どういう仲間とチームを組むかり組みが挙げられる．健康増進という観点でも，がん検診が重要な要素となりうる．先行研究においても，チームをの受診率向上のために従来オプトイン方式で提示していた

組むだけでなく競い合う設計にすることが重要であること

がん検診を標準でセットに含めるオプトアウト方式に変更

や [2]，行動変容を目的としたチームの設計において感情的し，回答の工程を減らすことで受診率を改善させた事例がなサポートや情報的なサポートが求められていることなど

あるなど，人の意思決定における思考パターンを理解してが明らかになっている [3]．

*1

我々はソーシャルナッジのための別のアプローチとして，*2

ナッジにより行動を後押しすることが広がっている ．
その場で物理的距離を確保したり，年に 1 回の検診の受診近年広く普及しているソーシャルネットワーキングサービなどであれば上記のようなナッジ理論を活用したアプロー

スを通じた繋がり（緩いつながり）に着目する．例えば先チが有効であることが明らかになりつつある一方で，健康行研究 [4] では運動アプリを通じて健康的な活動を Twitter

増進のためには健康的な生活習慣の積み重ねが重要である．

に発信することで，同じアプリを使う友人と繋がり，リツ

すなわち，健康的な食生活や運動を一日だけでなく継続しイートなどのアクションを受けることで，アプリの利用継続に繋がることが約 7500 人のデータを踏まえて実証されており，ソーシャルネットワークでのフォローや “いいね！”

Manuscript Format for Kickoﬀ Symposium of IPSJ Behavior
Transformation by IoT (BTI)などの働きかけが現実世界でのユーザの行動に影響を与え†1

ることは十分に期待できる．さらに，Twitter を用いたソー†2

シャルナッジにおいても，どういった仲間とコミュニティ

TAKASHI HAMATANI, NTT DOCOMO, INC.
TOMOHIRO MIMURA, NTT DOCOMO, INC.
†3 WATARU YAMADA, NTT DOCOMO, INC.
†4 KEIICHI OCHIAI, NTT DOCOMO, INC.
*1 https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/
kenkou_iryou/kenkou/kenkounippon21.html*2 https://www.mhlw.go.jp/content/10901000/000500406.pdf© 2022 Information Processing Society of Japanを構築するかが重要な要素であると考えられるため，本研*344https://minchalle.com/

情報処理学会 SIG-BTI シンポジウム

究では Twitter の機能のなかでも称賛を示す “いいね！” に告ツイートを周期的に行っているユーザは継続成功とみなついて，単に “いいね！” された数だけでなく誰から “いいす．一方で報告ツイートが毎日行われるとは限らないため，ね！” をされるかという質的な側面について行動変容の成

ユーザの最新ツイートの日付日時と比較して，所定の日数否との関係性を明らかにすることを試みる．関係性を明ら

以上報告ツイートが行われていない場合に継続失敗と扱う．

かにすることができれば，様々なドメインにおいて，行動変本研究では，前述の所定の日数というパラメータについて，容の成功可能性を高めるための介入に有用な知見となるこ

実際にユーザのツイート傾向をもとに 3 日と定めた．

とが期待できる．

2.2. 本研究で明らかにすること

仮説検証のため，2022 年以降，Twitter の公開アカウン
トより得られたツイートを収集し，“いいね！” の量や質を本研究では，Twitter を活用したソーシャルナッジを活用

特徴量として定量的に表現した上で，運動継続に成功してした行動変容の成否において，繋がりや好意的な反応の多いる人と継続に失敗した人のデータを比較し，継続成功とさという量的影響だけでなくどういう相手と繋がるかや誰相関がある項目を明らかにした．その結果，運動継続に成から好意的な反応を受けるという質的影響が存在するとい功している人は “いいね！” を受け取っている数が多く，特う仮説を立てる．その検証のため，Twitter のフォロー数やにフォローされているのみの相手からの “いいね！” や，相ツイート数といった基本的な情報に加え，Twitter の機能な

互に “いいね！” を送り合っている相手からの “いいね！”

かでも称賛を示す “いいね！” について，“いいね！” の量にの数が多いことを確認し，“いいね！” の数だけでなく，誰加えて誰から “いいね！” されるかという “いいね！” の質から “いいね！” されるかが行動変容に関連しうることを確的な側面を表現する特徴量を作成し，行動変容の成否との認した．また，継続に成功している人は “いいね！” だけで関係性を評価する．

なくフォロー数に対するフォロワー数の割合が高いことがわかり，フォローという形で応援されることも行動変容と3. データの収集関係しうることを確認した．

仮説の検証のため，Twitter の公開アカウントのツイートを検索可能な公式 API*4 を活用し，以下の手順で Twitter2. 問題設定

で運動継続に挑戦しているユーザのツイートを収集した．

本研究ではソーシャルネットワーキングサービスの一つ

初めに，運動実施の記録報告を積極的に行っているユーザである Twitter を利用したソーシャルナッジの可能性につを抽出するため，本文中に “日目” または “day” を含み，かいて検討する．Twitter ではダイエットを継続したいユー

つハッシュタグ#ダイエット垢さんと繋がりたいまたは#ダ

ザにより，特定のハッシュタグを使った運動仲間とのつな

イエット記録を含むツイートを検索し，当該ツイートを発がりの形成や運動記録の報告が行われており，運動の継続信したユーザを 56 人抽出した．その後，抽出した 56 人のに挑戦している人のツイートが閲覧可能である．そこで，本ユーザに対して，当該ツイートを発信したユーザの期間内研究では，ダイエットのため運動継続に挑戦しているユー（1 月 1 日より 2 月 17 日まで）のツイートを収集し 15,930

ザに関して，フォローや “いいね！” を通じたフォロワーかツイートを収集した．以上の 56 人の 15,930 ツイートにつらの働きかけの情報と，運動の継続に成功したかどうかのいて，次章にて分析を行い Twitter でのソーシャルナッジ

情報を掛け合わせることで，フォローや “いいね！” といっと行動変容の関係性を明らかにする．

たサイバー空間上での緩い繋がりによるソーシャルナッジ
が実際に運動を行い継続していくという行動変容の実現と

4. 分析結果

関係するかを明らかにする．

ツイートやフォローの傾向，およびツイートに対する反2.1. 継続成功・失敗の定義

応と，行動変容（運動の継続）の成否の関係を明らかにする

本研究では達成したい行動変容を習慣的に運動を継続でため，56 名（継続群：N=25，離脱群：N=31）の各ユーザのきることと定める．Twitter で運動継続に挑戦するユーザ

ツイート傾向やフォロー情報，ツイートに対する反応を特の一部に共通する傾向として，“#ダイエット 3 日目” といっ

徴量として表現し，統計検定により 2 群における差の有無

たように継続日数を含むツイートを行う傾向がある．そこを確認する．さらに，行動の継続の成否について成功を 0，

で，ツイート内容の解析により，分析対象期間のうち上記の失敗を 1 として数値表現し，特徴量との相関を調査する．

ように継続日数の報告を含むツイートをその日数と合わせて抽出する．そして，データ収集期間において，継続日数の報告ツイートが途絶えてしまったユーザを継続失敗，報© 2022 Information Processing Society of Japan*445

https://developer.twitter.com/en/docs/twitter-api

情報処理学会 SIG-BTI シンポジウム

表1

継続群と離脱群における特徴量の一覧（全ツイートに対して集計した特徴量）

種別

特徴量

ツイート傾向tweet countattached ratemention rate

134.000
0.389
0.225

147.000
0.288
0.150

1.0
0.22890.5581-0.193-0.175-0.144

画像付きツイートの割合“いいね！” の量的側面

like count mean
like count std
like count min
like count medianlike count max
like rate not mention
like rate of mention
like mean normalized
like rate normalized medianlike rate normalized max

6.426
4.591
0.000
5.000
29.000
1.000
0.750
0.043
0.033
0.232

3.296
3.519
0.000
2.000
20.000
0.940
0.667
0.036
0.021
0.263

0.05800.14240.898
0.02400.43330.01840.26090.6327
0.19560.3029-0.209-0.072-0.021-0.348-0.138-0.317-0.141
0.128
0.086
0.292

1 ツイート毎の “いいね！” の平均
1 ツイート毎の “いいね！” の標準偏差期間内の “いいね！” の最小値
期間内の “いいね！” の中央値
期間内の “いいね！” の最小値
非メンションツイートに対する “いいね！” の有無の割合
メンションツイートに対する “いいね！” の有無の割合
フォロワー数で正規化した “いいね！” の平均
フォロワー数で正規化した “いいね！” の中央値
フォロワー数で正規化した “いいね！” の最大値“いいね！” の質的側面

like count mutual follow
like count followonly
like count followeronly
like count no relation
like rate mutual follow
like rate followonly
like rate followeronly
like rate no relation
like count mutual like
like count like take only
like rate mutual like
like rate like take only

585.000
11.00032.000238.000
0.652
0.007
0.029
0.268
484.000
231.000
0.723
0.277

332.000
2.000
7.000
142.000
0.537
0.005
0.017
0.431
224.000
148.000
0.632
0.368

0.18180.06660.04720.18460.49920.10280.08270.26950.04520.18730.38240.3824n following
n follower
follower-follow-ratio

139.000
121.000
1.160

97.00086.0000.945

0.52030.1136
0.0435day count

89.00010.000<0.001

フォロー関係継続日数

中央値（継続群） 中央値（離脱群）

p-value

4.1. 全ツイートに対する特徴量と行動変容成否の関係

Hedge’s g

0.737
0.662

0.060

0.350

Pearson’s R-0.146-0.205-0.0300.056-0.083-0.201-0.051
0.162-0.1740.047-0.1620.162

説明
期間内ツイート数
メンションの割合

相互フォロー相手からの “いいね！” 総数フォローのみの相手からの “いいね！” 総数
フォローされているのみの相手からの “いいね！” 総数フォロー関係にない相手からの “いいね！” 総数“いいね！” における相互フォロー相手の割合“いいね！” におけるフォローのみの相手の割合“いいね！” におけるフォローされているのみ相手の割合“いいね！” におけるフォロー関係にない相手の割合“いいね！” したことのある相手からの “いいね！” の総数“いいね！” したことのない相手からの “いいね！” の総数“いいね！” したことのある相手からの “いいね！” の割合“いいね！” したことのない相手からの “いいね！” の割合
フォロー人数0.608-0.192-0.236-0.2930.622-0.300

継続成功日数

フォロワー人数
フォロワーフォロー数の比率する形となった．

運動継続に挑戦している期間において，ユーザのツイート

また，フォロワー数とフォロー数の比率についても，運動に対する反応，フォロワーの数，また運動の継続日数の累積

継続に成功している群のほうがフォロワー数がフォロー数などが行動変容に寄与すると考え，本研究では各ユーザのを上回る傾向にあることが確認できる．このことから，自全ツイート，ツイートやフォローの傾向，および継続成功し分の挑戦を見守ってくれる仲間（フォロワー）の存在が行動た日数に対して 1 に示す特徴量を設計し，継続成功群と離変容において影響を及ぼしている可能性が考えられる．さ脱群の 2 群の傾向を観察する．表では，特徴量毎に特徴量

らに，継続に成功した日数自体も，運動継続に成功しているの説明に加え，継続成功群と継続失敗（途中離脱）群におけ群のほうが多い傾向にある．継続に成功すると継続日数はる中央値，Brunner-Munzel 検定により求めた p 値，p 値が増えるので当然の結果であるものの，表 1 の結果より継続

5% の有意水準を上回った場合には効果量である Hedge’sの g 値，特徴量と継続の成否に対するピアソンの相関係数

日数が積み上がってきたユーザは行動変容を継続する傾向を記載している．

上げに力点を置いた介入を行っていくなどの活用が考えらにあると考えられるため，実用的観点では継続日数の積みれる．

表 1 の結果より，今回集計した特徴量のうち 6 種類において，継続成功群と離脱群間で有意な差が生じていることが4.2. 運動記録の報告ツイートに対する特徴量と行動変容確認できる．そのうち 4 種類に関しては “いいね！” の数お

成否の関係

よび量的側面に関するものであることが分かり，かつ相関係数が負の値を示している（継続成功群ほど特徴量の値がさらに，運動記録の報告ツイートそのものに対して “いい大きい）ことより，“いいね！” を受けることと運動の継続ね！” を受け取ることが行動変容に直結すると想定し，当該に成功することには正の相関があることが示唆されている．

ツイートに限って計算した特徴量の傾向を表 2 に示す．表

一方で，フォロワーの数により正規化した “いいね！” に関する特徴量については有意差が確認できず，フォロワーの1 に示す特徴量のうち，ツイートとは独立なフォロー関係に関する特徴量や，継続日数に関する特徴量は表 2 に含めて中から “いいね！” された割合よりも，“いいね！” の総数がいない．また，報告ツイートの総数は継続日数と一致する

多いことが重要であることが示唆されている．当初の仮説

ことより継続成功群と離脱群でツイート総数が異なること

としてフォロワーからより多くの割合で “いいね！” をされから，特徴量のうち “いいね！” の合計値については比較すている人が行動変容に成功すると考えていたが，仮説に反ることが難しいため，除外している．

© 2022 Information Processing Society of Japan46

情報処理学会 SIG-BTI シンポジウム

表2

継続群と離脱群における特徴量の一覧（運動継続報告ツイートに対してのみ集計した特徴量）

種別

特徴量

p-value

Hedge’s gPearson’s R

ツイート傾向tweet countattached rate

中央値（継続群） 中央値（離脱群）

42.000
0.941

3.000
0.686

<0.0010.38851.752-0.663-0.13310.355
3.429
3.000
9.000
17.000
1.000
0.000
0.073
0.074
0.109

4.750
2.266
2.000
4.250
9.500
1.000
0.000
0.063
0.056
0.098

0.00520.01250.49220.00350.00110.10920.16150.70250.31790.5497

0.525
0.550

“いいね！” の量的側面

like count mean
like count std
like count min
like count medianlike count max
like rate not mention
like rate of mention
like mean normalized
like rate normalized medianlike rate normalized max-0.257-0.268-0.140-0.256-0.357-0.317-0.213-0.022-0.1050.043“いいね！” の質的側面

like rate mutual follow
like rate followonly
like rate followeronly
like rate no relation
like rate mutual like
like rate like take only

0.606
0.008
0.027
0.267
0.708
0.292

0.435
0.000
0.002
0.472
0.503
0.497

0.34710.16730.05230.38850.35140.3514

0.524
0.755

-0.127-0.007-0.0310.147-0.1530.153

り合いに関するものであり，比較的シンプルな設計となっ

表 2 の結果より，表 1 と同様に “いいね！” を受け取る数の平均について継続群と離脱群において有意な差が確認でていたため，今後はより細かい単位で “いいね！” の質的なきた．標準偏差，中央値，および最大値においても有意差が側面を掘り下げ，行動変容と関係する因子を明らかにした

確認でき，継続群が受け取った “いいね！” と離脱群が受けい．また，本研究では相関の分析にとどまり，因果を明らか取った “いいね！” の数は傾向として大きく異なっており，にできないことが課題となり，今後は介入を含めた実証を運動の継続において “いいね！” を受けることが関係してい行い運動継続におけるソーシャルナッジの効果を明らかにることを示唆している．

していく方針である．

一方で，本研究の仮説である “いいね！” の量だけでなく質的側面が重要であるという仮説に対して，質的側面を考参考文献

慮するため設計した特徴量として有意な差が生じたものは[1] Thaler, R. H. and Sunstein, C. R.: Nudge: improving decisions about health, Wealth, and Happiness,
Vol. 6, pp. 14–38 (2008).
[2] Nishiyama, Y., Okoshi, T., Yonezawa, T., Nakazawa,J., Takashio, K. and Tokuda, H.: Toward health exercise behavior change for teams using lifelog sharing
models, IEEE Journal of Biomedical and Health Informatics, Vol. 20, No. 3, pp. 775–786 (2015).
[3] Luhanga, E. T., Hippocrate, A. A. E., Suwa, H.,
Arakawa, Y. and Yasumoto, K.: Identifying and evaluating user requirements for smartphone group ﬁtness applications, IEEE Access, Vol. 6, pp. 3256–3269(2018).
[4] Park, K., Weber, I., Cha, M. and Lee, C.: Persistentsharing of ﬁtness app status on twitter, Proceedingsof the 19th ACM Conference on Computer-Supported
Cooperative Work & Social Computing, pp. 184–194(2016).

無く，運動継続という行動変容においては “いいね！” の量的側面がより重要であることが示唆された．

5. まとめと今後の課題
本研究では運動の継続という行動変容を達成するため，Twitter を活用したソーシャルナッジの可能性を検討した．
Twitter の機能のなかでも称賛を示す “いいね！” について，その量だけでなく誰から “いいね！” されるかという “いいね！” の質的な側面が重要であるという仮説を立て，その検証のため，Twitter 上で運動継続に挑戦している 56 人の 15,930 件のツイート情報を収集し，運動継続の成功および失敗との関係を分析した．その結果，運動継続に成功している人は “いいね！” を受け取っている数が多く，特にフォローされているのみの相手からの “いいね！” や，相互に “
いいね！” を送り合っている相手からの “いいね！” の数が多いことを確認し，“いいね！” の数だけでなく，誰から “いいね！” されるかが行動変容に関連しうることを確認した．
本研究で設計した特徴量はフォロー関係や “いいね！” の送© 2022 Information Processing Society of Japan47

情報処理学会 SIG-BTI シンポジウム

楽曲に対するコメントから受容性の高い推薦文を作成する手法の研究
山内大河 †1

井黒海星 †2

富山県立大学 工学部 電子・情報工学科 †1

岩本健嗣 †1

富山県立大学 大学院工学研究科 電子情報工学専攻 †2

1. はじめに2.1. 楽曲に関する情報

近年，楽曲視聴方法としてインターネットを用いた視聴神嶌は，推薦の受容性を高めるためには，推薦の理由を方法が広く利用されている．インターネットを用いた視聴示すことが有効であると述べている．例として，システム

方法には，毎月一定額を支払うことで，サービスに登録されによる推薦の中に被推薦者が既知のアイテムが含まれていている楽曲を自由にストリーミング再生できる定額制音楽

た場合，その推薦システムからの推薦がより自身の嗜好に

配信サービスと，アーティストがミュージックビデオを投沿っていると認識することで，推薦の受容性が高くなると稿し，ユーザがそのミュージックビデオを視聴するオンラ述べている．このように，被推薦者が推薦システムからのイン動画共有プラットフォームを利用したものがある．こ推薦に対して感じる信頼を推薦の透明性という．Sinha ら

れらの視聴方法は，ユーザ自身が視聴したい楽曲を検索し，[2] は，推薦システムにおける透明性の役割について研究を多くの楽曲を視聴することができる．その一方で，楽曲数行っており，一般的に被推薦者は透明性があると認識したの多さから，ユーザが未視聴の楽曲から自身の嗜好に合う

推薦システムからの推薦を信頼しやすくなると述べている．

ものを選択するのが困難となっており，既知の楽曲のみをよって，推薦した理由を明示することにより，推薦の透明性

視聴してしまう問題が生じている．

を担保することができ，受容性を向上させることが可能である．

このような楽曲に関する情報過多に対して，無数の楽曲の中からユーザの嗜好に合ったものを提示する楽曲推薦シ

2.2. 熱意

ステムが実用化されている．しかし，実際に楽曲推薦シス
テムがユーザに提示するのは，ユーザの好みに合っている

山下ら [3] は，人が何かを発表する際に，それを聴取すと判断した楽曲が羅列されたものである．そのため，推薦る側へ内容を理解させやすくする表現方法について研究をされた楽曲に被推薦者が関心を持たないことがあり，実際行っている．山下らによると，熱意を持った発言は聴取するに楽曲を視聴しない場合や，途中で視聴をやめてしまう場

側に発言内容への興味を持たせやすくなり，進んでその発合がある．そこで本研究では，被推薦者が楽曲により高い言を聞こうとする傾向がある．その一方で，熱意のある発関心を持つような推薦方法について検討する．

言には，発言者が視聴者にわかってもらいたいという気持
ちが強くなることで，聴取する側が理解しづらい程に詳細な内容を話してしまうことが示唆されている．加えて，「か2. 推薦の受容性わいい」や「好き」などの，発言者の主観的な発言が多く

神嶌 [1] によると，被推薦者が推薦されるものに関する情なる結果が示されている．ゆえに，楽曲を視聴済みのユー報を提示されたときに，そのものを選択しようと考える，推ザによる感想などの主観的な表現を熱意として推薦に付加

薦の受容性が存在すると述べている．本章では，楽曲推薦

し，推薦の受容性を向上させることが可能であると考えらにおける推薦の受容性を向上させる手法について述べる．

れる．

3. 研究目的
前章で述べたような，被推薦者に対して楽曲の情報や熱A Method for Creating Highly Adoptable Recommendations
from Comments of Music Video
†1
†2
†1

意を提示する方法として，推薦文を用いた楽曲推薦の手法が考えられる．本研究では，楽曲に関する情報と熱意の 2

TAIGA YAMAUCHI, Toyama Prefectural University Department of Electrical and Computer Engineering
KAISEI IGURO, Toyama Prefectural University Electricaland Computer Engineering
TAKESHI IWAMOTO, Toyama Prefectural University Department of Electrical and Computer Engineering© 2022 Information Processing Society of Japan

つの要素を推薦文作成に用いるため，オンライン動画共有
プラットフォームに投稿された楽曲動画のコメントに着目する．
オンライン動画共有プラットフォームのコメントには48情報処理学会 SIG-BTI シンポジウム

表1

この名曲にして名唱にして、なによりそのミュージック
ヴィデオが名作すぎる名曲を、たとえ注意書きがあった

Table 1

としても自宅でじっくり視聴できることに本当すぎるほ

コメントに含まれる情報

Information contained in comments

情報の種類

詳細・例

ど感謝したい。YouTube のご理解にマジ心からサンクス

人名

歌手や作曲者，作詞者などすぎるほどサンクス！

歌詞

楽曲における歌詞やフレーズを含むコメント

タイムスタンプ

図1

再生時間が指定されたコメント

難読なコメントの例

Figure 1 Examples of diﬃcult to read comments

4.2. 楽曲に関する情報の抽出

引用:YOASOBI「夜に駆ける」 Oﬃcial Music Video

YouTube の楽曲動画に対するコメントから推薦で提示する楽曲の情報を取得するにあたり，本研究で扱う情報を表 1

ユーザが動画にコメントを投稿することが可能なほか，他のように定義し，それぞれに該当する箇所をコメントからユーザが投稿したコメントを自由に閲覧できる機能が存在取り出す．そのために，その楽曲固有の情報であるアーティ

する．楽曲動画へ投稿されたコメントの中には，楽曲を視ストや歌詞を示している箇所を文中から識別する必要があ聴したユーザの感想やアーティストの特徴といった，楽曲

る．そこで，まずは推薦の対象となる楽曲に固有の情報やに関連する情報，歌詞やミュージックビデオをもとに楽曲表現を楽曲推薦における固有表現として定義し，該当するの内容を考察したものといった，ユーザの知識や意見が含部分の抽出を行った．楽曲動画に対するコメントから固有まれているものが見られる．そこで本研究では，楽曲動画表現の抽出（以下，固有表現抽出）を行う際には，日本語自に対するコメントのうち，楽曲に関する知識や意見，感想が然言語処理ライブラリである GiNZA[5] を用いた．本研究含まれたものを推薦文作成に利用する．

では，GiNZA の機能である固有表現抽出することで得られ

しかし，図 1 に示すようにコメントの中には冗長なものた単語と，形態素解析により判断した固有名詞を楽曲に関や，投稿者の過度な主観的表現により被推薦者の共感が得する情報とした．

られず，推薦に適さない難読なコメントが存在する．そこ

歌詞の抽出は，コメント内で楽曲の歌詞やフレーズが引で本稿では，動画共有プラットフォームのコメントから，難用される際に多用されていた，鍵括弧による強調に着目し読さを取り除きつつ楽曲の情報や熱意を含んだ推薦文を作た．具体的には，鍵括弧とその間に存在する文章を歌詞を成するシステムの設計，ならびに既存の文章要約システム示している部分として抽出した．

との比較を行い，本システムの評価を行う．

また，タイムスタンプの抽出は，人名と同様に GiNZA の固有表現抽出を行った後，時間を示す表現として判断され

4. 提案システムの設計と実装た箇所をタイムスタンプとして抽出した．

本章では，前章で述べた推薦文作成システムについて，動4.3. 主観的表現の抽出

画共有プラットフォーム上のコメントから楽曲固有の情報を抽出する機能，投稿者の主観的表現を抽出する機能の設

中川ら [6] は，Web の文書から主観的表現を抽出してい計と実装について述べる．また，難読なコメントの簡潔化

る．本研究ではこれを参考に，主観的表現の抽出に小林らを行う機能について述べる．

[7] が作成した日本語評価極性辞書（用言編）と東山ら [8]が作成した日本語評価極性辞書（名詞編）の 2 つを用いた．

4.1. コメントの取得

日本語評価極性辞書（用言編）にてポジティブ（評価）とネ

推薦文作成に用いるコメントを取得するオンライン動画

ガティブ（評価）に分類されているもの，日本語評価極性辞

共有プラットフォームとして，本研究では YouTube を用書（名詞編）では辞書中で「主観」と記載されている単語をいた．YouTube に投稿されているコメントを取得する際に識別し，該当したものを主観的表現とした．取得したコメは，YouTube Data API v3[4] を用いた．

ントの中から主観的表現を抽出する部分は，まず取得した

本システムでは，コメントがほかの視聴者からの同意や好コメントの文章全体に対して形態素解析を行い，文を単語感を得ている指標として高評価数を採用することとし，高ごとに分割した上で先に述べた主観的表現の判定を行うと評価順に並べ替えてコメントを取得した．また，推薦するいった処理の流れとなる．その際には，得られた単語が語

楽曲動画は日本語のコメントを対象とし，コメント内に日尾や活用によって辞書中の単語と完全に一致しない場合に本語が含まれていないコメントは除外した．

ついて考慮する必要がある．ここでは，得られた単語と辞
書中の単語とのコサイン類似度を用いて，同じ単語かどうかの判定を行なった．具体的には，辞書中の単語とコメン© 2022 Information Processing Society of Japan49

情報処理学会 SIG-BTI シンポジウムの 3 つを用いて比較を行なった．

トに含まれる単語のコサイン類似度が 0.85 以上であった場
合，得られた単語を主観的表現を含む語として扱った．

5.1. 実験条件
4.4. コメントの平易化

以下の 3 種類の文章を被験者 20 名に提示し，それぞれ内容の伝わりやすさや情報が残っているか，熱意が残ってい本研究では，文の係り受け構造に着目し，元の係り受け関

るかについてのアンケートを行う．

係を基に文を再構成することで，文の簡潔化を行なった．図2 に係受け構造の分析を用いた文章を示す．情報を含む文節

1. オンライン動画共有プラットフォームに投稿された未と主観的表現を含む文節を基準に文節の係り受け解析を行

加工のコメントい，それらと係り受け関係にある文節で 2 つの文をつなぎ

2. 提案システムを用いてコメントを平易化した文章
3. 文章要約 AI を用いてコメントを要約した文章

合わせることによって文章を作成した．図 2 の例では，情報を含む文節が「A さんの」，主観的表現を含む文節が「誇らしい」である．「A さんの」の文節に係る文節は「意志を本実験で対象とした楽曲動画及びそのアーティスト，投稿

貫き通す」，「誇らしい」の文節に係る文節は「姿勢」となっ日時を以下の表 2 に示す．これらの楽曲動画を対象としたており，これらをつなぎ合わせることで，「A さんの意志を理由は，投稿された日時が比較的新しく，多くのユーザがコ貫き通す姿勢は誇らしい」となる．また，係り受け関係にある文節は数種類存在することもあり，文章も数種類出力さメントを投稿しているためである．さらに，表 3 のような
4 つの質問項目を作成し，アンケートを実施することで相対れることがある．その際には出力された文章の中から 1 つ的な評価を行った．また，本実験では，どの文章が優れていの文章を選択した．本稿ではこの文章を平易化処理を行っるかを判断するため，それぞれのアンケート項目で一番評た文章と定義する．

価が高いものを 3 点，次に評価の高いものを 2 点，一番評
価が低いものを 1 点としてスコアを算出し，各質問のスコアの合計をもとに比較を行った．
表2

本実験で対象とした楽曲動画

Table 2

図2

Targeted music videos

楽曲動画の名称

アーティスト

投稿日時

死神

米津玄師

2021/06/24

仏だけ徒歩

東京事変

2021/11/23

月に吠える

ヨルシカ

2021/10/06

文節の係り受けを用いた文章簡略化

表3

Figure 2 simpliﬁcation used modiﬁcation of clauses

アンケートの質問項目

Table 3 Survey Questions
質問内容
読みやすいと感じた順にチェックしてください
曲についてわかることが多い（どんな曲か想像できたかなど）と感じた順にチェックしてください

5. 評価実験

コメントした人の気持ちが強く感じられた順にチェ
ックしてください

評価実験として，取得したコメントから難読さが軽減さ曲を聴きたい、気になると思った順にチェックしてれているか，また推薦の受容性の高い推薦文を作成できてください

評価したい内容
難読さ
情報の量
熱意の量
推薦の受容性いるかを評価するため，それぞれについてアンケートを用いた検証を行なった．

5.2. 実験結果

実験 1 では，YouTube に投稿されたコメントの原文と，提案システムを用いて平易化したコメントにて比較を行い，実験 1. 難読さの平易化についての評価

推薦文作成に用いたコメントを平易化できたかを評価する．

アンケート結果より，元のコメントと提案システムの比較実験 2 では，当初の目的である推薦の受容性が高い推薦を行い，提案システムが元のコメントの難読さを平易化で文を作成できているかを評価するため，YouTube に投稿さきたかを分析する．図 3 に文章の読みやすさに関するアンれたコメントの原文，提案システムを用いて平易化したコ

ケート結果を示す．これらの全てのコメントに対して，対メント，更に既存の文章要約 AI により要約されたコメント

応のない等分散を仮定した 2 標本による t 検定を行ったと© 2022 Information Processing Society of Japan50

情報処理学会 SIG-BTI シンポジウム

ころ，元のコメントと提案システムで作成した文章の間にないことにより，平易化後の文章からは削除されてしまっは有意差が認められ，提案システムで作成した文章の方がている．したがって，これらのコメントから投稿者独自の有意に読みやすい文章であることがわかった．

表現を主観的として評価する手法が必要である．
最後に，受容性に関する考察として，情報のスコアと受容性のスコアの間で相関係数が 0.61 で正の相関があり，熱意と受容性のスコアの間で相関係数が 0.54 で正の相関が見られた．これより，受容性が高いと感じられた文章はそれぞれ情報と熱意も高い傾向にあることが考えられる．従って，文中に情報と熱意を持たせることで受容性を高めることが可能であることが示唆された．

6. おわりに
図3

読みやすさについてのアンケート結果

本研究では，オンライン動画共有プラットフォームに投稿されたコメントを平易化しつつ，コメント中の楽曲に対Figure 3 Results of the Readability Questionnaire

する情報や熱意を用いて推薦文を作成する手法を検討した．
評価実験の結果からは，提案システムが平易化した文章が実験 2. 推薦の受容性についての評価
提案システムで作成した文章，文章要約 AI で作成した文

元のコメントよりも読みやすいという結果が得られた一方章について情報の量・熱意・受容性に関するスコアを検証しで，情報の量や熱意については，既存の文章要約 AI の方がた．読みやすさと同様に，それぞれに t 検定による有意性の提案システムより優れた文章を作成した．今後は，主観的検定を行なったところ，情報の量に関しては有意差はなく，な語を判別する新たな手法の検討や，作成した文章を推薦

一方で熱意と受容性には有意に差が見られ，文章要約 AI を文として整形し，提示する手法についても検討する．

用いた場合の方が優れているという結果が得られた．

参考文献

5.3. 考察[1] 神嶌敏弘: 推薦システムのアルゴリズム (3)，人工知能，
Vol. 23, No. 2, pp. 248–263 (2008).
[2] Sinha, R. and Swearingen, K.: The role of transparency in recommender systems, CHI’02 extended
abstracts on Human factors in computing systems, pp.
830–831 (2002).
[3] 山下祐一郎，中島平: プレゼンテーションスキルと分かりやすさの関係分析: レスポンスアナライザによる評価とアンケート分析の比較，日本教育工学会論文誌，Vol. 34,
No. Suppl., pp. 5–8 (2010).
[4] Google Developers: YouTube Data API v3. https://developers.google.com/youtube/v3.
[5] Megagon Labs: GiNZA: 日本語自然言語処理オープン
ソースライブラリ.
[6] 中川哲治， 宮森恒， 赤峯享，乾健太郎，黒橋禎夫:Web

実験の結果から，情報の量については提案システムと文章要約 AI の間に優位差は認められなかった．ここで，提案システムが作成した文章のうち，情報の量に関するスコアが高かったものに着目する．提案システムでは，歌詞を抽出するために元のコメントの鍵括弧とその間の文章を出力するよう実装した．結果，提案システムが平易化した文章にのみ鍵括弧が存在する場合は提案システムのスコアの方が高くなっていた．これより，鍵括弧で強調された文章か
ら楽曲に関する情報が抽出できた可能性が示唆された．
また，熱意については，文章要約 AI により要約された文章の方が優れた結果を残していた．理由として，提案シス
テムが主観的と判断できない単語が多く，平易化後の文章に主観的な単語が残らなかったことが挙げられる．例として提案システムで作成した文を 1 に，文章要約 AI で作成した文章を 2 に示す．

上の客観的記述からの評価情報抽出に関する技術的検討，言語処理学会第 14 回年次大会発表論文集 (2008).
[7] 小林のぞみ，乾健太郎，松本裕治，立石健二，福島俊
一: 意見抽出のための評価表現の収集，自然言語処理，Vol. 12, No. 3, pp. 203–222 (2005).
[8] 東山昌彦: 述語の選択選好性に着目した名詞評価極性の獲得，言語処理学会第 14 回年次大会, 2008 (2008).

1. Lemon からの Flamingo、PaleBlue からの死神といい、混乱させるの好き

2. 大衆に受けるような名曲を出したあとに、新規を混乱させる米津ワールド全開の曲出すの好き
このように，「米津ワールド全開」のような，コメント投稿者独自の表現を日本語評価極性辞書では主観的と判別でき© 2022 Information Processing Society of Japan51

情報処理学会 SIG-BTI シンポジウム

新型コロナウイルス感染防止に向けた
混雑回避行動を促進する行動変容促進技術の検証
井手 崇博†1 大滝 亨†1 山田 曉†1 佐藤 弘之†1 落合 桂一†1 川上 博†1
矢野 達也†1 大川 博生†1 和久井 圭祐†1 白井 拓也†1 荒川 豊†2株式会社 NTT ドコモ†1 九州大学†2
1. はじめに2022 年 3 月 9 日現在，新型コロナウイルスの感染者数は
4 億 4 千万人[1]であり，公衆衛生や経済面において世界的に深刻な影響を及ぼしている．感染拡大を防ぐ方法としては，日本では三密回避[2]が推奨されており，世界的にもWHO は，人混みや混雑を避けることを推奨している[3]．一方で，人々の移動が制限されることにより経済活動も低迷しており，感染拡大防止と経済活動を両立させる工夫が必要だと考えられる．このトレードオフの関係に対処する方

図 1：研究の全体像法としては，混雑していない時間帯に来店を促すことや（以下，タイムシフト），飲食店であればイートインではなく持金銭的インセンティブとして d ポイントを提供する．実証

ち帰りを推奨すること（テイクアウト）等が挙げられる．

モニターは本実証実験に参加した九州大学の学生で，実証

しかしながら，単に混雑回避を目的としたこれらの行動

モニター数は 1,634 名となっている．対象店舗は九州大学伊

変容を呼びかけたり，これらの行動変容を行った場合の金

都キャンパス内にある複数の飲食店で，実施したキャンペ

銭的インセンティブを提供するだけでは，十分な行動変容ーンは(1)ランチタイム前（11:00～12:00）または後（13:00～

は促進されないと考えられる．そこで従来研究では金銭的

14:00）にレストランに行くよう促す「タイムシフト」，(2)ラ

インセンティブに，人の心理に働きかける行動経済学の手

ンチタイム（12:00～13:00）にレストランでイートインでは法であるナッジ[4]や，ゲームデザイン要素やゲームの原則

なく持ち帰りを推奨する「テイクアウト」の 2 種類である．

をゲーム以外の物事に応用するゲーミフィケーション[5]をキャンペーン参加の報酬として提供する d ポイントは一律

組み合わせることにより，ヘルスケア等の分野でより効果

で 70p とした．また，キャンペーンの情報配信は実証用アプ

的な行動変容促進を実現している．しかしながら，ナッジ及リの通知で行っており，キャンペーン参加の定義は，「実証

びゲーミフィケーションの設計は解決したい課題により大用アプリのホーム画面に表示されているキャンペーンの下

きく異なり，かつ混雑回避の課題解決を目的としたナッジ部にある「参加する」というボタン（図 1）を押下した後に，及びゲーミフィケーションの従来研究は確認されていない

キャンペーンで指定されている時間帯に対象店舗に配置しため，ナッジ及びゲーミフィケーションが混雑回避にどのてある QR コードを実証用アプリでスキャンし，イートイ

程度効果があるかは未知数である．

ンまたはテイクアウトを行うこと」としている．

そこで本論文では，混雑回避においてもナッジやゲーミ
フィケーションに一定の効果が認められることを期待し，

3. 行動変容促進技術

飲食店におけるタイムシフトとテイクアウトを促進する実

飲食店におけるタイムシフトとテイクアウトを促進する

証実験にて，情報配信と金銭的インセンティブの提供を前

本実証実験では，情報配信と金銭的インセンティブの提供

提として，タイムシフトとテイクアウトをより促進するナを前提として，タイムシフトとテイクアウトをより促進すッジとゲーミフィケーションの具体案と実証実験におけるる 2 つの行動変容促進技術（ナッジ，ゲーミフィケーショ

検証結果を提示する．

ン）の検証を行った．各行動変容促進技術の詳細について続く節で説明する．

2. 実証実験概要
3.1 ナッジ

NTT ドコモは，会員数が約 8000 万人（2021 年 1 月末現

ナッジは文章の表記などを人の心理に働きかけるよう工在）である「d ポイント」を展開しており，本実証実験では，ⓒ2022 Information Processing Society of Japan52

情報処理学会 SIG-BTI シンポジウム

表 1：コントロールとナッジの文章
文章の種類

表 2：代表的なゲーミフィケーション要素
ゲーミフィケーション要素

実際に配信した文章

ポイント

意味
一般的にゲーム化されたコントロール『｛店舗 A｝に行ってみよう！』

デフォルトナッジ『今日は {店舗 A} か {店舗 B}

環境の中で指定された行を選ぶとお得 💪』動を達成した場合に報わ損失回避ナッジ

れ，プレイヤーの進歩を『【期間限定】ポイントを｛店舗数値で表すA｝でゲットしよう ✨』バッジ

成果を視覚的に表現する

リーダーボード

一定の成功基準に照らし合わせて，相対的な成功度に応じてプレイヤーをランク付けする

パフォーマンスグラフ

プレイヤーのパフォーマ
ンスを直前のパフォーマンスと比較した情報を提供する

チームメイト

他の現実のプレイヤー，
またはノンプレイヤーキ

図 2：ゲーミフィケーションを適用した実証用アプリ

ャラクター（NPC）とチームを組むことで，対夫する手法を意味しており[6]，本実証実験においては，単立，競争，協力を促進すに混雑回避を促す文章を配信するのではなく，より効果的

るに混雑回避行動を促進することを目的として，表 1 のように心理に働きかける表現（デフォルトナッジ[7]，損失回避
ナッジ[7]）を用いた．

4. 検証結果

またデフォルトナッジは，「混雑回避行動を前提（デフォ

4.1 ナッジルト）として」対象店舗の選択を促す表現を用いることで，

図 4,5 にコントロールの文章を配信した「コントロール

混雑回避行動を行う心理的なハードルを下げることを目的

群」と，デフォルトナッジ（損失回避ナッジ）の文章を配信としており，損失回避ナッジは「混雑回避行動をしないことした「デフォルトナッジ（損失回避ナッジ）群」の行動変容による損を強調する」（【期間限定】といった表現を用いる）

受容率のグラフを示す．図 4,5 と表 4 から，コントロール群

ことにより，損をしたくない心理に働きかけ，混雑回避行動の行動変容受容率の平均値を 100%とした場合，コントローを促進することを目的としている．

ルコントロール群の行動変容受容率の平均値と比べて，デフォルトナッジ群の行動変容受容率の平均値が 20%向上，

3.2 ゲーミフィケーション

損失回避ナッジ群の行動変容受容率の平均値が 33%向上しゲーミフィケーションは，ゲームデザイン要素やゲームていることが確認できる．

の原則をゲーム以外の物事に応用することを意味しており[8]，代表的なゲーミフィケーション要素[8]を表 2 に示す．

表 3：ナッジの検証結果

本実証実験においては図 2 のように，(1)実証モニターをランダムに 5,10,15 人の群に分ける（チームメイト），(2)チー

行動変容受容行動変容受容ム内の混雑回避行動の総数に応じて勲章を提示する（バッ

率の平均値

率の平均値

ジ）
，(3)自分の過去の混雑回避行動回数を視覚的に確認でき(2021/10)(2021/11)

100%

100%

るようにする（パフォーマンスグラフ），(4)自分の過去の混コント

雑回避行動回数を数値に確認できるようにする（ポイント），

ロール(5)他のチームの混雑回避行動回数をランキング形式で確認

デフォルト

できるようにする（リーダーボード），等でゲーミフィケー

ナッジ

ション要素を実証用アプリに適用した．

損失回避

120%

0.048
133%

ナッジ
※検定の種類：Welch の t 検定（片側）ⓒ2022 Information Processing Society of Japan
53

p 値※

0.0085

情報処理学会 SIG-BTI シンポジウム

表 4：ゲーミフィケーションの結果
行動変容受容行動変容受容

率の相対値

率の相対値

(2021/12)(2022 年 1 月)

コントロール

100%

100%

ゲーミフィ

130%

ケーション

p 値※

0.034
141%

0.00050※検定の種類：Welch の t 検定（片側）

図 3：デフォルトナッジの行動変容受容率（AB テスト）

図 5：ゲーミフィケーションの行動変容受容率（AB テスト，2021 年 12 月）

図 4：損失回避ナッジの行動変容受容率（AB テスト）

4.2 ゲーミフィケーション
図 6,7 にゲーミフィケーションを実施していない「コン図 6：ゲーミフィケーションの行動変容受容率

トロール群」と，ゲーミフィケーションを実施した「ゲーミ（AB テスト，2022 年 1 月）

フィケーション群」の行動変容受容率のグラフを示す．
図 6,7と表 5 から，コントロール群の行動変容受容率の平均値を率が下降している現象は，2022 年 1 月から全国的にまん延100%とした場合，2021 年の 12/6～12/24 におけるゲーミフ防止等重点措置（以下，まん防）が実施され始め，登校するィケーション群の行動変容受容率の平均値が，コントロー

学生数が減少したことが原因だと考えられる．

ル群の行動変容受容率の平均値と比べ 30%向上，そして2022 年の 1/11～1/31 においては，41%向上していることが5. おわりに確認できる．また 12 月末付近でコントロール群とゲーミフ

本論文では，新型コロナウイルスの感染拡大の防止と経ィケーション群の行動変容受容率が下降している現象は，済活動を両立させることを目的として混雑回避を促進する

年末が近づいたことにより登校する学生数が大幅に減少し手法として，ナッジ及びゲーミフィケーションを適用し，そたことが原因だと考えられ，2022 年の 1/11～1/31 においての効果を検証した．具体的な検証としては，実証期間が 2020

コントロール群とゲーミフィケーション群の行動変容受容

年 11 月～2022 年 3 月，実証モニター数が 1,634 名の，九州ⓒ2022 Information Processing Society of Japan54

情報処理学会 SIG-BTI シンポジウム

大学伊都キャンパス内の飲食店を対象とした混雑回避を促進する実証実験にて，2021 年 10 月から 2022 年 1 月にかけて，ナッジ及びゲーミフィケーションを実証用アプリに導入し，混雑回避行動の促進を試みた．検証の結果，対照群と比較してナッジは行動変容受容率を 20%（デフォルトナッジ），33%（損失回避ナッジ）向上，ゲーミフィケーション
は行動変容受容率を 30%（2021 年 12 月），41%（2022 年 1月）向上させることが確認できた．またこの結果は，混雑回避においてナッジ及びゲーミフィケーションに一定の効果が認められることを示している．

参考文献[1]https://covid19.who.int/[2]https://www.kantei.go.jp/jp/content/000061868.pdf[3]https://www.who.int/emergencies/diseases/novel-coronavirus2019/advice-for-public[4]依田高典, 石原卓典, “金銭的インセンティブとナッジが健康増進に及ぼす効果：フィールド実験によるエビデンス”, 行動経済学 第 11 巻 (2018) 132‒142[5]藤田美幸, “ヘルスケアサービスとゲーミフィケーショ
ンの親和性 ―ユーザー特性に着目して―”, 現代社会
文化研究 No.62, 2016 年 3 月[6]Richard H. Thaler & Cass R. Sunstein, “Nudge: Improving
Decisions About Health, Wealth, and Happiness” (2008)[7]Cass R. Sunstein, “The Ethics of Influence: Government in
the Age of Behavioral Science” (2016)[8]Michael Sailer, Jan Ulrich Hense, Sarah Katharina Mayr,
Heinz Mandl, “How gamification motivates: An experimental
study of the effects of specific game design elements on
psychological need satisfaction”, Computers in Human
Behavior, Volume 69, 2017, Pages 371-380,ⓒ2022 Information Processing Society of Japan55

情報処理学会 SIG-BTI シンポジウム

スマートウォッチを用いたマスク装着の促進手法
小野翔多 †1
東京大学生産技術研究所 †1

西山勇毅 †1
東京大学生産技術研究所 †1

瀬崎 薫 †2
東京大学空間情報科学研究センター †2

Proactive Detect

1. はじめにReactive Detect
行動要求

新型コロナウイルス感染症が世界的に蔓延しており，感染拡大を予防するために，マスクの装着などの飛沫感染のリスクを下げる行動が求められている [1]．感染リスクを低下させるためには、常時マスクを装着することが望ましい
モーションセンサ

が，無意識のうちにマスク非装着のまま行動してしまうこ

マイクモーションセンサ

マイクとがしばしば発生する．マスク装着を効果的に促すために
図1

は，個々人のマスク装着状態を自動検知し，その状態に応じマスク装着状態検知手法

Figure 1 A Method for detecting mask wearing statusてユーザに行動変容を促すことが求められる．しかし，これまでのところ，マスク装着状態を市販の端末のみを用いて常時検出する手法はまだ提案されていない．

みしかマスク装着状態を検知できないという欠点がある．

本稿では，スマートウォッチに搭載されている複数のセンサを用いてマスク装着状態を自動検知し，マスク非装着

3. マスク装着状態の検知と介入手法のユーザに通知することで，マスク装着の行動を促進させる手法を提案する．

本稿では，スマートウォッチに搭載されているマイクを用いた従来手法 [3, 4] に加え，モーションセンサを用いることで，マスク装着状態を常時記録し，計測データを元にマス

2. 関連研究

ク装着を促す手法を提案する．

スマートフォンやスマートウォッチは，ユーザが一般的に提案手法は日常生活中の行動からマスク装着状態を検知購入できるデバイスであり，近年急激に普及している．それする Proactive Detect とスマートウォッチの要求によっらのデバイスには，位置情報やモーションセンサ，マイク，てマスク装着状態の検知を行う Reactive Detect の 2 種類

心拍計など，心身の状態をセンシングするためのセンサがから構成される（図 1）．Proactive Detect では，マスク着多数搭載されている．これらのデバイスとセンサは，感染脱時や位置調整時にモーションセンサを用い，会話が発生症予防やパンデミックによる悪影響の予防にも活用されてした場合にマイクを用いてマスクの装着状態を検知する．

る．例えば，Samyoun らの研究 [2] では，スマートウォッ

Reactive Detect では，スマートウォッチが要求した行動を

チに搭載されたモーションセンサを用いることで，手洗い利用者が実行することでマスク装着状態を検知する．なお，

時間の計測とその質の判定を実現している．

Reactive Detect は，長時間 Proactive Detect によるマスク装着状態の検知がなかった場合や，Proactive Detect に小松らの研究ではパンデミックよる会話時間の変化を分析するために，スマートウォッチの内蔵マイクと機械学習よるマスク装着状態の検知が曖昧である場合に実行される．

を用いて会話時間を計測する手法を提案している [3]．同様

これにより，日常生活中でマスク装着状態を常時記録し，に著者らも，スマートウォッチの内蔵マイクを用いてマス

ユーザがマスク非装着時にマスク装着を促す通知を行う．

クの装着状態を検知する手法をこれまで開発してきた [4]．
これにより，マスク装着・非装着時の音声データと機械学習

4. おわりにを用いることで，マスク装着状態を検知できる可能性が示唆された．しかし提案手法では，音声を発信している時の本稿では，市販スマートウォッチに搭載された複数セン
サを用いることで，マスクの装着状態を常時記録し，さらにマスク装着を促す手法を提案した．

A Method for Encouraging Mask Usage by Smartwatch
†1
†1
†2

今後は，取得したマスク装着状態のデータを分析し，個SHOTA ONO, IIS, The University of TokyoYUUKI NISHIYAMA, IIS, The University of Tokyo
KAORU SEZAKI, CSIS, The University of Tokyo© 2022 Information Processing Society of Japan

人に最適化した行動変容手法について検討する．そのため

56

情報処理学会 SIG-BTI シンポジウムに，本手法の機能を搭載したアプリケーションを実装し，ス
マートウォッチによるマスク装着を促す通知が，ユーザの行動変容に与える効果の検証を行う予定である．

参考文献[1] (WHO), W. H. O.: COVID19 — When and how to usemasks, https://www.who.int/emergencies/diseases/
novel-coronavirus-2019/advice-for-public/
when-and-how-to-use-masks. Accessed on 2022/03/10.
[2] Samyoun, S., Shubha, S. S., Sayeed Mondol, M. A.
and Stankovic, J. A.: iWash: A smartwatch handwashing quality assessment and reminder system withreal-time feedback in the context of infectious disease, Smart Health, Vol. 19, p. 100171 (online),
https://doi.org/10.1016/j.smhl.2020.100171 (2021).
[3] 小松勇輝，下条和暉，西山勇毅，瀬崎薫：腕時計型ウェアラブ
ルデバイスを用いた会話時間計測手法の構築に向けて，情報処
理学会第 84 回全国大会（愛媛大学），情報処理学会 (2022).
[4] 小野翔多，西山勇毅，瀬崎薫：ウェアラブルデバイスのマイクを用いたマスク装着状態の検知に向けて，情報処理学会第 73
回 UBI 研究発表会，online (2022).

© 2022 Information Processing Society of Japan57

情報処理学会 SIG-BTI シンポジウム

パフォーマンス工学の IoT 行動変容学研究グループへの活用
是村由佳†1
コレムラ技研†1
る．この BEM を，IoT 炊飯器がユーザにお知らせをする機

1. はじめに能を使うパフォーマンスを例に説明する．

IoT 行動変容学研究グループ設立趣旨の中に，パフォーマ
ンス工学という視点がある．そこで引用されている Gilbert
博士のパフォーマンス工学の体系を紹介する．また，本研究グループのパフォーマンスマトリクス を作成し，活用例を紹介する．

2. 価値あるパフォーマンスを工学する

図 1 行動エンジニアリングモデル（行動分析学事典
p 716 図 2−１）

Gilbert 博 士 は Human Competence: Engineering worthylperformance[1]で，パフォーマンスを最適化するエンジニア

D

E の S 「1．データ」では，お知らせ「刺激」がユーザ

リングシステムを造語で teleonomics と名付けた．
teleonomicsに全て伝わっているのかを確認する項目である．スマにおいて価値あるパフォーマンスを継続するために，余暇

ートフォンの操作アプリからお知らせする際に，消音理論（Leisurely Theorem）を構築した．余暇理論は，以下のやアプリ自体のバージョンが古くなっているとこの項

４つの定理からなる．

目が不全である．
l

2.1 第 1 の定理

E の R「2．道具」では，ユーザがお知らせを受けて，第 1 の定理では，価値あるパフォーマンス(W)は，有益なアプリが適切に操作できる状態であること．もう一つ達成(A)の無駄な行動(B)に対する比率であるとした．

は，炊飯器が，アプリの適切な操作により適切に作動

W=A/ B

すること，を確認する項目である．いずれかが正確に

2.2 第 2 の定理

作動しなければこの項目が不全である．
l

第 2 の定理では，パフォーマンスを改善する伸び代

E の Sr「3．インセンティブ」では，このお知らせ機能(Potential for improving performance: PIP)は，典型的なパフォを使うことがユーザにとって何らかの成果を示すもの

ーマンス(Wt)のベンチマークパフォーマンス(Wex)に対するであることを確認する項目である．遠方にいながら炊比率であるとした．

飯器の操作ができ，帰宅と同時に炊きたてのご飯が出来上がるというのは，多忙でスケジュールが変更しが

PIP = Wex / Wt
2.3 第 3 の定理

ちな人々が自炊をするインセンティブの一つとしてあ

第 3 の定理では，価値あるパフォーマンスの管理システム

げられるであろう．
lに関する理論である．価値あるパフォーマンスが達成でき

P の SD「4．知識」では，ユーザ自身がお知らせを正しない原因は，行動レパートリーと，行動レパートリーをサポく受信できる能力があることを確認する項目である．

ートする環境にあるとした．原因分析をするツールとして，

例えば「ぴー」というお知らせ音は炊飯器の動作の不行動エンジニアモデル（図 1）[2]がある．

良を意味し，「ピッピッ」というお知らせ音は炊飯器が行動エンジニアリングモデルは，オペラント行動の刺激と正常に動作して次の段階に移ることを教えるのだとい

行動の関係性を，行動の主体とその環境に分けて行動が生うことがわかっているかを確認する項目である．
lD

じるための条件を分析するためのマトリクスである．S は，PのR「5．
反応するために必要な身体的キャパシティ」「弁別刺激」の記号で，行動のきっかけとなる手がかりの刺では，ユーザが IoT 操作に必要な機器へのアクセシビ

激である．R は「反応」の記号で，行動そのものである．Sr

リティについて確認する項目である．例えば操作アプ

は「強化子」の記号で，「反応」が続く際にフィードバック

リがインストールされているスマートフォンを自宅にされる，報酬として機能している刺激である．これらを環境おき忘れて外出したら，外出先では操作できない．まサポート（以下，E とする）とパフォーマンスする人の行動

た，アプリのボタン操作において，ボタンサイズがボレパートリー（以下，P とする）に分け，それぞれに分析す

タンの上をタップできないと操作ができない，などがHow to Prepare Your National Convention of IPSJ Reports in MS-Word†1 MASATO TERADA, Hitachi Ltd.

†2 TOSHIAKI NISHIDA, Kyoto University†3 SHUNSUKE UEMURA, Nara Institute of Science and Technologyⓒ2022 Information Processing Society of Japan58

情報処理学会 SIG-BTI シンポジウムlあげられる．

定は，PDCA の DC の部分であり，実際はどうなのかを測定

P の Sr「6．内的動機」では，ユーザがお知らせ機能をし，モデルとのギャップを測定する．ポリシー，戦略，戦術

次もまた使いたくなるような，有益な点があるのかをレベルでは，第 2 余暇理論の PIP の算出をする．また，戦術確認する．炊きたてのご飯を食べることをこよなく愛

レベルにおいては，第 3 余暇理論で示されたツールであるする人にとっては，多忙でスケジュールが変更しがち行動エンジニアモデルを使って分析する．改良の方法では，であっても帰宅と同時に炊き立てのご飯を食べること

ギャップの測定により明らかになったギャップを埋める方

は IoT 操作の内的動機の一つとしてあげられる．

策をとる．戦術レベルでは，行動分析学による行動変容プロ
グラムを実施する．

以上の行動エンジニアリングモデルに加え，PROBE モデ
ル[3] , [4]（Gilbert, 1982a, 1982b）がある．PROBE は Profile

本研究グループの Performance Matrix を例として作成したof behavior に由来し，行動をプロファイルする際に有用なツ（図 3）．内容は HP の設立趣旨[5]を参考にしている．

ールである．
2.4 第 4 の定理
第 4 の定理では，teleonomics は階層になっている 6 つの視点（Levels of vantage point）から解釈することができ，ある
視点レベルにおける達成の価値は，その１つ上のレベルから導かれる．これをマトリックス化したものを Performance
Matrix という（図 2 [2]）．
6 つの視点の哲学レベルから戦術レベルまでは，パフォー
マンスをレベルに沿って徐々に焦点を絞ってゆき，戦術レ
ベルで行動にピンポイント化する．そして後方支援レベル
では，価値あるパフォーマンスにつながる行動を生起させるためのスケジュール調整や資源の供給を管理する．
また，6 つの視点レベルのパフォーマンスは，それぞれPDCA の機能を持つサイクルである（３ステージの分析）．
達成モデルは PDCA の P の部分であり，6 つの視点のその図 2 本研究グループの Performance Matrix

時点での達成すべき価値あるモデルである．ギャップの測

3. おわりに
Performance Matrix[1]は余暇理論を統合した，どの価値あるパフォーマンスの達成でも作成することができる間口の広いツールである（例えばヒューマンサービス[ 6] ）．
Performance Matrix は作成するだけでなく価値あるパフォー
マンスの達成を計測し，達成されていない時には，行動分析学の見地から開発されたツールで行動を分析し，行動変容を効果的に行うことができる．
今回は例として本研究グループの Performance Matrix 作成
した．今後，時間の経過に伴い，各視点レベルの達成モデルの変更や行動変容などの活用を望む．

参考文献

図 3 Performance Matrix（行動分析学事典 p 716 図 2−2）
[1] Gilbert, T. F. Human Competence: Engineering worthy performance.
McGraw-Hill, 1978, 375p.

Journal, 1982, vol. 36, no. 10, p. 85-89.
[5][2] 是村由佳. 組織・企業. p. 714-717.日本行動分析学会（編）行動分析学事典. 丸善出版. 858p.

“情報処理学会

IoT 行動変容学研究グループ 設立趣旨”

http://www.sig-bti.jp/introduction.html, (参照 2022-03-10).
[6] 是村由佳. ヒューマンサービス現場に寄り添う応用行動分析と工学技術への期待. 計測と制御, 2019, vol. 58, no. 6, p. 424-427.

[3] Gilbert, T. F. A Question of Performance. Part 1: The PROBE Model.
Training and Development Journal, 1982, vol. 36, no. 9, p. 20-22.
[4] Gilbert, T. F. A Question of Performance. Part 2: Applying the PROBE
Model: Playing porker with human capital. Training and Developmentⓒ2022 Information Processing Society of Japan

59

SynCook+：角速度データを用いた炒める動作における
レシピ動画進行度自動制御システム
村島朋奈†1
青山学院大学†1

瀧川みり子†2
青山学院大学†2横窪安奈†3
青山学院大学†3

ロペズギヨーム†4
青山学院大学†4

態，菜箸を「持ち上げる」状態，菜箸をほぼ動かしていな

1. はじめにい「弱く炒めている」状態と，菜箸を大きく動かしている

自らの食生活を管理し，食への理解を深めるために料理「炒めている」状態の合計 4 つに分類して認識を行った．

の役割は重要である．近年健康的な食生活を送る事を支援

SynCook+の概要図を図 1 に示す．SynCook+は，切断工程するために，センサ情報を用いた料理行動の認識の研究がのみと同期可能なシステム SynCook に炒める動作の同期を盛んである．また，料理をする際に料理動作の理解が簡単

追加し，SynCook+と名付けた．システム構成はセンサデバ

なレシピ動画を参考にする人も多い．Pham らはナイフ及びイスを包丁と菜箸に装着し， 包丁からは加速度を菜箸からスプーンにセンサを埋め込み，食事に関する 11 の行動を

は角速度を取得し，スマートフォンと BLE 通信で接続し，認識する手法を提案し，そのうち切る，皮を剥く，芯を取

データをスマートフォンに送信する．その後，取得した加り除く，かき混ぜる，すくうの 5 つの動作で 8 割を超える

速度は切断動作，角速度は炒める動作の認識を行い，レシ精度で認識を可能にした [1]．

ピ動画を 自動で制御する．レシピ動画の制御機能としては，一方，昨今，インターネットの普及に伴い，レシピサイ

同 じ工程が繰り返し再生される Loop 機能と炒める動作

トの需要が高まり，レシピサイトの利用者が増加しているを終えて静止状態を認識した際に次の工程に進む Seek 機[2]．レシピ動画は文章のみのレシピに比べ，実際に料理し能の実装を行った．

ているイメージを掴みやすいことや，文章だけではわかりにくい食材の様々な切り方を実際に見て確認できるため料理経験が少ない人でも利用しやすいといった利点がある．
しかし，レシピ動画は編集された動画であるため，動画を見ながらの同時作業は困難である．そのため通常ユーザは
レシピ動画を一時停止する動作や動画を巻戻す動作が発生するために料理をする際の負荷が大きくなることや料理時間が長くなるという問題がある．さらに料理中にスマートフォンのような機器を触ることは衛生上のリスクがあり，あまり好ましくない．そこで加藤らは包丁に加速度センサを装着し，切断工程の認識を行い，切断工程とレシピ動画

図 1の同期を行うシステム「SynCook」を提案した [2]．システ

Figure 1

SynCook+の構成概要

Schematic of SynCook+ outline

ムの有無により，タッチ回数が減少し，レシピ動画を参照
する際の料理中の負荷を減らす事を可能にした．

3. 評価実験と結果

本研究では角速度センサを菜箸に装着し「炒める」 動作とレシピ動画の同期を行い，レシピ動画を参照しながら料

SynCook+を使用することによりタッチ回数や料理中の負理を行う際のユーザを支援するシステム 「SynCook＋」（シ

荷に差が出るのか を検証するために評価実験を行った．被ンクックプラス）を提案している．炒める動作の同期を行験者 10 人に対し SynCook+の使用の有りおよび無しでレうことで料理中のレシピ動画の操作を減らし，ユーザの負シピ動画 を見ながら，1 人分のガパオライスの作成を行っ荷を減少させているのかを検証した．

た．実験環境を図 2 に示す．また，タッチ回数についての結果を表 1 に示す．10 人中 8 人において，SynCook＋無し

2. SynCook+：レシピ動画進行度制御システムに比べて，有りの方はタッチ回数が減少した．更に SynCook

炒める動作を認識するために，炒める動作を「静止」状

水準 5%に設定し，対応ありの t 検定を行い，結果を表 1 に＋の有無によるタッチ回数の差に有意差があるのかを有意示す．結果は p 値が 3%となり，有意差が認められた．

Dietary Habits Improvement System Using Eating Sound†1 TOMONA MURASHIMA, Aoyama Gakuin University†2 MIRIKO TAKIGAWA, Aoyama Gakuin University†3 ANNA YOKOKUBO, Aoyama Gakuin University†4 GUILLAUME LOPEZ, Aoyama Gakuin University60

とにより，レシピ動画が自動で次の工程に進むおよび，同じ工程を繰り返し再生されたことである．これにより料理
中にレシピ動画を操作する回数の減少がタッチ回数の減少の結果になったと考えられる．このレシピ動画の操作回数の減少および，レシピ動画と被験者の行う工程が同じであることが，料理中の負荷を小さくした要因であると考えられる．

4. まとめと今後の展望
実験環境

本研究では角速度データを用いて料理中の炒める動作とExperimental environment

レシピ動画の同期を行い，料理中のレシピ動画の操作回数

図 2
Figure 2を減少させているのか，および料理中のユーザの負荷を小表 1 SynCook＋の有無における各被験者のタッチ回数

さくしているのかを検証した．切断工程と同期するシステ

Table 1 Number touches of the smartphone for each person, whenム「SynCook」に，炒める動作とレシピ動画が同期する機能

using or not SynCook+を追加したシステム「SynCook+」を提案し，評価実験を行った結果，タッチ回数の減少および料理中の負荷の減少した．このことにより炒める動作とレシピ動画の同期の必要であると示唆された．
今後の展望として，炒める動作の認識の精度を検証し，精度を高めることおよび，レシピ動画と同期する動作を増やすことによる，料理のレパートリーを増加させることなどを行い，改善を進めていく．

参考文献[1] C. Pham, P. Olivier, “Slice & Dice: Recognizing food preparation
activities using embedded accelerometers,” European Conference on
Ambient Intelligence pp.34-43，2009.
[2] 株式会社ドゥ・ハウス. 「レシピサイト」に関する調査結果.
https://www.dohouse.co.jp/datacolle/rs20200218/.
(accessed
on
09/30/2020).
[3] 加藤岳大，横窪安奈, ロペズギヨーム: SynCook:動画メタデータと加速度センサを用いたレシピ動画進行度自動同期システム，
WISS2020：第 28 回インタラクティブシステムとソフトウェア
に関するワークショップ (Dec. 2020).

次に料理負荷の回答項目は大きい，やや大きい，どちらともいえない，やや小さい，小さいの 5 つとし，SynCook＋の有無による料理負荷の比較を行った．SynCook＋有りの場合の料理の負荷では「小さい」と答えた人が 6 人，
「やや小さい」と答えた人が 4 人という結果になった．またSynCook＋無しの場合では「やや小さい」と答えた人が 3 人，
「どちらともいえない」と答えた人が 5 人，
「やや大きい」と答えた人が 2 人という結果になった．更に SynCook＋の有無による料理の負荷の差に有意差はあるのかを検証するために，有意水準 5%に設定し，対応ありの t 検定を行い，結果を表～に示す．結果は p 値が 1%未満となり，有意差は認められた．
またこの様な結果になった要因は SynCook+を使用するこ61

情報処理学会 SIG-BTI シンポジウム

頭痛発生予測モデル構築に向けた頭痛記録システムの検討
中嶋桃香 †1
慶應義塾大学 †1

佐々木航 †2慶應義塾大学 †2

大越匡 †3慶應義塾大学 †3

1. 背景

中澤仁 †4慶應義塾大学 †4している．ユーザから収集した「頭痛ダイアリー」と呼ばれる頭痛の記録に基づいて頭痛リスク予測の精緻化に取り組

日本神経学会によると，現在日本人の 3 人に 1 人が頭痛んでいる．

に悩んでいる．[1] 頭痛の原因は，風邪や二日酔い・脳の病
気・慢性 (反復性) 頭痛の 3 種類に分けられ，さらに慢性頭痛は，緊張型頭痛・片頭痛・群発頭痛というように細かな分

3. 問題意識類がされている．中でも片頭痛は頭の痛みだけでなく吐き3.1. 頭痛予測における問題

気や食欲不振，目眩が症状として挙げられる．また全国で約 840 万人が片頭痛持ちであり，これらの随伴症状は日常関連研究からわかっているように頭痛の要因はさまざまに支障が出るほどに症状が重い．片頭痛の原因は，気圧のである一方で，頭痛予測に関するサービスは気象病からな低下による気象病からなるもの・睡眠不足や画面の見過ぎる頭痛の予測に特化したものがほとんどである．(株)LINEといった生活要因からなるもの・換気不足といった環境要

ヘルスケアが提供する頭痛予測の他にも「頭痛ーる」 [5] と因からなるものが挙げられる．どの原因が頭痛発生を引きいうアプリが存在し，これも気象病による頭痛を予測する

起こすかは人それぞれである．

アプリである．アプリ内で気圧が低下する時間帯を表示し，気象病の起こる可能性が高くなることを示し，頭痛への対策を促している．本アプリは 2021 年 3 月時点で 480 万ダウ

2. 関連研究

ンロードを記録している．このことから頭痛予測に関して一定の需要があることがわかる．一方で気象病からなる頭2.1. 頭痛の原因に関する調査
大正製薬株式会社が 2019 年に行った 10-60 代の一般生活痛の他にも運動不足や寝不足といった自身のライフスタイ

者 29,172 名を対象にした調査 [2] によると，回答者の 4 人ルが原因で発生する頭痛も多い．しかし関連研究からもわに 1 人が月に 2-3 回以上の頻度で頭痛持ちを経験している

かるように既存の頭痛予測におけるサービスは，気圧からと答えている．また，頭痛持ち (月に 2-3 回以上の頻度で頭頭痛を予測するものが多い．そこで Applewatch やスマー

痛持ちを経験する人) の多くが頭痛の原因と考えていること

トフォンからライフスタイルに関する生体データを取得し，として，肩こりや寝不足，目の疲れといった自身の生活習慣

多様な頭痛の原因に対応する頭痛の予測ができないかと考からなるものを挙げていた．

えた．

2.2. 片頭痛リスク予報サービス

4. アプローチ

片頭痛の予測をするサービスを (株)LINE ヘルスケアがはじめに，加速度・歩数・気圧といった生活記録を AWARE「片頭痛＠ LINE ヘルスケア」のコンテンツとして配信してセンシングフレームワークが元になったアプリから，心拍数いる．これは JMDC [3] が提供する「医療ビッグデータ」とといった生体情報を Applewatch から取得する．ユーザー

一般財団法人日本気象協会が保有する気象データを用いて，には通常通りの生活をしてもらい，頭痛が発生したタイミ

片頭痛と気象条件の相関関係を統計的に解析し片頭痛の発

ングを LINEbot 上で記録してもらう．そして得られたデー症リスクを予測するサービス [4] である．本サービスではタの中から頭痛が発生した時刻の 30 分前のデータを特徴

ユーザの位置情報から片頭痛のリスクに関する情報を提供

量として抽出する．センサーから得られた生データから特徴量を抽出するプログラムは AWARE フレームワーク [6]を用いる．抽出されたデータをもとに頭痛発生の有無をラExamination of Headache Recording System to Construct a Prediction Model for Headache Occurrence
†1
†2
†3
†4

ベル付けし，モデルの学習を行う．またモデルを構築する

MOMOKA NAKAJIMA, Keio University
WATARU SASAKI, Keio University
TADASHI OKOSHI, Keio University
JIN NAKAZAWA, Keio University© 2022 Information Processing Society of Japan段階で頭痛が起きた正確な時刻がデータとして必要である．
時刻のデータを取得する際に，本研究では手軽に頭痛の記

62

情報処理学会 SIG-BTI シンポジウム

6. 実験

録をしてもらうことを目的として，日々の生活に馴染みのある LINEbot 形式を採用した．そしては LINEbot を用い

本研究では LINEbot を用いて頭痛の記録をするシステムて頭痛の記録をするシステムの実装とシステムの有効性やの有効性やユーザビリティを評価する実験を行った．

ユーザビリティについての評価に取り組んだ．

section システム構成図頭痛予測モデルを構築するシステ
ムの全体像を図 1 に示す．

6.1. 実験概要
研究室の学部生 12 名を対象に 5 日間の実験を行った．内容は，普段通り生活する中で頭痛が発生したら LINEbot 上
で記録，毎日夜にその日頭痛が起こったかどうかを振り返るものである．また実験が終了した後に，Googleform でLINEbot の使いやすさや頭痛の頻度・頭痛の記録忘れがあったかどうかの意識調査を行った．

6.2. 実験結果
図1

実験期間中に頭痛が発生したと記録された回数は 7 回でシステム構成図あった．これは同一人物が複数回記録している (頭痛が発生
した) 場合もカウントしている．また頭痛の記録はされてい本研究で実装し，実験に用いた部分は橙色で囲んである

ないが，その日の振り返りで頭痛があったと回答している部分である．ユーザーが記録した頭痛発生時刻が Google

被験者を頭痛の記録忘れとカウントすると実験期間中に頭Apps Script のプログラムによって Google スプレッドシー

痛の記録忘れは 3 件発生していた．

トに記録されるという仕組みである．また実験期間中，毎日
その日の夜に頭痛が起きたかどうかも記録してもらい，そ7. 評価のデータもスプレッドシートに記録される．

7.1. システムの評価

5. 実装

実験終了後に行った調査によると，LINEbot の使いやすLINEbot の実装と UI について図 2 に示す．

さについて 5 段階中 4.0 という評価を得た．記録忘れがあったかどうかの意識調査については，12 名中 2 名が記録を忘れたと回答していた．忘れた原因について「症状が酷かっ
た/LINEbot にリマインドされるまで忘れていた/LINEbotの使い方がわからなかった/頭痛が発生してしばらくしてから記録した/その他自由回答」と選択式の調査を行ったところ「LINEbot にリマインドされるまで忘れていた」という原因が挙げられた．

7.2. 考察
実験結果と Googleform による意識調査から LINEbot を用いて頭痛を記録するシステムの有効性を評価した．まずシステムのユーザビリティについてだが，記述式の評価を依頼したところ全ての被験者から「ワンタッチで記録が行え
図2るため便利だった」といった趣旨のフィードバックを得た．

LINEbot の実装 UI

しかし記録忘れを防げたか/頭痛の起きた正確な時間が計れボタンをたかどうかという点について調査を進めていくと「リマイ押す．20-21 時にその日の頭痛有無を振り返るリマインドがンドから頭痛の記録を思い出した / 頭痛が起きても記録をユーザー側に送信されるため，右側の アンケート ボタン

後回しにしてしまった」といった意見が挙げられた．これを押す．その後，頭痛の有無を記録するポップアップが表らのフィードバックから，データ取得実験までに頭痛の事示されるため，ボタンから頭痛の有無を記録するという仕後記録機能を実装すべきだと考えた．この機能も最小限の組みである．

操作で行えるようにすることでユーザビリティの維持・向頭痛が発生した場合には左側の頭痛の発生© 2022 Information Processing Society of Japan63

情報処理学会 SIG-BTI シンポジウム

上が期待できる．「記録を後回しにしてしまった」という個
人依存の問題についても対処することができると考えた．
また今後予測モデルを構築するためのデータ収集実験を行う際に，当初は「加速度・歩数・気圧・心拍数」のデータを用いて頭痛予測モデルを構築しようと考えていた．一方で頭痛の頻度や頭痛の原因として自身が挙げられるものについても調査を行ったところ，頭痛の原因 (複数回答可) について，63 パーセントの被験者が頭痛の原因について「スクリーンの見過ぎや睡眠不足」と挙げていた．27 パーセン
トの被験者は「わからない」とも挙げていた．
そのため，当初取得する予定であったデータに加えてス
クリーンタイムや平均睡眠時間からの差分といったデータ
も頭痛予測に含めたら，より精度の高いモデルの構築が可能になるのではないかと考えた．

8. まとめ頭痛予測/対策を目的とした既存のサービスは気象病に特化したものがほとんどであるため，生活記録や生体情報を用いて頭痛の発生するタイミングを予測するモデルを構築するという点に着目した．頭痛予測モデルを構築するために，本研究はその基盤となる LINEbot を用いて頭痛を記録するシステムの有効性やユーザビリティを評価する実験を行った．本研究の成果を踏まえて今後は実際に頭痛予測モデルを構築するためのデータ収集実験を行い，頭痛予測モデルを構築する．今後の展望としては頭痛予測モデルを構築したのちに，頭痛が発生する傾向を個人の生体データや生活記録から掴み，個人にパーソナライズした頭痛の予測を行うことを目標としたい．
謝辞 本研究は，JST，CREST，JPMJCR19A4 の支援を受けたものである．本研究は JSPS 科研費 JP21K11853 の助成を受けたものである．

参考文献[1] 日 本 神 経 学 会 片 頭 痛 ，https://www.neurology-jp.org/
public/disease/zutsu_detail.html.
(Accessed on
11/24/2021).
[2] 大正製薬株式会社天気予報より正確!?私の頭痛予想〜頭痛もち女性*の 64.1 ％が、原因は「天気の変化」と指摘!〜.
[3] Inc., J.: 健康で豊かな人生をすべての人に JMDC.
[4] Weather®, H.:
アムジェンと JMDC「片頭痛リスク予報サー
ビス（Health Weather®）」の提供を「片頭痛＠LINE ヘルスケア」上で開始.
[5] : 気象病に特化した頭痛対策アプリ「頭痛ーる」.
[6] : AWARE Open-source Context Instrumentation Framework For Everyone.

© 2022 Information Processing Society of Japan64

情報処理学会 SIG-BTI シンポジウム

急ぎ検知モデル作成のための手法の提案
佐々木 航 †2
大越匡 †3中澤仁 †4
桑田 翔平 †1†2
†1
†3
慶應義塾大学 ，慶應義塾大学 ，慶應義塾大学 ，慶應義塾大学 †4は実際に運転者の焦りは実際に行動に移ることが確認で

1. はじめにきた．また，ユーザの次の予定や現在の目的などからその人々は急いでいる時にメールや各アプリケーションから

ユーザ自体が急いでいるかなど iPhone の加速度などを用の通知を無視することが多く，通知の際にユーザが急いでいて実験しており，その中で実際のユーザの歩行スピード

いるかどうかを判定することが可能になれば，連絡を無視

から検知している． [2] この研究においてもユーザの目的する可能性が下がりユーザ経験を高めることに寄与するや急ぐ気持ちなどから歩行スピードの変化があるようだっと考えられる．本研究ではスマートフォンのセンサ情報をた．それ以外に，アプリケーションを利用してそのときの用いることでユーザが急いでいる状態であるかを判別する

ユーザーのライフログからデータをとってきてその中でア手法の提案を行い，現在の研究状況や今後の研究計画を述

プリケーションを作成し，将来入るであろうタスクを提案

べる．

するという研究がある [3]．その中で実際に未来の提案をすることでユーザー自体に行動変容が見られたという結果
であった．

2. 背景
10 から 70 代までのユーザから取ったアンケート結果から約半数が時間に余裕を持たずに生活を送っている現状が

5. 研究手法ある．また，時間がない事がその人自体「急ぐ」ことを促

5.1. 実験概要

している原因かもしれない．そこで本研究では，その人に本研究では被験者 7 名の 14 日間に対してデータ収集実

今時間に余裕があるかについて注目することによって，急験を実施した．時間に余裕があるかの質問を主観的な評価

いでいるかどうかの検知を行う．

として定期的に回答してもらった．同時に，センサ収集ア
プリケーションによって，複数のセンサをバックグラウン

3. 問題

ドで収集し，センサ情報とユーザの回答情報から，ユーザの急ぎ状態検知モデルを構築する．

しかし，その人に今時間の余裕があるかについて実世界で検知することは容易ではない．近年，スマートフォンの5.2. 実験手法

普及や性能の向上により，スマートフォンから収集されるデータを解析することによってユーザの行動を検知する研

実際に人が急ぐ要因としては，時間がなく場所が遠いか究が盛んに行われておる．本研究ではスマートフォンセン

ら急ぐことや，時間がなく資料作成に間に合わないから

サ情報からユーザの急いでいる状態，つまりユーザに時間急ぐなど様々な要因が挙げられるためこれら全てを一度にの余裕があるかについて検知することを目指す．

検知することは難しい．そこで，本研究で検知する急ぎについては，ユーザ自身が今時間を取れるか，という点に絞り実験を進めた．ユーザ自身がアンケート回答時に「5 分4. 関連研究間の時間を取ることができるか」，という内容の Google

現状スマートフォンのセンサ情報によりユーザ自身の状

フォームアンケートを毎日 9 時から 21 時まで 3 時間毎の態検知は非常に盛んであるが，ユーザ自身の時間があるか

計 5 回を linebot にて通知を行いラベルデータの収集をおといった点で現在取り組んでいる研究はあまりない．車運

こなった．

転における運転者の焦りを動画にて判定している研究 [1]

また本研究ではスマートフォンセンサから被験者の急いでいるかを検知を目的としているため，ユーザの iPhone

Proposed Method For Creating A Rapid Detection Model
†1
†2
†3
†4

に「AWARE V2」というアプリケーションをインストー

SHOHEI KUWATA, Keio University
Sasaki Wataru, Keio University
TADASHI OKOSHI, Keio University
JIN NAKAZAWA, Keio University

ルしてもらい，表 1 に示す複数のセンサ情報を収集した．

© 2022 Information Processing Society of Japan65

情報処理学会 SIG-BTI シンポジウム

表1

集めたこともあり本実験では様々な手法でこれらの急ぎを収集したスマートフォンセンサとそのデータ量検知できるようなデータの分析をしていく

Table 1 Collected Smartphone Sensors and Data Volume
データ内容

収集データサイズ [MB]accelerometer
magnetometer
gyroscope
gravityrotation

101953
97213
95963
82811
60199

7. まとめ時間がない事がその人自体「急ぐ」ことを促している原因かも知れないというとこからメール内容，本研究ではス
マートフォンを用いてデータの収集を行いラベルデータはgoogle フォームにて収集した．最終的にデータ自体集められ今後実際に研究を進めていく
謝辞

本研究は、JST、CREST、JPMJCR19A4 の支援を受けたものである。本研究は JSPS 科研費 JP21K11853

6. 今後の研究計画と展望
本研究では現在データ収集実験まで実施した．本章では，の助成を受けたものである。

今後の研究予定や展望について述べる．

参考文献
6.1. センサと主観的回答の解析[1] Naveteur, J., Cœugnet, S., Charron, C., Dorn, L. andAnceaux, F.: Impatience and time pressure: Subjective
reactions of drivers in situations forcing them to stop their
car in the road, Transportation Research Part F: Traﬃc
Psychology and Behaviour, Vol. 18, pp. 58–71 (online),
https://doi.org/10.1016/j.trf.2012.12.008 (2013).

実際にデータを収集する際に本実験の著者のジャイロメータやバッテリーのデータを google スプレットシートに集めそのデータに急ぎのラベル付けをし相関係数という形で出したところジャイロメータと急ぎの相関係数が 0.68

[2] 藤沢和哉，安村通晃 Step navi: 歩行速度ナビゲーションシ
ステムの開発，インタラクション (2012).

となり，バッテリーの相関係数は相関係数が 0.21 となり
実際にジャイロメータとの関連性が著者のデータからは見[3] 竹内俊貴，田村洋人，鳴海拓志，谷川智洋，廣瀬通孝ほかライフログとスケジュールに基づいた未来予測提示によるタスク管理手法，情報処理学会論文誌，Vol. 55, No. 11, pp.
2441–2450 (2014).

ることができた．以上から実際に急いでいる時にはスマー
トフォンを自分はよく動かしているといった結果になりそれ自体が著者が急いでいる時は大抵動きが大きくなるという傾向が見られた，といった結果より急いでいる時に動きがある，他のことをしている可能性が高いことからメールや通知は無視する可能性があり，まずはこれらのデータより「急ぎ」検知モデルの作成をし，AWARE センサと「急ぎ」の関係性を評価し，より精度を上げるための手法の分析と想定，最終的にアプリ内でのメール送信などでのメール内容開封率，内容確認率などの評価する．

6.2. 実験手法改善案
実際にデータを取得する際に google フォームの回答を促すような line bot を利用したが実際には３時間毎の回答を促した直後に回答してくれるよう実験を始めたが実際にその時間に回答してくれる被験者と回答してくれない被験者がいた，実際に被験者が通知を送るタイミングでちょ
うど毎回フォームを記入できるわけではなく忙しさより回答できないケースも多々あったことから回答がない部分に関して忙しいというラベルをつけるか否かなどの検討余地が残った．また，この手法でデータを集めること自体現状
急ぎには様々な種類があることで急ぎの種類別にそれぞれ
データの変化程度が変わる可能性もあり，本実験で集めたデータ自体は今時間があるか否かという質問からデータを© 2022 Information Processing Society of Japan66

情報処理学会 SIG-BTI シンポジウム

アーチェリー時のハイブリッドなコンディション推定手法
高澤雄 †1慶應義塾大学 †1

別宮広朗 †2慶應義塾大学 †2

大越匡 †3中澤仁 †4†3慶應義塾大学 慶應義塾大学 †4

概要

め，指導として導入するには不十分である．アーチェリー

スポーツ学習者のコンディションを配慮せずに姿勢などにおいて，体の震えと得点の相関関係についての研究があの指導を行うことは，必ずしも学習者にとって，ふさわし

り [5]，体の震えはアーチェリーの得点に大きな影響を与え

い指導となるとは言えない．特に，アーチェリーの得点はていることがわかる．そのため，指導においても体の震え

スキルのほか，心理的要因による影響についての研究が行は留意するべきである.

われており [1][2][3]，アーチェリーの学習指導において，コまた，スポーツにおいてコンディションは非常に重要であ

ンディションに適した指導は重要である．また，アーチェ

り，身体的や心理的要因によって，正しい動作を行っても結リーの指導員が少なく，指導員による個別の指導はコスト

果が異なることがある．指導者は学習効率の観点から，学が高く，初心者が練習する際は自主練習が主となっている．

習者のコンディションを認識し休息やそれぞれのコンディ

そのため，本研究では，心理状態などのコンディションを分ションに適した指導が求められる．身体的，心理的要因に類した上で，そのコンディションに適した指導を行うシス

よるコンディションの変化を，視覚的に全て判断することテムを提案することを目標とする．学習者のコンディショ

はできない．コンディションを分類する上では，心拍数のンが良くない時は，低い得点に導いた原因 (緊張感や疲労なような生体情報と組み合わせることでより詳細なコンディど) を提示し，原因に応じて深呼吸や休憩などのアドバイス

ションの分類を可能にすると考えられる.

を行う．学習者のコンディションが良い時は，動画からアーアーチャーのコンディションを分類する研究は十分に行

チェリーの姿勢を評価し，修正点をフィードバックする．進われていないため，本研究では指導システムの提案をする

行中の研究のため，本稿はそのシステムの基礎となる生体上で， 動画と生体情報からコンディションを分類し，動画

情報と動画を使ったハイブリッドなコンディション推定手と生体情報からコンディションを分類し，動画から姿勢判法を提案する．２人の被験者のデータに基づいて，理想的定を行い学習における適したフィードバックを行うことをな結果を得られた．しかし，個人差を配慮した汎用性の高目的とする．本稿はそのシステムの基礎となる生体情報といコンディション推定手法を実現するには, 2 人のデータは動画を使ったハイブリッドなコンディション推定手法を提足りなく，今後被験者を増やし手法を改良する．

案する．

1. はじめに

2. 先行研究

アーチェリーの練習には高価な弓や特定の練習場を必要

コンディション推定の一部は感情推定である．アーチェとするため，コストの高いスポーツと言える．指導員によるリーのパフォーマンスは感情と明らかな関係性があり，低個別の指導を求める場合，更にコストが高くなるため，初心

得点はよく消極的な感情パターンと伴うことが観察できる

者は自主練習を行うことが多い．専門知識の少ない初心者[6]． アーチェリー時のコンディションはストレスと疲労状

は，自主練習する上で間違った練習を行なってしまう可能

態のほか，感情も含めることは妥当だと考える．感情推定の性も高く，アーチェリー学習者の学習指導システムの需要手法は多く研究されており，生体情報による感情推定 [7][8]，は大きいが，現時点では開発されていない．アーチェリー

顔表情による感情推定と動画 [9] による感情推定などの推定と似ている和弓である弓道の姿勢を分析する研究 [4] が行わ

方法は提案されて実験された．

れているが，フィードバックがユーザー画像と教師画像の

しかし，アーチェリーの練習をしている時の感情推定手

類似度の数値のみとなっており，修正点が明確ではないた法として，適用できる手法ではない．まず，アーチェリー時のコンディションは特定感情の映像や音声を与えて，実験

Hybrid Condition Estimation Method While Practicing Archery

参加者のこういった刺激に対する情動反応ではない．普段†1

アーチェリーをしている時のコンディションを推定するに

†2
†3
†4

ZEXIONG GAO, Keio University
HIROO BEKKU, Keio University
TADASHI OKOSHI, Keio University
JIN NAKAZAWA, Keio University© 2022 Information Processing Society of Japan

は，普段の練習時のデータを集めてモデルを構築しなけれ67

情報処理学会 SIG-BTI シンポジウム

図1

システム構成図Figure 1 System Overview

ばならない．また，アーチェリー時の顔表情がほぼ感情を表していなく，運動時の脳波，心電図，電気性皮膚反射などの測定も難しい．本稿の提案手法はウェアラブルデバイスとスマートフォンのカメラ機能を利用し，アーチェリーに適したハイブリッドなコンディション推定手法を提案する.

3. 実験
近射の練習場でアーチェリーを練習の動画を 190 個録画
し，時に心拍数と体表温度を取得した．本研究はリカーブ
ボウを使用し，防具のチェストガードとアームガード，タブを装着していた．ただし，リカーブボウにスタビライザーを装着しないとした．右腕に Apple Watch を装着して心拍数を測定し，左腕に装着した iAide のウェラブルデバイス
で体表温度を計測した．矢を射つ前のコンディションが指

図2

アーチェリーの画像に OpenPose を適用

導の評価対象であるため，矢を放つ前にアンケートを答え

Figure 2 Using OpenPose on Archery Picture

るようにした．アンケートを答えてから，姿勢を構え，１本の矢を打つ．このような順番で繰り返した．実験中，被験4.2. アンケートについて者の動画と生体情報が持続的に取得された．被験者の要望

S.A.M (Self-assessment manikin) は Lang[11] が提に応じて休憩することがあった．合計 2 名の実験参加者の唱した感情測定のスケールである．感情推定の研究で多データを集めた．

く使われている．しかし，アーチェリー時のコンディシ
ョンは感情とは同等ではない．本研究の実験は短時間で

4. 手法

主観的なコンディション評価を取得することを考慮し，VAS(Visual Analogue Scale) 法を利用した．感情のほか疲
労状態（tiredness）やストレス状態（stress）などが考えられる．疲労状態とストレスについて，VAS 法を使用した．
VAS 法は 100mm の直線が書かれ，実験参加者は現時点の4.1. OpenPose
OpenPose はリアルタイムで多人数に対応可能な人間のポーズを検出できるシステムである [10]．画像内の人間の部分を bouding box で囲み，人間の 15 個以上の関節を keypoints として検出できる．本研究では 17 個の
keypoints を検出する OpenPose を利用する．図 2 はアーチャーの画像を OpenPose によって処理した.

状態に合う位置に印をつけることで，その状態を測定する方法である．ストレスの測定に VAS 法の有用性が示された研究がある [12][13]．図 4 は本研究で使用した疲労状態とス
トレスの VAS 法によるスケールである．疲労状態測定用のVAS スケールは日本疲労学会のスケールでもある [14]．

© 2022 Information Processing Society of Japan68

情報処理学会 SIG-BTI シンポジウム

図3

S.A.M スケール

Figure 3 S.A.M Scale

図4

本研究の疲労状態とストレスのスケール

Figure 4 Scale of Tiredness and Stress4.4. コンディション推定

4.3. データの処理

スポーツ時のコンディションについての研究がまだ不十

データは，ユーザーの横から撮った動画とユーザーの心分なため，コンディションの明確な定義が定められていな

拍数を用いる．

い．コンディションの評価方法を探索しながら，スポーツ

動画は OpenPose を通して，推定された関節と骨格が動画時のコンディションを推定して検証したい．

のフレームに書かれるようにした．また，Bounding Box 内の画像を切り出し，モノクローム化した．よって，モデルにコンディションを分類するために，生体情報と動画を使入力されたのはモノクロームの骨格推定を含めた Bounding

う．矢を放つ時の１秒と前後 10 秒の合計 21 秒の心拍数

Box の動画フレーム 30 枚である．
iAide から一分間隔の体表温度データを取得している．2
本の矢の間隔は 1 分未満のケースもあるため，2 本か３本のを使用する．矢を放つ時の一分間の平均体表温度と合わせ
ル ×100 ピクセルの矢を放つ前 30 フレーム (約 0.5 秒) を矢が同じ体表温度を共用することがある．このような一分採用する．生体情報と動画はサイズが違い，機械学習の適間隔の体表温度データが正規化され，モデルの入力となる．

用モデルも違うため，マルチチャンネルの畳み込みニューて，生体情報としてモデルに入力する．動画が 100 ピクセ

また，心拍数のデータは Apple Watch から取得されておラルネットワークのモデルを構築した．心拍数と動画がぞり，Apple Watch の心拍数は一定の時間間隔で計測されてれぞれ畳み込みニューラルネットワークを通し，両方の出いない．ゆえに，計測のある両データの間の欠損値はこの力を一次元のベクトルに変形し，体表温度と結合する．結

両データの平均値で埋めた．欠損値が修正された１秒間隔合されたベクトルは ReLu 活性化関数の Dense 層を通し，の心拍データは体表温度と同じように正規化されてモデル

SoftMax 活性化関数で 9 クラスの出力にする．動画は二次元の画像を時間の次元で重ねたデータなので，3D 畳み込みの入力となる．

ニューラルネットワークを採用した．

さらに，ストレスと疲労状態の回答は S.A.M のようなカ
テゴリー変数ではなく，小数点後一位を含めた数値である．
この２項目の回答は四捨五入され，9 クラスのように変形した．

© 2022 Information Processing Society of Japan69

情報処理学会 SIG-BTI シンポジウム

6. 考察

5. 分類器マルチチャンネル畳み込みニューラルネットワークで本研究は 9 クラス分類のため，表１の正解率はある程度

Pleasure，Arousal，Dominance，Tiredness，Stress をそれぞれ予測する 5 つの分類器を訓練した．表 1 のように各分類器の正解率はそれぞれ 0.481，0.346，0.519，0.346，0.346

コンディションを分類できていると思う．しかし，やはり各である．

に影響している可能性がある．本研究の目標である指導シ
表1

Table 1

クラスを精度高く分類できていると言い難い．被験者がアンケートを答える時，各自の選好があることが分類の精度
ステムにとって有用な分類は極端によくないコンディショ

各分類器の正解率

ンを見つけ，相応のフィードバックを与えることである．ゆAccuracy of Classiﬁers

Pleasure
Arousal
Dominance
Tiredness
Stress

えに，分類の正解率よりも，予測値が正解値の周辺に分布す正解率ることが大切だと考える．結果の混同行列から分類器の予

0.481
0.346
0.519
0.346
0.346

測値が正解値から遠く離れていないことが確認できる．
実験参加者が 2 人であるため，A と B のデータで訓練して両者のデータでテストした結果のほか，訓練データとテ
ストデータを変えて，モデルの汎用性と，両者に同一モデルを構築したことの妥当性について考察する．合計 5 種類ア
レンジして，結果が表 2 となる.

A のみのデータで訓練したモデルと A と B のデータで訓練したモデルを比べてみると，A の各項目の精度が前者の精度が必ず高いというわけでもない．A の訓練データに過学習したため，A のテストデータの精度が高く出ない可能性がある．B を加えたデータで汎用性のあるモデルも実各モデルの混同行列が図 5 となる．横軸はテストデータの予測されたクラスで，縦軸は真のクラスである．対角線に集中した方が理想的であり，提案モデルのデータは多く
対角線付近に集中していることは確認できる．

Pleasure 予測の混同行列

Arousal 予測の混同行列

Tiredness 予測の混同行列

Stress 予測の混同行列
図5

各分類器の混同行列

Figure 5 Confusion Matrix of Classiﬁers© 2022 Information Processing Society of Japan

70

Dominance 予測の混同行列

情報処理学会 SIG-BTI シンポジウム

表2

訓練・テストデータを変更

Table 2 Changing Train Data and Test Data
訓練データ:
テストデータ:

AとB
AとB

AとB
A

AとB
B

A
A

B
B

Pleasure
Arousal
Dominance
Tiredness
Stress

0.481
0.346
0.519
0.346
0.346

0.450
0.275
0.550
0.350
0.4000

0.667
0.507
0.417
0.167
0.167

0.250
0.350
0.500
0.275
0.450

0.667
0.250
0.417
0.250
0.500

用的である．アーチェリーのコンディション推定は汎用性である．また，予測値と正解値が遠く離れないことが指導が高いことが望ましく，個人差の問題については個人差をシステムのコンディション推定にとって重要だと考え，各説明できる変数を探し，モデルに入れた方がいいと考える．

分類器の混同行列から確認できる．

その中の一つは感情認識能力の個人差である．A と B は同

心拍数は値の大小だけではなく，時系列データから上昇・

じアンケートを回答したが，本研究のコンディションは実下落の幅や速度もわかる．違う感情を喚起する映画を見せ験参加者の主観的コンディションであり．感情認識能力のるシナリオの実験から [7]，各感情における 10 秒内の心拍

個人差によって，コンディションの受容能力も異なり，アン数最大値の変化傾向が違うことがわかる．本研究も時系列

ケートと客観的データとの対応関係もそれによって違うよ

心拍数データを使ったが，Apple Watch の制限により，短うになるだろう．人の感情認識能力は内受容感覚との関係

時間の一定間隔の心拍数の値が得られなかった． また，心が深いと考えられている．ゆえに，内受容感覚の評価方法

拍数データは畳み込みニューラルネットワークのモデルでである心拍検出課題を行って，感情認識能力の違いによる扱ったが，時系列の特性を考慮し，時系列の心拍数データに誤差を小さくしようとした．

適したモデルに改良すべきだ.

心拍カウント課題は実験参加者に手で体に触れないで，自また，多ユーザーへの汎用性が必ず求められているため，分の一定時間内の心拍数を数えさせる実験である．実験参

感情認識能力を含めた能力の個人差を配慮し，汎用性の高加者の報告値とデバイスで測った真の値を比較し、両者のいモデルに改良する．推定モデルに影響しうる個人差を探

差が真の心拍数に占める割合をエラースコアと呼ぶ [15]．

索し，そういった個人差の評価方法を，モデルに入れる適切A と B にそれぞれ 30 秒間の心拍カウント課題を 15 組実験し，エラースコアの平均値を採用した．しかし，A と Bのエラースコアは 0.3809 と 0.3852 であり，両者の感情認
識能力の差が大きくないことが明らかである．モデルが Aと B のテスト結果が違うのは，感情認識能力のほかの個人差によるものだと考えられる．また，B の訓練データの数な方法を試みる．
謝辞 本研究は，JST，CREST，JPMJCR19A4 の支援を受けたものである．本研究は JSPS 科研費 JP21K11853 の助成を受けたものである．

参考文献が少ないことも原因の一つだと考えられる．本研究の被験[1] Kim, H.-B., Kim, S.-H. and Wi-Young: The Relative
Importance of Performance Factors in Korean Archery,
Journal of Strength and Conditioning Research (2015).
[2] Robazza, C., Bortoli, L. and Nougier, V.: Emotions,heart rate and performance in archery, Journal of Sports
Medicine and Physical Fitness, Vol. 39, No. 2, pp. 169–
176 (1999).
[3] Taha, Z., Musa, R., Abdullah, M., Maliki, A., Kosni,N., Mat-Rasid, S., Adnan, A. and Juahir, H.: Supervised pattern recognition of archers relative psychological coping skills as a component for a better archery performance，Journal of Fundamental and Applied Sciences,Vol. 10, No. 1S, pp. 467–484 (2018).
[4] Farrukh, W. and van der Haar, D.: Computer-Assisted
Self-Training for Kyudo Posture Rectiﬁcation Using

者が 2 人だけであり，心拍カウント課題のエラースコアで感情認識能力による誤差をなくす手法の作成には，まだ不十分だと考える．今後被験者を増えることで，汎用性の高い手法の探索ができると期待する．

7. まとめと今後の課題
本研究はアーチェリーの学習指導システムを目標とし，その基礎となる生体情報と動画を使ったハイブリッドなコン
ディション推定手法を提案した．２人のアーチェリーの練習時のデータに基づいて，Pleasure，Arousal，Dominance，

Tiredness と Stress の５項目について，分類器を作成した．
その正解率はそれぞれ 0.481，0.346，0.519，0.346，0.346© 2022 Information Processing Society of Japan71

情報処理学会 SIG-BTI シンポジウム

Computer Vision Methods, Proceedings of Fifth International Congress on Information and Communication
Technology, Springer, pp. 202–213 (2021).
[5] Ogasawara, T., Fukamachi, H., Aoyagi, K., Kumano,S., Togo, H. and Oka, K.: Archery Skill Assessment Using an Acceleration Sensor, IEEE Transactions on Human-Machine Systems, pp. 1–8 (online),
10.1109/THMS.2020.3046435 (2021).
[6] Robazza, C., L, B. and V, N.: Emotions, heart rate andperformance in archery. A case study, J Sports Med Phys
Fitness, Vol. 39, No. 2 (1999).
[7] Chang, C.-Y., Chang, C.-W., Zheng, J.-Y. and Chung,
P.-C.: Physiological emotion analysis using support vector regression, Neurocomputing, Vol. 122, pp. 79–87(online), https://doi.org/10.1016/j.neucom.2013.02.041(2013). Advances in cognitive and ubiquitous computing.
[8] Kim, J. and André, E.: Emotion recognition basedon physiological changes in music listening, IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 12, pp. 2067–2083 (online),
10.1109/TPAMI.2008.26 (2008).
[9] Castellano, G., Villalba, S. D. and Camurri, A.: Recognising human emotions from body movement and gesturedynamics, International Conference on Aﬀective Computing and Intelligent Interaction, Springer, pp. 71–82(2007).
[10] Cao, Z., Simon, T., Wei, S.-E. and Sheikh, Y.: Realtime
multi-person 2d pose estimation using part aﬃnity ﬁelds,
Proceedings of the IEEE conference on computer visionand pattern recognition, pp. 7291–7299 (2017).
[11] Bradley, M. M. and Lang, P. J.: Measuring emotion:
the self-assessment manikin and the semantic diﬀerential,
Journal of behavior therapy and experimental psychiatry,Vol. 25, No. 1, pp. 49–59 (1994).
[12] Lesage, F., Berjot, S. and Deschamps, F.: Clinical stressassessment using a visual analogue scale, Occupational
Medicine, Vol. 62, No. 8, pp. 600–605 (2012).
[13] Lesage, F. X. and Berjot, S.: Validity of occupational
stress assessment using a visual analogue scale, Occupational Medicine, Vol. 61, No. 6, pp. 434–436 (online),
10.1093/occmed/kqr037 (2011).
[14] 日 本 疲 労 学 会 疲 労 感 VAS(Visual Analogue
Scale) 検 査 の 記 入 方 法 に つ い て ，（ オ ン ラ イ ン ），https://www.hirougakkai.com/VAS.pdf.
[15] Rainer, S.: Heart Beat Perception and Emotional Experience, Psychophysiology, Vol. 18, No. 4 (1981).

© 2022 Information Processing Society of Japan72

情報処理学会 SIG-BTI シンポジウム

遠隔ソーシャルダイニングはどんな行動変容を起こすのか
益田 岳 †1
東京女子医科大学 †1

酒造 正樹 †2
東京電機大学 †2

1. 食行動のモダリティ変化

ない。初対面同士が様々な経験を共有できたと感じられる
ことは、自らの社会性の再確認になり、即座の自己効力感の

COVID-19 の長期化に伴い人々の生活様式は変わり、と向上につながる。

りわけ食行動に大きな制限が設けられている。孤食・黙職の言葉の通り、食卓の対面から仲間の楽しい表情や何気ない

この観察結果をまとめると、良質な SD 中の参加者は、(1)

会話などが激しく減少してしまった。一方、スマートフォ

他者の行動・振る舞いに対する注意（気づき）、(2) 目的達成

ンが普及した今日、老若男女を問わずに、ビデオ通話アプリ

に対する喜びの理解・共感、(3) 新しい次の目標への欲求、の line、skype や zoom などを活用した遠隔共食や飲み会に共食に関する研究開発が多数あるが、真に人々の役に立つ(4) ポジティブな記憶の増強のプロセスを経て、SD 後の日
常生活においても QoL の維持向上を得ているものと思われる。このことは、大武らの提唱する共想法 [3] のプロセスにシステム開発を目指し、食卓の周りに起きる現象を文化人通じるところがあり、ポジティブなシーンの抽出はカメラ

類学的視点 [1] から改めて議論する。

やセンサデバイスを活用した料理・食事の行動を認識技術

参加の機会が増えてきている。これまで ICT を用いた遠隔[4, 5, 6, 7] の応用により可能であろう。

2. ソーシャルダイニングの参加者

4. 遠隔 SD システムの開発に対する期待

餅つきや、流しそうめんのように協調性が不可欠な場面を想起するとわかるように、食行動は、必須な栄養摂取だけで遠隔のコミュニケーション支援システム開発と聞くと、なく、食を通じた他者とのコミュニケーションとしても意弱者の視点で整理されたサービスを論じているものが多い。

味がある。近年、シェアリングエコノミーのひとつとして、遠隔 SD は、高齢者や障害を持たれた方の、自立支援や社会食卓を他者とシェアするソーシャルダイニング（SD）サー

復帰への糸口として有用であるかに見える。しかしながら、ビスが普及しつつある [2]。レストランでの会食や料理教室

対面 SD で起こり得た協同行為（助け合って何かをすることは異なり、SD には見ず知らずの参加者同士が、食材の調と）は、遠隔実施下で大きく減少してしまう。食材を代わり理から実食を経て後片付けまでの工程を協働実施することに切ることや調味料をとってあげるといったことはできなに特徴がある。ここに集まる参加者は、新しい仲間との関い。他人の進行具合に合わせて、一定時間内に作業を単独係を迅速に構築するスキルが必須である。合わせて、関係で完遂させる必要がある。これに注意をしながら、前節で性構築のプロセス自体を楽しむことを目的としている。ま述べた QoL 向上の機序をうまく実装した技術開発に期待がた、必ずしも完成された食事を求めているわけではない。

寄せられる。

3. ポジティブな記憶の増強

参考文献[1] 櫻田他, 『食をめぐる人類学: 飲食実践が紡ぐ社会関係』, 昭和堂,
2017.
[2] https://kitchhike.com/ (参照 2022-3-10).
[3] 大武, 『介護に役立つ共想法』, 中央法規出版, 2011.
[4] 原島, 橋本, 『キッチン・インフォマティクス-料理を支える自然言語
処理と画像処理』, オーム社, 2021.
[5] 中村他, “笑顔による QOL 推定を目的とした微細な表情変化の認識,” 信学技報, HCS2020-59, pp. 39–44, 2021.
[6] M. Shuzo et al., “Wearable eating habit sensing system using internal body sound,” Journal of Advanced Mechanical
Design, Systems, and Manufacturing, 4(1) pp. 158–166, 2010.
[7] P. Lago et al., “A dataset for complex activity recognition
withmicro and macro activities in a cooking scenario,” CoRR
abs/2006.10681, 2020.

例えば、お好み焼きをテーマとした SD では、鉄板の上でひっくり返す場面がクライマックスとなる。ひっくり返すのに失敗するかもしれないというワクワク・ドキドキ感は何度体験しても毎回新鮮である。楽しいことからくる満足
感は、誰か他人と共有できたと感じられるときにさらに大きくなる。また、一人でうまくできたことよりも、目撃者がいる中でのちょっとした失敗のほうが価値があるかもしれ

What kind of behavioral change does online social dining drive?
†1†2

Gaku Masuda, Tokyo Women’s Medical University
Masaki Shuzo, Tokyo Denki University© 2022 Information Processing Society of Japan73

情報処理学会 SIG-BTI シンポジウム

イヤホンマイクを用いた摂取カロリーのリアルタイムモニタリングのための食事内容予測/ Automatic food type estimation throughaudio sensing of chewing sounds
泉川茉莉 †1
慶應義塾大学 †1

河崎隆文 †2慶應義塾大学 †2

大越匡 †3慶應義塾大学 †3

中澤仁 †4慶應義塾大学 †4

1. はじめに2 型糖尿病の直接的原因であるエネルギーの過剰摂取を防止するため，様々な食生活支援サービスが普及しつつある．しかし，多くの既存アプローチは糖尿病患者自身による
手入力の食事記録や食事内容の撮影といった手間のかかる作業が必要であり（図 1），自動食事モニタリング（ADM：

Automatic Dietary Monitoring) の需要が高まっている．
ADM の一手法として食事中のユーザーのリアルタイムカ
ロリーモニタリングを行い，理想摂取カロリー量以上の摂取が認められた場合に「食べすぎアラート」を送る方法が考えられる．本研究では食べ過ぎアラートの実装実現の第一歩としてイヤホンマイクによって収集される咀嚼音情報
から食事内容を予測する．本稿ではご飯，野菜・果物，揚げ物，汁物，麺類の 5 種類の食べ物の咀嚼音に着目し，音響特徴量から摂取している食品を判別する機械学習モデルを実装し，その判別精度を評価した．その結果，57.46% の精度
を示した．
図1

食事療法ツールとして頻繁に用いられる食事記録

2. 背景
現在世界の 20 歳から 79 歳の糖尿病人口は 4 億 6,300 万

好きな時に間食をする文化が先進国を中心に広まっている．

人に上ると言われている．また，毎年たばこが原因の死者

さらに、高脂質，高糖質で低タンパクなスナック菓子やファ数が 700 万人程度であるのに対し死因が糖尿病由来とされストフードが安く手に入りやすくなり，低所得国ではご飯のるケースは世界で 1,500 万人という調査結果がある．国際

代わりに子供にスナック菓子を食べさせることも稀ではな

糖尿病連合の予測では 2045 年には 7 億人が糖尿病になるとい．同時に，一見健康そうに見えて実は不健康な食べ物（野いう．[1][2] 日本だけでも 20 歳から 79 歳までの糖尿病患者

菜チップスや人工甘味料を使ったゼロキロカロリーデザー

は 720 万人いるとされており，世界 10 位に相当する．[3]ト）が広く流通している．[4][5][6][7][8] こうした社会変化

こうした糖尿病患者の増加の背景には環境や文化の変化の中，時間がない，健康への関心が低い，健康にお金をかけと同時に，個人レベルの問題があると考えられる．近年，決たくないといった個人レベルの問題が糖尿病発症・悪化のまった時間にしか食事をしないという文化は消えつつあり，

リスクをさらに深刻化させている．

3. 本研究の対象

Manuscript Format for Kickoﬀ Symposium of IPSJ Behavior
Transformation by IoT (BTI)
†1
†2
†3
†4

糖尿病はインスリン作用の不足によって引き起こされる

MARI IZUMIKAWA, Keio University
TAKAFUMI KAWASAKI, Keio University
TADASHI OKOSHI, Keio University
JIN NAKAZAWA, Keio University© 2022 Information Processing Society of Japanが，その発症経路は大きく 2 つのタイプがある．1 型糖尿病の場合は遺伝によりインスリンが欠乏してしまう症状だ74

情報処理学会 SIG-BTI シンポジウム

が，2 型糖尿病は遺伝要因に過食や運動不足といった要素が類」という５つに区分した．5 種類の食べ物は人間の耳で加わることでインスリン作用不足が生じる．２型糖尿病はも咀嚼音が明らかに異なることから，周波数や音量の変化

心臓発作や鬱血性心不全，脳卒中や腎不全，失明といった全パターンに差異があると推測し，機械学習モデル作成に適身に影響を及ぼすことで知られる．[9][3] 本研究では食生活していると考えた．この研究では音響特徴量の MFCC（メの乱れによって発症する 2 型糖尿病の未病と改善に焦点をル周波数ケプストラム係数）を用いた 5 種類の食事判別機

当てる．

械学習モデルを実装した．咀嚼音を用いた食事内容予測の先行研究は主に実験環境で行われることが多かったが，本研究は環境音ありの生活環境で録音された咀嚼音を用いた

4. 既存の健康モニタリングツールの課題

データセットを作成することによってより汎用性の高い食現在，糖尿病未病及び改善につながるセンサーデバイス

事内容予測システムの構築を目指す．

は多く存在する．しかし、多くは「使いやすさ」「得られるデータの具体性」「コスト」という三点に課題を抱えている．

6. 本研究の手法

一般家庭で既に利用されている健康モニタリングツールに体重計の生体電気インビーダンス分析を用いた体脂肪や筋本研究では４つの手順（データ収集，音データ前処理，機肉量の測定があるが，データの変動を自分で記録しなければ

械学習，精度評価）を踏むことで咀嚼音認識による食事内

いけないという点で使いやすさに制限がある．また，体脂肪容予測を行った．既存研究で環境音なしの実験環境で高判率や筋肉量が分かっても具体的な行動目標が分からないこ

別精度を達成しているケースが多かったが [16][17]，実生活とが多い．さらに，正確な数値を得ようとすると，トレーニ

環境下でも咀嚼音の判別が可能か明らかにするため，環境ングジムなどの専門施設に行く必要があり，習慣化しづら音ありの咀嚼音データセット 2 つを作成した．それぞれのい．最近では画像認識を用いた食事メニュー診断といったデータセットには 5 種類の食べ物（ご飯，野菜・果物，揚ようなアプリ [10] もあるが，こちらも食事のたびに写真をげ物，汁物，麺類）の咀嚼音が含まれた．データセット１

撮影する必要があり，認識されなかった食事内容を手入力しは YouTube の食事 Vlog 風の動画から集めた環境音ありのなければいけない．バイオセンサーを用いて排出物から病咀嚼音データが元になっている．一方でデータセット２は気のリスクを測定するウェルネストイレ [11][12] や採血の実環境で被験者一名の咀嚼音を自室で録音したものである．

いらない赤外線レーダーによる血糖値センサー [13][14][15]

前処理では Python の音声信号分析ライブラリ LibROSAなども開発されているが，いずれもコストがかかり，現時点を用いて咀嚼音に対してフーリエ変換を行い，メルスペク

では一般向けとは言い難い．

トログラム化することにより周波数と音量の変化パターン「時間がない」「健康への関心が低い」「健康にお金をかけを分析した．その上で，機械学習できるよう，特徴量とメたくない」といった個人レベルの問題に一つでも該当する

ル周波数ケプトグラム係数（MFCC）を抽出した．さらに，

人が、糖尿病未病や改善に取り組もうと思える健康モニタ

少ないデータセットに対しデータオーグメンテーションとリングツールは三つの条件を満たす必要がある． 【簡単にセグメンテーションをすることでデータ量を増やした．そ

利用できること】：手入力が不要で、持ち運びが便利であるの結果データセット 1 の総データ数は 414，データセット 2必要がある．【具体的なモニタリングが可能であること】：の総データ数は 630 となった．機械学習では Keras を用い

ただ健康マーカーの数値が見えるだけではなく，すぐ実行

たニューラルネットワークを構築し，5 種類の食べ物の咀嚼に移せる行動目標が提示されるのが理想的である．【経済的音の判別を試みた．精度評価では Tensorlow を用いてコンな労力がかからないこと】：わざわざ大がかりな専用デバイ

フュージョンマトリクスを作成することにより，真陽性/偽スを購入しなくてもよい，または，すでに普段使っているデ

陰性率を可視化した．それぞれの結果を図 2，図 3 に示す．

バイスの追加機能として健康観察ができることといった点が含まれる．

7. 精度評価

これら三つの条件を満たすがイヤホンマイクを用いた「食Scikit learn のモデルの精度評価によると，データセット
1 の精度は 51.81%，データセット 2 の精度は 57.46% で，既存研究の評価精度を大きく下回る結果となった．Amft
et al(2010) は実験環境で 19 種類の食べ物の判別を 86.6 ％の精度で行った．[18] また、Mirtchouk et al(2016) はマイ
クと腕に装着する加速度センサーを用いることで，40 種
類の食べ物を 82.7% の精度で行えるとした．[19] さらに，

べ過ぎアラート」の実装だ．

5. 本研究のアプローチ
本研究ではイヤホンマイクによって収集される咀嚼音情報を 5 種類の食事分類から判別することを目的とする．本
研究では食事を「ご飯」「野菜・果物」
「揚げ物」
「汁物」
「麺

© 2022 Information Processing Society of Japan75

情報処理学会 SIG-BTI シンポジウム

音量変化のパターンが大きく異なった．周波数と音量変化が似た食べ物が多かったため，偽陰性/偽陽性率が高った可能性が予測できる．

図4

メルスペクトログラムによる野菜・果物の周波数と音量の変化の可視化

図2

データセット１のコンフュージョンマトリクス

図5

メルスペクトログラムによるご飯の周波数と音量の変化の可視化

9. 今後の課題
本研究では学習データの少なさが大きな課題となった．
データオーグメンテーションやセグメンテーションを活用
しても，既存研究比較でデータが圧倒的に少なかった．本
図3

データセット２のコンフュージョンマトリクス研究では作成した２つのデータセットのデータオーグメン
テーション処理を行なっていないオリジナル音源がいずれも合計 30 分を下回っていたが，今後は先行研究に沿って数

Mirtchouk et al (2019）は日常生活環境下でマイクと腕の加速度センサーを用いることで 65 種類の食べ物を 88 ％の精度で判別した．[20] これらの既存研究は実験環境下で行時間から数十時間の咀嚼音データが必要になることが推測される．（Amft et al (2009) は計 8.64 時間分，Mirtchouk

et al(2016) は計 72 時間分の咀嚼音データを収集した．）

われていることに加え，複数のセンサーを用いているといデータの一貫性の見直しも必要だ．今回の機械学習ではう点で公正な比較ではないもの，既存研究よりも高い価値

食べ物の種類によって音声ファイルに含まれる咀嚼回数がを実現するという観点では，更なる精度向上が求められて違う，イヤホンマイクを使用していたためマイクと口元とのいることわかる．

距離が違うといった非一貫性が存在した可能性がある．今後は咀嚼回数を統一させ，音声明瞭度が一定のオーディオ

8. 結果の考察

データセットを用いる必要がある．

コンフュージョンマトリクス (図 2，3）で誤判定の確率が高かった野菜・果物とご飯のメルスペクトログラムを分析

10. 今後の展望した結果（図 4、5），周波数と音量の変化が酷似しているこ

今後は既存研究との差別化要素をより鮮明にする必要がとがわかった．一方，誤判定率が比較的低かった汁物と揚ある．差別化方法としては，既存研究ではあまり取り上げらげ物のメルスペクトログラム比較を行った結果，周波数と© 2022 Information Processing Society of Japan

れてこなかった日本人やアジア人に特有の食事内容の咀嚼

76

情報処理学会 SIG-BTI シンポジウム

音データセットを集めることが考えられる．日本人やアジ

line), https://onlinelibrary.wiley.com/doi/abs/10.
1111/mcn.12729 (2019). Online; accessed: 2021-11-23.
[8] Blaine, R. E., Kachurak, A., Davison, K. K., Klabunde,R. and Fisher, J. O.: Food parenting and child snacking: a systematic review, International Journal of Behavioral Nutrition and Physical Activity, (online), https://doi.org/10.1186/s12966-017-0593-9 (2017). Online; accessed: 2021-11-23.
[9] 厚 生 労 働 省 イ ン ス リ ン — e-ヘ ル ス ネ ッ ト ，
https://www.e-healthnet.mhlw.go.jp/information/
dictionary/metabolic/ym-011.html. Online; accessed:
2021-11-29.
[10] カロミル食事画像解析 API（カロリーチェック カロミル
コンビニ、ファーストフード等の写真解析 AI，https://www.calomeal.com/api/meal-analysis.html. Online;
accessed: 2021-11-24.
[11] Toi Labs: Science, https://www.toilabs.com/science/(2021). Online; accessed: 2021-11-18.
[12] Zhang, Z.: Artiﬁcial intelligence of toilet for an
integrated health monitoring system using smart triboelectric pressure sensors and image sensor, (online),
https://www.sciencedirect.com/science/article/
abs/pii/S2211285521007709 (2021). Online; accessed:
2021-11-18.
[13] TechCrunch Japan:
赤外線レーザーを応用し採

ア人に特有の食事内容を判別できるようにすることで，より多様な人種が使える食べ過ぎアラートの開発に繋げたい．
さらに、既存研究は食事内容モニタリングに留まっている場合が多いが，今後の展望として食事中に食べ過ぎアラー
トを送信するリアルタイム介入をすることで差別化を図れると考える．そのためには「食べ過ぎ」をどのように定義するのかが鍵となる。また，定義された「食べ過ぎ」を正確に判断するために，食事内容の判別精度を向上させ、食事量の正確な予測システムを構築していく．

11. おわりに
本稿ではイヤホンマイクによって収集される咀嚼音情報
から食事内容を予測した．ご飯、野菜・果物、揚げ物、汁物、麺類の 5 種類の食べ物の咀嚼音の音響特徴量から摂取している食品を判別する機械学習モデルを実装し，その判別精度を評価した．その結果，57.46% の精度を示した．
謝辞 本研究は，JST，CREST，JPMJCR19A4 の支援を受けたものである．本研究は JSPS 科研費 JP21K11853 の助成を受けたものである．

血なしで血糖値を測定可能な非侵襲センサー

参考文献

を 開 発 す る ラ イ ト タ ッ チ テ ク ノ ロ ジ ー が 1.2[1] World Health Organization:
Diabetes statistics,
https://www.who.int/news-room/fact-sheets/
detail/diabetes (2021). Accessed: 2021-11-17.
[2] International Diabetes Federation:
Facts&ﬁgures,https://www.idf.org/aboutdiabetes/
what-is-diabetes/facts-figures.html (2021). Accessed: 2021-11-17.
[3] ジェイソン・ファン The Diabetes Code トロント最高の医師が教える世界最有効の糖尿病対策，サンマーク出版 (2020).
[4] HETUS: Harmonised European Time Use Survey,
https://www.h6.scb.se/tus/tus/AreaGraphCID.html/(2019). Online; accessed: 2021-11-17.
[5] Lu, Y. and Goldman, D. P.: The Eﬀects of Relative
Food Prices on Obesity – Evidence from China: 19912006, Social Science Research Network, (online), https://papers.ssrn.com/abstract=1548778 (2010). Online;
accessed: 2010-02-01.
[6] USDA
ERS:
Food
PricesandSpending,
https://www.ers.usda.gov/data-products/
ag-and-food-statistics-charting-the-essentials/
food-prices-and-spending/ (2019). Online; accessed:
2021-11-17.
[7] Pries, A. M., Filteau, S. and Ferguson, E. L.: Snackfood and beverage consumption and young child nutrition in low- and middle-income countries: A systematic review, Maternal & Child Nutrition, (on-億 円 調 達 ，https://jp.techcrunch.com/2021/07/06/© 2022 Information Processing Society of Japan

light-touch-technology-fundraising/ (2021). Online; accessed: 2021-11-18.
[14] TechCrunch Japan:
アップルのサプライヤー、
英 ス タ ー ト ア ッ プ Rockley Photonics が 採 血 な
しで血糖値を測定できる非侵襲センサーシス
テ ム 発 表 ，https://jp.techcrunch.com/2021/07/16/
non-invasive-glucose-monitor-applewatch/ (2021).
Online; accessed: 2021-11-18.
[15] ラ イ ト タ ッ チ テ ク ノ ロ ジ ー 株 式 会 社 Light-Touch-Tech,
http://www.light-tt.co.jp (2019). Online; accessed:
2021-11-18.
[16] Vu, T., Lin, F., Alshurafa, N. and Xu, W.: Wearable
Food Intake Monitoring Technologies: A Comprehensive Review, Multidisciplinary Digital Publishing Institute, (online), https://www.mdpi.com/2073-431X/6/1/4(2012). Online; accessed: 2021-11-24.
[17] Liu, J., Johns, E., Atallah, L., Pettitt, C., Lo, B., Frost,
G. and Yang, G.-Z.: An Intelligent Food-Intake Monitoring System Using Wearable Sensors, 2012: 9th International Workshop on Wearable and Implantable Body Sensor Networks, (online), https://ieeexplore.ieee.org/
document/6200559 (2012). Online; accessed: 2021-11-24.
[18] Amft, O.: A wearable earpad sensor for chewing
monitoring, IEEE Sensors Conference 2010, (online),
https://citeseerx.ist.psu.edu/viewdoc/download?
doi=10.1.1.1037.7062&rep=rep1&type=pdf(2009).

77

情報処理学会 SIG-BTI シンポジウム

Online; accessed: 2022-1-12.
[19] Mirtchouk, M.: Automated Estimation of Food Type andAmount Consumed from Body-worn Audio and Motion
Sensors, UBICOMP 2016, (online), https://dl.acm.
org/doi/pdf/10.1145/2971648.2971677 (2016). Online;
accessed: 2022-1-12.
[20] Mirtchouk, M.: Automated Estimation of Food Typefrom Body-worn Audio and Motion Sensors in FreeLiving Environments, 4th Machine Learning for Healthcare Conference, (online), http://proceedings.mlr.
press/v106/mirtchouk19a.html (2019). Online; accessed: 2022-1-12.

© 2022 Information Processing Society of Japan78

情報処理学会 SIG-BTI シンポジウム

COVIDGuardian: Augmented situated visualization
to increase risk perception and self-eﬃcacy towards
infectious diseases by fear appeal
Kento Katsumata†1
Keio University†1

Tadashi Okoshi†2
Keio University†2

1. Abstract

Individuals are motivated to follow the advice believedto alleviate a negative state when experiencing fear.
Zettler et al. [2] concluded that the HEXACO character dimension of emotions, deﬁned as a trigger for fear,
was related to accepting the constraints intended to curb
the transmission COVID-19. Fear appeal encourages individuals to respond to associated information and makebehavioral modiﬁcations to safeguard themselves. According to Kowalczuk et al. [3] , fear appeal changed
people’s behavior of continuous visitations and going tosocial gatherings to isolation to protect themselves fromcontracting COVID 19. Also, people adopted proper nutrition, such as meals that protect against the disease.
Through fear, the people will perceive the disease withmuch attention and view it as a harmful experience.
This paper presents the use of fear appeal and augmented visualization to oﬀer information about the virus
spreading dangers to assist in assessing the vulnerability
and encouraging proper precautions by boosting the perception of risk and self-eﬃcacy. The goal is to encourage
user to immediately reinforce prevention practices if user
has a high risk of exposure to COVID-19.

On February 11, 2020, the WHO designated the pandemic coronavirus COVID-19 and proclaimed it a crisis.
Contrary to popular belief, numerous individuals seemto actively ﬂout laws and norms, ignoring the hazards
to their own and others’ safety imposed by this unprecedented epidemic’s rapid growth. One approach in healthcommunication to change health attitude and behavior
is to appeal to fear. However, little research has focusedon fear appeal towards infectious diseases via augmented
situated visualization. Therefore, we propose COVIDGuardian, a system that provides augmented situatedvisualization to increase risk perception and self-eﬃcacy
towards infectious disease by fear appeal.

2. Introduction
The destructive current situation brought by the global
pandemic of COVID-19 led to an inevitable surge in theuse of digital technologies because of the social distancing norms and nationwide lockdowns. According to Kollamparambil et al. [1], preventive behavior changed constantly; using a facial mask surpassed proper handwashing as the most often employed preventive strategy. Other
safety precautions, such as social distancing, shunning
intimate contact, limiting large gatherings, and staying
indoors, had decreased during the study period. In addition low-income individuals had a lower perception of thepandemic resulting in the lack of adherence to the healthprotocols and measures to prevent COVID 19.

3. Related Research
There are many studies that uses fear as a method tochange health attitude and behavior.
There is accumulating evidence that narrative fear appeal can aﬀect behavioral intentions and attitudes of receivers [4]. Botta et al. [5] placed posters containing
threat messages in stalls and on bathroom mirrors. It
increased hand washing up to 8 percent point in males
and 29 percentage point by females as measured before
and after the campaign.
Using visuals to appeal to fear is considered to be avalid approach. Hollands et al. [6]examined the motiva-

Manuscript Format for Kickoﬀ Symposium of IPSJ Behavior
Transformation by IoT (BTI)
†1
†2
†3

Graduate School of Media and Governance, Keio University
Faculty of Environment and Information Studies, Keio University
Faculty of Environment and Information Studies, Keio University© 2022 Information Processing Society of Japan

Jin Nakazawa†3
Keio University†379

情報処理学会 SIG-BTI シンポジウム

5. COVIDGuardian

tional impact of a visual image to a personalized healthrisk assessment. Participants who received a high-threat
communication through visuals led to small but significant increase in intentions to undertake recommended
levels of physical activity. Olivier et al. [7] assessedthreatening visual warnings displayed on tobacco packs.
They concluded that there was an increase in emotional
reactions among smokers and, combining this with changing the image size (75%) made it even more eﬀective.
To the best of our knowledge, we are not aware of any
other work that provides interventions using fear appeal
via ASV.

4. Augment(ASV)

Situated

In this research we propose COVID Guardian a system that provides augmented situated visualization toincrease risk perception and self-eﬃcacy towards infectious diseases by fear appeal. The visualization will takeplace through Microsoft HoloLens 2. The system willshow augmented visualizations that appeal to fear basedon 5 situations.
1. When user forgets to sanitize his or her hands. If
the user fails to do this the system will persuade theuser to sanitize his or her hand displaying a model ofcovid-19 virus around the users hands. (Figure 1)
2. When the room is not ventilated well. The system
will persuade the user to ventilate by ﬂoating a modelof covid-19 virus around the room. (Figure 2)
3. When the opponent is talking loudly. The system
will persuade the user to warn the opponent by emitting a model of covid-19 virus around the opponents
mouth.(Figure 3)
4. When the user is not wearing a mask even after s/heﬁnished eating. The system will persuade the user towear a mask by displaying a model of covid-19 virus
which looks like the user is inhaling. (Figure 4)
5. When the opponent is not wearing a mask even afters/he ﬁnished eating. We will persuade the user towarn the opponent by emitting a model of covid-19
virus around the opponents mouth. (Figure 5)

Visualization

Augment Situated Visualization(ASV) is said to be
an eﬀective method to help users make more accurate
decisions[8]. It provides information through visual andinteractive details, which assists in comprehending thefacts within a speciﬁc situation. Guarese et al. [9], conducted a research by comparing 2D and 3D visualizations to help individuals decide the appropriate place tosit while attending an event. They concluded that theAR-based solution is promising and could be used in ordinary daily tasks. Guarese et al. [10], used ASV tohelp hardware experts assess a products electromagnetic
compatibility. Results showed that 2D visualizations had
twice the error ratio than 3D, helping the subjects to havebetter performances in a decision-making context.

© 2022 Information Processing Society of Japan80

情報処理学会 SIG-BTI シンポジウム

6. Evaluation[4] Braddock, K. and Dillard, J. P.: Meta-analytic evidence for the persuasive eﬀect of narratives on beliefs, attitudes, intentions, and behaviors, Communication Monographs, Vol. 83, No. 4, pp. 446–467(2016).
[5] Botta, R., Dunker, K., Fenson-Hood, K., Maltarich,
S. and McDonald, L.: Using a relevant threat,
EPPM and interpersonal communication to change
hand-washing behaviours on campus, Journal ofCommunication In Healthcare, Vol. 1, pp. 373–381(2008).
[6] Gareth J Hollands, T. M. M.: The impact of using visual images of the body within a personalized health risk assessment: an experimental study(2012).
[7] Droulers Olivier, Gallopel-Morvan K, L.-B. S. L. M.:
The inﬂuence of threatening visual warnings on tobacco packaging: Measuring the impact of threat
level, image size, and type of pack through psychophysiological and self-report methods (2014).
[8] Guarese, R., Becker, J. a., Fensterseifer, H., Walter, M., Freitas, C., Nedel, L. and Maciel, A.:
Augmented Situated Visualization for Spatial andContext-Aware Decision-Making, Association for
Computing Machinery (2020).
[9] Guarese, R., Becker, J., Fensterseifer, H., Walter, M., Freitas, C., Nedel, L. and Maciel, A.:
Augmented Situated Visualization for Spatial andContext-Aware Decision-Making (2020).
[10] Guarese, R., Andreasson, P., Nilsson, E. and Maciel, A.: Augmented situated visualization methods
towards electromagnetic compatibility testing, Computers and Graphics, Vol. 94, pp. 1–10 (2021).

We will evaluate if COVIDGuardian helped user assess
their risk of exposure and promoted evasive action by increasing risk perception and self-eﬃcacy. During the experiment three subjects will eat in a room. 1 subject will
use COVIDGuardian, 1 subject with have a 3C narrative
poster insight and another with photographs of how thevirus may be transmitted. All of the subjects will answer
a survey about knowledge and attitude towards COVID19 before the experiment. We will then compare if theuser took action when there is a risk of exposure and thetime it took to promote the action. In addition we will
use surveys to evaluate the diﬀerence of change in risk
perception and self-eﬃcacy.

7. Conclusion
This paper presents COVIDGuardian a system thatuses fear appeal and augmented visualization to oﬀer
information about the virus spreading dangers to assist in assessing the vulnerability and encouraging proper
precautions by boosting the perception of risk and selfeﬃcacy. The goal is to encourage user to immediately
reinforce prevention practices if user has a high risk of
exposure to COVID-19.

Acknowledgement
This work was supported by JST, CREST Grant Number JPMJCR19A4, Japan.
This work was supported
by JSPS KAKENHI Grant Number JP21K11853.

References[1] Kollamparambil, U. and Oyenubi, A.: Behavioural
response to the Covid-19 pandemic in South Africa,
PLOS ONE, Vol. 16, No. 4, pp. 1–19 (2021).
[2] Zettler, Ingo, C. S. L. L. L. K. T. U. m. m. R. B.: The
Role of Personality in COVID-19 Related Perceptions, Evaluations, and Behaviors: Findings AcrossFive Samples, Nine Traits, and 17 Criteria (2020).
[3] Zettler, Ingo, C. S. L. L. L. K. T. U. m. m. R. B.:
Impact of Fear of Contracting COVID-19 and Complying with the Rules of Isolation on Nutritional Behaviors of Polish Adults, International Journal ofEnvironmental Research and Public Health, Vol. 18,
p. 1631 (2021).

© 2022 Information Processing Society of Japan81

情報処理学会 SIG-BTI シンポジウム

精神課題における機械学習モデルの構築手法の比較
金井健太郎†1

鈴木圭†1 菅谷みどり†1
芝浦工業大学†1につき，個人(min-max)，個人(Z-score)，全体(min-max)，全体

1. はじめに(Z-score)，正規化なしの計 5 つのデータセットを作成してそ

近年，感情推定や認知機能推定など，生体情報を用いた機

れぞれのモデルを構築した.機械学習は，ディープラーニン

械学習モデルの構築の関心が高まっている[1]．これらのモグにてモデル構築を行い，精度評価手法として層化 10 分割

デル構築において，感情や認知の精神課題への回答や，診断交差検証を使用した．

結果を正解とし，脳波や心拍などの生体情報を機械学習さ

3. 比較結果せることで推定や診断支援を行うことを目的としている[2][3]．生体計測機器の中でも，Electroencephalogram(EEG)は，感情と認知機能それぞれのモデルの精度を表 1 に示す．

簡易に装着することができ，人の精神状態を直接的に把握

表 1 各手法の機械学習モデルの精度することができることから，汎用的な用途である感情分析

正規化なし
個人(min-max)
全体(min-max)
個人(Z-score)
全体 Z-score)

や認知機能の推定に用いられている[4]．EEG から取得されるデータを用いた精神状態を推定する機械学習モデルの例
として，感情推定[5]や認知機能推定[6]等が挙げられる．

感情推定(%)
92.53
99.93
92.92
99.70
93.34

TMT-PartA(%)
100.0099.92
100.0099.92
100.00

TMT-PartB(%)
100.00100.00100.00100.00100.00こうした EEG を用いた精神状態を推定する機械学習モデ

感情推定においてはデータ全体を正規化するよりも個人ルの構築においては，前処理の方法により，結果が異なるにに正規化を行なった方が精度は約 7%高い結果となった．まも関わらず，十分な比較検討が行われていない．これらの検た，個人の min-max と Z-score の比較を行った場合，min-max

討を行い，精神判定に適した処理を行うことで，より高精度

では 99.93%，Z-score では 99.70%と精度に差はない．これはなモデル構築が可能であると考えられる．

感情が喚起された際の個人差をデータのスケールを揃える

このことから，本研究の目的を，EEG を用いた感情・認ことである程度抑えた効果であるこのことから感情推定に

知機能といった精神状態を推定するモデル構築の際の構築

おいては，正規化手法にかかわらず，個人のデータに正規化方法の比較検討と予測方法の検討とする．

を行った方が精度は高くなる結果となった．
認知機能推定モデルでは，TMT 両方とも全ての手法で

2. 機械学習データ・機械学習手法

99%以上の結果となった．個人ごとに正規化を行なった場合

2.1 データ取得に用いる機器は他の手法に比べて min-Max と Z-score の両方ともわずか

本研究では，
脳波を取得する機器として Emotiv 社の EPOC

だが低い結果となった．これは，認知機能の決定に個人の意

X を用いた．EPOC X は前頭葉 6 チャンネル, 側頭葉 2 チャ思が関与しないため個人差の影響が少な炒め正規化手法にンネル, 頭頂葉 4 チャンネル，後頭葉 2 チャンネルの計 14よる精度差が少なかったと考えられる．

チャンネルから脳波の取得可能であるため，脳の広範囲を

４．今後の課題カバーできる．これらのチャネルは，脳の意識的な思考や聴覚などの反応を測定することに役立つとされる[4][7]．

精神課題ごとに 5 種類のデータセットにてモデルの構築・初めに，感情推定モデル構築のためのデータ取得を音楽比較を行った．感情推定では正規化手法によらず，個人ごと聴取の実験にて行い，次に，認知機能推定のモデル構築のたに正規化の方が精度が向上し，認知機能推定においては，正めのデータ取得を Trail Making Test(TMT)[8]を用いて行った．

規化手法の違いによる精度差はあまり見られなかった．今2.2 データセット・機械学習手法

後適切なモデル構築を行うことにより精度を向上させたい．

データセットは各実験で得られた脳波にノイズ処理を施

参考文献

した後，周波数解析によりチャンネルごとに指標作成を行[1]った．感情推定には音楽聴取時の脳波を説明変数，その際の[2]

主観評価を目的変数としてモデルを構築した．認知機能推定には安静時の脳波を説明変数，TMT の結果をそれぞれ目的変数とした 2 つのモデルを構築した．本研究では，感情 1[3]

種類，認知機能 2 種類の精神課題を実施し，1 つの精神課題

厚生労働省.AI 懇談会報告書.https://www.mhlw.go.jp/file/05-Shingikai10601000-DaijinkanboukouseikagakukaKouseikagakuka/0000169230.pdf,2021 年 7 月 24 日参照.
Suzuki Kei, Laohakangvalvit Tipporn, Matsubara Ryota, Sugaya Midori,“Constructing an Emotion Estimation Model Based on EEG/HRV Indexes
Using Feature Extraction and Feature Selection Algorithms”, Sensors, 21(9),2910, 2021.
M. de Bardeci, C. T. Ip, and S. Olbrich, “Deep learning applied toelectroencephalogram data in mental disorders: A systematic review,” Biol.
Psychol., vol. 162, p. 108117, May 2021.

Technology.

†1 KENTAROU KANAI,KEI SUZUKI,MIDORI SUGAYA, Shibaura Institute ofⓒ2022 Information Processing Society of Japan82

情報処理学会 SIG-BTI シンポジウム

[4]
[5]

[6]

[7]
[8]

Soraia M, et al, Emotions Recognition Using EEG Signals A Survey, IEEE
Transactions on Affective Computing, pp 1- 12 June 2017.
Salma Alhagry，Aly Aly Fahmy，Reda A. El-Khoribi．Emotin Recognition
based on EEG using LSTM Recurrent Neural Network．IJACSA．vol. 8，
No. 10，2017．
栁澤 琢史,畑 真弘,福間 良平,石井 良平,吉山 顕次,原田 達也,池田学, 貴島 晴彦.安静時脳波・脳磁図に深層学習を用いた認知症診断.日
本脳神経外科認知症学会誌,2021 年１巻１号 p1-6.
Konstantine K.Zakzanis,Richard Mraz,Simon j.Graham.An fMRI study of
the Trail Making Test.Neuropsychologia,Volume 43,Issue13,2005,p18781886.
Reitan, R. M. . The relation of the Trail Making Test to organic brain
damage. Journal of Consulting Psychology, 1995.19(5),p393–394.

ⓒ2022 Information Processing Society of Japan83

情報処理学会 SIG-BTI シンポジウム

リアルタイム心拍変動計測とフィードバックによるアンガーマネジメントゲーム
吉岡佑†1
菅谷みどり†2
芝浦工業大学†1 芝浦工業大学†2
1. はじめに
近年教育機関では予防的な心理教育としてアンガーマネ
ジメントという手法が注目されている．アンガーマネジメ
ントにより日常的な感情制御ができることは望ましいにも

図1

プレイ回数増加による分析指標の変化関わらず，実験環境を用意する事が難しく,定量的な計測か

3. 今後の課題

らの分析が難しい課題がある. そこで,小規模かつ客観的な計測手法を応用したゲームを用いた感情抑制手法を提案す本研究では実験協力者の実生活から離れた状況におけるる．アンガーマネジメントの手法をアクションゲーム形式

実験が問題と考えられる課題が複数あった.特にこの感情制に落とし込む事で，エンターテイメント性を持たせ，楽し

御能力の習得が実生活に繋がっているのかという疑問は重みながら課題に取り組めることとした．ユーザの感情を取要である.

り 込 む こ と で プ ロ ッ ト を 調 整 す る 構 想 をそこで普段から特定のゲームを継続プレイする人を実験

AffectiveComputing と呼ばれ[4],ゲームに応用した物は対象者として選び,プレイ中の心拍データを計測.そこからAffectiveGaming と呼ばれる.AffectiveGaming はその特性

過剰なストレスを検出した時システムから気分転換を促す

上感情制御の一種であるアンガーマネジメントとは相性が等のアドバイスを提示する.これを長期間繰り返した時にス良いと考えられる.[5]トレスを抑える感情制御能力が向上するという構想である.

2. アンガーマネジメントゲーム
2.1 概要参考文献[1]文部科学省初等中等教育局児童生徒課.平成 30 年度児童生徒

私は”ストレスを抑えないとクリアできないゲーム”をの問題行動・不登校等生徒指導上の諸課題に関する調査結果について” 平成 30 年版．
https://www.mext.go.jp/b_menu/houdou/31/10/1422020.htm (参照 2020-07-28)[2]大友良平，本田恵子．” 小学校における予防的心理教育としてのアンガーマネージメント D プログラムの理論的枠組
み”早稲田大学大学院教育学研究科．2020．vol7-2．137148p[3]Novaco RW.Anger control:The development andevaluation of an experimental
treatment.Lexington,MA:Lexington Books,1975[4]T. S. Saini, M. Bedekar and S. Zahoor, "Analysing human feelings
by Affective Computing - survey," 2016 International
Conference on Computing Communication Control andautomation (ICCUBEA), 2016, pp. 1-6, doi:
10.1109/ICCUBEA.2016.7860017.
[5]I. Kotsia, S. Zafeiriou and S. Fotopoulos, "Affective Gaming: A
Comprehensive Survey," 2013 IEEE Conference on Computer
Vision and Pattern Recognition Workshops, 2013, pp. 663-670,
doi: 10.1109/CVPRW.2013.100.
[6]Yuhei Ikeda, et. al.. “Estimate Emotion with Biological[7]Switch Science, 心拍センサー, https;//www.switchscience.com, 2010

繰り返す事で制御能力が身につくと仮定して実験を行った.実施者の感情がイライラやストレスに対して過剰な反応を見せた時にゲームの難易度を上昇させる. 難易度が上がればこのゲームをスムーズにクリアする事が困難になる
為,ゲーム中は自分の精神状態を落ち着かせる必要がある.
このような設計にする事でこのゲームを繰り返し長く行うと,段々とイライラやストレスへの耐性つまりは感情制御能力の向上が発生すると考えられる.
2.2 評価指標
生体情報を用いた感情を推定では，心拍変動指標である
pNN50 も と に 算 出 さ れ る 値 を 正 規 化 し た を 用 い た[6].pNN50 は，イライラ（交感神経優位）とリラックス（副交感神経優位）な状態を計測可能である．計測を行う
脈拍計には switch science 社の脈拍センサー[7]を用いた.
2.3 予備実験結果
ゲームのプレイ回数増加に伴う結果から，ゲームを複数回プレイした実験協力者は感情制御能力が上昇する結果得られた．ゲームを繰り返しプレイする事がアンガーマネ
ジメントの手法として成立した事が示せたと考えられる.

ⓒ2022 Information Processing Society of Japan84

情報処理学会 SIG-BTI シンポジウム

筋電信号を用いた着脱可能なウェアラブルサイレントスピーチインターフェースの開発
黒瀧悠太 †1
GMO ペパボ株式会社ペパボ研究所, 横浜国立大学 †1

太田裕貴 †2横浜国立大学 †2

1. はじめに
音声情報を用いることなく発話内容を認識することができるサイレント音声認識に関する研究が多く存在している．
口の周りに複数の電極を貼ることで，筋電信号を読み取り発話認識する方法 [1, 2] や，ビデオカメラで唇の動きを取得
し，深層学習モデルで分類する研究 [3] がある．
ビデオカメラでの計測はプライバシーの問題や暗い場面
においては認識することが難しくなるため，表面筋電位を特徴量として使うことはこれらの問題を解決できる．

図1

しかし，口の表面筋電位を計測するために，複数の電極デバイスの作製プロセス

Figure 1 Fabrication Process

を口の周りに貼り付ける必要があり，利用したくない時でも筋電信号を読み取ってしまうことや，顔に電極が付着している状態は日常生活の食事などの動作を阻害することに行っている．また，筋電信号は微弱な信号のためノイズの繋がる．本稿では手に装着した複数の電極を利用時のみ顔影響を受けやすい，ハイパスフィルタ，ローパスフィルタをに当てられ，無発声で発話認識を行うデバイスを作製する．

利用し，筋電位計測に必要な周波数帯を取り出すように回口の周りの筋電位を取得し，その筋電位の情報から機械学

路設計を行った．
フレキシブル基板上に回路を作製し，フィルタや信号を増習モデルを通して単語の分類を行った．

幅するためにオペアンプ，抵抗，コンデンサ，基準電圧 ICを配置した．Ecoﬂex™ 00-20(Ecoﬂex)[4] を 3D プリンタで2. 作製プロセス

作製したモールドに流し込みオーブンで硬化させ，その後

現在作製しているデバイスは手の指に装着し，顔の表面筋

モールドから Ecoﬂex を剥がしフレキシブル基板を載せた．

電位を計測するための電極が 3 本と筋電信号を増幅する回

指先の基板と手の甲のフレキシブル基板の回路を接続す路，取得したデータを解析する機械学習モデルを実行するるためにレーザー加工したポリイミドフィルムを用いて，液ソフトウェアで構成される．口の周りに電極を当てて，声を体金属ペーストをスクリーンプリントした．その後，信越出さずに発話した時の筋肉の動きから発話内容を推定する．

シリコーン [5] を基板と配線の接続部分に塗布して硬化させ

Ecoﬂex で配線部分を覆った．顔の皮膚と接触する電極面に2.1. 回路の作製は基板上に配線された銅線上に銀ペーストを塗布した．

筋電位計測のための回路を作製した．本研究で利用する

2.2. 筋電位の計測

電極は導電性ゲルが必要な湿式の電極ではなく，ゲルを使わなくても筋電位計測が可能な乾式電極をソフトマテリア

オシロスコープで計測した筋電位を図 3 に示す．本研究

ルと組み合わせて作製する．導電性のゲルがない場合は電で作製したセンサーは 1.6V を基準電圧として，0V から

極と皮膚の接触インピーダンスが高くなるため，電極の近3.3V の間で動作する．人差し指・中指・親指に電極を外向

くにボルテージフォロワを配置し，インピーダンス変換をきに装着し，顔に当てて同時計測が行えることも確認した．

Manuscript Format for Kickoﬀ Symposium of IPSJ Behavior
Transformation by IoT (BTI)†1†2

YUTA KUROTAKI, Pepabo Research and Development Institute, GMO Pepabo, Inc., Yokohama National University
HIROKI OTA, Yokohama National University© 2022 Information Processing Society of Japan85

情報処理学会 SIG-BTI シンポジウムを用いて 300epoch まで学習を繰り返したところ 100epochの時点で 99.9% の正答率となり，テストデータに対しても同様に分類ができることを確認した．

4. まとめと今後の予定
着脱可能な手に装着するサイレントスピーチインター
フェースを作製し，口の周りの筋電位を計測できることを確認した．また，機械学習モデルを構築して 3 単語の分類を行いデバイスとしての実用化に向けた実験を行った．
今後は機械学習で認識する単語数を 20 単語以上に増やしていくことで，日常生活において Google Home[6] やAmazon Alexa[7] などの VoiceUI にアクセスするためのイ
ンターフェースとして活用できるようになると考える．また，デバイス自体の厚さも薄くすることで皮膚への密着性
図2

作製したデバイス (指一本分)が高くなるような作製プロセスの確立を目指す．

Figure 2 Fabricated device (one ﬁnger)

参考文献

図3

[1] Kapur, A., Kapur, S. and Maes, P.: Alterego: A personalized wearable silent speech interface, 23rd International
conference on intelligent user interfaces, pp. 43–53 (2018).
[2] Wand, M., Janke, M. and Schultz, T.: The EMG-UKA
corpus for electromyographic speech processing, Fifteenth
Annual Conference of the International Speech Communication Association (2014).
[3] Sun, K., Yu, C., Shi, W., Liu, L. and Shi, Y.: Lipinteract: Improving mobile device interaction with silent
speech commands, Proceedings of the 31st Annual ACM
Symposium on User Interface Software and Technology,
pp. 581–593 (2018).
[4] Smooth-On, I.: Ecoﬂex™ 00-20, Smooth-On, Inc. (online), https://www.smooth-on.com/products/ecoﬂex-0020/ 2022-03-10.
[5] 信 越 シ リ コ ー ン オ イ ル ，Shin-Etsu
ChemicalCo.,
Ltd.（ オ ン ラ イ ン ） ，
https://www.silicone.jp/products/type/oil/index.shtml
2022-03-10.
[6] Google:
Google Home, Google, Inc. (online),
https://developers.google.com/home 2022-03-10.
[7] Amazon.com: Amazon Alexa Voice AI, Amazon.com,
Inc. (online), https://developer.amazon.com/en-US/alexa
2022-03-10.

計測した筋電位Figure 3 Measured EMG potentials

3. 機械学習による単語分類
取得した筋電位のデータから単語の分類を行うために機械学習モデルを作成した．5 層の全結合層で活性化関数には ReLU を使用した．各層のニューロンの数は 100 個で最後の出力層のみ 3 個のニューロンを設定している．今回
は単語分類を行うために最終層の活性化関数に Softmax 関
数を使用し，最適化関数には RMSProp，損失関数には交差エントロピー誤差を利用した．作製したデバイスを手に装着して，指の電極を口の周りの皮膚に当てて 1 秒間の間に”OK”と”NO”と”PLAY”という英単語の無発声発話を行った．各単語ごとに学習用に 20 個のデータとテスト用に
4 個のデータ収集して単語の分類を行った．集めたデータ© 2022 Information Processing Society of Japan86