情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A01
2018/3/5

Laugh Log × Bloom:
腹巻型笑いログシステムによる笑いの可視化の提案
島﨑 郁花1

上岡玲子1

概要：本研究は圧力を計測可能なテキスタイルセンサを内蔵した腹巻き型圧力計測システムを製作し，日常で装着した状態で笑いを検出，記録することを目的とする．本論文では笑いログシステムの活用方法の一つとして笑いの可視化を提案する．紫外線により色が変化するインクを塗布したコサージュを製作しスカーフに取り付けた．笑いに合わせて花を着色することで，笑いを強調し，自己の感情の認識や共有の手助けとなることを狙うものである．またシステムのデモ展示を行ったのでそれを含めて報告する．

Laugh Log × Bloom:
Visualization of Laughter with E-textile Bellyband Interface
Ayaka Shimasaki1

Ryoko Ueoka1

Abstract: In this study, we propose Laugh Log, an e-textile bellyband interface for laugh detection. LaughLog measures pressure on the abdomen and detects laughter based on pressure changes. In this paper, wedeveloped a system of visualize laughing with Laugh Log. We made a scarf with flowers that change color
by UV. When a user laughs, UV-led turns on and makes flowers bloom. This system helps to recognize andshare emotion by emphasizing when it laughs.

1. はじめに『腹』に着目し，テキスタイルセンサを用いて腹部の圧力変化を計測することで自然な笑いを記録する腹巻型笑いログ

笑いは良好な人間関係の構築や，健康に良い影響があるシステムの構築を目指す．これまでの研究 [2][3] で，笑いと言われており関心の高い話題である．また，笑いによっを誘発する実験環境で計測実験を行い，その計測結果を用てストレスが解消された，生活の質が向上したと感じる人いて深層学習を行った．それにより本システムの身体の動も多い [1]．しかし，どれくらい笑うと健康によいのかときを伴わない状態での笑い検出の可能性が示された．本論

いった具体的な指標はまだ明らかにされていない．近年，

文では試作した笑い計測システムの活用法として笑いを可ウェアラブルデバイスなどが身近になり手軽に様々なライ視化するシステムを製作した．笑いを可視化し，強調するフログを取得できるようになったが，笑いのような感情にことで，自分自身の感情を認識したり，周囲の人間へ感情関わる指標を定量的に記録する方法は確立されていない．

を共有したりする手助けとなるシステムを提案する．

そこで日常生活で笑いを定量化し，笑いのライフログが取得できれば，健康増進や QOL の笑いとの関係が明らかになり，笑いに着目した QOL の向上などに役立てられるのではないかと考えた．

2. 関連研究2.1 笑いに基づくライフログ
現在，顔や音声，横隔膜近傍の皮膚表面電位などによるそこで本研究では，笑いの中でもポジティブなものである，笑い検出の方法が提案されている [4] が，その中でも日常おかしさや面白さから生じる自然な笑いを検出するために生活の中で笑いに基づくログを取る研究例として爆笑計 [5]1

九州大学
Kyushu University, Fukuoka, Fukuoka, Japan© 2018 Information Processing Society of Japanやメガネ型ウェアラブルデバイスで笑顔を検知し，動画にタグ付けするシステム [6] などが提案されている．前者は529

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A01
2018/3/5

咽頭マイクロホンにより声帯振動を検出し，繰り返し発声が行われるという笑い声の特徴を用いて笑いを記録している．後者はフォトリフレクタを用いたメガネ型のシステムで顔の筋肉の動きを検知し笑いを検出している．しかし，池田らの研究 [4] では顔や音声での笑い検出では作り笑いも検出されてしまうのに対して，腹での検出では作り笑いには反応せず，感情からおこる笑いが検出可能であると指摘している．本研究では健康や QOL に関係があると考えられるポジティブな笑いの検出と記録を目的としているため，腹（横隔膜）の動きによる笑い検出を目指す．

図 2試作システムの概要 [2]Fig. 2 Laugh Log prototype[2]2.2 感情の強調
涙ホタル [7] では涙センサを用いて，ユーザが涙を流したときに目元についた青い led を点灯させることで，涙を流したことを演出・記録して他人に共有するシステムである．
また笑い増幅器 [8] はユーザが笑ったことを検出し，ユーザの笑いに同調させて笑い声を再生させることで笑いを増幅させている．このようにユーザの感情に基づいたフィードバックを返すことで，感情を共有したり増幅したりできる可能性がある．本論文で作成したシステムも笑いに合わせたフィードバックを返すことで笑いを強調し，共有する手助けとなることをねらうものである．

3. 腹巻き型圧力計測システムの概要図 3 試作システムの着用の様子 [3]Fig. 3 A subject wearing the of Laugh Log[3]3.1 テキスタイルセンサ
本研究で使用するテキスタイルセンサ (図 1) は導電性素材を含む糸と綿糸とを交撚した糸で製織されたものであ

3.2 腹巻き型圧力計測システムの試作

る．センサは縦方向に導電性素材を含む糸が織り込まれた

テキスタイルセンサを用いた腹巻き型の圧力計測システ層と横方向に織り込まれた層の二層構造であり，圧力がかムを試作した．システムは伸縮性のある布でできたコルかると縦横の導電性素材を含む糸が交差する部分の導電糸セット仕様の腹巻きとし，腹部のポケットの中にテキスタ間距離が変化することで静電容量が変化する．その静電容イルセンサを内蔵し，計測器を腹巻き下部に付属したポ量の変化を圧力値として使用する [9]．6 × 14 のマトリッケットに収納した (図 2)．腹部にかかる圧力を調整するたクス状に計測でき，計測機器は bluetooth で計測値を無線

め背面をリボンで編み上げ，個人の体型にあわせ着用時の通信する．本研究では 10Hz の精度で計測を行う．

センサにかかる圧力を調整できるようにした．長時間のログを取ることを目的に日常生活で着用できるように装飾を施した．図 3 に着用した様子を示す．

4. 試作システムによる笑い検出
4.1 笑い検出予備実験
試作システムでの笑い検出の可能性を検討する実験を行った（男 2 人，女 8 人，平均 21.5 歳)．日常生活で笑いが生じる状況として「動画を見る」「友人と会話する」の 2つを設定した．はじめに 1 分間安静状態を計測し，その後動画を見る，会話をするという流れで，それぞれ座位姿勢と立位姿勢の 2 条件で各 5 分間計測を行った．計測は 10データごとの移動平均を記録した．計測中は正面から被験
図 1

テキスタイルセンサ [2]Fig. 1 e-textile sensor[2]© 2018 Information Processing Society of Japan者の様子を撮影し，映像と音声から笑ったタイミングを抽出した．実験条件の概要を図 4 に示す．

530

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A01
2018/3/5

行った．分類の結果は，正解の確信度の低いものは不正解となるように，笑いと分類された区間が頻発する場合は一つの笑い区間となるように補正を行った．また，この実験での計測結果は時間経過による上昇傾向が見られたため，データから 30 秒ごとの移動平均を引くことで上昇傾向を
図 4

実験条件概要 [2]Fig. 4 Experiment outline[2]4.2 深層学習を用いた分析
計測結果の分析には圧力分布の平均値を用いる．これまでの研究 [2][3] で笑い発生時に急激に圧力値が減少する特徴を利用して深層学習を行った．計測結果の一例を図 5 に示す．青い線が計測された値を 0 から 1 に正規化したもの
で，赤い編みかけが実際に笑っていた区間を示す．本研究では圧力センサーで計測した，このようなデータを用い深層学習による笑い検出を検討する．
実験中の 5 分間のデータから 0.1 秒ずつスライドして取り出した 5 秒間分のデータである 50 次元のベクトルを 1 サンプルとして学習を行う．ベクトルの中心値が笑っていた
区間に含まれていたものを正解，ベクトル中に笑っていたデータを含んでいないものを不正解として学習を行ったところ，正解率が 86%，再現率は 88%となった．
作成した学習モデルを用いて以前の実験に参加していない被験者一人（女，24 歳）についての計測結果を分類し，深層学習の笑い検出能力を評価した．計測は座位姿勢と立位姿勢の各姿勢 3 回ずつ，友人と会話したり，他人の面白い話を聞いたりと笑える状況を自由に設定し５分間の計測を解消したのち，0 から 1 に正規化して分類を行った．
その結果，多少の誤検出や笑い区間のズレはあるものの本システムが笑い検出の手法として有効である可能性が示された．補正した分類結果を図 6 に示す．赤い編みかけが笑っていた区間，緑の編みかけが笑いと分類された区間，オレンジの編みかけが笑っていた区間で，かつ深層学習で笑いと分類された区間を表す．

4.3 Laugh Log の今後の展望
これまでの研究で実験室内の限られた条件下での笑い検出の可能性が示された．しかし日常生活における検出では様々な体の動きを伴う計測結果からの笑い検出が必要となる．そこでいくつか日常で想定される笑いシーンを設定し計測を行うことで，深層学習の強化を図っていく．

5. Laugh Log × Bloom の製作
5.1 Laugh Log × Bloom のシステム概要
Laugh Log のユーザーシナリオの一つとして笑いの可視化を提案する．笑いは楽しさや面白さが大きいほど笑いの量が増え，また笑った後も楽しさが余韻として残る特徴がある．笑いを可視化するシステムとして量的な表現と余韻の表現ができることが望まれる．そこで本論文では，紫外線によって色が変化するフォトクロミックインクを塗布したコサージュを取り付けたスカーフを製作した．インクは
サニーカラー [10] のピンクの水性インクを使用し，紫外線の照射は UV-led を使用した．フォトクロミックインクを使用することで任意のタイミングで花を着色でき，また紫外線照射後もしばらく着色された状態を保持できる．
また現在の笑い検出システムではリアルタイムの検出は困難であるため，マネキンに Laugh Log システムを着用さ

図 5 計測結果の一例 [3]Fig. 5 Raw data overlapping laughter period[3]せ，マネキンの腹部を押す時間を笑った時間に置き換えて花の着色を行う．腹巻きが押された圧力変化により led を点灯させ，花を着色させる．また花を十分に着色するためには４秒程度の照射が必要であったため，腹巻きが押されると４秒間 led を照射し，押した時間が長いほど時間差で多くの花に色がつくシステムとした．
花を着色させるためには広い範囲のインクに均等に紫外線が当たり，かつコサージュとして違和感のないように ledを設置する必要がある．そのため指向角が 100 度と広角なled を使用することで低い位置から照射できるようにし，led の足を曲線にすることで花として違和感なく設置した．
図 6 補正した分類結果の一例 [3]

製作したコサージュを図 7，スカーフを図 8 に示す．なお

Fig. 6 Processed data overlapping classification result[3]© 2018 Information Processing Society of Japan531

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A01
2018/3/5

6. まとめと今後の展望
腹巻き型笑いログシステム Laugh Log を使った笑いの可視化の提案を行った．紫外線で色が変化するフォトクロ
ミックインクを使用したコサージュ製作し，コサージュを図 7 左：製作したコサージュの正面，中：横から見た図，
右：led 照射後Fig. 7 Left: Corsage, Center: Side of corsage,
Right: After irradiation

スカーフに取り付けた．笑いに合わせて UV-led で紫外線を照射することで花が色づくシステムとした．現システム
ではリアルタイムな笑い検出が困難なため，腹巻きを押している時間を笑っている時間と置き換え，長く押しているほどたくさん笑ったとし，多くの花が色づく設計とした．
製作したシステムをデモ展示したところ，笑いの関心の高さを確認できたとともに，ファッションに取り込むことで機械的なシステムでも親しみやすいことが確認できた．またウェアラブルなシステムを作る上で見た目の良さは大変重要な要素であることが感じられた．
今後の展望としては Laugh Log の深層学習を強化するための実験を行い，日常生活の中での笑い検出を目指す．また
長時間のログをとることで 1 日のうち，いつ笑っていたのかをユーザーにフィードバックし，楽しかった思い出を想起させる手助けとなったり，今回製作したスカーフのような直接笑いを可視化し強調することで，楽しんでいること

図 8製作したスカーフ

Fig. 8 Scarf

を自分も周囲の人もより認識しやすくし，楽しさ，面白さを感じやすくするシステムなどに応用したいと考えている．
謝辞

コサージュの花弁の製作およびスカーフへの配置は文化服

本研究は JSPS 科研費 15H01765 の助成を一部受けたものです.

装学院の専門家が行った．
参考文献

5.2 ファッションショーでのデモ展示
文化服装学院の教員が参加したシニア向けのミニファッションショー&トークショーに参加し，ショーの最後とその後の販売会でデモ展示を行った．ショーにはシニア世代の一般の方々が観覧に来ており，・よく笑うからこういうのがあれば使ってみたい・機械的なものでも服になっていると違和感がない・かわいらしいなど好意的な感想をいただけた．また笑いと健康の話題については観客のみなさんが頷く場面もあり，笑いの関心の高さが確認できた．展示の様子を図 9 に示す．

図 9

展示の様子

Fig. 9 Demonstration© 2018 Information Processing Society of Japan

Ramon Mora-Ripoll：The therapeutic value of laughter inmedicine，Alternative therapies in health and medicine,vol. 16, no. 6, pp. 56–64, 2010.
[2]
島﨑郁花，上岡玲子：テキスタイルセンサを用いた腹巻き型笑いログシステムの検討，第 21 回 日本バーチャルリアリティ学会大会論文集，2016[3]
島﨑郁花，西村太一，上岡玲子：テキスタイルセンサを用いた腹巻型笑いログシステムによる笑い検出の検討，第22 回 日本バーチャルリアリティ学会大会論文集，2017[4]池田資尚, 板村英典, 池信敬子, 森下伸也：顔・喉・腹の「3 点計測システム」による「笑い」の客観的分類法の検討, 笑い学研究 19, pp.75-85, 2012[5]
松村雅史, 辻竜之介：笑い声の無拘束・長時間モニタリ
ングー爆笑計ー, 電子情報通信学会 信学技報, pp7-12,2005[6]
福本くらら，寺田努，塚本昌彦：ライフログにおける自動タグ付けのための笑顔認識機構の設計と実装，情報処理学会研究報告，Vol. 2, No. 4, pp. 1–8, 2013[7]
三谷真梨奈，筧康明：コンテンツ鑑賞時の涙を演出・記録するためのセンサとその応用の提案，第 18 回 日本バーチャルリアリティ学会大会論文集，2013[8]
福嶋 政期，橋本 悠希， 野澤 孝司， 梶本 裕之：笑い動作検出に基づいたラフトラック再生手法による笑いの増幅,
エンタテイメントコンピューティング 2009，2009[9]
島上祐樹ほか：センサ織物の生体計測分野への応用, あい
ち産業科学技術総合センター 研究報告 2013, pp94-97,
2013[10] http://kiroku-s.com/sunny.html（2017/12/24 現在)[1]532