2021年11月26日

一般財団法人日本国土開発未来研究財団

中間発表（2019年度採択）

人間の行動・バイタルデータを対象とした感性推定方式とWell-beingに都市着目した持続可能サイクルの実現* 中西佐々木崇文
史織

武蔵野大学データサイエンス学部

准教授

武蔵野大学データサイエンス学部

准教授

福原義久

武蔵野大学データサイエンス学部

准教授

中村亮太

武蔵野大学データサイエンス学部

准教授

岡田龍太郎

武蔵野大学データサイエンス学部

助教

第１回

研究成果発表会

研究⽬的
現在，⼈々が住みやすい住環境づくりや都市づくりにおいては，単なるインフラレベルで考えるだけでなく，⼈々が⼼地よく幸せに⽣活できるためにはどのようにすべきかに重点が置かれつつある．SDGs においても，「住み続けられるまちづくり」が挙げられており，特に持続可能で強靭なまちづくりの重要性が注⽬されている．
これらを実現するために必要なことは，その都市に住む⼈々それぞれの幸せ―Well-being―を最⼤化することである．Well-being が⾼い住環境・都市であれば，⼈々の⽣産活動も効率性⾼く⾏われることが予測される．しかし，Well-being は現状では抽象的な概念に過ぎないため，その向上を⽬標とするためには指標化を⾏う必要がある．Well-being は⼈々の⼼理状態に深く関わる概念であるため，その指標化には，⼈間の⾏動や感情が把握できなくてはならない．これをデータ・ドリブンに⾏うためには，住環境・都市のインフラやファシリティの質や効率化を図るためだけでなく，あくまでもそこに居住し⽣活をする⼈々に着⽬し，その⼈々の⾏動，バイタルデータを取得し，データマイニングや AI 技術を⽤いて⼼理状況を含めた感性を推定することで，その⼈々の Well-being を最⼤化する改善をし続ける"Human-centric Wellbeing City"を実現することが重要である．しかしながら，"Human-centric Well-being City"を実現するための，データ・ドリブンな分析・処理・可視化システム環境が全く整っていないのが現状である．
本稿では，Well-being が⾼い住環境・都市を⽬的とし，その⼈々の⾏動，バイタルデータを取得して，データマイニング技術を⽤いることで感性を推定する，新たなバイタル感性推定モデルを実現する．本報
告では，特に，バイタルデータとして，⼼拍，脳波などを想定する．また，これらの感性の時系列変化を感性遷移と位置付け，感性遷移の類似度計量を可能とする時系列感性・意味波形モデルを実現することで，感性遷移の評価を実現する．さらに，住環境・都市内において，個々に推定した感情を元にして，フィードバックし，個⼈を誘導することで，より Well-being ⾼い環境を実現する取り組みについて紹介する．

研究全体構想本研究の全体構想図を図 1 に⽰す．これらの問題の解決策として，本提案では，データ....

センシング基盤，データ活⽤基盤，感性推定)

Recognition

ファシリティをつなぐ相関分析技術といった各技術基盤・⽅式の基礎研究を⾏うとともに，))).........

)

⼤学のキャンパスを実際の住環境・都市のモデルケースと⾒⽴て，これらの技術を弊学キ

Kansei-facility
AssociationOperator

性を起こす起源となった都市内のインフラやKansei Transformation
Operatorのための AI 技術，その⼈間の感性とその感etc.
(ャンパス内で実装，実践，検証を⾏い，実践研究を展開する．

Implementation

つ ま り ， 弊 学 内 で "Human-centric Well-

図 1：本研究の構想の概要

being Campus"を実現し，実際の住環境・都市("City")へ適⽤するための事例として展開していく．これらを実現する，データ・ドリブンな分析・処理・可視化システム環境は，右図の通り，データセンシング基盤，データ活⽤基盤，感性推定部，相関分析部に分かれる．
"Human-centric Well-being Campus"を構成するデータ・ドリブンな分析・処理・可視化システム環境の- 3 -それぞれの基盤、機能群の⼀つ⼀つについては、新たなアルゴリズムを考案することから、論⽂発表はもちろんのこと特許性も⼗分⾼い。特に、感性推定部は全体としての感性傾向、分布を導出、俯瞰することを⽬標としており、これまでの Emotion AI の個々の感性の推定ではないため、⾮常に新規性もあり、マーケティング分野への応⽤も期待できる。推定していた感性がどのファシリティに関係しているかを導出する相関分析部においては、実際に推定された感性をどのように現実世界に適⽤すべきか導出する部分であり、Emotion AI の実際の応⽤への展開のための⼀⼿法として重要と考える。これらのように、各基盤・機能群のそれぞれの新規性、有⽤性は極めて⾼いと考えられる。
本稿では，感性推定部，および相関分析部について着⽬し，特に，感性の時系列変化を感性遷移と位置付け，感性遷移の類似度計量を可能とする時系列感性・意味波形モデルについて⽰す．

本研究の成果バイタルデータを⽤いた感情推定
我々は，これまで、⼈間のウェアラブルセンサーを通じたバイタルデータの分析研究として、研究代表
者中⻄は、NTT コミュニケーションズ株式会社との共同研究として、⼼拍数、加速度、⼼電波形などがリアルタイムで測定可能な Hitoe®[2]を⽤いた予備研究を始めている．その成果として，Vital MemorialSigns[1]と呼ばれる，⼼拍数などのバイタルデータを随時取得する基盤を構築し，そのバイタルデータから感情を読み取りながら，様々なシーンの写真を撮影することにより，写真にバイタルデータから起因する感情情報メタデータを付与しデバイス内に格納することで，それぞれの写真を感情の起伏によって検索ができるシステムを実現している．
また，我々は，本学術助成プロジェクト内において，脳波と⼼拍データ、ユーザのアンケートデータの間の時系列変動の相関を計測することにより，感情の推定モデルを構築する⼿法を実現している．
さらに、我々は，⽂献[3]において，⽬線を眼鏡型カメラデバイスによってデータ取得し，⽬線データから happiness, fear, anger, disgust, surprise, sadness の 6 情動の度合いの認識を可能としている。これにより，その空間に過ごす⼈々が眼鏡型カメラデバイスをつけて⽣活することにより，現実に⽣じた事象とそれに起因する感情との関係を集約することが可能になると考える．

感性遷移の類似度計量を可能とする時系列感性・意味波形モデル
上記の感性推定はある⼀定の時間ごとに実⾏されることが望まれる．その際，⼀般に，⼈間の感性は，時系列的な変化があり，それらの意味や印象は時間とともに変化いくものである．⼈間の感性は，相対的な時系列における受けた刺激の特徴の変化によっても意味的な感性遷移を表現する．
我々は⽂献[4][5]は，意味の時間的変化による類似性尺度を実現する意味的波形モデルを提⽰している．
⼈間の感性を理解するためには，意味や情動の時系列的な変化を捉えることが重要である．意味や情動の時間的変化による類似性尺度を実現すると，過去の感性遷移との類似性に基づいて適切な⾏動、アクションを推薦することが可能になると考えられる．本モデルでは，⼈間の感性を喚起させる時系列的に変化するメディアコンテンツの集合を対象とし，メディアコンテンツの時系列的な意味変化を意味波形として抽出し，その意味波形を意味周波数スペクトルに変換して類似性指標を定義する．このモデルに基づいて類似性指標を実現することで、対象となるメディアコンテンツの意味の時系列変化に基づいた新しいメディアコンテンツ検索・推薦システムを実現する．
私たちのモデルの特徴は以下の通りである．
•時系列的な意味の変化を 1 つ以上の感性・意味的な波形として表現する．メディアの各コンテンツ- 4 -を対象にして，感性・意味的な波形を抽出する．
•

感性・意味の側⾯が複数ある場合，その同じ数の感性・意味波形で意味の時系列変化を表現する．

•

各感性・意味波形を，時系列の変化を維持したまま意味周波数スペクトルに変換して圧縮する．

•

本モデルでは，メディアコンテンツの意味，感性変化に対応する意味的周波数スペクトル間の類似性尺度を提供する．

図 2 に時系列完成・意味波形モデルの概要を⽰す．
本モデルは感性を喚起しうる時系列メディアコンテ

Time-series media
content B

Time-series media
content A

ンツ間の感性的な類似度を計量するモデルである．
本モデルでは，⼈間が感性を喚起しうるメディアコ

Semantic
Waveform
Extraction

ンテンツの時系列変化による感性・意味の変遷を，複数の感性・意味波形で表現する．感性・意味遷移

Semantic
Waveforms

を複数の波形で表現することで，信号処理技術を⽤いて感性・意味遷移の評価を算出することが可能となる．信号処理技術を⽤いれば，時系列データの類似性を計算することが可能となる．本モデルでは，Similarity measure
between eachsemantic frequency
spectracorresponding tochanges in meaning,impressions, andstoryline of media
content A and B

Semantic
Waveform
Extraction
Semantic
Waveforms

Time-Frequency
Transformation

Time-Frequency
Transformation

Semantic
Frequency
SpectraSemantic
Frequency
SpectraTime-Frequency Transformation モジューにフーリ

Similarity Measure

エ変換を適⽤する．これにより，複数のセマンティック波形をセマンティック周波数スペクトルに変換

図 2：時系列感性・意味波形モデルの概要図

します．さらに，各メディアコンテンツから抽出された感性・意味的周波数スペクトルの間で類似性測定を⾏う．
本モデルは，時系列のメディアコンテンツから喚起される感性・意味的な変化や印象的な変化に基づくデータ管理システムを実現することが可能となる．時系列の感性・意味的変化に基づくデータ管理システムを実現するためには，メディアコンテンツから時系列の感性・意味的メタデータを抽出する機能を実現し，意味的周波数スペクトルとして抽出された意味的メタデータの類似性を新たに設計する必要がある．
本モデルは，Kansei Semantic Waveform Extraction モジュール，Time-Frequency Transformation モジュール，Similarity Measure モジュールで構成される．これらについては，⽂献[5]において発表済みであり，下記はそれを要約したものを⽰す．
図 3 に Kansei Semantic Waveform
Extraction モジュールの全体像を⽰す．
Kansei Semantic Waveform Extraction モジ
1) メディアコンテンツをウィンドウサイズ数に分割：
意味を表現できる最⼩の時間をウィンドウサイズとして設定し，対象となるメディアコンテンツをウィンドウサイズに分割

t1

Window size

happiness

0.8
0.6

…………

ュールは下記のステップで実⾏される．

Magnitude

Time-series
mediacontentFeature
extraction

Semantictransformation0.4
0.2sadness02) Feature
3) Transformation t1 t2 t3 t4 ……… t
extraction from to semantic from 4) Determination of themagnitude of each
each feature
1) Divide media each divided
semantic aspect for eachcontent into the media contents
window
number of5) Creation of multiple
window size
semantic waveforms

図 3: Kansei semantic waveform extraction モジュールの概要する．
2) 分割された各メディアコンテンツからの特徴抽出
分割された各メディアコンテンツから特徴量を抽出する．これにより，メディアコンテンツの特徴の時間的変化を抽出することができる．

- 5 -3）各特徴量からの意味論への変換：抽出された特徴量から意味的に変換する．この変換には Media-lexicon Transformation Operator[15]を構成することで実現する．
4) ウィンドウごとの感性・意味的側⾯の⼤きさの決定：
ウインドウごとに，各意味的側⾯の⼤きさを導出する．図 3 の例では、「幸せ」の各ウィンドウの⼤きさと，「悲しみ」の各ウィンドウの⼤きさを⽰している．
5) 複数の意味波形の作成：
Step 4）で得られた各ウィンドウの各意味的側⾯の⼤きさについて，横軸を時間，縦軸を各意味的側⾯の⼤きさとすることで、複数の意味的波形を得ることができる．ここでは，メディアコンテンツの時系列変化による感性・意味的時系列変化を複数の感性・意味的波形として表現する．
図4にTime-Frequency
Semantic frequency spectra

Transformation モジュールの概要を⽰す．これらの感性・意味波形を感性・意味周波数スペクトルに変換し，感性・意味“happiness” waveform Magnitude
Magnitude

to “happiness”
frequency spectrum
happiness

10.80.6の時系列変化に基づく類似性測定を実現する．まず，対象となるメディアコンテ
ンツの感性・意味的な波形のサンプリン

0.4
0.2

sadness

0t1 t2 t3 t4 ……… t“sadness” waveform to“happiness” frequency
spectrum

各感性・意味波形を離散フーリエ変換

Semantic frequency
spectra vector
The vector ofFrequency"happiness"“sadness”
frequency spectrum
frequency spectrum and "sadness"frequency spectrum
in a single column.
Frequency

グ数が異なるため，リサンプリングによってサンプリング数を同じにする．次に，Magnitude“happiness”
frequency spectrum

図 4：Time-Frequency Transformation モジュールの概要(DFT)により感性・意味周波数スペクトルに変換する．さらに，各感性・意味周波数スペクトルを 1 列にまとめた感性・意味周波数スペクトルベクトルを作成する． 例えば，図 3 では，"happiness "の周波数スペクトルと "sadness "の周波数スペクトルが感性・意味的な周波数スペクトルとして⽣成されている．
「幸せ」の周波数スペクトルと「悲しみ」の周波数スペクトルを 1 列に並べてベクトルを構成する．つまり，⼀つのメディアコンテンツから⼀つの感性・意味周波数スペクトルベクトルが⽣成される．この感性・意味スペクトルベクトルを圧縮して保存することで，メディアコンテンツの意味や印象の時系列的な遷移を定量化することができる．
最後に，Similarity Measure モジュールについて述べる．本モデルの類似性指標を⽤いることで，メディアコンテンツの時系列的な感性・意味の変遷に対応したメディアコンテンツの検索・推薦システムを実現することができる．感性・意味周波数スペクトルベクトルは，メディアコンテンツの意味や印象の時系列的な変化を表す．各メディアコンテンツから抽出した感性・意味周波数スペクトルベクトル間のコサイン値から得られる値は，感性・意味の時系列変化が類似しているか否かを⽰す．本モデルの特徴は，最終的に，感性・意味の変化に基づくメディアコンテンツ間の類似性を単純なベクトル間のコサイン尺度を⽤いて低コストで算出することにある．また，本モデルは，時系列データの感性・意味をインデックス化する新たな⼿法としても位置づけることができる．
これらを実現した例として，⼩説「吾輩は猫である」、「三四郎」、「こころ」、「⾛れメロス」を取り上げ，これらの抽出された感性・意味的波形，感性・意味周波数スペクトル，類似度計量結果を図 5, 図 6, 図 7に⽰す．これらの結果から，我々のモデルは，時系列における意味や印象の変化に基づいて類似性を測定するために使⽤できることがわかる．また，本モデルを⽤いた類似度測定は，DTW のような波形に対する直接的な類似度測定よりも低コストで計算することができる．今回の実験では，単⼀の感性・意味を持- 6 -つ波形で検証を⾏ったが，今後は複数の意味を持つ波形での検証が必要である．

「吾輩は猫である」

「三四郎」

「こころ」

「走れメロス」

図 5：各メディアコンテンツの感性・意味的波形(横軸：時間, 縦軸：ネガポジ度合い)「吾輩は猫である」「三四郎」「走れメロス」「こころ」

図 6：各メディアコンテンツの感性・意味周波数スペクトル

吾輩は猫である
吾輩は猫で 1.00000
ある
三四郎

三四郎

こころ

⾛れメロス

0.775280.705440.73005

1.00000

0.73204

0.73418

1.00000

0.75559

こころ
⾛れメロス

1.00000

図 7：類似度計量結果

今後の⽅向性や予定
現在，バイタルデータを⽤いた感情推定と感性遷移の類似度計量を可能とする時系列感性・意味波形モデルの研究がそれぞれ分かれて進捗している．これらの研究を統合し，バイタルを⽤いた時系列完成・意- 7 -味波形モデルを⽤いた感性推定を実現することが直近の課題である．これらを実現することにより，住環境・都市におけるそれぞれの時系列の感性を感性遷移として捉えることが可能となり，新たな Well-beingな都市のダイナミズムを実現することができる．
また，感情推定に基づいた住環境・都市におけるユーザの⾏動推薦についての研究を推進していく必要がある．それを実現する上で重要なキーワードとしてナッジ(Nudge)がある．ナッジ(nudge:そっと後押しする)とは，行動科学の知見(行動インサイト)の活用により，人々が自分自身にとってより良い選択を自発的に取れるように手助けする政策手法を指す．これまでナッジは，省エネ行動促進，貯金，肥満対策や野菜摂取促進などの医療や健康，環境保護で Ad-hoc に設計され，実行されてきている．推定した感性に応じて，Well-being な都市のダイナミズムを実現するナッジを設計し実現することが必要であるだろう．
さらに，ユーザを感性に応じて誘導する⽅法として，MR 技術を⽤いて実現することも想定される．例
えば，住環境・都市内に無数のマーカーを設置して，混雑具合，感性に応じて，マーカーに起因して出現する案内 MR コンテンツを動的に変更し提⽰する⼿法を実現することにより，ユーザは住環境・都市内で，気分に応じた過ごし⽅の推薦を MR を通じて得ることが可能になっていくと考えられる．
これらの技術を弊学内で"Human-centric Well-being Campus"として，実証実験を⾏なっていくことも課題である．弊学の学⽣に協⼒を仰ぎ，キャンパス内でのバイタルデータ取得，時系列感性・意味波形モデルを⽤いた感性推定，Nudge の実現，MR 技術の実装を進め，実際体験をしてもらう．これらを実証していくことにより，新しい住環境・都市のあり⽅を考察し，必要要因を洗い出すことによって，⼈々の Wellbeing を最⼤化する改善をし続ける"Human-centric Well-being City"を実現するための⼿法の提⾔をおこなっていく．

参考⽂献[1] https://www.nttdocomo.co.jp/biz/product/hitoe/[2]岩本実結, ⼩島圭⼦, 岡⽥⿓太郎, 中⻄崇⽂, Vital Memorial Signs:バイタルデータとアルバムの連携による思い出想起深化システム, マルチメディア，分散，協調とモバイル(DICOMO2021)シンポジウム, 3A2, pp.509‒516, 2021.
[3] A. Iskandar, T. Nakanishi, A. Basuki, R. Okada, T. Kitagawa, Gaze-music Media Transformation bySimilarity of Impression Words, 2020 International Electronics Symposium (IES), Surabaya, Indonesia, , pp.
655-661, 2020. doi: 10.1109/IES50839.2020.9231645.
[4] T. Nakanishi, R. Okada, R. Nakahodo, Kansei Transition Analysis by Time-series Change of Media
Content, In Proceedings of 2020 9th International Congress on Advanced Applied Informatics (IIAI-AAI
2020), pp.422-427, 2020
[5] T. Nakanishi, Semantic Waveform Model for Similarity Measure by Time-series Variation in Meaning,
In Proceedings of the 3rd IEEE/IIAI International Congress on Applied Information Technology (IEEE/IIAISCAI 2021), pp.382-387, 2021.
[6] T. Kitagawa and Y. Kiyoki, "Fundamental framework for media data retrieval system using media lexicotransformation operator," Information Modelling and Knowledge Bases, vol. 12, pp. 316‒326, 2001.

- 8 -