情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MBL-92 No.6
Vol.2019-CDS-26 No.6
2019/8/29– 博士論文速報 –都市環境分析におけるヒューマンインザループセンシングの研究松田 裕貴1,2 , a)

概要：近年，スマートフォンを始めとするスマートデバイスが広く一般に普及したことにより，人々や環境の状況（コンテキスト）に応じて適切な情報を提供する「コンテキストアウェア」なサービスが実現可能となりつつある．この「コンテキスト」は，従来では混雑度や天気といった客観的なコンテキストが中心であったが，近年では環境内の人の抱く心理状態（感情・満足度など）といった主観的なコンテキストにも注目が集まっている．こうした中で，都市環境に置けるコンテキストアウェアシステムを実現するた
めには，広大かつ複雑な空間において時間的・空間的な網羅性の高い情報収集が難しいことが課題となる．
そこで本研究では，都市環境に存在する人をセンシングシステムの一部として巻き込むセンシングフレー
ムワーク（ヒューマンインザループセンシングと呼ぶ）を提案する．ヒューマンインザループセンシング
は，「人がセンサを持ち運ぶ役割」を担うセンシング，「人自身がセンサの役割」を担うセンシング，の 2
つの関与レベルから構成される．本稿では，1) ヒューマンインザループセンシングによる客観的・主観的コンテキストの収集手法，2) 持続可能なデータ収集を実現するためのセンシング基盤，について取り組んだ著者の博士論文（http://library.naist.jp/dspace/handle/10061/13263）について概説する．

– Doctoral Dissertation Report –Study on Human-in-the-loop Sensing in Urban Environment Analysis
YUKI MATSUDA1,2,a)

1. 研究背景

例えば，環境内にセンサを散在させることにより情報を収集するセンサネットワークは古くより研究されており [2]，21 世紀の情報通信技術の発展に伴い，モバイルデバイス
ユーザは 50 億人を超え，スマートフォンやウェアラブルデバイスは我々の生活に欠かせないものとなった [1]．モInternet of Things（IoT）の登場により改めて注目が集まっている．また，近年の SNS の流行を受け，ソーシャルバイルデバイスを活用することによって，都市環境などのている [3]．しかし，センサネットワークは導入・保守・管屋外においても周囲の環境やユーザ自身の状況に応じて最理コストが大きいという性質，ソーシャルデータ分析は意

適なサービスを提供するシステム（コンテキストアウェア

図した時間・空間の情報を収集できない場合がある（ユーシステム）が実現可能となる．コンテキストアウェアシス

ザの発信をコントロールできない）という性質を持っていテムにおいては，時空間的に網羅性の高い情報が重要となるため，時空間的な網羅性を維持することが難しい．

るため，これまで様々な情報収集手法が提案されてきた．

データを分析することで環境情報を抽出する研究もなされ

そこで本研究では，都市環境センシングシステムに「人」を組み込むことで，上述の問題を解決した新たな情報収集

12a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所 革新知能統合研究センター（AIP）
RIKEN Center for Advanced Intelligence Project (AIP)
yukimat@is.naist.jp

c 2019 Information Processing Society of Japan⃝

手法（ヒューマンインザループセンシングと呼ぶ）の確立を目指している．図 1 は，ヒューマンインザループセンシングの枠組みを示している．ヒューマンインザループセン

1情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MBL-92 No.6
Vol.2019-CDS-26 No.6
2019/8/29




   

①   

② 
   











 

図 1 ヒューマンインザループセンシングによる都市環境情報収集③    ④       

    

図 2 NightRoadScanner のワークフロー

シングは，ユーザ参加型センシング [4] を基盤技術とした2 つのセンシング方式から構成される．
Human as a device carrier（HaaDC）
人を “デバイス運搬者” としてセンシングシステムに組

Extract

CompareCorrection

Correction
parameters

ApplyCorrection

Streetlamp 1

Streetlamp N

み込む方式．人々が有するスマートフォンなどのモバ
イルデバイスに搭載されたセンサを用い，直接的なセIlluminance transision A

Illumiance transition B

Correction standard

Correction target

Illumiance transition B’

ンシングを行うことで客観的な都市環境情報を収集する．人はデバイスを持って都市環境を移動する役割を果たすことでシステムに貢献する．

Human as a sensor（HaaS）
人を “センサ” としてセンシングシステムに組み込む
方式．人が五感を用いて都市環境を観測した際の「反User A

User B

Sensor characteristic: known

図 3

User B

Sensor characteristic: unknown

スマートフォン搭載照度センサ特性の較正手法

さ [6] は都市環境における重要な情報である．

応」をモバイルデバイスで収集することにより，通常

我々はこれまでの研究を通して，人々が街を歩いているのセンサでは測定できないような主観的な都市環境情

時にスマートフォン搭載センサを用いて位置情報付き照度報（例えば，ある場所で人が抱く感情）を収集する．

データを収集・分析することで街灯照度の推定手法を検討

人は都市環境の状況によって出力を変えるセンサとししてきた．図 2 はそのワークフローを示している．各段階ての役割を果たすことでシステムに貢献する．の提案手法については次の論文を参照されたい：街灯設置

2 章では，ヒューマンインザループセンシングの各方式（HaaDC・HaaS）について，それぞれ一つの題材を取り上げ環境情報収集手法を提案する．

位置推定 [7]，街灯種判定 [8]，街灯照度推定 [9]．
これまでの研究を通して，スマートフォンの機種間だけでなく，同機種間においても照度センサの特性が異なるこヒューマンインザループセンシングは，収集可能な情報とが明らかとなった．すなわち，ユーザ参加型センシングの幅を広げつつ時空間的網羅性を満たすため，あえて人をによるデータ収集では，特性が異なる多数の照度センサにシステムに組み込む枠組みである．人は少なからず利己的よって測定されたデータを扱う必要がある．このことかであるため，人が介在するシステムにおいては貢献するこら，センサデータの校正が課題となる．そこで本研究では，とに対するモチベーションを維持すること，つまり「シス図 3 に示すように，センサ特性が既知の照度センサによっテムの持続可能性」が大きな問題となる．そこで，3 章でて測定されたデータと，未知のセンサによるデータを比較

は，持続可能な都市環境情報収集を実現するためのセンシすることにより校正パラメータを抽出することで，相対的ング基盤を提案する．に照度測定データを校正する手法を提案した [10]．

2. 客観的・主観的都市環境情報の収集手法
2.1 NightRoadScanner: モバイルセンサを用いた客観的都市環境情報の収集手法

提案手法の有効性を検証するため，特性の異なる 4 台の端末（内 1 台を校正の基準端末とする）を用いた照度デー
タ収集実験を行い，1,613 の検証サンプルを得た．収集した生データを用いて街灯照度を推定する場合は，平均絶対本節では，客観的都市環境情報として「夜間道の明るさ」

誤差が 2.33 lx となったのに対し，提案手法により校正をを題材として取り上げる．街に設置された防犯照明は他の施したデータを用いて推定する場合は，平均絶対誤差 0.55

防犯対策との複合的な要因により，犯罪抑止へ繋がることlx となった．この結果から，提案手法を適用することにより 76.3%の精度向上を実現した．

が実例により明らかとなっているため [5]，夜間道の明るc 2019 Information Processing Society of Japan⃝

2情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MBL-92 No.6
Vol.2019-CDS-26 No.6
2019/8/29

で，観光中の無意識的な仕草・生体反応のセンシングに基 

づき，ユーザの抱く感情・満足度を推定する手法を提案す

Place ConPlace B

Sessi

Spot 2

る．図 4 はそのワークフローを示している．この手法では，観光中のユーザが行う仕草（視線・身体運動・音声・Spot 3

Spot 1

S表情）をスマートフォンやウェアラブルデバイスを用いてG

Place A

Place D

Place X

チモーダルなモデルを構築する（図 5）．

 
Place A

Place B

計測し，抽出した特徴量を組み合わせることにより，マルPlace C

Place X

提案手法の有効性を検証するため，2 つの異なる観光地（ドイツ・ウルム，日本・奈良市）において，計 22 名の観Wearable
devices

光客のデータを収集する実験を行った．その結果，感情状

Dialogue
Labeling

態の 3 クラス分類タスク（ポジティブ・ニュートラル・ネ

Smartphone

ガティブ）において，50%の UAR（Unweighted Averagetime

Behavioural cues
Audio-visual data
Labeling

Session 1

Session 2

Session NRecall），満足度の 7 段階回帰タスクにおいて 1.08 の MAE（Mean Absolute Error）という精度での感情・満足度推定を実現した [12], [13], [14], [15], [16], [17]．

 
Tourist behavior

3. ParmoSense: 持続可能なデータ収集を実Labels

現するためのセンシング基盤

70%
Head & body
movement

Eyemovement

Audio & Video

Satisfaction level(vocal/facial expressions)

上述の都市環境情報収集システムを実世界に適用するた

Emotional status

めには，「ユーザ参加型」という仕組みの持続可能性を維    

持するための基盤が必須である．その解決方策の一つと

図 4 EmoTour のワークフロー

して，市民協働と情報技術を組み合わせたシビックテッ
クコミュニティとの連携が挙げられる．しかしながら，

!"#$!
%$&%'(:><:?

4+!$)A2

61!+-(+$'2DEF9)<G8)HI
E1(+&HJ<D)8)G

図 5

DII79GJ8,*!+$3

,&+!$3:*'-(+$'.2

61!+-(+$'2,%+'<%/<%'3

99@2,5-+./0122+$'23!
"

,('!$5-B222+$'3)*!+$,&$-./0122+$'23

シビックテックの主役である，一般市民や行政職員は非
%$(+$'.2((*2KG(+25-(+$'.&.

:;<:=:+'.-.22+5+1 ,5(*17.&.5*2+$'3!"#$!

,!*1+'CB$.222+$'3 ! "!!# "$      % $!$ 

技術者である場合も多く，参加型センシングシステムを新たに導入することは容易ではないのが実情である．既存の主要なユーザ参加型センシング基盤・フレームワー
ク [18], [19], [20], [21], [22], [23] は，研究者による利用が前提となっており，システム運用やセンシングへの参加には高い情報技術スキルが必要である．また，他の基
盤 [24], [25] では，一般市民や行政職員などによる利用を

617(1+'!
8$!.29#.2

感情・満足度推定モデル構築の流れ想定した容易な運用・参加を実現している一方で，機能が非常に限定的であり柔軟なデータ収集が難しいといった課題がある．

2.2 EmoTour: 人の仕草・反応をセンサとして用いた主観的都市環境情報の収集手法

そこで本研究では，非技術者でもシステムの構築・運用を容易に行うことができるセンシング基盤を提案する．図 6

本節では，主観的都市環境情報として「観光客の心理状にシステムの概要を示す．この基盤では，センシングシス態」を題材として取り上げる．これまでは都市環境情報のテムに必要となる様々な機能をモジュール化し，それらを多くが客観的に測定可能なものであったが，今後より人にには，「人がどう感じるか？」という観点が非常に重要となGUI で組み合わせ「シナリオ」として定義することができる Web アプリケーションを提供することにより，柔軟かつ容易なシステム構築・運用支援を実現した [26], [27]．こる．そこで，都市環境で感情や満足感が変動することが考れにより，ユーザ参加型センシングシステムをノンプログえられるドメインの一つとして観光に注目する．

ラミングで開発・配布・運用することが可能となる．

寄り添ったコンテキストアウェアシステムを提供するため

現在，観光におけるユーザの感情や満足度の収集は，オ提案システムの有効性を検証するため，一般市民を巻きンラインユーザレビューが主流である．しかしながら，オ込んだ約 2 年に渡る 17 のケーススタディを実施した．こンラインユーザレビューには，投稿を行う動機付けのアンの運用実験およびアンケート調査を通じて，システムの有バランスさや，心理的バイアスの影響によって信頼性を担用性をセンシングの主催者および参加者の両面から確認保するのが難しいと行った指摘がなされている [11]．そこ

した．

c 2019 Information Processing Society of Japan⃝

3情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MBL-92 No.6
Vol.2019-CDS-26 No.6
2019/8/29

ParmoSense

ServerParmoSense

Dashboard

Create / updatescenario① Scenario tools

JSON② Data tools
Data editor
Data browser⑤ Scenario instances

Scenario shelf…

PPre-processController

Decode JSON data

④ Data manager

Scenario-based processes

DataS…

SEdit
sensor data

Browsesensor data

Sensor data

SPBrowse
scenario shelf

MQTT
subscriber

Start / stop
systemStatusScenario editor
Scenario browser

Scenario instance③ Scenario manager

Sensor data store
Databases

Controller

Summary data

Subscribe data

Sensor data analysis

Publishfeedbacks

Score calculation

Authorize user

GUIⒶ Web APIⒷ MQTT Broker

Create / update scenario
Check / edit collected data
Publish data

Organizer
JSON

Datamanager

Subscribe
feedbacks

Scenario

Post-process
Encode JSON data

ParmoSense
Request authorization

Rank calculationReward generation

ClientP

MQTT

SectionComponent

HTTP

Role

Gateway

Download scenario

Participant
図 6

本稿では，都市環境センシングシステムに「人」を組み込[9]

む新たな都市環境情報収集手法（ヒューマンインザループセンシング）を提案した著者の博士論文（和題： 都市環境分析におけるヒューマンインザループセンシングの研究，[10]

英題： Study on Human-in-the-loop Sensing in Urban

Environment Analysis）*1 についての概要をまとめた．
[11]

参考文献

[2]

[3]

[4]

[5]
[6]
[7]

[8]

GSMA. The Mobile Economy 2018. https://www.
gsma.com/mobileeconomy/.
Ian F Akyildiz, Weilian Su, Yogesh Sankarasubramaniam, and Erdal Cayirci. Wireless sensor networks: asurvey. Computer networks, Vol. 38, No. 4, pp. 393–422, 2002.
Charu C. Aggarwal and Tarek Abdelzaher. Socialsensing. In Managing and mining sensor data, pp.
237–297. Springer, 2013.
Jeﬀrey A. Burke, D. Estrin, Mark Hansen, Andrew
Parker, Nithya Ramanathan, Sasank Reddy, andMani B. Srivastava. Participatory sensing. Centerfor Embedded Network Sensing, 2006.
日本防犯設備協会. 防犯照明ガイド vol.5.1. 入手元〈http://www.ssaj.or.jp/〉(2015).
Japanese Industrial Standards Committee. Lighting
for roads. JIS Z 9111:1988, 1988.
松田裕貴, 新井イスマイル. スマートフォン搭載照度センサの集合知による街灯照度安全性判定システムの開発.
情報処理学会研究報告（2013-UBI-37（52））, pp. 1–8,
2013.
Yuki Matsuda and Ismail Arai. A safety assessment system for sidewalks at night utilizing smartphones’ light sensors. Adjunct Proceedings of the[12]

[13]

[14]

[15]

[16]
*1

http://library.naist.jp/dspace/handle/10061/13263

c 2019 Information Processing Society of Japan⃝

Feedback data

ParmoSense のシステム構成

4. まとめ[1]

MQTT
publisher2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp ’14 Adjunct), pp. 115–118, 2014.
松田裕貴, 新井イスマイル. スマートフォン搭載照度セン
サの集合知による網羅的な街灯情報収集システムの開発.
情報処理学会論文誌, Vol. 55, No. 2, pp. 750–760, 2014.
Yuki Matsuda, Ismail Arai, Yutaka Arakawa, and Keiichi Yasumoto. A correction method for individual differences among smartphones’ light sensor to measurestreetlamps’ illuminance for sidewalks at night. IPSJ
Journal, Vol. 57, No. 2, pp. 520–531, 2016.
Sinan Aral. The problem with online ratings. MIT
Sloan Management Review, Vol. 55, No. 2, p. 47, 2014.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi,Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Estimating user satisfaction impact in cities
using physical reaction sensing and multimodal dialogue system. The Ninth International Workshop on
Spoken Dialog System Technology (IWSDS ’18), pp.
1–6, 2018.
高橋雄太, 松田裕貴, Dmitrii Fedotov, 荒川豊, Wolfgang
Minker, 安本慶一. 観光中の内的状態推定に向けた観光
客の無意識的しぐさの分析. 電子情報通信学会技術研究報告, ヒューマンプローブ研究会（HPB）, 2018.
Dmitrii Fedotov, Yuki Matsuda, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Towards estimating emotions and satisfactionlevel of tourist based on eye gaze and head movement.
Proceedings of The Fourth IEEE Conference on SmartComputing (SMARTCOMP ’18), pp. 399–404, 2018.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Emotour: Multimodal emotion recognition
using physiological and audio-visual features. Proceedings of the 2018 ACM International Joint Conference
and 2018 International Symposium on Pervasive andUbiquitous Computing and Wearable Computers (UbiComp ’18), pp. 946–951, 2018.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang

4情報処理学会研究報告
IPSJ SIG Technical Report

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

Minker. EmoTour: Estimating emotion and satisfaction of users based on behavioral cues and audiovisual
data. Sensors, Vol. 18, No. 11, 2018.
Dmitrii Fedotov, Yuki Matsuda, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Towards real-time contextual touristic emotion and satisfaction estimation with wearable devices.
2019 IEEE International Conference on Pervasive
Computing and Communications Workshops (PerComWorkshops ’19), pp. 358–360, 2019.
Denzil Ferreira, Vassilis Kostakos, and Anind K. Dey.
AWARE: Mobile context instrumentation framework.
Frontiers in ICT, Vol. 2, No. 6, pp. 1–9, 2015.
Haoyi Xiong, Yu Huang, Laura E. Barnes, andMatthew S. Gerber.
Sensus: A cross-platform,general-purpose system for mobile crowdsensing inhuman-subject studies. In Proceedings of the 2016
ACM International Joint Conference on Pervasive
and Ubiquitous Computing, UbiComp ’16, 2016.
Moo-Ryong Ra, Bin Liu, Tom F. La Porta, andRamesh Govindan. Medusa: A programming framework for crowd-sensing applications. In Proceedings ofthe 10th International Conference on Mobile Systems,Applications, and Services, MobiSys ’12, pp. 337–350,
New York, NY, USA, 2012. ACM.
Nadav Aharony, Wei Pan, Cory Ip, Inas Khayal, andAlex Pentland. Social fMRI: Investigating and shaping social mechanisms in the real world. Pervasive andMobile Computing, Vol. 7, No. 6, pp. 643–659, 2011.
Hongsuda Tangmunarunkit, Cheng-Kang Hsieh,Brent Longstaﬀ, S Nolen, John Jenkins, Cameron
Ketcham, Joshua Selsky, Faisal Alquaddoomi, DonyGeorge, Jinha Kang, Z. Khalapyan, J. Ooms, Nithya
Ramanathan, and Deborah L Estrin.
Ohmage:A general and extensible end-to-end participatory
sensing platform. ACM Transactions on Intelligent
Systems and Technology, Vol. 6, No. 3, pp. 38:1–38:21,2015.
Waylon Brunette, Mitchell Sundt, Nicola Dell, Rohit
Chaudhri, Nathan Breit, and Gaetano Borriello. Open
Data Kit 2.0: Expanding and refining information services for developing regions. In Proceedings of the 14th
Workshop on Mobile Computing Systems and Applications, HotMobile ’13, pp. 10:1–10:6, New York, NY,USA, 2013. ACM.
Mina Sakamura, Tomotaka Ito, Hideyuki Tokuda,Takuro Yonezawa, and Jin Nakazawa.
MinaQn:Web-based participatory sensing platform for citizencentric urban development. In Adjunct Proceedings ofthe 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings ofthe 2015 ACM International Symposium on Wearable
Computers, UbiComp/ISWC’15 Adjunct, pp. 1607–1614, New York, NY, USA, 2015. ACM.
Misako Mishima, Takashi Matsumoto, Shigeru
Takano, and Osamu Matsuda. Kokopin app: A mobile
platform for biogeography. In Proceedings of the 2Nd
ACM International Workshop on Multimedia Analysisfor Ecological Data, MAED ’13, pp. 35–40, 2013.
Yuki Matsuda, Yutaka Arakawa, and Keiichi Yasumoto. Design and evaluation of participatory mobile sensing platform for diverse sensing and gamification scenarios. Proceedings of the 14th Annual International Conference on Mobile Systems, Applications,and Services Companion (MobiSys ’16 Companion),p. 57, 2016.

c 2019 Information Processing Society of Japan⃝

Vol.2019-MBL-92 No.6
Vol.2019-CDS-26 No.6
2019/8/29[27]

松田裕貴, 荒川豊, 安本慶一. 多様なユースケースに対応可能なユーザ参加型モバイルセンシング基盤の実装と評
価. マルチメディア, 分散, 協調とモバイル（DICOMO2016）シンポジウム論文集, pp. 1042–1050, 2016.

5