理研 AIP における人流データ解析と行動変容
中村 哲，諏訪博彦，須藤克仁，Sakti Sakriani,田中宏季，吉野幸一郎，藤本まなと，松田裕貴，安本慶一
理化学研究所 AIP センター観光情報解析チーム／奈良先端科学技術大学院大学
satoshi.nakamura.vr@riken.jp
概要：理化学研究所 AIP センター観光情報解析チームでは，旅行者の人流ビッグデータを対象にした人流クラスタリング，および，旅行者の観光を最適化するための参加型 POI 情報収集，ユーザ行動予測，混雑センシング・予測，事前動画キュレーションの研究を進めている．本稿では，時系列深層学習モデルを用いた人流クラスタリング法，センシング情報から深層学習法を用いた説明文自動生成法，スマー
トフォンアプリによる参加型 POI 情報収集法，ユーザ行動時の感情測定と推定法，観光の事前プランキュレーション動画作成法，思い出動画の自動作成法，体力・時間・予算を考慮した観光ルート動的推薦法とそれらの効果について述べる．

Keyword：観光情報解析，人流クラスタリング，参加型 POI 情報収集，ユーザ行動予測，混雑センシング・予測，事前動画キュレーション
１． はじめに旅行者に対する各種情報推薦による支援や行動変容の誘導，および，旅行者ビッグデータの解析が社会的に求められている．旅行者への支援だけでなく，旅行者による混雑が起こす課題を提言したい地元地域，いろいろな地域に旅行者を誘導したい地方自治体，そして，旅行者の属性に見合ったサービスを提供したい観光サービス産業にとって重要な技術といえる．現在，コロナ禍により外国からの旅行者は減少しているが，旅行促進キャンペーンにより国内の旅行者数は増加しつつあり，この必要性は依然存在している．また，これらの技術は旅行者だけでなく，多くの人が動く，展示会場やテーマパークにも応用可能な技術である．
理化学研究所革新知能統合研究センター観光情図１

報解析チームでは，サイバーフィジカルシステム（CPS）技術と AI 技術を用いてこれらの課題を解決すべく種々の研究を進めている．本稿では，時系列深層学習モデルを用いた人流クラスタリング
法，センシング情報から深層学習法を用いた説明
文自動生成法，スマートフォンアプリによる参加型 POI 情報収集法，ユーザ行動時の感情測定と推定法，観光の事前プランキュレーション動画作成法，思い出動画の自動作成法，体力・時間・予算を考慮した観光ルート動的推薦法と効果について述べる．
２． 観光情報解析の全体像
観光情報解析の研究テーマを図 1 に示す．混雑
センシング，気象，交通，ニュース，Twitter，画像，映像を用いて対象地域の情報をセンシングし，研究テーマ関連図

そのセンシングデータから情報抽出，翻訳や匿名化を行い，サマリ文生成，動画サマリ生成，動的プランニングを行う．これらの情報はユーザと音声・テキストで対話しながら利用者に，説明文，映像サマリ，動的プランニングという形で提示される．またこれらとは別に人流ビッグデータの解析を行う．以下，３章でサマリ文生成，人流解析，４章で参加型 POI 情報収集・分析と観光ナビゲーションへの応用について述べる．
３． 情報抽出，サマリ文生成，人流解析(ア)
サマリ文生成： サイバーフィジカル情
報からの情報抽出が行われた後のサマリ文生成の研究について述べる．この問題は，自然言語処理分野では，Data-to-text とも呼ばれる課題である．
サマリ文としてはいろいろな文表現があり得るが，今回は場所とその状況の説明文に限定し，各場所や状況に対応したフレーム表現から自然な文を生成する．生成には再帰型ニューラルネットワークを利用する．観光地と混雑情報，推薦情報を再帰型ニューラルネット(SC-LTSM)に入力し，このコンテンツを埋め込んだ文を生成する．学習データはクラウドソーシングにより生成した．詳細は[4]を参照されたい．
(イ)
人流解析： 何時どのような場所に行ったかということを理解することは，観光客の行動パターンを理解するためには必要不可欠である．
先行研究として時系列モデルを用いた観光の行動における次の行き先を予測する研究 [1] がある．
この研究では，長短期記憶モデル(LSTM)による手法により，観光客の行動パターンの予測を行えるとしている．しかし，この方法では経路の方向に依存した形でモデル化をしているため，逆順の経路は全く異なるパターンとなってしまう．我々は，双方向の経路予測に基づいた観光行動の予測及び，ユーザクラスタリングを進めている．この方法では，現在から未来に亘る行動系列及び現在から過図 2 サマリ文生成システム

図 3 Bi-LSTM による次メッシュ予測[5,6]

去に亘る行動系列を考慮した行動近接性をもつ位置埋め込み表現を獲得し，得られた位置埋め込み表現から観光行動系列をベクトル化し，ベクトル化された観光行動系列をクラスタリングすることにより，インバウンドの観光行動を解析し，その行動パターンを抽出する．今回解析に使用するデータは観光客に配布されたスマートフォンアプリから取得された多次元のログデータである．時間情報及び緯度経度の位置情報，観光客のユーザ情報が付与されているが，この内，位置情報として100m 四方のメッシュで数値化したメッシュ IDを大まかな位置データとして利用した．対象は2019 年 1 月から 11 月までの，約 33 万系列のデータである．また，双方向 LSTM を図 3 に示す．

図 4 旅行者移動軌跡の階層的クラスタリング

図 5 ルート可視化結果

再帰型の深層学習系列モデルとなっており，次メッシュを予測するモデルである[5]．また, 双方向
LSTM により得られた分散表現に基づくクラスタリング結果を図 4 に，同クラスタの行動軌跡の可視化を図 5 に示す．詳細は[5,6]を参照されたい．
４． 参加型 POI 情報収集・分析と観光ナビゲーシ
ョンへの応用４.１. 観光情報収集
動的観光プランニングを行う上で，混雑度や臨時イベントなど，時空間的に動的変化する観光地の情報を収集する必要がある．これらの情報は，口コミをはじめとした人の感性による情報が含まれており，固定センサによるデータ収集が難しいた
め，観光客を対象とした参加型 POI 情報収集シス
テムを提案している[7]．本システムでは，観光客が自身で保有するスマートフォンを情報収集のために用い，スマートフォンに搭載されている加速度をはじめとした慣性センサおよび位置情報，POI の写真およびコメントを収集する．しかしながら，人が介在するため，観光客に対する参加へのモチベーションを考慮する必要がある．そこで，ゲームのメカニズムを応用したゲーミフィケーシ
ョンを導入し，楽しさをインセンティブとした．
具体的には，各 POI への訪問をミッションとし，POI へのチェックイン時に写真データと口コミデータを投稿してもらう．その際に，アプリ内ポイントを付与し，アプリ内での貢献度がランキング形式で表示される．
各 POI で得られるポイントは，情報の需要度に応じて変更されることを想定しており，システムとして情報が必要な場所ほど得られるポイントが多い．ゲーミフィケーションによる情報収集効率および観光行動，満足度への影響について観光実験を行い検証したため，具体的な実験内容や結果は，論文[8]を参照されたい．
４.２. 観光情報分析(1)ユーザ行動時の感情測定と推定法：ユーザ行動時のフィードバックをもとに，オンサイトでユーザにより適した観光推薦を提供するため，観光スポットに対して抱く感情・満足度を推定する手法を提案している[9]．観光中，ユーザは無意識のうちに様々な反応・仕草をしており，それらはユーザの心理状態を反映したものと考えられる．そこ
で，アイトラッカー・生体センサ・モーションセ
ンサ・スマートフォンカメラを用いてユーザをセンシングし，得られる特徴量を用いて感情・満足度推定モデルを構築する．これにより，現在の感情・満足度の状態を元に，オンサイトで今後推薦するべき観光ルートを再構築できる．

(2)観光動画キュレーション：観光動画キュレーシ
ョンでは，観光計画立案（観光前）のため，および，思い出動画作成（観光後）のためのキュレーション手法を開発している．観光前には，観光計画のため，任意の観光ルートに沿った動画を自動で作成する観光動画要約システムを提案している[10]．動画は，観光経路を移動する移動動画と観光スポットの写真を組み合わせたスライドショー動画によって構成される．システムは，移動動画
おいて同じ景観が続く場面では，ユーザにとって価値が低い（不要）と考え，カラーヒストグラムを用いて不要場面を省略する．早送り再生を併用することで，要約を実現している．この要約手法を図 5(a)のように，サイネージシステムとして構築することで，観光行動を支援する．
観光後には，ドライブレコーダ動画を活用し，車で通った観光経路動画の中から，旅行者にとって思い出深い様々なシーンを自動的に抽出・キュレーションを行う思い出動画要約システムを開発している[11]．思い出動画に適した風景かどうかの判定は，旅行時の道路の混雑度や天気，車外環境など，複数の要因から決定する．本システムでは，動画に映るオブジェクトと観光地のランドマークから抽出した画像情報と，車の速度・加速度などの車両情報から得られる特徴を用いて，シーンの重要度推定を行う．各シーンの重要度を用いて早送り再生を組み合わせることで，旅行者にとって価値の高い思い出動画を作成する．

経路動画

経路マップ

(a) デジタルサイネージ(b) ISO-Tour アプリ

図 6 観光ナビゲーションへの応用例

４.３. 分析結果応用(1)体力・時間・予算を考慮した観光ルート動的推薦法：観光では，かけられる予算，時間，体力と得られる満足度の間のバランスを取りながら，ベストな観光計画を行うことが求められる．しかし，2 地点間の移動手段だけを考えても，徒歩，バス，タクシーなど，複数の選択肢が存在し，観光中の移動において，どの移動手段をとれば最も高い満足度が得られるかは，容易に決めることができな
い．実際には，多数の観光スポットからどれを選んで訪問するのか，各観光スポットでどのような過ごし方をするのかも決めなければならず，観光計画における選択肢は無数に存在する．我々は，この問題を，4 項目（予算，時間，体力，満足度）を目的変数とする多目的最適化問題として定式化した．本問題は NP 困難であり，厳密解を短時間で求めるのは難しい．そのため，本研究では，多目的遺伝的アルゴリズム NSGA-II をベースに高速に準最適解を算出するヒューリスティックアルゴリズムを開発した[12]．開発したアルゴリズム
は，京都や奈良といった多数スポットが存在する観光エリアにおいて，予算・時間・体力・満足度をバランスする複数のパレート準最適解を短時間で求め，ユーザに提示し選択させることで，意思決定支援を行う．
(2)オンサイト観光スポット推薦：近年，オンサイトで個人に特化した観光スポット推薦を提供する
トラベルアプリケーションへの関心が高まっている．利用可能なアプリのほとんどは，観光客が次にどのスポットを訪れるかの意思決定支援に焦点を当てている. そのため，観光客は，次スポット以降の今後訪問可能なスポットを認知することができていない．今後訪問可能なスポットを認知できないため，後に行きたかったスポットに訪問できなかった等で，観光全体満足度が低下する．本
研究では，図 6(b)に示すような，オンサイトで使用可能かつ, 複数のスポットを次スポットとして選択させることで，次スポットで得られる満足度と，次スポット以降に得られる満足度とのトレードオフを考慮可能なオンサイト観光意思決定支援システム ISO-Tour を提案している[13]．
５．おわりに観光情報解析に関する研究について概説した．
これらの技術は行動変容の誘導，人流の解析という観点でコロナ禍における人流の誘導・解析にも適用が可能な技術であり現在検討を進めている．
参考文献[1] Crivellari, A., et al.: From Motion Activity toGeo-Embeddings: Generating and Exploring
Vector Representations of Locations, Traces andVisitors through Large-Scale Mobility Data.
ISPRS International Journal of Geo-Information

8.3: 134, 2019.
[2] 鈴木 優, 他: 京都インバウンド観光におけるIoT2H 観光情報アプリケーションの構築, 第 11 回データ工学と情報マネジメントに関するフォーラム,March 2019.
[3] 生田 和也, 他: 伝達内容を考慮して言語化する
ニューラル言語生成の検討 , 情報処理学会研究報
告, Vol. 2017-NL-232, No, 13, pp. 1-5, July 2017.
[4] Nguyen Quynh Mai，他: Captioning Events in
Tourist Spots by Neural Language Generation，情報処理学会研究報告, Vol. 2019-NL-240, No. 10,
June 2019.
[5] 久保 基, 他: 観光行動理解のための分散表現に基づくユーザクラスタリング，人工知能学会全国大会論文集 June 2020.
[6] 田中 宏季, 他: 時系列分散表現に基づく東京都の人流クラスタリング, 観光情報学会 第 21 回研究発表会, 2020.
[7] 松田裕貴, 他: 多様なユースケースに対応可能なユーザ参加型モバイルセンシング基盤の実装と評価,
情報処理学会, マルチメディア, 分散, 協調とモバ
イ ル （ DICOMO 2016 ） シ ン ポ ジ ウ ム 論 文 集 ,pp.1042-1050, July 2016.
[8] Kawanaka, S., et al.: Gamified Participatory
Sensing in Tourism: An Experimental Study of theEffects on Tourist Behavior and Satisfaction,
Smart Cities, Vol. 3, No. 3, pp. 736-757, July 2020.
[9] Matsuda, Y. et al.: EmoTour: EstimatingEmotion and Satisfaction of Users Based on
Behavioral Cues and Audiovisual Data, Sensors,
Vol. 18, No. 11:3978, 2018.
[10] Kanaya, Y., et al.: Automatic Route Video
Summarization based on Image Analysis for
Intuitive Touristic Experience ， Sensors andMaterials, Vol. 32, No. 2, pp. 599-610, Feb. 2020.
[11] 片山洋平, 他: 観光メモリアル動画のための車載動画キュレーションアルゴリズムの検討, マルチ
メディア, 分散, 協調とモバイル（DICOMO 2020）
シンポジウム, 2020.
[12] Hirano, Y., et al.: A Method for Generating
Multiple Tour Routes Balancing User Satisfaction
and Resource Consumption, The FourthInternational Workshop on Smart Sensing
Systems (IWSSS’19), pp. 24-27, June 2019.
[13] 磯田祥吾，他： 訪問時間の適時性を考慮したオンサイト観光スポット推薦手法 ISO-Tour の改良と評価〜複数のユーザ嗜好タイプへの適応性の検証〜,
第 28 回マルチメディア通信と分散処理ワークショップ（DPSWS 2020）講演論文集, Nov. 2020.