# TexT2TraJ2TExt: 大規模言語モデルを活用した 段階的データ生成に基づく人物移動軌跡の言語化

浅野 輝 $1,2,3$ 米谷竜 $^{3}$ 関井 大気 ${ }^{3}$ 大内 啓樹 $4,2,5$
1 東京大学大学院 2 理研 AIP
3 サイバーエージェント 4 奈良先端科学技術大学院大学 5 国立国語研究所
asano-hikaru19@g.ecc.u-tokyo.ac.jp \{yonetani_ryo, sekii_taiki\}@cyberagent.co.jp
hiroki.ouchi@is.naist.jp

## 概要

本論文では，実世界における人物の移動の背後にある目的や意図を理解し，その説明文を生成する言語モデルを学習するフレームワーク Text2Traj2Text を提案する. 計測・アノテーションコストの高い説明文付き移動データの大規模収集を回避するため, 提案フレームワークでは既存の学習済み大規模言語モデルを活用し，演繹的・段階的に人物の多様な行動パターンと説明文を生成する。 また，生成した説明文をパラフレーズすることでデータを大規模化する. このように構築された学習データを用いて新たに言語モデルをファインチュー ニングすることで，移動軌跡の説明文生成モデルを獲得する. スーパーマーケットでの買い物を題材に評価実験をおこない，ROUGE，BERT Score などの指標を用いて提案モデルの有効性を確認した。

## 1 はじめに

日常生活のさまざまな場面における人物の「移動」の背後には，しばしば何らかの目的や意図といった行動の動機となる文脈 (以降，単に「文脈」) がある．たとえばスーパーマーケットにおいて，それぞれの来店客は「夕飯の買い出しをしたい」といった目的や「できるだけ安いものを選びたい」という意図に基づいて，いくつかの売り場を訪れ，商品を見比べ，購入に至る. 店内におけるこのような移動を計測し，背後の文脈を言語化できれば，パー ソナライズされた情報推薦や店内広告の効果測定といった小売サービスへの活用が期待できる [1]. より広い観点で，移動をともなう行動の文脈を理解する技術は，美術館やテーマパークでのナビゲーション [2] や移動に困難を抱えるユーザへの支援 [3] な
ど，幅広い応用につながる。

人物活動を対象とした言語化は，自然言語処理 $\cdot$ コンピュータビジョンの融合領域において活発に取り組まれている。とりわけ近年の研究では，ウェブ上で収集された大量の画像・テキストペアをもとに大規模言語モデル (Large Language Model， LLM) を学習するアプローチが主流である [4]. 一方で， ウェブ上から得られない実世界のシーンを対象として人物活動を言語化する場合，計測環境のセットアップに費やす人的コスト，プライバシやセキュリティ侵害のリスクに関する懸念から，モデルの学習に必要なデータを計測・アノテーションする段階からそもそも実施困難となる。

このような課題に対して，ユビキタスコンピュー ティング領域では WiFi や BLE の信号を用いた電波ベースの移動計測技術が研究されている [5]. 同技術は，計測対象の人物がスマートフォンなどの端末で電波を受信できる状況で初めて機能するため，先述したプライバシ・セキュリティの課題に対してデータ収集に関するオプトインの仕組みが導入しやすいというメリットがある．ただし，その結果得られるのは環境における対象の移動情報のみであり，監視カメラのようなセンサを利用するアプローチと比較して情報量が限定的である。加えて，移動情報の収集が容易になったとしても，その移動の文脈を説明するテキストアノテーションコストの高さは依然として課題である.

以上の問題意識のもと，我々は人物の移動軌跡を入力とし，その背後にある文脈を説明文として言語化するタスク（移動軌跡の言語化）に取り組む. そのための学習フレームワークとして，本研究では Text2Traj2Text を提案する。本フレームワークでは，大量に移動データを収集し，その文脈を説明
文として直接アノテーションするのではなく，既存の学習済み LLM を活用した段階的なデータ生成によって演繹的に大規模なデータセットを構築できる. 具体的には，はじめに学習済み LLM を活用することで半自動的に説明文を得る. 次に，それらの説明文に即した移動軌跡を機械的に生成しつつ，学習済み LLM を用いて説明文をパラフレーズすることで，移動軌跡と説明文のペアを大量に生成する (Text2Tras). 最後に，生成された大規模データを用いて言語モデルを新たにファインチューニングすることで，移動軌跡を直接言語化する説明文生成モデルを獲得する（TRAJ2TEXT）。

Text2Traj2Text の性能を検証するため，スーパー マーケットでの買い物を題材に説明文付きの移動データを生成し，そこから学習された説明文生成モデルと既存の学習済み LLM の性能を比較評価した。実験の結果，ROUGE，BERT Score の指標において提案フレームワークの有効性が確認された。

## 2 準備

スーパーマーケットや美術館といった特定の目的が想定された環境において，人物が移動をともなう活動（たとえば買い物）を行う状況を考える. 本研究では，環境の持つ意味的情報と人物の移動軌跡をもとに，その移動の背後にある文脈を言語化した説明文を生成する．本節では，同タスクに関連する基本的な用語の定義と前提条件について述べる.

人物が移動する環境は，その中に存在するアイテ么の集合 $C=\left.\{c_{1}, \ldots, c_{N}\right.\}$ （たとえばスーパーマー ケットに陳列された商品やそのカテゴリ，あるいは美術館に展示された作品）によって意味づけられる. 一方で人物の移動軌跡を，近傍に存在したアイテムの系列 $P=\left(p_{1}, \ldots, p_{T}\right), p_{t} \in C$ として間接的に表現する ${ }^{1)}$. 加えて， $P$ に含まれるアイテムの集合のうち，同人物が実際に接触・選択したアイテムの集合（接触アイテム集合） $C^{\prime} \subset P$ は $P$ と区別して既知であると仮定する. 実用上は，任意の測位技術によって計測された人物の位置情報と環境の地図情報を照合することによって，アイテム系列 $P$ を機械的に取得できる．また，動き情報に基づく行動認


識 $[6,7]$ あるいは人物の購買履歴などのメタデータを活用することで，接触アイテム $C^{\prime}$ の推定も可能である.

移動軌跡の説明文として，たとえば「商品の品質を重視し，色々な商品を見比べて，より良い商品を購入しようとしている。一度の購入量は少なく, 頻繁にお店を訪れている.」のように，移動の背後にある移動者の属性や意図，動機といった文脈を含む簡潔なパラグラフを考える．計算のうえでは，説明文は既存のトークナイザーで変換されたトークン列 $S=\left(s_{1}, \ldots, s_{K}\right)$ として表現される.

以上の準備より，移動軌跡の言語化とは，移動軌跡 $P$ と接触アイテム集合 $C^{\prime}$ に基づいてその説明文 $S$ を生成するタスクとして定義される.

## 3 Text2Traj2Text

先述の言語化タスクは，説明文付きの移動デー タ，すなわち $\left(P, C^{\prime}, S\right)$ のタプルを多様な実環境において大量に収集することによって，言語モデルを直接教師あり学習することが可能である.しかしながら，実環境における $P, C^{\prime}$ の計測あるいは $S$ のアノテーションをおこなうには，いずれも高い人的コストを必要とするため，大規模なデータを得ることは容易ではない.

Text2Traj2Text は上記の問題を解決するためのフレームワークである。具体的には，事前学習済み LLM を活用した段階的なデータ生成 (TExt2TraJ) によって大規模な学習データセットを演繹的に構築する。そして同データセットを用いて新たに LLM をファインチューニングすることで，移動軌跡の説明文生成モデルを獲得する（TRas2TExt）。

## 3.1 LLM を活用した段階的データ生成

指示チューニング (Instruction Tuning [8]) された学習済み LLM に対して指示と事例を対話的に与えることで，段階的に説明文 $S$ とそれに対応する移動軌跡 $P$ および接触アイテム集合 $C^{\prime}$ を生成する.ここでは具体例として，学習済み LLM に GPT-4 [9] を， また，出力データを所定の形式に整形するために LangChain ${ }^{2}$ を利用しつつ，スーパーマーケットでの買い物を題材とした場合の指示を示す.


STEP 1: 移動軌跡の文脈に関する説明文 $S$ を生成するための指示

STEP 2: 説明文 $S$ と整合性のある抽象的な行動計画を生成するための指示

STEP 3: 移動軌跡 $P$ を構成するアイテム候補 $C$ と接触アイテム集合 $C^{\prime}$ の生成のための指示

- Generate the "show_interest" list by carefully considering both the
customer's intentions and their "purchase_consideration" score, which ranges
from 1 to 5 . If the purchase_consideration score is low, focus on a smaller "
show_interest" list. Conversely, if the score is high, the "show_interest"
list can be more extensive but should remain below \{num_purchase_items\} in
total.
Tips:
- Pay close attention to the item descriptions and customer intentions
provided.
\#\#\# Customers intention
\{intention\}
\#\#\# "purchase_consideration" (1-5)
\{purchase_consideration\}
\#\#\# Item description
\{item_description\}
\{format_instructions\}

さらに，STEP 3 で得られたアイテム候補 $C$ からランダムにアイテムをサンプリングすることによって，移動軌跡 $P$ を生成する.

## 3.2 説明文のパラフレージングによるデー 夕拡張

学習データのうち移動軌跡 $P$ は，先述のサンプリングによって比較的多様なパターンを生成できる. さらに提案フレームワークでは，別途 LLMを利用することで，STEP 1 で得られた説明文 $S$ をパラフレージングして多様化する. これにより, 移動軌跡とその説明文の組み合わせをパラフレーズ数分だけ拡張した，より大規模なデータセットを構築できる. ${ }^{3)}$

## 3.3 説明文生成モデルの学習

以上に述べた方法で生成されたデータセットを用いて，移動軌跡 $P$ および接触アイテム集合 $C^{\prime}$ を入力とし, 説明文 $S$ を生成する言語モデルを学習する.具体的には，一定のルールにしたがい $P, C^{\prime}$ を言語モデルに入力可能な文章に変換する. この入力文を，T5 [10] をはじめとする系列変換モデルの入力として用いて，説明文 $S$ を出力するタスクを学習する. ここでは単純に $P=\left(p_{1}, \ldots, p_{T}\right), C^{\prime}=\left.\{c_{1}, \ldots, c_{M}\right.\}$ "Trajectory is Stay at $p_{1}</ \mathrm{s}>\ldots</ \mathrm{s}>$ Stay at $p_{T}$. And customer purchases item list is [" $c_{1} ", \ldots$, " $c_{M}$ "]" という形式に変換した.

## 4 実験

Text2Traj2Text の有効性を検証するため，スー パーマーケットにおける買い物を想定した実験設定においてデータ生成・学習結果の性能評価をおこなった.

3）実装の工夫として，説明文およびアイテム候補の段階的生成には GPT-4 をはじめとした高機能・高コストの LLM が必要となる一方，パラフレージングには GPT-3.5 など性能が限定されたモデルが利用できる。両者を併用することで，より低コストに大規模データセットの構築が可能となる。

## 4.1 実験設定

3.1 節の方法に基づき，合計 100 ペアの説明文付き移動軌跡データを生成した。これを学習デー タに用い, 説明文生成モデルとして $\mathrm{T} 5$-small4) と T5-base5）[10]をそれぞれファインチューニングした. 学習にあたり, これら 100 ペアのサンプルを訓練・検証 (訓練中の性能評価)・テストの 3 種類に分割し評価に用いた。また，訓練・検証データに対してパラフレージングによるデータ拡張をおこなった. 実際には，元のサンプル数を基準として， 2 倍， 4 倍， 8 倍， 16 倍， 25 倍にパラフレーズの総量を増加させたサブセットを用意し，それぞれの性能を比較評価した. モデルパラメータの最適化には AdamW を用い，学習率を $5.6 e-5$ ，バッチサイズを 8, 総エポック数を 50 に設定した. 各エポック終了時に検証データで BERT Precision Score [11]を計算し，同スコアが最高となるエポック時点での性能を最終的なモデル性能として評価に採用した.

## 4.2 評価方法

比較対象のベースライン手法として GPT-3.5 ${ }^{6}$ [12] および GPT-4 [9] を選択した. GPT-3.5， GPT-4 では Maynez ら [13] に倣い訓練データからランダムに選択された数サンプルを例示として与えた上で，説明文を対話的に生成した. 評価指標は要約タスクにおける標準的な自動評価である ROUGE (R-1, R-2， R-L) [14] と BERT Score (BS-precision, recall, f1 score) [11]を採用した.

## 4.3 実験結果

表 1 にベースラインと提案手法の定量評価結果を示す. 提案手法によって学習されたモデルは，デー タ拡張におけるパラフレーズ数が増加するにつれてすべての評価指標で性能を改善することが確認された. 特に，25 パラフレーズによって拡張されたデータから学習された T5-base の性能は, GPT-4 において 4 サンプルを提示した場合と比較して， BERT Score recall に関してほぼ同等，それ以外のスコアに関しては上回る結果となっている. それぞれの手法によって生成された説明文の例については，付録表 2 を参照されたい。

4) https://huggingface.co/t5-small

5) https://huggingface.co/t5-base

6) https://chat.openai.com

表 1 移動軌跡の言語化タスクの定量評価

## 5 おわりに

人物の移動軌跡を入力とし，その背後にある文脈を説明文として言語化する言語モデルを効率的に学習するフレームワークとして TexT2TRAJ2TEXTを提案した。学習済み LLM を用いた演繹的かつ段階的なデータ生成およびパラフレージングに基づくデー タ拡張をおこなうことにより，同言語化タスクにおいて GPT-3.5 や GPT-4 と比肩する性能のモデルを学習できることを確認した. 今後は，生成された文章をエキスパートを通じて厳密に定量評価することにより，提案フレームワークの実用性を検証する。

## 参考文献

[1] Anindya Ghose, Beibei Li, and Siyuan Liu. Mobile targeting using customer trajectory patterns. Management Science, Vol. 65, No. 11, pp. 5027-5049, 2019.

[2] Alexandros Kontarinis, Claudia Marinica, Dan Vodislav, Karine Zeitouni, Anne Krebs, and Dimitris Kotzinos. Towards a better understanding of museum visitors' behavior through indoor trajectory analysis. In Proceedings of the International Conference on Digital Presentation and Preservation of Cultural and Scientific Heritage (DiPP), Vol. 7, pp. 19-30, 2017.

[3] Eshed Ohn-Bar, João Guerreiro, Kris Kitani, and Chieko Asakawa. Variability in reactions to instructional guidance during smartphone-based assisted navigation of blind users. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies

(IMWUT), Vol. 2, No. 3, 2018.

[4] Muhammad Awais, Muzammal Naseer, Salman Khan, Rao Muhammad Anwer, Hisham Cholakkal, Mubarak Shah, Ming-Hsuan Yang, and Fahad Shahbaz Khan. Foundational models defining a new era in vision: A survey and outlook. ArXiv e-prints (arXiv:2307.13721), 2023.

[5] Faheem Zafari, Athanasios Gkelias, and Kin K Leung. A survey of indoor localization systems and technologies. IEEE Communications Surveys \& Tutorials, Vol. 21, No. 3, pp. 2568-2599, 2019.

[6] Yair Poleg, Chetan Arora, and Shmuel Peleg. Temporal segmentation of egocentric videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014.

[7] Yu-Chuan Su and Kristen Grauman. Detecting engagement in egocentric video. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 454-471. Springer, 2016.

[8] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[9] OpenAI. GPT-4 technical report. ArXiv e-prints (arXiv:2303.08774), 2023.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, 2020.

[11] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[12] OpenAI. ChatGPT General FAQ. https://help.openai.com/en/articles/ 6783457-chatgpt-general-faq, 2023. Accessed: March 3, 2023.

[13] Joshua Maynez, Priyanka Agrawal, and Sebastian Gehrmann. Benchmarking Large Language Model Capabilities for Conditional Generation. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 9194-9213. Association for Computational Linguistics, 2023.

[14] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics, 2004.

 \\

表 2 付録：移動軌跡の言語化タスクの定性評価