# 子育て支援 QA サイトにおける潜在嗜好変化の時系列推定

住谷祐太 ${ }^{1}$ 富川雄斗 ${ }^{2}$ 伊藤尚紀 ${ }^{2}$ 高橋里司 ${ }^{3}$
1 電気通信大学大学院 情報理工学研究科 情報学専攻 2 電気通信大学 情報理工学域 I 類
3 電気通信大学大学院情報理工学研究科情報・ネットワーク工学専攻
\{sumiya, tomikawa,ito, stakahashi\}@uec.ac.jp

## 概要

ソーシャルメディアを活用した子育て情報の収集が盛んになっている．特に子育てに関する QAコミュニティでは，子育て中の母親が質問を気軽に投稿できるため，投稿されるテキストには一般的な情報だけでなく，ユーザが抱える悩みや嗜好が含まれていることが多い. それらの特徴量を把握することはソーシャルメディアマーケティングにおいて重要な技術課題となる. そこで本研究では，ユーザの潜在嗜好を捉えるための新しいトピックモデルを提案する. 提案手法では，ユーザの年齢区分や子供の月齢などの補助情報の活用や，嗜好の時間依存性を考慮する．実験では令和 3 年度データ解析コンペティションでコネヒト株式会社から提供されたママリのデータを使用し，手法の有効性を検証する。

## 1 はじめに

子育て情報の収集・共有を行う QAコミュニティの一つに，コネヒト株式会社が提供するママリが存在する．ママリでは匿名性を利用して知人には相談できないような悩みを質問できるため，投稿される質問はユーザの潜在嗜好を把握する上で有益な情報だと言える. 子育て特有の事情として，ユーザの嗜好は属性や子供の月齢，時間によって異なると考えられ，従来のユーザ全体を解析の対象とした場合では十分に嗜好を把握できない問題がある。

関連研究として，ユーザの質問文から潜在嗜好を推定する手法にトピックモデルが存在し, 自然言語の潜在的意味解析に広く用いられている. 特に Blei et al. [1] が提案した LDA (Latent Dirichlet Allocation) は，一つの文書に複数の潜在トピックが存在すると仮定し，そのトピックの分布を離散分布としてモデル化する代表的な潜在変数モデルである.

一方で新生児の母親が主なユーザである QAコミュニティ上での質問は，文書となる質問文以外に質問者の年齢や居住地域，そして事前に付与される質問カテゴリタグなどが付与され，それに応じて質問の意図が大きく異なると想定される。また子供を育てるユーザの場合，月齢に応じて質問内容が変化していくことも考慮する必要がある．本研究では， ユーザの潜在嗜好を捉えるためにこれらの補助情報を利用した新しいトピックモデルを提案する.

## 2 提案手法

しいトピックモデルとして，SCTTM (Supervised Correspondence Topic Tracking Model) を提案する. SCTTM では，LDA に対して三つの拡張を行う．はじめに，最初の質問時における子供の月齢を考慮するようにトピックを学習させるため，連続変数を考慮したトピックを推定できる sLDA [2] を組み込む. SLDA は，学習過程のトピックを説明変数にとり， それらで月齢を線形回帰したときの当てはまりが良くなるようにトピックと偏回帰係数を逐次的に学習する.

次に，離散値ラベルの補助情報も考慮してトピックを学習させるため, Corr-LDA [3] を取り入れる. Corr-LDA を取り入れることにより，各トピックの単語分布の推定と同様に，補助情報の分布も推定する.ここで補助情報の生成に用いられるトピックは，必ず単語を生成したトピックとなるようにモデル化するため, 単語と補助情報の対応関係を適切に学習することができる.

最後に，ユーザの嗜好変化を考慮するための手法として，TTM [4] を用いたパラメータ推定を行う. TTM は時間情報が付けられた文書集合から，時間変化するトピックを推定する手法であるため，質問文からユーザ個人の潜在嗜好と時間発展を適切に追跡することができる. また TTM はオンライン学習が可能な点から，日々蓄積されるユーザの質問デー タを効率的に学習できる利点がある. 本研究では,
最初の時刻 $t=1$ で月齢と補助情報に沿ったトピックを学習した後, 時刻 $t>1$ 以降はそれらのトピックが時間依存して変化するように学習させる.

## 2.1 トピックの生成

全ユーザ数を $U$ ，総時刻を $T$, 全ユーザで観測される総単語の種類を $V$ ，トピック数を $K$ として，ある時刻 $t$ においてあるユーザ $u$ が生成した文書の単語の組を $\boldsymbol{w}_{t u}=\left(w_{t u 1}, \cdots, w_{t u N_{t u}}\right)$ と表記する. ここで $N_{t u}$ は時刻 $t$ においてユーザ $u$ が生成した文書に含まれる単語数である。

トピックモデルでは，ユーザ毎にトピック分布 $\boldsymbol{\theta}_{t u}=\left(\theta_{t u 1}, \cdots, \theta_{t u K}\right)^{\top} \in \mathbb{R}^{K}$ が与えられ, 各要素 $\theta_{t u k}$ は時刻 $t$ でユーザ $u$ の単語にトピック $k$ が割り当てられる確率を表す. すなわち $\theta_{t u k} \geq 0$, $\sum_{k} \theta_{t u k}=1$ を満たす. 各トピック $k$ には固有の単語分布 $\boldsymbol{\phi}_{t k}=\left(\phi_{t k 1}, \cdots, \phi_{t k V}\right)^{\top} \in \mathbb{R}^{V}$ が存在し, 各要素 $\phi_{t k v}$ は時刻 $t$ のトピック $k$ で単語 $v$ が生成される確率を表す.ここで $\phi_{t k v} \geq 0, \Sigma_{v} \phi_{t k v}=1$ を満たす。

生成過程における各単語 $w_{\text {tun }}$ は, トピック分布 $\boldsymbol{\theta}_{t u}$ にしたがってトピック $z_{t u n}\left(n=1, \cdots, N_{t u}\right)$ が割り当てられ, その単語分布 $\boldsymbol{\phi}_{t z_{t u n}}$ にしたがって生成されると仮定する。

## 2.2 トピックの推定

はじめに，ユーザが投稿した質問単語ごとにトピックをサンプリングする. 本研究では崩壊型ギブスサンプリング [6]を用いて，トピック分布，単語分布，補助情報分布のパラメータを周辺化した周辺同時分布により単語トピックのサンプリング確率を求める. 時刻 $t=1$ において, ユーザ $u$ の単語 $n$ に割り当てられるトピック $z_{\text {tun }}$ が $k$ となる確率は, 周辺同時分布にベイズの定理を適用することで式 (1)のように求めることができる. 式中の $\backslash t u n$ は, 時刻 $t$ でユーザ $u$ の単語 $n$ に割り当てられるトピックを除くことを意味する。また $N_{t k n}$ は時刻 $t$ においてトピック $k$ に単語 $n$ が割り当てられた個数， $N_{t k}$ はその単語毎の総和を表し, $N_{t u k}$, $M_{t u k}^{i}$ はそれぞれ時刻 $t$ でユーザ $u$ に割り当てられた単語トピック, 補助情報 $i$ のトピック $k$ の個数を表す. さらに時刻 $t=1$ では, ユーザ $u$ が持つ連続変数 $y_{u}$ がガウス分布 $\mathcal{N}\left(\boldsymbol{\eta}^{\top} \widetilde{z}_{t u}, \sigma^{2}\right)$ に従い生成されると仮定する， $\boldsymbol{\eta} \in \mathbb{R}^{K}$ は線形回帰パラメータ, $\widetilde{z}_{t u}=\left(\frac{N_{t u 1}}{N_{t u}}, \cdots, \frac{N_{t u K}}{N_{t u}}\right)^{\top} \in \mathbb{R}^{K}$ は時刻 $t=1$ におけるユーザ $u$ のトピック割合, $\sigma^{2}$ は分散パラメータを表す。

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}, \beta, \boldsymbol{\eta}, \sigma^{2}\right) \\
& \propto\left(N_{t u k \backslash t u n}+\alpha_{k}\right) \frac{N_{t k w_{t u n} \backslash t u n}+\beta}{N_{t k \backslash t u n}+\beta V} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} \\
& \times \exp \left.\{\frac{\eta_{k}}{N_{t u} \sigma^{2}}\left(y_{u}-\boldsymbol{\eta}^{\top} \widetilde{\boldsymbol{z}}_{\backslash t u n}-\frac{\eta_{k}}{2 N_{t u}}\right)\right.\} .
\end{aligned}
$

$\alpha \in \mathbb{R}^{K}, \beta$ はディリクレ分布のパラメータである.便宜上， $\boldsymbol{\theta}_{t u}, \boldsymbol{\phi}_{t k}$ を行列表現したものを $\boldsymbol{\Theta}_{t}, \boldsymbol{\Phi}_{t}$ と表し， $\boldsymbol{w}_{t u} ， z_{t u}$ をそれぞれ要素毎にまとめた集合を $\mathrm{W}_{t}, \mathrm{Z}_{t}$ と表す. なお式 (1)で条件付き独立となる項およびその変数については省略している。

時刻 $t>1$ でも同様にトピックのサンプリング確率を式 (2)のように求めることができる. 式中の $\hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}$ はそれぞれ $\boldsymbol{\Theta}_{t-1}, \boldsymbol{\Phi}_{t-1}$ の推定値である.

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}_{t}, \boldsymbol{\beta}_{t}, \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\boldsymbol{\Phi}}_{t-1}\right) \\
& \propto\left(N_{t u k}+\alpha_{t u} \hat{\theta}_{t-1, u k}\right) \\
& \times \frac{N_{t k w_{t u n} \backslash t u n}+\beta_{t k} \hat{\phi}_{t-1, k w_{t u n}}}{N_{t k \backslash t u n}+\beta_{t k}} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} .
\end{aligned}
$

$\alpha_{t} \in \mathbb{R}^{U}, \beta_{t} \in \mathbb{R}^{K}$ はディリクレ分布のパラメータを表し，それ以外に条件付き独立となる項およびその変数については省略している.

## 3 評価実験

提案手法について実データを用いた検証を行う.検証では子供の月齢を登録している質問数が 5 回， 10 回，20 回のユーザをそれぞれ 250 人ずつ無作為に抽出し，計 750 人のユーザを用いる．各ユーザが投稿した質問単語を 9:1 の比率で訓練単語とテスト単語に分割し，トピック数 $K$ を 5 から 20 まで 5 刻みに増やした時の各々について, 月齢予測に必要なパラメータとトピック分布 $\boldsymbol{\Theta}_{t}$, 単語分布 $\boldsymbol{\Phi}_{t}$ を学習する。また，[5]では, Perplexity [1] を用いた最適なトピック数 $K=25$ を求めて，実験を行なっている.

## 3.1 月齢の予測精度の有効性

最初の質問時 $(t=1)$ における, 各ユーザの子供の月齢をSCTTM による逐次的な線形回帰で予測し， その精度を検証する. モデルはユーザを訓練用とテスト用に 8:2 で分けて，各トピック数毎に MSEを用いて 5 分割交差検証で評価し, 表 1 の結果を得
表 1 子供の月齢の予測結果：訓練，テストはそれぞれのデータでの MSE 值を表す.

表 2 平均 Top- $N$-accuracy(\%) による質問単語の予測結果

た. 本研究では月齢予測が有効であることを示すために，実験において月齢を考慮しない通常の LDA， RandomForest [7], LightGBM [8] の三つのモデルと比較している。この結果から，訓練ユーザに関しては，LightGBM や RandamForest の MSE の精度が向上しているが，これは過学習を起こしているためであると考えられる。一方で，テストユーザに関しては SCTTM が他の手法に比べて MSE の精度が向上していることが確認できる.

## 3.2 質問単語の時系列推定の有効性

各時刻で質問される単語の推定精度を複数のモデルと比較しながら評価する．比較するモデルは， LDA，TTM，TTM に月齢以外の補助情報を加えた CTTM，提案手法の SCTTM の四つである. 評価指標には次式で定義される Top- $N$-accuracy を採用
する。

$
P\left(w_{t u}=v \mid \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}\right)=\sum_{k=1}^{K} \hat{\theta}_{t-1, u k} \hat{\phi}_{t-1, k v}
$

式 (3) は，現時刻 $t$ で観測された単語 $v$ をテスト単語とし，その生成確率を一つ前の時刻 $t-1$ の単語集合から推定されたトピック分布 $\hat{\boldsymbol{\Theta}}_{t-1}$ と単語分布 $\hat{\boldsymbol{\Phi}}_{t-1}$ で予測する. 出力として, 単語 $v$ の生成確率が上位 $N$ 件に含まれる割合を返す。この值が高いほど，精度良く単語を予測できていることを意味する. Top- $N$-accuracy を使い，質問回数が 5 回， 10 回， 20 回のユーザそれぞれについて $N=1,2,3$ 件での平均を，トピック数を変えながら評価した結果を表 2 に示す. この結果から，時間依存性と補助情報，連続変数の月齢を考慮した SCTTM が他のモデルに比べて高い精度を示していることが確認できる。

## 4 おわりに

ユーザ毎に時間発展して観測される文書と，それらに対応する補助情報が観測される QA サイトにおけるソーシャルメディアマーケティングにおいて， ユーザの潜在嗜好を推定することは，広告推薦や新たなユーザコネクションの推薦において重要な技術課題である。本研究では，この技術課題を解決する新しいトピックモデルである SCTTM を提案した.実験では令和 3 年度データ解析コンペティションにおいてコネヒト株式会社のママリのデータを使い，月齢や補助情報を考慮しつつ，ユーザ毎に時間発展する嗜好変化を正しく推定できることを示した. また，抽出するトピック数を変化させた場合，少ないトピック数に対して時系列推定の精度は良いが，月齢予測の精度が悪いことを確認し，トレードオフの関係にあることを確認した。両者のバランスがよいトピック数として，20が妥当であることを確認し， [5] での結果と比較すると Perplexy によってトピック数を決定することが最適とは限らないことが分かった。

本研究で提案した SCTTM は時間発展を考慮できる他のソーシャルメディアの文書データに対しても適用可能であり，汎用性の高いモデルであると言える。

## 謝辞

新生児・乳幼児の母親をメインユーザとするポー タルアプリのデータを提供いただいた，コネヒト株式会社様およびデータ解析コンペティション運営の方々に感謝申し上げます. また，DB サーバの提供やコンペティション参加の支援をしていただいた電気通信大学情報工学工房および，学術技師の島崎様に感謝申し上げます。

## 参考文献

[1] D. M. Blei, A. Y. Ng and M. I. Jordan, "Latent dirichlet allocation," Journal of Machine Learning Research, 3, pp. 993-1022, 2003.

[2] J. Mcauliffe and D. Blei, "Supervised topic models," In Proceedings of Advances in Neural Information Processing Systems, 20, pp. 121-128, 2007.

[3] D. M. Blei and M. I. Jordan, "Modeling annotated data," In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 127-134, 2003.

[4] T. Iwata, S. Watanabe, T. Yamada, and N. Ueda, "Topic tracking model for analyzing consumer purchase behavior," In Proceedings of the 21 st International Joint Conference on Artificial Intelligence, 9, pp. 1427-1432, 2009.

[5] 住谷祐太, 富川雄斗, 伊藤尚紀, 高橋里司, “SCTTM によるユーザ属性を考慮した潜在嗜好変化の時系列推定”，オペレーションズ・リサーチ，68(2), 2023.

[6] T. L. Griffiths and M. Steyvers, "Finding scientific topics," In Proceedings of the National Academy of Sciences, 101, pp. 5228-5235.

[7] L. Breiman, "Random forests," Machine Learning, 45, pp. 5-32, 2001.

[8] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye and T. Y. Liu, "Lightgbm: A highly efficient gradient boosting decision tree," In Proceedings of Advances in Neural Information Processing Systems, 30, pp. 31463154, 2017.