# 都市を横断した市民意見抽出の評価

神門 典子 $\dagger+t+t,+\dagger+\dagger \dagger \dagger$

行政の政策や接客業のサービスの質を向上させるためには，市民によるフィードバッ クの収集/分析と同時に都市の特徴を明らかにするための他の都市との比較が重要 となる。しかし，都市によって政策やサービスは異なり，市民の抱える意見も異な るため，機械学習により複数の都市に適応した市民意見の分析を実現することは難 しい，本論文では，都市を横断して市民意見を抽出する手法を提案する，実験では，横浜市民，札幌市民，仙台市民のつぶやきを対象として，特定の都市のつぶやきで ファインチューニングしたモデルを, 評価対象の都市の比較的少量のつぶやきを用 いて再度ファインチューニングする手法の有効性を確認した。この際，評価対象の 都市の訓練デー夕は，異なる都市のつぶやきで訓練したモデルによる予測の確信度 が高いものを選定することが有効であることを明らかにした。

キーワード：市民意見分析，COVID-19，マルチタスク学習，T5
## Evaluation of Citizen Opinion Extraction Across Cities

\author{
Tetsuya Ishida $^{\dagger}$, Yohei Seki ${ }^{\dagger \dagger}$, Atsushi Keyaki ${ }^{\dagger \dagger}$, \\ WaKako Kashino ${ }^{\dagger \dagger \dagger}$ and Noriko Kando ${ }^{\dagger \dagger \dagger+,, \dagger \dagger \dagger \dagger \dagger}$
}

Gathering citizen feedback, analyzing it, and comparing the results against other cities is essential for improving government policy and service quality. However, because different cities have different policies and services, the opinions of citizens in different cities also differ. This makes it difficult to analyze citizen opinions adapted for multiple cities using machine learning. In this study, we propose a method for extracting citizen opinions across cities. We evaluated our proposed method using a tweet dataset collected from citizens of Yokohama, Sapporo, and Sendai, confirming its effectiveness to fine-tune a model using the source city and re-fine-tune it with a few tweets from the target city. We clarified that training data in the target city can be effectively selected using the model trained with tweets from the source city, with high confidence in the prediction.

Key Words: Citizen Sentiment Analysis, COVID-19, Multitask Learning, T5


## 1 はじめに

自治体による政策の改善には，都市で暮らす市民の意見を収集し，反映させることが重要となる。また，接客業のサービスの質を向上させるためにも，店員の接客に対する批評や，提供している商品の評価等の意見を反映させることが重要となる. これらの背景から, 著者らの先行研究 (Ishida et al. 2022) では, 特定の都市の市民による Twitter 1 のつぶやきから, 分析対象の市民意見を自動抽出するためのフレームワークを提案した。このフレームワークでは，人手で作成した市民意見分析コーパスを教師データとして，BERT (Devlin et al. 2019) を用いたマルチタスク学習モデルをファインチューニングすることで，つぶやきの意見タイプや極性等の複数の属性を推定した．Twitterでは多くのユーザが日頃感じたことを気軽に述べており，市民が生活している都市の自治体による政策や，日頃利用している接客業のサービスに関する多様な市民意見を収集することができる.

一方で，市民ユーザが感じたことが，分析対象の都市の市民に特有の意見であるのか，それとも他都市の市民も同様に感じている意見であるのかといった判断には，他都市の市民意見との比較が重要となる。しかし, 都市によって自治体の政策やその都市の店舗の接客業のサービスは異なる，そのため，別の都市を対象として市民意見を抽出するには，その都市のつぶやきを対象として，市民意見抽出モデルを訓練するための新たな教師デー夕を作成する必要がある.一方で，すべての都市を対象とした教師データの作成にかかるコストは大きく，こうした実装方法は現実的とはいえない，そこで本研究では，教師データを構築済みの都市（以降，ソース都市と呼ぶ）のデータと，評価対象の別の都市（以降，ターゲット都市と呼ぶ）の比較的少量のデータを活用して，ターゲット都市の市民意見を抽出する手法を提案する。本手法により，これまでに市民意見を抽出していた都市とは異なる都市で新たに市民意見を抽出する際の，教師データ作成にかかるコストを削減することを目的とする。また，ソース都市のデータでファインチューニングを行ったモデルによるターゲット都市のデータへの予測の確信度の情報を活用し，ターゲット都市の教師データを効果的に選定する手法について検証を行う.

実験では，政令指定都市である横浜市と札幌市に暮らす市民のつぶやきを対象として構築した市民意見分析コーパスを用いて，都市を横断した市民意見抽出手法の有効性について検証する。また，横浜市と札幌市と比較して人口が少ない仙台市に暮らす市民のつぶやきを対象として, ソース都市と比較して十分なつぶやきが得られない都市をターゲット都市にする際の市民意見抽出手法の有効性について検証する.

本研究の貢献は以下の通りである.

（1）都市を横断した市民意見抽出手法の有効性の検証のため，横浜市民と札幌市民のつぶや


きからなる市民意見分析コーパスを作成した.

(2) ソース都市のデータとターゲット都市の比較的少量のデータを用いて 2 段階のファインチューニングを行う手法を提案し，各属性の推定における有効性を検証した。

(3) ターゲット都市の教師データは，ソース都市の教師データでファインチューニングしたモデルによる予測の確信度が高いものを選定して構築することで，アノテーションコストを効果的に削減できることを示した。

本論文の構成を以下に示す。 2 節では，関連研究について述べる． 3 節では，提案手法の複数の都市を横断した市民意見抽出について述べる．4 節では，都市を横断した市民意見抽出の実験に使用するコーパスの構築について述べる。 5 節では，都市を横断した各属性のラベル分類の分類精度について，単一都市の訓練データを利用した際の分類精度や, ソース都市のみで訓練した際の分類精度との比較を行い，有効性について検証する。 6 節では，提案手法である都市を横断した市民意見抽出手法を用いて，実際に市民意見を抽出した際の結果と，エラー分析について述べる。最後に 7 節において，本論文のまとめを示す.

## 2 関連研究

## 2.1 都市ごとの市民意見の分析に関する研究

行政による政策や接客業のサービスは都市によって異なるため, ソーシャルメディア上の市民意見も市民が生活している都市によって異なる。しかし，全ての都市で人手で教師データを作成するのはコストが高いため，都市ごとに市民意見の分析を行っている研究では，絵文字を用いたルールベース手法でつぶやきの極性を判定する手法 (Vosoughi et al. 2015) や，つぶやきを用いて事前学習された公開済みのモデル (Barbieri et al. 2020) による予測によって, 自身の研究に用いるつぶやきの極性を自動推定する手法 (Stelzmüller et al. 2021; Jin et al. 2021) が用いられている。これらの手法では，アノテーションコストを抑えた上で市民意見の分析ができる一方で，都市によって市民意見の傾向が異なるにも関わらず，全ての都市に対して同じ手法で市民意見を分析している。また，ルールベースで全てのつぶやきの極性を一括で分類する手法では，人手によるアノテーションとは異なる結果が得られてしまう (Vosoughi et al. 2015)。そのため, 本研究では，夕ーゲット都市においても，アノテーションコストを抑えた上で比較的少量のアノテーションデータを作成し，ソース都市における教師データと組み合わせて使用することで，都市ごとに異なる市民意見に対応する手法を提案する.

また，上記の意見分析研究では，肯定や否定といった極性のような特定の観点からつぶやきに表れる市民意見の分析を行っている。しかし，実際の市民意見は多様であり，特定の観点のみの分析では，多様な市民意見の整理は難しい，そこで本研究では，アプレイザル理論に基づく意見タイプを含む，複数の観点からの分析を行うことで，多様な市民意見の整理を試みる。アプレ

イザル理論 (Martin and White 2005) は, 選択体系機能言語学 (systemic functional linguistics) (Halliday 1985) の立場から提案された, 意見を体系化する理論であり，アプレイザル理論を用いることで，意見の対象に着目した分析を行うことができる．アプレイザル理論において，テキストに現れる感情 (attitude) は,「自発的感情の表明 (affect)」,「人間・組織の振舞や行為を対象とした批評 (judgment)」，「事物・事象を対象とした評価 (evaluation)」の 3 種類に分類される。市民の抱える不安を抽出する際には「自発的感情の表明」が重要となり，行政や接客業の店員に対する批評を抽出する際には「人間・組織の振舞や行為を対象とした批評」が重要となる．また，飲食店で提供される商品の評価を分析する際には「事物・事象を対象とした評価」 が重要となるように，アプレイザル理論によって意見を体系化することで，目的に応じた市民意見の抽出が可能となる (Ishida et al. 2022).

## 2.2 アノテーションコストの削減に関する研究

コストを削減し，新たなアノテーションデータを効果的に作成する手法としては，能動学習 (active learning) (Settles 2010; Ren et al. 2021) が有効であり, 意見分析研究においても活用されている (Räbiger et al. 2016; Wu et al. 2017; Shim et al. 2021). 能動学習では, はじめにアノテーション済みのデータを活用してモデルの訓練を行い，訓練後のモデルを用いて，アノテー ションが行われていないデータから新たに人手でアノテーションを行うべきデータを選定する. この際, 新たなアノテーション候補となるデータの選定手法としては, モデルの予測の確信度が低いデータを選定する手法 (Lewis and Gale 1994) が一般的に用いられている。この手法では,学習済みのモデルを用いて高い確信度で予測できるデータに対しては新たにアノテーションは行わず，モデルの予測の確信度が低く，学習が不十分なデータに対してのみ人手でアノテーションをすることで，モデルの予測性能を向上させている.

一方で，限られたデータを活用してモデルの性能を向上させる手法としては，半教師あり学習 (semi-supervised learning) (Zhu 2008; van Engelen and Hoos 2020) が有効な手法であり, 意見分析研究においても用いられている (He and Zhou 2011; Silva et al. 2016; Peng et al. 2018; Chen et al. 2020; Sazzed and Jayarathna 2021)。半教師あり学習の中でも, 自己訓練 (self-training) (Yarowsky 1995; He and Zhou 2011; Sazzed and Jayarathna 2021) や, 共訓練 (co-training) (Blum and Mitchell 1998; Peng et al. 2018; Chen et al. 2020)の手法では, 能動学習と同様に, はじめにアノテーション済みのデータを活用してモデルの訓練を行い，訓練後のモデルを用いて，アノテーションが行われていないデータに対する予測を行う。しかし, 能動学習手法とは逆に，モデルの予測の確信度が高いデータに対して，モデルによる予測結果を正解ラベルとして自動的に付与することで，アノテーションを行うことなく教師データを拡張する.

本研究においては, ソース都市で訓練したモデルによるターゲット都市のつぶやきへの予測の確信度を用いて，新たにアノテーションすべきデータの選定を行う。そこで，実験において，

ソース都市におけるモデルの予測の確信度が高いデータを選定する手法とモデルの予測の確信度が低いデータを選定する手法のどちらが有効であるかを検証する。

## 2.3 マルチタスク学習と T5

マルチタスク学習 (Caruana 1997) とは, 共通のモデルを用いて関連する複数のタスクを同時に学習することで, 各タスクを独立して学習するよりも高い精度を実現できる手法である. マルチタスク学習では, 異なるタスクの学習によって得られた情報が帰納バイアス (inductive bias) (Mitchell 1980)としての役割を果たすことで, モデルの一般性を向上し, 未知のデータに対する予測性能を高めることができる。本研究における市民意見抽出では，市民意見の整理のために複数の属性の分類タスクを行うため, マルチタスク学習を用いて関連のある属性を同時に分類することで，各属性の分類精度の向上が期待できる。

著者らの先行研究 (Ishida et al. 2022)では, BERT (Devlin et al. 2019) を用いたマルチタスク学習手法である Multi-Task Deep Neural Networks (Liu et al. 2019)を参考にマルチタスク学習モデルを構築したが，本研究では，BERT と比較して多くのタスクで高い性能を示す，T5 モデル (Raffel et al. 2020) を用いてマルチタスク学習モデルを構築する．T5 は分類タスクや回帰夕スク，翻訳タスクなどの全ての自然言語処理タスクの入出力を全てテキストとして統一された形式で扱うことで，単一のモデル構造で多くの夕スクにファインチューニング可能であり，マルチタスク学習モデルの構築に適した言語モデルである。本研究では, 各属性の分類実験において, マルチタスク学習の有効性, 並びに, BERT モデルと比較した際の T5 モデルの有効性を検証する.

## 3 提案手法：複数の都市を横断した市民意見抽出

本研究における都市を横断した市民意見抽出では，先行研究 (Ishida et al. 2022)で用いた意見分析コーパスを複数の都市に拡張し，ソース都市のつぶやきとターゲット都市の比較的少量のつぶやきを用いて 2 段階のファインチューニングを行う手法の評価を行う．本研究では，複数の都市において, 新型コロナウイルス感染症の流行によって休園や登園自粛で大きな問題となった「保育園」と, 同じく新型コロナウイルス感染症の流行によって急激に利用者が増加した「飲食店のテイクアウト」のサービスに関連するキーワードを含むつぶやきを対象として， 3.1 節で述べる複数の属性に対するラベルを付与した市民意見分析コーパスを人手で作成する.次に，作成した市民意見分析コーパスを教師データとして，都市を横断した各属性のラベル分類モデルを訓練する．そして，訓練した分類モデルにターゲット都市の未知のつぶやきを入力し, 各属性のラベルを推定することで，つぶやきに複数の属性に対するラベルを自動で付与する.これらの属性に対して必要とするラベルを条件として指定することで，ターゲット都市の
未知のつぶやきから指定された条件を満たす市民意見のみを抽出することができる.

そこで， 3.1 節でつぶやきに付与する各属性を定義し， 3.2 節で複数の属性を用いた市民意見抽出手法について説明する，そして， 3.3 節で， 3.2 節の手法を拡張し，都市を横断した市民意見抽出を行う手法について説明する。

## 3.1 付与する属性の定義

本研究では, 保育園と飲食店のテイクアウトの 2 つのサービスのつぶやきを対象として, 市民意見抽出を行う，本節では，意見に関連する属性を複数定義するが，1つのつぶやきには複数の意見が含まれることが多い，そのため，意見に直接関連する属性（3.1.1 節で定義する 3 つの属性）については，1つの意見を含む文，もしくは節を対象に属性のラベルを付与する（以降， 1つの意見を含む文，もしくは節を意見ユニットと呼び (Seki et al. 2010)，意見ユニットに付与する属性を意見属性と呼ぶ。一方で，3.1.2節で定義する，つぶやき全体に付与する属性は，以降，つぶやきの属性と呼ぶ.）。また，各サービスに関して，事前に意見を抽出したいと考えている特定の話題については，あらかじめ話題との関連性を判断するモデルを訓練しておくことで，特定の話題に関連するつぶやきのみを自動抽出する.

## 3.1.1意見ユニットに付与する意見属性

・ アプレイザル意見タイプ

アプレイザル理論に基づき，対象に着目した意見のタイプを判断する。ラべルの選択肢は「自発的感情の表明」，「人間・組織の振舞や行為を対象とした批評」，「事物・事象を対象とした評価」,「該当無し」.
- 極性

従来の意見分析研究でも用いられている，つぶやきの極性を判断する、ラべルの選択肢は「肯定」「否定」「中立」，「意見無し」.

-コミュニケーション意見タイプ

モダリティおよび言語行為論を参考にして (大塚他 2007)，アプレイザル理論に含まれない意見タイプを判断する。これによって意見の網羅性を高める。ラベルの選択肢は「推測」,「提案」,「疑問」,「要求」,「該当無し」.

## 3.1.2つぶやき全体に付与するつぶやきの属性
- 地域依存性

意見に地域依存性があるか，すなわち，その都市で暮らす市民特有の意見か，もしくは社会一般的な意見かを判断する，地域に依存するとは，市や県等の地名や，地域の特定が可能な飲食店等の施設名を含むもの，もしくはつぶやきの内容が市民の暮らす地域に
関するものである，と定義する。ラベルの選択肢は「依存」,「非依存」.

・ サービスとの適合性

この属性は，各サービスに関連するキーワードを含むが，内容は適合しないつぶやきからの意見抽出を避けるために定義する。ラベルの選択肢は「適合」，「不適合」.
- 投稿主の立場

どのようなユーザによって投稿されたつぶやきであるかを判断する. ラべルの選択肢は，保育園サービスが「小さい子を持つ親」，「保育園関係者」，「その他」，飲食店のテイクアウトサービスが「店を利用した人」，「飲食店の従業員」，「その他」.

## 特定の話題との関連性（保育園サービス）
- 休園・登園自粛との関連性

新型コロナウイルス感染症によって大きな問題となった, 保育園の休園や登園自粛といった話題との関連性を判断する。ラベルの選択肢は「関連する」「関連しない」.
- 保育園の定員との関連性

横浜市で大きな問題となっている待機児童問題や, 保育園の合否のような保育園の定員の話題との関連性を判断する。ラベルの選択肢は「関連する」，「関連しない」.

## 特定の話題との関連性（飲食店のティクアウトサービス）
- 商品の評価との関連性

商品の味や量, 提供状態等の評価を含むかを判断する、ラベルの選択肢は「関連する」,「関連しない」.

## 3.2 複数の属性を用いた市民意見抽出手法

複数の属性を用いた市民意見抽出手法を図 1 に示す。本手法では，はじめに，各サービスに関連するキーワードを含むつぶやきを収集し，収集したつぶやきを複数の意見ユニットに分割する．意見ユニットに付与するアプレイザル意見タイプ，極性，コミュニケーション意見タイプの 3 つの意見属性については，全て意見ユニット内の同じ意見についての属性であることから，これらの属性の推定タスクには関連性がある。そのため，意見属性のラベル分類では，マルチタスク学習による精度向上が期待できる。先行研究 (Ishida et al. 2022) では, 事前学習モデルとして BERT を用いていたが，本研究では，よりマルチタスク学習に適したモデルとして T5 を用いる。一方でつぶやきの属性は，属性間に関連性は無いため，各属性を独立の T5 モデルを用いて分類する。そして，これらのモデルの分類結果を利用して，複数の属性に対するラベルを意見ユニット，つぶやきに付与し，属性の条件を指定することで，全ての条件を満たすつぶやきのみを抽出する.

## 3.3 都市を横断した市民意見抽出

3.2 節の複数の属性を用いた市民意見抽出手法を拡張し，都市を横断した市民意見抽出を行う手法を図 2 に示す.ここでは，はじめに正解ラベル付きのソース都市のつぶやきを教師データとして，各属性の分類モデルの 1 段階目のファインチューニングを行う。続いて，ソース都市のつぶやきでファインチューニングを行った各属性の分類モデルを用いて，ターゲット都市のつぶやきの各属性のラベルを予測する。この際，モデルの予測の確信度を同時に出力することによって, 予測の確信度が付与された状態のターゲット都市のつぶやきを得る。そして, 予測

図 1 複数の属性を用いた市民意見抽出手法

図 2 都市を横断した市民意見抽出

の確信度を用いて抽出した一部のつぶやきに対して, 人手による各属性に対するラベルのアノテーションを行い, 正解ラベル付きのターゲット都市の一部のつぶやきを得る． 2.2 節で述べたように，夕ーゲット都市におけるつぶやきから確信度が上位のつぶやきあるいは確信度が下位のつぶやきのどちらを選定する手法が有効であるかを，5節の都市を横断した各属性のラベル分類実験において検証する。こうして得られた正解ラベル付きのターゲット都市の一部のつぶやきを教師データとして，ソース都市のデータによる 1 段階目のファインチューニングを行ったモデルからパラメータを保存済みの各属性の分類モデルについて, 2 段階目のファインチューニングを行う．そして， 3.2 節で述べた手法によって， ターゲット都市のつぶやきを対象として，複数の属性を用いた市民意見抽出を行う。

## 4 市民意見分析コーパス

本節では，都市を横断した市民意見抽出手法の評価に用いる，複数の都市の市民のつぶやきからなる市民意見分析コーパスについて述べる．4.1節では，本研究で使用するつぶやきの収集方法について述べ， 4.2 節で，つぶやきに対する人手によるアノテーションについて述べる.

## 4.1 つぶやきの収集方法

## 4.1.1市民アカウントの収集

はじめに，Twitterのプロフィール情報に基づき，各都市の市民アカウントを収集する (長島他 2016)，市民アカウントの収集においては，まず，ツイプロ²の検索 API を用いて，Twitter のプロフィール内の所在地闌，またはプロフィール本文に，「神奈川区」や「戸塚区」といった各都市の行政区，もしくは，（神奈川区内の）「青木町」，（戸塚区内の）「秋葉町」のような，行政区内の町名が含まれるアカウントを収集する3 $、$ 、次に，以下の方法に基づき，収集したアカウントが各都市の市民のアカウントであるかを判定する.

## 市民アカウントの判定

はじめに, 有名人のアカウントや bot からのつぶやきの収集を避けるため, 3,000 以上のフォロワー数, もしくは 4,000 以上のフォロー数のアカウントは除去する. また, 上記のツイプロの検索 API を用いたアカウントの収集では，横浜市中区のアカウントの収集を行う際には，「中区」を検索クエリの1つとする。しかし, 中区という区名は, 横浜市のみではなく, 岡山市や広島市にも存在するため, 上記の方法のみでは他都市の市民アカウントも同時に収集してしまう．そこで，判定対象のアカウントのプロフィールの所在地欄を参照し, 事前に定めた, 各都

市の市民アカウントがプロフィールに記述すると考えられるキーワードとのマッチングを行う． そして, キーワードとマッチした場合は, 判定対象のアカウントを市民アカウントと判定する.横浜市と札幌市において，事前に定めたキーワードは以下の通りである。

$\cdot$ 横浜市：よこはま, ヨコハマ, 横浜, yokohama, 横濱, はまっこ, 赤レンガ, 赤棟瓦
- 札幌市：さっぽろ, サッポロ, 札幌, sapporo

キーワードとのマッチングを行う．また，プロフィールの所在地欄が空欄の場合，もしくは，所在地欄を対象としたキーワードマッチングでは市民のアカウントと判定されなかったものの， $\mathrm{MeCab}^{4}$ を用いた形態素解析の結果, 所在地欄に地域を表す単語が含まれていたアカウントについては，上記の所在地欄を対象としたキーワードとのマッチングをプロフィールの本文を対所として行い，マッチしたアカウントのみ，市民アカウントと判定する.

## 市民アカウントの拡張

ツイプロの検索 API を用いた方法で収集した市民アカウントをフォローしているアカウントも，同様に対象都市の市民アカウントである可能性がある。そこで，さらにアカウントのフォロー関係を参照し，市民アカウントの拡張を行う。

市民アカウントの拡張では，まず，ツイプロの検索 API を用いた方法で収集したアカウントのうち，上記の判定方法で対象都市の市民アカウントであると判定されたアカウントのフォロワーを全て取得する。 そして，取得した市民アカウントのフォロワーのアカウントに対しても，同様に上記の市民アカウントの判定を行う，判定の結果，対象都市の市民アカウントの条件を満たすアカウントについては，市民アカウントとすることで，つぶやきの収集対象となる市民アカウントを拡張する。

## 4.1.2市民アカウントによるつぶやきの収集

4.1.1 節の方法を用いて，横浜市民アカウント 82,583 件と札幌市民アカウント 64,790 件を収集し，これらの各都市の市民アカウントのつぶやきを，Twitterの Streaming API を用いて収集した. これらのつぶやきのうち, 2020 年 1 月 1 日から 2020 年 7 月 11 日までの横浜市民の計 $28,971,414$ 件のつぶやきと, 札幌市民の計 $19,286,694$ 件のつぶやきから, 「保育園」,「保育士」,「保活」，「待機览童」の単語を含むつぶやきを保育園サービスのつぶやきとして収集し，「持ち帰り」,「テイクアウト」の単語を含むつぶやきを飲食店のテイクアウトサービスのつぶやきと
^{4}$ https://taku910.github.io/mecab/
}

して収集した。なお, リツイートや重複するつぶやきは取り除いた。

本研究で用いるデータ数は両都市の両サービスに共通で 2,622 件のつぶやきと, それらを文単位に区切り直したものとする。つぶやきの文単位への区切り直しには，Python のライブラリ， $\mathrm{spaCy}^{5}$ を用いた. この際, 名詞のみで構成される文は意見性を含まないものが多いため, $\mathrm{spaCy}$ による区切り直し後に名詞のみで構成された文が抽出された場合，つぶやきの先頭以外に現れる文は 1 つ前の文に結合し，先頭に現れる文は 1 つ後ろの文に結合する処理を行った. また, 改行は文の区切りとした，さらに，ハッシュタグのみの文も意見を含まないものが多いため，前の文と結合する処理を行った，最後に，閉じ括弧から始まる文については，前の文と結合する処理を行った。

## 4.2 人手による各属性のアノテーション

収集した横浜市民と札幌市民のつぶやきに 3.1 節で定義した各属性に対するラベルを付与するアノテーション作業を人手で行い, 市民意見分析コーパスを作成した. アノテーション作業は，各都市ごとに第一著者を含む合計 5 名の判定者によって行い，全てのアノテーション結果は多数決によって決定した。

アノテーション作業では，はじめに各判定者のアノテーション方針を一致させるための訓練を行った。訓練では，保育園サービス 250 文と飲食店のテイクアウトサービス 250 文の計 500 文と, 各文を含むつぶやきを対象に，5 名全員で各属性のラベルを判定し, 判定者のアノテー ション方針が一致した時点で訓練を終了した。この際， 1 文に複数の意見が含まれると判断した場合は，複数の意見が現れない意見ユニットとなるまで分割した．意見ユニットへの分割作業は全員で意見を交換し，過半数の判定者間で意見が一致した文でのみ行った.

訓練終了後に, 残りの全てのアノテーション作業を行った. 第一著者は全てのつぶやき, 文のアノテーションを行い，両都市において，残りの 4 名を 2 名ずつに分けることで，各 3 名ずつの 2 チームを作り, 各チームが全体の半数ずつのつぶやき, 文のアノテーションを担当した. この際も，1 文に複数の意見が含まれると過半数の判定者間で判断が一致した場合は，複数の意見が現れない意見ユニットとなるまで分割した. Fleiss の $\kappa$ 係数 (Fleiss 1997)を用いた各チームのアノテーションの判定者間一致度を表 1 に示す. 表 1 より, 両都市の全ての属性において Fleiss の $\kappa$ 係数は 0.6 (Substantial Agreement(Landis and Koch 1977)) 以上となり, 判定者によって属性のラベル判定に大きな差異が生まれないことが示された. なお, 各都市のアノテーションにかかる時間は，アノテーション方針を一致させるための訓練が 7 時間，訓練終了後の全てのアノテーション作業が 78 時間で, 計 85 時間となっている.

ラベルの選択肢が 3 つ以上存在する属性において，3名のアノテーション結果が全て異なる
^{5}$ https://spacy.io/
}

表 1 各属性の判定者間一致度 ( Fleiss' $\kappa$ )

表 2 複数都市を対象とした市民意見分析コーパスのデータ数

ラベルになる場合や， 5 名のうち 2 名ずつがそれぞれ同じラベルを選択し, 残りの 1 名が別のラベルを選択した場合は，多数決によって結果を 1 つのラベルに定めることができない。このような場合については, 判定者間で意見を交換することで, 最終的に全ての結果を多数決で決定した.

得られた市民意見分析コーパスの各都市におけるつぶやきと意見ユニットのデータ数を表 2 に示す.

## 5 都市を横断した各属性のラベル分類実験

本実験では，横浜市と札幌市の市民のつぶやきからなる市民意見分析コーパスを用いて， 3.3 節の手法による都市を横断した各属性のラベル分類を行い，手法の有効性を検証する。

## 5.1 実験の方法

## 予備実験：単一都市における各属性のラベル分類

著者らの先行研究では，BERT モデルを用いて単一都市における各属性のラベル分類を行う場合, 意見属性については, 意見属性のすべての属性を同時に学習するマルチタスク学習の手法が有効であり，つぶやきの属性については，各属性について独立に学習する手法が有効であることが示されている. そこで, 都市を横断した実験に先立ち, 5.2 節の予備実験において, 本研究で用いる T5 モデルにおいても, 著者らの先行研究と同様の結果が得られるか, また, BERT モデルと比較して T5 モデルが有効であるかを単一都市において検証する．意見属性の分類においては，各属性を独立の T5 モデルで分類する独立学習の手法を比較手法とし，各属性を 1 つの T5 モデルで分類するマルチタスク学習手法の有効性を検証する。一方で，つぶやきの属性は各属性間に関連性が無いため，すべての属性を 1 つの T5 モデルで分類するマルチタスク学習手法を比較手法とし，各属性を独立の T5 モデルで分類する手法の有効性を検証する。さらに, 上記のすべての手法について, T5 モデルと同様に BERT モデルの精度を算出することで, BERT モデルと比較した際の T5 モデルの有効性についても検証を行う。なお, 本研究で用いる BERT モデルと T5 モデルは, Pythonの Hugging Face transformers ライブラリの事前学習済みモデル6を用いてファインチューニングを行う。

## 都市を横断した各属性のラベル分類

5.3 節の都市を横断した各属性のラベル分類実験では，はじめにソース都市の市民意見分析コーパスの全データを用いて，各属性の分類モデルをファインチューニングする．次に，夕ー ゲット都市のデータを $25 \%, 50 \%$ と一部用いることで，ソース都市で訓練済みのモデルを再度ファインチューニングする，ターゲット都市から一部使用するデータの選択については，以下の手法について比較を行う.
- $25 \%$ のデータを用いる場合

(1) モデルの予測の確信度が上位 $25 \%$ のデータを使用する手法; (2) モデルの予測の確信度が下位 $25 \%$ のデータを使用する手法; (3) ランダムに $25 \%$ 選択する手法.

・ $50 \%$ のデー夕を用いる場合

(1) モデルの予測の確信度が上位 $50 \%$ のデータを使用する手法; (2) モデルの予測の確信度が下位 $50 \%$ のデータを使用する手法; (3) モデルの予測の確信度が中間の $50 \%$ のデー夕を使用する手法; (4) モデルの予測の確信度上位 $25 \%$ と下位 $25 \%$ のデータを使用する手法;

(5) ランダムに $50 \%$ 選択する手法.

モデルの予測の確信度を用いたデータの選択では，はじめにソース都市のデータを使って T5
^{6}$ BERT モデル：https://huggingface.co/cl-tohoku/bert-base-japanese-v2

T5 モデル：https://huggingface.co/sonoisa/t5-base-japanese
}

モデルをファインチューニングし，市民意見分析コーパスに含まれるターゲット都市の全てのデータの各属性のラベルを推定する。そして， ターゲット都市のデータのうち，モデルの予測の確信度7の情報を用いて，2 段階目のファインチューニングに用いるためのデータを選択する.

5.3.3 節において, 都市を横断した各属性のラベル分類実験の考察を行う． 5.3 .3 節の考察では，モデルの予測の確信度が上位のつぶやきを用いる場合と確信度が下位のつぶやきを用いる場合の双方の手法において, 作成された教師データの各属性のラベルの分布を算出することで,手法ごとに得られる教師データの特徴を分析する.

## 都市を横断した市民意見抽出手法の有効性の検証

5.4 節では，都市を横断した各属性の分類精度と，都市を横断せずに単一都市のデー夕を用いてラベル分類を行った際の各属性の分類精度, ソース都市のみで訓練した際の分類精度の比較を行うことで，都市を横断した市民意見抽出手法の有効性の検証を行う．

はじめに，ソース都市のデータのみで訓練を行ったモデルによる，ターゲット都市の各属性のラベル分類精度を算出する。これによって, 市民が異なる意見を抱える複数の都市において， ターゲット都市のデータを一切用いない場合，つまり，訓練データとテストデータの都市が異なる場合に，各属性のラベル分類精度がどの程度低下するのかを検証する.

また，単一都市における各属性に対するラベルの分類では， ターゲット都市の $100 \%$ のデータを用いてラベル分類を行っているのに対し，都市を横断した各属性に対するラベルの分類では， ソース都市のデータを $100 \%$ 用いているものの，ターゲット都市のデータは $50 \%$ か用いていない. そのため, これらの手法を比較することによって, 既存の都市とは異なるターゲット都市で市民意見の分析を行う際に，データ作成コストを半減した状態で，精度差をどの程度まで抑えられるかを検証する。

都市を横断した各属性に対するラベルの分類には, 5.3 節において最高精度となった手法を用い，都市を横断せずに単一都市のデータを用いて各属性に対するラベルの分類を行う手法には， 5.2 節において最高精度となった手法を用いる.ソース都市のみで訓練した際の各属性に対するラベル分類には，5.2 節において最高精度となった手法において，訓練データをソース都市，テストデータをターゲット都市とした手法を用いる.

## つぶやきの数が十分に得られない都市における提案手法の有効性の検証

最後に，5.5節において，つぶやきの数が十分に得られない都市における提案手法の有効性の検証を行う．4節で作成した市民意見分析コーパスでは，横浜市と札幌市の双方において 2,622 件と同じ量のつぶやきを用いている。しかし，全ての都市において横浜市や札幌市と同じ量のつぶやきが得られるとは限らない。そこで本節では，横浜市や札幌市と比較して，収集可能な

保育園サービスのつぶやきの数が半数以下となっている仙台市を対象として，提案手法の有効性の検証を行う。

5.5 節では，前述した都市を横断した各属性のラベル分類と同様の実験について，横浜市と札幌市をそれぞれソース都市とし，仙台市をターゲット都市とした場合の検証を行う．

さらに，都市を横断した仙台市の各属性のラベル分類精度と，都市を横断せずに仙台市単一のデータを用いてラベル分類を行った際の分類精度, ソース都市である横浜市と札幌市のみのデータを用いて訓練した際の分類精度との比較を行うことで，前述した都市を横断した市民意見抽出手法の有効性の検証を，仙台市をターゲット都市として行う.

## 各属性の分類実験に用いる評価指標

本実験の評価指標は全て $\mathrm{F}$ 値とし，5 分割交差検証を用いてコーパス内の全てのデータの各属性の分類精度を算出する．5 分割交差検証の各検証では，全体の $20 \%$ のデータをテストデー 夕， $16 \%$ のデータを検証データ， $64 \%$ のデータを訓練データとして用いる。テストデータについては，全ての実験で同じデータを用いる，ターゲット都市のデータを $25 \%, 50 \%$ 用いる手法では，モデルの２段階目のファインチューニングに使用する 5 分割交差検証における訓練データ，検証データの割合を変化させる．ファインチューニングのエポック数は， 5 分割交差検証の各検証において，2，3，4，5 エポックのうち，検証デー夕における $\mathrm{F}$ 値が最も高いものを用いる. なお, 5.4 節, 5.5.3 節で行う，ソース都市のみで訓練を行ったモデルによるターゲット都市の各属性のラベル分類では，訓練データとテストデータの都市が異なり, 完全に別のデータとなるため, 5 分割交差検証は行わない.

## 5.2 予備実験：単一都市における各属性のラベル分類の結果

単一都市のデータを用いて行った予備実験の結果を表 3 , 表 4 に示す.
- 表 3 より, 意見属性のラベル分類では, 全ての属性において T5 モデルを用いたマルチタスク学習手法が最高精度となっている. さらに, 提案手法と比較した際に, 全ての手法において，1 対の対応のある両側 $t$ 検定で有意差が有り（有意水準 $5 \%$ ）, その効果量 (Pearson's $r$ ) が大きい (large (Cohen 1992))ことを確認した8 8 .この結果から，T5 モデルを用いた場合においても, 先行研究の BERT モデルと同様に, 意見属性の分類にはマルチタスク学習手法が有効であると分かる．また， T5 モデルと BERT モデルのマルチタスク学習手法のラベル分類の精度を比較すると, 全ての属性で T5 モデルのマルチ夕スク学習手法が高精度となっていることから，意見属性のラベル分類における T5 モデルの有効性が示された.


 & 各属性独立 & マルチタスク & 各属性独立 \\

*提案手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 3 T5 モデルと BERT モデルを用いた際のマルチタスク学習手法と各属性独立学習手法の意見属性のラベル分類精度の比較（F 值）
- 表 4 より, つぶやきの属性では, 横浜市, 札幌市の全 18 属性のうち, 13 属性で T5を用いた各属性独立学習の手法が最も高い精度となっている。各属性独立の T5 モデルとマルチタスク学習を用いた T5 モデルを比較すると, 横浜市の保育園サービスの地域依存性，定員との関連性，札幌市の保育園サービスの地域依存性の 3 属性でのみマルチタスク学習が独立学習を上回る精度となっているが, これらの属性においても, $\mathrm{F}$ 値の精度差は 0.02 未満と小さい. よって，つぶやきの属性については，各属性独立の T5 モデルを用いる手法が有効であると分かる.

また， T5 モデルの各属性独立学習と BERT モデルの各属性独立学習を比較した際に，札幌市のテイクアウトサービスの地域依存性以外の全ての属性で，T5 モデルが高精度となっている。 さらに，札幌市のテイクアウトサービスの地域依存性についても $\mathrm{F}$ 値の差が 0.001 と極めて小さいことから，つぶやきの属性についても，BERT モデルと比較してT5 モデルが有効であると分かる.

以上の予備実験の結果を踏まえ，5.3 節の都市を横断した各属性の分類実験においては，意見属性の分類には T5 モデルを用いたマルチタスク学習手法を使用し，つぶやきの属性の分類には，T5 モデルを用いて各属性を独立にラベル分類する手法を使用する．

 & マルチタスク & 各属性独立 & マルチタスク \\

*提案手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 4 T5 モデルと BERT モデルを用いた際の各属性独立学習手法とマルチタスク学習手法のつぶやきの属性のラベル分類精度の比較（F 值）

## 5.3 都市を横断した各属性のラベル分類の実験結果

## 5.3 .1 都市を横断した意見属性のラベル分類精度

都市を横断した意見属性のラベル分類の精度を表 5 , 表 6 に示す.
- 表 5 より，ターゲット都市の $25 \%$ のデータを用いて都市を横断した分類を行う場合，全ての属性において，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。
- 表 6 より, ターゲット都市の $50 \%$ のデータを用いる場合は, 横浜市のテイクアウトサービスのコミュニケーション意見タイプを除いて, 全ての属性で 1 段階目にファインチュー ニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定する手法が最も高精度となっており, さらに，ターゲット都市の $25 \%$ のデータを用いる場合よりも高精度となっている。

よって，都市を横断して意見属性の分類を行う際には，1段階目にファインチューニングした

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

*上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 5 ターゲット都市の $25 \%$ のデータを用いた都市を横断した意見属性のラベル分類精度（F 値）

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

$*$ 上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 6 ターゲット都市の $50 \%$ のデータを用いた都市を横断した意見属性のラベル分類精度（F 値）

モデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチュー ニングを行う手法が有効であることが分かる.

## 5.3.2 都市を横断したつぶやきの属性のラベル分類精度

都市を横断したつぶやきの属性の分類精度を表 7 , 表 8 に示す.

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

*上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 7 ターゲット都市の $25 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 值）
- 表 7 より，ターゲット都市の $25 \%$ のデータを用いて都市を横断した分類を行う場合，札幌市の保育園サービスの地域依存性を除く全ての属性で，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し， 2 段階目のファインチューニングを行う手法が最も高精度となっている。また, 札幌市の保育園サービスの地域依存性においても，確信度上位のデータを選定する手法の精度とランダムにデータを選定する手法の精度差は, 0.005 と極めて小さい.
- 表 8 より, ターゲット都市の $50 \%$ のデータを用いる場合は, 全 18 属性中 12 属性で, 1 段階目にファインチューニングしたモデルによる予測の確信度が上位のデータを選定して 2 段階目のファインチューニングを行う手法が高精度となっている. このことから，つぶやきの属性についても，確信度上位のデータを用いる手法が有効であると分かる。しかし, 表 8 より, つぶやきの属性では, 確信度上位 $25 \%$ と下位 $25 \%$ のデー夕を合わせた手

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

*上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 8 ターゲット都市の $50 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 值）

法が 4 つの属性については最も高い精度となっている 9 . 表 7 では, 確信度が下位 $25 \%$ のデータを使う手法の精度が低いことから，確信度が下位 $25 \%$ のデータがモデルの分類に有効とはいえない。さらに，つぶやきの属性においては，表 7 の確信度上位 $25 \%$ のデー 夕を使用する手法と, 表 8 の確信度上位 $50 \%$ のデータを使用する手法の精度差が意見属性と比較して小さいそのため, つぶやきの属性は, 確信度上位 $25 \%$ のデータに, モデルの学習に有効なデータが多く含まれていると考えられる.

## 5.3.3結果の考察

ソース都市のデータを用いて 1 段階目のファインチューニングを行ったモデルによる，ター ゲット都市のデータに対する予測の確信度の情報を用いる手法の影響を分析するため，手法ごとに得られたデータの各属性のラベルの分布を算出した。結果を表 9 に示す。表 9 の「全体」の列は，コーパス全体の各属性のラベルの分布を示しており，「確信度上位」，「確信度下位」は， それぞれ確信度上位 $50 \%$ のデータを選定した場合の各属性のラベルの分布と，確信度下位 $50 \%$


} & \multirow{3}{*}{ サービス } & \multirow{3}{*}{ 属性 } & \multirow{3}{*}{\multicolumn{2}{|c|}{ ラベル }} & \multicolumn{6}{|c|}{ 各ラベルの割合 } \\

表 9 手法毎に得られる教師デー夕内の各属性のラベルの割合の分布

のデータを選定した場合の各属性のラベルの分布を表している．表 9 から，確信度上位 $50 \%$ のデータを選定した場合, 各属性のラベルの分布が均衡に近づくことが分かる。例えば，表 9 の横浜市のアプレイザル意見タイプに着目すると，コーパス全体では保育園サービスで $56.4 \%$, テイクアウトサービスで $73.0 \%$, 「該当無し」の分布が過半数となっている。 しかし, 確信度上位 $50 \%$ のデータの分布を見ると，「該当無し」の割合が減り，他のラベルの割合が高くなっていることが分かる。他の多くの属性においても，同様に確信度上位 50\%を選定することで，ラベルの分布が均衡に近づいている。 モデルの予測の確信度が高いということは，モデルにとって予測を行いやすいデータであり，特徴的なデータであると考えることができる，そのため，夕ー ゲット都市全体のデータから，ラベルの種類に関わらず，確信度上位のデータのみ，つまり，特徴的なデータのみを選定する手法が，教師データのラベルの分布を均衡に近づけることに繋がり，分類精度が向上したと考える。

## 5.4 都市を横断した市民意見抽出手法の有効性の検証

本節では，都市を横断した各属性の分類精度と，都市を横断せずに単一都市のデー夕を用いて分類を行った際の各属性の分類精度, ソース都市のみで訓練した際の各属性の分類精度を比較する。

都市を横断した意見属性の分類では，5.3 節の結果を踏まえ，ターゲット都市の確信度上位 $50 \%$ のデータを用いて T5によるマルチタスク学習を行った際の精度を都市横断の精度とする。 つぶやきの属性については, ターゲット都市の確信度上位 $50 \%$ のデータを用いて T5 による各属性独立の学習を行った際の精度を都市横断の精度とする。単一都市における分類, ソース都市のみで訓練した際の分類では, 5.2 節の結果を踏まえ，意見属性については各属性を $\mathrm{T} 5$ によるマルチタスク学習で分類した際の精度を算出し，つぶやきの属性については各属性独立の T5 モデルによって分類した精度を算出する，なお，単一都市に打ける分類では，訓練データとテストデータは双方とも同じターゲット都市とし，ソース都市のみで訓練した際の分類では，訓練データをソース都市，テストデータをターゲット都市とする，実験結果を表 10 ，表 11 に示す。
- 意見属性の分類では, 都市横断手法が全 12 属性中 6 属性で高精度となっており, 提案手法を用いることで，単一都市における分類精度と同程度の精度で都市横断の分類が行えることが分かる．特に，テイクアウトサービスにおいては，横浜市と札幌市の両都市で極性とコミュニケーション意見タイプが単一都市における分類精度よりも高精度となっており，アプレイザル意見タイプについても，横浜市で精度差が 0.005 , 札幌市で精度差が 0.002 と極めて小さい精度差となっている。このことから，テイクアウトサービスの意見属性は都市を横断した分類を行いやすいことが分かる。この原因として，保育園サ一ビスについては自治体によって行政による政策の差が大きい一方で，テイクアウトサー ビスについては，都市によって店名の差等の地域差は存在するが，市民の抱える意見の

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 10 意見属性の都市を横断した分類精度と単一都市における分類精度の比較（ $\mathrm{F}$ 値）

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 11 つぶやきの属性の都市を横断した分類精度と単一都市における分類精度の比較（F 值）
傾向やつぶやきに現れる意見表現に大きな差が表れないためであると考えられる.一方で，表 10 より，ソース都市のみで訓練した際の意見属性の分類では，全ての属性で精度が最も低く，特にアプレイザル意見タイプは，両都市の両サービスにおいて，単一都市における分類精度と比較して 0.1 以上と大きく精度が低下している。このことから，訓練データとテストデータの都市が異なる場合，つまり，訓練データの都市とテストデー 夕の都市で市民の抱える意見が異なる場合は，事物・事象や人間・組織の振舞といった市民意見の対象や，市民の感情表明を正確に抽出することができないと分かる．また，極性についても，横浜市のテイクアウトサービスを除いて，単一都市における分類精度と比較して 0.1 以上と大きく精度が低下している。 さらに，横浜市のテイクアウトサービスにおいても， 0.083 と大きく精度が低下していることから，市民の抱える意見が異なる場合は，肯定的な意見や否定的な意見についても正確な分析ができないと分かる.

-つぶやきの属性については，都市を横断して分類を行った際の精度が，全 18 属性中 15 属性で単一都市における分類精度以上の精度となっている。この結果から，つぶやきの属性については，モデルの予測の確信度の情報を用いて効率的にターゲット都市の $50 \%$ のデータを選定することで，ターゲット都市の $100 \%$ のデータを用いて単一都市で分類を行うよりも高い精度が実現可能であることが分かる。つぶやきの属性については，地域依存性の分類の際には地名や店名が手がかりとなり，休園・登園自粛との関連性のような特定の話題との関連性の分類の際には「休み」,「休園」のキーワードが手がかりとなるように，分類の手がかりが意見属性と比較して明確となっている，そのため，モデルの予測の確信度の情報を用いて特徴的なデータを選定する手法が，意見属性と比較して特に有効であると考える。

一方で，表 11 より, ソース都市のみで訓練した際のつぶやきの属性の分類精度については，全 18 属性中 14 属性で単一都市における分類精度以下の精度となっている。このことから，つぶやきの属性においても，訓練データとテストデータの都市で市民意見が異なる場合は，分類精度が低下することが分かる，しかし，つぶやきの属性では，意見属性と比較して精度の低下の程度は小さい。

以上の結果から，都市によって市民の抱える意見は異なるため，単純にソース都市のみで訓練したモデルを用いるだけでは, 特にアプレイザル意見タイプや極性など, ターゲット都市の市民意見を正確に分析することはできないと分かる．しかし，提案手法である都市横断手法を用いることで，単一のターゲット都市における分類精度と同程度かそれ以上の精度で，ターゲット都市の市民意見を分析できることを明らかにした．よって，提案手法を用いることで，市民意見抽出手法を，市民の抱える意見が異なる複数の都市に適応可能であるといえる.

また，確信度上位 $50 \%$ のデータを選定して 2 段階目のファインチューニングを行う手法では,各属性のラベル分類に使用するターゲット都市のつぶやきの量を，コーパス全体の 2,622 件か

ら，50\%の 1,311 件へと削減することができる．4.2 節より，各都市のアノテーションにかかる時間は，アノテーション方針を一致させるための訓練が 7 時間, 訓練終了後の全てのアノテー ション作業が 78 時間，計 85 時間となっている。つぶやきの量を $50 \%$ に削減した場合においても，アノテーション方針を一致させるための訓練の時間は同様に 7 時間確保する必要があるが,訓練終了後の全てのアノテーション作業の時間は, 半分の 39 時間に削減することができる。そのため，新たなターゲット都市において市民意見を抽出する際に，確信度上位 $50 \%$ のデータを選定して 2 段階目のファインチューニングを行う手法を用いることで，アノテーションにかかる時間を, 85 時間から 46 時間まで減らすことができる. さらに, ソース都市のアノテーションを担当した判定者が新たにターゲット都市のアノテーションを行う場合については，アノテー ション方針を一致させるための訓練時間も削減することができる.

## 5.5 つぶやきの数が十分に得られない都市における提案手法の有効性の検証

本節では，横浜市と札幌市と比較してつぶやきの数が十分に得られない仙台市を対象として，各属性のラベル分類を行う。仙台市の令和 4 年 12 月 1 日時点の人口は $1,099,352$ 人となっており,これは，横浜市の同時点の人口の約 $29 \%$, 札幌市の同時点の人口の約 $56 \%$, 横浜市と札幌市と比較して少なくなっている，そのため仙台市においては，飲食店のテイクアウトサービスのつぶやきは表 2 の横浜市と札幌市と同様に 2,622 件収集可能できたものの, 保育園サービスのつぶやきは 1,076 件と半分以下しか収集できなかった。 そこで, これらの仙台市のつぶやきに対して新たにアノテーションを行い，仙台市をターゲット都市として都市を横断した各属性のラベル分類を行うことで，ターゲット都市において十分なつぶやきが得られない場合の提案手法の有効性の検証を行う。なお，本節の都市を横断した各属性のラベル分類実験では, 5.3 節と同様に，意見属性の分類には T5 モデルを用いたマルチタスク学習手法を使用し，つぶやきの属性の分類には，各属性独立の T5 モデルを使用する。

## 5.5.1仙台市のつぶやきに対する各属性のアノテーション

仙台市をターゲット都市とした実験を行うため，4.1節と同様の方法で新たに仙台市のつぶやきを収集した。 これらの仙台市のつぶやきに対する各属性のアノテーションでは, はじめに 4.2 節の横浜市と札幌市のアノテーションと同様に, 保育園サービス 250 文と飲食店のテイクアウトサービス 250 文の計 500 文と，これらの各文を含むつぶやきを対象としてアノテーションを行う，なお，本アノテーションは，第一著者と， 4.2 節のアノテーション実験に参加した 2 名のアノテータの, 計 3 名で行う。また, 4.2 節と同様に, 1 文に複数の意見が含まれると過半数の判定者が判断した場合については，複数の意見が現れない意見ユニットとなるまで分割を行った.

保育園サービス 250 文と飲食店のテイクアウトサービス 250 文の計 500 文と, これらの各文を含むつぶやきに対するアノテーションについて, Fleissの $\kappa$ 係数 (Fleiss 1997) を用いた各属性の
判定者間一致度は, 全ての属性において 0.6 (Substantial Agreement (Landis and Koch 1977)) 以上となった。つまり, 仙台市においても，判定者によって属性のラベル判定に大きな差異は生まれないことが示されたため, 残りのつぶやき，文に対するアノテーションは第一著者が行った.

最終的に得られた仙台市のアノテーション済みのデー夕は，保育園サービスが 1,076 件のつぶやきと 2,994 件の意見ユニット，テイクアウトサービスが 2,622 件のつぶやきと 8,114 件の意見ユニットとなった，本節では，これらの仙台市のデータをターゲット都市のデータとして，各属性のラベル分類実験を行う.

## 5.5.2都市を横断した仙台市の各属性のラベル分類の実験結果

仙台市をターゲット都市とした，都市を横断した意見属性のラベル分類精度を表 12 ，表 13 に示す.
- 表 12 より, 仙台市の $25 \%$ のデータを用いて都市を横断して意見属性の分類を行う場合,横浜市, 札幌市のどちらの都市をソース都市とした場合も，全属性において，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。
- 表 13 より, 仙台市の $50 \%$ のデータを用いる場合は, 札幌市をソース都市とした場合の保

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

$*$ 上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 12 仙台市の $25 \%$ のデータを用いた都市を横断した意見属性のラベル分類精度（F 値）

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

&+$ 下位 $25 \%\end{aligned}$ & ランダム $50 \%$ \\

*上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 13 仙台市の $50 \%$ のデー夕を用いた都市を横断した意見属性のラベル分類精度（F 値）

育園サービスのコミュニケーション意見タイプを除いて，全ての属性で 1 段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定する手法が最高精度となっている．また，表 12 の仙台市の $25 \%$ のデータを用いる場合と比較して，札幌市をソース都市とした場合の保育園サービスのコミュニケーション意見タイプを除いた全属性で，50\%のデータを用いる手法が高精度となっている。このことから，札幌市をソース都市としてコミュニケーション意見タイプの推定を行う場合，確信度が上位 $25 \%$ のデータを用いるだけで十分であるものの，多くの属性においては， $50 \%$ のデータを用いる手法が有効であると分かる.

以上の実験結果より，意見属性のラベル分類では，ソース都市と比較してターゲット都市のデータが十分に得られない場合においても，ソース都市のデータを用いて 1 段階目のファインチューニングを行ったモデルによる予測の確信度が上位のターゲット都市のデータを用いて, 2 段階目のファインチューニングを行う手法が有効であると分かる.

## 都市を横断したつぶやきの属性のラベル分類精度

仙台市をターゲット都市とした，都市を横断したつぶやきの属性のラベル分類精度を表 14 ,表 15 に示す.
- 表 14 より, 仙台市の $25 \%$ のデータを用いて都市を横断してつぶやきの属性の分類を行う場合，札幌市をソース都市とした場合の保育園サービスの投稿主の立場を除いた全属性で，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

*上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \% ）$

表 14 仙台市の $25 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 値）

市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。札幌市をソース都市とした場合の保育園サービスの投稿主の立場においても，ランダムに $25 \%$ のデータを選択する手法と比較して精度差は 0.009 と低く, 確信度上位のデータを選定する手法が有効であると分かる.
- 表 15 より, 仙台市の $50 \%$ のデー夕を用いる場合は, 全 18 属性中 15 属性で, 1 段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。また， 5.3.2 節の横浜市と札幌市における実験結果と同様に，表 14 の上位 $25 \%$ のデー夕を用いる手法と表 15 の上位 $50 \%$ のデータを用いる手法の精度差が意見属性と比較して小さくなっており, 表 15 より, 上位 $25 \%$ と下位 $25 \%$ のデー夕を合わせた手法が 3 つの属性で最高精度となっている. このことから, ソース都市と比較してつぶやきの数が十分に得ら

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

*上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 15 仙台市の $50 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 值）

れない仙台市をターゲット都市とした場合においても，つぶやきの属性では, 確信度上位 $25 \%$ のデータにモデルの学習に有効なデータが多く含まれていると考えられる。

以上のつぶやきの属性の分類実験の結果より，ソース都市と比較してターゲット都市のデー 夕が十分に得られない場合においても，意見属性と同様に，ソース都市のデータを用いて 1 段階目のファインチューニングを行ったモデルによる予測の確信度が上位のターゲット都市のデー 夕を用いて，2 段階目のファインチューニングを行う手法が有効であると分かる.

## 5.5.3 都市を横断した市民意見抽出手法の有効性の検証

本節では, 都市を横断した仙台市の各属性の分類精度と, 都市を横断せずに仙台市単一のデー 夕を用いて分類を行った際の各属性の分類精度, ソース都市である横浜市と札幌市のみのデー 夕を用いて訓練した際の仙台市の各属性の分類精度を比較する.

都市を横断した意見属性の分類では，5.5.2 節の結果を踏まえ，5.4 節と同様に，ターゲット都市の確信度上位 $50 \%$ のデータを用いて T5によるマルチタスク学習を行った際の精度を都市横
断の精度とする。つぶやきの属性についても，5.5.2 節の結果を踏まえ，5.4 節と同様に，ター ゲット都市の確信度上位 $50 \%$ のデータを用いて T5による各属性独立の学習を行った際の精度を都市横断の精度とする。単一都市における分類，ソース都市のみで訓練した際の分類では， 5.4 節と同様に，意見属性については各属性を T5 によるマルチタスク学習で分類した際の精度を算出し，つぶやきの属性については各属性独立の T5 モデルによって分類した精度を算出する。実験結果を表 16 ，表 17 に示す.
- 表 16 より, 仙台市の意見属性の分類では, 横浜市と札幌市の両都市において, 飲食店のテイクアウトサービスのアプレイザル意見タイプを除く全ての属性で，提案手法である都市を横断した分類手法が最も高い精度となっている．仙台市の飲食店のテイクアウトサービスでは，横浜市と札幌市と同様に 2,622 件のつぶやきを用いて分類を行っている. そのため, 5.4 節の横浜市と札幌市のつぶやきを用いた都市を横断した意見属性の分類実験における表 10 の結果と同様に，アプレイザル意見タイプ以外の属性では提案手法が最も有効となっている。一方で, 保育園サービスでは, 5.4 節における表 10 の単一都市での分類が有効であるという結果とは異なり，都市を横断した分類手法が全属性で最も高精度であり，ソース都市のつぶやきとターゲット都市の一部のつぶやきを用いた 2 段階のファインチューニング手法が有効であると分かる。保育園サービスでは，ソース都市である横浜市と札幌市と比較して十分なつぶやきの量が得られず, ソース都市の半数以

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 16 仙台市の意見属性の都市を横断した分類精度と単一都市における分類精度の比較（ $\mathrm{F}$ 値）

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 17 仙台市のつぶやきの属性の都市を横断した分類精度と単一都市における分類精度の比較（ $\mathrm{F}$ 値）

下のデータを用いてモデルの訓練を行っている.このようにターゲット都市のつぶやきが十分に得られない場合においては，ソース都市とターゲット都市の双方においてつぶやきの量が十分に得られている表 10 の場合と比較して, ソース都市のつぶやきを用いた 1 段階目のファインチューニングがより有効であり，少ないターゲット都市のデータのみを用いて単一都市で分類を行う手法よりも高い精度が実現可能であると分かる。つまり，新たなターゲット都市において市民意見抽出を行う際に，ターゲット都市のつぶやきが十分に得られない場合においては, 既存のソース都市のデータを活用し, 提案手法である 2 段階のファインチューニング手法を適用することで, 高精度な意見属性の分類ができると分かる.
- 表 17 より, 仙台市のつぶやきの属性の分類では, 全 18 属性中 14 属性で, 提案手法である都市を横断した分類手法が最も高い精度となっている。このことから， 5.4 節の横浜市と札幌市のつぶやきを用いた都市を横断したつぶやきの属性の分類実験における表 11 の
結果と同様に，仙台市においても，つぶやきの属性の分類には都市を横断した分類手法が有効であると分かる。しかし, 5.4 節の表 11 とは異なり，保育園サービスでは， 3 つの属性でソース都市のみで訓練を行う手法が最高精度となっている。提案手法である都市を横断した分類手法と, ソース都市のみで訓練した手法の精度差が最も大きい属性は,横浜市をソース都市とした場合の定員との関連性となっており，その他の属性では精度差は 0.01 以下と小さい，表 9 より，横浜市の保育園サービスにおける定員との関連性属性の「関連する」ラベルの割合は $9.7 \%$ であり，札幌市の $5.7 \%$ と比較して多くの市民が保育園の定員についての意見をつぶやきとして投稿していると分かる。また，仙台市における定員との関連性属性の「関連する」ラベルの割合は $3.3 \%$ となっていた。横浜市においては待機児童問題が全国の都市の中でも極めて顕著であり，このように他都市と比較して多くの市民が保育園の定員に関するつぶやきを投稿していることが，横浜市をソー ス都市とした場合にソース都市のみで訓練する手法が高精度となる結果の原因であると考える。しかし，横浜市をソース都市とした場合の保育園の定員においても，精度差は 0.012 と大きな差が無く, その他の多くの属性においては都市を横断した手法が高い精度となっていることから，仙台市をターゲット都市とした際のつぶやきの属性においても，都市を横断した手法が有効であると分かる.

以上の実験結果より, ソース都市と比較してつぶやきが十分に得られない都市をターゲット都市とした場合においても，提案手法である都市を横断した各属性の分類手法が有効であると分かった．特に意見属性の分類においては，ターゲット都市のつぶやきが十分に得られる場合と比較して, ターゲット都市単一で分類を行う手法に対して都市を横断した手法がより有効であることを実験から明らかにした。また，横浜市をソース都市とした場合の保育園サービスにおける定員との関連性属性のように，地域によって話題が盛んなごく一部の属性ではソース都市のみで訓練した手法がわずかに有効であるものの，その他の大部分の属性においては，提案手法である都市を横断した各属性の分類手法が，ソース都市に関わらず有効であると分かった.

## 6 提案手法により抽出した市民意見の都市別比較分析

本節では， 3 節の提案手法を用いて実際に都市を横断した市民意見抽出を行い，横浜市民と札幌市民の市民意見を比較して分析する.

## 6.1 市民意見の分析方法

はじめに， 6.2 節において，テストデータの拡張を行う。これによって，コーパスに含まれるつぶやきのみではなく, 未知のつぶやきも対象とした市民意見の分析を行う。

6.3 節では, 6.2 節で作成したテストデータに対して, 都市を横断して各属性の予測を行う.
続いて，モデルの予測結果をもとに，市民意見の出現頻度の時系列順の 10 日間ごとの推移を分析する。時系列順の分析に用いるつぶやきは，保育園サービスでは休園・登園自粛に関連するとモデルが予測したつぶやき，テイクアウトサービスでは，全つぶやきとする，最後に，時系列に加えて，各属性の条件を指定することで，市民意見を自動抽出する．都市を横断した各属性の分類モデルについては, 5.3 節の結果を踏まえて, 意見属性の分類にはターゲット都市の確信度上位 50\%のデータを活用したマルチタスク学習モデルを使用し，つぶやきの属性の分類にはターゲット都市の確信度上位 $50 \%$ のデータを活用した各属性独立の分類モデルを使用する.

6.4 節では，都市を横断した市民意見抽出結果の考察を行う。はじめに 6.4 .1 節において，提案手法を利用したターゲット都市に特有の市民意見の抽出の可能性について検証を行う．都市で暮らす市民の抱える意見が，その都市に特有の意見であるかを分析するには，他の都市の市民意見との比較が重要となる．5.4 節の表 10 , 表 11 より, ソース都市のみで訓練したモデルによる各属性のラベル分類精度と比較して，都市を横断した各属性のラベル分類精度は向上している。ターゲット都市のデータを一部用いることではじめて予測が可能になる市民意見は，ソー ス都市の訓練データ内には存在しないものの, ターゲット都市においては訓練データが存在する意見，つまりターゲット都市に特有の意見と考えることができる。本節では，都市を横断したモデルと，ソース都市のみで訓練したモデルによる予測結果が異なる市民意見を抽出し，夕ー ゲット都市に特有の市民意見の傾向と事例を明らかにする。なお， 5.4 節で示したように，テイクアウトサービスでは, 店名等の地域差は存在するものの, 意見表現に大きな差は現れにくい.一方で，保育園サービスに関する市民意見では，行政の政策による影響が大きく，都市によって意見に差が現れやすい。そのため本節では，保育園サービスを例に，ターゲット都市に特有の市民意見について考察する.

最後に，6.4.2 節では，提案手法を用いて都市を横断して抽出した市民意見のうち，指定した属性ラベルに対してふさわしくない市民意見を示し，原因についての考察を行う．

## 6.2 テストデータの拡張

4 節で作成した市民意見分析用コーパスに含まれるつぶやきに加えて， 2020 年 1 月 1 日から 2020 年 7 月 11 日までのつぶやきを 4 節と同様の方法で収集することで, 実験に用いるテストデータの拡張を行った。1月 1 日から 7 月 11 日までの全てのつぶやき数は, 横浜市の保育園サー ビスで 9,535 件，テイクアウトサービスで 21,014 件，札幌市の保育園サービスで 4,623 件，テイクアウトサービスで 14,980 件であった． 4 節で作成した市民意見分析コーパスは， アノテー 夕の就業可能時間数に合わせて，両サービスとも 2,622 件のつぶやきを全体からランダムに抽出した. そこで，追加のテストデータとして， 4 節のつぶやきと重複しないように，横浜市の保育園サービスで 6,913 件のつぶやき，テイクアウトサービスで 18,392 件のつぶやきを抽出し,札幌市の保育園サービスで 2,001 件のつぶやき，テイクアウトサービスで 12,358 件のつぶやき

表 18 複数都市を対象とした市民意見分析コーパスの拡張データのデータ数

を抽出した，新たに収集したつぶやきから得られた文数は，横浜市の保育園サービスで 22,256 文，テイクアウトサービスで 54,772 文であり，札幌市の保育園サービスで 5,986 文，テイクアウトサービスで 36,145 文であった。 さらに， 5.3 節の都市を横断した各属性の分類実験における 5 分割交差検証のテストデータについても，引き続きテストデータとして使用する。これらの拡張後のデータのデータ数を表 18 に示す.

市民意見分析コーパス内のテストデータと，表 18 のうちの新たに収集したデータを合わせたデータを，全てのテストデータとし，これらのテストデータに対して都市を横断した各属性のラベル分類モデルによる予測を属性のラベルとして付与することで，市民意見の分析を行う．

## 6.3 分析結果

## 保育園サービス

保育園サービスにおいて，都市を横断した分類モデルによって休園・登園自粛に関連すると推定された市民意見の出現頻度の時系列順の推移を図 3 , 図 4 に示す. 図 3 より, 横浜市の休園・登園自粛に関する市民意見は，3つの期間で急増していることが分かる。これらの期間は， (1) 横浜市が小中学校の休校を発表した 2 月下旬, (2) 横浜市が保育園の運営を継続する方針を発表した 4 月上旬, (3) 横浜市が緊急事態宣言解除後の保育所等の利用に関する方針を発表した 5 月下旬，となっており，都市を横断して抽出した市民意見の出現頻度の時系列順の推移が行政の政策と密接に関係していることが分かる．そこで，市民意見数が最大となっている (2)の横浜市が保育園の運営を継続する方針を発表した 4 月上旬の時期において，地域依存性：依存, サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自肃との関連性：関連する，アプレイザル意見タイプ：自発的感情の表明，という条件を満たすつぶやきのみを自動抽出した。抽出された市民意見の例は以下の通りである 10 .

$\cdot$いっそのこと休園にしてほしい。でも横浜市は原則開園って。o。

保育士の皆さんもほんと辛いだろうに。


図 3 保育園サービスの休園・登園自粛に関する横浜市民意見の出現頻度の時系列順の推移

図 4 保育園サービスの休園・登園自粛に関する札幌市民意見の出現頻度の時系列順の推移

・超個人的な望みを言わせてもらうと、いっそ保育園を休園にしてくれたら私も仕事を休めるんですがね（妊婦なのに都内まで電車通勤）

このように条件を指定して 4 月上旬の市民意見を自動抽出することで，横浜市で暮らす小さい子を持つ親は，コロナ禍で保育園に子供を通わせることに対してどのような感情を抱いているのか，という意見のみを抽出することができる．実際に抽出された市民意見を確認すると，子育て中の横浜市民は, この時期に保育園を開園させるという横浜市の政策に対して反対であり，不満の感情を抱いていることが分かる。このような意見は横浜市で暮らす市民特有の意見

となっており，横浜市が政策を改善するために有用な意見となる．本研究の都市を横断した市民意見抽出では，ターゲット都市である横浜市の教師データ作成コストを半減させた上でも，上記のような市民意見を自動抽出することができると分かる.

図 4 より，札幌市の休園・登園自粛に関する市民意見は 2 つのタイミングで増加していることが分かる。これらの時期は，(1) 札幌市がはじめてコロナ禍における「家庭保育等の協力のお願い」を発表した 2 月下旬, (2) 北海道・札幌市緊急共同宣言の発令後に，札幌市が重ねて「家庭保育等の協力のお願い」を発表した 4 月中旬，となっており，札幌市においても，横浜市と同様に都市を横断して抽出した市民意見の出現頻度の時系列順の推移が行政の政策と深く関係していることが分かる．また，都市によって行政の政策は異なるため，市民意見の出現頻度の推移は都市によって異なるが，本研究の都市を横断した市民意見抽出を用いると，図 3 と図 4 のような都市間の市民意見の出現頻度の差を捉えることができると分かる。また，図 4 より，札幌市の市民意見は横浜市の市民意見と異なり，事物・事象を対象とした評価が高い割合を占めることが分かる，そこで，(2) の北海道・札幌市緊急共同宣言の発令後に，札幌市が重ねて「家庭保育等の協力のお願い」を発表した 4 月中旬の時期において, 地域依存性：依存，サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する, アプレイザル意見タイプ：事物・事象を対象とした評価，という条件を満たすつぶやきのみを自動抽出した．抽出された市民意見の例は以下の通りである。
- 絶対に必要な人は別だけど、やはり保育園は休園とか自沜にはならないのか。色々あるけど、先生も親もどっちも精神的に限界な気がする。○。 \#休園 \#札幌 \#北海道
- やはり恐れてたことが起こってきた。友人の医療関係者の子供の保育園が預けるのを断ってきたらしい。旦那が各々の事情でいないと母親は働けなくなるよね。本人たちは濃厚接触者ではないのに、現実で差別が起きてきてる。＃札幌市 \#保育園 \#登園拒否

横浜市での市民意見抽出と異なり，札幌市では，事物・事象を対象とした評価という条件で市民意見を抽出している。これによって，コロナ禍において保育園が休園にならないという現状に対する混乱を表す意見や，保育園で起こってしまった差別といった特定の事象に対する意見を抽出できる。このようなつぶやきからは，市民が具体的にどのような事象を対象として意見を述べているか，つまり何に困っているかが分かるため，政策の改善策の提案に繋げることができる。また，「\#札幌」，「＃札幌市」という表現からも分かるように，上記のつぶやきは札幌市で暮らす市民特有の意見となっている，札幌市においても，都市を横断した市民意見抽出手法を用いることで, 教師データ作成コストを半減させた上でこれらの市民意見が抽出可能となっている.

## 飲食店のティクアウトサービス

テイクアウトサービスにおいて，都市を横断した分類モデルによって推定された市民意見の出現頻度の時系列順の推移を図 5 , 図 6 に示す. 図 5 より, 横浜市のテイクアウトサービスに関

図 5 テイクアウトサービスの横浜市民意見の出現頻度の時系列順の推移

図 6 テイクアウトサービスの札幌市民意見の出現頻度の時系列順の推移

する市民意見は，4月の上旬（1日～10日）の期間に急激に増加し始めていることが分かる. この時期は，神奈川県を対象とした第 1 回緊急事態宣言が発令された 4 月 7 日を含む時期であり，緊急事態宣言によって多くの飲食店がテイクアウトサービスを開始した時期となっている。また，市民意見の数は緊急事態宣言中の 4 月下旬に最大となっており，緊急事態宣言が解除された 5 月 25 日を過ぎると，急激に減少している，さらに，テイクアウトサービスに関する市民意見は，商品に関する評価を含む，事物・事象を対象とした評価が最も多くなっている．そこで，横浜市で市民意見の数が最大となっている 4 月下旬のつぶやきから, 地域依存性：依存, サー

ビスとの適合性：適合, 投稿主の立場：飲食店を利用した人, 商品の評価との関連性：関連する，極性：肯定，アプレイザル意見タイプ：事物・事象を対象とした評価，という条件を満たすつぶやきのみを自動抽出した．抽出された市民意見の例は以下の通りである．
- \#六角橋商店街の＃餃子 $\mathrm{M}$ で 2 種類の餃子をテイクアウト。きのこ餃子はとろとろで噛むと濃厚な具が流れてくる。何個でも食べたい。テキサス餃子はカレー味の餡にコー ンとチーズブレンド。タレは不要で何個でも食べたい。＃横浜飯
- 地球の中華そばさんの 3 回目のテイクアウトで超純水採麺天国屋のリスペクト麺を購入。 スープと麺を味わうために、ネギだけを乗せました。スープが旨すぎで、麺も好き！ 最近の家での楽しみになっていました。また買います！＃地球の中華そば＃テイクアウト

上記の条件を指定することで，横浜市に暮らす市民が利用したテイクアウトサービスに関するつぶやきのうち，良い評価を述べているつぶやきのみを自動抽出することができる。このような意見は，横浜市で暮らす市民や，横浜市を訪れた観光客が，テイクアウトサービスを実施している店舗を探すのに有用な意見となっている.

また，上記のつぶやきに含まれる「餃子 $\mathrm{M}\rfloor$ ，「地球の中華そば」は，横浜市にのみ存在する飲食店である。札幌市のつぶやきと比較的少量の横浜市のつぶやきを用いて 2 段階のファインチューニングを行い，都市を横断した市民意見抽出を行った結果，このように，横浜市ならではのテイクアウトサービスに関する市民意見が抽出可能となっている.

図 6 より，札幌市のテイクアウトサービスに関する市民意見は，4月の中旬（11 日～20 日） の期間に急激に増加していることが分かる。この時期は，第 1 回緊急事態宣言の対象範囲が拡大し，北海道が緊急事態宣言の対象となった 4 月 16 日を含む時期である。つまり，札幌市においても多くの飲食店がテイクアウトサービスを開始した時期となっている。図 5 , 図 6 の横浜市と札幌市の市民意見の出現頻度から分かるように，本研究の都市を横断した市民意見抽出では，数日単位の細かい市民意見の出現頻度の差まで捉えることができると分かる．また，札幌市においても，テイクアウトサービスに関する市民意見は，商品に関する評価を含む，事物・事象を対象とした評価が最も多くなっており，札幌市の緊急事態宣言が解除された 5 月 25 日を過ぎると市民意見の数は減少している。そこで，札幌市において市民意見の数が最大となっている 5 月上旬のつぶやきから, 横浜市と同様に, 地域依存性：依存, サービスとの適合性：適合, 投稿主の立場：飲食店を利用した人，商品の評価との関連性：関連する, 極性：肯定, アプレイザル意見タイプ：事物・事象を対象とした評価，という条件を満たすつぶやきのみを自動抽出した。抽出された市民意見の例は以下の通りである.

・ひろちゃんのザンギは、塩ザンギが超ウマいお弁当屋さん。我が家で定番のテイクアウトです! 札幌にはいくつが店舗があって、事前に電話すると揚げたてが買えますよー \#札幌テイクアウト \#StayHome

・昨日と同じく、スープカレー 34 でテイクアウトしたハンバーグカレーを食べました。やっ

ぱ 34 のハンバーグはビーフ $100 \%$ 美味しい! \#スープカレー \#札幌カレー部 \#スープカレー 34

1 つ目のつぶやきは, 「札幌にはいくつか店舗があって」という表現から, 札幌市ならではの店舗情報であると分かる。また，「スープカレー34」は，札幌市にのみ存在する飲食店となっており，札幌市に特有の市民意見が抽出できていることが分かる。さらに，「ザンギ」と「スープカレー」は札幌市の名産グルメとなっていることからも，都市を横断した市民意見抽出によって札幌市特有の市民意見が抽出できていることが分かる.

## 6.4 考察

## 6.4.1 ターゲット都市に特有の市民意見の抽出

本節では，都市を横断したモデルと，ソース都市のみで訓練したモデルによる予測結果が異なる市民意見を抽出することで，ターゲット都市に特有の市民意見を明らかにする．

横浜市の保育園サービスにおいて， 6.3 節の横浜市における保育園サービスにおける市民意見抽出と同様に, 『地域依存性：依存, サービスとの適合性：適合, 投稿主の立場：小さい子を持つ親, 休園・登園自肃との関連性：関連する，アプレイザル意見タイプ：自発的感情の表明』, というラベルの条件を指定し，都市を横断したモデルと，ソース都市のみで訓練したモデルによる予測結果が異なるつぶやきの例は，以下の通りである.
- ハア、 6 月終わりまで登園自粛の要請とは... うちの家のコロナ不況やば過ぎる。 5 月の旦那の給料見たけど、アー無理。さすがに少し仕事はじめたいのに ... 保育園がやってなかったらどうしようもない。
- 宣言は解除されたにも関わらず、横浜市の保育園は 6 月 30 日まで自粛ってみんな終わるでしょ。みんなに戦力外通知が来るよ。

これらの市民意見が抽出されたのは， 5 月下旬の時期となっていた， 5 月の下旬とは，横浜市が緊急事態宣言解除後の保育所等の利用に関する方針を発表した時期となっている．発表された方針では，横浜市においては，緊急事態宣言が解除された後も原則として保育園の登園自粛を要請する, とされていた。しかし, 抽出されたつぶやきを確認すると, 市民は保育園に子供を預けられないことによって，経済的な状況や職場での自身の状況に不安を感じていると分かる. 第 1 回緊急事態宣言は，横浜市と札幌市に共通で 5 月下旬に解除された。しかし，図 3 , 図 4 より，5月下旬の市民意見を確認すると，横浜市民は多くの感情を述べているのに対して，札幌市民の感情の意見数はこの時期に増えてはいない. つまり，この時期に抽出された不安や不満は，横浜市民に特有の意見であると分かる。ソース都市のみで訓練したモデルによる予測結果と，都市を横断したモデルによる予測結果が異なる市民意見を抽出することで，上記の例のような，ターゲット都市に特有の市民意見のみをまとめて抽出することができる.

次に，札幌市において，6.3 節と同様に, 『地域依存性：依存, サービスとの適合性：適合, 投
稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する，アプレイザル意見タイプ：事物・事象を対象とした評価』，というラベルの条件を指定し，都市を横断したモデルと， ソース都市のみで訓練したモデルによる予測結果が異なるつぶやきの例は，以下の通りである。
- 保育園から家庭保育のお願いとか登園自沜って通知がきても、派遣会社は「休園じゃない限り給料は出ません、特別休暇も使えないので有給を使って」。保育園にあずけて仕事するしかないよね $(\cdot \omega \cdot)$ \#派遣
- 保育園が休園になると特別休㗇ではなく有給休㗇を使わなきゃいけないのはくそだと思うが、そもそも有給なんてなくて客先に出向するフリーランスの自分は収入に直接来ます。

これらの市民意見が抽出された時期は， 2 月の下旬となっていた。図 3 ，図 4 より，札幌市では 2 月の下旬の段階でコロナ禍における家庭保育に関する方針が発表されているのに対し，横浜市では 2 月の下旬には小中学校の休校のみしか発表されていない。そのため，札幌市においては， 2 月下旬における保育園の休園・登園自粛に関する市民意見の割合が，横浜市と比較して高くなっている．抽出されたターゲット都市に特有の市民意見を確認すると，札幌市民は有給休暇に対して関心を持っていることが分かる． 2 月の下旬は年度末の時期となっているため,人によっては有給休暇の残り日数が少なくなっており，その影響で保育園の登園の自粛が困難になっていると考えられる。このような意見は, 2 月の下旬の段階ではまだ小中学校の休校しか発表していなかった横浜市に対して，2月の下旬の段階で既に家庭保育のお願いを発表していた札幌市に特有の市民意見となっている。このように，札幌市においても，都市を横断したモデルとソース都市のみで訓練したモデルによる予測結果が異なる市民意見を抽出することで， ターゲット都市の市民特有の意見を含むつぶやきを確認できた.

## 6.4.2 エラー分析

本節では，都市を横断した市民意見抽出におけるエラー分析を行う． 6.3 節で示したように，提案手法を用いて, 未知の大量のつぶやきから, 指定した属性ラベルの条件を全て満たすつぶやきのみを自動抽出することで，行政の政策の改善に有用な市民意見や接客業における高評価のレビュー情報等を明らかにすることができる。一方で，自動抽出された市民意見の中には，指定した条件に対してふさわしくない意見が一部存在する。本節では，このような不適切な市民意見の例を示し，不適切な市民意見が抽出された原因を考察する.

## 保育園サービス

6.3 節の横浜市における保育園サービスにおける市民意見抽出と同様に， 4 月上旬の時期における，『地域依存性：依存，サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する，アプレイザル意見タイプ：自発的感情の表明』，という条件を満たすつぶやきを抽出した際の，不適切な市民意見の例は以下の通りである。
- 小学校も休校、保育園は休ませてるのに、親が出社って1 番のリスクでしかない。
- 奥さんも在宅で子供の保育園休ませたら、当たり前に「ねえ遊ぼうー!」と言われる。交互に相手をしないとだめで仕事にならない

これらの意見は，「リスクでしかない」という表現や「仕事にならない」という表現から，市民が明確に現在困っている事象に対する評価を述べているため，アプレイザル意見タイプ属性は，事物・事象を対象とした評価が適切なラベルと考える。図 3 , 図 4 より，横浜市では自発的感情の表明のラベルの割合が多いのに対し，札幌市では事物・事象を対象とした評価のラべルの割合が多くなっており，両都市の市民意見の傾向に差が現れている．そのため，都市を横断した市民意見抽出をする際に，モデルがこれらの属性ラベルを適切に分類できなかったことが，上記のような不適切な市民意見が一部抽出された原因であると考える。

札幌市においても， 6.3 節と同様に，4月中旬の時期における, 『地域依存性 : 依存, サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する, アプレイザル意見タイプ：事物・事象を対象とした評価』，という条件で市民意見を抽出したと

ころ，「休校かー。o。そうしたら、ウチの保育園もまた来月まで休園？無理。o。私を働かせて。」 といった市民意見が抽出された.この意見は，「無理。o。私を働かせて。」という表現から分かるように，市民の抱える不安や不満の感情表明が適切であると考える。つまり, 自発的感情の表明の意見を抽出しようとし，事物・事象を対象とした評価が一部抽出されてしまった横浜市とは逆の結果となっている。このことからも，ソース都市とターゲット都市において，属性ラベルの割合が大きく異なることで，一部不適切な市民意見が抽出されてしまったことが分かる.

## 飲食店のティクアウトサービス

表 10 , 表 11 より, 飲食店のテイクアウトサービスにおいては, 都市を横断した各属性のラべル分類の精度は高く，都市を横断した上でも市民意見抽出が行いやすいことが分かる。そのため，抽出された市民意見を確認しても，不適切な市民意見の例は極めて少なかった．わずかに抽出された不適切な例として,「うまいもん○○」といった店名のテイクアウト商品に関するつぶやきが，「事物・事象を対象とした評価」として抽出されている例が存在した.「うまい」という表現は，肯定的な商品の評価を行っている多くのつぶやきに見られる表現であるが，「うまいもん」という用いられ方をしている場合は, 飲食店の店名の一部を表すことが多い. なお, この不適切な例は札幌市民のつぶやきからの意見抽出結果に見られた例であり，さらに，札幌市民のつぶやきのうち 6.2 節の拡張したテストデータ内に含まれていた. また，ラベル分類モデルの訓練データとなる，市民意見分析コーパスに含まれる横浜市民と札幌市民のつぶやきには，「うまいもん」を含む店名に関するつぶやきは存在しなかったため，札幌市民の一部のつぶやきにのみ現れる表現であると分かる。そのため，都市を横断したラベル分類モデルが，「うまいもん」という表現を店名の一部であると判断することができず，不適切な市民意見抽出の原因となったと考える。

## 7 おわりに

本研究では，著者らの先行研究で提案した特定の都市における市民意見抽出のためのフレー ムワークを拡張し，都市を横断した市民意見抽出手法を提案した．手法の有効性の検証を行うため，先行研究における横浜市民のつぶやきに加えて，新たに札幌市民のつぶやきを対象に人手でアノテーションをすることで，複数の都市の市民のつぶやきからなる市民意見分析コーパスを作成した，実験では，はじめに単一都市における各属性のラベル分類実験を行い，著者らの先行研究で用いた BERT モデルに対する $\mathrm{T} 5$ モデルの有効性を確認した． T5 モデルを利用した都市を横断した各属性のラベル分類実験では, ソース都市のつぶやきと一部のターゲット都市のデー夕を用いて，各属性の分類モデルを 2 段階でファインチューニングする手法の有効性を検証した。また，この際，ソース都市のつぶやきを用いて1段階目のファインチューニングを行ったモデルによってターゲット都市のつぶやきの各属性を予測し, 予測の確信度が上位の一部のつぶやきを選定した上で教師データを作成する手法の有効性を確認した．都市を横断した市民意見抽出では，都市に依存する行政の政策や緊急事態宣言の発令といった異なる条件によって，市民意見の出現頻度の時系列順の推移が異なることを明らかにした。また複数の属性を指定して都市を横断した市民意見抽出を行うことで，都市で暮らす市民特有の意見を抽出し，比較できることを示した.

本研究では，横浜市，札幌市に加えて，より人口の少ない都市である仙台市を対象として，提案手法の有効性を検証した，しかし，本研究で対象とした都市は全て政令指定都市であり，人口は 100 万人を超えている．5.5 節の実験を通して，つぶやきが約 1,000 件収集可能な都市においては提案手法が有効であることを確認できたが，より人口が少ない都市においては，収集可能なつぶやきの量はさらに少なくなると考えられる。今後の課題としては, この上うな人口が少ない都市に打ける提案手法の有効性の検証が挙げられる。

## 謝 辞

本研究の一部は, 科学研究費補助金基盤研究 B（課題番号 $23 \mathrm{H} 03686,19 \mathrm{H} 04420$ ), 挑戦的研究 (萌芽)（課題番号 22K19822）, 学術研究助成基金助成金研究活動スタート支援（課題番号 22K21303），２０22 年度国立情報学研究所公募型共同研究（採択番号 22S0103）の助成を受けて遂行された.

## 参考文献

Barbieri, F., Camacho-Collados, J., Espinosa Anke, L., and Neves, L. (2020). "TweetEval: Unified Benchmark and Comparative Evaluation for Tweet Classification." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1644-1650, Online. Association for Computational Linguistics.

Blum, A. and Mitchell, T. (1998). "Combining Labeled and Unlabeled Data with Co-Training." In Proceedings of the 11th Annual Conference on Computational Learning Theory, COLT' 98, pp. 92-100, New York, NY, USA. Association for Computing Machinery.

Caruana, R. (1997). "Multitask Learning." Machine Learning, 28, pp. 41-75.

Chen, J., Feng, J., Sun, X., and Liu, Y. (2020). "Co-Training Semi-Supervised Deep Learning for Sentiment Classification of MOOC Forum Posts." Symmetry, 12 (1). 8.

Cohen, J. (1992). "A Power Primer." Psychological Bulletin, 112 (1), pp. 155-159.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Fleiss, J. L. (1997). "Measuring Nominal Scale Agreement Among Many Raters." Psychological Bulletin, 76 (5), pp. 378-382.

Halliday, M. A. K. (1985). An Introduction to Functional Grammar. Edward Arnold.

He, Y. and Zhou, D. (2011). "Self-training from Labeled Features for Sentiment Analysis." Information Processing 83 Management, 47 (4), pp. 606-616.

石田哲也, 関洋平, 欅惇志, 柏野和佳子, 神門典子 (2022). 都市を横断した市民意見抽出に関する課題と手法についての検証. 情報処理学会研究報告, 2022-IFAT-148/2022-DBS-175(32), pp. 1-6. [T. Ishida et al. (2022). Toshi wo Odan shita Shimin Iken Chushutsu ni kansuru Kadai to Shuho nitsuiteno Kensho. SIG Technical Reports, 2022-IFAT-148/2022-DBS-175 (32), pp. 1-6.].

Ishida, T., Seki, Y., Kashino, W., and Kando, N. (2022). "Extracting Citizen Feedback from Social Media by Appraisal Opinion Type Viewpoint." Journal of Natural Language Processing, 29 (2), pp. 416-442.

Jin, Z., Peng, Z., Vaidhya, T., Schoelkopf, B., and Mihalcea, R. (2021). "Mining the Cause of Political Decision-Making from Social Media: A Case Study of COVID-19 Policies across the US States." In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 288-301, Punta Cana, Dominican Republic. Association for Computational Linguistics.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33 (1), pp. 159-174.

Lewis, D. D. and Gale, W. A. (1994). "A Sequential Algorithm for Training Text Classifiers." In Croft, B. W. and van Rijsbergen, C. J. (Eds.), SIGIR '94, pp. 3-12, London. Springer London.

Liu, X., He, P., Chen, W., and Gao, J. (2019). "Multi-Task Deep Neural Networks for Natural Language Understanding." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496.

Martin, J. R. and White, P. R. R. (2005). The Language of Evaluation: Appraisal in English. Palgrave Macmillan.

Mitchell, T. M. (1980). "The Need for Biases in Learning Generalizations." Tech. rep. CBMTR-117, Rutgers University, New Brunswick, NJ.

長島里奈, 関洋平, 猪圭 (2016). 地域ユーザに着目したロコミツイート収集手法の提案. 第 8 回データ工学と情報マネジメントに関するフォーラム, DEIM2016-B4-3. 日本データベー ス学会. [R. Nagashima et al. (2016). Chiiki Yuza ni Chakumoku shita Kuchikomi Tsuito Shushu Shuho no Teian. Dai8kai Deta Kogaku to Joho Manejimento ni kansuru Foramu, DEIM2016-B4-3. The Database Society of Japan.].

大塚裕子, 乾孝司, 奥村学 (2007). 意見分析エンジン一計算言語学と社会学の接点一. コロナ社. [H. Otsuka et al. (2007). Iken Bunseki Enjin-Keisan Gengogaku to Shakaigaku no Setten. Corona sha.].

Peng, M., Zhang, Q., Jiang, Y.-g., and Huang, X. (2018). "Cross-Domain Sentiment Classification with Target Domain Specific Information." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2505-2513, Melbourne, Australia. Association for Computational Linguistics.

Räbiger, S., Kazmi, M., Saygın, Y., Schüller, P., and Spiliopoulou, M. (2016). "SteM at SemEval2016 Task 4: Applying Active Learning to Improve Sentiment Classification." In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), pp. 64-70, San Diego, California. Association for Computational Linguistics.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Ren, P., Xiao, Y., Chang, X., Huang, P.-Y., Li, Z., Gupta, B. B., Chen, X., and Wang, X. (2021). "A Survey of Deep Active Learning." ACM Computing Surveys, 54 (9).

Sazzed, S. and Jayarathna, S. (2021). "SSentiA: A Self-supervised Sentiment Analyzer for Clas-
sification from Unlabeled Data." Machine Learning with Applications, 4. 100026.

Seki, Y., Ku, L. W., Sun, L., Chen, H. H., and Kando, N. (2010). "Overview of Multilingual Opinion Analysis Task at NTCIR-8 - A Step Toward Cross Lingual Opinion Analysis." In Proceedings of the 8th NTCIR Workshop Meeting, pp. 209-220.

Settles, B. (2010). "Active Learning Literature Survey." Computer sciences technical report 1648, University of Wisconsin-Madison.

Shim, H., Lowet, D., Luca, S., and Vanrumste, B. (2021). "LETS: A Label-Efficient Training Scheme for Aspect-Based Sentiment Analysis by Using a Pre-Trained Language Model." IEEE Access, 9, pp. 115563-115578.

Silva, N. F. F. D., Coletta, L. F. S., and Hruschka, E. R. (2016). "A Survey and Comparative Study of Tweet Sentiment Analysis via Semi-Supervised Learning." ACM Computing Surveys, 49 (1).

Stelzmüller, C., Tanzer, S., and Schedl, M. (2021). "Cross-City Analysis of Location-Based Sentiment in User-Generated Text." In Companion Proceedings of the Web Conference 2021, WWW '21, pp. 339-346, New York, NY, USA. Association for Computing Machinery.

van Engelen, J. E. and Hoos, H. H. (2020). "A Survey on Semi-supervised Learning." Machine Learning, 109, pp. 373-440.

Vosoughi, S., Zhou, H., and Roy, D. (2015). "Enhanced Twitter Sentiment Classification Using Contextual Information." In Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 16-24, Lisboa, Portugal. Association for Computational Linguistics.

Wu, F., Huang, Y., and Yan, J. (2017). "Active Sentiment Domain Adaptation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1701-1711, Vancouver, Canada. Association for Computational Linguistics.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting on Association for Computational Linguistics, ACL '95, pp. 189-196, USA. Association for Computational Linguistics.

Zhu, X. (2008). "Semi-Supervised Learning Literature Survey." Computer sciences tr 1530, University of Wisconsin-Madison.

## 略歴

石田哲也：2021 年筑波大学情報学群知識情報 - 図書館学類卒業. 2023 年同大学院人間総合科学学術院人間総合科学研究群情報学学位プログラム博士前期課程修了.
関洋平：1996 年慶應義塾大学大学院理工学研究科計算機科学専攻修士課程修了. 2005 年総合研究大学院大学情報学専攻博士後期課程修了. 博士（情報学). 同年豊橋技術科学大学工学部情報工学系助手. 2008 年コロンビア大学コンピュータサイエンス学科客員研究員. 2018 年シンガポール国立大学コンピューティング学部客員研究員. 2010 年筑波大学図書館情報メデイア系助教, 2015 年同准教授, 現在に至る. 自然言語処理, 意見分析, 情報アクセスの研究に従事. ACM, ACL, 情報処理学会, 電子情報通信学会, 言語処理学会,日本データベース学会, 人工知能学会各会員.

欅惇志：一橋大学ソーシャル・データサイエンス学部准教授. 博士 (工学). 2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2012 ～2014 年日本学術振興会特別研究員 (DC2). 2013 年マイクロソフト・リサー チアジアリサーチインターン．2014～2019 年東京工業大学情報理工学院助教. 2016 2017 年シンガポール国立大学客員研究員. 2019 2022 年株式会社デンソーアイティーラボラトリアソシエイトリサーチャ，ACM，電子情報通信学会, 日本データベース学会, 言語処理学会, 人工知能学会各会員.

柏野和佳子：東京女子大学文理学部日本文学科卒業. 東京工業大学大学院総合理工学研究科博士課程修了. 博士 (学術). 現在, 大学共同利用機関法人人間文化研究機構国立国語研究所准教授. コーパス構築や語彙, 辞書研究に従事.『岩波国語辞典』（岩波書店）の編集にも携わる，情報処理学会，計量国語学会, 日本語学会, 人工知能学会, 日本言語学会, 各会員.

神門典子：1994 年慶應義塾大学大学院文学研究科後期博士課程修了. 博士 (図書館・情報学)，現在，国立情報学研究所教授，主に情報検索・情報アクセス技術の研究に従事. 1997 年末に NTCIR を開始し, 以降, 国内外の多くの研究者と協力し多様なタスク提案・運営・国際協調等を進めてきた．ACM SIGIR Academy Inaugural Inductee. 言語処理学会, 人工知能学会, 情報処理学会, ACM, ACL, ASIS\&T 各会員.