\section{序論}
\label{chap:inin}X（旧Twitter\footnote{研究期間中にサービス名称が変更された．以降，本論文ではTwitterの名称で統一表記する．}）やFacebookなどのSNSサービスの普及により，日々，多くの人々によって様々な情報がSNS上に投稿，発信されている．その大量の投稿からは，しばしば利用者にとって有益な情報が取得でき，例えば，利用者は検索機能などを通して大量にある投稿の中から特定地域の天候情報や災害状況など所望の情報を得ることができる\cite{kruspe-etal-2021-changes}．以前から，このようなユーザにとって有益な地域情報をあらかじめ地域ごとに自動的にまとめ上げておき，ユーザ要求に応じて提示するサービスが望まれてきたが，その実現のためには，情報源となる各投稿が投稿された場所を特定する必要がある．SNSサービスの中には投稿場所の情報をメタ情報として保持している場合もあるが，例えば，Twitterにおける位置情報付き投稿は全投稿の1\%に満たないことが報告されている\cite{sloan2013knowing}．また，SNS投稿への位置メタ情報の付与は縮小傾向にあるとの報告もあり\cite{kruspe-etal-2021-changes}，メタ情報から得られる投稿場所情報には限りがあると言える．そこで近年，SNS投稿文書からそれが投稿された場所（地理的位置）を推定する文書ジオロケーション課題に関する研究が進められている\cite{okajimajapanese,lau2017end,hasni2021word}．文書ジオロケーション課題では，文書内に現れる地名やランドマークへの言及（例えば，「東京」や「東京タワー」）が，投稿がなされた地理的位置を推定する有力な手がかりになることが多い．しかしながら，それらの中には地理的な曖昧性を含んでいる場合もある．例えば，図\ref{fig:document_geolocation}の例では，投稿文書内の「中華街」や「ランタンフェスティバル」という言及が，この投稿文書が投稿された地理的位置の絞り込みには寄与しそうであるが，この情報だけでは特定の一箇所に絞り込むまでには至らない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1\begin{figure}[b]\begin{center}\includegraphics{31-4ia9f1.pdf}\end{center}\hangcaption{47都道府県レベルでの文書ジオロケーション課題の様子（下線部は手がかりとなりそうであるが，この情報だけでは特定の一箇所に絞り込むには至らない）．}\label{fig:document_geolocation}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%以上の背景を受けて，本研究では，文書内に出現する地理的位置属性をもつ事物への言及，すなわち，実世界上の地理的位置をあらわす地名や，一定の期間，実世界上のある地理的位置に留まって存在している施設や組織などへの言及に対し，その地理的位置の特定のしやすさを表す指標として，地理的特定性指標を提案する．先程の例で言えば，文書内における「東京」や「東京タワー」という言及は地理的特定性が高く，「中華街」や「ランタンフェスティバル」はそれらに比べると地理的特定性が低くなると考えられるが，本研究では，このような値をデータから客観的に推定する．そして，既存の文書ジオロケーション手法に地理的特定性指標の推定値の情報を取り込んだ文書ジオロケーション実験を実施し，文書ジオロケーション課題における地理的特定性指標の有効性を検証する．なお，本論文では以降で「エンティティ」および「言及」という用語を用いるが，本研究では研究遂行の便宜性から，エンティティリンキング課題の一つの設定であるWikification課題\cite{mihalcea2007wikify}を参考にし，Wikipediaの各エントリページを「エンティティ」と捉え，文書内でそれらエンティティを参照するために使用されている個々の言語表現をエンティティに対応する「言及」と呼ぶ．また，詳細は後述に譲るが，本研究では地理的特定性の値を算出するためにWikipediaページ内にある一部のアンカ文字列に注目する．これらも便宜的に「言及」と呼ぶ．両者の「言及」を図示すると，図\ref{fig:mentions}のようになる．前者（図\ref{fig:mentions}左）の文書内の「言及」はエンティティリンキング課題と同様に文書内の各トークンを指す用語として使われる．一方，後者（図\ref{fig:mentions}右）のアンカ文字列である「言及」は，それぞれのアンカ文字列の文字列の違いを区別する意図で使われており，トークンではなくアンカ文字列のタイプを指している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2\begin{figure}[b]\begin{center}\includegraphics{31-4ia9f2.pdf}\end{center}\hangcaption{本論文での用語「エンティティ」と「言及」の整理．図左は文書内の言及，図右はWikipedia内アンカ文字列としての言及を示している．}\label{fig:mentions}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{関連研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1\subsection{文書ジオロケーション}\label{chap:ref_geolocation}文書ジオロケーションとは，SNS投稿などの文書を入力とし，その入力文書が投稿された地理的位置を推定する課題である．この課題は，SNSサービスの普及に合わせて2010年代から取り組まれており，欧米諸語では，WNUT2016\cite{han2016sharedtask},VarDial2020\cite{gaman-etal-2020-report},VarDial2021\cite{chakravarthi-etal-2021-findings-vardial}によって共有タスクに設定されるなど盛んに議論がなされている．また，類似課題として，あるSNSユーザの複数投稿文書からユーザの所在地を推定するユーザジオロケーション\cite{tien2018a,miyazaki2018geolocation,huang2019a,tian2020a}に関する研究も活発である．初期の文書ジオロケーション手法では，入力文書中の単語に主に注目して，分類に有効な単語の選択処理\cite{han2012geolocation}やフィルタリング処理\cite{morikuni2015a}が提案されている．Twitterデータを対象にする場合は，ハッシュタグを特徴量に利用する研究\cite{chi-etal-2016-geolocation}などもある．深層学習の普及後は，単語埋め込み表現を利用した手法\cite{miura2016simplegeo}，CNNに基づく手法\cite{fornaciari2019geolocation}，LSTMに基づく手法\cite{mahajan2021a}，BERTに基づく手法\cite{scherrer2021a}など，さまざまモデルやネットワークアーキテクチャが本課題に採用されている．さらに，入力文書の情報に加えて分類に有益な追加情報を深層学習ベースのモデルに取り込む研究もある．Lauらが提案したdeepgeoモデル\cite{lau2017end}は，入力となるSNS投稿文書に加え，投稿文書の投稿時間や投稿者プロフィールの居住地情報を利用するLSTM-CNNベースのニューラルモデルである．以上のように，文書ジオロケーション課題に有効なモデルや特徴量を探るさまざまな検討があるが，これまでのところ，本研究で提案する地理的特定性という概念を文書ジオロケーション課題に導入した研究はなされていない．本研究では，後述する文書ジオロケーション実験でのベースラインモデルとしてdeepgeoを採用する．deepgeoの詳細については\ref{chap:deepgeo}節で後述する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2\subsection{Toponymresolution}Toponymresolutionとは，文書内に含まれる地理的位置属性をもつエンティティへの言及に着目し，その言及が文書内で実際に参照しているエンティティを推定する課題である．先の文書ジオロケーションは文書単位で地理的位置を推定する課題であったが，Toponymresolutionは文書内の言及単位で地理的位置を推定する課題である．例えば，マンチェスターという名前の都市はイギリスにもあるがアメリカ合衆国にも存在する．この時，文書内に現れた「マンチェスター」がどの都市を参照しているかを推定する．Toponymresolutionは，Leidnerら\cite{leidner2007toponym}によって評価用英語データセットが整備されたことにより，活発な研究が進められるようになった．その後，松田ら\cite{ma2017}によって日本語データを対象にした本課題に関連したコーパスが作成されている．地理的特定性の指標値を推定することは，Toponymresolutionを解くことに似ているが，異なる部分も存在する．具体的には，Toponymresolutionでは言及が参照しているエンティティを1つに絞り込むことを目的としているが，本研究における地理的特定性の指標値は，言及が参照しているエンティティが所在する地理的位置に関して，その特定のしやすさを推定していると言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.3\subsection{エンティティリンキング}\label{chap:ref_el}エンティティリンキングとは，文書内に含まれる言及に既存知識ベースのエントリを対応付ける課題である\cite{bunescu2006using}．エンティティリンキングでは対応付け先を何らかの既存知識ベースに固定するものの，地理的位置属性の有無に関わらず文書内に含まれる言及を処理の対象としており，Toponymresolutionをより一般化した課題であると言える．特に，知識ベースとしてWikipedia\footnote{\url{https://en.wikipedia.org/}}を採用し，文書内の言及をそれが参照しているWikipediaのエントリページに対応付ける課題をWikificationという\cite{mihalcea2007wikify}．Wikificationでは，ある言及が与えられた時，候補生成とエンティティ同定という2ステップで処理が実行される．候補生成ではWikipediaページに含まれるアンカ文字列とそのリンク先ページを用いた手法によって言及の対応先となるページの候補が決定される．そして，次のエンティティ同定において，候補の中から言及の対応先を1つに特定する．エンティティ同定の代表的な手法の一つにHoffartら\cite{hoffart2011robust}の手法がある．この手法では，Wikipedia内のアンカ文字列からエントリページへのリンク回数に基づいて，ある言及がエントリページを参照する確率（ポピュラリティと呼ばれる）を求め，対応先の特定に用いている．本研究では，地理的特定性の指標値を推定する際に，Wikificationの各ステップの考え方を参考にする．詳細は\ref{chap:ent_geoinfo}節で述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3%
\section{地理的特定性の定義}
\label{chap:geo_spec}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1\subsection{地理的特定性の構成要素}地理的位置属性をもつエンティティへの文書内での言及に注目し，それぞれの言及に対する地理的位置の特定のしやすさを表す指標として地理的特定性を提案する．言及の地理的特定性を求める際に，エンティティに対する地理的特定性の情報を用いるために，エンティティに対する地理的特定性指標もあわせて検討する．まず，本節において，地理的特定性の構成要素について述べ，続く\ref{chap:ent_geoinfo}節および\ref{chap:mnt_geoinfo}節において，地理的特定性の指標値の具体的な算出方法について述べる．地理的特定性は，エンティティと言及との対応関係，および，それら関係に関する人々の一般的な認知の度合いという少なくとも2種類の要素から影響を受けると考えられる．そこで本研究では，地理的特定性は地理的曖昧性(geographicambiguity)および名称専有性(nameexclusivity)という2種類の指標の対で表されるものとする．ここで，地理的曖昧性はエンティティと言及との対応関係に基づく指標であり，名称専有性はエンティティと言及との対応関係に関する人々の一般的な認知の度合いに基づく指標である．以下でそれぞれについて説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2\subsection{地理的曖昧性}\label{chap:amb_desc}例えば，日本には「中央区」という地名がいくつか存在する．これらはエンティティとしては，東京都に所在する中央区や大阪府大阪市に所在する中央区といったように，それぞれ別の地理的位置をもつ地域であるが，名称が同一である．このように複数の地域が同名となっている場合は，その名称単体では地理的位置を特定する程度が弱い，すなわち，このようなエンティティおよびそれらへの言及はそうでない場合に比べて地理的特定性が低いと考えられる．そこで本研究では，エンティティまたは言及が異なる地理的位置属性の地域を同名でもっている程度を地理的曖昧性と定義する．地理的曖昧性が高いほど，地理的特定性は低くなると考える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.3\subsection{名称専有性}\label{chap:exc_desc}先程の「中央区」と同じように，日本には「横浜」と呼ばれる地域は複数箇所存在する．このように名称に曖昧性がある場合，本研究では先述の通り，そうでない場合に比べて地理的曖昧性は高くなると考える．しかし，一般的な文脈において\footnote{完全な住所表記を伴う場合は，当然ながら，曖昧性は生じないが，文書内での一般的な文脈において，完全な住所表記で地名を表すことは稀である．}「横浜」と言えば，高知県や福岡県に所在する地域である横浜よりも人々の認知度のより高い地域であると考えられる神奈川県横浜市の事であると連想されやすいだろう．このように，複数の地域が同名で呼ばれており地理的曖昧性が高くなるような場合でも，人々の一般的な認知の度合いによって，地理的位置の特定のされやすさは変化する．そこで本研究では，エンティティまたは言及が特定のものとして認知される程度を名称専有性と定義する．先程の地理的曖昧性とは異なり，名称専有性が高いほど，地理的特定性は高くなると考える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{エンティティに対する地理的特定性の推定}
\label{chap:ent_geoinfo}本節では，言及に対する地理的特定性の指標値を推定する準備として，エンティティに対する地理的特定性指標値を推定する具体的な方法について述べる．\ref{chap:ref_el}節で見たように，エンティティリンキングでは，エンティティ同定を行うために，Wikipedia内の個々のエントリページをエンティティ，それらエンティティへのリンクを形成するアンカ文字列を言及と捉え，ある言及からエンティティへリンクする確率（ポピュラリティ）を推定する手法がある\cite{hoffart2011robust}．本研究では，この手法を参考にして，エンティティに対する地理的特定性指標値を推定する．日本語Wikipediaにおいて，地理的特定性を求めたいページ（すなわちエンティティ）を$p_t$としたとき，まず，$p_t$へのリンクを形成するアンカ文字列（すなわち，言及）をすべて抽出する．抽出された言及集合を$M_{p_t}$とし，その要素を$m_i(i=1,2,...,|M_{p_t}|)$とする．次に，$M_{p_t}$の要素である各言及に対して，それがアンカ文字列となってリンクしているすべてのエンティティを抽出する．抽出されたエンティティ集合を$P_{p_t}$とし，その要素を$p_j(j=1,2,...|P_{p_t}|)$とする．このとき，$p_t$の地理的曖昧性$\mathrm{amb}({p_t})$は式(\ref{eq:amb})で表されるとする．すなわち，同じ言及で表される可能性のあるエンティティの数によってエンティティの地理的曖昧性を求める．\begin{eqnarray}\label{eq:amb}\mathrm{amb}({p_t})&=&|P_{p_t}|\end{eqnarray}ここで，$\mathrm{amb}({p_t})\geq1$である．次に，日本語Wikipediaにおいて，ある言及$m_i$が，あるエンティティ$p_j$へリンクを形成している回数を$l^{m_i}_{p_j}$としたとき，このリンク回数がある対象が認知される程度を近似的に表していると考え，$p_t$の名称専有性$\mathrm{exc}({p_t})$は式(\ref{eq:exc})で表されるとする．すなわち，対象とするエンティティへのリンクを形成している言及を含む全エンティティにおいて，そこから各言及を通して別のエンティティへリンクする際の当該エンティティへとリンクする相対頻度によってエンティティの名称専有性を求める．\begin{eqnarray}\label{eq:exc}\mathrm{exc}({p_t})&=&\frac{\displaystyle\sum_{m\inM_{p_t}}l^m_{p_t}}{\displaystyle\sum_{m\inM_{p_t}}\sum_{p\inP_{p_t}}l^m_p}\end{eqnarray}ここで，$0<\mathrm{exc}({p_t})\leq1$である．エンティティ「福岡ソフトバンクホークス\footnote{\url{https://ja.wikipedia.org/wiki/福岡ソフトバンクホークス}}」を例にして，エンティティの地理的特定性指標値の具体的な計算例を示す（図\ref{fig:entity_geoinfo}も参照）．この例では，$p_t=$「福岡ソフトバンクホークス」である．まず，$p_t$の地理的曖昧性であるが，「福岡ソフトバンクホークス」へのリンクを形成する言及集合$M_{p_t}$は図\ref{fig:entity_geoinfo}の左側のようになる．そして次に，$M_{p_t}$の要素である各言及からリンクしているすべてのエンティティを抽出することで，図右の抽出されたエンティティ集合$P_{p_t}$を得る．この集合の要素数は96件であるので，$\mathrm{amb}({p_t})=96$となる．次に，$p_t$の名称専有性であるが，これには図中央に示す$M_{p_t}$の各要素から$P_{p_t}$の各要素へ形成されるリンクの回数を用いる．図の例では，例えば言及「ソフトバンク」からエンティティ「福岡ソフトバンクホークス」へのリンクが331回であることが示されている．式(\ref{eq:exc})の分子は「福岡ソフトバンクホークス」へのリンク回数の和であるので$1+331+55+...+l^{m_i}_{p_t}+...$となる．また，分母は全体的な和であるので$527+605+1+331+55+...+l^{m_i}_{p_j}+...+1668$と計算され，（省略部分の和も計算すると）最終的に$\mathrm{exc}({p_t})=0.568$となる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3\begin{figure*}[t]\begin{center}\includegraphics{31-4ia9f3.pdf}\end{center}\hangcaption{エンティティ「福岡ソフトバンクホークス」の地理的特定性を計算する過程%．「福岡ソフトバンクホークス」の地理的特定性の計算に関連するメンションの集合を図左の赤色の四角，また，それらと同じ文字列のメンションでリンクされるエンティティページの集合を図右の青色の四角で示している．点線は左のメンションから右のエンティティページへリンクがあることを示す．点線上の数値は当該リンクがWikipedia内に現れる回数である．視認性を意識し，始点が同じメンションの点線と数値は同色で描かれている．%}\label{fig:entity_geoinfo}\end{figure*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{言及に対する地理的特定性の推定}
\label{chap:mnt_geoinfo}続いて，言及に対する地理的特定性の指標値を求める具体的な方法について述べる．ある言及が文書中に現れた時，そのことによって地理的位置が特定されるその度合いは，その言及によって表される可能性があるエンティティ候補の地理的特定性に依存すると考えられる．そこで，本節では，前節で述べたエンティティに対する地理的特定性の指標値に基づいて，言及に対する地理的特定性指標値を求める．また，エンティティと違い，言及は文書中の文字列として現れることで文書分類などの応用課題における特徴量などに直接的に利用される．そのため，言及に対する地理的特定性指標の表現方法は，後段の応用課題を考慮して検討することが望ましい．本研究では応用課題として，入力文書をその作成位置（投稿位置）に基づいて47都道府県に分類する文書ジオロケーション課題を想定したうえで言及に対する地理的特定性指標の検討を進める．地理的特定性を求めたい言及を$m_t$としたとき，日本語Wikipediaにおいて，$m_t$がアンカ文字列となってリンクしているすべてのエンティティを抽出し，その集合を$P_{m_t}$とする．この時，Okajimaら\cite{okajimajapanese}の手法に基づき，$P_{m_t}$の各要素となるエンティティ$p_j$に対して，そのページの本文内容に初めて登場する都道府県名の情報をそのページの都道府県要素として記憶する\footnote{実際，ページの都道府県要素を誤りなく決定することは難しく，将来的には本文情報の他にWikidataやWikipediainfoboxの構造化情報を利用することも考えられる．また，エンティティによっては複数箇所に所在する場合もあり，都道府県要素が1つに定められない場合もある．}．次に，この都道府県要素の値に基づいて，$P_{m_t}$を47個の部分集合に分割する．ある都道府県$k$に対応する$P_{m_t}$の部分集合を$P_{m_t}^k$としたとき，$P_{m_t}^k$の要素に従って，都道府県$k$に関する，エンティティの地理的曖昧性の最大値$\mathrm{max\_amb}(m_t,k)$を求める．\begin{eqnarray}\label{eq:ms}\mathrm{max\_amb}(m_t,k)&=&\begin{cases}\max_{p\inP_{m_t}^k}\mathrm{amb}({p})&P_{m_t}^k\ne\phi\\0&otherwise\end{cases}\end{eqnarray}また同様に，都道府県$k$に関する，エンティティの名称専有性の最大値$\mathrm{max\_exc}(m_t,k)$を求める．\begin{eqnarray}\label{eq:ms2}\mathrm{max\_exc}(m_t,k)&=&\begin{cases}\max_{p\inP_{m_t}^k}\mathrm{exc}({p})&P_{m_t}^k\ne\phi\\0&otherwise\end{cases}\end{eqnarray}最後に，以上で求めた47都道府県に対応する$\mathrm{max\_amb}(m_t,k)$を要素とする47次元ベクトルを構成し，これを言及$m_t$に対する地理的曖昧性の値とする．また同様に，$\mathrm{max\_exc}(m_t,k)$を要素とする47次元ベクトルを言及$m_t$に対する名称専有性の値とする．式(\ref{eq:ms})，式(\ref{eq:ms2})において，予備実験では最小値の採用も検討したが，最大値に比べて地理的曖昧性では1付近，名称専有性では0付近に値が過度に集中し，言及間の特徴が捉えづらくなる傾向が観察されたことから今回は最大値を採用することにした．先述の通り，本研究では応用課題として，47都道府県に分類する文書ジオロケーション課題を想定している．この場合は，都道府県ごとの情報が有用であると考えられるため，指標値はスカラー値ではなく，都道府県に対応した47次元ベクトルで表現することにした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{評価実験}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.1\subsection{実験目的}\label{sec:exp_goal}既存の文書ジオロケーション手法に地理的特定性指標の推定値の情報を特徴量として追加することを通して，文書ジオロケーション課題における地理的特定性指標の有効性を検証する．具体的な検証項目は以下である．\begin{enumerate}\item地理的特定性の構成要素である地理的曖昧性と名称専有性のそれぞれが文書ジオロケーション課題において有効であるか\itemこれら両方の構成要素を組み合わせて利用することが文書ジオロケーション課題において有効であるか\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.2\subsection{文書データ}\label{chap:data}実験には，平川ら\cite{hi2020}が作成した観光ドメイン日本語Twitter投稿文書データを用いた．このデータセットは，2014年と2015年に日本国内から投稿された日本語Tweetから構成されている．全ての投稿には，ジオタグ（投稿した場所の緯度経度情報）が付与されている．本実験では，ジオタグから投稿が行われた都道府県を特定し，それを正解ラベルとした．すなわち，本実験の出力クラス数は都道府県47クラスである．また，各投稿にはメタ情報として，文書ジオロケーションモデルへ入力として用いる投稿文書の投稿時間情報，および投稿者プロフィールの居住地情報が付いている．投稿時間情報は全ての投稿に付いているが，居住地情報はユーザの任意登録情報であるため，欠損がある．本データセットは訓練データ200,000件，開発データ4,000件，評価データ7,000件から成る．評価データにおける最頻クラス上位5件の事例数とその割合を確認すると，1位から順に，東京都：1,236件(17.66\%)，北海道：661(9.44\%)，大阪府：493(7.04\%)，愛知県：331(4.73\%)，京都府：321(4.59\%)であり，47都道府県での平均事例数は148.9，標準偏差は206であった．全ての評価事例を最頻クラスである「東京都」に分類するベースライン精度を考えると，後述するAccuracyは17.66\%となる．また平川らは，課題の難しさを測る基準のひとつとして，人手で47クラスを分類した場合の精度を求めている．評価データからランダムにサンプリングされた300件に対して人手による分類を行った結果，そのAccuracyは76.7\%であった．この値は本評価実験における参考上限値と見なせる．データセット内の事例の中には，非常に短く手がかり情報がまったく含まれていない事例も無視できない程に存在しており，やや低めの参考上限値となっている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.3\subsection{指標値の推定対象}指標値の推定に用いるWikipediaデータには，2021年5月20日付の日本語Wikipediaダンプデータ\footnote{\url{https://dumps.wikimedia.org/jawiki/}から取得}を用いた．このダンプデータの中から地理的位置属性をもつエンティティのページを処理対象ページとした．あるエンティティが地理的位置属性をもつか否かの判断は森羅プロジェクト\cite{shinra}\footnote{\url{http://2022.shinra-project.info/}}が提供する情報に基づいた．すなわち，森羅プロジェクトによって各エンティティに付与された拡張固有表現ラベル\footnote{\url{http://ene-project.info/}}のうち場所を表す固有表現である組織名，地名，施設名，イベント名のラベルが割り当てられたページを地理的位置属性をもつエンティティのページとした\footnote{「曖昧さ回避」ページは，通常のエントリではないため，事前に除外している．}．そして，これら処理対象ページに対して，WikiExtractor\footnote{\url{https://github.com/attardi/wikiextractor}}を用いて本文を抽出し，その後，本文からBeautifulSoup\footnote{\url{https://www.crummy.com/software/BeautifulSoup/}}を用いてアンカ情報を取得した．ただし，すべてのアンカ文字列を言及として採用するとノイズとなる事例が観測されたことから，今回は，ある言及$m$からあるエンティティ$p$へのリンク情報を取得する際，以下のいずれかの条件に該当するものは削除した．\begin{enumerate}\item言及$m$と，そこからリンクされるエンティティ$p$の（見出しの）名称の間に完全一致関係あるいは包含関係がない．\item言及$m$からエンティティ$p$へのリンク回数が5回未満であり，かつ，$p$へリンクする言及集合の中で$m$のリンク回数が最大でない．\end{enumerate}例えば，条件(1)によって言及「北海道」からエンティティ「東京都」へのリンク情報が削除される．このような事例はWikipedeia編集者の編集誤りであると考えられる．%また，条件(2)で削除される例として参照表現がある．例えば，言及「前回大会」からエンティティ「第94回全国高等学校野球選手権大会」へリンクがある場合である．参照表現は通常の表現よりもさまざまエンティティとリンク可能でノイズとなりやすいため削除した．ただし，このような表現が必ずしもノイズとなるわけではないため，今回は経験的に回数条件を設けた．以上の手続きによって得られた推定対象に対し，\ref{chap:ent_geoinfo}節および\ref{chap:mnt_geoinfo}節で述べた方法によって地理的特定性の値を求めた．この内，先述の観光ドメイン日本語Twitter投稿文書データに出現する12,758件の言及\footnote{参考として，これらの推定には，43,189件のエンティティに対する指標値の推定値が用いられていた．}への推定値を実験に用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1\begin{table}[b]\input{09table01.tex}\caption{エンティティの地理的特定性の例（ambは地理的曖昧性，excは名称専有性を示す）}\label{table:geoinfo_example}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ここで，推定値の具体例を確認しておく．まず，表\ref{table:geoinfo_example}は，エンティティに対する地理的特定性の例である．ここでは，地理的曖昧性の値の高低と名称専有性の値の高低の組み合わせの例を示している．例えば，八坂神社は全国に数多くあるが，その総本社である京都府京都市に所在する八坂神社はとりわけ認知度が高いと思われる．エンティティ「八坂神社（京都市）」は地理的曖昧性が高く，かつ名称専有性が高くなっており，想定に即した指標値となっている．また，エンティティ「竹下通り（福岡市）」は地理的曖昧性が低く，かつ名称専有性が低い例である．日本語Wikipediaへの登録データとして「竹下通り」という名称をもつ場所は東京都渋谷区と福岡県福岡市の2ヶ所にのみ存在し，地理的曖昧性は低い値となっている．また「竹下通り」という名称からは一般的には渋谷区の竹下通りが連想され，福岡市の竹下通りは名称専有性が低い結果となっている．エンティティ「中央区（大阪市）」およびエンティティ「いろは坂（日光市）」に関しても，\ref{chap:exc_desc}節の定義の際の予想に従った値の高低となっていることが確認できる．次に，言及に対する地理的特定性の例を表\ref{tab:geovec_itsukushima}および表\ref{tab:geovec_chuoku}に示す．表\ref{tab:geovec_itsukushima}は言及「厳島神社」の例である．厳島神社という名称の神社は複数の都道府県に存在するが，一般には広島県に存在するエンティティへの言及であると連想されやすいと思われる．表の値は確かに広島県で大きな値となっていることが確認できる．また，表\ref{tab:geovec_chuoku}は言及「中央区」の例である．中央区も複数の都道府県に存在するが，「中央区」で特に有名な都道府県は存在しないと思われる．表の値もそれを反映しており，「厳島神社」ほどの偏りは見受けらない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2\begin{table}[t]\input{09table02.tex}\caption{言及「厳島神社」の地理的特定性}\label{tab:geovec_itsukushima}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3\begin{table}[t]\input{09table03.tex}\caption{言及「中央区」の地理的特定性}\label{tab:geovec_chuoku}{\vskip-5pt}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4\subsection{文書ジオロケーション手法}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.1\subsubsection{deepgeo}\label{chap:deepgeo}実験に用いるベースラインモデルとして，\ref{chap:ref_geolocation}節で述べたdeepgeo\cite{lau2017end}について説明する．deepgeoは，投稿文書や投稿時間，投稿者プロフィールの居住地情報から地理的位置推定を行うLSTM-CNNベースのニューラルモデルである．deepgeoではTextNetworkというサブネットワークで投稿文書を処理している．TextNetworkは，投稿文書の文字埋め込みベクトルの系列を入力として受け，最終的に投稿文書に対するベクトル表現を得る．入力の$t$番目の文字埋め込みベクトルを$\bm{x_t}(0\leqt\leqT-1)$としたとき，TextNetworkは以下で表される．ここで$T$は投稿文書の文字数である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{eqnarray}\bm{h_t^f},\bm{h_t^b}&=&\mathit{BiLSTM}(\bm{x_t})\label{eq:lstm_input}\\\hat{\bm{x_t}}&=&\bm{h_{t-1}^f}\oplus\bm{x_t}\oplus\bm{h_{t+1}^b}\\\bm{g_t}&=&\mathit{ReLU}(\mathit{Conv}(\hat{\bm{x_t}}))\\\hat{\bm{g_{t'}}}&=&\mathit{max}(\bm{g_t},\bm{g_{t+1}},...,\bm{g_{t+P-1}})\\\alpha_{t'}&=&\bm{v^\top}tanh(W_v\hat{\bm{g_{t'}}})\\a_{t'}&=&\frac{exp(\alpha_{t'})}{\sum^{T-P}_{j=0}exp(\alpha_j)}\label{eq:self_attention}\\\bm{f_{text}}&=&\sum_{j=0}^{T-P}a_j\hat{\bm{g_j}}\end{eqnarray}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ここで，$\oplus$はベクトルの連結，$\it{Conv}$は畳み込み層の適用，$\it{max}$はmax-over-timepoolingを行う関数であり，$\bm{v},W_v$は学習対象の重みパラメータである．まず，BiLSTMと畳み込み層を用いて文字ごとの中間表現$\bm{g_t}$を得る．その後，$\bm{g_t}$に対して窓幅$P$のmax-over-timepoolingを適用することで，$\hat{\bm{g_{t'}}}(0\leqt'\leqT-P)$を得る．この$\hat{\bm{g_{t'}}}$に対してセルフアテンションを適用し，最終的なテキスト表現ベクトルとして$\bm{f_{text}}$を得る．deepgeoの最終的な予測は，投稿文書を処理するTextNetworkの出力$\bm{f_{text}}$の他に，投稿時間を処理するサブネットワークの出力$\bm{f_{time}}$と，投稿者プロフィールの居住地を処理するサブネットワークの出力$\bm{f_{loc}}$から計算される．具体的な計算方法を以下の式で表す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{eqnarray}\hat{\bm{f}}&=&\bm{f_{text}}\oplus\bm{f_{time}}\oplus\bm{f_{loc}}\\\bm{o}&=&tanh(W_o\hat{\bm{f}})\\\bm{y}&=&softmax(\bm{o})\label{eq:deepgeo_last}\end{eqnarray}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ここで$W_o$は学習対象の重みパラメータである．また，詳細は割愛するが，投稿時間ベクトル$\bm{f_{time}}$は，投稿文書の投稿時間情報からRBFネットワークを介することで得られ\footnote{Lauらの原著では，時間に関する情報として他に，Timezone,UTCOffset,Acc.CreationTimeの3種類を利用するが，本研究ではこれら情報は用いない．}，居住地ベクトル$\bm{f_{loc}}$は，投稿者プロフィールの居住地テキストの文字系列から畳み込みネットワークを介することで得られる．式(\ref{eq:deepgeo_last})の$\bm{y}$は47次元のベクトルで，それぞれの要素が各都道府県に対応する．deepgeoの最終的な予測は，$\bm{y}$の最も大きい値を示した要素と対応する都道府県とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.2\subsubsection{deepgeo+MentionVec}Wikipediaベースの既存知識として，日本語Wikipediaエンティティベクトル\footnote{\url{http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/}}（以下，エンティティベクトル）がある．エンティティベクトルは，日本語Wikipediaの本文全文から学習した単語とWikipediaページの300次元の分散表現ベクトルである．ここでは，後述する地理的特定性の情報を用いる手法の比較手法として，エンティティベクトルから作成した言及ベクトル(MentionVec)の情報をdeepgeoに加える手法をdeepgeo+MentionVecとする．具体的には，まず，各言及$m$に対して，それがアンカ文字列となってリンクしている日本語Wikipedia内のエンティティをすべて抽出する．そして，それらエンティティに対応するエンティティベクトルの平均ベクトルを言及$m$の言及ベクトルとして準備する．これらを，言及をキー，その言及ベクトルを値とするメンションDBとして保存しておく．そして，このベクトル情報を次のようにしてdeepgeoのTextNetworkに組み込む．\begin{itemize}\itemTextNetworkへの入力において，先頭から$t$番目の文字埋め込みベクトル$\bm{x}_t$に対して，$t$番目の文字が言及ベクトルの付与対象であれば対応する言及ベクトルを，付与対象でなければ言及ベクトルと同じ次元数（300次元）のゼロベクトルを連結してTextNetworkに入力する．\end{itemize}先頭から$t$番目の文字に対応する言及ベクトルを$\bm{m}(\bm{x}_t)$とすると，deepgeo+MentionVecでは，$\bm{x}_t$の替わりに次の$\bm{x'}_t$を式(\ref{eq:lstm_input})で採用する\footnote{この連結操作において，連結される言及が2文字以上で構成される場合，その言及を構成する各文字に対して同じ言及ベクトルが連結されることになる．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{equation}\bm{x'}_t=\bm{x}_t\oplus\bm{m}(\bm{x}_t)\end{equation}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ある文字が言及ベクトルの付与対象であるか否かの判定，および付与対象である場合に付与する言及ベクトルの決定方法は以下の通りである．まず，入力文書に対してGiNZA\footnote{\url{https://megagonlabs.github.io/ginza/}}を用いて固有表現抽出を行い，抽出された固有表現のうち，場所（組織名，地名，施設名およびイベント名）を表す固有表現（を構成する各文字）が言及ベクトルの付与対象である．付与する言及ベクトルは，付与対象となる場所を表す固有表現とメンションDBのキーである言及を照合することで決定する．照合処理は，完全一致に加えて部分一致も許可する．固有表現と完全一致する言及はないが，固有表現に包含される言及がある場合は，それらのうち最長のメンションを照合したとして，その言及をキーとする言及ベクトルを付与する．もし，完全一致もしくは部分一致する言及が存在しない場合は，付与対象から外れ，ゼロベクトルが使われる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.3\subsubsection{deepgeo+GeoVec}deepgeoのTextNetworkに\ref{chap:mnt_geoinfo}節で述べた言及の地理的特定性の値を取り込む．付与されるベクトル情報が異なることを除けば，ベクトル情報の取り込み方は，前項のdeepgeo+MentionVecと同様である．すなわち，\begin{itemize}\itemTextNetworkへの入力において，先頭から$t$番目の文字埋め込みベクトル$\bm{x}_t$に対して，$t$番目の文字が付与対象であれば対応する言及の地理的特定性ベクトルを，付与対象でなければ地理的特定性ベクトルと同じ次元数（$47+47=94$次元）のゼロベクトルを連結してTextNetworkに入力する．\end{itemize}先頭から$t$番目の文字に対応する地理的特定性ベクトルのうち，地理的曖昧性ベクトルを$\bm{av}(\bm{x}_t)$，名称専有性ベクトルを$\bm{ev}(\bm{x}_t)$とすると，deepgeo+GeoVecでは，$\bm{x}_t$の替わりに次の$\bm{x'}_t$を式(\ref{eq:lstm_input})で用いる．\begin{equation}\bm{x'}_t=\bm{x}_t\oplus\bm{av}(\bm{x}_t)\oplus\bm{ev}(\bm{x}_t)\end{equation}さらに，\ref{sec:exp_goal}節の実験目的で述べた事項を検証するために，地理的特定性ベクトルのうち，地理的曖昧性ベクトル$\bm{av}(\bm{x}_t)$のみを連結する手法（deepgeo+GeoVec（曖昧性のみ）），名称専有性ベクトル$\bm{ev}(\bm{x}_t)$のみを連結する手法（deepgeo+GeoVec（専有性のみ））もあわせて検討する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.3\subsubsection{GeoVec（専有性のみ）}deepgeoを使わない素朴な手法として，入力文書に含まれる言及の名称専有性の値のみを用いて予測を行う．GeoVec（専有性のみ）では，入力文書に含まれる言及の名称専有性ベクトルの各要素の和をとり，その値が最大となる次元に対応する都道府県を出力する．なお，この手法では他の手法とは違い，言及が含まれない場合は何ら出力をおこなわないため，性能評価時においては，このような事例は必ず誤り事例として扱われる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4\begin{table}[b]\input{09table04.tex}\caption{各手法の文書ジオロケーション実験結果}\label{table:result}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5\subsection{実験結果}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.1\subsubsection{各手法の文書ジオロケーション実験結果}実験の結果を表\ref{table:result}に示す．符号検定の結果，deepgeo+GeoVecと表\ref{table:result}に示した他の手法の間に，有意水準0.01で有意差があった．ここで，Accuracyは式(\ref{eq:accuracy})で定義される．\begin{equation}\label{eq:accuracy}Accuracy=\frac{正しく分類できた文書数}{入力文書数}\end{equation}表から，deepgeoに地理的特定性の値を加えた3つの手法（deepgeo+GeoVec（曖昧性のみ），deepgeo+GeoVec（専有性のみ），deepgeo+GeoVec）はいずれもオリジナルのdeepgeoよりも高い性能であることがわかる．また，deepgeo+GeoVec（専有性のみ）およびdeepgeo+GeoVecの2つの手法はdeepgeo+MentionVecよりも高い性能であることがわかる．MentionVecは日本語Wikipediaエンティティベクトルから作成した300次元のベクトルであり，地理的曖昧性と名称専有性はそれぞれ47次元のベクトルである．地理的特定性のほうが当該言及に対する多様な情報を保持していないにも関わらず，MentionVecよりも文書ジオロケーション課題において高い性能を示していることから，地理的特定性がより地理に特化した情報を保有できていることがわかる．また，地理的曖昧性と名称専有性を単独で追加した手法よりも両方を追加した手法のほうが高い性能となった．この結果から，地理的曖昧性と名称専有性はそれぞれ異なる情報を持つことがわかる．以上の実験結果を受けて，\ref{sec:exp_goal}節で述べた2つの項目に関して整理すると，以下となる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{enumerate}\item地理的特定性の構成要素である地理的曖昧性と名称専有性のそれぞれが文書ジオロケーション課題において有効である．\itemこれら両方の構成要素を組み合わせて利用することが文書ジオロケーション課題において有効である．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%次に，以上の結果を踏まえながら，関連する周辺的事項について考察する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.2\subsubsection{地理的位置を表す言及数ごとの予測結果}\label{chap:multimention}文書ジオロケーション課題において，deepgeo+GeoVec手法で地理的特定性の情報を活用するには，入力文書中に地理的位置を表す言及が存在している必要があり，地理的位置を表す言及が存在していない文書では有効に働かないと予想される．このことを実験的に確認するために，評価データを，その中に含まれる地理的位置を表す言及の数によって5つに分割して再評価した結果を表\ref{table:result_for_mention_num}に示す\footnote{言及数は，6.4.2節で述べた手続きによって言及ベクトルが得られた数を数えている．}．前節までの結果を受けて，ここでは，deepgeoとdeepgeo+GeoVecの結果を比較し，性能の高い方を強調表示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5\begin{table*}[b]\input{09table05.tex}\caption{文書中に含まれる地理的位置を表す言及数ごとの結果(Accuracy)}\label{table:result_for_mention_num}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{table:result_for_mention_num}より，文書中に地理的位置を表す言及が全く存在しない場合と比較して，1つ以上の言及が存在する場合のほうが予測性能が高いこと，また，1つ以上の言及が存在する場合は，deepgeoよりもdeepgeo+GeoVecのほうが性能が高くなっていることが確認できる．この結果から，文書中に地理的位置を表す言及が存在する場合は，deepgeo+GeoVecが地理的特定性の情報を効果的に活用できている事がわかる．同時に，地理的位置を表す言及が含まれないときはdeepgeoのほうが性能が高くなっていることから，deepgeo+GeoVecが地理的特定性の情報に依存した予測を行っていることもわかる．言及の数が0個の場合の結果は，今回の課題設定の難しさを探る手助けになると考えられるが，表によると，0個の場合でも40\%程度の事例が正答できていることがわかる．このことから，入力文書内の言及の有無に関わらず，deepgeoが入力文書の文字系列から分類に寄与する特徴量をある程度学習していること，および，投稿者プロフィールの居住地情報が有力な特徴量として寄与していることが推察される．実際，deepgeoの原著\cite{lau2017end}でも，Lauらは投稿者プロフィールの居住地情報の重要性を指摘しており，今回の結果はLauらの結果を支持していると言える\footnote{ただし，投稿者プロフィールの居住地情報は登録がない場合や居住地とは無関係な情報も多く登録されているため，特徴量として決定的なわけではない．}．文書中の地理的位置を表す言及の数が0個から3個にかけては，deepgeoおよびdeepgeo+GeoVecのどちらとも言及数の増加とともに性能が上昇しているが，4個以上の場合は，言及数が3個の場合よりも，性能が下がっている．この原因として，以下の例のように，ひとつの文書に複数の都道府県関連言及が含まれることが考えられる．以前からこのような事例への対応は難しく，文書ジオロケーション課題における改善点のひとつであると指摘されている．今回の結果は，残念ながら地理的特定性を導入してもこの問題の解決には至っていないことが示唆される．\enumsentence[(a)]{...\underline{長野}から\underline{金沢}まで新幹線で\underline{小松}から\underline{福岡}まで飛行機も...（正解は「東京都」）}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.3\subsubsection{都道府県ごとの予測結果}続いて，47都道府県ごとの性能を確認する．表\ref{table:result_for_pref}に，都道府県ごとの実験結果を示す．表中の$\uparrow$記号は，deepgeoよりもdeepgeo+GeoVecの方が性能が高くなったことを示す．ここでは，クラス別に評価するため，評価指標としてF値を採用する．あるクラス（都道府県）$c$のF値は次の式で定義される．\begin{eqnarray}F&=&2\cdot\frac{Precision\cdotRecall}{Precision+Recall}\end{eqnarray}\begin{eqnarray}Precision&=&\frac{正しくクラスcと予測した数}{クラスcと予測した数}\end{eqnarray}\begin{eqnarray}Recall&=&\frac{正しくクラスcと予測した数}{クラスcのデータ数}\end{eqnarray}表より，ほとんどの都道府県でdeepgeoよりもdeepgeo+GeoVecの方が性能が高いことが確認できる．福井県では，F値が17.0ポイント向上しており，他のいくつかの都道府県でも10ポイント以上の向上があった．それに対して性能低下では，最大で佐賀県の7.3ポイントで，ほとんどが5ポイント未満であることがわかる．ここから地理的特定性は，特定の都道府県で大幅な性能低下を起こさず，全体の性能向上に貢献したといえる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6\begin{table*}[t]\input{09table06.tex}\caption{都道府県ごとの予測結果（F値）}\label{table:result_for_pref}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.4\subsubsection{予測が困難な都道府県に対する地理的特定性の有効性評価}47都道府県のうち，地理的曖昧性が高いエンティティを多くもつ都道府県は，ほかの都道府県に比べて文書ジオロケーションの予測が困難になると予想される．そこで，エンティティの地理的曖昧性に基づいて都道府県のグループを構成し，グループ間で予測性能を比較することを通して，予測が困難な都道府県グループでも地理的特定性が有効であるかを検証する．まず，グループを構成する準備として，エンティティの地理的曖昧性の値を参照し，以下の式(\ref{eq:pref_amb})によって，都道府県$k$の地理的曖昧性$\mathrm{pref\_amb}(k)$を求める．ここで，エンティティの地理的曖昧性は値は式(\ref{eq:amb})で求めるが，都道府県の地理的曖昧性との区別を明瞭にするため，エンティティ$p_j$の地理的曖昧性を$\mathrm{ent\_amp}(p_j)$と表記している．また，$P^k$は都道府県要素が$k$であるエンティティの集合である．\begin{equation}\label{eq:pref_amb}\mathrm{pref\_amb}(k)=\frac{1}{|P^k|}\sum_{p_j\inP^k}\mathrm{ent\_amb}(p_j)\end{equation}計算された47都道府県の地理的曖昧性について，曖昧性の値が高かった上位10件と低かった下位10件を表\ref{table:pref_amb}に示す．この上位10件の都道府県を地理的曖昧性が高いグループ，下位10件の都道府県を地理的曖昧性が低いグループとして検証に用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7\begin{table}[t]\input{09table07.tex}\caption{都道府県の地理的曖昧性（上位10件と下位10件）}\label{table:pref_amb}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{table:result_for_amb_class}に，高曖昧性グループおよび低曖昧性グループそれぞれのマイクロ平均F値を示す．deepgeoおよびdeepgeo+GeoVecのどちらの手法においても，高曖昧性グループの結果は低曖昧性グループよりも低い値となった．ただし，deepgeoとdeepgeo+GeoVecの比較から地理的特定性の情報を加えることによる性能向上は，どちらのクラスでも1ポイント以上見られた．この結果より，地理的特定性を用いた手法は，予測が難しいクラスに対しても有効であったといえる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8\begin{table}[t]\input{09table08.tex}\caption{地理的曖昧性が高い都道府県クラスと低い都道府県クラスでの予測性能（マイクロ平均F値）}\label{table:result_for_amb_class}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.5\subsubsection{事例分析}表\ref{table:result_sample}に，deepgeo+GeoVecの予測が正解した例を示す．表\ref{table:result_sample}の太字は，MentionVecまたはGeoVecが付与された文字列であることを示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9\begin{table*}[t]\input{09table09.tex}\caption{deepgeo+GeoVecの予測が正解した例(MV:MentionVec,GV:GeoVec)}\label{table:result_sample}{\vskip-11pt}\end{table*}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%事例$\langle1\rangle$は，deepgeoでは予測を誤り，deepgeo+MentionVecとdeepgeo+GeoVecでは正しい予測ができた例である．deepgeoには投稿者プロフィールに設定されている居住地を処理するサブネットワークが存在する．この投稿をしたユーザの居住地は「東京」と設定されており，それが影響してdeepgeoは「東京都」と出力したと考えられる．一方，deepgeo+MentionVecとdeepgeo+GeoVecでは，文書に含まれる「大宮」という地名からWikipedia情報を取得し，正しい予測に繋げることができている．事例$\langle1\rangle$以外は，deepgeoとdeepgeo+MentionVecでは予測を誤り，deepgeo+GeoVecでは正しい予測ができた例である．まず事例$\langle2\rangle$および事例$\langle3\rangle$の例に注目する．これらを予測するには，事例$\langle2\rangle$ではエンティティ「荒川区役所前停留場」，事例$\langle3\rangle$ではエンティティ「高湯温泉」の都道府県要素をWikipediaページから適切に取り込む必要がある．GeoVecはWikipediaページの本文から直接的な手法で都道府県要素を抽出しており，その情報を用いて正しい予測に繋げることができた．一方，MentionVecは地理的な課題を目的として作成されていないため，この例では都道府県要素を抽出できず，予測を誤った．次に事例$\langle4\rangle$，事例$\langle5\rangle$の例に注目する．deepgeo+GeoVecは，事例$\langle4\rangle$ではエンティティ「ホテルオークラ東京ベイ」，事例$\langle5\rangle$ではエンティティ「千代保稲荷神社」の都道府県要素を正しく取得することができ，正しい予測に繋げた．一方，deepgeoとdeepgeo+MentionVecは，事例$\langle4\rangle$では「東京」，事例$\langle5\rangle$では「串カツ」に注目し予測を誤った．なお，ここでの注目箇所とは，式(\ref{eq:self_attention})のセルフアテンションで得られる重みが大きい範囲のことを表す．最後に事例$\langle6\rangle$の例に注目する．投稿文書には「小浜温泉」と「小浜」という地理的位置を表す言及が含まれる．「小浜」は日本にいくつか存在する地名であるが，一般的な認知としては福井県の地名を指すことが多い．そのため，言及「小浜」の名称専有性ベクトルは福井県と対応する要素が最大値となっている．deepgeo+MentionVecはこの投稿の「\#小浜」の部分に注目し，予測も「福井県」とした．しかし，小浜温泉は長崎県にしか存在せず，長崎県にも小浜という地名は存在する．deepgeo+GeoVecでは，GeoVecからこの情報を適切に取得することができ，正しく「長崎県」と予測したと考える．deepgeo+GeoVecの注目箇所は「小浜温泉」であった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S7
\section{結論}
本研究では，SNS投稿文書内に出現している地理的位置属性をもつ言及に対し，その地理的位置の特定のしやすさを表す指標として，地理的特定性指標を提案した．本指標は，地理的曖昧性および名称専有性の2つの構成要素から成るものとし，日本語Wikipediaデータに基づいて指標値の推定を行った．そして，文書ジオロケーション実験を通して，提案した地理的特定性指標の両指標値が文書ジオロケーション課題において有効であること，また，これら指標値を組み合わせて利用することも有効であることを確認した．本研究を発展させる今後の主な課題としては以下が挙げられる．\begin{itemize}\item本研究では，文書ジオロケーション実験を実施することで地理的特定性指標の有効性を検証した．地理的特定性指標は課題とは独立した概念であり，\ref{chap:ref_geolocation}節で述べたToponymresolutionやエンティティリンキングなど，ほかの課題での有効性も検証したい．\item本研究では，文書ジオロケーション課題として，47都道府県への分類を検討したが，\ref{chap:inin}節で述べたようなサービスでは，分類する地理的粒度が細かい程，サービスの品質向上につながる．そのため，より地理的粒度の細かい分類課題に対する有効性の検証が必要である．本手法では，言及に対する地理的特定性が特定できる地理的粒度は言及ベクトルの次元数を調整することで制御可能であるが，本手法では言及ベクトルの次元数を増やすことはベクトルが疎になる欠点がある．今後は，分類粒度と言及ベクトルの次元数の関係性を調査すると共に，疎ベクトルを回避するための対策が必要である．\item本研究では，地理的特定性の指標値の推定において，言及が現れる文書内での文脈情報を取り込んでいない．今後は，Awamuraら\cite{awamura2015location}のように，文脈情報を考慮した指標値を検討し，文脈情報が指標値に与える影響について考察を進めたい．\item文書ジオロケーション実験の誤り事例の観察から，誤り事例を幾つかのグループに分けることができる．ひとつのグループは，\ref{chap:multimention}節で述べた多くの言及が含まれる事例グループである．その他の事例グループとして，時制の理解が必要な事例グループがあった．通常では手がかり表現になりやすい言及であっても過去の活動（「この時期になると去年の\underline{京都}観光を思い出す」）や未来の活動（「はやく\underline{沖縄}行きたいな♪」）に関する投稿文書の場合は，その限りではない．このような事例グループを正しく分類するには，今回注目した地理的特定性のような概念では限界があり，有効な特徴量を獲得するためには，時制の解析を含むより高度な意味解析処理が必要になる．\end{itemize}%%%Acknowledgement%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究はJSPS科研費21K12137の助成を受けたものです．Wikipediaの全記事に対する拡張固有表現ラベルは，森羅プロジェクトが公開しているデータを使用させて頂きました．%%%Bibliography%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{09refs}%%%Biography%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{\UTF{9682}山宗一}{%%\bioauthor{陰山宗一}{%2021年筑波大学情報学群情報科学類卒業．2023年筑波大学大学院システム情報工学研究群情報理工学位プログラム修士課程修了．現在，LINEヤフー株式会社所属．}\bioauthor{乾孝司}{%2004年奈良先端科学技術大学院大学情報科学研究科博士課程修了．日本学術振興会特別研究員，東京工業大学統合研究院特任助教等を経て，2009年筑波大学大学院システム情報工学研究科助教，2011年筑波大学システム情報系助教，2015年同准教授，現在に至る．博士（工学）．自然言語処理の研究に従事．近年は地理空間情報と自然言語処理の融合分野に興味をもつ．}\end{biography}\biodate%%%%受付日の出力（編集部で設定します）\end{document}