\section{はじめに}
単一言語内フレーズアラインメントは自然言語理解における基礎タスクである．本タスクは，与えられた同一言語の$2$文に含まれる言い換えフレーズについて，それらの対応付けを行うことを目的とする．単一言語内フレーズアラインメントの応用は多岐に渡るが，特に関連の深いタスクは言い換え認識\cite{dolan-2005}や含意関係認識\cite{dagan-2005}，意味的類似度推定\cite{agirre-2012}などの文対モデリングタスク\cite{lan-2018}である．先行研究\cite{maccartney-2008,yao-2013-b,maharjan-2016,arase-2017,ouyang-2019}では，大規模な言い換え辞書あるいは高品質な構文解析器やチャンカーを利用できることが前提となっており，英語以外の言語への適用は容易ではない．既存手法であるJacana-phrase\cite{yao-2013-b}やSemAligner\cite{maharjan-2016}はWordNet\cite{miller-1995}やPPDB\cite{ganitkevitch-2013}といった大規模な言い換え辞書を使用して素性を抽出している．また，\citeA{arase-2017}や\citeA{ouyang-2019}は，句構造解析器などの高品質な構文解析器を用いてフレーズの構造を獲得している．一方，統計的機械翻訳の分野で研究されてきた対訳フレーズアラインメント手法\cite{marcu-2002,koehn-2003,deng-2005,bansal-2011}の多くは，パラレルコーパスにのみ依存している．対訳フレーズアラインメントの一般的なアプローチでは，最初に単語アラインメントを獲得し，次にヒューリスティクスに基づいてそれらをフレーズ対へ拡張する．ただし，対訳フレーズアラインメントの主な目的はフレーズベース機械翻訳のためのフレーズテーブルの作成であり，抽出したフレーズ対からどの部分集合をアラインメントとして選択するべきかを推定するのは目的の範囲外である．また，大規模な単一言語のパラレル（言い換え）コーパスが充実している言語は限定されているため，単一言語内フレーズアラインメントへの適用は難しい．本研究では，対訳フレーズアラインメント手法の利点を活用したシンプルな単一言語内フレーズアラインメント手法\footnote{提案手法は単一言語内フレーズアラインメントツールSAPPHIREとして一般公開している．\\\url{https://github.com/m-yoshinaka/sapphire}}を提案する．提案手法では，まず訓練済みの単語分散表現を用いて単語アラインメントを獲得し，続いて対訳フレーズアラインメントのヒューリスティクスに基づき単語アラインメントをフレーズ対へ拡張する．そして，獲得したフレーズアラインメントの候補の中から，入力文対において尤もらしいフレーズアラインメントを探索する．既存手法とは異なり，提案手法が必要とする言語資源は単語分散表現を訓練するための生コーパスのみであり\footnote{日本語や中国語のような単語境界が非自明な言語では単語分割が必要であるが，単言語コーパスのみで訓練可能なSentencePiece\cite{kudo-2018}のようなサブワード分割で構わない．}，生コーパスは多くの言語で大規模に利用可能である．英語におけるフレーズアラインメントのベンチマーク\cite{brockett-2007}を用いた実験では，提案手法は既存のフレーズアラインメント手法\cite{ouyang-2019}を上回るF値を達成しており，高精度なフレーズアラインメント手法を実現した．また，日本語のデータセットを構築して行った分析では，英語以外の言語へ容易に適用できることを確認した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
アラインメントとは，文対や文書対中の意味的に対応する単語対やフレーズ対，文対を認識し，それらを対応付ける技術である．二言語間で行われる対訳アラインメントは，統計的機械翻訳の基盤技術として広く研究されてきた．一方，単一言語の文対に対して行われる単一言語内アラインメントの既存手法は，言い換え認識\cite{dolan-2005}や含意関係認識\cite{dagan-2005}，意味的類似度推定\cite{agirre-2012}などの文対モデリングタスク\cite{lan-2018}へ応用されてきた．統計的機械翻訳の分野では，句に基づく統計的機械翻訳\cite{koehn-2003}のための基盤技術として対訳フレーズアラインメントが広く研究されてきた．機械翻訳ツールMoses\cite{koehn-2007}で用いられている一般的な対訳フレーズアラインメントのアプローチでは，最初にGIZA++\cite{och-2003}などを用いて単語アラインメントを獲得し，次にヒューリスティクスにより単語アラインメントをフレーズアラインメントへ拡張する．このアプローチでは，フレーズアラインメントを得るための言語資源として大規模な対訳コーパスのみを使用している．対訳フレーズアラインメントの手法を単一言語内フレーズアラインメントタスクへ応用するとき，単一言語のパラレルコーパス，すなわち言い換えコーパスが必要となる．しかし，言い換えコーパスは対訳コーパスよりも収集が難しく，利用可能な言語は限定されている．また，対訳フレーズアラインメントの主な目的は大量の対訳フレーズ対を獲得することである．そのため，単一言語内フレーズアラインメントの目的である，与えられた文対におけるフレーズ対の適切な部分集合の推定は，対訳フレーズアラインメントの目的の範囲外である．以上の理由により，対訳フレーズアラインメントのアプローチは，パラレルコーパスにのみ依存するという強みを持つが，単一言語内フレーズアラインメントタスクへの応用には適していない．単一言語内フレーズアラインメントタスクでは，与えられた文対に含まれる任意のフレーズ対がどの程度対応し得るかを認識し，フレーズ対の適切な部分集合を推定することを目的としている．このとき，フレーズ対の対応の度合いを認識するために，先行研究は言い換え辞書や構文解析器，単語分散表現などの言語資源から情報を獲得している．単一言語内フレーズアラインメントの既存手法は，アラインメントをとるフレーズの種類によって大きく二つのアプローチに分類できる．一つは文法的な制約が課されていない任意のフレーズを扱うアプローチ，もう一方は特定の文法に基づくフレーズを扱うアプローチである．一つ目のアプローチを用いる既存手法には，MANLI\cite{maccartney-2008}やその派生手法\cite{thadani-2011,Thadani-2012}，Jacana-phrase\cite{yao-2013-b}がある．これらのアプローチでは，アラインされるフレーズは単純な単語$n$-gramであり，単語$n$-gramフレーズの素性抽出のために概念辞書であるWordNetや大規模な言い換えデータベースであるPPDBを使用している．一方，二つ目のアプローチを用いる既存手法\cite{sultan-2014,arase-2017,yanaka-2018,ouyang-2019}は，句構造解析器などの高品質な構文解析器を使用してフレーズや文の構造を認識している．既存手法が依存する言語資源である辞書や構文解析器は，高精度なフレーズアラインメントを獲得するための強力な資源である．しかし，英語以外の多くの言語においてそのような言語資源を構築することは容易でない．したがって，どちらの既存アプローチにおいても依存する言語資源の観点から英語以外の言語への適用が容易でないという課題が存在する．対訳フレーズアラインメント手法は，言い換えコーパスへの依存およびタスクの目的の違いから単一言語内フレーズアラインメントタスクへの応用は難しい．既存の単一言語内フレーズアラインメント手法は，依存する言語資源の観点から英語以外の言語へ適用するのは難しい．そこで本研究では，単語分散表現のみを外部知識として用いる単一言語内フレーズアラインメント手法を提案する．単語分散表現を学習するための生コーパスは多くの言語において豊富に存在するため，提案手法は英語以外のより多くの言語へ容易に適用可能であるという強みを持つ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{ch:proposed_method}本章では，最初に提案手法におけるフレーズアラインメント問題を定義した後，提案手法について説明する．なお，提案手法は構文解析器を使わないため，単語$n$-gramのフレーズを対象としている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{問題定義}\label{sec:def_alignment}入力となる文対をそれぞれ$|X|$，$|Y|$個の単語から構成される文$X=x_1,\ldots,x_{|X|}$および$Y=y_1,\ldots,y_{|Y|}$とする．また，文$X$中の$p$番目から$q$番目までの連続する単語のフレーズを$x_p^q=x_p,\ldots,x_q$，文$Y$中の$r$番目から$s$番目までの連続する単語のフレーズを$y_r^s=y_r,\ldots,y_s$と表す．このとき，矛盾のないフレーズアラインメントの集合を$A=\{a_k=(x_p^q,y_r^s)|x_p^q\inX,y_r^s\inY\}$とする．ただし，アラインメントを持たない，つまり，他方の文に同義のフレーズを持たないフレーズも存在し得るため，$x_p^q$，$y_r^s$は空($\emptyset$)となり得る．本研究では，単語の重複が存在しない一対一のフレーズアラインメントの組を矛盾のないアラインメント集合と定義する．$A$は$\existsa_k=(x_p^q,y_r^s)\inA$および$\existsa_l=(x_f^g,y_m^n)\inA$($k\neql$)について，($p>g\landr>n$)$\lor$($q<f\lands<m$)を満たす．すなわち，文$X$中で$p$から$q$までの範囲と$f$から$g$までの範囲は重ならず，かつ文$Y$中でも$r$から$s$までの範囲と$m$から$n$までの範囲は重ならない，という制約を満たす．一つの文対の中には矛盾のないフレーズアラインメントの集合が多数存在し得る．その数は文長について指数関数的に大きくなるため，適切なフレーズアラインメントの集合を決定するのは計算コストが非常に高い．そこで，本研究では計算コストを削減した方法で適切なフレーズアラインメントの近似解を求める．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{提案手法の概要}\label{sec:overview}提案手法では図~\ref{fig:overview}に示す通り，まず入力文対に含まれる全ての単語分散表現間の余弦類似度に基づいて単語アラインメントを得る．次に，対訳フレーズアラインメント手法で用いられるヒューリスティクスを用いて単語アラインメントをフレーズ対に拡張する．最後に，獲得したフレーズアラインメントの候補の組み合わせの中から矛盾のないフレーズアラインメントを探索する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{28-2ia8f1.pdf}\end{center}\caption{提案手法の概要}\label{fig:overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{単語アラインメント}\label{sec:word_alignment}提案手法では，単語分散表現間の余弦類似度から単語アラインメントの候補を得る．単語アラインメントを得る手法として，統計的機械翻訳の分野で培われてきたヒューリスティクスであるgrow-diag-final，あるいはコスト割当問題最適化アルゴリズムであるハンガリアン法\cite{munkres-1957}を正方でない行列へ拡張した手法\cite{bourgeois-1971}を用いる．\citeA{song-2015}のように獲得した候補の中から一定以上の余弦類似度を持つもののみを最終的な単語アラインメントとして採用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{grow-diag-finalに基づくアラインメント}grow-diag-finalを用いる場合，まず単語分散表現間の余弦類似度に基づいて文$X$から文$Y$，文$Y$から文$X$の両方向のアラインメントを求める．次に，それらにgrow-diag-finalのヒューリスティクスを適用して単語アラインメントを得る．具体的には，まず式(\ref{eq:x_to_y})に示すように文$X$中の単語$x_i$をそれと最も高い余弦類似度を持つ文$Y$中の単語$y_j$に対応付ける．\begin{equation}\{(x_i,y_j)\}=\argmax_{k}\cos(\mathbf{e}_{x_i},\mathbf{e}_{y_k})\label{eq:x_to_y}\end{equation}ここで，$\mathbf{e}_{x_i}$，$\mathbf{e}_{y_j}$はそれぞれ単語$x_i$，$y_j$の分散表現，$\cos$は余弦類似度を求める関数である．余弦類似度は以下の式により得られる．\begin{equation}\cos(\mathbf{a},\mathbf{b})=\frac{\mathbf{a}\cdot\mathbf{b}}{|\mathbf{a}||\mathbf{b}|}\end{equation}ここで，$\mathbf{a}$および$\mathbf{b}$は任意のベクトルである．同様にして，$y_j$を$x_l$と対応付ける．\begin{equation}\{(y_j,x_l)\}=\argmax_{k}\cos(\mathbf{e}_{y_j},\mathbf{e}_{x_k})\label{eq:y_to_x}\end{equation}式(\ref{eq:x_to_y})および(\ref{eq:y_to_x})により得られる両方向からのアラインメントの積集合を単語アラインメントの最初の集合とする．次に，アルゴリズム\ref{alg:grow_diag_final}に示すgrow-diag-finalのヒューリスティクスにより，アラインメントを行列とみなして以下の条件を満たすアラインメントを両方向のアラインメントの和集合から追加する\footnote{アルゴリズム中の集合に対するfor文は，本研究では文の先頭に近い集合の要素から処理する．}．\begin{itemize}\item縦・横・斜めのいずれかの方向に積集合のアラインメントが存在する\item積集合のアラインメントにおいてアラインされていない単語を持つ\end{itemize}\noindent得られた単語アラインメントについて，余弦類似度が$\lambda$以上のものを最終的な単語アラインメントとする．なお，grow-diag-finalにより得られる単語アラインメントは多対多となる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%algo.1\begin{algorithm}[t]\caption{grow-diag-finalによる単語アラインメント}\label{alg:grow_diag_final}\input{08algo01.tex}\end{algorithm}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{ハンガリアン法に基づくアラインメント}ハンガリアン法はコスト割当問題を最適化するアルゴリズムである．全単語対の余弦類似度から計算した行列をコスト行列とし，拡張ハンガリアン法\cite{bourgeois-1971}を用いて一対一の単語アラインメントを得る．単語対$(x_i,y_j)$のコストを以下のように設計する．\begin{equation}\label{eq:cost}\mathrm{cost}(x_i,y_j)=1-\cos(\mathbf{e}_{x_i},\mathbf{e}_{y_j})\end{equation}全単語対のコストを式(\ref{eq:cost})により求め，コスト行列$C$を得る．そしてコスト行列$C$における割当コストをハンガリアン法を用いて最小化する．\pagebreak\begin{equation}\min\sum_i\sum_jC_{i,j}Z_{i,j}\end{equation}ここで，$C_{i,j}$は$x_i$と$y_j$のコスト，$Z$は最終的な単語アラインメントの行列を表す．行$i$と列$j$が割り当てられる，すなわち単語$x_i$と$y_j$がアラインされるとき$Z_{i,j}=1$，そうでないとき$Z_{i,j}=0$となる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{フレーズ対への拡張}\label{sec:phrase_extraction}\ref{sec:word_alignment}節で得られた単語アラインメントを，対訳フレーズアラインメントのヒューリスティクスに基づいてフレーズ対へ拡張する．アルゴリズム\ref{alg:phrase_extract}にフレーズ対への拡張のアルゴリズムを示す．最初に$2$つの任意の単語アラインメントを含むようなフレーズ対を抽出し，続いてそれに隣接する単語アラインメントが存在する場合，そのアラインメントを含むようにフレーズ対を拡大させていく．アルゴリズム\ref{alg:phrase_extract}に示すように，提案手法が扱うフレーズは$1$単語から文全体までの単語$n$-gramである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%algo.2\begin{algorithm}[t]\caption{単語アラインメントからフレーズ対への拡張}\label{alg:phrase_extract}\input{08algo02.tex}\end{algorithm}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%抽出したフレーズ対に対してその対応の度合いを表すスコアを計算する．対訳フレーズアラインメントでは翻訳確率をスコアとするが，提案手法ではフレーズの分散表現に基づいてスコアを設計する．また，全てのフレーズ対のスコアを計算した後，閾値$\delta$以上のスコアを持つフレーズ対のみをフレーズアラインメントの候補として保持する．本研究では，最も簡単なフレーズの分散表現としてフレーズ内の単語分散表現の平均を用い，スコアはフレーズの分散表現間の余弦類似度を用いて計算する．単語分散表現の単純な平均を用いるとき，単語ベクトルの分布によってはフレーズを単語やより短いフレーズへ分割する方がそれぞれの余弦類似度が高くなることがある．その結果，出力されるアラインメントが単語ばかりになることがある．この問題を緩和するため，余弦類似度に加えてフレーズ長を考慮するようなスコア設計を行う．具体的には，フレーズ対($x,y$)のスコアを以下のように設計する．\begin{equation}\label{scoring}\mathrm{score}(x,y)=\cos(\mathbf{f}_{x},\mathbf{f}_{y})-\alpha\cdot\frac{1}{|x|+|y|}\end{equation}ここで，$\mathbf{f}_{x}$，$\mathbf{f}_{y}$はそれぞれフレーズ$x$，$y$中の単語の分散表現を平均したフレーズの分散表現，$|\cdot|$はフレーズ長を計算する関数，$\alpha$はフレーズ長のバイアスの重みを制御するハイパーパラメータである．$\alpha$を操作することで，長いフレーズ対とそれに包含される短いフレーズ対について相対的にスコアを制御できる．例えば，New$\leftrightarrow$NewとYork$\leftrightarrow$Yorkという二つの単語unigramフレーズ対とNewYork$\leftrightarrow$NewYorkという一つの単語bigramフレーズ対が存在するときを考える．$\alpha$を大きくすると，NewYork$\leftrightarrow$NewYorkというフレーズ対が，New$\leftrightarrow$NewとYork$\leftrightarrow$Yorkという二つのフレーズ対のスコアの平均よりも高いスコアを得られる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{矛盾のないアラインメント集合の探索}\label{sec:phrase_alignment}\ref{sec:phrase_extraction}節で得られたフレーズアラインメント候補の組み合わせの中から，\ref{sec:def_alignment}節で定義した矛盾のないフレーズアラインメント集合を探索する．\ref{sec:def_alignment}節で議論したように，最適解の探索は計算量の観点から現実的ではないため，探索空間を限定することで計算量を削減する．予備実験の結果，あるアラインメントの後ろに続くアラインメントの集合を上位$k$件に限定し，探索空間を文の左から右への方向で走査するような探索では，出力の$90\%$以上が単語アラインメントとなった．そこで，本研究では\ref{sec:phrase_extraction}節で得たフレーズ対のうちアラインメントスコアが最も高いものを含むアラインメント集合のみを探索する．このとき，探索の対象とするアラインメント集合は，矛盾がなく，かつできる限り多くのアラインメントを含むような集合とする．そして，この探索対象の集合の中から最もアラインメントスコアの高いものを選択する．最も高いスコアを持つアラインメントを確定させたときの探索空間は，予備実験の結果から計算量的に全探索が可能であったため，探索時の枝刈りは行わないものとする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[b]\begin{center}\includegraphics{28-2ia8f2.pdf}\end{center}\caption{フレーズアラインメント候補からのラティス構築}\label{fig:lattice}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提案手法は，図~\ref{fig:lattice}に示すようにラティス構造を用いた探索を行う．提案手法のフレーズアラインメントにおいては，最もスコアが高いフレーズ対のノードから開始し，矛盾のないフレーズアラインメント候補のノードを前後両方向に追加していくことでラティスを構築する．具体的には，アルゴリズム~\ref{alg:search_alignment}に示すように深さ優先探索によりラティス構造を構築しながら動的に探索する．このとき，アルゴリズム~\ref{alg:search_alignment}ではスペースの関係上省略しているが，各経路に含まれるフレーズ対のスコアの平均も動的に計算する．そして，文頭から文末までの経路の中で最も平均スコアが高い経路を最終的なフレーズアラインメントとして出力する．なお，提案手法は上記の探索方法により，互いに交差しないアラインメントのみを出力する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%algo.3\begin{algorithm}[t]\caption{矛盾のないフレーズアラインメント集合の探索}\label{alg:search_alignment}\input{08algo03.tex}\end{algorithm}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{英語での評価実験}
\label{ch:en_experiment}本章では，\pagebreak英語のフレーズアラインメントの評価のための標準的なデータセットであるMicrosoftResearchRecognizingTextualEntailment(MSRRTE)corpus\cite{brockett-2007}を用いた評価実験を行う．先行研究\cite{ouyang-2019}に従い，MSRRTEcorpusに含まれる単語アラインメントから擬似的にフレーズアラインメントの正解セットを構成する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データセットと評価指標}MSRRTEcorpusは含意関係認識の評価のために構築されたものであり，$2006$PASCALRTE$2$corpus\cite{dagan-2005,bar-haim-2006}に対して，$3$人のアノテータが文対に単語アラインメントを付与している．本データセットは開発セットとテストセットのそれぞれ$800$文対から構成される．また，付与されている単語アラインメントにはアノテータの確信度に応じてSureまたはPossibleラベルが付与されている．Sureラベルは単語対が一致する，あるいは同義語であるなどアノテータが自信のあるアラインメントであり，PossibleラベルはSureほどの自信はないがおそらく対応しているとみなしたアラインメントである．図~\ref{fig:example_rte}に示すMSRRTEcorpusの例では，meetsとmeetingの間にSureアラインメントが存在し，meetsとholdsの間およびmeetsとaの間にそれぞれPossibleアラインメントが存在する．本研究では先行研究\cite{ouyang-2019}に従い，$3$人のアノテーションに対して多数決をとることで単語アラインメントの正解セットを決定し，その単語アラインメントからフレーズアラインメントの正解セットを構成する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\begin{center}\includegraphics{28-2ia8f3.pdf}\end{center}\hangcaption{MSRRTEcorpusのアラインメントの例．Sureアラインメントは太字フォントと実線で，Possibleアラインメントは斜体フォントと破線で表している．}\label{fig:example_rte}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\citeA{ouyang-2019}はSureラベルおよびPossibleラベルが付与されたアラインメントを用いて，連続する単語アラインメントをマージすることでフレーズアラインメントを構成している．図\ref{fig:example_rte}の例では，InternationalAtomicEnergyAgencymeetsinViennaとInternationalAtomicEnergyAgencyholdsameetinginViennaの間にフレーズアラインメントが作られる．Possibleアラインメントを含めると，図\ref{fig:example_rte}の例のmeetsとholdsameetingのように，$1$単語が複数単語とアラインされる場合がある．また，フレーズの割合を大きくするために少なくとも一つ以上のPossibleアラインメントを含む文対のみに評価対象を限定し，開発セットとテストセットからそれぞれ$487$，$441$文対のみを用いて評価を行う．評価時には，単語レベルのアラインメントを用いてフレーズに関する疑似的な評価を行う．出力のフレーズアラインメントに含まれる全ての単語対間にアラインメントが存在するとし，正解の単語アラインメントに対する適合率($\mathrm{P}$)，再現率($\mathrm{R}$)，F値($\mathrm{F}_1$)を評価指標としている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実装の詳細}提案手法に用いる単語分散表現として，fastText\cite{bojanowski-2017}の学習済みモデル\footnote{wiki-news-300d-1M-subword:\url{https://fasttext.cc/docs/en/english-vectors.html}}，およびBERT\cite{devlin-2019}の学習済みモデル\footnote{bert-base-uncased:\url{https://github.com/huggingface/transformers}}の最終層を使用する．BERTを用いる場合，単語の分散表現にはサブワードのベクトルの平均を用いる．表~\ref{tab:hyper_param}に提案手法のハイパーパラメータの一覧を示す．単語アラインメントの余弦類似度の閾値$\lambda$，フレーズアラインメントスコアの閾値$\delta$はそれぞれ$[0.1,1.0)$の範囲から$0.1$刻みで，フレーズ長のバイアスの重み$\alpha$は$[0.01,0.10]$の範囲から$0.01$刻みでグリッドサーチし，MSRRTEcorpusの開発セットにおけるF値が最も高い値を選ぶ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{08table01.tex}\caption{ハイパーパラメータの一覧}\label{tab:hyper_param}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{比較手法}比較手法として，一対多の単語アラインメント手法であるJacana-token\cite{yao-2013-a}およびフレーズアラインメント手法である\citeA{ouyang-2019}を用いる．\citeA{ouyang-2019}は，最先端のフレーズアラインメント手法であり，チャンクの任意の境界で区切ったフレーズに対してLSTM言語モデルによるフレーズの表現を与え，ニューラルネットワークによりアラインメントを学習する．出力は文に近い長さの比較的長いフレーズであるという特徴がある．また，\citeA{ouyang-2019}は，叙述を抽象型要約あるいは抽出型要約した$2$文に対してフレーズアラインメントを付与したデータセット\cite{ouyang-2017}を用いてモデルを学習している\footnote{\citeA{ouyang-2019}の手法を再実装しようと試みたが，論文に書かれた手法およびデータの前処理についての説明に不明な点が多く，再現は困難であった．また，著者への連絡も試みたが手法についての回答は得られなかった．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{結果}表~\ref{tab:RTE_eval2}にテストセットにおける評価の結果を示す．\pagebreak比較手法の評価値のうち，\citeA{ouyang-2019}については論文で報告されているものを使用している．先行研究に倣った評価では，単語レベルの適合率および再現率を計算しているため，単語アラインメント手法であるJacana-tokenでは過剰に高い適合率が得られている．提案手法は\citeA{ouyang-2019}よりも$5.9$ポイント高いF値を獲得しており，特に適合率を大きく改善している．一方\citeA{ouyang-2019}は文に近い長さの長いフレーズをアラインするため，再現率は最も高いが，適合率が低い結果となった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{08table02.tex}\caption{\protect\citeA{ouyang-2019}の設定での実験結果}\label{tab:RTE_eval2}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{08table03.tex}\caption{MSRRTE2の開発セットでグリッドサーチして設定した提案手法のハイパーパラメータ}\label{tab:RTE_hyper_params}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%グリッドサーチにより設定された提案手法のハイパーパラメータの値を表~\ref{tab:RTE_hyper_params}に示す．単語アラインメント候補の閾値$\lambda$およびフレーズアラインメント候補の閾値$\delta$はどちらも全体的に高い値に設定されており，類似している単語対およびフレーズ対のみが探索に用いられていることが分かる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[b]\begin{center}\includegraphics{28-2ia8f4.pdf}\end{center}\hangcaption{MSRRTEのテストセットにおいて提案手法が抽出する全てのフレーズ対および\protect\citeA{ouyang-2019}の正解セットに含まれるフレーズ対の余弦類似度のヒストグラム．ただし，提案手法の単語アラインメントにはgrow-diag-finalを用いている．}\label{fig:phrase_scores}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{考察}提案手法は，単語分散表現としてBERTを用いたときよりもfastTextを用いたときの性能の方が全体的に高くなっている．これは，文脈を考慮した単語分散表現の副作用\cite{ethayarajh-2019}により，意味的に類似した文対内の単語やフレーズの表現が静的な単語分散表現を用いるときよりも類似したものになり，適切なフレーズ対の選択がより難しくなっているためと考えられる．MSRRTEcorpusは含意関係認識のために構築されており，含まれる文対のほとんどは意味的に類似していると言える．図\ref{fig:phrase_scores}に，アルゴリズム\ref{alg:phrase_extract}により抽出される全てのフレーズアラインメント候補および\citeA{ouyang-2019}の正解セットに含まれるフレーズ対のアラインメントスコアの分布を示す．ここで，$\alpha=0.0$とするときのアラインメントスコア，すなわち余弦類似度を示している．BERTを用いる場合，正解セットに含まれるフレーズ対のスコアの分布がfastTextに比べフラットになっており，単純な閾値での判別が適切に機能していないと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{出力例とエラー分析}表\ref{tab:RTE_eval_stas}に提案手法の出力に関する統計を示す．\pagebreakここから，提案手法は\citeA{ouyang-2019}よりも高い適合率を達成しつつも，フレーズアラインメントを出力できていることが分かる．また，使用する単語分散表現について，BERTを用いた場合の方が$4$単語以上の長いフレーズアラインメントの割合が大きくなっている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{08table04.tex}\caption{提案手法の出力の統計}\label{tab:RTE_eval_stas}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[b]\begin{center}\includegraphics{28-2ia8f5.pdf}\end{center}\caption{フレーズアラインメントの例$1$}\label{fig:ex.rte1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.6\begin{figure}[b]\begin{center}\includegraphics{28-2ia8f6.pdf}\end{center}\caption{フレーズアラインメントの例$2$}\label{fig:ex.rte2}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.7\begin{figure}[t]\begin{center}\includegraphics{28-2ia8f7.pdf}\end{center}\caption{フレーズアラインメントの例$3$}\label{fig:ex.rte3}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図~\ref{fig:ex.rte1}〜\ref{fig:ex.rte3}に\citeA{ouyang-2019}の設定における正解のアラインメントと提案手法の出力を示す．ただし，提案手法は単語分散表現にfastText，単語アラインメントにgrow-diag-finalを用いた場合である．図~\ref{fig:ex.rte1}では正解のアラインメントのうち，Sureアラインメントは適切にアラインできている．正解のアラインメントでは，'sPrimeMinisterとEastTimorの間にPossibleアラインメントが存在するが，提案手法ではアラインできていない．提案手法が抽出した全てのフレーズアラインメント候補には，EastTimor'sPrimeMinistersaysheexpectsとEastTimorexpectsのような，余弦類似度が大きい$2$つのフレーズ対によって内包されるフレーズアラインメント候補は含まれていた．しかし，閾値に基づいてアラインメント候補を限定しており，本実験でグリッドサーチにより設定した閾値では採用されなかった．図~\ref{fig:ex.rte2}でも図~\ref{fig:ex.rte1}と同様に，Sureアラインメントを適切にアラインできている一方で，Possibleアラインメントはアラインできていない．operatedとwasthemanagerofのフレーズ対について，本実験で使用した単語分散表現の単純な平均をフレーズの表現とするとき，二つのベクトルの余弦類似度は約$0.5$であり，比較的に類似したフレーズであると言える．提案手法のハイパーパラメータの決め方によってはアラインできる可能性はあるが，本実験のグリッドサーチで設定されたハイパーパラメータでは，このフレーズ対はフレーズアラインメントの候補にはならなかった．図~\ref{fig:ex.rte3}では，Sureアラインメントであるattack,explosiveとwasbombedをアラインできていない．提案手法は，アラインメントが存在するフレーズの順序が前後しているような文対を与えられたとき，それらを全て内包するような長いフレーズをアラインすることはできるが，それぞれを別々にアラインすることはできないため，この例のような結果となったと言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{日本語での分析}
\label{ch:experiment_ja}日本語の単一言語内フレーズアラインメントのためのデータセットはないため，本研究では人手でデータセットを構築し，提案手法の効果を検証する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データセットと評価指標}\label{sec:dataset_ja}首都大言い換えコーパス\cite{suzuki-2017}から無作為に抽出した$100$文対に対して，第一著者が形態素単位のアラインメントをアノテーションしたデータセットを構築する．アノテーションは，単語アラインメント用のアノテーションツールであるGoldAlign\footnote{\url{https://github.com/ajdagokcen/goldalign-repo}}を用いて行う．本データセットでは，文対間の単語の重複率が高いため，\citeA{ouyang-2019}の正解フレーズアラインメント構成方法では文単位のアラインメントが構成されてしまう．そこで，チャンキングにより疑似的にフレーズアラインメントを構成する．具体的には，文対中の任意のチャンク対のうち，含まれる単語全てが一対一にアラインされているものをフレーズアラインメントとする．チャンキングにはCaboCha\footnote{\url{https://taku910.github.io/cabocha/}}を用いており，フレーズアラインメントの単位は文節となっている．構成したフレーズアラインメントに含まれるフレーズの形態素数の平均は$2.2\pm1.08$である．英語の実験における\citeA{ouyang-2019}の評価方法と同様に，単語アラインメントの適合率($\mathrm{P}$)，再現率($\mathrm{R}$)，F値($\mathrm{F}_1$)を評価する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実装の詳細}提案手法に用いる単語分散表現として，fastTextの学習済みモデル\footnote{cc.ja.300:\url{https://fasttext.cc/docs/en/crawl-vectors}}を使用する．また，提案手法のハイパーパラメータは，単語アラインメントの余弦類似度の閾値$\lambda$，フレーズアラインメントスコアの閾値$\delta$はそれぞれ$[0.1,1.0)$の範囲から$0.1$刻みで，フレーズ長のバイアスの重み$\alpha$は$[0.01,0.10]$の範囲から$0.01$刻みでグリッドサーチする．$5$分割交差検証を行い，各分割において訓練データでの完全一致率が最大となるようなハイパーパラメータをそれぞれ選ぶ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ベースライン}\label{sec:baseline_ja}本章では，日本語においても簡単に実装できるベースラインとして，文字列完全マッチによるフレーズアラインメント手法を用いる．ただし，形態素単位の評価を可能とするために文字単位での完全マッチではなく，形態素単位の完全マッチによるアラインメントを出力する方法とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{結果}表~\ref{tab:tmup_eval}に$5$分割交差検証での平均の結果を示す．提案手法は完全一致率で$16.1\%$，F値で$49.4\%$を達成した．単語アラインメントを得る手法について，grow-diag-finalを用いた場合の方が再現率以外は高くなっている．ただし，どちらの手法を用いても適合率が低く，再現率が高くなっている．ここから，正解セットのアラインメントに含まれるフレーズと比較して，提案手法の出力に含まれるフレーズは長い傾向があると言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{08table05.tex}\caption{日本語のデータセットでの提案手法の結果}\label{tab:tmup_eval}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.8\begin{figure}[b]\begin{center}\includegraphics{28-2ia8f8.pdf}\end{center}\caption{フレーズアラインメントの例$1$．アラインメントは色および下線の種類の対応で表している．}\label{fig:ex.ja1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.9\begin{figure}[t]\begin{center}\includegraphics{28-2ia8f9.pdf}\end{center}\caption{フレーズアラインメントの例$2$．アラインメントは色および下線の種類の対応で表している．}\label{fig:ex.ja2}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{出力例とエラー分析}図~\ref{fig:ex.ja1}および図\ref{fig:ex.ja2}に提案手法の出力を示す．ただし，単語アラインメントの手法にgrow-diag-finalを用いた場合である．図\ref{fig:ex.ja1}では，提案手法は正解のアラインメントに対してフレーズの境界に違いはあるものの概ね適切にアラインできていると言える．提案手法の出力は単語$n$-gramのフレーズであるため，文節ごとのアラインメントにはなっていない．また，図\ref{fig:ex.ja2}では提案手法は単語が完全に一致している長いフレーズをアラインしており，文節ごとにアラインされるようなフレーズアラインメントを出力できていない．提案手法では，単語の一致率が高い文対が与えられたとき，図\ref{fig:ex.ja2}の例のように適切にアラインメントを出力できない傾向がある．これは，提案手法のフレーズアラインメントのスコアは，長いフレーズで高くなるようにバイアスが加えられているからである．図\ref{fig:plot_ja}に文対ごとの単語の一致率（Jaccard係数）と提案手法の適合率，再現率，F値についての散布図を示す．また，表\ref{tab:corrcoef_plot}に図\ref{fig:plot_ja}におけるJaccard係数とそれぞれの評価値の相関係数を示す．grow-diag-finalとハンガリアン法を用いたどちらの場合も，適合率について強い負の相関があり，再現率について強い相関がある．ここから，単語の一致率が大きいと提案手法はより長いフレーズをアラインしようとするため，単語レベルの適合率が下がり再現率が上がる傾向があると言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.10\begin{figure}[t]\begin{center}\includegraphics{28-2ia8f10.pdf}\end{center}\caption{文対ごとの単語の一致率（Jaccard係数）と提案手法の適合率，再現率，F値}\label{fig:plot_ja}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[t]\input{08table06.tex}\caption{図\ref{fig:plot_ja}における相関係数}\label{tab:corrcoef_plot}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{ch:conclusion}本研究では，単語分散表現に基づくシンプルな単一言語内フレーズアラインメント手法を提案した．英語のアラインメントデータセットを用いた評価実験では，先行研究に従って構成した正解セットにおいて，フレーズアラインメントの比較手法を上回るF値を達成した．また，人手で単語アラインメントを付与した日本語での分析では，提案手法が容易に英語以外の言語へ適用できることを確認した．エラー分析において，提案手法の出力の傾向を明らかにし，改善すべき課題を確認した．今後は，フレーズ表現を高精度に構成できるような単語分散表現を用いることで，より精度の高いフレーズアラインメントを得るように提案手法を拡張したい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment大変有益な助言をいただいた査読者の皆様に感謝の意を表す．本研究は，JST（ACT-I，課題番号：JPMJPR16U2）およびMicrosoftResearchAsiaの支援を受けたものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{08refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{吉仲真人}{%2020年大阪大学工学部電子情報工学科卒業．同年同大学大学院情報科学研究科マルチメディア工学専攻に進学，現在に至る．自然言語処理の研究に従事．}\bioauthor{梶原智之}{%愛媛大学大学院理工学研究科助教．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．大阪大学データビリティフロンティア機構の特任助教を経て，2021年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}\bioauthor{荒瀬由紀}{%2006年大阪大学工学部電子情報エネルギー工学科卒業．2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，北京のMicrosoftResearchAsiaに入社，自然言語処理に関する研究開発に従事．2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る．言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}