JParaCrawlからの大規模日本語言い換え辞書の構築

言い換えは情報検索[1]や機械翻訳[2]など，多くの自然言語処理タスクの性能改善に貢献する．近年では，単語や文の表現学習[3–5]やマスク言語モデルの事前訓練[6]やファインチューニング[7]，語彙平易化[8–10]などに言い換え辞書（PPDB:ParaphraseDatabase）[11–13]が用いられている．PPDBなどの大規模な言い換え知識獲得には，BilingualPivoting[14]と呼ばれる対訳コーパス上での単語アライメントの手法が用いられる．これは，対応付けられる対象言語の語句同士（執筆者-著者）を言い換えと見なす，言い換え知識獲得の手法のひとつである．そのため，BilingualPivotingによって獲得できる言い換え表現の多様性は，対訳コーパスの規模に依存する．既存の日本語PPDB[15]は，合計約200万文対の日英対訳コーパスからBilingualPivotingによって約1,500万件の言い換え対を収集している．しかし，3.1節で示すように，既存の日本語PPDBでは実世界の言い換えの約18%しか網羅できず，言い換え辞書の規模に課題が残っている．①対訳コーパスあの論文の執筆者を尊敬しています。Irespectanauthorofthatpaper.・・・私の友人はこの書籍の著者です。Myfriendistheauthorofthisbook.③言い換えの抽出②単語アライメント執筆者…論文の執筆者…。authorIrespectanauthor….著者…istheauthor….著者執筆者…書籍の著者…。本研究では，2,000万文対を超える最大規模の日英対訳コーパスであるJParaCrawl[16,17]に対してBilingualPivotingを適用し，より大規模な約3.8億件の言い換え対からなる日本語PPDBを構築および公開1）する．言い換え辞書の品質評価の結果，再現率に関する自動評価および適合率に関する人手評価の両方で，既存の日本語PPDB[15]を上回り，大規模かつ高品質な言い換え辞書を構築できたことを確認した．さらに，文類似度推定に関する外的評価においても，既存の日本語PPDBを用いるよりも高い性能を達成し，我々の辞書の有用性を確認できた．