# 単語分割の最適化に関する研究は雑談と偶然の出会いに育まれた

平岡 達也 $\dagger$
## 1 はじめに

本稿では言語処理学会の 2021 年度最優秀論文賞を受賞した「テキストベクトルの重みづけを用いたタスクに対する単語分割の最適化」(平岡他 2021) の概要と研究の過程を紹介する. 本研究は, 著者が奈良先端科学技術大学院大学 (NAIST) での修士課程時代に, 研究室内での雑談を通して着想したものである。当時の著者には力不足であり成し遂げられなかったアイデイアであったが，博士課程でデンソーIT ラボラトリとの共同研究を通してこれを結実させることができた，本研究の遂行において共同研究は必要不可欠であったが，この共同研究は本研究とは異なる研究に対して始まったものであった. このように，本研究は多くの雑談や偶然の出会いを土台として結実したものである。本稿を通して，研究における雑談や対外発表による思わぬ出会いの重要性が伝わり，似た境遇に在るどなたかの研究遂行の参考になれば幸いである.

## 2 本研究の概要

本研究では，自然言語処理において単語分割処理が抱える問題の解決を目指している，単語分割は，「外国人参政権」というテキストを「外国人/参政／権」のような単語の系列へ変換する処理である ${ }^{1}$. 感情分類などの後段タスクを解く際には，テキストに単語分割処理を施し，単語の系列を後段モデルに入力する場合が多い（図 $1 a^{2}$ )，単語分割処理は後段モデルへの入力となる系列の単位を決定する処理であるため，異なる単語分割処理を用いると異なる後段モデルの性能が得られる，そのため，適切な単語分割を用いることができれば，後段モデルの性能向上に繋がると期待される。しかし，こうした適切な単語分割は後段タスクや後段モデルの構造に強く依存しているため，適切な単語分割を求めることは難しい。

理想的には, 可能なすべての単語分割を用いて後段モデルを学習し，それぞれの検証データでの性能を確かめることで適切な単語分割を多り出す全探索的な方法が考えられる。 しかし, 可能な単語分割の候補は文の長さ（文字数） $N$ に対して $2^{N-1}$ 個となるため，この全てについて


(a) 従来の不可逆な単語分割

(b) 後段タスクへの単語分割の最適化

図 1 従来の不可逆な単語分割と, 本研究による単語分割の最適化の概要.

探索を行うことは現実的ではない。そこで，後段モデルからのフィードバックを用いて単語分割器を更新する方法を考える。これは，単語分割を後段タスクや後段モデルから独立した前処理として扱う一般的な自然言語処理のシステムからは乘離した発想である. 前処理としての単語分割という扱いをやめ, 後段の処理の情報を用いて単語分割を選択することができれば, さらなる性能向上が得られるかもしれない.

後段の処理からのフィードバックを用いて単語分割器を更新する方法も一筋縄では行かない. ニューラルネットワークを用いた後段モデルは連続的な処理であるのに対し, 単語分割は離散的なテキストを取り扱う処理である。そのため，単純に単語分割処理と後段モデルの処理を連結して，単語分割を後段モデルに対して最適化することは難しい.

本研究では, 単語分割器と後段モデルに工夫を加えることで, 後段モデルからのフィードバックを用いて単語分割器を最適化する手法を提案する（図 $1 b$ ) . 具体的には, 単語分割器をニュー ラルネットワークによるユニグラム言語モデルで構築し, 後段モデル内部のテキストベクトルに単語分割の確率をかけ合わせることで，単語分割器と後段モデルを接続する手法を提案した. これにより，後段モデルを学習する際の損失値に対する誤差逆伝播が，単語分割器を構成するユニグラム言語モデルへと伝わり, 後段モデルと単語分割器の同時学習が実現される.

実験を通して，本手法が日本語・中国語・英語の 3 言語による複数の文書分類のタスクで性能向上に寄与する事を示した，更に，単語分割の更新だけでも性能の向上が得られることや，本手法がタスクに応じて異なる単語分割を獲得していることを示した.

## 3 本研究の過程

## 3.1 ベースとなるアイディアは NAIST で育まれた

単語分割を後段タスクや後段モデルに応じて最適化したいという発想は，著者がNAIST の修士課程在学中に研究室内で雑談をする中で生まれた. 当時の松本研究室では, 特定曜日の 19 時頃から一部の学生がゼミ室に集まって勉強会を開く文化があり, 勉強会終了後も 0 時頃までだらだらとゼミ室で雑談に耽ることが多かった。，それぞれが研究で困っていることを相談したり, 東京で一番家貸が高い賃貸物件を探してみたりと, この雑談には真面目な内容からどうしようもない遊びまで，様々な内容が含まれていた，そうした雑談の中で，ふと「単語分割を最適化できたら面白いのでは」と思いつき，勉強会の参加者とともにホワイトボードに落書きをしながらイメージを具体化していった．その後，学振DC1 の申請書を作成するために，同期の学生とピア・エデイティングを行う中で本アイディアを更に者詰めていった3.

当初は単語分散表現に対して注意機構で単語分割を学習するという発想で, Segmental Neural Language Model (Kawakami et al. 2017) などに近い仕組みを模索していた. このアイディアについては, NAIST の同期であった和田崇史氏との雑談の中で具体化し, 和田氏の NMT の実験に組み込んでもらう形で検証を行った，結局，当時の方法では良い結果が得られず，打開策も見つからなかったため, 本研究は没ネ夕として研究ノートの隅に眠ることになった. その後,著者は本研究にはほとんど手を付けず，別の研究テーマで修論を書きNAISTを修了した

## 3.2 偶然の出会いと雑談に育まれた

博士課程で東京工業大学の岡崎研究室に入学し, 指導教員の岡崎直観教授と高瀨翔氏と共に最初に取り組しだ研究テーマは, 本研究ではなく教師なしPOS夕グ付けに関する研究 (Hiraoka et al. 2021) であった. 単語分割の最適化に関する研究テーマがうまくいかず, 場繋ぎ的に取り組んだ研究であったというのが正直なところであるが，これが思いもよら女幸運を呼んだ. 2019 年の NLP 若手の会 (YANS) 第 14 回シンポジウムにて, この教師なしPOS タグ付けに関する研究を発表したところ, デンソーIT ラボラトリの内海慶氏と欅惊志氏に興味を持っていたたいた. シンポジウムの後に詳しく研究の相談をさせていただき，その後も欅氏に継続的なミー ティングの場を作っていただいたことで，そのままスムーズに共同研究へと繋がった4.

教師なしPOS タグ付けの研究が一段落ついたタイミングで，著者が元来持っていた本研究についてのアイデイアをお二人にお話したところ，こちらにも興味を持っていただき，それ以降は単語分割に関する共同研究に取り組むことになった．特に内海氏は，教師なし形態素解析に
$ は三振に終わった.

4 オンライン開催のシンポジウムでのこうした「偶然の出会い」は, オフラインに比べるとやや難しく, 今となっては珍しいものになってしまったかもしれない．Zoom のブレイクアウトルームを活用した「出会い」に重点を置いた近年の施策 (高瀬 2021) から，このような良い縁が沢山生まれることを願っている.
}
関する研究 (Uchiumi et al. 2015) に詳しく, 氏とともに本研究を進められたことは大変な幸運であった。デンソーIT ラボラトリのお二方には, 二週間に一度の定期的なミーティングで研究の方針や実験結果の解釈についてコメントを頂き，研究の堅実な進渉へと繋がった.

研究方針の軽微な軌道修正は，高瀬氏との日々の雑談によってももたらされた。この雑談も NAIST 時代のものと同様に, 研究の内容に関するものもあれば, 自宅周辺の治安が悪くて引っ越したいといった愚痴を聞いていただく事もあるなど，内容は多岐にわたった。しかし，こj した雑談の中でふと出た一言が, 研究内容を豊かにしてくれる場合がある. 例えば本研究では,単語分割の最適化のために用いる言語モデルが，ある程度言語モデルとしての性質を保つような損失関数を用いている（平岡他 (2021)の 2.5 節を参照)。これは, 高瀬氏と言語モデルの研究動向についてざっくばらんに雑談していたときに思いついて追加したものである.

偶然の出会いによる研究内容の洗練という点では, 本学会誌に投稿した際の査読コメントも忘れられない．本研究に対する査読では，内容を深く理解していただいた上で，とても丁寧かつ詳細なコメントを頂いた．著者にとっては国内の論文誌に投稿した初めての経験であり，国際会議論文の査読のような「落とすための査読コメント」に慣れてしまっていた中で，本研究に対して頂いた丁寧で有益なコメントには感動せずにいられなかった. 投稿版ではカバーできていなかった先行研究に基づく本研究の位置付けや, 本研究で導入した制約の副次的な効果について鋭い意見を頂き，原稿の改善たけではなく，研究の捉え方自体の洗練にも繋がった.

## 3.3 Findings への採択と葛藤

原論文の一部は Findings of EMNLP 2020 に採択されている (Hiraoka et al. 2020). EMNLP 2020 は ACL 系列の国際会議に Findings という枠が初めて設定された会議であった. 投稿論文に対するスコアは $3.5 ， 3 ， 4.5$ で，経験上ボーダーラインよりもやや上であり，本会議採択を期待させる点数であった。 そのため, Findings 枠での採択は悔しい結果であり, 再投稿して本会議を狙うという選択肢も考えられた。しかし，著者は博士課程学生という時間制限付きの身分であり，本研究を博士論文の一部として使用するためには，再投稿という時間のかかる選択はできなかった。国際会議で悔しい思いをしているだけに，今回のような論文賞という形で日本の NLPコミュニティに評価していただけたことは，非常に感慨深いものがある．

## 4 おわりに

単語分割の最適化は，誰もがその課題に気づいていながら，なかなか手を付けられずにいたテーマだと考えている。本研究は，単語分割の最適化を行うための一つのアイディアを提示したにすぎず，性能向上や安定化，高速化など改善の余地は大いにある．第 28 回年次大会での招待発表以降, ありがたいことに本研究について何件かの問い合わせを頂いた。本研究に興味を
持っていたたいた方々にも，本研究を足がかりに単語分割の最適化というテーマに取り組んでいただければ幸いである。またその際には，雑談や偶然の出会いが本研究を育んたという経緯を心に留めておくと, 研究遂行の一助となるかもしれない.

## 謝 辞

本稿の執筆にあたり，原論文の共著のみなさまに有益なコメントを頂きました．また，岡崎研究室の丹羽彩奈さんにも推敲を手伝っていただきました.

## 参考文献

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2020). "Optimizing Word Segmentation for Downstream Task." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online. Association for Computational Linguistics.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2021). "Recurrent Neural Hidden Markov Model for High-order Transition." Transactions on Asian and Low-Resource Language Information Processing, 21 (2), pp. 1-15.

平岡達也, 高瀬翔, 内海慶, 欅惇志, 岡崎直観 (2021). テキストベクトルの重みづけを用いたタスクに対する単語分割の最適化. 自然言語処理, 28 (2), pp. 479-507. [T. Hiraoka et al. (2021). Optimizing Word Segmentation for Downstream Tasks by Weighting Text Vector. Journal of Natural Language Processing, 28(2), pp. 479-507.].

Kawakami, K., Dyer, C., and Blunsom, P. (2017). "Learning to Create and Reuse Words in OpenVocabulary Neural Language Modeling." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1492-1502.高瀬翔 (2021). NLP 若手の会 (YANS) 第 16 回シンポジウムーオンライン開催における施策について一. 自然言語処理, 28 (4), pp. 1307-1311. [S. Takase (2021). Report on the 16th Symposiums of Young Researcher Association for NLP Studies. Journal of Natural Language Processing, 28(4), pp. 1307-1311.].

Uchiumi, K., Tsukahara, H., and Mochihashi, D. (2015). "Inducing Word and Part-of-Speech with Pitman-Yor Hidden Semi-Markov Models." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1774-1782, Beijing, China. Association for Computational Linguistics.

## 略歴

平岡達也：2017 年早稲田大学教育学部卒業. 2019 年奈良先端科学技術大学院大学情報科学研究科修了. 2022 年東京工業大学情報理工学院修了, 博士（工学). 同年より富士通株式会社にて研究員. 言語処理学会会員.