言語モデルを用いた漢文の返り点付与と書き下し文生成

漢文は弥生時代[1]に中国から日本に伝えられた．そして奈良時代[2]から日本語の文章として読めるよう，漢文の語順構成を維持しながら訓点を付ける漢文訓読と，日本語の文体として書き直した漢文訓読文(または書き下し文)が発明された．漢文は『万葉集』[3]や『源氏物語』[4,5]など，多くの日本文学作品に影響を与えた．今でも漢文は大学入学共通テストの国語において200点の内50点を占めており，漢文が日本文化に及ぼしている影響の大きさを示している．中国語と日本語は共通の漢字を多く持つが，日本人にとって漢文を読むことは容易ではない．中国語，そして漢文の語順は，英語と同じSVO(主語-動詞-目的語)である一方，日本語の語順はSOV(主語-目的語-動詞)である．そして，中国語は孤立語であり，時制や格などによって語の形は変化しない．一方，日本語は膠着語であり，接頭辞や接尾辞のような形態素がその語の文法関係を示している．漢文をSVOからSOVに，孤立語から膠着語に変換するために，日本人は句読点，返り点，送り仮名などからなる漢文訓読システム[6]を開発した．読み順(数字は白文中の順位を表している)，書き下し文の3つ組から構成される．白文日本語読み順書き下し文春眠不覚暁12543春眠暁を覚えず処処聞啼鳥12453処処啼鳥を聞く夜来風雨声12345夜来風雨の声花落知多少12345花落つること知んぬ多少ぞ中国には豊富な漢文の言語資源があるが，日本におけるそれらの書き下し文データは極めて少ない．例えば，『全唐詩』には48,900首以上の唐詩が収録されており，その全てにオンラインでアクセス可能である．しかし，我々の知る限りでは，日本では約500首の唐詩の書き下し文データしかインターネット上に存在しない．この大きなギャップは，日本における漢文研究及び漢文教育の阻害要因となっている．『漢文大系』などの書籍の中に書き下し文のデータは多く存在するが，それらにOCRを適用し，データを整形するには膨大なコストがかかる．そのため，高性能な書き下し文生成器を構築することが書き下し文資源の不足を解消する最も効率的な方法と考えられる．従来の研究[7,8,9,10,11]では，返り点付与と書き下し文生成を含む一連の漢文に関する言語処理の手法が提案された．しかし，ルールベースであり性能が不十分である上，これらの研究ではデータセットを作っておらず，定量的評価を行っていない．本研究では，世界初の白文1）-書き下し文ペアからなる漢文訓読データセットを構築する(表1)．これを基に，言語モデルを用い，返り点付与器と書き下し文生成器を構築し，両タスクにおいて定量評価を行う．そして，書き下し文の生成結果に対し，人手評価の結果と比較することで，最も適切な自動評価指標について議論する．さらに，パイプラインを構築し，白文の事前ソート(返り点付与)が書き下し文生成に貢献するかどうかを検証する．1）句読点，返り点，送り仮名が付いていない漢文のこと．.Split詩の数文の数文字数Train3722,73116,411Validation463202,038Test473702,254