jh231002

単語間に区切りのない書写言語における係り受け解析エンジンの開発
安岡孝一（京都大学人文科学研究所附属人文情報学創新センター）

概要

BERT・RoBERTa・DeBERTa などの言語モデルにおいては、テキストをトークンに区切って学習をおこなう必要があり、欧米諸語においては、空白で区切られた単語をトークンとみなすようなトークナイザが用いられる。しかし、日本語・中国語・タイ語など、単語の間に区切りがない書写言語においては、空白によるトークナイザを用いることができない。
本研究では、単語の間に区切りのない書写言語に対し、係り受け解析エンジンの解析精度を指標として、各言語に対する Unigram トークナイザと、それを用いた RoBERTa・DeBERTa モデルの開発をおこなっている。タイ語モデルについては、タイ文字クラスターと矛盾しないよう工夫しつつ、最大トークン長を 4 文字程度にした方が、解析精度が高くなることがわかった。アイヌ語モデルについては、カタカナ・キリル文字をローマ字に変換した上で、最大トークン長を 8 文字程度にした方が、解析精度が高くなることがわかった。

1鈴木慎吾：コーパス校訂共同研究に関する情報

2 研究の目的と意義

1.1 共同研究を実施した拠点名• mdx

日本語・中国語・タイ語など、単語の間に区切りのない書写言語に対し、形態素解析 (単語1.2 課題分野切りと品詞付与) および係り受け解析をおこな• データ科学・データ利活用課題分野

うシステムを開発する。

1.3 共同研究分野 (HPCI 資源利用課題のみ)

現代の自然言語処理においては、巨大なテ

1.4 参加研究者の役割分担

キストコーパスをもとに BERT・RoBERTa・

安岡孝一：研究統括

DeBERTa などの言語モデルを学習させる、とい山崎直樹：文法構築

う手法が、解析精度の向上に寄与する。BERT・

二階堂善弘：コーパス校訂

RoBERTa・DeBERTa などの言語モデルにおい

師茂樹：デジタル処理ては、テキストをトークンに区切って学習をおChristian Wittern：コーパス校訂

こなう必要があり、欧米諸語においては、単語池田巧：文法構築をトークンとみなして区切るようなトークナイ

守岡知彦：デジタル処理

ザが用いられる。これは、単語の間に空白があ1

るような欧米諸語においては、ある意味、自然3 当拠点公募型研究として実施したな手法だと考えられる。しかし、日本語・中国

意義語・タイ語など、単語の間に区切りがない書写

本研究は、日本語・中国語・タイ語などの巨言語においては、空白によるトークナイザを用大なテキストコーパスに対し、GPU を長時間いることができない。
我々の研究グループは、多言語係り受け解稼働して言語モデルの学習をおこなう必要があ析システム esupar [6] を開発中である。esuparる。本拠点の mdx は、GPU を 24 時間 365 日

は、古典中国語 (漢文) の解析に際し、漢字 1 文稼働し続けることのできる環境であり、本研究

字 1 文字をトークンとみなすような言語モデを飛躍的に進めることが可能となっている。

ルを用いている。この単文字トークナイザが、4 前年度までに得られた研究成果の古典中国語の文法解析において最適であるこ

概要とは、2022 年度の jh221007 において明らかにできた。一方、日本語の解析に際しては、国立

古典中国語に対しては、漢字 1 文字 1 文字を国語研究所の UniDic をトークナイザに流用しトークンとみなすようなトークナイザが、文法ており、国語研短単位をトークンとみなすよう解析においても有効に機能することが明らかとな言語モデルを用いている。しかし、このトーなっている。

クナイザが、近代日本語の文法解析において日本語に対しては、字種 (漢字・ひらがな・カ最適なのかどうか、我々としては確信を得ていタカナ) によってトークン幅を変える必要があない。

る、ということまでは明らかになってきている
ものの、どのようなトークナイザが最適なのか

我々としては、一からトークナイザを設計すは、まだ不明である。

るやり方で、文法解析に最適な言語モデルを構築したい。しかし、言語モデルの構築には、5 今年度の研究成果の詳細GPU を長時間稼働して巨大テキストコーパスの学習をおこなう必要があり、しかもトークナ

日本語向けトークナイザの設計は、正直なとイザを変更するごとに一から学習をおこなわなころ、なかなかうまく進んでいない。漢字・ひければならない。

らがな・カタカナが混在する日本語においては、本研究課題では、そのようなトークナイザを字種それぞれにパラメータが違うだろうと予想設計するとともに、それを用いた形態素解析・していたものの、特にひらがなの動きが複雑係り受け解析をおこなうシステムを開発する。

で、漢字の直後にある場合でも、それが名詞に今年度は、日本語 (国語研長単位) の係り受け解つく助詞なのか、動詞や形容詞に含まれる活用析モデルにおけるトークナイザを、何とか最適語尾なのかによって、「切れ目」の位置が変わっ化したい。また、アイヌ語・韓国語・ベトナムてくる。しかも現代日本語と近代日本語で、活語のような、空白と単語の区切りが一致しない用語尾の形式が異なる。現代仮名遣いと歴史的書写言語についても、良いトークナイザと係り仮名遣いの差のみならず、活用語尾そのものが受け解析エンジンの開発に着手したい。

違う上に、音便も異なっている。さらに上代日
本語では、ひらがなが発明されておらず、全てが漢字で書かれている [1] 上に、音節の種類数2が近代日本語より多い。上代日本語での活用形語のうち、古典中国語由来の 2 音節語に対し式が、近代日本語へと圧縮された上で、現代日て、空白をまたいでトークンを作成する手法を本語へと引き継がれるはずなのだが、トークナ開発 [2] し、ベトナム語係り受け解析モデル

イザの設計という局面においては、そう簡単な

https://huggingface.co/KoichiYasuoka/

話では無いということである。

phobert-base-vietnamese-ud-goeswith とタイ語トークナイザについては、Unigramして公開した。ただし、3 音節以上の単語をトークナイザの最大文字長を 4 文字 (母音や声どう扱うかについては、まだ手探りの状態で調記号を 1 文字に数える) に限定する、というある。

あたりが、孤立語であるタイ語の係り受け解6 今年度の進捗状況と今後の展望

析に有効である [2]。ただし、最大 4 文字なら何でもいいというわけではなく、タイ文字クラ

タイ語トークナイザについては、ほぼ期待しスター (คลัสเตอร์อักษรไทย) と矛盾しないよ

た成果が得られたと言える。アイヌ語トークう、トークンの取捨選択をおこなう ([8] 図 70)

ナイザについては、もう少しチューニングの必必要があった。このような形で作成したタイ語要があるとは思われるものの、だいたいの方向トークナイザを用いて、タイ語 DeBERTa モデ性は見えている。日本語トークナイザに関してルを製作し、esupar のタイ語係り受け解析モ

は、まだまだ期待した成果は得られておらず、ジュールとして公開した。

今後も研究を継続したい。できれば、現代中国

アイヌ語トークナイザについては、カタカナ語や韓国語にも着手したいが、道程は長そうでの途中に語境界が来る場合を、どう処理するかある。

が問題となった。たとえば「オカヤン」は「オGPT・LLaMA などの言語生成モデルにおけカイ」「アン」がアンシェヌマンを起こしているトークナイザについても、我々としては気に「コトマン」は「コトㇺ」「アン」る例 [4] だし、なるところである。ただ、言語生成モデルにおである [7]。この問題を解決すべく、カタカナ・けるトークナイザの性能を、どういう指標で測キリル文字をローマ字に変換するモジュールをるべきなのかについては、現時点の我々も五里

esupar に実装した。さらに変換後のローマ字に霧中である。

おいて、Unigram トークナイザの最大文字長を7 研究業績一覧（発表予定も含む）

8 文字に限定する、という手法 ([8] 図 171) で、アイヌ語トークナイザを設計した。このような学術論文 （査読あり）

形で作成したアイヌ語トークナイザを用いて、[1] 安岡孝一, ウィッテルン クリスティアン,アイヌ語 RoBERTa モデルを製作し、esupar の池田巧, 藤田一乘, 山崎直樹, 二階堂善弘,アイヌ語係り受け解析モジュールとして公開

鈴木慎吾, 守岡知彦, 師茂樹: 『日本書紀』した。

Universal Dependencies への挑戦, 人文科

また、これらのトークナイザ技術を、ベト学とコンピュータシンポジウム「じんもんナム語に (いわば逆方向に) 援用した。ベトナ

こん 2023」論文集 (2023 年 12 月), pp.169-

ム語の空白は、単語の区切りではなく音節の176.

区切りであり、したがって、2 音節以上の単語は語中に空白を含む。これら空白を含む単3

（査読あり）

BERT/RoBERTa/DeBERTa モ デ ル に よ る

Sequence-Labeling

多言語情報処理 (2023 年 11 月版), 京都

RoBERTa Model for Dependency-Parsing

大学人文科学研究所・未踏科学研究ユニッin Classical Chinese and Its Application

ト・データサイエンスで切り拓く総合地域

to Vietnamese and Thai, ICBIR 2023:

研究ユニット.

8th International Conference on Business

http://hdl.handle.net/2433/286274

国際会議プロシーディングス[2] Koichi

Yasuoka:and Industrial Research (May 2023),
pp.169-173.
国際会議発表（査読なし）

国内会議発表（査読なし）[3] 安岡孝一: BERT/RoBERTa/DeBERTa モデルによる多言語係り受け解析, SS 研 HPC
フォーラム 2023「自然言語処理と高性能計算〜シナジーを探る〜」(2023 年 8 月 21日).

[4] 安岡孝一, 安岡素子: ローマ字・カタカナ・キリル文字によるアイヌ語 Universal De-pendencies の可能性, Evidence-based Linguistics Workshop 2023 (2023 年 9 月 15日), pp.47-60.

[5] 安岡孝一: 屈折語・孤立語・膠着語・抱合語そして Universal Dependencies, 東西学術研究所 / 経済・政治研究所 / 法学研究所

3 研究所合同シンポジウム「AI 社会の現在」 (2023 年 11 月 25 日).
公開したライブラリ等[6] https://pypi.org/project/esupar
その他（特許，プレス発表，著書等）[7] 安岡孝一, 安岡素子: Universal Dependencies で読むアイヌ語訳『五倫名義解』, 京
都大学人文科学研究所附属東アジア人文情報学研究センター研究年報 2023 (2023 年9 月).
http://hdl.handle.net/2433/286023[8] 安 岡 孝 一:

Universal Dependencies と4