視覚言語モデルPIXELによる漢字表記体系の分析と考察

自然言語処理における多言語モデルの発展に伴い、言語間もしくは文字表記間での知識転移は重要な研究課題として注目されている。従来のモデルは主として語彙ベースのトークン表現に依拠しており、文字体系の違いに対して柔軟性に限界がある。これに対して、PIXELモデル[1]はテキストをレンダリング画像として入力し、視覚的表現を通じて言語表現を学習するという枠組みを採用している。PIXELは画像上でのマスク復元学習により固定語彙を必要とせず、任意の文字表記に対応可能であり、視覚的類似性に基づく一般化や知識転移が期待される。特に、ある文字表記で獲得した知識を、視覚的に類似する他文字表記と関連タスクへ転移する応用は、実用・理論の両面で意義が大きい[2]。漢字は中国、日本、台湾など東アジアの広範な地域で用いられる表意文字であり、一文字で広い意味画像を引用を表現できるという特徴を持つ。漢字は通常複数の筆画から構成され、歴史的背景により地域ごとに異なる字体が発展してきた。中国大陸では画数の少ない簡体字が主に使用され、台湾・香港・マカオでは画数の多い繁体字が用いられている。一方、日本では伝来後に独自の発展を遂げ、日本独自の字体を含む漢字体系が形成された。これらの地域間には共通する字形も多く存在しており、視覚情報を活用するモデルにおいて、こうした共通字形を学習させることで、相互の効率的な知識転移が期待される。本研究では、図1のように、事前学習済みのPIXELモデルに漢字の字形情報を追加学習し、追加学習済みのモデルが漢字関連タスクおよび関連言語への知識転移がどの程度可能かを検証し、その有用性と要素的要因について考察する。具体的には、中国語二値感情分類を基盤タスクとし、簡体字、繁体字、および漢字部首表記という三種類のデータでPIXELモデルを学習させる。その後、中国語簡体字による感情分類、中国語簡体字による攻撃的言語分類、日本語感情分類の三つの評価タスクを通じて、中国語内でのタスク転移および日本語という異言語への汎用化能力を検証し、知見の整理と考察を行う。