漢字は中国や日本をはじめとする東アジア文化圏で広く用いられている文字体系であり、近年では視覚モデルの発展によりその文字形状を活用した知識転移の可能性が注目されている。本研究は漢字という文字システムに焦点を当て、中国語および日本語を対象とした異なる漢字表記に対して視覚モデルPIXELを用いた学習と、その関連タスクへの転移効果を検討することを目的とする。まず、中国語の部首、簡体字、繁体字という三種類の表記を用いて事前学習済みのPIXELモデルを追加学習する。その後、追加学習済みモデルを中国語簡体字感情分類、中国語攻撃的言語分類、日本語感情分類といった多様なタスクに適用し、性能評価を行う。これらの検証を通じて、漢字字形情報が転移学習に与える影響とその有効性を考察し、文字形状に基づく知識活用の可能性を明らかにする。

自然言語処理における多言語モデルの発展に伴い、言語間もしくは文字表記間での知識転移は重要な研究課題として注目されている。従来のモデルは主として語彙ベースのトークン表現に依拠しており、文字体系の違いに対して柔軟性に限界がある。これに対して、PIXELモデル[1]はテキストをレンダリング画像として入力し、視覚的表現を通じて言語表現を学習するという枠組みを採用している。PIXELは画像上でのマスク復元学習により固定語彙を必要とせず、任意の文字表記に対応可能であり、視覚的類似性に基づく一般化や知識転移が期待される。特に、ある文字表記で獲得した知識を、視覚的に類似する他文字表記と関連タスクへ転移する応用は、実用・理論の両面で意義が大きい[2]。漢字は中国、日本、台湾など東アジアの広範な地域で用いられる表意文字であり、一文字で広い意味画像を引用を表現できるという特徴を持つ。漢字は通常複数の筆画から構成され、歴史的背景により地域ごとに異なる字体が発展してきた。中国大陸では画数の少ない簡体字が主に使用され、台湾・香港・マカオでは画数の多い繁体字が用いられている。一方、日本では伝来後に独自の発展を遂げ、日本独自の字体を含む漢字体系が形成された。これらの地域間には共通する字形も多く存在しており、視覚情報を活用するモデルにおいて、こうした共通字形を学習させることで、相互の効率的な知識転移が期待される。本研究では、図1のように、事前学習済みのPIXELモデルに漢字の字形情報を追加学習し、追加学習済みのモデルが漢字関連タスクおよび関連言語への知識転移がどの程度可能かを検証し、その有用性と要素的要因について考察する。具体的には、中国語二値感情分類を基盤タスクとし、簡体字、繁体字、および漢字部首表記という三種類のデータでPIXELモデルを学習させる。その後、中国語簡体字による感情分類、中国語簡体字による攻撃的言語分類、日本語感情分類の三つの評価タスクを通じて、中国語内でのタスク転移および日本語という異言語への汎用化能力を検証し、知見の整理と考察を行う。