日本語意味役割タスクにおいて複数TokenIDが与える影響

昨今，ChatGPTの登場を皮切りに，様々な大規模言語モデル（LargeLanguageModel:LLM）が提供されている．日本語に特化したモデルも多く提供され，それに伴い様々なトークナイザも登場している．しかし，それらがすべての単語をカバーできているわけではなく，うまくトークナイズ出来ず，不適切なデータを作成してしまうことも少なくない．1.1Byte-LevelBPEこれまでの言語処理タスクで多く使用された言語モデルである東北大学BERTモデルでは，トークナイズアルゴリズムにMecabによる形態素解析および，Subword分割が採用されている[1]．一方で，CyberAgentから提供されているOpenCALMなどの言語モデルでは，トークナイズアルゴリズムにByte-LevelBPE（BytePairEncoding）が採用されている．Byte-LevelBPEは，Byte単位で処理を行い，頻度の高いByte列を語彙として登録する[2]．Byte-LevelBPEを採用するトークナイザでは未知語などの予期せぬトークンが出現した際には，1トークンに含まれるByte列から複数のトークンIDに変換してしまうといった現象が発生する．例えば，図1のような未知語を含んだテキストをトークナイズするとするこの文章をByte-LevelBPEのトークナイザを用いてトークナイズを行うと図2のようになり，1つのトークンから3つのトークンIDが出力される．1.2意味役割付与(SemanticRoleLabel-ing:SRL)について意味役割付与とは，文中の述語を基準として，「いつ」「どこで」「誰が」「何を」などの意味的関係を持つ項を予測し，それに対応したラベルを付与するタスクである．以下に例を示す．「彼は友人を家に招いた」という文章が与えられたとき，「招く」という述語を基準として，「彼は」に動作主を表すArg0というラベルを，招かれた対象の「友人を」に対象を表すArg1というラベルを，招いた場所である「家に」に場所を表すArgM_LOCというラベルを付与する．本研究で使用する意味役割ラベルはPropbank形式を採用する．1.3概念フレーム付与について概念フレーム付与とは，文中の述語の語義を予測し，それに対応したFrameIDを付与するというタスクである．図3の例では「招く」という述語の語義として勧誘が正解の語義であり，それに対応したFrameID=470が正解のIDとなる．ここで，「招く」という述語は勧誘の他に，「専門家を外国から自社に招く」という文章に付されている着点への移動（FrameID=17）や「誤解を招く」という文章に付されている因果（FrameID=613）などという概念フ.レームをもつ．