日本語意味役割タスクにおいて複数TokenIDが与える影響

本研究では，Byte-LevelBPEアルゴリズムを採用したトークナイザのエンコードによって，1つのトークンから複数のトークンIDが生成される場合に日本語意味役割タスクに与える影響について調査した．その結果，二つの日本語意味役割タスクそれぞれにおいて複数のトークンIDを持つデータが各タスクの精度に与える影響を明らかにし，各タスクにおける有効なデータの形を示した．