本家Llama-3.1にて行われたtokenizer.jsonの更新について
#2
by
grapevine-AI
- opened
こんばんは
10日ほど前、metaのLlama-3.1-70Bのリポジトリにて「special_tokens_map.json」と「tokenizer.json」の更新が行われました(コミットはこちら)
CyberAgentさんの日本語版Llama-3.1-70Bでは、「special_tokens_map.json」の更新については反映されているのにもかかわらず、「tokenizer.json」の更新については反映がなされていないように見受けられます。
これらの更新は全く同時に行われたことを考えると、これは少々不可解なことですが、これが正式な仕様ということでしょうか?