本家Llama-3.1にて行われたtokenizer.jsonの更新について

#2
by grapevine-AI - opened

こんばんは
10日ほど前、metaのLlama-3.1-70Bのリポジトリにて「special_tokens_map.json」と「tokenizer.json」の更新が行われました(コミットはこちら
CyberAgentさんの日本語版Llama-3.1-70Bでは、「special_tokens_map.json」の更新については反映されているのにもかかわらず、「tokenizer.json」の更新については反映がなされていないように見受けられます。
これらの更新は全く同時に行われたことを考えると、これは少々不可解なことですが、これが正式な仕様ということでしょうか?

Sign up or log in to comment