vocab/gpt_neox_japanese_2_7b/__init__.py

"""
这里有个 emoji.json 是干嘛的？
"""

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("abeja/gpt-neox-japanese-2.7b")