Update tokenization_xgen.py

tokenization_xgen.py

@@ -134,6 +134,8 @@ class XgenTokenizer(PreTrainedTokenizer):
     ):
         pad_token_added = AddedToken(pad_token, lstrip=False, rstrip=False) if isinstance(pad_token, str) else pad_token
         eos_token_added = AddedToken(eos_token, lstrip=False, rstrip=False) if isinstance(eos_token, str) else eos_token
+        self.add_eos_token = add_eos_token
+        self.encoder = tiktoken_tokenizer(base="gpt2", pad_token=pad_token, add_special=add_special_tokens)
         super().__init__(
             pad_token=pad_token_added,
             eos_token=eos_token_added,
@@ -141,8 +143,6 @@ class XgenTokenizer(PreTrainedTokenizer):
             add_special_tokens=add_special_tokens,
             **kwargs,
         )
-        self.add_eos_token = add_eos_token
-        self.encoder = tiktoken_tokenizer(base="gpt2", pad_token=pad_token, add_special=add_special_tokens)
 
     @property
     def vocab_size(self):