Update app.py

app.py

@@ -7,6 +7,7 @@ gpt_neox_tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-20b")
 llama_tokenizer = AutoTokenizer.from_pretrained("hf-internal-testing/llama-tokenizer")
 falcon_tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-7b")
 phi2_tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2")
+t5_tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-xxl")
 
 def tokenize(input_text):
     gpt2_tokens = gpt2_tokenizer(input_text, add_special_tokens=True)["input_ids"]
@@ -14,8 +15,9 @@ def tokenize(input_text):
     llama_tokens = llama_tokenizer(input_text, add_special_tokens=True)["input_ids"]
     falcon_tokens = falcon_tokenizer(input_text, add_special_tokens=True)["input_ids"]
     phi2_tokens = phi2_tokenizer(input_text, add_special_tokens=True)["input_ids"]
+    t5_tokens = t5_tokenizer(input_text, add_special_tokens=True)["input_ids"]
 
-    return f"GPT-2/GPT-J: {len(gpt2_tokens)}\nGPT-NeoX: {len(gpt_neox_tokens)}\nLLaMa: {len(llama_tokens)}\nFalcon: {len(falcon_tokens)}\nPhi-2: {len(phi2_tokens)}"
+    return f"GPT-2/GPT-J: {len(gpt2_tokens)}\nGPT-NeoX: {len(gpt_neox_tokens)}\nLLaMa: {len(llama_tokens)}\nFalcon: {len(falcon_tokens)}\nPhi-2: {len(phi2_tokens)}\nT5: {len(t5_tokens)}"
 
 iface = gr.Interface(fn=tokenize, inputs=gr.Textbox(lines=7), outputs="text")
 iface.launch()