Update README.md

README.md

@@ -54,6 +54,31 @@ translated_text = tokenizer.decode(translated_ids[0], skip_special_tokens=True)
 print("Vietnamese Translation:", translated_text) # 'Ai biết, nửa đêm về nhà phát hiện ra mình quên chìa khóa, trong nhà không có ai, lúc này nguyện vọng lớn nhất của ngươi là gì? Đáp án chính xác là gì?'
 print("\nTruth:", truth) # 'Ai biết nửa đêm về nhà phát hiện mình quên chìa khoá , trong nhà lại không có ai thì lúc này muốn nhất là cái gì ? Câu trả lời là gì thế anh em ?'
 ```
+
+### Faster inference on OnnxT5 model
+```python
+from fastT5 import get_onnx_runtime_sessions, OnnxT5
+from transformers import T5Config, AutoTokenizer, T5ForConditionalGeneration
+
+quant_model_paths= tuple(['viT5_han-vie_v1-encoder-quantized.onnx',
+                          'viT5_han-vie_v1-decoder-quantized.onnx',
+                          'viT5_han-vie_v1-init-decoder-quantized.onnx'])
+
+model_sessions = get_onnx_runtime_sessions(quant_model_paths)
+model = OnnxT5('haruyuu/viT5_han-vie_v1.1', model_sessions)
+
+input_text = mapping('谁知道 “ 你三更半夜回家发现自己忘记带钥匙，家里又没有其他人在，这时你最大的愿望是什么？ ” 的正确答案是什么呀？')
+input_ids = tokenizer.encode(input_text, return_tensors="pt")
+translated_ids = onnx_model.generate(input_ids, 
+                                     num_beams = 6,
+                                     max_length = 512,
+                                     bad_words_ids = [[6270]])
+translated_text = tokenizer.decode(translated_ids[0], skip_special_tokens=True)
+
+print("Vietnamese Translation:", translated_text) # 'Ai biết, nửa đêm về nhà phát hiện ra mình quên chìa khóa, trong nhà không có ai, lúc này nguyện vọng lớn nhất của ngươi là gì? Đáp án chính xác là gì?'
+print("\nTruth:", truth) # 'Ai biết nửa đêm về nhà phát hiện mình quên chìa khoá , trong nhà lại không có ai thì lúc này muốn nhất là cái gì ? Câu trả lời là gì thế anh em ?'
+```
+
 ## Training Data
 
 <!-- This should link to a Data Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->