Update README.md

README.md

@@ -1,3 +1,82 @@
 ---
+language: vi
+widget:
+- text: >-
+    Python (phát âm tiếng Anh: /ˈpaɪθɑːn/) là một ngôn ngữ lập trình bậc cao cho
+    các mục đích lập trình đa năng, do Guido van Rossum tạo ra và lần đầu ra mắt
+    vào năm 1991. Python được thiết kế với ưu điểm mạnh là dễ đọc, dễ học và dễ
+    nhớ. Python là ngôn ngữ có hình thức rất sáng sủa, cấu trúc rõ ràng, thuận
+    tiện cho người mới học lập trình và là ngôn ngữ lập trình dễ học; được dùng
+    rộng rãi trong phát triển trí tuệ nhân tạo. Cấu trúc của Python còn cho phép
+    người sử dụng viết mã lệnh với số lần gõ phím tối thiểu. Vào tháng 7 năm
+    2018, van Rossum đã từ chức lãnh đạo trong cộng đồng ngôn ngữ Python sau 30
+    năm làm việc.
 license: apache-2.0
+pipeline_tag: text2text-generation
 ---
+
+# doc2query-viT5
+
+This is a [doc2query](https://arxiv.org/abs/1904.08375) model based on [viT5](https://huggingface.co/VietAI/vit5-base)
+
+It can be used for:
+- **Document expansion**: You generate for your paragraphs 20-40 queries and index the paragraphs and the generates queries in a standard BM25 index like Elasticsearch, OpenSearch, or Lucene. The generated queries help to close the lexical gap of lexical search, as the generate queries contain synonyms. Further, it re-weights words giving important words a higher weight even if they appear seldomn in a paragraph. 
+- **Domain Specific Training Data Generation**: It can be used to generate training data to learn an embedding model. 
+
+## Usage
+```python
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+import torch
+
+model_name = 'doc2query/msmarco-vietnamese-mt5-base-v1'
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+
+text = "Python (phát âm tiếng Anh: /ˈpaɪθɑːn/) là một ngôn ngữ lập trình bậc cao cho các mục đích lập trình đa năng, do Guido van Rossum tạo ra và lần đầu ra mắt vào năm 1991. Python được thiết kế với ưu điểm mạnh là dễ đọc, dễ học và dễ nhớ. Python là ngôn ngữ có hình thức rất sáng sủa, cấu trúc rõ ràng, thuận tiện cho người mới học lập trình và là ngôn ngữ lập trình dễ học; được dùng rộng rãi trong phát triển trí tuệ nhân tạo. Cấu trúc của Python còn cho phép người sử dụng viết mã lệnh với số lần gõ phím tối thiểu. Vào tháng 7 năm 2018, van Rossum đã từ chức lãnh đạo trong cộng đồng ngôn ngữ Python sau 30 năm làm việc."
+
+
+def create_queries(para):
+    input_ids = tokenizer.encode(para, return_tensors='pt')
+    with torch.no_grad():
+        # Here we use top_k / top_k random sampling. It generates more diverse queries, but of lower quality
+        sampling_outputs = model.generate(
+            input_ids=input_ids,
+            max_length=64,
+            do_sample=True,
+            top_p=0.95,
+            top_k=10, 
+            num_return_sequences=5
+            )
+        
+        # Here we use Beam-search. It generates better quality queries, but with less diversity
+        beam_outputs = model.generate(
+            input_ids=input_ids, 
+            max_length=64, 
+            num_beams=5, 
+            no_repeat_ngram_size=2, 
+            num_return_sequences=5, 
+            early_stopping=True
+        )
+
+
+    print("Paragraph:")
+    print(para)
+    
+    print("\nBeam Outputs:")
+    for i in range(len(beam_outputs)):
+        query = tokenizer.decode(beam_outputs[i], skip_special_tokens=True)
+        print(f'{i + 1}: {query}')
+
+    print("\nSampling Outputs:")
+    for i in range(len(sampling_outputs)):
+        query = tokenizer.decode(sampling_outputs[i], skip_special_tokens=True)
+        print(f'{i + 1}: {query}')
+
+create_queries(text)
+
+```
+
+**Note:** `model.generate()` is non-deterministic for top_k/top_n sampling. It produces different queries each time you run it.
+
+## Training
+This model fine-tuned [VietAI/vit5-base](https://huggingface.co/VietAI/vit5-base) on 30k vietnamese passage-question pairs