Update README.md

README.md

@@ -1,4 +1,6 @@
 ---
+widget:
+- text: "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"
 tags:
 - generated_from_trainer
 metrics:
@@ -39,11 +41,19 @@ from transformers import pipeline
 tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
 model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")
 
-nlp = pipeline("ner", model=model, tokenizer=tokenizer)
+nlp = pipeline("token-classification", model=model, tokenizer=tokenizer)
 example = "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"
 
 ner_results = nlp(example)
-print(ner_results)
+example_tok = ""
+for e in ner_results:
+    if "##" in e["word"]:
+        example_tok = example_tok + e["word"].replace("##","")
+    elif e["entity"] =="I":
+        example_tok = example_tok + "_" + e["word"]
+    else:
+        example_tok = example_tok + " " + e["word"]
+print(example_tok)
 
 Phát_biểu tại phiên thảo_luận về tình_hình kinh_tế xã_hội của Quốc_hội sáng 28 / 10 , Bộ_trưởng Bộ LĐ - TB [UNK] XH Đào_Ngọc_Dung khái_quát , tại phiên khai_mạc kỳ họp , lãnh_đạo chính_phủ đã báo_cáo , đề_cập tương_đối rõ_ràng về việc thực_hiện các chính_sách an_sinh xã_hội