add preprocessing to add mask

app.py

@@ -12,12 +12,18 @@ mask_token = tokenizer.mask_token
 text = f"雨天，我整个人就便{mask_token}了，不想出外，甚至不想去上课。"
 target_word = "懒惰"
 
+def add_mask(target_word, text):
+     text_mask = text.replace(target_word, mask_token)
+     return text_mask
+
 def eval_prob(target_word, text):
+
+    text_mask = add_mask(target_word, text)
     # Get index of target_word
     idx = tokenizer.encode(target_word)[2]
 
     # Get logits
-    inputs = tokenizer(text, return_tensors="pt")
+    inputs = tokenizer(text_mask, return_tensors="pt")
     token_logits = model(**inputs).logits
     
     # Find the location of the MASK and extract its logits
@@ -36,8 +42,8 @@ def eval_prob(target_word, text):
 gr.Interface(
     fn=eval_prob,
     inputs=[
-        gr.Textbox(placeholder="懒惰"),
-        gr.Textbox(placeholder=f"雨天，我整个人就便{mask_token}了，不想出外，甚至不想去上课。"),
+        gr.Textbox(placeholder="夸大"),
+        gr.Textbox(placeholder=f"我们使用 Generative AI 已经很长时间了，所以他们最近的媒体报道可能被夸大了。"),
     ],
     outputs="text",
     title="Chinese Sentence Grading",