Update app.py

app.py

@@ -9,22 +9,25 @@ import numpy as np
 import math
 import re
 
-model_name = "trangiabao17032000/model_tts_mix"
-
 #processor
-processor = SpeechT5Processor.from_pretrained(model_name)
+processor = SpeechT5Processor.from_pretrained("trangiabao17032000/final_tts")
 tokenizer = processor.tokenizer
 
 #model
-model = SpeechT5ForTextToSpeech.from_pretrained(model_name)
+model_model_tts_mix = SpeechT5ForTextToSpeech.from_pretrained("trangiabao17032000/model_tts_mix")
+model_model_tts_mix.eval()
+
+model_final_tts = SpeechT5ForTextToSpeech.from_pretrained("trangiabao17032000/final_tts")
+model_final_tts.eval()
 
 #vocoder
 vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")
+vocoder.eval()
 
 #speaker embedding
 embeddings_dataset = load_dataset("Matthijs/cmu-arctic-xvectors", split="validation")
 
-speaker_embeddings = torch.tensor(embeddings_dataset[7200]["xvector"]).unsqueeze(0)
+speaker_embeddings = torch.tensor(embeddings_dataset[7306]["xvector"]).unsqueeze(0)
 
 #cleaner text
 def convert_string_to_numbers(input_str):
@@ -120,10 +123,15 @@ def cleanup_text(inputs):
     return re.sub('[0-9]', '', inputs.strip().lower())
     
 # generator speech
-def text_to_speech(paragraph):
+def text_to_speech(paragraph, model_selected):
     if len(paragraph.strip()) == 0:
         return (16000, np.zeros(0).astype(np.int16))
 
+    if model_selected == "final_tts":
+      model_generate = model_final_tts
+    else:
+      model_generate = model_model_tts_mix
+
     try:
       paragraph = normalize(str(paragraph))
     except:
@@ -135,7 +143,7 @@ def text_to_speech(paragraph):
     for sentence in list_sentence:
 
       inputs = processor(text=sentence, return_tensors="pt")
-      spectrogram = model.generate_speech(inputs["input_ids"], speaker_embeddings)
+      spectrogram = model_generate.generate_speech(inputs["input_ids"], speaker_embeddings)
       with torch.no_grad():
         speech = vocoder(spectrogram)
 
@@ -146,10 +154,14 @@ def text_to_speech(paragraph):
     # sf.write("tts_example.wav", final_speech, samplerate=16000)
     # return "tts_example.wav"
 
+
 tts_examples = [
-    "xin chào mọi người, đây là sản phẩm thử nghiệm cho tiếng việt.",
-    "Mình sẽ tổ chức sinh nhật vào thứ 6 ngày 7 tháng này",
-    "Mùa thu đã đến với sự thanh bình và mát mẻ. Trời cao trải dài một tấm bầu trời xanh thăm thẳm, và những tia nắng ấm áp từ mặt trời chiếu sáng tỏa rạng. Nhiệt độ trong khoảng từ 20 đến 25 độ Celsius khiến cho không khí trở nên dễ chịu, đủ để ta cảm nhận sự se lạnh của mùa thu đang về. Các cây cỏ bắt đầu thay đổi màu sắc, chuyển từ màu xanh tươi sang những gam màu ấm áp và rực rỡ. Mọi người bắt đầu khoác lên mình những chiếc áo len mỏng và khăn quàng cổ để giữ ấm. Mùa thu thật sự là thời điểm tuyệt vời để thưởng thức cái se lạnh dịu dàng và cảm nhận sự thay đổi của thiên nhiên."
+    ["xin chào mọi người, đây là sản phẩm thử nghiệm cho tiếng việt.", "final_tts"],
+    ["xin chào mọi người, đây là sản phẩm thử nghiệm cho tiếng việt.", "model_tts_mix"],
+    ["Mình sẽ tổ chức sinh nhật vào thứ 6 ngày 7 tháng này", "final_tts"],
+    ["Mình sẽ tổ chức sinh nhật vào thứ 6 ngày 7 tháng này", "model_tts_mix"],
+    ["Mùa thu đã đến với sự thanh bình và mát mẻ. Trời cao trải dài một tấm bầu trời xanh thăm thẳm, và những tia nắng ấm áp từ mặt trời chiếu sáng tỏa rạng. Nhiệt độ trong khoảng từ 20 đến 25 độ Celsius khiến cho không khí trở nên dễ chịu, đủ để ta cảm nhận sự se lạnh của mùa thu đang về. Các cây cỏ bắt đầu thay đổi màu sắc, chuyển từ màu xanh tươi sang những gam màu ấm áp và rực rỡ. Mọi người bắt đầu khoác lên mình những chiếc áo len mỏng và khăn quàng cổ để giữ ấm. Mùa thu thật sự là thời điểm tuyệt vời để thưởng thức cái se lạnh dịu dàng và cảm nhận sự thay đổi của thiên nhiên.", "final_tts"],
+    ["Mùa thu đã đến với sự thanh bình và mát mẻ. Trời cao trải dài một tấm bầu trời xanh thăm thẳm, và những tia nắng ấm áp từ mặt trời chiếu sáng tỏa rạng. Nhiệt độ trong khoảng từ 20 đến 25 độ Celsius khiến cho không khí trở nên dễ chịu, đủ để ta cảm nhận sự se lạnh của mùa thu đang về. Các cây cỏ bắt đầu thay đổi màu sắc, chuyển từ màu xanh tươi sang những gam màu ấm áp và rực rỡ. Mọi người bắt đầu khoác lên mình những chiếc áo len mỏng và khăn quàng cổ để giữ ấm. Mùa thu thật sự là thời điểm tuyệt vời để thưởng thức cái se lạnh dịu dàng và cảm nhận sự thay đổi của thiên nhiên.", "model_tts_mix"]
 ]
 
 title = "SpeechT5:Text-To-Speech"
@@ -158,8 +170,15 @@ description ="Nhập bất kỳ văn bản nào và mô hình sẽ chuyển nó
 #gradio interface
 iface = gr.Interface(
     fn=text_to_speech,
-    inputs=gr.Textbox("xin chào mọi người, đây là sản phẩm thử nghiệm cho tiếng việt.", label="Văn bản đầu vào"),
-    outputs=gr.Audio(label="Audio kết quả"),
+    inputs=[
+        gr.Textbox("xin chào mọi người, đây là sản phẩm thử nghiệm cho tiếng việt.", label="Văn bản đầu vào"),
+        gr.Radio(label="Model", choices=[
+            "final_tts",
+            "model_tts_mix"
+        ],
+        value="final_tts"),
+    ],
+    outputs=gr.Audio(label="Audio kết quả", streaming= True),
     title=title,
     description=description,
     examples=tts_examples