my-speech-to-speech-translation

Sleeping

App Files Files Community

my-speech-to-speech-translation / app.py

Auxiliarytrinket

Update app.py

ca365d2 6 months ago

raw history blame contribute delete

No virus

4.05 kB

	import gradio as gr
	import numpy as np
	import torch
	from datasets import load_dataset

	from transformers import AutoTokenizer, VitsModel, pipeline

	device = "cuda:0" if torch.cuda.is_available() else "cpu"

	asr_pipe = pipeline("automatic-speech-recognition", model="openai/whisper-tiny", device=device) #Тут добавил tiny, потому что модель станет более компактной
	translater = pipeline("translation", model="Helsinki-NLP/opus-mt-en-ru") # Инициализация модели для перевода текста на русский язык

	model = VitsModel.from_pretrained("facebook/mms-tts-rus") # Загрузка модели для генерации речи на русском языке
	tokenizer = AutoTokenizer.from_pretrained("facebook/mms-tts-rus") # Загрузка токенизатора для модели

	def translate(audio, translater: pipeline = translater): # Определение функции для перевода аудио в текст
	outputs = asr_pipe(audio, max_new_tokens=256, generate_kwargs={"task": "translate"}) # Получение текстового представления аудио
	return translater(outputs['text'])[0]['translation_text'] # Возврат переведенного текста

	def synthesise(text: str, tokenizer: AutoTokenizer = tokenizer, model: VitsModel = model): # Определение функции для синтеза речи из текста
	inputs = tokenizer(text, return_tensors="pt") # Создание токенизированного представления текста
	# print(inputs)
	with torch.no_grad():
	output = model(**inputs).waveform # Генерация аудиофайла из текста
	return output.cpu() # Возврат полученной речи


	def speech_to_speech_translation(audio): # Определение функции для перевода и синтеза речи
	translated_text = translate(audio) # Перевод аудио в текст
	synthesised_speech = synthesise(translated_text) # Генерация речи на русском языке из переведенного текста
	synthesised_speech = (synthesised_speech.numpy() * 32767).astype(np.int16) # Преобразование и нормализация речи
	return 16000, synthesised_speech[0] # Возврат частоты дискретизации и синтезированной речи


	title = "Cascaded STST"
	description = """
	Demo for cascaded speech-to-speech translation (STST), mapping from source speech in multi language to target speech in Russian. Demo uses OpenAI's [Whisper Tiny](https://huggingface.co/openai/whisper-tiny) model for speech translation, and Facebook's
	[mms-tts-rus](https://huggingface.co/acebook/mms-tts-rus) model for text-to-speech:
	![Cascaded STST](https://huggingface.co/datasets/huggingface-course/audio-course-images/resolve/main/s2st_cascaded.png "Diagram of cascaded speech to speech translation")
	"""

	demo = gr.Blocks() # Создание блока для интерфейса

	mic_translate = gr.Interface( # Создание интерфейса для микрофона
	fn=speech_to_speech_translation, # Используемая функция
	inputs=gr.Audio(source="microphone", type="filepath"), # Ввод с микрофона
	outputs=gr.Audio(label="Generated Speech", type="numpy"), # Вывод сгенерированной речи
	title=title,
	description=description,
	)

	file_translate = gr.Interface( # Создание интерфейса для загрузки аудиофайла
	fn=speech_to_speech_translation,
	inputs=gr.Audio(source="upload", type="filepath"),
	outputs=gr.Audio(label="Generated Speech", type="numpy"),
	examples=[["./test_2.wav"]],
	title=title,
	description=description,
	)

	with demo:
	gr.TabbedInterface([mic_translate, file_translate], ["Microphone", "Audio File"])

	demo.launch()