black everything

app.py

@@ -12,7 +12,9 @@ from time import sleep
 
 
 def check_thread(logging_queue: Queue):
-    logging_callback = log_data(hf_token=getenv("HF_API_TOKEN"), dataset_name="uk-tts-output", private=True)
+    logging_callback = log_data(
+        hf_token=getenv("HF_API_TOKEN"), dataset_name="uk-tts-output", private=True
+    )
     while True:
         sleep(60)
         batch = []
@@ -23,10 +25,13 @@ def check_thread(logging_queue: Queue):
             try:
                 logging_callback(batch)
             except:
-                print("Error happened while pushing data to HF. Puttting items back in queue...")
+                print(
+                    "Error happened while pushing data to HF. Puttting items back in queue..."
+                )
                 for item in batch:
                     logging_queue.put(item)
 
+
 if getenv("HF_API_TOKEN") is not None:
     log_queue = Queue()
     t = Thread(target=check_thread, args=(log_queue,))
@@ -45,6 +50,7 @@ class VoiceOption(Enum):
     Dmytro = "Дмитро (чоловічий) 👨"
     Olga = "Ольга (жіночий) 👩"
 
+
 print(f"CUDA available? {is_available()}")
 
 badge = (
@@ -70,7 +76,7 @@ def tts(text: str, voice: str, stress: str):
     }
     stress_mapping = {
         StressOption.AutomaticStress.value: Stress.Dictionary.value,
-        StressOption.AutomaticStressWithModel.value: Stress.Model.value
+        StressOption.AutomaticStressWithModel.value: Stress.Model.value,
     }
 
     speaker_name = voice_mapping[voice]
@@ -79,7 +85,7 @@ def tts(text: str, voice: str, stress: str):
     text = (
         text if len(text) < text_limit else text[0:text_limit]
     )  # mitigate crashes on hf space
-    
+
     if getenv("HF_API_TOKEN") is not None:
         log_queue.put([text, speaker_name, stress_selected, str(datetime.utcnow())])
 
@@ -90,7 +96,7 @@ def tts(text: str, voice: str, stress: str):
 
 with open("README.md") as file:
     article = file.read()
-    article = article[article.find("---\n", 4) + 5::]
+    article = article[article.find("---\n", 4) + 5 : :]
 
 
 iface = gr.Interface(
@@ -108,7 +114,7 @@ iface = gr.Interface(
         gr.components.Radio(
             label="Наголоси",
             choices=[option.value for option in StressOption],
-            value=StressOption.AutomaticStress.value
+            value=StressOption.AutomaticStress.value,
         ),
     ],
     outputs=[
@@ -144,6 +150,6 @@ iface = gr.Interface(
             VoiceOption.Lada.value,
             StressOption.AutomaticStress.value,
         ],
-    ]
+    ],
 )
 iface.launch(enable_queue=True)

data_logger.py

@@ -3,21 +3,22 @@ import os
 import csv
 import huggingface_hub
 
+
 def log_data(hf_token: str, dataset_name: str, private=True):
     path_to_dataset_repo = huggingface_hub.create_repo(
-            repo_id=dataset_name,
-            token=hf_token,
-            private=private,
-            repo_type="dataset",
-            exist_ok=True,
-        )
+        repo_id=dataset_name,
+        token=hf_token,
+        private=private,
+        repo_type="dataset",
+        exist_ok=True,
+    )
     flagging_dir = "flagged"
     dataset_dir = os.path.join(flagging_dir, dataset_name)
     repo = huggingface_hub.Repository(
-            local_dir=dataset_dir,
-            clone_from=path_to_dataset_repo,
-            use_auth_token=hf_token,
-        )
+        local_dir=dataset_dir,
+        clone_from=path_to_dataset_repo,
+        use_auth_token=hf_token,
+    )
     repo.git_pull(lfs=True)
     log_file = os.path.join(dataset_dir, "data.csv")
 
@@ -38,4 +39,3 @@ def log_data(hf_token: str, dataset_name: str, private=True):
         return line_count
 
     return log_function
-

pytest.ini

@@ -1,2 +1,2 @@
 [pytest]
-addopts = --ignore=training --cov=ukrainian_tts
+addopts = --ignore=training --cov=ukrainian_tts --cov-branch

requirements-test.txt

@@ -1,4 +1,5 @@
 -r requirements.txt
 
 pytest==7.2.0
-pytest-cov==4.0.0
+pytest-cov==4.0.0
+black

setup.py

@@ -1,19 +1,20 @@
 #!/usr/bin/env python
 from setuptools import setup, find_packages
 
-setup(name='ukrainian-tts',
-      version='3.0',
-      description='Ukrainian TTS using Coqui TTS',
-      author='Yurii Paniv',
-      author_email='mr.robinhad@gmail.com',
-      url='https://github.com/robinhad/ukrainian-tts',
-      license="GPLv3",
-      packages=find_packages(),
-      python_requires='>3.6.0',
-      install_requires=[
-         "torch>=1.9",
-         "TTS==0.9.0",
-         "ukrainian-word-stress==1.0.1",
-         "ukrainian_accentor @ git+https://github.com/egorsmkv/ukrainian-accentor.git@5b7971c4e135e3ff3283336962e63fc0b1c80f4c"
-      ],
-)
+setup(
+    name="ukrainian-tts",
+    version="3.0",
+    description="Ukrainian TTS using Coqui TTS",
+    author="Yurii Paniv",
+    author_email="mr.robinhad@gmail.com",
+    url="https://github.com/robinhad/ukrainian-tts",
+    license="GPLv3",
+    packages=find_packages(),
+    python_requires=">3.6.0",
+    install_requires=[
+        "torch>=1.9",
+        "TTS==0.9.0",
+        "ukrainian-word-stress==1.0.1",
+        "ukrainian_accentor @ git+https://github.com/egorsmkv/ukrainian-accentor.git@5b7971c4e135e3ff3283336962e63fc0b1c80f4c",
+    ],
+)

tests/test_formatter.py

@@ -5,10 +5,16 @@ def test_formatter():
     examples = [
         ("Quality of life update", "КВюаліті оф ліфе юпдате"),
         ("Він украв 20000000 $", "Він украв двадцять мільйонів долар"),
-        ("111 000 000 000 доларів державного боргу.", "сто одинадцять мільярдів доларів державного боргу."),
-        ("11100000001 доларів державного боргу.", "одинадцять мільярдів сто мільйонів один доларів державного боргу."),
+        (
+            "111 000 000 000 доларів державного боргу.",
+            "сто одинадцять мільярдів доларів державного боргу.",
+        ),
+        (
+            "11100000001 доларів державного боргу.",
+            "одинадцять мільярдів сто мільйонів один доларів державного боргу.",
+        ),
         ("це 19-річне вино.", "це дев'ятнадцять-річне вино."),
-        ("10-30-40-50-5-9-5", "десять-тридцять-сорок-п'ятдесят-п'ять-дев'ять-п'ять")
+        ("10-30-40-50-5-9-5", "десять-тридцять-сорок-п'ятдесят-п'ять-дев'ять-п'ять"),
     ]
     for item in examples:
-        assert preprocess_text(item[0]) == item[1]
+        assert preprocess_text(item[0]) == item[1]

tests/test_stress.py

@@ -3,36 +3,60 @@ from ukrainian_tts.stress import sentence_to_stress, stress_with_model
 
 def test_stress_table():
     examples = [
-        ("Бабин біб розцвів у дощ — Буде бабі біб у борщ.\n\nБоронила", "Б+абин б+іб розцв+ів +у д+ощ — Б+уде б+абі б+іб +у б+орщ.\n\nБорон+ила"),
-        ("Бабин біб розцвів у дощ — Буде бабі біб у борщ.,,Боронила", "Б+абин б+іб розцв+ів +у д+ощ — Б+уде б+абі б+іб +у б+орщ.,,Борон+ила"),
-        ("Бабин біб розцвів у дощ — Буде бабі біб у борщ.\n\n", "Б+абин б+іб розцв+ів +у д+ощ — Б+уде б+абі б+іб +у б+орщ.\n\n"),
-        ("Бобер на березі з бобренятами бублики пік.","Боб+ер н+а березі з бобрен+ятами б+ублики п+ік."),
         (
-            "Кам'янець-Подільський - місто в Хмельницькій області України, центр Кам'янець-Подільської міської об'єднаної територіальної громади і Кам'янець-Подільського району.", 
-            "Кам'ян+ець-Под+ільський - м+істо в Хмельн+ицькій +області Укра+їни, ц+ентр Кам'ян+ець-Под+ільської міськ+ої об'+єднаної територі+альної гром+ади +і Кам'ян+ець-Под+ільського рай+ону."),
+            "Бабин біб розцвів у дощ — Буде бабі біб у борщ.\n\nБоронила",
+            "Б+абин б+іб розцв+ів +у д+ощ — Б+уде б+абі б+іб +у б+орщ.\n\nБорон+ила",
+        ),
+        (
+            "Бабин біб розцвів у дощ — Буде бабі біб у борщ.,,Боронила",
+            "Б+абин б+іб розцв+ів +у д+ощ — Б+уде б+абі б+іб +у б+орщ.,,Борон+ила",
+        ),
+        (
+            "Бабин біб розцвів у дощ — Буде бабі біб у борщ.\n\n",
+            "Б+абин б+іб розцв+ів +у д+ощ — Б+уде б+абі б+іб +у б+орщ.\n\n",
+        ),
+        (
+            "Бобер на березі з бобренятами бублики пік.",
+            "Боб+ер н+а березі з бобрен+ятами б+ублики п+ік.",
+        ),
+        (
+            "Кам'янець-Подільський - місто в Хмельницькій області України, центр Кам'янець-Подільської міської об'єднаної територіальної громади і Кам'янець-Подільського району.",
+            "Кам'ян+ець-Под+ільський - м+істо в Хмельн+ицькій +області Укра+їни, ц+ентр Кам'ян+ець-Под+ільської міськ+ої об'+єднаної територі+альної гром+ади +і Кам'ян+ець-Под+ільського рай+ону.",
+        ),
         ("Привіт, як тебе звати?", "Прив+іт, +як теб+е зв+ати?"),
         ("АННА - український панк-рок гурт", "+АННА - укра+їнський панк-р+ок г+урт"),
-        ("Не тільки в Україні таке може бути.", "Н+е т+ільки в Укра+їні так+е м+оже б+ути."),
-        ("Не тільки в +Укра+їні т+аке може бути.", "Н+е т+ільки в +Укра+їні т+аке м+оже б+ути."),
+        (
+            "Не тільки в Україні таке може бути.",
+            "Н+е т+ільки в Укра+їні так+е м+оже б+ути.",
+        ),
+        (
+            "Не тільки в +Укра+їні т+аке може бути.",
+            "Н+е т+ільки в +Укра+їні т+аке м+оже б+ути.",
+        ),
         ("два + два", "дв+а + дв+а"),
         ("Н тльк в крн тк мж бт.", "Н тльк в крн тк мж бт."),
-
     ]
     for item in examples:
         assert sentence_to_stress(item[0]) == item[1]
 
     examples = [
         (
-            "Кам'янець-Подільський - місто в Хмельницькій області України, центр Кам'янець-Подільської міської об'єднаної територіальної громади і Кам'янець-Подільського району.", 
-            "к+ам'янець-под+ільський - м+істо в хм+ельницькій обл+асті укра+їни, ц+ентр к+ам'янець-под+ільської м+іської об'+єднаної територі+альної гром+ади +і к+ам'янець-под+ільського рай+ону."
+            "Кам'янець-Подільський - місто в Хмельницькій області України, центр Кам'янець-Подільської міської об'єднаної територіальної громади і Кам'янець-Подільського району.",
+            "к+ам'янець-под+ільський - м+істо в хм+ельницькій обл+асті укра+їни, ц+ентр к+ам'янець-под+ільської м+іської об'+єднаної територі+альної гром+ади +і к+ам'янець-под+ільського рай+ону.",
         ),
         ("Привіт, як тебе звати?", "прив+іт, +як т+ебе зв+ати?"),
         ("АННА - український панк-рок гурт", "+анна - укра+їнський п+анк-р+ок г+урт"),
-        ("Не тільки в Україні таке може бути.", "н+е т+ільки в укра+їні т+аке м+оже б+ути."),
-        ("Не тільки в +Укра+їні т+аке може бути.", "н+е т+ільки в +Укра+їні т+аке м+оже б+ути."),
+        (
+            "Не тільки в Україні таке може бути.",
+            "н+е т+ільки в укра+їні т+аке м+оже б+ути.",
+        ),
+        (
+            "Не тільки в +Укра+їні т+аке може бути.",
+            "н+е т+ільки в +Укра+їні т+аке м+оже б+ути.",
+        ),
         ("два + два", "дв+а + дв+а"),
         ("Н тльк в крн тк мж бт.", "н тльк в крн тк мж бт."),
     ]
 
     for item in examples:
-        assert sentence_to_stress(item[0], stress_function=stress_with_model) == item[1]
+        assert sentence_to_stress(item[0], stress_function=stress_with_model) == item[1]

tests/test_tts.py

@@ -1,10 +1,11 @@
 from ukrainian_tts.tts import TTS, Voices, Stress
 from io import BytesIO
 
+
 def test_tts():
     tts = TTS(use_cuda=False)
     file = BytesIO()
     _, text = tts.tts("Привіт", Voices.Dmytro.value, Stress.Dictionary.value, file)
     file.seek(0)
     assert text == "Прив+іт"
-    assert file.getbuffer().nbytes > 1000 # check that file was generated
+    assert file.getbuffer().nbytes > 1000  # check that file was generated

ukrainian_tts/formatter.py

@@ -76,5 +76,4 @@ def preprocess_text(text, use_autostress_model=False):
         text = text.replace(english_char.upper(), english[english_char].upper())
         text = text.replace(english_char, english[english_char])
 
-
-    return text
+    return text

ukrainian_tts/stress.py

@@ -69,7 +69,7 @@ def sentence_to_stress(sentence: str, stress_function=stress_dict) -> str:
     # add remainder
     if previous != len(new_stressed):
         new_list.append(new_stressed[previous:])
-    
+
     # add stress to single-vowel words
     for word_index in range(0, len(new_list)):
         element = new_list[word_index]
@@ -89,4 +89,4 @@ def sentence_to_stress(sentence: str, stress_function=stress_dict) -> str:
         for stressed in all_stresses:
             words[stressed] = orig_words[stressed]
         return " ".join(words)
-    return new_stressed
+    return new_stressed

ukrainian_tts/tts.py

@@ -7,8 +7,10 @@ from .formatter import preprocess_text
 from .stress import sentence_to_stress, stress_dict, stress_with_model
 from torch import no_grad
 
+
 class Voices(Enum):
     """List of available voices for the model."""
+
     Olena = "olena"
     Mykyta = "mykyta"
     Lada = "lada"
@@ -20,14 +22,14 @@ class Stress(Enum):
     """Options how to stress sentence.
     - `dictionary` - performs lookup in dictionary, taking into account grammatical case of a word and its' neighbors
     - `model` - stress using transformer model"""
+
     Dictionary = "dictionary"
     Model = "model"
 
 
 class TTS:
-    """
-    
-    """
+    """ """
+
     def __init__(self, cache_folder=None, use_cuda=False) -> None:
         """
         Class to setup a text-to-speech engine, from download to model creation.  \n
@@ -35,7 +37,6 @@ class TTS:
         By default stores in current directory."""
         self.__setup_cache(cache_folder, use_cuda=use_cuda)
 
-
     def tts(self, text: str, voice: str, stress: str, output_fp=BytesIO()):
         """
         Run a Text-to-Speech engine and output to `output_fp` BytesIO-like object.
@@ -46,14 +47,18 @@ class TTS:
         """
 
         if stress not in [option.value for option in Stress]:
-            raise ValueError(f"Invalid value for stress option selected! Please use one of the following values: {', '.join([option.value for option in Stress])}.")
+            raise ValueError(
+                f"Invalid value for stress option selected! Please use one of the following values: {', '.join([option.value for option in Stress])}."
+            )
 
         if stress == Stress.Model.value:
             stress = True
         else:
             stress = False
         if voice not in [option.value for option in Voices]:
-            raise ValueError(f"Invalid value for voice selected! Please use one of the following values: {', '.join([option.value for option in Voices])}.")
+            raise ValueError(
+                f"Invalid value for voice selected! Please use one of the following values: {', '.join([option.value for option in Voices])}."
+            )
 
         text = preprocess_text(text, stress)
         text = sentence_to_stress(text, stress_with_model if stress else stress_dict)
@@ -66,7 +71,6 @@ class TTS:
 
         return output_fp, text
 
-
     def __setup_cache(self, cache_folder=None, use_cuda=False):
         """Downloads models and stores them into `cache_folder`. By default stores in current directory."""
         print("downloading uk/mykyta/vits-tts")
@@ -87,18 +91,12 @@ class TTS:
         self.__download(speakers_link, speakers_path)
 
         self.synthesizer = Synthesizer(
-            model_path,
-            config_path,
-            speakers_path,
-            None,
-            None,
-            use_cuda=use_cuda
+            model_path, config_path, speakers_path, None, None, use_cuda=use_cuda
         )
 
         if self.synthesizer is None:
             raise NameError("Model not found")
 
-
     def __download(self, url, file_name):
         """Downloads file from `url` into local `file_name` file."""
         if not exists(file_name):
@@ -108,5 +106,3 @@ class TTS:
                 file.write(r.content)
         else:
             print(f"Found {file_name}. Skipping download...")
-
-