Removing m2m100 and quantizing MADLAD in 8-bit (as GPU resources limited)

app.py

@@ -172,14 +172,14 @@ def translate_text(
 
     #translated_text_Helsinki = translate_with_Helsinki(
     #    chunks, src_lang, tgt_lang, input_max_length, output_max_length)
-    translated_text_m2m100 = translate_with_m2m100(chunks, src_lang, tgt_lang)
+    #translated_text_m2m100 = translate_with_m2m100(chunks, src_lang, tgt_lang)
     translated_text_MADLAD = translate_with_MADLAD(chunks, tgt_lang)
     translated_text_google_translate = GoogleTranslator(
         source='auto', target='en').translate(text=text)
 
     return (
         #translated_text_Helsinki,
-        translated_text_m2m100,
+        #translated_text_m2m100,
         translated_text_MADLAD,
         translated_text_google_translate
     )
@@ -204,14 +204,14 @@ with gr.Blocks() as demo:
     #    label="Bilingual translation model (Helsinki NLP)",
     #    render=False
     #)
-    output_text_m2m100 = gr.Textbox(
-        lines=6,
-        label="Facebook m2m100 translation model (1.2B)",
-        render=False
-    )
+    #output_text_m2m100 = gr.Textbox(
+    #    lines=6,
+    #    label="Facebook m2m100 (1.2B)",
+    #    render=False
+    #)
     output_text_MADLAD = gr.Textbox(
         lines=6,
-        label="Google MADLAD translation model (3B)",
+        label="Google MADLAD400 (3B)",
         render=False
     )
     output_text_google_translate = gr.Textbox(
@@ -235,10 +235,10 @@ with gr.Blocks() as demo:
     # Examples
     examples = [
         ["ریچارد مور، رئیس سازمان مخفی اطلاعاتی بریتانیا (ام‌آی‌۶) در دیدار ویلیام برنز، رئیس سازمان اطلاعات مرکزی آمریکا (سیا) گفت همچنان احتمال اقدام ایران علیه اسرائیل در واکنش به ترور اسماعیل هنیه، رهبر حماس وجود دارد. آقای برنز نیز در این دیدار فاش کرد که در سال اول جنگ اوکراین، «خطر واقعی» وجود داشت که روسیه به استفاده از «تسلیحات هسته‌ای تاکتیکی» متوسل شود. این دو مقام امنیتی هشدار دادند که «نظم جهانی» از زمان جنگ سرد تا کنون تا این حد «در معرض تهدید» نبوده است.", "fa"],
-        ["Clément Delangue est, avec Julien Chaumond et Thomas Wolf, l’un des trois Français cofondateurs de Hugging Face, une start-up d’intelligence artificielle (IA) de premier plan. Valorisée à 4,2 milliards d’euros après avoir levé près de 450 millions d’euros depuis sa création en 2016, cette société de droit américain est connue comme la plate-forme de référence où développeurs et entreprises publient des outils et des modèles pour faire de l’IA en open source, c’est-à-dire accessible gratuitement et modifiable.", "fr"],
+        #["Clément Delangue est, avec Julien Chaumond et Thomas Wolf, l’un des trois Français cofondateurs de Hugging Face, une start-up d’intelligence artificielle (IA) de premier plan. Valorisée à 4,2 milliards d’euros après avoir levé près de 450 millions d’euros depuis sa création en 2016, cette société de droit américain est connue comme la plate-forme de référence où développeurs et entreprises publient des outils et des modèles pour faire de l’IA en open source, c’est-à-dire accessible gratuitement et modifiable.", "fr"],
         ["يُعد تفشي مرض جدري القردة قضية صحية عالمية خطيرة، ومن المهم محاولة منع انتشاره للحفاظ على سلامة الناس وتجنب العدوى. د. صموئيل بولاند، مدير الحوادث الخاصة بمرض الجدري في المكتب الإقليمي لمنظمة الصحة العالمية في أفريقيا، يتحدث من كينشاسا في جمهورية الكونغو الديمقراطية، ولديه بعض النصائح البسيطة التي يمكن للناس اتباعها لتقليل خطر انتشار المرض.", "ar"],
         ["張先生稱，奇瑞已經凖備在西班牙生產汽車，並決心採取「本地化」的方式進入歐洲市場。此外，他也否認該公司的出口受益於不公平補貼。奇瑞成立於1997年，是中國最大的汽車公司之一。它已經是中國最大的汽車出口商，並且制定了進一步擴張的野心勃勃的計劃。", "zh"],
-        ["ברוכה הבאה, קיטי: בית הקפה החדש בלוס אנג'לס החתולה האהובה והחברים שלה מקבלים בית קפה משלהם בשדרות יוניברסל סיטי, שם תוכלו למצוא מגוון של פינוקים מתוקים – החל ממשקאות ועד עוגות", "he"],
+        #["ברוכה הבאה, קיטי: בית הקפה החדש בלוס אנג'לס החתולה האהובה והחברים שלה מקבלים בית קפה משלהם בשדרות יוניברסל סיטי, שם תוכלו למצוא מגוון של פינוקים מתוקים – החל ממשקאות ועד עוגות", "he"],
     ]
     
     gr.Interface(
@@ -246,7 +246,7 @@ with gr.Blocks() as demo:
         inputs=[input_text, src_lang],
         outputs=[
             #output_text_Helsinki,
-            output_text_m2m100,
+            #output_text_m2m100,
             output_text_MADLAD,
             output_text_google_translate,
         ],

model_translation.py

@@ -11,7 +11,12 @@ Date: 2024-03-16
 import torch
 from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 from transformers import M2M100Tokenizer, M2M100ForConditionalGeneration
+from transformers import BitsAndBytesConfig
 
+quantization_config = BitsAndBytesConfig(
+    load_in_8bit=True,
+    llm_int8_threshold=200.0 # https://discuss.huggingface.co/t/correct-usage-of-bitsandbytesconfig/33809/5
+)
 
 class Singleton(type):
     _instances = {}
@@ -32,6 +37,7 @@ class ModelM2M100(metaclass=Singleton):
             torch_dtype=torch.float16,
             low_cpu_mem_usage=True
         )
+        self._model = torch.compile(self._model)
     
     @property
     def model_name(self):
@@ -57,8 +63,10 @@ class ModelMADLAD(metaclass=Singleton):
             self._model_name,
             device_map="auto",
             torch_dtype=torch.float16,
-            low_cpu_mem_usage=True
+            low_cpu_mem_usage=True,
+            quantization_config=quantization_config
         )
+        self._model = torch.compile(self._model)
     
     @property
     def model_name(self):