use ctranslate2

.gitignore

@@ -0,0 +1 @@
+t5-small-ct2

app.py

@@ -4,8 +4,11 @@ os.environ['CUDA_VISIBLE_DEVICES'] = ''
 os.environ['TF_FORCE_GPU_ALLOW_GROWTH'] = 'true'
 
 import malaya
+import ctranslate2
+from transformers import AutoTokenizer
 import gradio as gr
 import logging
+import os
 
 logging.basicConfig(level=logging.INFO)
 
@@ -13,21 +16,63 @@ TO_LANG = {
     'Malay': 'ms',
     'English': 'en',
 }
+
 TO_LANG_KEYS = list(TO_LANG.keys())
 
 model = None
+map_lang = {
+    'en': 'Inggeris',
+    'jav': 'Jawa',
+    'bjn': 'Banjarese',
+    'ms': 'Melayu',
+    'ind': 'Indonesia',
+    'pasar ms': 'pasar Melayu',
+    'manglish': 'Manglish',
+}
+
+converter = ctranslate2.converters.TransformersConverter(
+    'mesolitica/translation-t5-small-standard-bahasa-cased')
+try:
+    converter.convert('t5-small-ct2', quantization='int8')
+except BaseException:
+    pass
+
+tokenizer = AutoTokenizer.from_pretrained(
+    'mesolitica/translation-t5-small-standard-bahasa-cased',
+    use_fast=False,
+)
 
 
 def translate(text, to_lang):
     global model
     to_lang = TO_LANG[to_lang]
     if model is None:
-        model = malaya.translation.huggingface()
-    outputs = model.generate([text], to_lang=to_lang, max_length=1024)
-    return outputs[0]
+        translator = ctranslate2.Translator('t5-small-ct2')
 
+    prefix = f'terjemah ke {map_lang[to_lang]}: {text}'
+    input_tokens = tokenizer.convert_ids_to_tokens(tokenizer.encode(prefix))
+    outputs = translator.translate_batch(
+        [input_tokens],
+        max_input_length=6144,
+        max_decoding_length=6144,
+        disable_unk=True,
+    )
+    results = []
+    for o in outputs:
+        o = o.hypotheses[0]
+        o = tokenizer.convert_tokens_to_ids(o)
+        results.append(o)
+    results = tokenizer.batch_decode(
+        [[i for i in o if i not in [0, 1, 2]] for o in results],
+        spaces_between_special_tokens=False,
+    )
+    return results[0]
 
-s = """
+
+hansard = """
+\n26 DR.27.10.2021 \n\n \nUSUL MENANGGUHKAN MESYUARAT  \n\nDI BAWAH P.M. 18(1) \n \n\nPENJUALAN ASET GAS PETRONAS DI AZERBAIJAN \n\n \n\n11.33 pg. \n\nDato’ Seri Anwar bin Ibrahim [Port Dickson]: Tuan Yang di-Pertua, saya \nmohon mengemukakan usul di bawah Peraturan Mesyuarat 18(1) dan 18(2) Peraturan-\nperaturan Majlis Mesyuarat Dewan Rakyat seperti berikut: \n\n“Bahawa Dewan yang bersidang pada hari ini merundingkan \nlaporan bahawa Petronas telah menjual aset gas di Azerbaijan dengan \nharga hampir RM10 bilion berikutan desakan kerajaan menaikkan \nbayaran dividen Petronas sebanyak RM25 bilion kepada kerajaan bagi \ntahun 2021.” \n\n \nPerkara ini adalah perkara tertentu kerana penjualan aset gas di Azerbaijan \n\nbernilai RM10 bilion dan juga pembayaran dividen kepada kerajaan sebanyak RM25 bilion \nbagi tahun 2021 adalah berbahaya dan menjejaskan masa depan Petronas. Terkait \ndengan― sedikit penjelasan.  Kerana tindakan seperti ini telah menyebabkan J.P. Morgan \nmengeluarkan Petronas dari ESG Emerging Market Bond Index dan ESG Asia Credit \nIndex.  \n\nOleh itu, perkara itu perlu disegerakan kerana Petronas mengalami defisit \nberikutan pembayaran dividen berlebihan sejak tahun 2018 sehingga kini yang memaksa \nPetronas menjual aset atau meminjam lebih banyak dana luar negara bagi menampung \naliran tunai.   \n\nIni diperkukuh dengan kenyataan Tengku Muhammad Taufik, CEO Petronas, “If \nthere is a policy shift but it comes too suddenly or too slowly, not only Petronas but the \nentire Malaysian economy could be put at risk, with regards to our energy mix.” \n\nIni perkara berkenaan dengan kepentingan orang ramai, malah seluruh ekonomi \nnegara, kerana Petronas adalah institusi penting ekonomi negara dan sewajarnya \ndiperkukuh kekuatannya dan tidak dilemahkan penarafan syarikat. Kemampuan untuk \nmelabur bagi menjana keuntungan masa depan yang mampu untuk membayar dividen \nyang munasabah kepada kerajaan demi kepentingan rakyat. Dengan tambahan RM7 \nbilion tahun ini, hasil Petronas akan berjumlah RM44.8 bilion atau 18 peratus daripada \npendapatan kerajaan bagi tahun 2021 daripada RM37.8 bilion sebelumnya. \n\nJadi, mohon persetujuan Tuan Yang di-Pertua untuk dibahaskan. [Tepuk] \n\nTuan Yang di-Pertua: Terima kasih Yang Berhormat. Sebenarnya Yang \nBerhormat perlu melengkapkan teks Yang Berhormat dan cuma dibaca teks tersebut \nmengikut peraturan. Akan tetapi, tak apa.  \n\nAhli-ahli Yang Berhormat, saya telah menerima satu pemberitahu usul di bawah \nPeraturan Mesyuarat 18(1) oleh Yang Berhormat Port Dickson, Ketua Pembangkang pada \nhari Isnin, 25 Oktober 2021. Teks usul itu adalah seperti yang dibacakan tadi dengan \nsedikit tambahan oleh Ahli Yang Berhormat Port Dickson sebentar tadi.  \n\nBagi membolehkan perkara ini ditimbangkan oleh Majlis Mesyuarat, saya \nhendaklah berpuas hati bahawa perkara yang dibangkitkan oleh Yang Berhormat itu \nmematuhi tiga syarat seperti mana biasalah iaitu: \n\n(i) perkara tertentu; \n\n(ii) bagi kepentingan orang ramai; dan \n\n(iii) berkehendak disegerakan. \n\n\n
+"""
+code = """
 `Untuk menggunakan numpy, pertama, Anda perlu menginstalnya melalui pip. Anda dapat melakukannya dengan menjalankan perintah `pip install numpy` di terminal Anda.
 Setelah numpy terinstal, Anda dapat mengimpor modul numpy dengan menambahkan baris `import numpy as np` di awal program Anda.
 Berikut adalah contoh beberapa operasi dasar numpy:
@@ -66,13 +111,13 @@ demo = gr.Interface(
         ["Memanglah. Ini tak payah expert, aku pun tau. It's a gesture", 'Malay'],
         ["Memanglah. Ini tak payah expert, aku pun tau. It's a gesture", 'English'],
         ['Kita ora duwe wektu kanggo gelut utawa sengit.', 'Malay'],
-        ["\n26 DR.27.10.2021 \n\n \nUSUL MENANGGUHKAN MESYUARAT  \n\nDI BAWAH P.M. 18(1) \n \n\nPENJUALAN ASET GAS PETRONAS DI AZERBAIJAN \n\n \n\n11.33 pg. \n\nDato’ Seri Anwar bin Ibrahim [Port Dickson]: Tuan Yang di-Pertua, saya \nmohon mengemukakan usul di bawah Peraturan Mesyuarat 18(1) dan 18(2) Peraturan-\nperaturan Majlis Mesyuarat Dewan Rakyat seperti berikut: \n\n“Bahawa Dewan yang bersidang pada hari ini merundingkan \nlaporan bahawa Petronas telah menjual aset gas di Azerbaijan dengan \n", 'English'],
-        [s, 'Malay']
+        [hansard, 'English'],
+        [code, 'Malay']
 
     ],
     cache_examples=False,
     title='Malaysian NMT',
-    description='This translation model able to translate malay, pasar malay (social media texts or local context), english, manglish, javanese, banjarese and indonesian to target language.\nFor the first time is slow due to warmup, but after that should be fast.'
+    description='This translation model able to translate malay, pasar malay (social media texts or local context), english, manglish, javanese, banjarese and indonesian to target language.'
 )
 
 demo.launch(server_name='0.0.0.0')

requirements.txt

@@ -1,3 +1,4 @@
 malaya @ git+https://github.com/huseinzol05/malaya@5.1
 torch
-malaya-boilerplate
+malaya-boilerplate
+ctranslate2