ilhami commited on
Commit
9bb1fce
1 Parent(s): aac4e13

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +45 -1
README.md CHANGED
@@ -1,2 +1,46 @@
1
- Turkish to English Machine translation
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  Transformer Based(6 Layer)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - ru
4
+ - en
5
+ tags:
6
+ - translation
7
+ license: apache-2.0
8
+ datasets:
9
+ - wmt19
10
+ metrics:
11
+ - bleu
12
+ - sacrebleu
13
+ ---
14
+
15
+ Turkish to English Machine Translation
16
+ Dataset : Sel, İ. , Üzen, H. & Hanbay, D. (2021). Creating a Parallel Corpora for Turkish-English Academic Translations . Computer Science , 5th International Artificial Intelligence and Data Processing symposium , 335-340 . DOI: 10.53070/bbd.990959
17
  Transformer Based(6 Layer)
18
+
19
+
20
+ //usage
21
+
22
+ checkpoint2 = "ilhami/Tr_En_AcademicTranslation"
23
+
24
+ from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
25
+
26
+ tokenizer = AutoTokenizer.from_pretrained(checkpoint)
27
+
28
+ model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint).to("cuda")
29
+
30
+ tr= ["Sohbet robotları son yıllarda yaygın bir şekilde kullanılmaya başlanmıştır. ",
31
+ "İnsanları taklit eden ve daha iyi müşteri memnuniyeti sağlayan sohbet robotları en gelişkin doğal dil işleme tekniklerine ihtiyaç duymaktadır. ",
32
+ "Bu çalışma sohbet robotu konuşmalarının niyet tahminini geliştirmeye odaklanmıştır." ,
33
+ "Kelime gösterimi için TF-IDF, Doc2vec ve BERT gibi geleneksel ve gelişmiş doğal dil işleme yöntemleri, çoklu sınıf ve çoklu etiket tahmini için ise lojistik regresyon, rastgele orman ve yapay sinir ağları kullanılmıştır." ,
34
+ "Sohbet robotu konuşma veri kümeleri, sinema bileti rezervasyonu, restoran rezervasyonu ve taksi çağırma olmak üzere üç farklı alandan alınmıştır. ",
35
+ "Bu çalışmanın sonunda, BERT ve BERT ile TF-IDF birleşimi modellerin diğer kombinasyonlardan daha iyi sonuç verdiği görülmüştür. ",
36
+ "BERT gibi ön eğitimli modellerden faydalanmanın daha iyi bağlamsal anlama sağladığı ortaya çıkmıştır. ",
37
+ "TF-IDF yerleştirmeleri, BERT gösterimi ile birleştirilerek niyet kategorisi tahmininin iyileştirilmesi amaçlanmıştır."]
38
+
39
+
40
+ encoded_text = tokenizer(tr, return_tensors="pt", padding = True).to("cuda")
41
+
42
+
43
+ generated_tokens = model.generate(**encoded_text)
44
+
45
+
46
+ en = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)