rifkat commited on
Commit
098049a
1 Parent(s): 0b79e07

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -1
README.md CHANGED
@@ -1,4 +1,5 @@
1
  Ushbu model, HuggingFace-da RoBERTa transformatorini amalga oshirishga asoslangan. Bizning RoBERTa dasturimiz 12 ta diqqat boshi va 6 ta qatlamdan foydalanadi, natijada 72 ta aniq e'tibor mexanizmlari paydo bo'ladi. Biz har bir kirish satridagi tokenlarning 15 foizini niqoblaydigan RoBERTa-dan dastlabki tekshirish protsedurasini qabul qildik. Biz maksimal 52K tokenli lug'atdan va maksimal 512 ta ketma-ketlik uzunligidan foydalanganmiz. Biz 1M PubChem to'plamlarida 10 ta davr uchun o'qitdik. Loss funksiya 2.9 dan 0.33 gacha tushdi. Ushbu modelni sizga taqdim qilamiz.
 
2
 
3
  @misc {rifkat_davronov_2022,
4
  author = { {Adilova Fatima,Rifkat Davronov, Samariddin Kushmuratov, Ruzmat Safarov} },
@@ -7,4 +8,6 @@ Ushbu model, HuggingFace-da RoBERTa transformatorini amalga oshirishga asoslanga
7
  url = { https://huggingface.co/rifkat/pubchem_1M },
8
  doi = { 10.57967/hf/0177 },
9
  publisher = { Hugging Face }
10
- }
 
 
 
1
  Ushbu model, HuggingFace-da RoBERTa transformatorini amalga oshirishga asoslangan. Bizning RoBERTa dasturimiz 12 ta diqqat boshi va 6 ta qatlamdan foydalanadi, natijada 72 ta aniq e'tibor mexanizmlari paydo bo'ladi. Biz har bir kirish satridagi tokenlarning 15 foizini niqoblaydigan RoBERTa-dan dastlabki tekshirish protsedurasini qabul qildik. Biz maksimal 52K tokenli lug'atdan va maksimal 512 ta ketma-ketlik uzunligidan foydalanganmiz. Biz 1M PubChem to'plamlarida 10 ta davr uchun o'qitdik. Loss funksiya 2.9 dan 0.33 gacha tushdi. Ushbu modelni sizga taqdim qilamiz.
2
+ <pre><code class="language-python">
3
 
4
  @misc {rifkat_davronov_2022,
5
  author = { {Adilova Fatima,Rifkat Davronov, Samariddin Kushmuratov, Ruzmat Safarov} },
 
8
  url = { https://huggingface.co/rifkat/pubchem_1M },
9
  doi = { 10.57967/hf/0177 },
10
  publisher = { Hugging Face }
11
+ }
12
+
13
+ </code></pre>