Mindaugas Pranckevicius commited on
Commit
8374b1a
1 Parent(s): fd7b302

A bit more training on an additional data

Browse files

README.md CHANGED
@@ -13,24 +13,23 @@ Not the best model because of limited resources (Trained on ~4.7 GB of data on R
13
  from transformers import pipeline
14
  unmasker = pipeline('fill-mask', model='jkeruotis/LitBERTa-uncased')
15
  unmasker('lietuvių kalba yra viena iš <mask> kalbų pasaulyje.')
16
- [{'sequence': 'lietuvių kalba yra viena iš nedaugelio kalbų pasaulyje.',
17
- 'score': 0.13811470568180084,
18
- 'token': 28150,
19
- 'token_str': ' nedaugelio'},
20
- {'sequence': 'lietuvių kalba yra viena iš geriausių kalbų pasaulyje.',
21
- 'score': 0.12880706787109375,
22
- 'token': 5617,
23
- 'token_str': ' geriausių'},
24
- {'sequence': 'lietuvių kalba yra viena iš populiariausių kalbų pasaulyje.',
25
- 'score': 0.12645503878593445,
26
  'token': 9404,
27
  'token_str': ' populiariausių'},
 
 
 
 
28
  {'sequence': 'lietuvių kalba yra viena iš seniausių kalbų pasaulyje.',
29
- 'score': 0.08773279190063477,
30
  'token': 14775,
31
  'token_str': ' seniausių'},
32
- {'sequence': 'lietuvių kalba yra viena iš svarbiausių kalbų pasaulyje.',
33
- 'score': 0.08201173692941666,
34
- 'token': 6641,
35
- 'token_str': ' svarbiausių'}]
36
- ```
 
 
 
13
  from transformers import pipeline
14
  unmasker = pipeline('fill-mask', model='jkeruotis/LitBERTa-uncased')
15
  unmasker('lietuvių kalba yra viena iš <mask> kalbų pasaulyje.')
16
+ [{'sequence': 'lietuvių kalba yra viena iš populiariausių kalbų pasaulyje.',
17
+ 'score': 0.13887910544872284,
 
 
 
 
 
 
 
 
18
  'token': 9404,
19
  'token_str': ' populiariausių'},
20
+ {'sequence': 'lietuvių kalba yra viena iš pirmaujančių kalbų pasaulyje.',
21
+ 'score': 0.13532795011997223,
22
+ 'token': 27431,
23
+ 'token_str': ' pirmaujančių'},
24
  {'sequence': 'lietuvių kalba yra viena iš seniausių kalbų pasaulyje.',
25
+ 'score': 0.1184583529829979,
26
  'token': 14775,
27
  'token_str': ' seniausių'},
28
+ {'sequence': 'lietuvių kalba yra viena iš geriausių kalbų pasaulyje.',
29
+ 'score': 0.09306756407022476,
30
+ 'token': 5617,
31
+ 'token_str': ' geriausių'},
32
+ {'sequence': 'lietuvių kalba yra viena iš nedaugelio kalbų pasaulyje.',
33
+ 'score': 0.08187634497880936,
34
+ 'token': 28150,
35
+ 'token_str': ' nedaugelio'}]```
pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:cd560500d7b40ad8e76f170b2bdef36f2edc4c1c0de53dd0df6cb9fa7f946eab
3
- size 737206299
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b287db6b5a5e3f111128acce6b83bd16296980ef907ececc80dc346304a20e78
3
+ size 737206309
tokenizer_config.json CHANGED
@@ -1 +1 @@
1
- {"unk_token": {"content": "<unk>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "bos_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "eos_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "add_prefix_space": false, "errors": "replace", "sep_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "cls_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "pad_token": {"content": "<pad>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "max_len": 256, "special_tokens_map_file": null, "name_or_path": "./.models2/LitBERTa-base-v3"}
1
+ {"unk_token": {"content": "<unk>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "bos_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "eos_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "add_prefix_space": false, "errors": "replace", "sep_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "cls_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "pad_token": {"content": "<pad>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "max_len": 256, "special_tokens_map_file": null, "name_or_path": "./.models2/LitBERTa-base-v8"}
train_results.txt CHANGED
@@ -1,3 +1,3 @@
1
- epoch = 6.0
2
- train_runtime = 106122.2527
3
- train_samples_per_second = 11.818
1
+ epoch = 1.0
2
+ train_runtime = 31399.0337
3
+ train_samples_per_second = 6.066
trainer_state.json CHANGED
The diff for this file is too large to render. See raw diff
training_args.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:d9223ac8d820ef410c16a254afa3a83f88f879cabb0714ac546c9986e9e8d6a2
3
  size 2159
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f164436affdfd4273a7122844f6573aefe0b169801ba74c5de0934ecf6b82e90
3
  size 2159