Update README.md
#1
by
lyzell2
- opened
README.md
CHANGED
@@ -21,11 +21,13 @@ tokens selected from the [SpeakLeash](https://speakleash.org/) dataset.
|
|
21 |
This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data.
|
22 |
In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T).
|
23 |
|
24 |
-
The training was made possible thanks to TPU Research Cloud program. The model was trained on a TPUv3-256.
|
25 |
|
26 |
Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).
|
27 |
|
28 |
-
## Example
|
|
|
|
|
29 |
|
30 |
**Poniższy artykuł opisuje historię Polski. Polska to kraj, który** w ciągu wieków był świadkiem wielu
|
31 |
ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze
|
@@ -33,6 +35,18 @@ wydarzenia z historii Polski, od czasów starożytnych do współczesności. His
|
|
33 |
który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I
|
34 |
przyjął chrzest, co zapoczątkowało proces ...
|
35 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
36 |
## Model Card Contact
|
37 |
|
38 |
maciej.pioro at ideas-ncbr.pl
|
|
|
21 |
This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data.
|
22 |
In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T).
|
23 |
|
24 |
+
The training was made possible thanks to the [TPU Research Cloud](https://sites.research.google/trc/about/) program. The model was trained on a TPUv3-256.
|
25 |
|
26 |
Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).
|
27 |
|
28 |
+
## Example outputs
|
29 |
+
|
30 |
+
(prompts are in bold)
|
31 |
|
32 |
**Poniższy artykuł opisuje historię Polski. Polska to kraj, który** w ciągu wieków był świadkiem wielu
|
33 |
ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze
|
|
|
35 |
który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I
|
36 |
przyjął chrzest, co zapoczątkowało proces ...
|
37 |
|
38 |
+
**Warszawa to stolica Polski. W najludniejszym mieście kraju można zwiedzić m.in.** Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina,
|
39 |
+
Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pałacu Króla Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodległości,
|
40 |
+
Muzeum Katyńskie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ...
|
41 |
+
|
42 |
+
**Najstarsze historyczne wzmianki o zamku w Bojnicach pochodzą z** 1241 roku. W 1245 roku król węgierski Bela IV nadał go w lenno biskupowi ołomunieckiemu.
|
43 |
+
W 1271 roku król węgierski Stefan V nadał go w lenno biskupowi ołomunieckiemu. W 1302 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiemu.
|
44 |
+
W 1304 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiem
|
45 |
+
|
46 |
+
**Słowacja to państwo położone w Europie Środkowej,** które graniczy z Polską, Czechami, Ukrainą, Węgrami, Austrią i Rumunią. Słowacja jest państwem średnio roz-
|
47 |
+
winiętym, które w 2013 roku liczyło 5,4 mln mieszkańców i zajmowało powierzchnię 49 035 km2. Stolicą państwa jest Bratysława, która jest jednocześnie największym miastem
|
48 |
+
w kraju.
|
49 |
+
|
50 |
## Model Card Contact
|
51 |
|
52 |
maciej.pioro at ideas-ncbr.pl
|