library_name: transformers
tags:
- MoE
- Mixtral
license: apache-2.0
datasets:
- togethercomputer/RedPajama-Data-1T
- SpeakLeash
language:
- pl
- en
Mixtral-8x7B-v0.1-pl
Mixtral-8x7B-v0.1-pl is a Mixtral 8x7b model fine-tuned using 2.2B Polish tokens selected from the SpeakLeash dataset. This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data. In order to preserve English capabilities, we include about 600M tokens from the RedPajama dataset.
The training was made possible thanks to the TPU Research Cloud program. The model was trained on a TPUv3-256.
Our codebase is based on the Focused Transformer repo and EasyLM.
Thanks to Konrad Staniszewski, Bart艂omiej Cupia艂 and Piotr Mi艂o艣, who have contributed greatly to the creation of this model.
To release this model, we also used the Entropy cluster (hosted at the Faculty of Mathematics, Informatics and Mechanics of the University of Warsaw) funded by NVIDIA, Intel, the Polish National Science Center grant 2022/45/N/ST6/02222, and ERC Starting Grant TOTAL.
Example outputs
(prompts are in bold)
Poni偶szy artyku艂 opisuje histori臋 Polski. Polska to kraj, kt贸ry w ci膮gu wiek贸w by艂 艣wiadkiem wielu wa偶nych wydarze艅, kt贸re mia艂y wp艂yw na jej rozw贸j. W artykule przedstawiono najwa偶niejsze wydarzenia z historii Polski, od czas贸w staro偶ytnych do wsp贸艂czesno艣ci. Historia Polski - staro偶ytno艣膰 Polska to kraj, kt贸ry ma d艂ug膮 i bogat膮 histori臋. Pierwsze wzmianki o Polsce pochodz膮 z czas贸w staro偶ytnych. W 966 roku Mieszko I przyj膮艂 chrzest, co zapocz膮tkowa艂o proces ...
Warszawa to stolica Polski. W najludniejszym mie艣cie kraju mo偶na zwiedzi膰 m.in. Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina, Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pa艂acu Kr贸la Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodleg艂o艣ci, Muzeum Katy艅skie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ...
Najstarsze historyczne wzmianki o zamku w Bojnicach pochodz膮 z 1241 roku. W 1245 roku kr贸l w臋gierski Bela IV nada艂 go w lenno biskupowi o艂omunieckiemu. W 1271 roku kr贸l w臋gierski Stefan V nada艂 go w lenno biskupowi o艂omunieckiemu. W 1302 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiemu. W 1304 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiem
S艂owacja to pa艅stwo po艂o偶one w Europie 艢rodkowej, kt贸re graniczy z Polsk膮, Czechami, Ukrain膮, W臋grami, Austri膮 i Rumuni膮. S艂owacja jest pa艅stwem 艣rednio roz- wini臋tym, kt贸re w 2013 roku liczy艂o 5,4 mln mieszka艅c贸w i zajmowa艂o powierzchni臋 49 035 km2. Stolic膮 pa艅stwa jest Bratys艂awa, kt贸ra jest jednocze艣nie najwi臋kszym miastem w kraju.
Model Card Contact
maciej.pioro at ideas-ncbr.pl