This repo contains a low-rank adapter for LLaMA-7B trained on generated (not translated!) 55125 instructions in Polish.
The training took almost 16 hours on a single RTX 4090 with the following hyperparameters:
- Epochs: 10 (global steps: 4300)
- batch_size: 128
- micro_batch_size: 8
- learning_rate: 0.0001
- cutoff_len: 2048 (effectively no cut off!)
- lora_r: 8
- lora_alpha: 16
- lora_dropout: 0.05
- lora_target_modules: ['q_proj', 'k_proj', 'v_proj', 'o_proj']
- train_on_inputs: True
- group_by_length: True
This adapter allows the model to speak Polish more accurate than Alpaca-Lora-7B.
Instructions for running it can be found at https://github.com/tloen/alpaca-lora.
Examples
- Instruction:
Jaki jest najwy偶szy szczyt w Polsce?
Alpaca PL: Najwy偶szy szczyt w Polsce to Rysy, osi膮gaj膮cy wysoko艣膰 2499 m n.p.m.
Alpaca-Lora-7B: W Polsce najwy偶szym szczytem jest Snie偶nik o wysoko艣ci 1655 m n.p.m.
- Instruction:
Przet艂umacz na angielski: Kiedy by艂em ma艂ym ch艂opcem, lubi艂em gra膰 w pi艂k臋 no偶n膮. Teraz jestem doros艂y i lubie biega膰.
Alpaca PL: When I was a little boy, I used to play soccer. Now I'm an adult and I like running.
Alpaca-Lora-7B: When I was a small boy, I loved playing soccer. Now I am an adult and I love running.
- Instruction:
Przet艂umacz zdanie na j臋zyk polski: We have a powerful tool like LLM but are still looking for equally powerful methods to control it.
Alpaca PL: T艂umaczenie zdania na j臋zyk polski: "Mamy silny narz臋dzie takie jak LLM, ale jeszcze nie znale藕li艣my r贸wnie silnych metod, aby go kontrolowa膰."
Alpaca-Lora-7B: When I was a small boy, I loved playing soccer. Now I am an adult and I love running.
- Instruction:
Co mo偶na robi膰 w wolnym czasie?
Alpaca PL: W wolnym czasie mo偶na zrobi膰 wiele rzeczy, takich jak czyta膰 ksi膮偶ki, s艂ucha膰 muzyki, ogl膮da膰 filmy lub gra膰 w gry planszowe. Mo偶na r贸wnie偶 sp臋dza膰 czas z rodzin膮 lub przyjaci贸艂mi.
Alpaca-Lora-7B: Co mo偶na robi膰 w wolnym czasie? W wolnym czasie mo偶na rozmawia膰 z rodzin膮, czyta膰 ksi膮偶ki, czyta膰 gazet臋, czyta膰 w internecie, gra膰 w karty, gra膰 w gry komputerowe, sp臋dza膰 czas z przyjaci贸艂mi, czyta膰 ksi膮偶ki, czyta膰 gazet臋, czyta膰 w internecie, gra膰 w karty, gra膰 w gry komputerowe, sp臋dza膰 czas z przy
- Instruction:
Wyt艂umacz 5 latkowi co to jest fizyka kwantowa
Alpaca PL: Fizyka kwantowa to dziedzina nauki, kt贸ra zajmuje si臋 badaniem zjawisk zachodz膮cych na poziomie kwantowym, czyli na poziomie atom贸w i cz膮stek. Jest to dziedzina nauki, kt贸ra ma ogromny wp艂yw na wiele dziedzin nauki, takich jak fizyka, chemia, medycyna i in偶ynieria.
Alpaca-Lora-7B: Quantum physics is the study of the behavior of matter and energy at the atomic and subatomic levels. It is based on the principles of quantum mechanics, which describe the behavior of particles and waves. Quantum physics is used to explain phenomena such as superposition, entanglement, and tunneling.
- Instruction:
Na czym polega faktoryzacja liczby?
Alpaca PL: Faktoryzacja to proces dzielenia liczby na mniejsze liczby, takie jak 12 = 3 * 4.
Alpaca-Lora-7B: Faktoryzacja jest procesem obliczeniowym polegaj膮cym na rozdzieleniu liczby na jej mniejsze cz臋艣ci.
- Instruction:
Jaki jest wp艂yw palenia papieros贸w na zdrowie cz艂owieka?
Alpaca PL: Palenie papieros贸w ma negatywny wp艂yw na zdrowie cz艂owieka, powoduj膮c choroby takie jak raka p艂uc, choroby serca i cukrzyc臋 typu 2.
Alpaca-Lora-7B: Palenie papieros贸w mo偶e mie膰 negatywny wp艂yw na zdrowie cz艂owieka. Palenie papieros贸w powoduje zwi臋kszenie ryzyka wyst膮pienia chor贸b uk艂adu oddechowego, takich jak raka p艂uc, choroby uk艂adu kr膮偶kowego, chor贸b serca, chor贸b uk艂adu krwiono艣nego, chor贸b uk艂adu nerwowego i chor贸b uk艂adu pokarmowego. Palenie papieros贸w powoduje r贸wnie偶 zwi臋ks
- Instruction:
Jakie jest znaczenie Protist贸w?
Alpaca PL: Protisty to grupa organizm贸w, kt贸re nie nale偶膮 do zwierz膮t ani ro艣lin. S膮 to organizmy jednokom贸rkowe lub wielokom贸rkowe, kt贸re 偶yj膮 w r贸偶nych 艣rodowiskach, w tym w wodzie, na ziemi i w powietrzu.
Alpaca-Lora-7B: Protist贸w znaczenie to "przeciwstawnych".
- Instruction:
Doko艅cz zdanie: W Szczebrzeszynie chrz膮szcz brzmi w ____
Alpaca PL: W Szczebrzeszynie chrz膮szcz brzmi w lesie.
Alpaca-Lora-7B: W Szczebrzeszynie chrz膮szcz brzmi w gwizdku.