Crad/Bielik-GGUF

About

These are quantized Bielik models, from https://huggingface.co/speakleash

Keep in mind the original model license when using these models

Quantization process:

1. Under your llama.cpp/models/Bielik directory make sure, you have raw files from official repository (at the moment of writing, version 0.1: https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1):

-rw-r--r-- 1 root root         593 Apr 13 09:12 config.json
-rw-r--r-- 1 root root         111 Apr 13 09:12 generation_config.json
-rw-r--r-- 1 root root  4943162336 Mar 30 22:53 model-00001-of-00003.safetensors
-rw-r--r-- 1 root root  4999819336 Mar 30 22:53 model-00002-of-00003.safetensors
-rw-r--r-- 1 root root  4540516344 Mar 30 22:53 model-00003-of-00003.safetensors
-rw-r--r-- 1 root root     1795303 Apr 13 08:21 tokenizer.json
-rw-r--r-- 1 root root      493443 Mar 30 22:53 tokenizer.model

2. Execute python convert.py --outtype f16 models/Bielik
3. Generate imatrix (1st 8000 lines from pl-wiki dataset - see on my profile): ./imatrix -m models/Bielik/ggml-model-f16.gguf -f /root/wiki/wiki.small.txt -ngl 33 -o models/Bielik/imatrix.dat
4. Execute ./quantize --imatrix models/Bielik/imatrix.dat models/Bielik/ggml-model-f16.gguf models/Bielik.<quant option>.gguf <quant option>

Results:

All results presented using: ./main -m models/Bielik/Bielik.<quant option>.gguf -ngl 99 -p "[INST]Jakie są pory roku?[/INST]"

IQ1_M

[INST]Jakie są pory roku?[/INST] Pory roku to okresy rośnienda i wytracania słoiczka w wyniku obrotu Ziemi wokół Słośica. Miesiąc, w którym panuje na naszym niebosie "Słońce" jest okresem w którym przebywamy dłużej. [end of text]

IQ1_S

 [INST]Jakie są pory roku?[/INST]
Porów roku jest tyle co pór roku. Pory roku dzielą się na:
- porę monsanto
- porę dzieka wersa
- porę dornej
- porę monsanto
- porę konfitus
- porą odzyska
- porą gorzaki
- porą mnisty
- porę drzewa
- porą mnisty
- porą cmentomor
- porą monszun
- porą kaszo
- porą kalifator
- porą pólkra
- porą cmentatorską
- porą konkretn
- porą tajemnic
- porą odoror
- porą podsumowania [end of text]

IQ2_XXS

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżnia się trzy pory roku: wiosnę, lato, jesień i zimę. [end of text]

IQ3_XXS

[INST]Jakie są pory roku?[/INST]  Podział na pory roku jest różny w zależności od strefy klimatycznej. W Polsce powszechnie przyjmuje się podział na cztery pory roku:

1. Wiosna (od 21 marca do 20 czerwca)
2. Lato (od 21 czerwca do 22 września)
3. Jesień (od 23 września do 21 grudnia)
4. Zima (od 21 grudnia do 20 marca)

Jednakże, te daty mogą się różnić w zależności od regionu i klimatu. [end of text]

IQ3_XS

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżnia się cztery pory roku: wiosnę, lato, jesień i zimę. Wiosna rozpoczyna się w marcu, kiedy to przyroda zaczyna budzić się do życia. Latem temperatury są wysokie, a dni są długie i słoneczne. Jesień przychodzi we wrześniu i październiku, charakteryzuje się ona spadkiem temperatur i większą ilością opadów. Zima rozpoczyna się w grudniu i styczniu, jest to czas, kiedy temperatury są najniższe, a dni są krótsze. [end of text]

Q2_K_S

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżniamy cztery pory roku:
1. Wiosna - od 1 marca do 20 maja
2. Lato - od 21 maja do 22 września
3. Jesień - od 23 września do 31 października
4. Zima - od 1 listopada do 28 lutego

Te daty są ruchome, co oznacza, że każdego roku pory roku mogą zaczynać się trochę wcześniej lub później. [end of text]

Q3_K_S (no imatrix)

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżnia się cztery pory roku:

1. Wiosna: trwa od 21 marca do 20 czerwca. Charakteryzuje się rosnącymi temperaturami, kwitnieniem kwiatów i narodzinami nowego życia po zimie.
2. Lato: trwa od 21 czerwca do 22 września. Charakteryzuje się najwyższymi temperaturami w roku, pełnym słońcem i okresem wakacji.
3. Jesień: trwa od 23 września do 21 grudnia. Charakteryzuje się spadkiem temperatur, pojawieniem się liści w jesiennych kolorach i zbiorami plonów.
4. Zima: trwa od 22 grudnia do 20 marca. Charakteryzuje się najniższymi temperaturami w roku, spadkiem liści i dłuższą nocą.

Te daty mogą się różnić w zależności od regionu i kraju, ale generalnie odzwierciedlają typowe zmiany w przyrodzie. [end of text]

Favourite hallucinations from IQ2_XXS

 [INST]Jakie są pory roku?[/INST]  W Polsce pory roku to:
- wiosna
- lato
- jesień
- zima

KaGETKA DZIUPA Z KAMER KIJI:

Dobo Tengo Kijilka Wiecej O:

Wiecej informacji na ten temat mozna znalezc w materiale filmowym zrealizowanym przez TVP Krotko:

<url> [end of text]

[INST]Jakie są pory roku?[/INST]  W Polsce pory roku są:
-jesień
-zima
-wiosna
-lato

W Czechach jest jedna więcej pora roku - jesien (zimovy)

W USA jest jedna więcej pora - pora deszczowa


P [end of text]

Important note

Model likes to respond in English when given math questions.

[INST]Ile to 2+2?[/INST]  Ile to 2+2 means: "How does 2 plus 2 add?", which would be 4. [end of text]

However, prepending the query with some longer initial message seems to fix this behaviour:

[INST]Hejka, mam na imię Radek. Mógłbyś mi powiedzieć ile to 2+2?[/INST]  Hej, Radek. Odpowiedź na pytanie 2+2 to 4. [end of text]

and

[INST]Jak stara jest Ziemia?[/INST]  Ziemia jest starsza, niż jakiekolwiek sztuczne koncepty mówią. W rzeczywistości Ziemia ma około 4.5 do 5 miliardów lat. W 1920 roku, brytyjski chemik i paleontolog dr. M.C.K. Birsig zidentyfikował trinoblaster w skamieniałym zlepie z RPA, i to wskazuje na to, że organizm ten miał komórki z jądami, i że było to 300 do 400 milionów lat temu. Dzisiaj mamy technologię, która może potwierdzić, że Ziemia jest o wiele starsza.
[INST]A ile to 2+2?[/INST]
Dwa plus dwa równa się cztery.