uploaded readme

README.md

@@ -0,0 +1,168 @@
+Quantization made by Richard Erkhov.
+
+[Github](https://github.com/RichardErkhov)
+
+[Discord](https://discord.gg/pvy7H8DZMG)
+
+[Request more models](https://github.com/RichardErkhov/quant_request)
+
+
+Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT - GGUF
+- Model creator: https://huggingface.co/Remek/
+- Original model: https://huggingface.co/Remek/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT/
+
+
+| Name | Quant method | Size |
+| ---- | ---- | ---- |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q2_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q2_K.gguf) | Q2_K | 2.96GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_XS.gguf) | IQ3_XS | 3.28GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_S.gguf) | IQ3_S | 3.43GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_S.gguf) | Q3_K_S | 3.41GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ3_M.gguf) | IQ3_M | 3.52GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K.gguf) | Q3_K | 3.74GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_M.gguf) | Q3_K_M | 3.74GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q3_K_L.gguf) | Q3_K_L | 4.03GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_XS.gguf) | IQ4_XS | 4.18GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_0.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_0.gguf) | Q4_0 | 4.34GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.IQ4_NL.gguf) | IQ4_NL | 4.38GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_S.gguf) | Q4_K_S | 4.37GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K.gguf) | Q4_K | 4.58GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_K_M.gguf) | Q4_K_M | 4.58GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_1.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q4_1.gguf) | Q4_1 | 4.78GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_0.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_0.gguf) | Q5_0 | 5.21GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_S.gguf) | Q5_K_S | 5.21GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K.gguf) | Q5_K | 5.34GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_K_M.gguf) | Q5_K_M | 5.34GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_1.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q5_1.gguf) | Q5_1 | 5.65GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q6_K.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q6_K.gguf) | Q6_K | 6.14GB |
+| [Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q8_0.gguf](https://huggingface.co/RichardErkhov/Remek_-_Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT-gguf/blob/main/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT.Q8_0.gguf) | Q8_0 | 7.95GB |
+
+
+
+
+Original model description:
+---
+language:
+- pl
+- en
+pipeline_tag: text-generation
+license: cc-by-4.0
+---
+
+## Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT
+
+Repozytorium zawiera model Meta Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT w wersji polskojęzycznej. Jest to model INSTRUCT (instrukcyjny). Model postał na podstawie finetuningu modelu bazowego Llama-3-8B. Wykorzystano do tego dataset instrukcji Omnibus-1-PL (stworzyłem go na własne potrzeby przeprowadzania eksperymenów finetuningu modeli w języku polskim). Szczegóły parametrów treningu w sekcji Trening. Celem tego eksperymentu było sprawdzenie czy można namówić Llama-3-8B do płynnego rozmawiania w języku polskim (oryginalny model instrukcyjny 8B ma z tym problem - woli zdecydowanie bardziej rozmawiać po angielsku).
+
+<img src="Llama-3-8B-PL-small.jpg" width="420" />
+
+Uwaga! 
+* Model NIE jest CENZUROWANY. To wersja do zabawy. Nie została ujarzmiona.
+* Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)
+* Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.
+* Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to świetny model do finetuningu. Być może lekkie dotrenowanie modelu za pomocą contingued-pretraining da jeszcze większy uzysk. 
+
+### Sposób kodowania nazwy modelu
+* Nazwa modelu bazowego: Llama-3-8B
+* Nazwa datasetu: Omnibus-1
+* Wersja językowa: PL (polska)
+* Wersja modelu: v01
+
+### Dataset
+Omnibus-1 to zbiór polskich instrukcji (100% kontekstu Polskiego - fakty, osoby, miejsca osadzone w Polsce), który został w 100% syntetycznie wygenerowany. Zawiera on instrukcje z kategorii - matematyka, umiejętność pisania, dialogi, tematy medyczne, zagadki logiczne, tłumaczenia itd. Powstał on w ramach moich prac związanych z badaniem jakości modeli w kontekście języka polskiego. Pozwala on na finetuning modelu i sprawdzenie podatności modelu do mówienia w naszym rodzimym języku. Dataset zawiera obecnie 75.000 instrukcji. Nie jest on idealny i wymaga jeszcze dużo nakładu pracy by model pracował w przewidywalnie ale będzie cały czas udoskonalony i być może w przyszłości udostępniony (jak uznam, że już jest wtstarczająco pełen i obejmuje szerokie spektrum tematyki i umiejętności). Dataset jest w 100% generowany za pomocą innych LLM. 
+
+### Użycie Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT z biblioteką Transformers
+
+Poniższy kod używa bibliotekę Transformers:
+
+```python
+import transformers
+import torch
+
+model_id = "Remek/Llama-3-8B-Omnibus-1-PL-v01-INSTRUCT"
+
+pipeline = transformers.pipeline(
+    "text-generation",
+    model=model_id,
+    model_kwargs={"torch_dtype": torch.bfloat16},
+    device="auto",
+)
+
+messages = [
+    {"role": "system", "content": "You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability."},
+    {"role": "user", "content": "Napisz czym jest Warszawa?"},
+]
+
+prompt = pipeline.tokenizer.apply_chat_template(
+		messages, 
+		tokenize=False, 
+		add_generation_prompt=True
+)
+
+terminators = [
+    pipeline.tokenizer.eos_token_id,
+    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
+]
+
+outputs = pipeline(
+    prompt,
+    max_new_tokens=256,
+    eos_token_id=terminators,
+    do_sample=True,
+    temperature=0.6,
+    top_p=0.9,
+)
+print(outputs[0]["generated_text"][len(prompt):])
+```
+
+Przykładowa odpowiedź:
+
+> Warszawa to stolica Polski, położona na terenie Mazowsza. Jest to największe miasto w Polsce pod względem liczby mieszkańców oraz powierzchni. Warszawa jest również siedzibą rządu, parlamentu, prezydenta, sądu najwyższego oraz wielu innych instytucji państwowych i międzynarodowych. Miasto jest znane z wielu zabytków, takich jak Stare Miasto, Zamek Królewski, Pałac Kultury i Nauki, a także z nowoczesnych atrakcji, takich jak Centrum Nauki Kopernik czy Centrum Nauki i Sztuki. Warszawa jest również ważnym centrum kulturalnym, gospodarczym i naukowym. Miasto jest również siedzibą wielu firm międzynarodowych i polskich przedsiębiorstw. Warszawa jest miastem, które łączy w sobie przeszłość z nowoczesnością, oferując mieszkańcom i turystom szeroki zakres możliwości. Miasto jest również znane z wielu festiwali i wydarzeń kulturalnych, które przyciągają miliony turystów z całego świata. Warszawa to miasto pełne życia, kultury, historii i nowoczesności, które zdecydowanie zasługuje na uwagę. <|im_end|>
+
+
+### Szablon konwersacji 
+Szablon konwersacji to oryginalna wersja Llama3
+
+```
+<|start_header_id|>system<|end_header_id|>
+You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.
+<|eot_id|>
+<|start_header_id|>user<|end_header_id|>
+{User}
+<|eot_id|><|start_header_id|>assistant<|end_header_id|>
+{Assistant}
+```
+
+### Wersje quantized
+Wersje poddane quantyzacji są dostępne w repozytorium:
+* Llama-3-8B-Omnibus-1-PL-v01-instruct-GGUF - przetestowane w LM Studio (wybierz szablon - Llama3) oraz ollama
+
+* 
+| Version | Model card                                                                 |
+| ------- | -------------------------------------------------------------------------- |
+| Instruct| [🤗 HuggingFace](https://huggingface.co/Remek/Llama-3-8B-Omnibus-1-PL-v01-instruct-GGUF) |
+
+### Trening
+Poniżej szczegóły hiperparametrów treningu:
+* learning_rate: 2e-05
+* train_batch_size: 8
+* eval_batch_size: 8
+* seed: 42
+* distributed_type: single-GPU (Nvidia A6000 Ada)
+* num_devices: 1
+* gradient_accumulation_steps: 4
+* optimizer: adamw_8bit
+* lr_scheduler_type: linear
+* lr_scheduler_warmup_steps: 5
+* num_epochs: 1
+* QLoRa - 4bit: rank 64, alpha 128
+
+#### Unsloth
+
+<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/made with unsloth.png" width="200px" align="center" />
+
+[Unsloth](https://unsloth.ai), narzędzie dzięki któremu powstał ten model.
+
+
+### Licencja
+Licencja na zasadzie nie do komercyjnego użycia (ze względu na dataset - generowany syntetycznie za pomocą modeli GPT4, GPT3.5) oraz licencja Llama3 (proszę o zapoznanie się ze szczegółami licencji).
+