Create README.md

README.md

@@ -0,0 +1,57 @@
+---
+datasets:
+- IlyaGusev/ru_turbo_alpaca
+- yahma/alpaca-cleaned
+language:
+- ru
+pipeline_tag: text2text-generation
+inference: false
+---
+
+# LLaMA 13B trained on the ru_turbo_alpaca, Russian instructions dataset
+
+Based on [LLaMA 13B](https://huggingface.co/decapoda-research/llama-13b-hf).
+
+* This is an adapter-only version.
+
+Training code: [link](https://github.com/IlyaGusev/rulm/tree/master/self_instruct)
+
+```python
+from peft import PeftModel, PeftConfig
+from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
+
+MODEL_NAME = "IlyaGusev/llama_13b_ru_turbo_alpaca_lora"
+
+config = PeftConfig.from_pretrained(MODEL_NAME)
+model = AutoModelForCausalLM.from_pretrained(
+    config.base_model_name_or_path,
+    load_in_8bit=True,
+    device_map="auto"
+)
+model = PeftModel.from_pretrained(model, MODEL_NAME, device_map={'': 0})
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+```
+
+Examples:
+```
+Вопрос: Почему трава зеленая? 
+Выход: Траву зеленую можно объяснить на основе физиологических и биохимических процессов, которые происходят в растениях. В ходе фотосинтеза растения используют солнечную энергию для преобразования углекислого газа и воды в органические вещества, такие как сахара и крахмал. В процессе фотосинолиза растения выделяют зеленый пигмент хлорофилл, который ответственен за зеленую окраску листьев и других частей растения. Таким образом, траву зеленой можно объяснять наличием большого количества этого пигмента в растительных тканях.
+```
+
+```
+Задание: Сочини длинный рассказ, обязательно упоминая следующие объекты.
+Вход: Таня, мяч
+Выход: Таня любила играть в футбол. Ее любимым мячом был старый мяч, который она получила в подарок от своего дяди. Он был такой же старый, как и она сама, и они вмест
+е росли.
+Однажды, когда Таня играла в футбол со своими друзьями, ее мяч пропал. Они искали его по всему парку, но ничего не нашли. Таня была очень расстроена, потому что это был
+ ее самый любимый мяч.
+Ночью, когда все были спящими, Таня услышала голос, который говорил ей: "Таня, я могу вернуть тебе свой мяч". Таня выглянула на улицу и увидела старую женщину, которая 
+держала в руках ее старый футбол.
+"Здравствуйте, матушка", - сказала Таня. "Как вы знаете, где мой мяч?"
+"Я знаю", - ответила старая женщина. "Я видел, как он упал в воду, и я смог его вытащить. Я думаю, что он теперь готов к игре".
+Таня была счастлива, что ее любимой игрушеке удалось спастись
+```
+
+* Final loss: 1.074
+* Time: 53 hours, 53 minutes
+* Hardware: 1x RTX 3090