--- language: - ne datasets: - Someman/alpaca-nepali --- > trained for only 700 steps, -> 1.75 epochs (so the output may not be good enough to call it a good model) ### Usage Here is an example to use the model: ```python from transformers import StoppingCriteria, StoppingCriteriaList from unsloth import FastLanguageModel import torch hf_token = "" max_seq_length = 2048 # Choose any! We auto support RoPE Scaling internally! dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+ load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False. model, tokenizer = FastLanguageModel.from_pretrained( model_name = "Someman/Indic-gemma-2b-finetuned-sft-Navarasa-adapters-ne-v1.0", max_seq_length = max_seq_length, dtype = dtype, load_in_4bit = load_in_4bit, token=hf_token ) FastLanguageModel.for_inference(model) alpaca_prompt = """ ### Instruction: {} ### Input: {} ### Response: {}""" inst = "LinkedIn मा कसरी बढ्ने? ५ अंकमा व्याख्या गर्नुहोस्" input = "" inputs = tokenizer( [ alpaca_prompt.format( inst, # instruction input, # input "", # output - leave this blank for generation! ) ], return_tensors = "pt").to("cuda") # since we use packing = True it starts generating another similar sample starting with . So we are using eos_token_id = tokenizer.bos_token_id outputs = model.generate(**inputs, max_new_tokens = 800, use_cache = True) result = tokenizer.batch_decode(outputs)[0] print (result) ``` ### Instruction: LinkedIn मा कसरी बढ्ने? ५ अंकमा व्याख्या गर्नुहोस् ### Input: ### Response: 1. आफ्नो पृष्ठमा आकर्षक र आकर्षक रचनात्मक कथा सिर्जना गर्नुहोस्। 2. आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूसँग संलग्न हुनुहोस् र आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूसँग सम्बन्ध निर्माण गर्नुहोस्। 3. आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूको काम र सफलताहरूको बारेमा जानकारी दिनुहोस्। 4. आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूलाई सम्पर्क गर्न र तिनीहरूको पृष्ठहरूमा जवाफ दिन अनुमति दिनुहोस्। 5. आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूलाई आफ्नो पृष्ठमा जडान गर्न प्रोत्साहन दिनुहोस्।