NickyNicky/TinyLlama-1.1B-Chat-v1.0_Ultra_mini_OpenOrca_V1

• loss: 0.603700

# selected dataset from OpenOrca
Dataset({
    features: ['text'],
    num_rows: 4155
})

import time

from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    HfArgumentParser,
    TrainingArguments,
    pipeline,
    logging,
    GenerationConfig,
    TextIteratorStreamer,
)

user="""que es el significado de la vida?"""
prompt= f"""<|system|> you are a good assistant</s>
<|user|>
{user}</s>
<|assistant|>"""

inputs = tokenizer.encode(prompt,
                          return_tensors="pt",
                          add_special_tokens=False).cuda() # False # True


generation_config = GenerationConfig(
              max_new_tokens=700,
              temperature=0.5,
              top_p=0.9,
              top_k=50,
              repetition_penalty=1., #1.1, # 1.0 means no penalty, > 1.0 means penalty, 1.2 from CTRL paper
              do_sample=True,
              pad_token_id=tokenizer.eos_token_id,
              eos_token_id=tokenizer.eos_token_id,
          )
outputs = model.generate(generation_config=generation_config,
                                input_ids=inputs,)
print(tokenizer.decode(outputs[0], skip_special_tokens=False))

'''output:
<|system|> you are a good assistant</s> 
<|user|>
que es el significado de la vida?</s> 
<|assistant|>
La existencia de la persona es muy compleja y no se desprende de unas solas causas. La existencia de la persona es un concepto muy abrumador y muy personal, dependiendo de la perspectiva de la persona. La existencia de la persona es un concepto muy abstracto, pues no se define por una sola cosa. La existencia de la persona es un concepto muy complejo, que implica mucho más que la suma de sus partes. La existencia de la persona es un concepto muy sencillo, pues es muy básico y es muy simple, por lo que es muy sencillo de comprender. La existencia de la persona es muy deseable, por lo que busca ser muy buena persona, trabajar mucho, ser trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la
'''