llama_with_eeve_new_03_150m

Model Info

llama 아키텍처와 eeve 토크나이저를 사용해 랜덤 가중치에서 시작해 사전학습된 모델입니다

다음 시스템 프롬프트가 주어진 상태로 학습하였습니다(모델 사용 시 프롬프트를 포함해야 합니다).

'''### System:\n당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다. 사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.

\n\n### User:\n {question}'''

Evaluation results

llm as a judge 방식으로 평가를 진행했습니다. 자세한 내용은 " "를 참고해주세요

Model	params	Fluency	Coherence	Accuracy	Completeness
kikikara/llama_with_eeve_new_03_150m(this)	0.15B	63.12%	37.18%	23.75%	23.75%
EleutherAI/polyglot-ko-1.3b	1.3B	51.25%	40.31%	34.68%	32.5%
EleutherAI/polyglot-ko-5.8b	5.8B	54.37%	40.62%	41.25%	35%

How to use

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("kikikara/llama_with_eeve_new_03_150m")
model = AutoModelForCausalLM.from_pretrained("kikikara/llama_with_eeve_new_03_150m")

question = "너는 누구야?"

prompt = f"### System:\n당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다.\n사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.\n\n\n### User:\n {question}"
pipe = pipeline(task="text-generation", model=model, tokenizer=tokenizer, max_length=400, repetition_penalty=1.12)
result = pipe(prompt)

print(result[0]['generated_text'])```