seojin0128/hw-llama-2-7B-nsmc

Model Card for Model ID

Model Description

llama-2-7b-chat-hf 미세 튜닝

해당 모델은 네이버 영화 리뷰 데이터셋인 NSMC에 대해 meta-llama/Llama-2-7b-chat-hf을 미세튜닝한 모델입니다.

영화 리뷰 텍스트를 프롬프트에 포함하여 모델에 입력시,'긍정' 또는 '부정' 이라고 예측 텍스트를 직접 생성합니다.

결과적으로, 정확도 89.7%를 가지는 모델을 완성했습니다.

Train, Test 데이터셋

해당 모델은 NSMC의 train 데이터의 상위 2,000개의 샘플을 학습에 사용했습니다.

해당 모델은 NSMC의 test 데이터의 상위 1,000개의 샘플을 평가에 사용했습니다.

Training procedure

The following bitsandbytes quantization config was used during training:

• quant_method: bitsandbytes
• load_in_8bit: False
• load_in_4bit: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: False
• bnb_4bit_compute_dtype: bfloat16

Training_step_loss

Confusion_Matrix

Accuracy_Classification_Report

Framework versions

• PEFT 0.7.0