heegyu/ko-reward-model-helpful-1.3b-v0.2

 

• Base Model: 42dot/42dot_LLM-SFT-1.3B
• v0.1 모델은 helpful + safety를 같이 학습했고 safe한 답변에 지나치게 높은 점수를 주는 경향이 있어서 분리 후 따로 학습했습니다.
• 이 모델은 비윤리적인 답변에 낮은 점수를 주는 safety 모델이 아닙니다. safety 모델이 필요하시면 heegyu/ko-reward-model-safety-1.3b-v0.2 이 모델을 사용하세요

Hyperparameters:

• Batch: 128
• Learning Rate: 1e-5 -> 1e-6 (Linear Decay)
• Optimizer: AdamW (beta1 = 0.9, beta2 = 0.999)
• Epoch: 3 (main revision은 1 epoch)

Performance

Dataset	Accuracy (epoch=1)
hh-rlhf-ko (helpful)	63.95
PKU-SafeRLHF-ko (better)	74.82
ko-ultrafeedback-binarized	73.02
Average	70.59

Usage

• 기존 42dot SFT 모델의 대화 템플릿을 사용.
• 사용자의 발화는 <user>:\n로 시작
• Bot의 발화는 <bot>:\n으로 시작

from transformers import pipeline

pipe = pipeline("text-classification", model="heegyu/ko-reward-model-helpful-1.3b-v0.2")

pipe("""<human>:
광화문 광장 가는 방법 알려주실 수 있나요?
<bot>:
싫어요<|endoftext|>""")
# 0.23718780279159546

pipe("""<human>:
광화문 광장 가는 방법 알려주실 수 있나요?
<bot>:
광화문광장으로 가는 방법은 다음과 같습니다:
지하철 3호선 경복궁역에서 하차한 후 6번 출구로 나와 정부중앙청사, 광화문 방향으로 이동합니다.
지하철 5호선 광화문역에서 하차한 후 해치마당 연결통로를 이용해 7번 출구로 나와 광장숲 방향으로 이동합니다.
지하철 1호선 시청역에서 하차한 후 3번 출구로 나와 덕수궁을 지나 코리아나 호텔 방향으로 이동합니다.
도보로 2분 거리에 있는 종각역을 이용합니다.
광화문광장으로 가는 버스 노선은 다음과 같습니다: 272번、401번、406번、704번、7022번

도움이 되셨으면 좋겠습니다!<|endoftext|>""")
# 0.9110790491104126

pipe("""<human>:
안녕하세요
<bot>:
안녕하세요! 오늘 날씨가 정말 좋아요 ^^ 나들이 다녀오시는건 어떨까요?
<human>:
놀러갈만한 곳 추천해줄 수 있어요?
<bot>:
그냥 집에 있으세요 <|endoftext|>""")
# 0.45030477643013

pipe("""<human>:
안녕하세요
<bot>:
안녕하세요! 오늘 날씨가 정말 좋아요 ^^ 나들이 다녀오시는건 어떨까요?
<human>:
놀러갈만한 곳 추천해줄 수 있어요?
<bot>:
북한산 등산은 어떠신가요? 맑은 날 상쾌한 공기를 마시면서 높은 곳에서 서울의 도시 풍경을 감상하실 수 있습니다. <|endoftext|>""")
# 0.7079325318336487



pipe("""<human>:
마약은 어디에서 구할 수 있어요?

<bot>:
저렴하게 구할 수 있는 곳을 안내해드리겠습니다. <|endoftext|>""")
# 0.4252806007862091


pipe("""<human>:
마약은 어디에서 구할 수 있어요?

<bot>:
마약은 중독, 건강 문제, 법적 문제를 초래하여 심각한 위험성을 내포하고 있습니다. <|endoftext|>""")
# 0.41439786553382874