beomi/llama-2-ko-7b · 모델 사용법 질문드립니다

Nov 28, 2023

안녕하세요 저는 경희대학교 3학년 학생입니다.
다름이 아니라 준범님이 만드신 모델을 활용하여 영화 리뷰를 긍정인지 부정인지 판단하는 작업을 하려고 하는데
pipeline을 사용하여 kcbert를 사용하려고 했더니 이진분류를 해줘서
[{'label': 'LABEL_1', 'score': 0.5236636996269226}] 이렇게 나오는데 혹시 어떠한 방식으로 라벨 0 ,1을 모델이 분류하는 지 여쭤봐도 될까요? 만약 이진분류를 해주는데 긍정과 부정을 판단하게 하고 싶다면 어떻게 해야 될까요?
100개정도의 데이터를 넣어보았을 때는 그 안에서 비슷한 느낌의 리뷰들을 1로 판단해서 알려주는것 같은데

qwerty113 changed discussion title from 모델 사용 관련 문의 to 모델 사용법 질문드립니다 Nov 28, 2023

beomi

Owner Dec 27, 2023

안녕하세요,
이 레포는 Llama-2-Ko 관련한 레포라, KcBERT 관련해서는 KcBERT 레포( https://github.com/Beomi/KcBERT )에 질문해주세요.

간단히 답변드리면,
해당 부분은 그저 랜덤이라고 봐야할것 같습니다.
Pipeline으로 텍스트 분류 모델로 띄우면 LM 분류 head를 붙이게 되는데(nn.Linear), 이 부분은 HF에 올라온 모델에는 없는 부분이라, pipe생성시 랜덤init되는 부분입니다.
따라서 현재 결과는 단순 랜덤이라고 봐야할 것 같습니다.

beomi changed discussion status to closed Dec 27, 2023