klue-roberta-framing-3class

한국어 **경제 뉴스의 프레이밍(논조)**을 긍정·중립·부정 3가지로 분류하는 모델입니다. 같은 사실을 긍정적인 틀 또는 부정적인 틀로 제시하는 **가치 프레이밍(valence framing)**을 다룹니다. 예를 들어 "GDP 2.3% 성장"을 "견조한 성장세"로 쓰면 긍정, "성장 둔화 우려"로 쓰면 부정입니다.

순천향대학교 컴퓨터소프트웨어공학과 졸업작품 「경제 뉴스 편향 탐지 및 주가 영향 분석 시스템」의 일부입니다. 코드: https://github.com/likeramm/econ-framing-bias

라벨

id	label	정의
0	negative (부정)	둔화·하락·우려·위기의 틀로 서술
1	neutral (중립)	기자의 해석이 최소화된 사실·수치 전달, 또는 양측을 병렬 제시하고 평가 유보
2	positive (긍정)	성장·회복·개선·안도의 틀로 서술. 우려를 언급해도 완화·방어로 마무리

판정의 핵심 원칙은 **"사건이 아니라 서술을 본다"**입니다. 나쁜 사건이라도 수치와 경과만 건조하게 전달하면 중립입니다.

사용법

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

repo = "likeramm/klue-roberta-framing-3class"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo).eval()

def classify(title, content=""):
    # 학습과 같은 입력 형식: "제목 [SEP] 본문 앞 500자", 최대 256 토큰
    text = f"{title} [SEP] {content[:500]}" if len(content.strip()) > 10 else title
    enc = tok(text, max_length=256, truncation=True, return_tensors="pt")
    with torch.no_grad():
        probs = torch.softmax(model(**enc).logits, dim=-1)[0]
    return {model.config.id2label[i]: round(p.item(), 4) for i, p in enumerate(probs)}

classify("2분기 GDP 2.3%…성장 둔화 우려 확대, 불확실성 고조")

학습

• 방법: LLM 라벨을 소형 모델로 옮기는 지식 증류. klue/roberta-large를 파인튜닝했습니다.
• 데이터: 2016~2026년 한국 경제 뉴스 13,268건 (38개 매체, 15개 경제 이벤트)
  • 라벨: gpt-5.5가 라벨링 가이드라인 프롬프트(v2)로 판정한 결과 (OpenAI Batch API)
  • 평가용 기사(사람 라벨 골든셋 600건, 반사실 테스트셋 원본)는 학습에서 제외
  • 학습 8,866 / 검증 1,900 / 테스트 1,901 (층화 분할, seed 42). 검증셋으로 모델을 고르고, 테스트셋으로 최종 보고
• 입력: 제목 [SEP] 본문 앞 500자, 최대 256 토큰
• 설정: lr 1e-5, batch 4 × gradient accumulation 2, 최대 6 epoch(조기 종료 patience 2), 클래스 가중 교차엔트로피, FP16, RTX 4060

성능

테스트셋 (n=1,901, 정답 = gpt-5.5 라벨)

	F1
부정	0.912
중립	0.775
긍정	0.853
Macro-F1	0.847
Accuracy	0.864

사람 라벨과의 일치도 (파일럿 50건, 학습 제외): 정확도 0.74, Cohen's κ 0.58

테스트 점수는 gpt-5.5의 판단을 얼마나 잘 재현하는지를 뜻합니다. 정답이 LLM 라벨이므로 이 모델의 실제 정확도는 LLM 라벨의 품질을 넘을 수 없습니다. 사람 평가자 기준의 검증은 진행 중입니다.

한계

• 확률이 과신되어 있습니다. 학습 손실이 매우 낮아(약 0.08) 출력 확률이 0.99 이상으로 몰리는 경우가 많습니다. 확률을 "확신의 정도"로 해석하지 마세요.
• 중립이 가장 어렵습니다. 사람과 LLM의 판단도 중립에서 가장 많이 엇갈립니다.
• 사건의 좋고 나쁨에 끌리는 경향이 있습니다. "GDP 2.3% 성장 발표"처럼 건조한 사실 보도를 긍정으로 분류하기도 합니다. 학습 라벨(v2 프롬프트)의 경향을 물려받은 것으로, 강도어 방향 규칙(R0-a)과 인용 규칙(R0-b)을 추가한 v3 가이드라인과는 차이가 있습니다.
• 거시 경제 뉴스로 학습했습니다. 개별 기업 뉴스, 다른 분야 뉴스, 다른 시기에는 성능이 떨어질 수 있습니다.

용도

뉴스 프레이밍 연구, 매체 간 보도 비교, 미디어 리터러시 도구에 쓰기 위한 모델입니다. 투자 판단에 쓰지 마세요. 이 프로젝트의 분석에서 뉴스 논조는 이후 주가 방향을 예측하지 못했습니다.