model/classification/README3.md

윤정님(2026년 05월 04일):

-새로운 데이터 추가 model/extraction/data/train/test_data.jsonl 모델 통과 전 — {text, is_todo} 5,560행 data/processed/predict_output_testset.jsonl 모델 통과 후 — {text, source, due_date, amount, confidence, action_hint, true_is_todo} 5,330행 (정규식 필터 제외 230행)

로컬에서 비교 평가 실행

(ai_env) C:\Users\kysop\Team_Project_Multiculture\multicultural-ai\model\classification>python scripts/evaluate_compare_v2_20260504.py 평가 시작 — split: test, 데이터: v4_20260504

[Simple] 분류 리포트 precision recall f1-score support

      일정       0.79      0.85      0.81        13
     준비물       0.86      0.75      0.80         8
      제출       0.69      0.69      0.69        13
      비용       1.00      0.90      0.95        10
   건강·안전       0.75      0.82      0.78        11
      기타       0.71      0.71      0.71        14

accuracy                           0.78        69

macro avg 0.80 0.79 0.79 69 weighted avg 0.79 0.78 0.78 69

[kcelectra] 기존 JSON 재활용: eval_results_kcelectra_20260504.json

[저장] eval_results_simple_20260504.json [저장] eval_results_kcelectra_20260504.json [저장] eval_comparison_summary_20260504.csv

================================================== 성능 비교 결과

Simple Macro F1 : 0.7919 KcELECTRA Macro F1 : 0.6938 Delta : -0.0981

Simple 유지 권장