lookarooka/looka-Stock-Base-8B

🧪 모델 정제 및 최적화 실험 기록 (Ablation Study)

본 모델은 최초 결합 후, 보다 날카로운 '주식 전문성'을 확보하고 일반 잡담/환각(Hallucination) 데이터를 제거하기 위해 가중치 빼기 연산(task_sub) 실험을 진행하였습니다. 그에 따른 강도(SCALE)별 실험 결과와 최종 결론은 다음과 같습니다.

1. 결합 및 연산 대상

• Base 브레인 모델 (IQ): unsloth/llama-3-8b (미국 Meta사 개발)
• 금융/주식 지식 모델: Bllossom 계열의 국산 금융 특화 모델
• 실험 방법: 두 모델을 합산한 원본(My-Stock-Base-8B)에서, 일반 상식 및 잡담 세포를 제거하기 위해 기저 모델(llama-3-8b)을 수학적으로 빼는 task_sub 연산 수행.

---

2. 강도(SCALE)별 정제 실험 결과

실험 단계	적용 강도 (SCALE)	주요 증상 및 결과	평가
1차 실험	SCALE = 1.0	한국어 문장 제어 및 끝맺음 특수 토큰까지 통째로 파괴됨. LM 스튜디오 로드 시 외계어가 출력되거나 엔진이 다운(HTTP 500)되는 치명적 결함 발생.	❌ 실패 (뇌세포 과다 파괴)
2차 실험	SCALE = 0.4	일반적인 한국어 문장은 구사하나, 문장 종결 브레이크가 고장 남. 금융 전문 질문에는 정상 답변을 하다가도, "너 누구야?" 같은 일반 질문 시 옛날 인터넷 광고 스팸 문자(네이트온 eoqkrvldkf...)나 중국어를 무한 반복 출력하는 폭주 현상 발생.	❌ 실패 (한국어 브레이크 파손)

---

3. 🎯 최종 결론 (그냥 순정 원본 양자화)

• 원인 분석: Llama-3 기반 모델의 특성상, 수학적 뺄셈 연산(task_sub)은 아무리 강도를 낮추어도 한국어 문법을 통제하는 필수 토큰(뇌세포)을 손상시켜 무한 루프와 외국어 폭주를 유발함을 확인했습니다.
• 최종 조치: 뇌세포를 깎아내는 무리한 정제 작업을 과감히 중단하고, 지식과 한국어 브레이크가 100% 온전하게 살아있는 순정 원본 모델(My-Stock-Base-8B)을 그대로 사용하기로 결정했습니다.
• 최적화 적용: 순정 원본의 뛰어난 성능을 유지하면서 개인 컴퓨터(LM 스튜디오, 커넥트 AI)에서 가볍고 빠르게 돌릴 수 있도록, 글로벌 표준인 Q4_K_M GGUF(4비트 양자화) 변환을 최종 적용하였습니다.
• 사용 팁: 환각(잡담) 제어는 모델을 깎아내는 대신, 시스템 프롬프트(System Prompt) 설정을 통해 완벽하게 통제할 수 있습니다.