jun47/llava-7b-skin

LLaVA-1.5-7B Skin Disease Fine-tuned Model (LoRA)

Model Description

이 모델은 llava-hf/llava-1.5-7b-hf 베이스 모델을 기반으로 파인튜닝된 LoRA 어댑터입니다. 안면 피부 질환을 진단하고, 관련 케어 가이드를 제공하는 데 특화되어 있습니다. 기존 범용 모델이 동양인(한국인) 피부 임상 데이터 학습이 부족해 발생하는 오진율과 할루시네이션(임의 처방)을 해결하고자 개발되었습니다.

• Base Model: llava-hf/llava-1.5-7b-hf
• Finetuning Method: 8-bit QLoRA & SFT
• Primary Use Case: 안면 피부 질환 추론 및 다중 턴(Multi-turn) 질의응답 (자가 진단 챗봇)

---

Training Details

• Training Data: AI Hub의 '안면부 피부질환 이미지 합성 데이터' 9,600장을 기반으로, 이미지 당 4개의 단일 턴 질의응답을 하나의 대화 세션으로 묶는 멀티턴 세션 체이닝(Multi-turn Session Chaining) 기법을 적용하여 38,400 Turn 대화셋(QA쌍)으로 가공했습니다.
• Results: 피부 질환 진단 Accuracy 약 60% 향상 (0.093 ➔ 0.148), Macro F1-Score 약 65% 향상 (0.126 ➔ 0.208). 반복 생성 루프(Repetition Loop) 버그를 데이터 전처리 레벨에서 원천 해결했습니다.

📌 Multi-turn Chaining 특성

본 모델은 이미지 1장당 4개의 연속적인 질의응답(QA)을 하나의 대화 세션으로 묶는 멀티턴 세션 체이닝(Multi-turn Session Chaining) 기법으로 훈련되었습니다.

[학습 데이터셋 예시]

USER: <image>\nWhat skin disease is visible in this image?
ASSISTANT: Psoriasis
USER: What part of the body is this image of?
ASSISTANT: Face
USER: What symptoms are visible in this image?
ASSISTANT: itching
USER: Describe this disease.
ASSISTANT: An inflammatory skin condition that presents as red papules or plaques covered with scales.

⚠️ 추론 시 주의사항 (Repetition Behavior) 모델이 위와 같은 '멀티턴 흐름'에 완벽하게 적응(과적합)되어 있으므로, 단순히 1개의 질문만 던져도 모델 스스로 다음 질문(USER:)을 상상하여 전체 대본을 끝까지 출력하려는 특징을 보입니다. 따라서 추론 시에는 파이썬 코드를 통해 문자열을 적절히 슬라이싱(Slicing)하여 원하는 답변만 추출하는 후처리(Post-processing)가 필요합니다.

---

🚀 How to Get Started

1. Requirements (라이브러리 버전)

최신 peft 라이브러리의 어댑터 로드 호환성을 위해 아래 라이브러리들의 버전이 필요합니다. (특히 torchao >= 0.16.0 필수)

pip install -U transformers peft accelerate bitsandbytes requests Pillow "torchao>=0.16.0"

2. 모델 및 어댑터 로드 (Model Loading)

모델은 8-bit QLoRA로 튜닝되었으므로, 데이터 타입 충돌을 방지하기 위해 베이스 모델을 8-bit로 로드해야 합니다.

from transformers import AutoProcessor, LlavaForConditionalGeneration, BitsAndBytesConfig
from peft import PeftModel
import torch

# 8-bit 양자화 설정
quantization_config = BitsAndBytesConfig(
    load_in_8bit=True,
    llm_int8_threshold=200.0,
    llm_int8_skip_modules=["lm_head", "vision_tower", "multi_modal_projector"]
)

# Base Model 로드
base_model_id = "llava-hf/llava-1.5-7b-hf"
base_model = LlavaForConditionalGeneration.from_pretrained(
    base_model_id,
    quantization_config=quantization_config,
    device_map="auto"
)

# 파인튜닝된 LoRA Adapter 로드 (경고 방지 옵션 추가)
adapter_id = "jun47/llava-7b-skin"
model = PeftModel.from_pretrained(base_model, adapter_id, ensure_weight_tying=True)

# Processor 로드 (커스텀 템플릿 보존을 위해 어댑터 경로에서 로드)
processor = AutoProcessor.from_pretrained(adapter_id)

3. 텍스트 추론 및 파싱 (Inference & Parsing)

학습 데이터의 특성을 살려 영어 프롬프트를 사용해야 가장 정확한 진단을 얻을 수 있습니다.

from PIL import Image
import requests

# 테스트 이미지 로드
image_url = "https://example.com/your_skin_image.jpg"
image = Image.open(requests.get(image_url, stream=True).raw)

# 첫 번째 질문 프롬프트
prompt = "USER: <image>\nWhat skin disease is visible in this image?\nASSISTANT:"
inputs = processor(text=prompt, images=image, return_tensors="pt").to("cuda")

# 텍스트 생성 (모델이 전체 대화를 생성하도록 넉넉한 토큰 부여)
outputs = model.generate(**inputs, max_new_tokens=200, temperature=0.2, do_sample=True)

input_length = inputs["input_ids"].shape[1]
raw_full_text = processor.decode(outputs[0][input_length:], skip_special_tokens=True)

방법 1: 진단명만 깔끔하게 추출하기

모델이 다음 질문(USER:)을 상상해내기 전까지만 텍스트를 자릅니다.

diagnosis = raw_full_text.split("USER:")[0].strip()

print("==== AI 진단 결과 ====")
print(f"진단명: {diagnosis}")
# 출력 예시: Rosacea

방법 2: 모델의 멀티턴 학습 특성을 역이용하여 진단명 + 상세 설명 한 번에 추출하기

모델이 스스로 생성한 전체 4턴 대화(환각) 스크립트 속에서 정규식 파싱을 통해 진단명과 최종 설명을 모두 낚아채는 최적화 방식입니다.

# 1. 진단명 추출
diagnosis = raw_full_text.split("USER:")[0].strip()

# 2. 증상 설명 추출 ('Describe this disease' 이후의 답변만 가져옴)
try:
    description = raw_full_text.split("Describe this disease. ASSISTANT:")[-1].split("USER:")[0].strip()
except Exception:
    description = "상세 설명을 추출할 수 없습니다."

print("==== AI 복합 진단 결과 ====")
print(f"진단명: {diagnosis}")
print(f"상세 설명: {description}")