milomiso/recycle-vlm-lora

recycle-gemma-3-4b (Korean Recycling Mark Guide)

한국 분리배출(재활용) 마크 사진을 보고 올바른 분리배출 방법을 한국어로 안내하도록 google/gemma-3-4b-it를 LoRA(QLoRA)로 파인튜닝한 온디바이스 VLM.

• Base: mlx-community/gemma-3-4b-it-qat-4bit (Gemma 3 4B IT, QAT 4bit)
• Architecture: gemma3 (변경 없음 → mlx-swift-lm VLM 로더 그대로 호환)
• Method: mlx-vlm QLoRA, 비전 타워 동결(언어 레이어 LoRA만)
• Data: 한국 분리배출 마크 사진 + 한국어 배출 안내 (소규모, 자체 구축)
• Runtime: MLX Swift로 iPhone(iOS 17+) 온디바이스 실행

이 repo는 LoRA 어댑터입니다(베이스에 얹어 사용). 비전 타워는 동결, 언어 레이어만 학습.

사용 (MLX, 어댑터)

python -m mlx_vlm.generate \
  --model mlx-community/gemma-3-4b-it-qat-4bit \
  --adapter-path <this-repo> \
  --image bottle.jpg \
  --prompt "이 한국 분리배출 마크를 인식하고, 분리배출 방법을 한국어로 단계별로 알려줘." \
  --max-tokens 300 --repetition-penalty 1.1

현재 상태 (v0 · 초기 데모)

• 소규모 데이터로 학습한 초기 데모 버전입니다.
• 자체 검증 결과, 재활용 마크의 재질 자동 인식 정확도가 아직 낮습니다 (특히 비닐/복합재질/'재활용 어려움'). 데이터 확대 후 재학습으로 개선 예정입니다.
• 앱(온디바이스)에서는 모델의 재질 인식을 사용자가 수정할 수 있고, 배출 방법은 (재질 × 오염도) 규칙으로 보정해 안내합니다.

iOS 온디바이스

단일 모델이 필요하면 fp 베이스에 병합(fuse) 후 4bit 변환해 HF에 올리고, MLX Swift(ml-explore/mlx-swift-lm, MLXVLM)에서 ModelConfiguration(id: ...)로 로드. 실기기 전용, Increased Memory Limit 필요.

한계 / 주의

• 소규모 데이터로 파인튜닝된 데모용 모델. 지역별 분리배출 규정 차이는 반영하지 못할 수 있음.
• 분리배출 안내는 참고용이며, 지자체 기준이 우선.
• 라이선스: Gemma Terms of Use 준수.