gemma4-inspect-12b-v1

gemma4-inspect-12b-v1은 google/gemma-4-12B-it을 기반으로 한국어 시설물 점검 및 보고서 검토 업무에 맞춰 전체 미세조정한 모델입니다.

이 모델은 점검 결과 비교, 결함 변화 검토, 판단 근거 확인, 보고서 작성 지원과 같은 작업을 주요 대상으로 합니다. 안전과 관련된 최종 판단을 자동화하기 위한 모델은 아니며, 출력은 반드시 관련 분야 전문가가 검토해야 합니다.

모델 정보

항목	내용
모델	gemma4-inspect-12b-v1
기반 모델	google/gemma-4-12B-it
구조	Gemma4UnifiedForConditionalGeneration
학습 방식	Full supervised fine-tuning (SFT)
파라미터 규모	12B
가중치 형식	BF16 SafeTensors
최대 위치 임베딩	262,144 tokens
주 사용 언어	한국어
라이선스	Apache-2.0

전체 가중치 체크포인트이며 LoRA 어댑터가 아닙니다. 단일 model.safetensors 파일의 크기는 약 23.9GB입니다.

권장 용도

• 시설물 점검 기준 및 절차에 관한 한국어 질의응답
• 이전 점검과 현재 점검 결과의 비교 검토 보조
• 결함, 보수·보강 및 후속 조치에 관한 보고서 초안 작성
• 보고서의 판단 근거 누락 여부 확인
• 점검 분야 연구, 실험 및 내부 평가

다음 용도로는 사람의 검토 없이 사용하지 마세요.

• 시설물 안전등급의 최종 확정
• 긴급 통제, 보수·보강 또는 예산 집행 결정
• 법적·규제적 판단의 단독 근거
• 생명이나 재산에 직접 영향을 주는 자동 의사결정

빠른 시작

이 체크포인트는 Gemma 4 Unified 아키텍처를 지원하는 최신 Transformers가 필요합니다. 설치된 정식 버전에서 Gemma4Unified 관련 오류가 발생하면 최신 Transformers 소스 버전을 사용하세요.

pip install --upgrade transformers accelerate safetensors

텍스트 입력 예시:

import torch
from transformers import AutoModelForMultimodalLM, AutoTokenizer

model_id = "nowdoor/gemma4-inspect-12b-v1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {
        "role": "user",
        "content": "교량 점검에서 전회 대비 결함이 증가했는지 검토하는 절차를 설명해줘.",
    }
]

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
    enable_thinking=False,
).to(model.device)

with torch.inference_mode():
    output = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=False,
    )

generated = output[0, inputs["input_ids"].shape[-1]:]
print(tokenizer.decode(generated, skip_special_tokens=True))

BF16 전체 가중치를 불러오므로 충분한 가속기 메모리가 필요합니다. 메모리가 부족한 환경에서는 device_map="auto"를 통한 분산 배치나 CPU 오프로딩, 별도 양자화본 사용을 고려하세요.

학습 개요

• 학습 샘플: 408
• 검증 샘플: 30
• Epoch: 1
• 최종 학습 손실: 0.9908
• 학습 방식: 전체 파라미터 SFT

학습 데이터 원문은 데이터 권리와 내부 정보 보호를 위해 이 저장소에서 배포하지 않습니다.

관찰된 강점

• 보고서의 대표적인 수치 오기와 표·본문 불일치를 빠르게 찾아냈습니다.
• 지침 조항, 근거, 개선 권고를 구조화된 한국어 답변으로 정리했습니다.
• 출력 예산이 충분할 때 모든 평가 사례가 EOS로 정상 종료했습니다.

관찰된 약점

• 핵심 문제를 탐지한 뒤 수행하는 세부 산술 검산의 신뢰도가 낮았습니다.
• 부분 적정과 대체로 적정 같은 최종 판정 수준의 보정이 불안정했습니다.
• 긴 답변에서는 숫자열이 손상되거나 불필요한 수치가 생성되는 사례가 있었습니다.
• 기본 768-token 제한에서는 복합 검토 답변이 끝까지 생성되지 않을 수 있습니다.

따라서 현재 버전은 오류 후보 탐색과 검토 초안 작성 보조에는 활용할 수 있지만, 자동 판정기나 독립적인 계산 검증기로 사용해서는 안 됩니다. 산술 결과, 기준값, 최종 준수수준은 원문과 별도 계산 도구를 이용해 사람이 다시 확인해야 합니다.

이 평가는 3건의 단일 생성 결과를 참조답안과 대조한 내부 수동 검토이며, 독립 평가자나 공개 표준 벤치마크를 사용하지 않았습니다. 표본이 매우 작아 일반적인 정확도나 실제 현장 성능을 대표하지 않습니다. 위 학습 손실 역시 학습 과정의 지표일 뿐 업무 정확도나 안전성을 보장하지 않습니다.

제한사항

• 사실과 다른 내용, 존재하지 않는 기준 또는 부정확한 수치를 생성할 수 있습니다.
• 입력 자료가 부족해도 단정적인 답변을 만들 수 있습니다.
• 학습 범위를 벗어난 시설물 유형이나 전문 분야에서는 성능이 저하될 수 있습니다.
• 기반 모델의 편향과 한계를 그대로 유지하거나 미세조정 과정에서 강화할 수 있습니다.
• 모델 구조는 멀티모달 입력을 지원하지만, 이번 미세조정의 멀티모달 성능은 별도로 검증하지 않았습니다.

중요한 결과에는 원문 보고서, 도면, 계측값, 현장 사진 및 관련 법령을 함께 확인하고 전문가 검토 절차를 적용하세요.

저장소 구성

• model.safetensors: 전체 미세조정 가중치
• config.json: 모델 구조와 실행 설정
• generation_config.json: 기본 생성 설정
• tokenizer.json, tokenizer_config.json: 토크나이저
• chat_template.jinja: Gemma 4 대화 템플릿

학습 데이터, 검증 문항, 로컬 파일 경로 및 내부 실행 기록은 포함하지 않습니다.

라이선스 및 출처

이 모델은 Apache License 2.0으로 배포됩니다. 기반 모델은 Google의 google/gemma-4-12B-it이며, 이 저장소의 가중치는 해당 모델을 미세조정하여 변경한 파생 가중치입니다.

• Base model: https://huggingface.co/google/gemma-4-12B-it
• Gemma 4 license: https://ai.google.dev/gemma/apache_2