YakuzaNeko/kr-dlp-ner-roberta-large

Korean DLP NER (roberta-large)

한국어 민감정보(PII) 탐지용 NER 모델. klue/roberta-large를 KLUE NER + 자체 합성 DLP 데이터로 파인튜닝.

학습 데이터

• KLUE NER train split (~26K 문장) — load_dataset("klue", "ner") 의 train
  • 매핑: PS→PER, OG→ORG, LC→ADDR, DT→DATE, (QT, TI는 제외)
• 자체 합성 (~41K 문장) — 주민번호/외국인등록번호/사업자번호/계좌/카드/여권/차량번호 등 한국 특화 패턴

라벨 (BIO 25종)

• 인물/조직/주소/날짜: PER, ORG, ADDR, DATE
• 한국 특화 PII: RRN(주민번호), FRN(외국인등록번호), BRN(사업자등록번호), PHONE, BANK(계좌), EMAIL, CARD, PLATE(차량번호)

용도

• 한국어 기업 환경에서 민감정보 자동 탐지/마스킹 (DLP)
• 정형 PII는 regex, 비정형(이름/조직/주소)은 이 NER로 앙상블
• LLM 프록시 앞단에서 사용자 입력 스캔

사용 예시

from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

model_id = "YakuzaNeko/kr-dlp-ner-roberta-large"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(model_id)

text = "홍길동씨의 주민번호는 900101-1234567이고 서울시 강남구에 산다."
enc = tok(text, return_offsets_mapping=True, return_tensors="pt")
offsets = enc.pop("offset_mapping")[0].tolist()
with torch.no_grad():
    preds = model(**enc).logits.argmax(-1)[0].tolist()

for (s, e), p in zip(offsets, preds):
    if s == e: continue
    lbl = model.config.id2label[p]
    if lbl != "O":
        print(f"{text[s:e]:10s} → {lbl}")

제한사항

라이선스

Apache 2.0 (base model klue/roberta-large와 동일)