townboy/kpfbert-ner

KPF-BERT Korean PII NER

한국어 문장에서 33종의 개인정보(PII)를 탐지하는 KPF-BERT 기반 토큰 분류 모델입니다.

Model overview

• Base model: KPF/KPF-bert-ner
• Architecture: BERT token classification
• Output format: BIO tagging
• PII types: 33
• BIO labels: 67 (O 포함)
• Tokenizer: KPF-BERT tokenizer

라벨 전체 매핑은 config.json과 label_map.json에 있습니다.

Label inventory

ACCOUNT_NUMBER, ADDRESS, AGE, ALIEN_NUMBER, BIRTHDATE, BLOOD_TYPE, CARD_NUMBER, CITY, DEPARTMENT, DRIVER_LICENSE, EMAIL, EMPLOYEE_ID, GENDER, HEIGHT, IP_ADDRESS, MAJOR, MEMBER_ID, NAME, NATIONALITY, NICKNAME, PARTICIPANT_ID, PASSPORTNUM, PHONE, POSITION, RELIGION, RRN, SCHOOL, URL, USER_ID, VEHICLE_NUMBER, WEIGHT, WORKPLACE, ZIPCODE

Training data

사용자가 제작한 합성 한국어 PII 데이터셋으로 파인튜닝했습니다. 실제 사람의 개인정보가 포함된 데이터가 아니라 합성·검증 데이터 기반입니다.

Evaluation

독립 A/B/C holdout 세트에서 평가했습니다. 각 세트는 라벨별 15개 예시로 구성되어 있으므로, 라벨별 점수는 전체 운영 성능을 보장하지 않습니다.

Holdout	Micro-F1
A	0.974975
B	0.975025
C	0.977733
Average	0.975911

• Minimum per-label F1: 0.750
• 전체 라벨별 precision/recall/F1: evaluation_results.json

F1은 위 평가 세트와 평가 방식에 따른 값이며, 실제 문장·도메인·라벨 분포에 따라 달라질 수 있습니다.

Usage

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

model_id = "townboy/kpfbert-ner"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(model_id)
ner = pipeline(
    "token-classification",
    model=model,
    tokenizer=tokenizer,
    aggregation_strategy="simple",
)

text = "회원 이름은 홍길동이고 이메일은 hong@example.com입니다."
print(ner(text))

Limitations

• 합성 데이터 중심으로 학습되어 실제 업무 문장의 표현과 다를 수 있습니다.
• 숫자 형식과 문맥이 평가 세트와 다르면 성능이 낮아질 수 있습니다.
• 운영 환경에서는 별도의 검증 세트와 개인정보 처리 정책을 함께 사용해야 합니다.