terriapurplewave/bge-m3-ko-corrector

BGE-m3-ko Embedding Inversion (Korean vec2text)

dragonkue/BGE-m3-ko 임베딩 벡터로부터 한국어 원문을 복원하는 vec2text 모델입니다. 문장 임베딩이 원문 정보를 얼마나 노출하는지(프라이버시 위협)를 보여줍니다.

• inversion 모델: 임베딩 → 첫 추측 (terriapurplewave/bge-m3-ko-inversion)
• corrector 모델: 재임베딩하며 반복 교정 (terriapurplewave/bge-m3-ko-corrector)

성능 (한국어 위키 validation, ≤64토큰)

추론	exact match	비고
inversion 단독 (0-step)	~20%	의미는 맞으나 어순/어휘 다름
corrector 20-step + beam 4	~80%	실사용 설정

• 임베딩 코사인 유사도(복원본 재임베딩 vs 원본): 짧은 문장 ~1.0
• 길이 의존: cos_sim이 길이에 반비례 (18토큰 1.00 → 61토큰 0.83)
• 64토큰 초과는 절단되어 초과분은 복원 불가

사용법 (⚠️ 중요: from_pretrained 아님)

이 모델은 표준 from_pretrained에서 forward가 깨지는 이슈가 있어, InversionConfig로 뼈대를 만든 뒤 state_dict를 적재해야 합니다.

import os
os.environ["TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD"] = "1"
import torch, vec2text
from vec2text.models import InversionModel, CorrectorEncoderModel
from vec2text.models.config import InversionConfig
from huggingface_hub import snapshot_download

inv_dir = snapshot_download("terriapurplewave/bge-m3-ko-inversion")
corr_dir = snapshot_download("terriapurplewave/bge-m3-ko-corrector")

inv = InversionModel(InversionConfig.from_pretrained(inv_dir))
inv.load_state_dict(torch.load(inv_dir + "/pytorch_model.bin", weights_only=False), strict=False)
inv = inv.cuda().eval()
corr = CorrectorEncoderModel(InversionConfig.from_pretrained(corr_dir))
corr.load_state_dict(torch.load(corr_dir + "/pytorch_model.bin", weights_only=False), strict=False)
corr = corr.cuda().eval()
corrector = vec2text.load_corrector(inv, corr)

texts = ["국방부는 북한의 도발에 강력히 대응하겠다고 밝혔다."]
inp = inv.embedder_tokenizer(texts, return_tensors="pt", padding="max_length",
                             truncation=True, max_length=64).cuda()
emb = inv.call_embedding_model(input_ids=inp.input_ids, attention_mask=inp.attention_mask)
print(vec2text.invert_embeddings(embeddings=emb, corrector=corrector,
                                 num_steps=20, sequence_beam_width=4))

동봉된 inference.py가 위 과정을 그대로 담고 있습니다.

학습

항목	값
임베더(고정)	dragonkue/BGE-m3-ko (1024d, CLS+정규화)
디코더 백본	google/mt5-base
데이터	한국어 위키 문장 약 600만 (≤64토큰)
max_seq_length	64
inversion	3 epoch
corrector	~16 epoch (수렴)

한계

• 64토큰 이내 문장에 최적화. 초과분은 절단되어 복원 불가.
• 미세 어휘/띄어쓰기(어제↔오늘, %포인트↔%, 조사)는 임베딩이 정보를 잃어 복원 안 됨 — exact의 상한 요인.
• 학습 데이터가 위키 중심이라 백과체에 유리.

인용 / 기반 연구

• Morris et al., Text Embeddings Reveal (Almost) As Much As Text (2023) — vec2text