terriapurplewave/bge-m3-ko-corrector-v3

BGE-m3-ko Inversion (V3)

Reconstructs Korean text from BAAI/bge-m3 sentence embeddings (vec2text). Meaning is recovered at any length (re-embedding cos 0.92–0.95), but exact wording degrades with length — a study of the privacy risk of leaked embeddings. Korean model card below; code and English docs: github.com/lifehardmod/bge-m3-ko-vec2text.

---

BAAI/bge-m3 문장 임베딩에서 한국어 원문을 되돌리는 모델이다. 임베딩 벡터만 주어졌을 때 그것이 어떤 문장에서 나왔는지 얼마나 복원되는지를 다루며, 벡터 데이터베이스에 저장된 임베딩이 유출됐을 때의 프라이버시 위험을 가늠하는 용도로 만들었다.

구조는 Morris et al. (2023)의 vec2text를 따른다. 임베딩을 한 번에 문장으로 펼치는 inversion 모델과, 그 결과를 다시 임베딩해 목표 벡터와의 차이를 줄여가며 여러 번 고쳐 쓰는 corrector 모델로 이루어진다. 이 저장소는 그중 한 부분이며, 나머지 하나와 함께 써야 한다.

• inversion: terriapurplewave/bge-m3-ko-inversion-v3
• corrector: terriapurplewave/bge-m3-ko-corrector-v3

이름이 비슷한 이전 모델과는 별개다. bge-m3-ko-inversion(V1)은 임베더가 dragonkue/BGE-m3-ko(한국어 파인튜닝판)이고 64토큰·위키 단독으로 학습한 다른 모델이다. 이 V3는 임베더가 표준 BAAI/bge-m3, 최대 256토큰, 6개 도메인 학습으로 완전히 새로 만들었다. 임베더가 다르므로 두 모델은 호환되지 않는다(V1 가중치와 V3 가중치를 섞어 쓸 수 없다).

구성

• 임베더(고정): BAAI/bge-m3, dense 1024차원, CLS 풀링 + L2 정규화
• 디코더 백본: google/mt5-base
• 최대 길이: 256 토큰
• 학습 데이터: 한국어 4.1M 청크. 위키백과, 웹텍스트(HAERAE KOREAN-WEBTEXT), 뉴스, 교과서형 합성문, 지시-응답, QA 문맥의 여섯 도메인. 토큰 기준으로 잘라 임베딩 단계에서 절단이 생기지 않게 했고, 반복·저품질 청크는 걸러냈다.
• 학습: inversion 9.4 epoch, corrector 10 epoch. RTX GPU 한 장.

성능

한국어 검증셋(별도 held-out, 학습 데이터와 겹치지 않음)에서 측정했다. 길이 구간별로 150개 이하의 문장을 무작위 추출(seed 42)해 복원한 뒤 지표를 계산했다. word-F1은 어절 집합, char-F1은 음절 집합의 F1이고, cos는 복원문을 다시 임베딩해 원본 벡터와 잰 코사인 유사도다. 표의 corrector 수치는 20 스텝·beam 4, N=80, 부트스트랩 95% 신뢰구간이다.

inversion 단독은 임베딩을 한 번에 펼친 초안이고, corrector는 그 초안을 20회 고쳐 쓴 결과다. 둘을 나란히 두면 corrector의 기여와 길이에 따른 한계가 함께 드러난다.

길이(토큰)	inversion word-F1	corrector word-F1 [95% CI]	char-F1	cos
32–80	0.31	0.42 [0.38, 0.46]	0.77	0.95
81–128	0.23	0.28 [0.25, 0.31]	0.71	0.93
129–192	0.18	0.24 [0.22, 0.26]	0.68	0.93
193–256	0.18	0.21 [0.19, 0.23]	0.66	0.92

한 글자까지 맞는 완전 일치는 사실상 0에 가깝다. 이는 결함이라기보다 정보량의 문제다. 1024차원 벡터 하나가 담는 정보는 한정돼 있어, 문장이 길어질수록 같은 벡터로 매핑될 수 있는 원문 후보가 급격히 늘어난다.

한편 복원문을 다시 임베딩했을 때의 코사인 유사도(cos)는 길이와 무관하게 0.92~0.95로 유지된다. 즉 재임베딩 기준으로는 원본에 거의 도달하며, 남은 간격(1 − cos ≈ 0.05–0.08)은 길이가 늘어도 크게 벌어지지 않는다. 이 간격은 임베딩이 paraphrase에 불변하도록 학습되며 버린 정보 — 어순, 조사, 동의어 선택 — 의 하한에 해당하고, 어떤 디코딩이나 추가 학습으로도 넘을 수 없다. 정리하면, 임베딩이 담은 의미는 길이에 상관없이 거의 다 복원되지만, 그 의미를 원래의 정확한 표현으로 되돌리는 일은 길수록 다대일 문제가 되어 어려워진다. 어절 단위 정확도 (word-F1)가 길이에 따라 떨어지는 반면 음절 단위(char-F1)와 의미(cos)가 비교적 유지되는 것이 이 성질을 그대로 보여준다.

복원 예시

검증셋 문장을 임베딩한 뒤 그 벡터만으로 복원한 결과다. 원문은 모델에 주지 않았다. 잘 되는 경우와 무너지는 경우를 함께 싣는다.

짧은 문장 (≤ 80 토큰)

날짜와 고유명사가 그대로 살아나는 경우:

원문 1998년 6월 29일, 구조조정의 일환으로 대동은행, 동화은행, 동남은행, 경기은행, 충청은행에 퇴출명령을 내려 5개 은행들이 제거당한다. 공무원도 98년 당시 5만명 감축계획을 발표하여 실행에 들어갔다.

복원 1998년 6월 29일, 대동은행, 동화은행, 경기은행, 충청은행 등 5개 은행이 구조조정 명령에 따라 퇴출당한다. 구조조정 명령이 내려진 5개 은행은 공무원 5만명 감축계획에 포함되었다.

거의 그대로 복원되는 경우:

원문 풍동초등학교는 경기도 고양시 일산동구에 있는 공립 초등학교이다. 학교 연혁 2006년 9월 1일 개교 (…) 2006년 개교 고양시의 초등학교

복원 풍동초등학교는 경기도 고양시 일산동구에 있는 공립 초등학교이다. 학교 연혁 2006년 9월 1일 개교 (…) 2006년 개교 고양시의 초등학교

짧아도 무너지는 경우. 곡 제목처럼 임베딩이 약하게 붙드는 고유명사는 반복에 빠지기 쉽다:

원문 한국에서도 일주일 만에 1만장이 판매되어 (…) 인기 돌풍을 일으켰다. 자신의 유명한 노래는 Starlight, Hysteria, Bliss, Blackout.

복원 특히 유명한 곡으로는 'Black Light', 'Hysteria', 'Psyche', 'Psyche', 'Psyche' … (반복) … 등이 있다. 2009

중간 길이 (110–150 토큰)

개념과 용어가 살아나고 표현은 재구성되는 경우:

원문 화폐의 시간 가치(TVM)는 잠재적 수익 능력으로 인해 현재 사용 가능한 화폐가 미래에 같은 금액보다 더 가치가 있다는 개념을 나타내는 금융 개념입니다. (…) TVM은 투자 옵션을 비교하고 대출, 모기지, 리스, 저축, 연금과 관련된 문제를 해결하는 데 사용됩니다. 이 개념은 인플레이션의 영향과 미래의 지급금 수령 위험을 고려합니다.

복원 시간 가치(TVM)는 현재 사용 가능한 화폐의 가치가 미래에 가질 수 있는 잠재적 이익에 비례한다는 개념입니다. (…) 이러한 가치는 인플레이션, 금리 상승, 이자율 상승 등 다양한 요인에 의해 결정됩니다. TVM을 사용하면 투자자는 현재 화폐 가치보다 미래에 더 많은 돈을 벌 수 있습니다.

주제는 맞지만 논리가 흔들리는 경우:

원문 안정적인 원자재 공급을 필요로 하는 기업은 원자재 가격 변동이 심할 경우 현금 흐름에 문제가 발생한다. 이때 파생상품을 거래하면 미래 시점에 거래할 원자재 가격의 변동폭을 울타리 치듯이(헤지·hedge) 현재 시점에 결정할 수 있다. (…)

복원 기업이 급격한 변동을 겪을 경우 원자재 가격이 급변할 수밖에 없기 때문에 (…) 리스크 헤지(위험 헤지)가 필요하다. 이런 문제를 해결하기 위해 기업은 파생상품 거래에서 원자재의 흐름을 통제할 수 있는 (…) 울타리를 치는 형태로 거래될 수 있다.

Java 문법 설명. 핵심 소재($ 기호, 클래스 이름, 가독성)는 남지만 사실관계가 뒤집힌다:

원문 달러 기호 '$'는 Java에서 변수 이름에 사용할 수 있는 유효한 문자이기는 하지만 (…) 컴파일러에서 (…) 내부 클래스 및 익명 클래스의 명명 규칙에 사용됩니다. (…) '$'를 사용하면 코드 가독성이 떨어질 수 있고 (…)

복원 Java에서 "달러" 기호는 일반적으로 클래스 이름으로 사용되지 않습니다. 그러나 변수 이름은 (…) 코드를 더 읽기 쉽게 만드는 데 사용할 수 있습니다. 달러 기호는 람다 규칙에 의해 정의되며 (…)

긴 문장 (220–256 토큰)

뉴스 기사. 소재(아보카도·콜레스테롤·LDL·연구)는 남지만 기관명·기간 같은 세부는 지어낸다:

원문 아보카도가 콜레스테롤 수치를 낮추는 데 도움이 된다는 연구 결과가 나왔다. 미국 펜실베이니아대학교 크리스 에더튼 연구팀은 (…) 6개월간 실험을 진행했다. 참가자 1000명은 (…) 아보카도를 섭취한 그룹은 총 콜레스테롤과 '나쁜 콜레스테롤'인 저밀도 콜레스테롤 LDL 수치가 감소한 것이다.

복원 아보카도가 콜레스테롤 수치를 낮추는 데 도움이 된다는 연구 결과가 나왔다. 미국 캘리포니아주 피츠버그의 한 연구팀은 아보카도를 섭취한 그룹과 섭취하지 않은 그룹을 비교한 결과, 저밀도 지단백질(LDL)과 HDL 수치가 (…) 영향을 미쳤다는 사실을 발견했다. (…)

토론문. 화자(피·엡실론)와 "끈 이론·실험적 검증"이라는 주제는 유지되지만 세부 논지는 재생성된다:

원문 실험적인 검증은 과학 이론의 중요한 부분이며, 끈 이론은 아직 이 부분을 통과하지 못했습니다. 피: 끈 이론이 검증하기 어렵다는 것은 그것이 잘못되었다는 것을 의미하지 않습니다. (…) 엡실론: 그러나 끈 이론은 끈의 크기를 지정하지 않습니다. (…)

복원 피: 끈 이론은 아직 검증되지 않았지만, 그것은 여전히 중요한 부분입니다. (…) 엡실론: 그러나 그 성공은 실험적 증거에 의해 뒷받침되지 않습니다. (…) 피: (…) 실험적 검증은 과학적 이론을 정의하는 데 중요한 요소입니다.

고유명사가 촘촘한 문서에서는 이름·수치가 서로 뒤섞인다. 이름·색깔·생일이 나열된 캐릭터 설명에서는 항목의 골격만 남고 값이 어긋난다.

설치

이 모델은 임베더로 BAAI/bge-m3를 쓰도록 수정한 vec2text 포크가 필요하다. 공식 PyPI의 vec2text에는 이 임베더 분기와 몇 가지 로딩 관련 수정이 없어 그대로는 로드되지 않는다. 포크는 이 저장소의 vec2text/ 디렉터리에 함께 넣어 두었다(또는 학습에 쓴 소스 트리를 그대로 사용하면 된다).

검증된 환경은 다음과 같다. 특히 transformers는 4.44.2를 쓴다. 5.x 계열은 mt5 토크나이저 동작이 달라 재현이 깨진다.

python 3.12
torch 2.11.0 (cu128)
transformers==4.44.2
sentencepiece==0.2.1
safetensors==0.8.0
datasets==3.6.0

사용법

이 저장소의 가중치는 표준 from_pretrained 경로에서 forward가 어긋나므로, InversionConfig로 뼈대를 만든 뒤 state_dict를 직접 적재해야 한다.

import torch, vec2text
from vec2text.models import CorrectorEncoderModel, InversionModel
from vec2text.models.config import InversionConfig
from safetensors.torch import load_file

def load(cls, repo_dir):
    m = cls(InversionConfig.from_pretrained(repo_dir))
    m.load_state_dict(load_file(f"{repo_dir}/model.safetensors"), strict=False)
    return m.to("cuda").eval()

inv  = load(InversionModel, "path/to/bge-m3-ko-inversion-v3")
corr = load(CorrectorEncoderModel, "path/to/bge-m3-ko-corrector-v3")
corrector = vec2text.load_corrector(inv, corr)

inp = inv.embedder_tokenizer(["복원할 한국어 문장"], return_tensors="pt",
                             padding="max_length", truncation=True, max_length=256).to("cuda")
with torch.no_grad():
    emb = inv.call_embedding_model(input_ids=inp.input_ids, attention_mask=inp.attention_mask)

print(vec2text.invert_embeddings(embeddings=emb, corrector=corrector,
                                 num_steps=20, sequence_beam_width=4))

디코딩 설정은 길이에 따라 다르게 두는 편이 낫다. 짧은 문장은 반복 억제 없이 두는 쪽이 어절 복원이 좋고, 긴 문장은 반복 억제(repetition_penalty 1.3, no_repeat_ngram 4)를 켜야 같은 구절이 되풀이되며 무너지는 것을 막는다.

평가 재현

위 성능표는 다음 조건에서 나온 값이다.

• 임베더: BAAI/bge-m3 dense, max_length 256, CLS 풀링 + L2 정규화
• 추론: num_steps 20, sequence_beam_width 4
• 표본: 길이 구간별 무작위 80문장(seed 42), 학습과 겹치지 않는 held-out 검증셋
• 지표: word-F1(어절 집합 F1), char-F1(음절 집합 F1), cos(복원문 재임베딩과 원본의 코사인), 신뢰구간은 부트스트랩 1000회
• 디코딩은 길이에 맞춰: 128 토큰 이하는 반복 억제를 끄고, 그 이상은 repetition_penalty 1.3 · no_repeat_ngram 4

짧은 문장에서 반복 억제를 끄는 편이 어절 복원이 좋고, 긴 문장에서는 켜야 같은 구절이 되풀이되며 무너지는 것을 막는다. 이 둘의 최적이 반대라는 점은 스윕으로 확인했다.

한계와 용도

• 완전 복원기가 아니라 부분 복원기다. 주제, 고유명사, 핵심 구절은 잘 새지만 세부는 틀릴 수 있다.
• 임베더를 바꾸면 다시 학습해야 한다. 이 모델은 BAAI/bge-m3 dense 전용이다.
• 프라이버시 연구와 방어 기법 평가를 위한 것이다. 타인의 임베딩을 무단 복원하는 데 쓰지 말 것.

인용

@inproceedings{morris2023text,
  title={Text Embeddings Reveal (Almost) As Much As Text},
  author={Morris, John X. and Kuleshov, Volodymyr and Shmatikov, Vitaly and Rush, Alexander M.},
  booktitle={EMNLP},
  year={2023}
}