ruddls030/kosimcse-roberta-multitask-int8

KoSimCSE-roberta-multitask — ONNX int8

BM-K/KoSimCSE-roberta-multitask 한국어 문장 임베딩 모델을 ONNX로 내보내고 int8로 양자화한 사본입니다. 데스크톱 앱 하루펫(HaruPet)의 기기 내 기억 검색에 씁니다.

출처와 라이선스

• 원본 모델: BM-K/KoSimCSE-roberta-multitask — Sentence-Embedding-is-all-you-need (CC BY-SA 4.0)
• 바탕 모델: klue/roberta-base — KLUE (CC BY-SA 4.0)
• 이 사본: CC BY-SA 4.0 — 원본과 같은 라이선스로 배포합니다.

바꾼 점

• PyTorch 가중치를 ONNX(opset 17)로 내보낸 뒤 ONNX Runtime 동적 양자화(int8 가중치)를 적용했습니다. 440MB → 111MB.
• 구조와 토크나이저는 바꾸지 않았습니다. 문장 벡터는 원본처럼 [CLS] 위치의 은닉 상태를 씁니다.
• 원본(fp32) 대비 같은 문장 벡터의 코사인 유사도 평균 0.973 (한국어 구어체 24문장).

사용 (Transformers.js)

import { pipeline } from "@huggingface/transformers";
const ext = await pipeline("feature-extraction", "ruddls030/kosimcse-roberta-multitask-int8", { dtype: "q8" });
const v = await ext(["우리 집 고양이 이름은 보리야"], { pooling: "cls", normalize: true });

변환: 2026-10-08 · 문의 ruddls030@decodns.org