bge-m3.gguf

import torch
from llama_cpp import Llama
from sentence_transformers import SentenceTransformer
from scipy.spatial.distance import cosine

model = SentenceTransformer(
    "BAAI/bge-m3",
    model_kwargs={"torch_dtype": torch.float16}
)
llm = Llama.from_pretrained(
    "mykor/bge-m3.gguf",
    filename="bge-m3-567M-F16.gguf",
    embedding=True,
    verbose=False,
)

text = """μ›€μΈ λŸ¬λ“  μ–΄κΉ¨λ₯Ό λ”°λΌμ„œ λ‹€μ‹œ μ €λ¬Όμ–΄κ°€λŠ” 였늘의 끝
밀이 쑰용히 λ‚˜λ₯Ό μ•ˆμœΌλ©΄ λ¬΄λ„ˆμ Έκ°€λŠ” λ‚  μžŠμ–΄λ²„λ¦΄ 수 μžˆμ–΄
색 λ°”λžœ μ˜€λŠ˜μ€ 희망 μœ„μ— λ‚΄μΌμ˜ ꡬ름을 λ“œλ¦¬μš°κ³ 
λ‹€μ‹œ κΉŠμ€ μž μ— λΉ μ Έλ“€μ–΄, 그날을 μœ„ν•œ μ—°μŠ΅μΈ κ²ƒμ²˜λŸΌ

μ§ˆλ¦¬μ§€λ„ μ•Šκ³  λ‚˜λ₯Ό μ²˜λ°©ν•˜λŠ” λ§Œμ•½μ΄λΌλŠ” 말
항상 λ˜‘κ°™μ€ 맀일은 내성이 λ˜μ–΄ 내일을 μ–΄μ§€λŸ¬μ΄ λ¬΄λ„ˆλœ¨λ €

쓰라린 날에 쓰라린 λ‚˜λ₯Ό 삼킀지 λͺ»ν•΄ 뱉어내고 μ‹Άμ—ˆλ˜ λ°€
μ˜λ―Έλ„ 없이 건넨 μœ„μ„ μ˜ 말, 좔락을 ν–₯ν•΄ μ˜¬λΌκ°€λŠ” λ‚  λ§Œλ“€μ–΄
그리운 날에 λ“œλ¦¬μš΄ 맘이 μ•„λ¦„λ‹€μ› λ˜ 날듀을 λ§μΉ ν• κΉŒ 봐
μžŠμ–΄λ²„λ¦΄κ²Œ, λˆˆμ„ 감고

흩어져 μ‚¬λΌμ§ˆ λ“―ν•œ κ·ΈλŒ„ ν—ˆλ¬΄ν•˜κ³  μ• λ‹¬ν”ˆ κ½ƒλ§μšΈ
λͺ¨μ§ˆκ²Œ λ‚΄λ¦° λˆˆλ¬Όμ— 잠겨 피지 λͺ»ν•˜κ³  λ©ˆμΆ°μžˆμ§€λ§Œ
μ°¨λ””μ°¬ μ² κΈΈ μœ„μ— 놓여 λ‚˜μ•„κ°ˆ λ°©ν–₯을 λͺ¨λ₯Ό 뿐이야
λ‚΄κ°€ 그댈 두 손에 그러λͺ¨μ•„ λ ˆμΌμ— 꽃 ν•€ 내일을 λΉ„μΆ”κ²Œ ν•΄μ€˜

λ©”λ§ˆλ₯Έ κ½ƒμžŽμ΄ 읽지 λͺ»ν•œ μ˜€λŠ˜μ— κ°ˆν”Όλ₯Ό κ½‚μ•„μ„œ
더 이상 그댈 읽지 λͺ»ν•˜λŠ” λ‚˜λŠ” κ·Έμ € 였늘의 끝에 맀달릴 뿐

μ°¬λž€ν•œ 날에 μ°¬λž€ν•œ 그댈 차마 비좔지 λͺ»ν•˜κ³  μŠ€λŸ¬μ Έκ°”λ˜ λ‚―
심μž₯을 끄집어내 힘껏 μ†Œλ¦¬μ³λ„ 결말을 ν–₯ν•΄ μΆ”λ½ν•˜λŠ” μš°λ¦¬κ°€ μžˆμ–΄
그리운 날에 λ“œλ¦¬μš΄ 맘이 내일쑰차 ν—ˆλ½ν•˜μ§€ μ•ŠλŠ”λ‹€ 해도
μžŠμ§€ μ•Šμ„κ²Œ, 두 눈 κ°λŠ” λ‚ κΉŒμ§€

ν”Όμ–΄λ‚˜κ³  ν”Όμ–΄λ‚˜λ„ μ‹œλ“€μ–΄λ²„λ¦¬λŠ” μŠ¬ν””μ΄λž€ 꽃
μ§™μ–΄μ Έλ§Œ κ°€λŠ” κ·ΈλŒ€μ˜ 아픔이 λ§ˆμ§€λ§‰μ„ ν–₯ν•΄ 꽃을 ν”Όμ›Œλ‚΄κ³  μžˆμ–΄
κ³ λ§ˆμ› μ–΄, λ―Έμ•ˆν–ˆμ–΄, 양손에 가득 ν’ˆμ€ κ½ƒλ‹€λ°œκ³Ό
λ„ˆλ₯Ό λ– λ‚˜κ°€λŠ” κ±Έ

사싀은 λ‚˜λ„ μžˆμž–μ•„, μ‚΄μ•„κ°€κ³  μ‹Άμ–΄, λ°€λ €λ“œλŠ” μ ˆλ§μ— λ¬»ν˜€ μ‚¬λΌμ§€λ˜
μ•„ν”ˆ 였늘과 λ‘λ €μš΄ 내일 κ·Έ 사이에 μ–΄λŠμƒˆ λ„€κ°€ λ“€μ–΄μ™”μ–΄
쓰라린 날에 μ°¬λž€ν•œ λ„€κ°€ λ‚΄κ²Œ μ‚΄μ•„μžˆμ–΄μ€˜μ„œ κ·Έμ € 고맙닀고
μžŠμ§€ μ•Šμ„κ²Œ μ˜μ›νžˆ"""
embed1 = model.encode(text)
embed2 = llm.embed(text)
print(cosine(embed1, embed2))
2.879617546280855e-05
Downloads last month
22
GGUF
Model size
567M params
Architecture
bert

8-bit

16-bit

Inference API
Unable to determine this model's library. Check the docs .