File size: 6,403 Bytes
4841156
 
 
 
 
 
 
 
 
 
 
 
b5b035f
707e648
a155f28
707e648
 
 
 
 
4841156
 
 
 
 
 
 
 
 
 
 
 
 
 
707e648
4841156
707e648
4841156
707e648
 
4841156
 
16ce616
707e648
 
4841156
707e648
4841156
707e648
 
4841156
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
---
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- feature-extraction
- sentence-similarity

---

# COCO0414/bge-m3-ko_DNF

This model was created to use RAG. [bge-m3](https://huggingface.co/BAAI/bge-m3) based model, fitting Dungeon & Fighter data.

Trained data, [Kakao_brain](https://github.com/kakaobrain/kor-nlu-datasets) koSTS, koNLI Data and then [Dungeon&Fighter](https://df.nexon.com) user community QA board, extract 79k QA pairs data in 20k articles and 13k QA data using ChatGPT based on [DFU](https://www.dnf-universe.com/) articles

Fianl Model, bge-m3-ko_DNF is Mixed bge-m3 and trained model. Mixed reason detail read bge-m3 [Page](https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune)

While the overall similarity has decreased, the discriminatory power between queries (questions) and chunks (answer search space) has increased, allowing for more accurate parsing of Dungeon & Fighters information.

<!--- Describe your model here -->

## Usage (Sentence-Transformers)

Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:

```
pip install -U sentence-transformers
```

Then you can use the model like this:

```python
from sentence_transformers import SentenceTransformer
import torch

question = "사도듀에 λŒ€ν•΄μ„œ μ•Œλ €μ€˜"

# Data from namuwiki
reval_content = "제6 μ‚¬λ„μ œ7 μ‚¬λ„μ œ8 μ‚¬λ„λ¬΄ν˜•μ˜ μ‹œλ‘œμ½”κ²€μ€ μ§ˆλ³‘μ˜ λ””λ ˆμ§€μ—λΆˆμ„ λ¨ΉλŠ” μ•ˆν†€κΈ΄ 발의 λ‘œν„°μŠ€μ œ9 μ‚¬λ„μ œ10 μ‚¬λ„μ œ11 μ‚¬λ„μ œ12 사도(舊) 폭룑왕 λ°”μΉΌ(ζ–°) κ±΄μ„€μž λ£¨ν¬μ„±μ•ˆμ˜ λ―ΈμΉ΄μ—˜λΌν˜Όλˆμ˜ μ˜€μ¦ˆλ§ˆμ„Έλ¦¬μ•„ ν‚€λ₯΄λ―Ό 같이 보기: ν…Œμ•„λ‚˜(인곡신)제1 사도 - μˆ™λͺ…μ˜ 카인. 죽음이 λ‘λ €μ›Œν•˜λŠ” 자.제2 사도 - μš°λŠ” 눈의 νžλ”. 두 가지 얼꡴에 μ°¬μ—°νžˆ λΉ›λ‚˜λŠ” μ΄μŠ¬μ„ 감좘 자.[A] 제3 사도 - 창곡의 μ΄μ‹œμŠ€-ν”„λ ˆμ΄ (ν”„λ ˆμ΄-μ΄μ‹œμŠ€). 땅에 λ°œμ„ 딛지 μ•ŠλŠ” 자.제4 사도 - μ •λ³΅μž μΉ΄μ‹œμ•ΌμŠ€. ν”Όλ‘œ 강철을 μ μ‹œλŠ” 자.제5 사도† - λ¬΄ν˜•μ˜ μ‹œλ‘œμ½”. 수 백의 얼꡴을 κ°€μ‘ŒμœΌλ˜ 보이지 μ•ŠλŠ” 자. - (μ˜€λ¦¬μ§„ 이전)λ‘μ‹œμ—κ²Œ 사망. (μ˜€λ¦¬μ§„ 이후) 4인의 μ›¨νŽ€λ§ˆμŠ€ν„°μ—κ²Œ 사망.[4]이후 κ·Έλ¦Όμ‹œμ»€κ°€ 사념을 λͺ¨λ‘ λͺ¨μ•„ λ‹€μ‹œ λΆ€ν™œν•˜κ³  ν•˜λŠ˜μ„±μ„ μ λ Ήν•œ λ’€ 이튼 κ³΅μ—…μ§€λŒ€κ°€ μžˆλŠ” μ²œκ³„λ₯Ό 노리고 μžˆλ‹€. κ·ΈλŸ¬λ‚˜ κ²°κ΅­ 미리 λŒ€κΈ°ν•˜κ³  있던 μ²œκ³„κ΅°μ—κ²Œ μ§‘μ€‘ν¬ν™”λ‘œ 또 λ‹€μ‹œ 사망.제6 사도 - 검은 μ§ˆλ³‘μ˜ λ””λ ˆμ§€μ—. λ”λŸ¬μš΄ ν”Όλ₯Ό ν˜λ¦¬λŠ” 자. - λ…ΈμŠ€λ§ˆμ΄μ–΄λ‘œ μ „μ΄λ˜μ–΄ λͺ¨ν—˜κ°€μ™€ λ―Έμ‰˜, μ•„μ €λ¦¬μ•„μ—κ²Œ νŒ¨λ°°ν•œ λ’€ νžλ”μ˜ κ³„λž΅μœΌλ‘œ 인해 μ°¨μ›μ˜ ν‹ˆμœΌλ‘œ λΉ¨λ €λ“€μ–΄κ°€ 온 λͺΈμ΄ 갈갈이 찒겨 λ‚˜κ°€λ©° 봉인. 섀정상 λΆˆμ‚¬μ΄κΈ°μ— μ†Œλ©Έν•˜μ§€ μ•Šμ•˜κ³ , λΆˆμ•ˆμ •ν•œ 차원 μ†μ—μ„œ λ‹€μ‹œ νž˜μ„ κΈ°λ₯΄λŠ” 쀑.제7 사도† - λΆˆμ„ λ¨ΉλŠ” μ•ˆν†€. λͺΈμ„ λ»—μ–΄ λŠ₯히 세상 끝에 닿을 수 μžˆλŠ” 자. - νŒŒμ›ŒμŠ€ν…Œμ΄μ…˜μ— μ „μ΄λ˜μ–΄ λͺ¨ν—˜κ°€μ™€ μ²œκ³„ ν† λ²Œκ΅°μ—κ²Œ 사망.제8 사도† - 긴발의 λ‘œν„°μŠ€. ν•œλ²ˆμ— 수천의 무기λ₯Ό μ₯˜ 수 μžˆλŠ” 자. - 베히λͺ¨μŠ€λ‘œ μ „μ΄λ˜μ–΄ 3인의 μ›¨νŽ€λ§ˆμŠ€ν„°λ“€κ³Ό 제ꡭꡰ, λͺ¨ν—˜κ°€μ—κ²Œ 사망.(舊)제9 사도† - 폭룑왕 λ°”μΉΌ. 뢈의 μˆ¨κ²°μ„ λ‚΄λŠ” 자. - 500λ…„ μ „ λ§ˆκ³„μ—μ„œ 도망쳐 λ‚˜μ™€ μ²œκ³„λ₯Ό μ§€λ°°ν•˜λ˜ 쀑 μ²œκ³„ 저항ꡰ에 μ˜ν•΄ 사망.[5](ζ–°)제9 사도† - κ±΄μ„€μž 루크. 말 없이 흙을 λ§Œμ§€λŠ” 자. - μžμ‹ μ˜ 거주지인 죽은 자의 μ„±μ—μ„œ 사망.[6]제10 사도 - μ„±μ•ˆμ˜ λ―ΈμΉ΄μ—˜λΌ. 진싀을 κΏ°λš«μ–΄ λ³΄λŠ” 자.[7]제11 사도† - 혼돈의 였즈마. μ£½μŒμ—μ„œ μΌμ–΄λ‚œ 자. 검은 λŒ€μ§€μ—μ„œ μΉ΄μž”μ— μ˜ν•΄ 봉인 μ€‘μ΄μ—ˆμœΌλ‚˜, 이후 봉인이 μ™„μ „νžˆ ν’€λ € λ‚ λ›°λ‹€κ°€ λͺ¨ν—˜κ°€λ“€κ³Όμ˜ κ²°μ „μœΌλ‘œ 사망.제12 사도 - 세리아 ν‚€λ₯΄λ―Ό. 비밀을 μ•Œκ³  μžˆλŠ” 자.[A]ν˜„μž¬ ν”Œλ ˆμΈ : μ•„λΌλ“œμ˜ 이야기 진행 μƒν™©μ—μ„œ μ‚΄μ•„μžˆλŠ” μ‚¬λ„λŠ” 카인, νžλ”, μ΄μ‹œμŠ€-ν”„λ ˆμ΄, μΉ΄μ‹œμ•ΌμŠ€, λ””λ ˆμ§€μ—, λ―ΈμΉ΄μ—˜λΌ, μ„Έλ¦¬μ•„κΉŒμ§€ 총 7λͺ…이닀.μ‚¬λ„μ˜ μˆœμœ„λŠ” λ§ˆκ³„μ— μ˜¬λΌνƒ„ μˆœμ„œμ΄κΈ΄ ν•œλ° μ„œμ—΄μ—λ„ 영ν–₯이 있긴 ν•œμ§€ 제4사도 μΉ΄μ‹œμ•ΌμŠ€μ˜ 경우 ꡬ μŠ€ν† λ¦¬μ—μ„œλŠ” μ„œμ—΄ 4μœ„μ˜ 사도라고 ν•œλ‹€. λ―ΈμΉ΄μ—˜λΌλΆ€ν„°λŠ” λ§ˆκ³„λž‘ 인연이 μ—†λŠ” 사도이닀.3. λͺ¨ν‹°λΈŒ[νŽΈμ§‘]μœ λž˜λŠ” 예수의 열두 제자인 사도이닀. ν˜ΈμΉ­λ„ 같은데닀가 마침 μˆ«μžλ„ λ”± μ—΄λ‘˜μ΄κ³  κ·Έλ“€ 쀑 ν•˜λ‚˜κ°€ 내쳐지고 λ‹€λ₯Έ 이가 μž„λͺ…λœ μΌκΉŒμ§€ 예수의 열두 μ‚¬λ„λž‘ λ”± λ“€μ–΄λ§žλŠ”λ‹€.[9] μ°½μ„ΈκΈ°, μ’…μ„ΈκΈ°, μ°½μ‹ μ„ΈκΈ°λ‘œ 이루어진 던파의 μ„±μ„œλ„ 성경을 λͺ¨ν‹°λΈŒλ‘œ ν•œ κ²ƒμ΄λ―€λ‘œ μ–΄μ°Œ 보면 μžμ—°μŠ€λŸ¬μš΄ 연결이닀.λ˜ν•œ, 각 사도듀에 반영된 κ°œλ³„μ  λͺ¨ν‹°λΈŒλŠ” λ‹€μŒκ³Ό κ°™λ‹€. μ–ΈκΈ‰λ˜μ§€ μ•Šμ€ μ‚¬λ„λŠ” λ„€μ˜€ν”Œμ—μ„œ λ…μžμ μœΌλ‘œ μ°½μž‘ν•œ μΌ€μ΄μŠ€λ‹€.카인: μ„±κ²½(μ•„λ‹΄, 카인)νžλ”: μ„±κ²½(ν•˜μ™€)μ΄μ‹œμŠ€-ν”„λ ˆμ΄/ν”„λ ˆμ΄-μ΄μ‹œμŠ€: 슬라브 μ‹ ν™”(벨둜보그, 체λ₯΄λ…Έλ³΄κ·Έ), 뢁유럽 μ‹ ν™”(ν”„λ ˆμ΄), μ΄μ§‘νŠΈ μ‹ ν™”(μ΄μ‹œμŠ€) [10]μΉ΄μ‹œμ•ΌμŠ€: 일본 μš”κ΄΄(μ˜€λ‹ˆ)μ‹œλ‘œμ½”: μ‚¬ν•˜λΌ μ‚¬λ§‰μ˜ 열풍(μ‹œλ‘œμ½”)[11]λ””λ ˆμ§€μ—: μ§ˆλ³‘(흑사병 λ“±)λ‘œν„°μŠ€: λ°”λ‹€κ΄΄λ¬Ό(크라켄)λ°”μΉΌ: μ•…λ§ˆμ„± λ“œλΌν˜λΌ(λ“œλΌν˜λΌ λΈ”λΌλ“œ 체페슈)루크: 켈트 μ‹ ν™”(루 라와더)λ―ΈμΉ΄μ—˜λΌ: 가톨릭(λ©”μ‹œμ•„)였즈마: μ•…λ§ˆμ„± λ“œλΌν˜λΌ(λ“œλΌν˜λΌ λΈ”λΌλ“œ 체페슈)세리아 ν‚€λ₯΄λ―Ό: ???3.1. λ¬Έμ–‘[νŽΈμ§‘]사도에겐 μžμ‹ μ„ μƒμ§•ν•˜λŠ” 고유의 문양이 μ‘΄μž¬ν•˜λ©° 사도와 κ΄€λ ¨λœ 사건이 일어남에 따라 문양이 λ³€κ²½λ˜λŠ” κ²½μš°λ„ μžˆλ‹€.[12]카인은 κ·Έλ₯Ό λ‘λ €μ›Œν•˜κ³  κ²½μ™Έν•˜λŠ” μžλ“€μ— μ˜ν•΄μ„œ 문양이 λ§Œλ“€μ–΄μ‘Œλ‹€. νžλ”λŠ” μžμ‹ μ΄ 가진 μš°λŠ” λˆˆμ„ ν˜•μƒν™”ν•˜μ—¬ 문양을 λ§Œλ“€μ—ˆλ‹€. ν…ŒλΌμ½”νƒ€μ—μ„œλŠ” 이 문양을 μ‹ μ„±ν•˜κ²Œ μ—¬κΈ΄λ‹€. μ΄μ‹œμŠ€-ν”„λ ˆμ΄λŠ” κ·Έλ₯Ό λ”°λ₯΄λŠ” μΆ”μ’…μžλ“€μ— μ˜ν•΄μ„œ 문양이 λ§Œλ“€μ–΄μ‘ŒμœΌλ©°, 밀의 마천루 μ „νˆ¬ 이후에 μ΄μ‹œμŠ€μ˜ 상징이[13] μΆ”κ°€"


model = SentenceTransformer('COCO0414/bge-m3-ko_DNF')
question_embedding = model.encode(question, convert_to_tensor=True)
answer_embedding = model.encode(answer, convert_to_tensor=True)

similarity = torch.nn.functional.cosine_similarity(question_embedding, answer_embedding, dim=0)

print(similarity.item())
# 0.6637
```