koziev ilya
commited on
Commit
•
875c568
1
Parent(s):
95a91ad
improving usage example
Browse files
README.md
CHANGED
@@ -14,7 +14,7 @@ widget:
|
|
14 |
---
|
15 |
|
16 |
|
17 |
-
#
|
18 |
|
19 |
Это [sentence-transformers](https://www.SBERT.net) модель, предназначенная
|
20 |
для определения синонимичности двух коротких текстов, преимущественно одиночных предложений длиной до 10-15 слов.
|
@@ -28,7 +28,7 @@ widget:
|
|
28 |
Она имеет очень небольшой размер и быстро выполняет инференс даже на CPU.
|
29 |
|
30 |
|
31 |
-
## Использование с библиотекой
|
32 |
|
33 |
Для удобства установите [sentence-transformers](https://www.SBERT.net):
|
34 |
|
@@ -36,20 +36,38 @@ widget:
|
|
36 |
pip install -U sentence-transformers
|
37 |
```
|
38 |
|
39 |
-
Чтобы определить синонимичность
|
40 |
|
41 |
```
|
42 |
import sentence_transformers
|
43 |
|
44 |
-
sentences = ["
|
|
|
|
|
45 |
|
46 |
model = sentence_transformers.SentenceTransformer('inkoziev/sbert_synonymy')
|
47 |
embeddings = model.encode(sentences)
|
48 |
|
49 |
-
|
50 |
-
|
|
|
|
|
|
|
51 |
```
|
52 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
53 |
## Контакты и цитирование
|
54 |
|
55 |
```
|
|
|
14 |
---
|
15 |
|
16 |
|
17 |
+
# Детектор синонимичности фраз
|
18 |
|
19 |
Это [sentence-transformers](https://www.SBERT.net) модель, предназначенная
|
20 |
для определения синонимичности двух коротких текстов, преимущественно одиночных предложений длиной до 10-15 слов.
|
|
|
28 |
Она имеет очень небольшой размер и быстро выполняет инференс даже на CPU.
|
29 |
|
30 |
|
31 |
+
## Использование с библиотекой Sentence-Transformers
|
32 |
|
33 |
Для удобства установите [sentence-transformers](https://www.SBERT.net):
|
34 |
|
|
|
36 |
pip install -U sentence-transformers
|
37 |
```
|
38 |
|
39 |
+
Чтобы определить синонимичность пар предложений, можно использовать такой код:
|
40 |
|
41 |
```
|
42 |
import sentence_transformers
|
43 |
|
44 |
+
sentences = ["Одна голова - хорошо, а две - лучше",
|
45 |
+
"пара голов имеет преимущество перед единственной",
|
46 |
+
"Потерявши голову, по волосам не плачут",]
|
47 |
|
48 |
model = sentence_transformers.SentenceTransformer('inkoziev/sbert_synonymy')
|
49 |
embeddings = model.encode(sentences)
|
50 |
|
51 |
+
s1 = sentences[0]
|
52 |
+
v1 = embeddings[0]
|
53 |
+
for i2 in range(1, 3):
|
54 |
+
s = sentence_transformers.util.cos_sim(a=v1, b=embeddings[i2]).item()
|
55 |
+
print('text1={} text2={} cossim={}'.format(s1, sentences[i2], s))
|
56 |
```
|
57 |
|
58 |
+
Результат будет примерно таким:
|
59 |
+
|
60 |
+
```
|
61 |
+
text1=Одна голова - хорошо, а две - лучше text2=пара голов имеет преимущество перед единственной cossim=0.8603419065475464
|
62 |
+
text1=Одна голова - хорошо, а две - лучше text2=Потерявши голову, по волосам не плачут cossim=0.013120125979185104
|
63 |
+
```
|
64 |
+
|
65 |
+
## Связанные проекты
|
66 |
+
|
67 |
+
Генеративный поэтический перефразировщик доступен в хабе hugginggace: [inkoziev/paraphraser](https://huggingface.co/inkoziev/paraphraser).
|
68 |
+
Код обучения этой модели доступен в [репозитории на гитхабе](https://github.com/Koziev/paraphraser).
|
69 |
+
|
70 |
+
|
71 |
## Контакты и цитирование
|
72 |
|
73 |
```
|