Create README.md

README.md

@@ -0,0 +1,81 @@
+---
+inference: false
+pipeline_tag: sentence-similarity
+language:
+- bg
+license: mit
+datasets:
+- oscar
+- chitanka
+- wikipedia
+tags:
+- torch
+---
+
+# ROBERTA BASE (cased) trained on private Bulgarian-English parallel data
+This is a Multilingual Roberta model. It could be used for creating embeddings of Bulgarian sentences. 
+
+Using the ideas from [Sentence-BERT](https://arxiv.org/abs/2004.09813), the training is based on the idea that a translated sentence should be mapped to the same location in the vector space as the original sentence. 
+
+This model is cased: it does make a difference between bulgarian and Bulgarian.
+
+It was trained on private Bulgarian-English parallel data.
+
+### How to use
+
+Here is how to use this model in PyTorch:
+
+```python
+>>> import scipy
+>>> import torch
+>>> from transformers import AutoModel, AutoTokenizer
+>>> 
+>>> model = AutoModel.from_pretrained('rmihaylov/roberta-base-use-qa-bg')
+>>> tokenizer = AutoTokenizer.from_pretrained('rmihaylov/roberta-base-use-qa-bg')
+>>>
+>>> query = "Какви са съставките на бисквитките?"
+>>> 
+>>> answers = [
+>>>            "Бисквитката е печена или варена храна, която обикновено е малка, плоска и сладка.",
+>>>            "Бисквитките обикновено съдържат брашно, захар и някакъв вид масло или мазнини. Те могат да включват други съставки като стафиди, овес, шоколадов чипс, ядки и др.",
+>>>            "В повечето англоговорящи страни, с изключение на САЩ и Канада, хрупкавите бисквитки се наричат ​​бисквити.",
+>>>            "Бисквитите Chewier понякога се наричат ​​бисквитки дори в Обединеното кралство. Някои бисквитки могат също да бъдат назовавани според формата им, като квадратчета с дата или барове.",
+>>>            "Бисквитките или бисквитите могат да се произвеждат масово във фабрики, направени в малки пекарни или домашно приготвени.",
+>>>            "Вариантите за бисквити или бисквити включват сандвич бисквити, като крем крем, Jammie Dodgers, Bourbons и Oreos, с пълнеж от ружа или конфитюр и понякога потопени в шоколад или друго сладко покритие.",
+>>>            "Бисквитките често се сервират с напитки като мляко, кафе или чай.",
+>>>            "Фабричните бисквитки се продават в магазини за хранителни стоки, магазини за удобство и автомати.",
+>>>            "Американската употреба произлиза от холандското koekje „малка торта“, което е умалително от „koek“ („торта“), което произлиза от средно холандската дума „koke“.",
+>>>            "Cookie Monster е Muppet в дългогодишното детско телевизионно шоу Sesame Street, който е най-известен с ненаситния си апетит към бисквитките и известните си фрази за ядене, като „Me want cookie!“, „Me eat cookie!“ (или просто „COOKIE!“) и „Om nom nom nom“ (казано през уста, пълна с храна).",
+>>>            "Домашните бисквитки обикновено се правят от тесто, оформено на малки топчета и пуснато върху лист с бисквитки. След това се пекат във фурна за 5 до 15 минути, в зависимост от рецептата. Температурата на фурната варира от 250 до 350 градуса.",
+>>>            "Повечето бисквитки със среден размер, ако са направени със захар, брашно и скъсяване, ще съдържат между 100 и 200 калории.",
+>>>            ]
+>>> 
+>>> query_embedding = model.question(**tokenizer.encode_plus(query, return_tensors='pt')).detach().numpy()[0]
+>>> 
+>>> corpus, corpus_embeddings = [], []
+>>> for answer in answers:
+>>>     value_inputs = tokenizer.encode_plus(answer, answer, return_tensors='pt')
+>>>     embedding = model.answer(**value_inputs).detach().numpy()[0]
+>>>     corpus.append(answer)
+>>>     corpus_embeddings.append(embedding)
+>>> 
+>>> distances = scipy.spatial.distance.cdist([query_embedding], corpus_embeddings, "cosine")[0]
+>>> 
+>>> results = zip(range(len(distances)), distances)
+>>> results = sorted(results, key=lambda x: x[1])
+>>> 
+>>> print([[corpus[idx].strip(), (1.0 - distance)] for idx, distance in results])
+
+[['От какво са направени бисквитките?', 0.9855158537034977],
+ ['Къде се правят бисквитките?', 0.9774093134195002],
+ ['Какви видове бисквитки има?', 0.9766014240577192],
+ ['Използват ли в Англия думата бисквитки?', 0.9446492058523037],
+ ['Кое е чудовището на бисквитките?', 0.9269786184641834],
+ ['Къде човек може да купи бисквитки?', 0.9268900421152592],
+ ['Какво е бисквитка?', 0.9188155080718263],
+ ['Бисквитките наричат ли се също сладки?', 0.9060368627614406],
+ ['Откъде дойде думата бисквитка?', 0.9048309659657036],
+ ['Какви напитки вървят добре с бисквитките?', 0.890836765118977],
+ ['Как да си направите бисквитки у дома?', 0.8878968487540497],
+ ['Колко калории има типичната бисквитка?', 0.8652821650136402]]
+```