Publish model

README.md

@@ -0,0 +1,71 @@
+# {MODEL_NAME}
+
+Google supported this work by providing Google Cloud credit. Thank you Google for supporting the open source! 🎉
+
+## Model
+This is a finetuned version of [mys/bert-base-turkish-cased-nli-mean](https://huggingface.co/) for FAQ retrieval, which is itself a finetuned version of [dbmdz/bert-base-turkish-cased](https://huggingface.co/dbmdz/bert-base-turkish-cased) for NLI. It maps questions & answers to 768 dimensional vectors to be used for FAQ-style chatbots and answer retrieval in question-answering pipelines. It was trained on the Turkish subset of [clips/mqa](https://huggingface.co/datasets/clips/mqa) dataset after some cleaning/ filtering and with a Multiple Negatives Symmetric Ranking loss. Before finetuning, I added two special tokens to the tokenizer (i.e., <Q> for questions and <A> for answers) and resized the model embeddings, so you need to prepend the relevant tokens to the sequences before feeding them into the model. Please have a look at [my accompanying repo](https://github.com/monatis/trfaq) to see how it was finetuned and how it can be used in inference. The following code snippet is an excerpt from the inference at the repo.
+
+## Usage
+```python
+questions = [
+    "Merhaba",
+    "Nasılsın?",
+    "Bireysel araç kiralama yapıyor musunuz?",
+    "Kurumsal araç kiralama yapıyor musunuz?"
+]
+
+answers = [
+    "Merhaba, size nasıl yardımcı olabilirim?",
+    "İyiyim, teşekkür ederim. Size nasıl yardımcı olabilirim?",
+    "Hayır, sadece Kurumsal Araç Kiralama operasyonları gerçekleştiriyoruz. Size başka nasıl yardımcı olabilirim?",
+    "Evet, kurumsal araç kiralama hizmetleri sağlıyoruz. Size nasıl yardımcı olabilirim?"
+]
+
+
+questions = ["<Q>" + q for q in questions]
+answers = ["<A>" + a for a in answers]
+
+
+def answer_faq(model, tokenizer, questions, answers, return_similarities=False):
+    q_len = len(questions)
+    tokens = tokenizer(questions + answers, padding=True, return_tensors='tf')
+    embs = model(**tokens)[0]
+
+    attention_masks = tf.cast(tokens['attention_mask'], tf.float32)
+    sample_length = tf.reduce_sum(attention_masks, axis=-1, keepdims=True)
+    masked_embs = embs * tf.expand_dims(attention_masks, axis=-1)
+    masked_embs = tf.reduce_sum(masked_embs, axis=1) / tf.cast(sample_length, tf.float32)
+    a = tf.math.l2_normalize(masked_embs[:q_len, :], axis=1)
+    b = tf.math.l2_normalize(masked_embs[q_len:, :], axis=1)
+
+    similarities = tf.matmul(a, b, transpose_b=True)
+        
+    scores = tf.nn.softmax(similarities)
+    results = list(zip(answers, scores.numpy().squeeze().tolist()))
+    sorted_results = sorted(results, key=lambda x: x[1], reverse=True)
+    sorted_results = [{"answer": answer.replace("<A>", ""), "score": f"{score:.4f}"} for answer, score in sorted_results]
+    return sorted_results
+
+
+for question in questions:
+    results = answer_faq(model, tokenizer, [question], answers)
+    print(question.replace("<Q>", ""))
+    print(results)
+    print("---------------------")
+    ```
+
+    And the output is:
+    ```shell
+Merhaba
+[{'answer': 'Merhaba, size nasıl yardımcı olabilirim?', 'score': '0.2931'}, {'answer': 'İyiyim, teşekkür ederim. Size nasıl yardımcı olabilirim?', 'score': '0.2751'}, {'answer': 'Hayır, sadece Kurumsal Araç Kiralama operasyonları gerçekleştiriyoruz. Size başka nasıl yardımcı olabilirim?', 'score': '0.2200'}, {'answer': 'Evet, kurumsal araç kiralama hizmetleri sağlıyoruz. Size nasıl yardımcı olabilirim?', 'score': '0.2118'}]
+---------------------
+Nasılsın?
+[{'answer': 'İyiyim, teşekkür ederim. Size nasıl yardımcı olabilirim?', 'score': '0.2808'}, {'answer': 'Merhaba, size nasıl yardımcı olabilirim?', 'score': '0.2623'}, {'answer': 'Hayır, sadece Kurumsal Araç Kiralama operasyonları gerçekleştiriyoruz. Size başka nasıl yardımcı olabilirim?', 'score': '0.2320'}, {'answer': 'Evet, kurumsal araç kiralama hizmetleri sağlıyoruz. Size nasıl yardımcı olabilirim?', 'score': '0.2249'}]
+---------------------
+Bireysel araç kiralama yapıyor musunuz?
+[{'answer': 'Hayır, sadece Kurumsal Araç Kiralama operasyonları gerçekleştiriyoruz. Size başka nasıl yardımcı olabilirim?', 'score': '0.2861'}, {'answer': 'Evet, kurumsal araç kiralama hizmetleri sağlıyoruz. Size nasıl yardımcı olabilirim?', 'score': '0.2768'}, {'answer': 'İyiyim, teşekkür ederim. Size nasıl yardımcı olabilirim?', 'score': '0.2215'}, {'answer': 'Merhaba, size nasıl yardımcı olabilirim?', 'score': '0.2156'}]
+---------------------
+Kurumsal araç kiralama yapıyor musunuz?
+[{'answer': 'Evet, kurumsal araç kiralama hizmetleri sağlıyoruz. Size nasıl yardımcı olabilirim?', 'score': '0.3060'}, {'answer': 'Hayır, sadece Kurumsal Araç Kiralama operasyonları gerçekleştiriyoruz. Size başka nasıl yardımcı olabilirim?', 'score': '0.2929'}, {'answer': 'İyiyim, teşekkür ederim. Size nasıl yardımcı olabilirim?', 'score': '0.2066'}, {'answer': 'Merhaba, size nasıl yardımcı olabilirim?', 'score': '0.1945'}]
+---------------------
+```

added_tokens.json

@@ -0,0 +1 @@
+{"<A>": 32001, "<Q>": 32000}

config.json

@@ -0,0 +1,26 @@
+{
+  "_name_or_path": "./bert-base-turkish-cased-nli-mean-faq-mnr",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.10.2",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 32002
+}

special_tokens_map.json

@@ -0,0 +1 @@
+{"unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "additional_special_tokens": ["<Q>", "<A>"]}

tf_model.h5

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7636af5ef5c86d85e92a250172002323430a437e06feee0a46935a937bfcb645
+size 442742784

tokenizer_config.json

@@ -0,0 +1 @@
+{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "max_len": 512, "special_tokens_map_file": null, "full_tokenizer_file": null, "name_or_path": "./bert-base-turkish-cased-nli-mean", "do_basic_tokenize": true, "never_split": null, "additional_special_tokens": ["<Q>", "<A>"], "tokenizer_class": "BertTokenizer"}