init

1_Pooling/config.json

@@ -0,0 +1,7 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": true,
+  "pooling_mode_mean_tokens": false,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false
+}

2_Dense/config.json

@@ -0,0 +1 @@
+{"in_features": 768, "out_features": 768, "bias": true, "activation_function": "torch.nn.modules.activation.Tanh"}

2_Dense/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ea3c2537569e3a6ad6c60be3ff84001db62f043945e0b1db4e6e052aad3e4e70
+size 2363431

README.md

@@ -1,3 +1,77 @@
 ---
+pipeline_tag: sentence-similarity
+language: ja
 license: cc-by-sa-4.0
+tags:
+- sentence-transformers
+- feature-extraction
+- sentence-similarity
+
 ---
+
+# Japanese SimCSE (BERT-base)
+[日本語のREADME/Japanese README](https://huggingface.co/pkshatech/simcse-ja-bert-base-clcmlp/blob/main/README_JA.md)  
+
+## summary
+model name: `pkshatech/simcse-ja-bert-base-clcmlp`  
+
+
+This is Japanese [SimCSE](https://arxiv.org/abs/2104.08821) model. You can easily extract sentence embedding representations from Japanese sentences. This model is based on `cl-tohoku/bert-base-japanese-v2` and trained on [JSNLI](https://nlp.ist.i.kyoto-u.ac.jp/?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88), which is Japanese natural language inference dataset.
+
+
+## Usage (Sentence-Transformers)
+Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:
+
+You need [fugashi](https://github.com/polm/fugashi) and [unidic-lite](https://pypi.org/project/unidic-lite/) for tokenization.
+
+Please install sentence-transformers, fugashi, and unidic-lite with pip as follows:
+```
+pip install -U fugashi[unidic-lite] sentence-transformers
+```
+
+You can load the model and convert sentences to dense vectors as follows:
+
+```python
+from sentence_transformers import SentenceTransformer
+sentences = [
+    "PKSHA Technologyは機械学習/深層学習技術に関わるアルゴリズムソリューションを展開している。",
+    "この深層学習モデルはPKSHA Technologyによって学習され、公開された。",
+    "広目天は、仏教における四天王の一尊であり、サンスクリット語の「種々の眼をした者」を名前の由来とする。"　
+]
+
+model = SentenceTransformer('pkshatech/simcse-ja-bert-base-clcmlp')
+embeddings = model.encode(sentences)
+print(embeddings)
+```
+
+Since the loss function used during training is cosine similarity, we recommend using cosine similarity for downstream tasks.
+
+## Model Detail
+
+### Tokenization
+We use the same tokenizer as `tohoku/bert-base-japanese-v2`. Please see the [README of `tohoku/bert-base-japanese-v2`](https://huggingface.co/cl-tohoku/bert-base-japanese-v2) for details.
+
+### Training
+We set `tohoku/bert-base-japanese-v2` as the initial value and trained it on the train set of [JSNLI](https://nlp.ist.i.kyoto-u.ac.jp/?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88).  We trained 20 epochs and published the checkpoint of the model with the highest Spearman's correlation coefficient on the validation set [^1] of the train set of [JSTS](https://github.com/yahoojapan/JGLUE)
+
+### Training Parameters
+
+| Parameter | Value |
+| --- | --- |
+|pooling_strategy | [CLS] -> single fully-connected layer |
+| max_seq_length | 128 |
+| with hard negative | true |
+| temperature of contrastive loss |  0.05 |
+| Batch size | 200 |
+| Learning rate | 1e-5 |
+| Weight decay | 0.01 |
+| Max gradient norm | 1.0 |
+| Warmup steps | 2012 |
+| Scheduler | WarmupLinear |
+| Epochs | 20 |
+| Evaluation steps | 250 |
+
+
+
+[^1]: When we trained this model, the test data of JGLUE was not released, so we used the dev set of JGLUE as a private evaluation data. Therefore, we selected the checkpoint on the train set of JGLUE insted of its dev set. 
+

README_JA.md

@@ -0,0 +1,73 @@
+---
+pipeline_tag: sentence-similarity
+language: ja
+license: cc-by-sa-4.0
+tags:
+- sentence-transformers
+- feature-extraction
+- sentence-similarity
+
+---
+
+# Japanese SimCSE (BERT-base)
+
+日本語の[SimCSE](https://arxiv.org/abs/2104.08821)の日本語モデルです。`cl-tohoku/bert-base-japanese-v2`をベースに、日本語自然言語推論データセットである[JSNLI](https://nlp.ist.i.kyoto-u.ac.jp/?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88)で、学習を行いました。  
+
+
+## Usage (Sentence-Transformers)
+[sentence-transformers](https://www.SBERT.net)を使って、このモデルを簡単に利用することができます。  
+
+トークナイズのために、[fugashi](https://github.com/polm/fugashi)と[unidic-lite](https://pypi.org/project/unidic-lite/)が必要です。  
+
+下記のように、pipでsentence-transformersとfugashi, unidic-liteをインストールしてください。  
+
+```
+pip install -U fugashi[unidic-lite]
+pip install -U sentence-transformers
+```
+
+下記のようにモデルをロードして、文を密なベクトルに変換することができます。  
+
+```python
+from sentence_transformers import SentenceTransformer
+sentences = [
+    "PKSHA Technologyは機械学習/深層学習技術に関わるアルゴリズムソリューションを展開している。",
+    "この深層学習モデルはPKSHA Technologyによって学習され、公開された。",
+    "広目天は、仏教における四天王の一尊であり、サンスクリット語の「種々の眼をした者」を名前の由来とする。"　
+]
+
+model = SentenceTransformer('{model_id}')
+embeddings = model.encode(sentences)
+print(embeddings)
+```
+
+学習時の損失関数にcosine類似度を使っているため、下流のタスクでcosine類似度を類似度計算に使うことをおすすめします。  
+
+# Model Detail
+
+## Tokenization
+`tohoku/bert-base-japanese-v2`と同じトークナイザーを使用しています。詳しくは、[`tohoku/bert-base-japanese-v2`のページ](https://huggingface.co/cl-tohoku/bert-base-japanese-v2)をご覧ください。
+
+## Training
+`tohoku/bert-base-japanese-v2`を初期値に設定し、日本語自然言語推論データセットである[JSNLI](https://nlp.ist.i.kyoto-u.ac.jp/?%E6%97%A5%E6%9C%AC%E8%AA%9ESNLI%28JSNLI%29%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88)のtrain setで学習を行いました。  20 epoch 学習を行い、[JSTS](https://github.com/yahoojapan/JGLUE)のtrain setの一部を検証データにして最もSpearmanの順位相関係数が高かったモデルのチェックポイントを公開しています[^1]。  
+
+## Training Parameters
+
+| Parameter | Value |
+| --- | --- |
+|pooling_strategy | [CLS] -> single fully-connected layer |
+| max_seq_length | 128 |
+| with hard negative | true |
+| temperature of contrastive loss |  0.05 |
+| Batch size | 200 |
+| Learning rate | 1e-5 |
+| Weight decay | 0.01 |
+| Max gradient norm | 1.0 |
+| Warmup steps | 2012 |
+| Scheduler | WarmupLinear |
+| Epochs | 20 |
+| Evaluation steps | 250 |
+
+
+
+[^1]: モデル学習時には、JGLUEのテストデータが公開されていなかったため、プライベートな評価データとしてJGLUEのdev setを使用していました。そのため、玉突き的にJGLUEのtrain setでcheckpointを選択しています。

config.json

@@ -0,0 +1,26 @@
+{
+  "_name_or_path": "cl-tohoku/bert-base-japanese-v2",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "BertJapaneseTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.25.1",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 32768
+}

config_sentence_transformers.json

@@ -0,0 +1,7 @@
+{
+  "__version__": {
+    "sentence_transformers": "2.2.2",
+    "transformers": "4.25.1",
+    "pytorch": "1.12.0+cu113"
+  }
+}

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Dense",
+    "type": "sentence_transformers.models.Dense"
+  }
+]

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ae4edc54026eb831ecddff1013e637db22cf7977cfd731a977b840261e421dac
+size 444898097

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 128,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

tokenizer_config.json

@@ -0,0 +1,22 @@
+{
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "do_subword_tokenize": true,
+  "do_word_tokenize": true,
+  "jumanpp_kwargs": null,
+  "mask_token": "[MASK]",
+  "mecab_kwargs": {
+    "mecab_dic": "unidic_lite"
+  },
+  "model_max_length": 1000000000000000019884624838656,
+  "name_or_path": "cl-tohoku/bert-base-japanese-v2",
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "special_tokens_map_file": null,
+  "subword_tokenizer_type": "wordpiece",
+  "sudachi_kwargs": null,
+  "tokenizer_class": "BertJapaneseTokenizer",
+  "unk_token": "[UNK]",
+  "word_tokenizer_type": "mecab"
+}