Update README.md

README.md

@@ -12,9 +12,10 @@ tags:
 
 M3E 是 Moka Massive Mixed Embedding 的缩写
 
-* Moka，此文本嵌入模型由 MokaAI 训练并开源，训练脚本使用 [uniem](https://github.com/wangyuxinwhy/uniem/blob/main/scripts/train_m3e.py)
-* Massive，此文本嵌入模型通过**千万级**的中文句对数据集进行训练
-* Mixed，此文本嵌入模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索
+- Moka，此模型由 MokaAI 训练并开源，训练脚本使用 [uniem](https://github.com/wangyuxinwhy/uniem/blob/main/scripts/train_m3e.py)
+- Massive，此模型通过**千万级** (2200w+) 的中文句对数据集进行训练
+- Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索
+- Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量
 
 ## 更新说明
 
@@ -25,10 +26,10 @@ M3E 是 Moka Massive Mixed Embedding 的缩写
 
 |           | 参数数量 | 维度 | 中文 | 英文 | s2s | s2p | s2c | 开源 | 兼容性 | s2s Acc | s2p ndcg@10 |
 | --------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | ---- | ---------- | ------------ | -------- |
-| m3e-small | 24M      | 512      | 是       | 否       | 是       | 否       | 否       | 是   | 优         | 0.5755       | 0.7262   |
-| m3e-base  | 110M     | 768      | 是       | 是       | 是       | 否       | 否       | 是   | 优         | 0.5834       | 0.8004   |
-| text2vec  | 110M     | 768      | 是       | 否       | 是       | 否       | 否       | 是   | 良         | 0.6157       | 0.6346   |
-| openai    | 未知     | 1576     | 是       | 是       | 是       | 否       | 是       | 否   | 优         | 0.5956       | 0.7786   |
+| m3e-small | 24M      | 512      | 是       | 否       | 是       | 否       | 否       | 是   | 优         | 0.5834       | 0.7262   |
+| m3e-base  | 110M     | 768      | 是       | 是       | 是       | 是       | 否       | 是   | 优         | **0.6157**       | **0.8004**   |
+| text2vec  | 110M     | 768      | 是       | 否       | 是       | 否       | 否       | 是   | 良         | 0.5755       | 0.6346   |
+| openai-ada-002    | 未知     | 1576     | 是       | 是       | 是       | 是       | 是       | 否   | 优         | 0.5956       | 0.7786   |
 
 说明：
 - s2s, 即 sentence to sentence ，代表了同质文本之间的嵌入能力，适用任务：文本相似度，重复问题检测，文本分类等
@@ -37,6 +38,11 @@ M3E 是 Moka Massive Mixed Embedding 的缩写
 - 兼容性，代表了模型在开源社区中各种项目被支持的程度，由于 m3e 是基于 sentence-transformers 的，所以和 openai 在社区的支持度上相当
 - ACC & ndcg@10，详情见下方的评测
 
+Tips:
+- 使用场景主要是中文，少量英文的情况，建议使用 m3e 系列的模型
+- 多语言使用场景，并且不介意数据隐私的话，我建议使用 openai-ada-002
+- 代码检索场景，推荐使用 ada-002
+
 ## 使用方式
 
 您需要先安装 sentence-transformers
@@ -88,7 +94,7 @@ M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训
 ## 评测
 
 - 评测模型，[text2vec](https://github.com/shibing624/text2vec), m3e-base, m3e-small, openai-ada-002
-- 评测脚本，具体参考此 [评测脚本](https://github.com/wangyuxinwhy/uniem/blob/main/mteb-zh)
+- 评测脚本，具体参考 [MTEB-zh] (https://github.com/wangyuxinwhy/uniem/blob/main/mteb-zh)
 
 ### 文本分类
 
@@ -97,13 +103,13 @@ M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训
 
 |                   | text2vec | m3e-small | m3e-base | openai |
 | ----------------- | -------- | --------- | -------- | ------ |
-| TNews             | 0.43     | 0.4443    | 0.4827   | 0.4594 |
-| JDIphone          | 0.8214   | 0.8293    | 0.8533   | 0.746  |
-| GubaEastmony      | 0.7472   | 0.712     | 0.7621   | 0.7574 |
-| TYQSentiment      | 0.6099   | 0.6596    | 0.7188   | 0.68   |
-| StockComSentiment | 0.4307   | 0.4291    | 0.4363   | 0.4819 |
-| IFlyTek           | 0.414    | 0.4263    | 0.4409   | 0.4486 |
-| Average           | 0.5755   | 0.5834    | 0.6157   | 0.5956 |
+| TNews             | 0.43     | 0.4443    | **0.4827**   | 0.4594 |
+| JDIphone          | 0.8214   | 0.8293    | **0.8533**   | 0.746  |
+| GubaEastmony      | 0.7472   | 0.712     | **0.7621**   | 0.7574 |
+| TYQSentiment      | 0.6099   | 0.6596    | **0.7188**   | 0.68   |
+| StockComSentiment | 0.4307   | 0.4291    | 0.4363   | **0.4819** |
+| IFlyTek           | 0.414    | 0.4263    | 0.4409   | **0.4486** |
+| Average           | 0.5755   | 0.5834    | **0.6157**   | 0.5956 |
 
 ### 检索排序
 
@@ -114,12 +120,12 @@ M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训
 
 |         | text2vec | openai-ada-002 | m3e-small | m3e-base |
 | ------- | -------- | -------------- | --------- | -------- |
-| map@1   | 0.4684   | 0.6133         | 0.5574    | 0.626    |
-| map@10  | 0.5877   | 0.7423         | 0.6878    | 0.7656   |
-| mrr@1   | 0.5345   | 0.6931         | 0.6324    | 0.7047   |
-| mrr@10  | 0.6217   | 0.7668         | 0.712     | 0.7841   |
-| ndcg@1  | 0.5207   | 0.6764         | 0.6159    | 0.6881   |
-| ndcg@10 | 0.6346   | 0.7786         | 0.7262    | 0.8004   |
+| map@1   | 0.4684   | 0.6133         | 0.5574    | **0.626**    |
+| map@10  | 0.5877   | 0.7423         | 0.6878    | **0.7656**   |
+| mrr@1   | 0.5345   | 0.6931         | 0.6324    | **0.7047**   |
+| mrr@10  | 0.6217   | 0.7668         | 0.712     | **0.7841**   |
+| ndcg@1  | 0.5207   | 0.6764         | 0.6159    | **0.6881**   |
+| ndcg@10 | 0.6346   | 0.7786         | 0.7262    | **0.8004**   |
 
 #### T2Ranking
 
@@ -128,9 +134,12 @@ M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训
 
 |         | text2vec | m3e-small | m3e-base |
 | ------- | -------- | --------- | -------- |
-| t2r-1w  | 0.6346   | 0.72621   | 0.8004   |
-| t2r-10w | 0.44644  | 0.5251    | 0.6263   |
-| t2r-50w | 0.33482  | 0.38626   | 0.47364  |
+| t2r-1w  | 0.6346   | 0.72621   | **0.8004**   |
+| t2r-10w | 0.44644  | 0.5251    | **0.6263**   |
+| t2r-50w | 0.33482  | 0.38626   | **0.47364**  |
+
+说明：
+- 检索排序对于 text2vec 并不公平，因为 text2vec 在训练的时候没有使用过检索相关的数据集，所以没有办法很好的完成检索任务也是正常的。
 
 ## M3E数据集