Repository: modelscope/evalscope
Issue: mteb task和evalscope task精度差异
Root cause: Algorithmic Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
mteb task和evalscope task精度存在差异

<img width="1507" height="587" alt="Image" src="https://github.com/user-attachments/assets/d842089c-d733-4705-be4b-ce5413a3eee0" />

测试代码在下方，请问是使用方式/参数设置有问题吗？

## EvalScope 版本（必填）
0.17.1

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

修改代码：修改后会分别运行mteb task和evalscope task测试并输出结果

<img width="1238" height="311" alt="Image" src="https://github.com/user-attachments/assets/bbc041f2-ce72-4225-8f6f-fe426bf7b016" />

测试脚本：
```
from evalscope import TaskConfig
import os

test_case = {
    # class
    "TNews": "Instruct: Classify the fine-grained category of the given news title",
    "IFlyTek": "Instruct: Given an App description text, find the appropriate fine-grained category",
    "Waimai": "Instruct: Classify the customer review from a food takeaway platform into positive or negative",
    "OnlineShopping": "Instruct: Classify the customer review for online shopping into positive or negative",
    "MultilingualSentiment": "Instruct: Classify sentiment of the customer review into positive, neutral, or negative",
    "JDReview": "Instruct: Classify the customer review for iPhone on e-commerce platform into positive or negative",   
}

task_cfg = TaskConfig(
    eval_backend='RAGEval',
    eval_config={
        'tool': 'MTEB',
        'model': [
            {
                'model_name': 'Qwen/Qwen3-Embedding-0.6B',
                'api_base': 'http://xx.xx.xx.xx:8005/v1',
                'api_key': os.getenv('DASHSCOPE_API_KEY', 'EMPTY'),
                "prompts": test_case,
                'dimensions': None,
                'encode_kwargs': {
                    'model': 'Qwen/Qwen3-Embedding-0.6B',
                    'prompt_type': 'query',
                    'batch_size': 30,
                },
            }
        ],
        'eval': {
            'tasks': list(test_case.keys()),
            'verbosity': 2,
            'overwrite_results': True,
        },
    },
)

from evalscope.run import run_task

run_task(task_cfg=task_cfg) 
```

vllm
```
vllm serve Qwen/Qwen3-Embedding-0.6B \
        --task embed \
        --host xx.xx.xx.xx \
        --port 8005 \
        --tensor-parallel-size 1 \
        --dtype float16

```

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


能具体讲一下“修改代码：修改后会分别运行mteb task和evalscope task测试并输出结果” 这个部分是做了什么修改吗？

> 能具体讲一下“修改代码：修改后会分别运行mteb task和evalscope task测试并输出结果” 这个部分是做了什么修改吗？

源码默认的task应该是从[rag_eval/cmteb/tasks](https://github.com/modelscope/evalscope/blob/main/evalscope/backend/rag_eval/cmteb/tasks/__init__.py) 这里获取的，我将[47、48](https://github.com/modelscope/evalscope/blob/main/evalscope/backend/rag_eval/cmteb/task_template.py#L47)两行改为：
```
evaluation = mteb.MTEB(tasks=eval_args['tasks'])
```
这样应该是从mteb仓库获取的task（但实际看evaluation.tasks会有两组task，一组mteb仓库的， 一组cmteb/tasks的）

经过测试”从mteb仓库获取的task“的得分比”从cmteb中获取task“得分要高


或者以TNews为例：
将[tasks](https://github.com/modelscope/evalscope/blob/main/evalscope/backend/rag_eval/cmteb/tasks/__init__.py#L10)修改为mteb仓库的（改动只有这个）前后得分会不一致

<img width="552" height="79" alt="Image" src="https://github.com/user-attachments/assets/d30d5994-121d-43e2-97c1-28a99e468d4d" />