Repository: modelscope/evalscope
Issue: 从本地加载数据集失败
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.17.1

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

```
from evalscope import TaskConfig, run_task
task_cfg = TaskConfig(
    model='/home/magnus-share/xuhu/model/Qwen2.5-14B',

    # api_url='http://127.0.0.1:8801/v1/chat/completions',
    # eval_type='service',
    datasets=[
        'data_eval',
    ],
    dataset_args={
        'data_eval': {
            'local_path': 'outputs/evalscope_test.jsonl'
        }
    },
    # datasets=[
    #     'data_collection',
    # ],
    # dataset_args={
    #     'local_path': 'project/evalscope/outputs/evalscope_test.jsonl'
    # },
    eval_batch_size=128,
    generation_config={
        'max_tokens': 32768,  # 最大生成token数，建议设置为较大值避免输出截断
        'temperature': 0.6,  # 采样温度 (qwen 报告推荐值)
        'top_p': 0.95,  # top-p采样 (qwen 报告推荐值)
        'top_k': 20,  # top-k采样 (qwen 报告推荐值)
        'n': 1,  # 每个请求产生的回复数量
    },
    # timeout=60000,  # 超时时间
    # stream=True,  # 是否使用流式输出
    limit=1,  # 设置为100条数据进行测试
)

run_task(task_cfg=task_cfg)
```

## 错误日志

"datasets": [],
...
"dataset_args": {
    "local_path": "project/evalscope/outputs/evalscope_test.jsonl"
},
...
2025-08-04 13:10:47,422 - evalscope - ERROR - Failed to generate report table.
2025-08-04 13:10:47,614 - evalscope - INFO - Finished evaluation for Qwen2.5-14B on []

## 运行环境

- 操作系统：Linux version 5.10.0-1.oe.jd_619.x86_64
- Python版本：3.10

## 其他信息

无法正常加载本地数据集，会检查modelscope上的任务，但是`常见问题`里面提到的手动删掉数据集目录下的dataset_infos.json 这个文件，在modelscope和evalscope下都没有找到这个文件。

你使用的这个数据集是怎么构造的呢

> 你使用的这个数据集是怎么构造的呢

是根据手册的数据混合schema部分的指导构建的，代码如下：
```
from evalscope.collections import CollectionSchema, DatasetInfo, WeightedSampler
from evalscope.utils.io_utils import dump_jsonl_data

schema = CollectionSchema(name='evalscope', datasets=[
    CollectionSchema(name='English', datasets=[
        DatasetInfo(name='mmlu', weight=1, task_type='exam', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='cmmlu', weight=1, task_type='exam', tags=['ch'], args={'few_shot_num': 0}),
        DatasetInfo(name='simple_qa', weight=1, task_type='knowledge', tags=['en'], args={'few_shot_num': 0}),
    ]),
    CollectionSchema(name='other_reasoning', datasets=[
        DatasetInfo(DatasetInfo(name='gpqa', weight=1, task_type='knowledge', tags=['en'], args={'subset_list': ['gpqa_diamond'], 'few_shot_num': 0})),
    ]),
    CollectionSchema(name='Math', datasets=[
        DatasetInfo(name='math_500', weight=1, task_type='math', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='aime24', weight=1, task_type='math', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='gsm8k', weight=1, task_type='math', tags=['en'], args={'few_shot_num': 0})
    ])
])

# get the mixed data
mixed_data = WeightedSampler(schema).sample(100000000)  # set a large number to ensure all datasets are sampled
# dump the mixed data to a jsonl file
dump_jsonl_data(mixed_data, 'outputs/evalscope_test.jsonl')
```

配置中datasets名称不对，应该如下：

```python
datasets=[
   'data_collection',
],
```

> 配置中datasets名称不对，应该如下：
> 
> datasets=[
>    'data_collection',
> ],

这不是抱错的原因，修改为这个还是无法从本地加载数据集，默认的从modelscope源加载

请检查：
1. evalscope默认没有data_eval这个数据集，你填写的名称是否正确
2. dataset_args中对应的local_path在本地是否存在，不存在则会去modelscope上查找

> 请检查：
> 
> 1. evalscope默认没有data_eval这个数据集，你填写的名称是否正确
> 2. dataset_args中对应的local_path在本地是否存在，不存在则会去modelscope上查找

谢谢，已解决，重新pip更新了下evalscope包

请问目前多卡评测这个功能支持了吗？手册里我看到还没有更新支持。

<img width="431" height="104" alt="Image" src="https://github.com/user-attachments/assets/dd977650-6d3b-4d9c-90f4-3c273a10d878" />

还未支持多卡评估

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！