Repository: modelscope/evalscope
Issue: 怎么使用本地数据集
Root cause: Documentation Deficiency

你们的参数文档写的我看不懂，示例跟没有一样

使用本地数据集这里有示例哈：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id11

> 使用本地数据集这里有示例哈：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id11

如果是自己制作的混合数据集呢？

<img width="409" height="541" alt="Image" src="https://github.com/user-attachments/assets/234adef9-e0bb-4c07-a907-6bd75d66e94b" />
像上图中的，自己制作的混合数据集datasets后面写什么？

> 使用本地数据集这里有示例哈：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id11

还有我使用的数据集：evalscope/Qwen3-Test-Collection，但结果为什么是这样的：

<img width="1362" height="622" alt="Image" src="https://github.com/user-attachments/assets/51830701-a8a3-43ad-ac82-71e4c95ef6d8" />
这个数据集不是覆盖了各种范围吗，请问这里为什么只有English

> > 使用本地数据集这里有示例哈：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id11
> 
> 如果是自己制作的混合数据集呢？
> 
> <img alt="Image" width="409" height="541" src="https://private-user-images.githubusercontent.com/101978329/503080766-234adef9-e0bb-4c07-a907-6bd75d66e94b.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjA5Mzk5MzUsIm5iZiI6MTc2MDkzOTYzNSwicGF0aCI6Ii8xMDE5NzgzMjkvNTAzMDgwNzY2LTIzNGFkZWY5LWUwYmItNGMwNy1hOTA3LTZiZDc1ZDY2ZTk0Yi5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjUxMDIwJTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI1MTAyMFQwNTUzNTVaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT1lZDk5NDY0ZGJhMWZkYWU3YjU0YjFlMmM4ZmZjMGRhYjRhZWFmY2I2YzRjY2U5ZWRiZGY0MmU5M2MwZmZiMTI5JlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.D6h0YgeXzTyhDWk4RYJpCm5YC6cmMWIXLAwAlZBT-iQ"> 像上图中的，自己制作的混合数据集datasets后面写什么？

使用混合数据集评测请参考这个文档：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/collection/evaluate.html#id2

> > 使用本地数据集这里有示例哈：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id11
> 
> 还有我使用的数据集：evalscope/Qwen3-Test-Collection，但结果为什么是这样的：
> 
> <img alt="Image" width="1362" height="622" src="https://private-user-images.githubusercontent.com/101978329/503083258-51830701-a8a3-43ad-ac82-71e4c95ef6d8.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjA5Mzk5MzUsIm5iZiI6MTc2MDkzOTYzNSwicGF0aCI6Ii8xMDE5NzgzMjkvNTAzMDgzMjU4LTUxODMwNzAxLWE4YTMtNDNhZC1hYzgyLTcxZTRjOTVlZjZkOC5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjUxMDIwJTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI1MTAyMFQwNTUzNTVaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01MzA4MGZkMjk4MDQ5MGFjY2I0ZTA1NDI2ZDg2NTYzNDFiNDE5ZTI2Yjc2ZmVkNmMxMzRhMGFmYmZlMzNiOTYyJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.Zxi9vy9zTL-ZjancYcGDsLplaWfmcWLybocQ71Ec6dU"> 这个数据集不是覆盖了各种范围吗，请问这里为什么只有English

你是否在评测时加上了limit参数，如果是，请去掉；若不是，请提供一下完整的评测命令

> > > 使用本地数据集这里有示例哈：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id11
> > 
> > 
> > 还有我使用的数据集：evalscope/Qwen3-Test-Collection，但结果为什么是这样的：
> > <img alt="Image" width="1362" height="622" src="https://private-user-images.githubusercontent.com/101978329/503083258-51830701-a8a3-43ad-ac82-71e4c95ef6d8.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjA5Mzk5MzUsIm5iZiI6MTc2MDkzOTYzNSwicGF0aCI6Ii8xMDE5NzgzMjkvNTAzMDgzMjU4LTUxODMwNzAxLWE4YTMtNDNhZC1hYzgyLTcxZTRjOTVlZjZkOC5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjUxMDIwJTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI1MTAyMFQwNTUzNTVaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01MzA4MGZkMjk4MDQ5MGFjY2I0ZTA1NDI2ZDg2NTYzNDFiNDE5ZTI2Yjc2ZmVkNmMxMzRhMGFmYmZlMzNiOTYyJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.Zxi9vy9zTL-ZjancYcGDsLplaWfmcWLybocQ71Ec6dU"> 这个数据集不是覆盖了各种范围吗，请问这里为什么只有English
> 
> 你是否在评测时加上了limit参数，如果是，请去掉；若不是，请提供一下完整的评测命令

这是我的命令：evalscope eval   --model /mnt/workspace/plain_models/Qwen2.5-7B-Instruct --datasets data_collection --dataset-args '{"data_collection": {"dataset_id": "/mnt/workspace/eval_datas/Qwen3-Test-Collection"}}'  --limit 50   --generation-config max_tokens=30000 --model-args precision=int8,load_in_8bit=True --eval-batch-size 2
你好，我是加了limit，可是这个示例也有：

<img width="1158" height="728" alt="Image" src="https://github.com/user-attachments/assets/06594208-81d5-487f-953e-e99aacf5ee3c" />

<img width="657" height="627" alt="Image" src="https://github.com/user-attachments/assets/bf805b8a-50b4-4408-9390-b862bc89b4bc" />

下面的截图是运行了完整的数据集，最佳实践实践文档也提示了若正式进行评测需要去掉limit这个参数

> 下面的截图是运行了完整的数据集，最佳实践实践文档也提示了若正式进行评测需要去掉limit这个参数

你好，这里有另外一个数据集问题：
Traceback (most recent call last):
  File "/mnt/workspace/exe_codes/extract_data.py", line 27, in <module>
    mixed_data = WeightedSampler(schema).sample(500)  # 总条数=500
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/evalscope/collections/sampler.py", line 76, in sample
    sampled_data.extend(self._sample_dataset(dataset, dataset_sample_count))
                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/evalscope/collections/sampler.py", line 34, in _sample_dataset
    data_dict = dataset.get_data()
                ^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/evalscope/collections/schema.py", line 19, in get_data
    benchmark_meta = Benchmark.get(self.name)
                     ^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/evalscope/benchmarks/benchmark.py", line 67, in get
    raise Exception(f'Unknown benchmark: {name}. Available tasks: {list(BENCHMARK_MAPPINGS.keys())}')
Exception: Unknown benchmark: gpqa_diamond. Available tasks: ['alpaca_eval', 'bbh', 'ceval', 'live_code_bench', 'winogrande', 'math_500', 'cmmlu', 'mmlu_redux', 'ifeval', 'general_arena', 'aime25', 'aime24', 'evalmuse', 'hpdv2', 'genai_bench', 'tifa160', 'general_t2i', 'gsm8k', 'hle', 'maritime_bench', 'race', 'mmlu', 'gpqa', 'general_qa', 'super_gpqa', 'iquiz', 'arena_hard', 'truthful_qa', 'general_mcq', 'musr', 'humaneval', 'drop', 'arc', 'needle_haystack', 'tool_bench', 'frames', 'tau_bench', 'competition_math', 'chinese_simpleqa', 'simple_qa', 'process_bench', 'hellaswag', 'docmath', 'mmlu_pro', 'trivia_qa', 'data_collection', 'bfcl_v3']
报错显示没有gpqa_diamond，可是文档和使用教程都是有的，请问是什么原因啊？

<img width="858" height="739" alt="Image" src="https://github.com/user-attachments/assets/c9cf93e5-abd2-4ca0-aa3a-9479b3c7f995" />