zhiminy/EvalEng huggingface dataset:
Repository: hkust-nlp/ceval
Issue: 看不懂怎么用。。eval_llama.py是给基于llama的模型用的吗，有很多报错不知道怎么解决
Root cause: Documentation Deficiency

要是想评测用自己数据训练过的llama-7b模型，命令行是
torchrun  --nproc_per_node 8 
code/evaluator_series/eval_llama.py
 --ckpt_dir [PATH TO CKPT]
 --param_size 7 
--few_shot 
--cot 
--ntrain 5 
--subject [SUBJECT NAME]

然后报错：
![image](https://github.com/SJTU-LIT/ceval/assets/14094344/f762b85c-78a1-4aed-9605-d334435a8cc9)
是要在命令行参数里面加local_rank, world_size这些吗


有没有完整示例教程之类的。。

请问找到解决方法了吗

应该使用这个库进行评测：https://github.com/EleutherAI/lm-evaluation-harness
```bash
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
cd lm-evaluation-harness/
pip install -e .
```

评测脚本：
```bash
python main.py --model hf-causal-experimental \
    --model_args pretrained=/path/to/model \
    --tasks Ceval-valid-computer_network \
    --device cuda:0
```
Repository: hkust-nlp/ceval
Issue: Missing types of subject_mapping.json
Root cause: Validation Gap

Missing types of clinical_medicine in your json file:
https://github.com/SJTU-LIT/ceval/blob/1de625a381fb32c362ddac22da33b55b55c93c48/subject_mapping.json#L227-L230

 Fixed. Thanks for your feedback！
Repository: hkust-nlp/ceval
Issue: prompt行尾含有空格会发生什么？为什么不能有空格
Root cause: Documentation Deficiency

在https://github.com/SJTU-LIT/ceval/blob/main/resources/tutorial.md 中提到 “prompt 的格式非常重要！！注意要换行！！注意每行末尾不要有空格”， 想请教一下 prompt的结尾如果有空格，会引发什么问题？ 大模型的鲁棒性是否还没办法处理这个空格

一般经验认为我们推荐的格式更合适和常见，但实际上prompt结尾如果有空格可能也不会有太大问题，我们并没有实验的证据，这个也跟不同大模型的robustness有关
Repository: hkust-nlp/ceval
Issue: 测试集中的部分错误。
Root cause: Validation Gap

在`middle_school_politics_test`中：

134,"2019年1月29日，安徽省安庆市中级人民法院公开宣判江西省人民政府原副省长李贻煌受贿、贪污、挪用公款、国有企业人员滥用职权案，财被告人李贻煌判处有期徒刑十八年，并处罚金人民币二百二十万元。材料表明____

①我国坚持依法治国 ②公民应自觉遵守宪法法律
③我国坚持以德治国 ④我国的法律体系已经健全",①②,①③,⑦④,③④

第三个选项中不应该出现⑦。

在`computer_network_test`中：

124,"下列属于奇偶校验码特征的是____。
Ⅰ．只能检查出奇数个比特错误Ⅱ．能查出任意一个比特位的错误  Ⅲ．比CRC可靠",Ⅰ、Ⅱ,Ⅰ、Ⅲ,.仅Ⅰ,.仅Ⅱ
170,TCP支持____。I、单播	II、组播	III、广播,仅I,I和II,仅II,I、II、III

两种罗马数字是不一样的，这是有意设置成这样么。


在`probability_and_statistics_test`中：
59,"设随机变量X的分布函数为$F(x)=\begin{cases}0,&x<0\\\frac{1}{2},&0\leq x<1,\text{则}\{\mathrm{x}=0\}=\\1-\mathrm{e}^{-x},&x\geq 1\end{cases}$",0,$\frac{1}{2}$,$\frac{1}{2}-\mathrm{e}^{-1}$,$1-\mathrm{e}^{-1}$.

找不到填写答案的地方。

在 `high_school_biology_test`中
64,"如果真核细胞核DNA分子上某一片段是一个有遗传效应的片段，则该片段____
①携带遗传信息   ②上面有密码子	 能转录产生mRNA
④能进入核糖体	⑤能携带氨基酸	⑥能控制蛋白质的合成
⑦在体细胞中可能成对存在",①③⑥⑦,①④⑤⑥,①②③⑦,②④⑥⑦
能转录产生mRNA前缺失③


在 `high_school_physics_test`中
94,客乘坐过山车，在圆弧轨道最低点处获得的向心加速度达到20 m/s^2，g取10 m/s^2，那么此位置座椅对游客的作用力相当于游客重力的,1倍,2倍,3倍,4倍
无填空位置。


在 `electrical_engineer_test`中
132,在年平均雷暴日大于15天/年的地区，高度在____及以上的烟囱、水塔等孤立的高耸建筑物应划为第三类防雷建筑物____。,10m,15m,20m,25m
题干最后的空格是多余的。



感谢您的反馈，我们会在近期进行更新
Repository: hkust-nlp/ceval
Issue: 为什么我用c-eavl测试chatglm2-6B 在zero-shot 下的分数很低？
Root cause: Configuration Error

![image](https://github.com/SJTU-LIT/ceval/assets/18161207/7ea78e08-afe1-44bb-9a84-eb29ac4e71a9)
为什么我用c-eavl测试chatglm2-6B 在zero-shot 下的分数很低？并且使用cot的模式，分数也没有提升。

补充一下，用few-shot cot模式的话，评分就接近官方

> 补充一下，用few-shot cot模式的话，评分就接近官方

请问一下是怎么测评的, 看README也不清楚, --model-name 写本地地址也不行, 

@1014670860 在chatglm文件中写你本地的模型地址。不过我不知道怎么运行test测试，只可以跑dev

是不是和代码里这行代码有关系？
choice_score = [score[167], score[333], score[251], score[416]]
我看代码好像这个chatglm的评估是适用于chatglm-6b，并没有适配chatglm2-6b。因为两个版本的模型词表不一样

> ![image](https://user-images.githubusercontent.com/18161207/261971240-7ea78e08-afe1-44bb-9a84-eb29ac4e71a9.png) 为什么我用c-eavl测试chatglm2-6B 在zero-shot 下的分数很低？并且使用cot的模式，分数也没有提升。
这个问题确认了，如果使用chatglm2-6b进行测试的话，使用zeroshot时，chatglm.py的145行需要改成：
choice_score = [score[316], score[347], score[319], score[367]]才能对应到新版本的词表
Repository: hkust-nlp/ceval
Issue: public display
Root cause: Others

I submitted our model’s results for public display, and how long will it take to process them? Thank you.​​​​​​

Thanks for your affirmation and recognition of C-Eval~
Because there some model may update their records multiple times within a few days, we update the leaderboard every 2-3 days. If there is an urgent need to make the results public, you can contact us via email or create an issuse. 
In general, we conduct preliminary review and screening of the submitted records that need to be made public, and we may reach out to some submitters for further confirmation before making them public.

Thank you for your response, and also thank you for your work on model evaluation.
Repository: hkust-nlp/ceval
Issue: 申请公开
Root cause: Others

您好，麻烦更新下leaderboard吧，辛苦了

> 您好，麻烦更新下leaderboard吧，辛苦了

请问您提交的模型是什么？

> > 您好，麻烦更新下leaderboard吧，辛苦了
> 
> 请问您提交的模型是什么？

您好，id是3ffcaefa-42ee-11ee-bd8b-00163e0166d9。谢谢！

> > > 您好，麻烦更新下leaderboard吧，辛苦了
> > 
> > 
> > 请问您提交的模型是什么？
> 
> 您好，id是3ffcaefa-42ee-11ee-bd8b-00163e0166d9。谢谢！

嗯嗯，更新了

> > > > 您好，麻烦更新下leaderboard吧，辛苦了
> > > 
> > > 
> > > 请问您提交的模型是什么？
> > 
> > 
> > 您好，id是3ffcaefa-42ee-11ee-bd8b-00163e0166d9。谢谢！
> 
> 嗯嗯，更新了

THKS!
Repository: hkust-nlp/ceval
Issue: You guys posted a hilarious Leaderboatd on your official website

Note the * and Note, hahaha, what's the point of actually submitting the scores by the users themselves?

The first 9 are some unheard of pheasants, it's hilarious!

https://cevalbenchmark.com/static/leaderboard.html

<img width="1510" alt="截屏2023-09-06 下午2 17 04" src="https://github.com/SJTU-LIT/ceval/assets/6421173/6a2dce58-865e-4eb8-ac76-908f62318fad">


We welcome any feedback or discussion, but please be polite if you do want to make a point or discussion anything
Repository: hkust-nlp/ceval
Issue: 官方示例加载数据集报错
Root cause: Environment Incompatibility

![image](https://github.com/SJTU-LIT/ceval/assets/59324762/027f20bb-8859-4912-b35f-630cb01c8deb)
使用官方提供的代码示例是时候出错了，这行代码在一台机器上正常，另一台机器上就报错，使用的conda环境完全一致，想不明白，求解答
`dataset = load_dataset(r"ceval/ceval-exam", name="high_school_physics")`

![image](https://github.com/SJTU-LIT/ceval/assets/59324762/919f78ab-3f47-48c0-8b0b-96fede38ad43)
尝试根据官方huggingface 展示的split加载，报了上图错误，求解答

感觉可能是报错的机器上下载的数据集不完整，建议清除掉下载的数据集（例如，我的windows电脑上就是在`C:\Users\DELL\.cache\huggingface\datasets`目录下），然后重新运行试一下。

![image](https://github.com/SJTU-LIT/ceval/assets/59324762/5de3c1b2-b5ed-44bb-8837-83321def66bd)
感谢回复，已经清除过很多次了，首先是hf的连接问题，hf常年不容易连上，但是服务器又不能随便开代理，有一行提示信息显示无法到达hf的google存储，从源地址下载，猜测是这个问题，完全不知道原地址是哪里。。。

1. hf的连接确实不太稳定，有可能是网络导致的问题。
2. 有没有可能是conda环境中datasets的版本不一致，我的版本是 2.13.1。

目前一个最保证的解决方法就是：在https://huggingface.co/datasets/ceval/ceval-exam/tree/main 这个目录下面有一个zip文件，这个就是原始的数据文件。或许你可以手动下载之后解压，使用[这里](https://github.com/SJTU-LIT/ceval/blob/e40e9d19b66d25ec265549bda672db6fae795cd4/code/evaluator_series/eval.py#L60C30-L60C30)类似的代码读取后进行测试。

感谢回复，pd的方式读取确实可以实现，但还是需要适配hugging face，结果。。。
已排查环境问题，datasets 版本确实是2.13.1，确认两台机器环境完全一致。请问您那边删除之前的缓存的话，现在hf的加载方式能成功加载不？

可以加载的，只要网络正常。

@JensenDong set dataset = load_dataset(r"ceval/ceval-exam/dev"),  you should locate the spefic folder

hf国内连不上 请问有其他的下载方式吗？

可以尝试从 hf 下载到本地直接读取 parquet 文件, 这个应该是可以的
Repository: hkust-nlp/ceval
Issue: 自然语言处理的相关任务属于知识型还是推理型任务呢？

你好，请教一下，自然语言处理的相关任务，比如机器翻译、语义相似性判断，应该属于知识型还是推理性任务呢，还是两者都不属于，现有的测试集是否应该增加这部分的测试？

机器翻译感觉知识和推理成分都有，语义相似性或者NLI等任务更接近纯推理性任务。CEval目前的版本只关注中文知识测试
Repository: hkust-nlp/ceval
Issue: Atom-13B不是公开访问的模型
Root cause: Unimplemented Feature Gap

Atom-13B目前尚未开放下载权重文件，只有[Atom-7B](https://huggingface.co/FlagAlpha/Atom-7B-Chat/tree/main)的权重是公开访问的。

> 目前，社区提供完全开源可商用的Atom-7B模型，并将持续更新。
>
> From [🤗FlagAlpha](https://huggingface.co/FlagAlpha)

+1
Atom-13B并没有对外有可用的API或者权重可供效果验证。
另外，测了一下Atom-7B在C-Eval上的效果不是很好（所以榜单上没有？）。

已经更新
Repository: hkust-nlp/ceval
Issue: 模型是否真正掌握了相关知识而不是在猜答案？
Root cause: Documentation Deficiency

好奇是否有人测过让模型输出过程解析，或者对题目做一些扰动/变换处理，看某些高分模型是否仍然能够答对
考虑到题目总量，如果输出解析过程评测可能会比较复杂，但如果想得出结论，随机抽样几十个就能得到结论。

我在gpt3.5 上做过，输入一个leetcode题，能正确输出答案。然后用小明小王这样子用自己语言重新描述下题，有很大概率输出就错了。

你也可以试试，变换围绕这context的输入顺序，表达方式变化。

yucc-leon ***@***.***>于2023年10月8日 周日13:02写道：

> 好奇是否有人测过让模型输出过程解析，或者对题目做一些扰动/变换处理，看某些高分模型是否仍然能够答对
> 考虑到题目总量，如果输出解析过程评测可能会比较复杂，但如果想得出结论，随机抽样几十个就能得到结论。
>
> —
> Reply to this email directly, view it on GitHub
> <https://github.com/hkust-nlp/ceval/issues/61>, or unsubscribe
> <https://github.com/notifications/unsubscribe-auth/AILGYTQMRPHYIASV3Q3CNR3X6IXU7AVCNFSM6AAAAAA5XNM766VHI2DSMVQWIX3LMV43ASLTON2WKOZRHEZTCNRUG42TIOI>
> .
> You are receiving this because you are subscribed to this thread.Message
> ID: ***@***.***>
>


> 我在gpt3.5 上做过，输入一个leetcode题，能正确输出答案。然后用小明小王这样子用自己语言重新描述下题，有很大概率输出就错了。 你也可以试试，变换围绕这context的输入顺序，表达方式变化。 yucc-leon ***@***.***>于2023年10月8日 周日13:02写道：
> […](#)
> 好奇是否有人测过让模型输出过程解析，或者对题目做一些扰动/变换处理，看某些高分模型是否仍然能够答对 考虑到题目总量，如果输出解析过程评测可能会比较复杂，但如果想得出结论，随机抽样几十个就能得到结论。 — Reply to this email directly, view it on GitHub <#61>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AILGYTQMRPHYIASV3Q3CNR3X6IXU7AVCNFSM6AAAAAA5XNM766VHI2DSMVQWIX3LMV43ASLTON2WKOZRHEZTCNRUG42TIOI> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

我在CEval之外的数据上试过一些类似的case，正确率比较惨……所以本意是觉得像CEval这种题目在广域语料中应该是存在挺多辅助数据，表现可能会更好一些？不然还挺泼冷水的

我们对gpt3.5和chatGLM做过shuffle ABCD顺序的实验，对总体结果影响不大，得到平均准确率的variance很小。我们generally认为如果模型预训练没有特地针对ceval类似的考试数据调优的话，ceval可以反应模型的整体knowledge水平；如果模型预训练就已经针对性对ceval类考试题目调优过分overfit，那么ceval也许只能反应模型的学科考试水平。我们的初衷是希望开发者以前者作为practice，这样ceval才能更大发挥其对于开发的帮助作用
Repository: hkust-nlp/ceval
Issue: llama和其他模型评测时不同点
Root cause: Documentation Deficiency

为什么llama评测时候调用的是model.forward()，而glm却用model.generate()方法呢？有什么本质区别吗？

llama模型没有做sft，在zero-shot下直接general()很多时候无法生成ABCD的答案，做forward可以直接计算ABCD的概率来得到答案。在few-shot场景下llama做forward()和generate()的结果几乎没有区别。
Repository: hkust-nlp/ceval
Issue: 请问chatglm3-6b-base发布在哪里？
Root cause: Documentation Deficiency

<img width="893" alt="image" src="https://github.com/hkust-nlp/ceval/assets/20497531/e32902c0-e53e-4cff-93ce-5a37101dec20">
我没找到任何的消息来着。

Should be public soon : )
Repository: hkust-nlp/ceval
Issue: public display
Root cause: Others

Hello C-EVAL Team, 
we submitted the result b3723aeb-7dde-11ee-bd8b-00163e0166d9 last Friday. If you're free, please make an update on leaderboard. Or if you have any questions about the result, please feel free to contact us via email (also submitted in the result). Thank you!

Updated !
Repository: hkust-nlp/ceval
Issue: Leaderboard Update
Root cause: Unimplemented Feature Gap

Hello C-EVAL Team,

we submitted the result 41d79aff-828b-11ee-bd8b-00163e0166d9 today. It would be highly appreciated if you could find some time to make an update on leaderboard. If you have any questions regarding the submitted results, we kindly request you to contact us without delay via email. Thank you!
Repository: hkust-nlp/ceval
Issue: Leaderboard Update
Root cause: Unimplemented Feature Gap

Hello C-EVAL Team,

we submitted the result 41d79aff-828b-11ee-bd8b-00163e0166d9 today. It would be highly appreciated if you could find some time to make an update on leaderboard. If you have any questions regarding the submitted results, we kindly request you to contact us without delay via email. Thank you!


Updated！
Repository: hkust-nlp/ceval
Issue: gpt-4-1106-preview 有人测试过 test 的分数吗？
Root cause: Documentation Deficiency

个人在 val 上采用 5-shot prompting 得到的基本分数异常的低（比 turbo 还糟糕）

```
gpt-4-1106-preview	computer_network	15.78947
gpt-4-1106-preview	operating_system	10.52632
gpt-4-1106-preview	computer_architecture	0.00000
gpt-4-1106-preview	college_programming	32.43243
gpt-4-1106-preview	college_physics	36.84211
gpt-4-1106-preview	college_chemistry	0.00000
```

@HYZ17 你们有内部试过 gpt-4-turbo 的 test 表现吗？至少我这里用 val 跑 3.5-turbo 结果和 test 蛮相近的

我们进行了小部分的科目的zero-shot测试，发现gpt-4-turbo的输出格式很多样，且有时候会拒绝给出答案。这可能是准确率低的原因之一

test没有答案怎么办啊

在这个网站https://cevalbenchmark.com/ 提交获得分数

Hi, we've open-sourced the correct answers for the test set on [Hugging Face](https://huggingface.co/datasets/ceval/ceval-exam). You can now directly obtain your test set score. Thank you !
Repository: hkust-nlp/ceval
Issue: 没有文心一言、讯飞星火、通义千问等已发布的大模型？
Root cause: Unimplemented Feature Gap

如题，是否有对比已发布的几家大模型？

没有哈，部分商业模型我们暂时没有API权限。内测阶段我们有邀请一些商业模型测试，但是这两天准备正式发布了，因为一些考虑我们从leaderboard上下架了未公开的商业模型。

我们的数据集题目是公开的，我们会继续邀请和鼓励相关模型的开发人员到我们的网站上提交或者公开结果。

放上去会影响别人公司的股价。。
作为学术研究性项目，还是让国产大模型自愿参与比较好。有兴趣的网友可以自己测试、交流。
Repository: hkust-nlp/ceval
Issue: Fail to send verification code. Please try again
Root cause: Environment Incompatibility

在官网中提交测试集结果需要用户登录，但新用户注册账号失败，官网无法发送邮箱验证码

> 在官网中提交测试集结果需要用户登录，但新用户注册账号失败，官网无法发送邮箱验证码

Sorry about this, now is working

Thank you. I successfully registered an account, but an error occurred on the submit page and I could not submit the data. I've tried it many times and it's still like this：






------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "hkust-nlp/ceval"                                                                                    ***@***.***&gt;;
发送时间:&nbsp;2023年12月10日(星期天) 下午3:52
***@***.***&gt;;
抄送:&nbsp;" ***@***.******@***.***&gt;;
主题:&nbsp;Re: [hkust-nlp/ceval] Fail to send verification code. Please try again (Issue #71)





 
Sorry about this, now is working
 
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

> Thank you. I successfully registered an account, but an error occurred on the submit page and I could not submit the data. I've tried it many times and it's still like this：
> […](#)
> ------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "hkust-nlp/ceval" ***@***.***&gt;; 发送时间:&nbsp;2023年12月10日(星期天) 下午3:52 ***@***.***&gt;; 抄送:&nbsp;" ***@***.******@***.***&gt;; 主题:&nbsp;Re: [hkust-nlp/ceval] Fail to send verification code. Please try again (Issue #71) Sorry about this, now is working — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

it's fixed now~
Repository: hkust-nlp/ceval
Issue: Leaderboard Update
Root cause: Unimplemented Feature Gap

Hello C-EVAL Team,

we submitted the result baa6fc33-9594-11ee-bd8b-00163e0166d9 last Friday. It would be highly appreciated if you could find some time to make an update on leaderboard. If you have any questions regarding the submitted results, we kindly request you to contact us without delay via email. Thank you!
Repository: hkust-nlp/ceval
Issue: Failed to send verification code. Please try again.

在官网注册新账户，邮箱验证码发送失败，无法正常注册新账户了：```Failed to send verification code. Please try again.```
请帮忙看一下

Due to some limitations with Google Mail, we've now switched to Outlook. Please give it another try (might be a slight delay in receiving emails, so please be patient).

Thanks for helping! It's working now.
Repository: hkust-nlp/ceval
Issue: HOW TO EVALUATE STEM???
Root cause: Documentation Deficiency

I found that I could only assess each small subject, such as computer_network, instead of a large subject, such as STEM. Is it true that in the experiment you can only measure each minor subject and then average the final score to get an average score for a major subject?


我发现在测评的时候只能测评每个小课目，比如computer_network，而不是一个大课目比如STEM。实际在实验中只能对每个小科目进行测评然后最后算平均分得到一个大科目的平均分吗？

对的
Repository: hkust-nlp/ceval
Issue: Leaderboard Update
Root cause: Unimplemented Feature Gap

Hello C-Eval Team,

        We submitted the result a5a65cd4-aae3-11ee-bd8b-00163e0166d9 two days ago.
It would be highly appreciated if you could find some time to make an update on leaderboard.
And if any questions with our submitted results, we kindly request you to concat us with email. Tnank you!

Best Regards!
Repository: hkust-nlp/ceval
Issue: The leaderboard in GitHub is out of sync with the latest version on the official website
Root cause: Documentation Deficiency

![image](https://github.com/hkust-nlp/ceval/assets/8592144/4546b262-5b12-4c67-b5b0-f44f83b642d9)
![image](https://github.com/hkust-nlp/ceval/assets/8592144/ac8aff0f-3f9e-4986-aa3e-adb7cbd38834)



The leaderboard in GitHub only retains the evaluation results in our paper. For latest results, please visit our official website.
Repository: hkust-nlp/ceval
Issue: Leaderboard Update
Root cause: Unimplemented Feature Gap

你好，我们是周二提交的分数，截止到3月1号，成绩还未公布 ，我们提交的ID是 7f3f51c2-d550-11ee-bd8b-00163e0166d9	

已经更新
Repository: hkust-nlp/ceval
Issue: Failed to send verification code. Please try again.
Root cause: External Dependency Breakage

![image](https://github.com/hkust-nlp/ceval/assets/16360262/b554353f-9aa5-493c-931d-a5b394c1a406)

在官网注册新账户，邮箱验证码发送失败，无法正常注册新账户了：Failed to send verification code. Please try again.
尝试了QQ邮箱、outlook、gmail均失败。请帮忙看一下。


刚刚尝试了一下可以正常收到注册验证码，谢谢

今天刚试，同样的问题，Failed to send verification code. Please try again.QQ邮箱、outlook、gmail均失败

Should be resolved now @Cherryjingyao 

昨天和今天尝试注册的时候也碰到了相同的问题，Failed to send verification code. Please try again.

Failed to send verification code. Please try again. 
这边也遇到同样的问题 试了 qq gmail 163

应该已经解决了，请重新尝试，谢谢

今天注册遇到同样的问题，Failed to send verification code. Please try again.  现在还可以开放注册吗？

> 今天注册遇到同样的问题，Failed to send verification code. Please try again. 现在还可以开放注册吗？


已经解决，请重新尝试，谢谢

今天在尝试找回密码和注册时遇到了同样的问题：Sending failed. Please try it later or contact us for help

> 今天在尝试找回密码和注册时遇到了同样的问题：Sending failed. Please try it later or contact us for help

已经解决，请重新尝试，谢谢

今天在找回密码注册账号时遇到了同样的问题：Failed to send verification code. Please try again.

> 今天在找回密码注册账号时遇到了同样的问题：Failed to send verification code. Please try again.

已经解决，请重新尝试，谢谢

今天注册遇到了无法发送验证码错误

> 今天注册遇到了无法发送验证码错误

已经解决，请重新尝试，谢谢

> > 今天注册遇到了无法发送验证码错误
> 
> 已经解决，请重新尝试，谢谢

感谢回复，但是刚才尝试注册，还是失败

有解决吗？现在注册也出现这个问题。

> 有解决吗？现在注册也出现这个问题。

已经解决，请重新尝试，谢谢

> > > 今天注册遇到了无法发送验证码错误
> > 
> > 
> > 已经解决，请重新尝试，谢谢
> 
> 感谢回复，但是刚才尝试注册，还是失败

已经解决，请重新尝试，谢谢
Repository: hkust-nlp/ceval
Issue: 测试结果提交报错，点击process时，提示：Any subject must contain at least 50 questions to be calculated
Root cause: Validation Gap

把从官网下载的sample直接提交也是报这个错，是每个科目最少需要50条数据吗？
奇怪的是，把数据加到了每个科目50条数据，有时候报错，有时候能成功
然后，让别的小伙伴试了下，提交sample没有报错

我们设置的是至少提交50条数据
Repository: hkust-nlp/ceval
Issue: 为什么test数据集里没有正确答案的信息呢
Root cause: Documentation Deficiency


test set的答案是不公开的，你可以在我们的网站提交测试结果并获取分数。具体流程可以参考：https://github.com/hkust-nlp/ceval?tab=readme-ov-file#how-to-evaluate-on-c-eval
Repository: hkust-nlp/ceval
Issue: 发现几个问题好像标注答案不太对
Root cause: Validation Gap

正在结西瓜的植株，其吸收的水分主要用于____A.光合作用B.蒸腾作用C.呼吸作用D.吸收作用  答案给的是D，这个正确选项应该是B吧？
还有几个问题也是，不确定是不是标错了，还是我搞错了

是的，这道题的答案应该是B。

欢迎指出更多的题目错误，我们会定期进行更新。希望您可以顺便指出题目所属的科目、集合（dev or validation）和题号，方便我们定位和修改数据。十分感谢。

这道题的选项有点问题：
科目：ideological_and_moral_cultivation
split：val
id：1
{'id': 1, 'question': '我国森林法把每年____定为全国统一的“植树节”', 'A': '44990', 'B': '44996', 'C': '44997', 'D': '45000', 'answer': 'C', 'explanation': ''} 

<img width="1292" height="173" alt="Image" src="https://github.com/user-attachments/assets/d8ac48b7-14f1-46b6-a62a-74e86f5ea02a" />

@HYZ17 

感谢大家指出错误, 根据反馈我们更新并修复了上述问题
Repository: hkust-nlp/ceval
Issue: 上传模型评测结果到网页上报错 Any subject must contain at least 50 questions to be calculated
Root cause: Validation Gap

按这个格式准备的数据
<img width="584" alt="image" src="https://github.com/user-attachments/assets/5adbdecb-0c5b-4755-a520-2bbf8cdfcf8d">


你好，每个科目，至少需要保证有50道题目的答案才可以正常评测。
Repository: hkust-nlp/ceval
Issue: 示例代码无法正常加载数据集
Root cause: Documentation Deficiency

```
from datasets import load_dataset
dataset=load_dataset(r"/home/lm-evaluation-harness-main/ceval-exam/",name="computer_network")

print(dataset['val'][0])
```

root@xxx:/home/lm-evaluation-harness-main# python load_datasets.py 
Resolving data files: 100%|███████████████████████████████████████████████████████████████████████████| 104/104 [00:00<00:00, 116539.57it/s]
Resolving data files: 100%|██████████████████████████████████████████████████████████████████████████████| 52/52 [00:00<00:00, 87241.52it/s]
Traceback (most recent call last):
  File "/home/lm-evaluation-harness-main/load_datasets.py", line 7, in <module>
    dataset=load_dataset(r"/home/lm-evaluation-harness-main/ceval-exam/",name="computer_network")
  File "/usr/local/lib/python3.10/site-packages/datasets/load.py", line 2606, in load_dataset
    builder_instance = load_dataset_builder(
  File "/usr/local/lib/python3.10/site-packages/datasets/load.py", line 2314, in load_dataset_builder
    builder_instance: DatasetBuilder = builder_cls(
  File "/usr/local/lib/python3.10/site-packages/datasets/builder.py", line 374, in __init__
    self.config, self.config_id = self._create_builder_config(
  File "/usr/local/lib/python3.10/site-packages/datasets/builder.py", line 601, in _create_builder_config
    raise ValueError(
ValueError: BuilderConfig 'computer_network' not found. Available: ['default']

在我的笔记本电脑上可以正常工作，如下
<img width="567" alt="image" src="https://github.com/user-attachments/assets/0231f875-cdae-4c5b-9d3e-79f1d1e55892">

BTW，你不需要指定一个本地的目录，直接指定数据集的名字就行。
Repository: hkust-nlp/ceval
Issue: 注册收不到邮箱验证码

![image](https://github.com/user-attachments/assets/f21e21c1-23bc-44bc-b4dd-1db4e8db55b5)
显示发送邮件成功，但是邮箱一直没有收到验证码

请重新尝试一下，谢谢
Repository: hkust-nlp/ceval
Issue: 请问LLaMA-65B在测试的时候，题目是英文输入还是中文输入？


中文输入

llama的中文常识类问题不是很差么，从这个评测来看好像还可以？

> llama的中文常识类问题不是很差么，从这个评测来看好像还可以？

测的是选择题~之前不太好的测的应该不是65B的 是7B/13B的
Repository: hkust-nlp/ceval
Issue: 请问一下dev，vad，test三个类别有什么用
Root cause: Documentation Deficiency

为什么每个科目的数据集要分成dev，vad还有test三个类别，这三个类别分别有什么用


dev主要用于few-shot，val可以用于模型的开发和调试，test用于最后的测试。具体可以参考我们的论文，谢谢。
Repository: hkust-nlp/ceval
Issue: C-Eval 上榜审核 时间周期

请问 C-Eval 平台审核上榜周期一般为多久？是否会有固定周期审核，比如一周一次。急需结果，能否帮忙审核？感谢 C-Eval 平台审核员的支持！

已提交腾讯表单，表单邮箱：yao.dong@wenge.com

@HYZ17  @jxhe  @Phosphor-Bai 各位平台管理员好，请问能否审核下上榜申请？

已经更新，谢谢
Repository: hkust-nlp/ceval
Issue: 关于Test集的抽样测试
Root cause: Documentation Deficiency

当我使用Test数据集测试模型时，如果每次测试仅从Subset中抽取一定比例的题目（例如30%或50%）进行测试，提交答案后，系统计算的正确率是基于抽取的这部分题目进行计算、还是针对整个Subset来进行计算？感谢回复！
Repository: hkust-nlp/ceval
Issue: 网站打不开了，是项目停止维护了么？

![Image](https://github.com/user-attachments/assets/7bfbd338-cf9f-4373-8a8c-fba54ec9f3e4)

same question~

Hi, we've open-sourced the correct answers for the test set on [Hugging Face](https://huggingface.co/datasets/ceval/ceval-exam). You can now directly obtain your test set score. As for the official website, it's accessible on my end -- I'm not sure why you're unable to access it. Thank you!

I'll mark this issue as closed. If you have any further questions, feel free to reopen it. Thanks!
Repository: hkust-nlp/ceval
Issue: 官网注册发送验证码总是提示失败！

官网注册发送到邮箱的验证码不成功。总提示Failed to send verification code. Please try again。

Hi, we've open-sourced the correct answers for the test set on [Hugging Face](https://huggingface.co/datasets/ceval/ceval-exam). You can now directly obtain your test set score. Thank you !
Repository: hkust-nlp/ceval
Issue: Failed to send verification code. Please try again.

你好，无法注册账户！使用的是outlook、qq邮箱、gmail邮箱都尝试了，希望得到您的回复

Hi, we've open-sourced the correct answers for the test set on [Hugging Face](https://huggingface.co/datasets/ceval/ceval-exam). You can now directly obtain your test set score. Thank you !
Repository: hkust-nlp/ceval
Issue: 遇到错误：datasets.utils.info_utils.ExpectedMoreSplits: {'val', 'dev'}
Root cause: Validation Gap

按照示例遇到这个问题，环境是mac+python3.7：
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/code.py", line 90, in runcode
    exec(code, self.locals)
  File "<input>", line 1, in <module>
  File "xxx/.venv/lib/python3.7/site-packages/datasets/load.py", line 1815, in load_dataset
    storage_options=storage_options,
  File "xxx/.venv/lib/python3.7/site-packages/datasets/builder.py", line 913, in download_and_prepare
    **download_and_prepare_kwargs,
  File "xxx/.venv/lib/python3.7/site-packages/datasets/builder.py", line 1022, in _download_and_prepare
    verify_splits(self.info.splits, split_dict)
  File "xxx/.venv/lib/python3.7/site-packages/datasets/utils/info_utils.py", line 91, in verify_splits
    raise ExpectedMoreSplits(str(set(expected_splits) - set(recorded_splits)))
datasets.utils.info_utils.ExpectedMoreSplits: {'val', 'dev'}