IDEA-CCNL

/

Randeng-Pegasus-238M-Summary-Chinese

like 45

Follow

Fengshenbang-LM 241

你好，我拿过来用了一下 没训练之前，用测试集的时候结果未
238M
'rouge-1': {'r': 0.2643044465113436, 'p': 0.3272360412857373, 'f': 0.28198962826758805},
'rouge-2': {'r': 0.10225853839646973, 'p': 0.1296427334453385, 'f': 0.10895680764125622},
'rouge-l': {'r': 0.24588806787082665, 'p': 0.29978499846001727, 'f': 0.2600559534369834}
523M
'rouge-1': {'r': 0.27195017817431644, 'p': 0.2800915933632444, 'f': 0.2671151586225072},
'rouge-2': {'r': 0.10972406520682394, 'p': 0.11508534954954616, 'f': 0.10793297919459727},
'rouge-l': {'r': 0.2532618913653398, 'p': 0.2563695247361745, 'f': 0.24599769337480706}
你这个肯定有问题

你好，我拿过来用了一下 没训练之前，用测试集的时候结果未
238M
'rouge-1': {'r': 0.2643044465113436, 'p': 0.3272360412857373, 'f': 0.28198962826758805},
'rouge-2': {'r': 0.10225853839646973, 'p': 0.1296427334453385, 'f': 0.10895680764125622},
'rouge-l': {'r': 0.24588806787082665, 'p': 0.29978499846001727, 'f': 0.2600559534369834}
523M
'rouge-1': {'r': 0.27195017817431644, 'p': 0.2800915933632444, 'f': 0.2671151586225072},
'rouge-2': {'r': 0.10972406520682394, 'p': 0.11508534954954616, 'f': 0.10793297919459727},
'rouge-l': {'r': 0.2532618913653398, 'p': 0.2563695247361745, 'f': 0.24599769337480706}
你这个肯定有问题

@Chinazhangwei1997 不明白没训练之前是什么意思，模型卡片中写的很清楚，是用这个模型继续在 lcsts 进行微调之后，达到卡片中给出的结果。提到的问题是什么问题呢？

作者你好，我在使用这一模型在LCSTS数据集上进行微调时，发现validation loss降低速度明显低于training loss，ROUGE分数也都是'eval_rouge1': 11.7616, 'eval_rouge2': 1.4542, 'eval_rougeL': 11.7403, 'eval_rougeLsum': 11.7493的样子，想请问下能否公开一下模型卡片中的下游任务结果的训练设置？谢谢！
@Linke 可以调一下你的 lr 以及你的 lr_scheduler，看看变化，lr=5e-5， lr_scheduler是WarmupDecayLR，其他更多参数可以参考我们的的 github 代码示例，参数差不多