为何基于nezha做的训练任务，训练后的bin文件变得非常大
#2
by
hanliuSister
- opened
想咨询下大佬，训练时我使用nezha-base-wwm或者nezha-cn-base做预训练模型，用了几万的样本做多标签任务。在参数都基本默认的情况下，比如max_len512，max_position_embeddings512，chunk_size_feed_forward512，请问为何train完的bin文件非常大，2.3g左右，若max_len设置成1536的话，max_position_embeddings也必须是1536，这样训练后的bin文件达到了将近14G，能问下要如何处理，