UnicomLLM

/

Unichat-llama3-Chinese-8B

like 69

这种其实我认为更多是因为某个问题相关语料的缺乏导致，毕竟8B还太小，能记住的语料有限，另外，请问中国联通AI中心有社区的打算吗

非常糟糕的中文表现，应该过拟合了

什么时候下载的权重，昨天下午进行了更新。不过llama3中文语料太少，仅仅靠微调还是有很多中文知识回答不了的，后面会二次预训练加入中文数据

这种其实我认为更多是因为某个问题相关语料的缺乏导致，毕竟8B还太小，能记住的语料有限，另外，请问中国联通AI中心有社区的打算吗
是的，llama3本身中文语料少。社区考虑

非常糟糕的中文表现，应该过拟合了

什么时候下载的权重，昨天下午进行了更新。不过llama3中文语料太少，仅仅靠微调还是有很多中文知识回答不了的，后面会二次预训练加入中文数据

凌晨3点半拉的权重，目前感觉用英文提问的中文回答还能接受，感觉是中文微调的数据量还没发激活原来英文的知识