使用官方提供的Llama-2-7b-chat,通过colab,进行HF格式转换。目的是为了自己学习使用。
只需要修改Llama-2 的不同版本,就可以进行格式转换,并且上传到huggingface上。对比官方的转换结果,会有所不同,官方的HF版本提供2种格式,pickle和safetensors 格式。pickle有安全隐患,所以就只转换成safetensors 格式
notebook分享:
大家使用和测试的时候,需要更换你的hugingface的token。如果上传大模型,需要token有写入权限。
无需GPU,但是需要High memery。
官方提供的转换脚本,转换保存的文件格式是pickle格式, 这种格式不安全,需要修改脚本,直接转换成safetensors 格式。上面colab,已经进行了修改。
- Downloads last month
- 9
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.