W4A16 LLM 模型部署
LMDeploy 支持 4bit 权重模型的推理，对 NVIDIA 显卡的最低要求是 sm80。
在推理之前，请确保安装了 lmdeploy，版本 >= v0.0.4
pip install lmdeploy
4bit 权重模型推理
你可以直接从 LMDeploy 的 model zoo 下载已经量化好的 4bit 权重模型，直接使用下面的命令推理。也可以根据"4bit 权重量化"章节的内容，把 16bit 权重量化为 4bit 权重，然后再按下述说明推理
git-lfs install
git clone https://huggingface.co/lmdeploy/internlm-chat-7b-w4
执行以下命令，即可在终端与模型对话：
## 转换模型的layout，存放在默认路径 ./workspace 下
python3 -m lmdeploy.serve.turbomind.deploy \
--model-name internlm \
--model-path ./internlm-chat-7b-w4 \
--model-format awq \
--group-size 128
## 推理
python3 -m lmdeploy.turbomind.chat ./workspace
启动 gradio 服务
如果想通过 webui 与模型对话，请执行以下命令启动 gradio 服务
python3 -m lmdeploy.serve.turbomind ./workspace --server_name {ip_addr} ----server_port {port}
然后，在浏览器中打开 http://{ip_addr}:{port}，即可在线对话
推理速度
我们在 NVIDIA GeForce RTX 4090 上使用 profile_generation.py，分别测试了 4-bit Llama-2-7B 和 Llama-2-13B 模型的 token 生成速度。测试配置为 batch size = 1，(prompt_tokens, completion_tokens) = (1, 512)
| model | llm-awq | mlc-llm | turbomind |
|---|---|---|---|
| Llama 2 7B | 112.9 | 159.4 | 206.4 |
| Llama 2 13B | N/A | 90.7 | 115.8 |
python benchmark/profile_generation.py \
./workspace \
--concurrency 1 --input_seqlen 1 --output_seqlen 512
4bit 权重量化
4bit 权重量化包括 2 步：
- 生成量化参数
- 根据量化参数，量化模型权重
第一步：生成量化参数
python3 -m lmdeploy.lite.apis.calibrate \
--model $HF_MODEL \
--calib_dataset 'c4' \ # 校准数据集，支持 c4, ptb, wikitext2, pileval
--calib_samples 128 \ # 校准集的样本数，如果显存不够，可以适当调小
--calib_seqlen 2048 \ # 单条的文本长度，如果显存不够，可以适当调小
--work_dir $WORK_DIR \ # 保存 Pytorch 格式量化统计参数和量化后权重的文件夹
第二步：量化权重模型
LMDeploy 使用 AWQ 算法对模型权重进行量化。在执行下面的命令时，需要把步骤1的$WORK_DIR传入。量化结束后，权重文件也会存放在这个目录中。然后就可以根据 "4bit权重模型推理"章节的说明，进行模型推理。
python3 -m lmdeploy.lite.apis.auto_awq \
--model $HF_MODEL \
--w_bits 4 \ # 权重量化的 bit 数
--w_group_size 128 \ # 权重量化分组统计尺寸
--work_dir $WORK_DIR \ # 步骤 1 保存量化参数的目录