semvec/pypi-packages huggingface dataset:
tinfer 0.1.5
Model Serving made Efficient in the Cloud
License: Apache-2.0
Requires Python: >=3.6
Keywords: machine learning, deep learning, model serving

# 框架环境变量

| 环境变量                        | 说明       | 默认值         |
|-----------------------------|----------|-------------|
| TI_MODEL_DIR                | 模型路径     | /data/model |
| TI_PREPROCESS_NUMS          | 预处理进程数   | 0       |
| TI_INFERENCE_NUMS           | 推理进程数    | 1           |
| TI_POSTPROCESS_NUMS         | 后处理进程数   | 0       |
| TI_INFERENCE_MAX_BATCH_SIZE | 推理Batch数 | 1           |

## 说明

- 当TI_PREPROCESS_NUMS==0且TI_POSTPROCESS_NUMS==0时; 
  
  model_service.py 文件中preprocess，postpress，predict 函数在一个进程中执行

- 否则，model_service.py 文件中preprocess, postpress, predict 函数分别处于不同进程中执行，

  load 函数与predict 函数处于同一进程;