########### 主配置文件加载优先级，先rag_cfg.yaml，再本文件覆盖重复配置 ##########
defaults:
  - rag_cfg
  - _self_

llm_default_dir:  ./models
llm_model: ${llm_default_dir}/wulewule_v1_1_8b-w4a16-4bit  # wulewule model path, w4a16-4bit must turn on "use_lmdepoly"
# llm_model: ${repo_root}/models/wulewule_v1_1_8b  # wulewule model path
use_lmdepoly: True
use_rag: True  ## 是否开启rag
stream_response: True # whether use streaming output
#######################################################################
#                      lmdeploy 4bit used                      #
#######################################################################
cache_max_entry_count: 0.2 #lmdeploy 4bit,  k/v cache内存占比调整为总显存的 20%