Интеграция с PrivateGPT
#5
by
Kamnsv
- opened
Можно ли эту модель интегрировать с проектом
https://github.com/imartinez/privateGPT
там по умолчанию используется:
llm:
mode: local
Should be matching the selected model
max_new_tokens: 512
context_window: 3900
tokenizer: mistralai/Mistral-7B-Instruct-v0.2
embedding:
Should be matching the value above in most cases
mode: local
ingest_mode: simple
local:
prompt_style: "mistral"
llm_hf_repo_id: TheBloke/Mistral-7B-Instruct-v0.2-GGUF
llm_hf_model_file: mistral-7b-instruct-v0.2.Q4_K_M.gguf
embedding_hf_model_name: BAAI/bge-small-en-v1.5
У меня вот такие настройки:
tokenizer: TheBloke/Llama-2-13B-fp16
llm_hf_repo_id: IlyaGusev/saiga2_13b_gguf
llm_hf_model_file: model-q8_0.gguf