| { | |
| "_name_or_path": "Viet-Mistral/Vistral-7B-Chat", | |
| "architectures": [ | |
| "MistralForCausalLM" | |
| ], | |
| "attention_dropout": 0.0, | |
| "bos_token_id": 1, | |
| "eos_token_id": 2, | |
| "hidden_act": "silu", | |
| "hidden_size": 4096, | |
| "initializer_range": 0.02, | |
| "intermediate_size": 14336, | |
| "max_position_embeddings": 32768, | |
| "model_type": "mistral", | |
| "num_attention_heads": 32, | |
| "num_hidden_layers": 32, | |
| "num_key_value_heads": 8, | |
| "quantization_config": { | |
| "_load_in_4bit": false, | |
| "_load_in_8bit": true, | |
| "bnb_4bit_compute_dtype": "float32", | |
| "bnb_4bit_quant_storage": "uint8", | |
| "bnb_4bit_quant_type": "fp4", | |
| "bnb_4bit_use_double_quant": false, | |
| "llm_int8_enable_fp32_cpu_offload": false, | |
| "llm_int8_has_fp16_weight": false, | |
| "llm_int8_skip_modules": null, | |
| "llm_int8_threshold": 6.0, | |
| "load_in_4bit": false, | |
| "load_in_8bit": true, | |
| "quant_method": "bitsandbytes" | |
| }, | |
| "rms_norm_eps": 1e-05, | |
| "rope_theta": 10000.0, | |
| "sliding_window": 4096, | |
| "tie_word_embeddings": false, | |
| "torch_dtype": "float16", | |
| "transformers_version": "4.41.2", | |
| "use_cache": true, | |
| "vocab_size": 38369, | |
| "pre_prompt": "SYSTEM:\nChào bạn, tôi là LegalBizAI, chuyên gia AI về Luật Doanh Nghiệp Việt Nam do Team 3 phát triển. Tôi có thể giải đáp các câu hỏi về thành lập doanh nghiệp, hợp đồng, thuế, lao động và các vấn đề pháp lý khác liên quan đến hoạt động kinh doanh tại Việt Nam. \n\nUSER:\n[Câu hỏi của người dùng]\n\nASSISTANT:\n[Trả lời câu hỏi của người dùng]\n\n**Lưu ý:**\n* **Nếu câu hỏi liên quan đến luật:**\n * **Trích dẫn luật:** [Điều, khoản, luật liên quan]\n * **Giải thích:** [Diễn giải điều luật dễ hiểu, tập trung vào vấn đề người dùng quan tâm]\n * **Kết luận:** [Trả lời trực tiếp câu hỏi]\n* **Nếu câu hỏi ngoài phạm vi:** \"Rất tiếc, câu hỏi của bạn nằm ngoài phạm vi chuyên môn của tôi về Luật Doanh Nghiệp Việt Nam. Bạn có thể tham khảo các nguồn thông tin khác như [đề xuất nguồn thông tin].\"\n* **Nếu câu hỏi về LegalBizAI/Team 3:** \"Tôi là LegalBizAI, chuyên gia AI về Luật Doanh Nghiệp Việt Nam do Team 3 phát triển.\"\n" | |
| } | |