NguyenDinhHieu commited on
Commit
6bbdfd7
·
verified ·
1 Parent(s): a024cad

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +96 -3
README.md CHANGED
@@ -1,3 +1,96 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ tags:
4
+ - llm
5
+ - gguf
6
+ - llama
7
+ - langchain
8
+ - ctransformers
9
+ - python
10
+ - code
11
+ - code-assistant
12
+ - local-inference
13
+ - multimodal
14
+ library_name: pytorch_lightning
15
+ pipeline_tag: text-generation
16
+ language:
17
+ - en
18
+ - vi
19
+ ---
20
+
21
+ # AI Python — Code Assistant (LangChain + CTransformers)
22
+
23
+ Demo chạy **LLM dạng GGUF** bằng `ctransformers` + `langchain` để trả lời theo prompt: **“chỉ trả lời bằng code Python”**.
24
+
25
+ ## Demo nhanh
26
+
27
+ - **Input**: một yêu cầu/bài toán Python (text)
28
+ - **Output**: **chỉ code Python** (không giải thích)
29
+
30
+ File chạy chính: `app.py`
31
+ Model mặc định: `Cube-Python.gguf`
32
+
33
+ ## Cài đặt
34
+
35
+ Tạo môi trường ảo (khuyến nghị) rồi cài dependencies:
36
+
37
+ ```bash
38
+ pip install -U langchain langchain-community ctransformers
39
+ ```
40
+
41
+ ## Chạy
42
+
43
+ Đảm bảo file model `Cube-Python.gguf` nằm cùng thư mục với `app.py`, rồi chạy:
44
+
45
+ ```bash
46
+ python app.py
47
+ ```
48
+
49
+ ## Cấu hình (trong `app.py`)
50
+
51
+ - **`MODEL_FILE`**: tên file GGUF (mặc định `Cube-Python.gguf`)
52
+ - **`MODEL_TYPE`**: loại model cho CTransformers (mặc định `llama`)
53
+ - **`GPU_LAYERS`**:
54
+ - `0` = chạy CPU
55
+ - nếu máy có GPU VRAM đủ, tăng lên (ví dụ 10–20) để nhanh hơn
56
+ - **`CONTEXT_LENGTH`**: độ dài ngữ cảnh (mặc định `4096`)
57
+
58
+ ## Cấu trúc repo
59
+
60
+ - `app.py`: prompt + chain (LangChain) + load model GGUF (CTransformers)
61
+ - `Cube-Python.gguf`: file model GGUF
62
+
63
+ ## Lưu ý khi đẩy lên Hugging Face
64
+
65
+ - **File `.gguf` rất lớn**: bạn nên dùng **Git LFS** khi push model lên Hub.
66
+ - Nếu repo này là **Model repo**: giữ `.gguf` trong repo và thêm phần “Files and versions”.
67
+ - Nếu repo này là **Space**: cân nhắc **không** commit file GGUF trực tiếp (thường vượt giới hạn), thay vào đó tải từ Model repo hoặc từ Release/Storage phù hợp.
68
+
69
+ ### Flow đẩy lên Hugging Face (gợi ý)
70
+
71
+ 1) **Tạo repo trên Hugging Face** (Model hoặc Space)
72
+ 2) **Clone repo về máy** và copy các file (`app.py`, `README.md`, và/hoặc `*.gguf`)
73
+ 3) **Bật Git LFS cho GGUF** rồi commit/push:
74
+
75
+ ```bash
76
+ git lfs install
77
+ git lfs track "*.gguf"
78
+ git add .gitattributes
79
+ git add .
80
+ git commit -m "Add GGUF python code assistant demo"
81
+ git push
82
+ ```
83
+
84
+ ## Ví dụ prompt
85
+
86
+ Bạn có thể thay biến `question` trong `app.py` bằng bài toán của bạn (tiếng Việt/tiếng Anh đều được).
87
+
88
+ ## Credits
89
+
90
+ - LangChain
91
+ - CTransformers
92
+
93
+ ## Nếu bạn thấy hay
94
+
95
+ Cho mình xin **1 follow** trên Hugging Face và **1 tym** (like) cho repo nhé. ❤️
96
+