update a lot

.env.local.template

@@ -23,18 +23,22 @@ OPENID_PROVIDER_URL=https://huggingface.co # for Google, use https://accounts.go
 MODELS=`[
   {
     "name": "${MODEL_NAME}",
+    "userMessageToken": "\n<|im_start|>user\n",
+    "userMessageEndToken": "<|im_end|>",
+    "assistantMessageToken": "\n<|im_start|>assistant\n",
+    "assistantMessageEndToken": "<|im_end|>",
     "chatPromptTemplate": "${MODEL_PROMPT_TEMPLATE}",
-    "preprompt": "",
+    "preprompt": "Bạn tên là VinaLLaMA, một trợ lí AI hữu ích được huấn luyện bởi tổ chức phi lợi nhuận VILM. Hãy đưa ra câu trả lời chính xác và đầy đủ để trả lời yêu cầu của người dùng.\n",
     "promptExamples": [
       {
-        "title": "Python Fibonacci",
-        "prompt": "How can I write a Python function to generate the nth Fibonacci number?"
+        "title": "Nhờ viết email",
+        "prompt": "Giúp tôi viết một email cho quản lí ở công ty nghỉ làm một hôm do bị ốm."
       }, {
-        "title": "What is a meme?",
-        "prompt": "What is a meme, and what's the history behind this word?"
+        "title": "Lập trình cơ bản",
+        "prompt": "Hãy viết code một trò chơi con rắn trong PyGame. Giải thích từng bước một."
       }, {
-        "title": "Regex",
-        "prompt": "Create a regex to extract dates from logs"
+        "title": "Hỏi đáp khoa học",
+        "prompt": "Vì sao bầu trời có màu xanh?"
       }
     ],
     "endpoints": [
@@ -64,8 +68,8 @@ PARQUET_EXPORT_DATASET=
 PARQUET_EXPORT_HF_TOKEN=
 PARQUET_EXPORT_SECRET=
 
-PUBLIC_APP_NAME=${APP_NAME} # name used as title throughout the app
+PUBLIC_APP_NAME=VinaLLaMA # name used as title throughout the app
 PUBLIC_APP_ASSETS=chatui # used to find logos & favicons in static/$PUBLIC_APP_ASSETS
-PUBLIC_APP_COLOR=${APP_COLOR} # can be any of tailwind colors: https://tailwindcss.com/docs/customizing-colors#default-color-palette
-PUBLIC_APP_DATA_SHARING=#set to 1 to enable disclaimers & options about data sharing
-PUBLIC_APP_DATA_DISCLAIMER=#set to 1 to enable disclaimers about model outputs
+PUBLIC_APP_COLOR=blue # can be any of tailwind colors: https://tailwindcss.com/docs/customizing-colors#default-color-palette
+PUBLIC_APP_DATA_SHARING=1
+PUBLIC_APP_DATA_DISCLAIMER=1

Dockerfile

@@ -55,7 +55,7 @@ RUN --mount=type=cache,target=/app/.npm \
 
 RUN npm run build
 
-FROM ghcr.io/huggingface/text-generation-inference:latest
+# FROM ghcr.io/huggingface/text-generation-inference:latest
 
 ARG MODEL_NAME
 ARG MODEL_PARAMS
@@ -63,7 +63,7 @@ ARG MODEL_PROMPT_TEMPLATE
 ARG APP_COLOR
 ARG APP_NAME
 
-ENV TZ=Europe/Paris \
+ENV TZ=Asia/Ho_Chi_Minh \
     PORT=3000
 
 

defaults/APP_NAME

@@ -1 +1 @@
-ChatUI
+VinaLLaMA

defaults/MODEL_NAME

@@ -1 +1 @@
-OpenAssistant/falcon-7b-sft-top1-696
+vilm/vinallama-7b-chat

defaults/MODEL_PARAMS

@@ -1,8 +1,11 @@
 {
-      "temperature": 0.9,
+      "temperature": 0.5,
       "top_p": 0.95,
       "repetition_penalty": 1.2,
       "top_k": 50,
       "truncate": 1000,
-      "max_new_tokens": 1024
-}
+      "max_new_tokens": 1024,
+      "stop": [
+            "<|im_end|>"
+      ]
+}

defaults/MODEL_PROMPT_TEMPLATE

@@ -1 +1,6 @@
-<s>{{#each messages}}{{#ifUser}}[INST] {{#if @first}}{{#if @root.preprompt}}{{@root.preprompt}}\n{{/if}}{{/if}} {{content}} [/INST]{{/ifUser}}{{#ifAssistant}}{{content}}</s> {{/ifAssistant}}{{/each}}
+<|im_start|>system\n{{preprompt}}<|im_end|>\n
+{{#each messages}}
+  {{#ifUser}}{{@root.userMessageToken}}{{content}}{{@root.userMessageEndToken}}{{/ifUser}}
+  {{#ifAssistant}}{{@root.assistantMessageToken}}{{content}}{{@root.assistantMessageEndToken}}{{/ifAssistant}}
+{{/each}}
+{{assistantMessageToken}}