Spaces:
Running
on
Zero
Running
on
Zero
Update prompt
Browse files
app.py
CHANGED
@@ -25,9 +25,9 @@ As a derivate work of [Llama-2-7b-chat](https://huggingface.co/meta-llama/Llama-
|
|
25 |
this demo is governed by the original [license](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/LICENSE.txt) and [acceptable use policy](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/USE_POLICY.md).
|
26 |
"""
|
27 |
|
28 |
-
SYSTEM_PROMPT = "
|
29 |
|
30 |
-
PROMPT_TEMPLATE = """
|
31 |
|
32 |
if not torch.cuda.is_available():
|
33 |
DESCRIPTION += "\n<p>Running on CPU 🥶 This demo does not work on CPU.</p>"
|
@@ -56,6 +56,8 @@ def generate(
|
|
56 |
for user, assistant in chat_history:
|
57 |
conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
|
58 |
conversation.append({"role": "user", "content": message})
|
|
|
|
|
59 |
input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
|
60 |
if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH:
|
61 |
input_ids = input_ids[:, -MAX_INPUT_TOKEN_LENGTH:]
|
|
|
25 |
this demo is governed by the original [license](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/LICENSE.txt) and [acceptable use policy](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/USE_POLICY.md).
|
26 |
"""
|
27 |
|
28 |
+
SYSTEM_PROMPT = "ஒரு பணியை எவ்வாறு நிறைவேற்ற வேண்டும் என்று கூறும் அறிவுரை கீழே உள்ளது. வேண்டுகோளைப் பொருத்தமாக நிறைவு செய்கின்ற பதில் ஒன்றை எழுதுக."
|
29 |
|
30 |
+
PROMPT_TEMPLATE = """{% if messages[0]['role'] == 'system' %}{{ messages[0]['content'] + '\n\n' }}{% endif %}### Instruction:நீங்கள் ஒரு பயனருடன் உரையாடும் AI உதவியாளர். இதுவரை உங்கள் தொடர்புகளின் அரட்டை வரலாறு இதுதான்:\n\n{% for message in messages %}{% if message['role'] == 'user' %}{{ '\nUser: ' + message['content'] + '\n'}}{% elif message['role'] == 'assistant' %}{{ '\nAI: ' + message['content'] + '\n'}}{% endif %}{% endfor %}\n\nAI உதவியாளராக, உங்கள் அடுத்த பதிலை அரட்டையில் எழுதவும். ஒரே ஒரு பதிலை மட்டும் எழுதுங்கள்.\n\n### Response:\n"""
|
31 |
|
32 |
if not torch.cuda.is_available():
|
33 |
DESCRIPTION += "\n<p>Running on CPU 🥶 This demo does not work on CPU.</p>"
|
|
|
56 |
for user, assistant in chat_history:
|
57 |
conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
|
58 |
conversation.append({"role": "user", "content": message})
|
59 |
+
print(tokenizer.apply_chat_template(conversation, tokenize=False))
|
60 |
+
print(conversation)
|
61 |
input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
|
62 |
if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH:
|
63 |
input_ids = input_ids[:, -MAX_INPUT_TOKEN_LENGTH:]
|