saffr0n commited on
Commit
f35c4ba
1 Parent(s): 5155e42

Update prompt

Browse files
Files changed (1) hide show
  1. app.py +4 -2
app.py CHANGED
@@ -25,9 +25,9 @@ As a derivate work of [Llama-2-7b-chat](https://huggingface.co/meta-llama/Llama-
25
  this demo is governed by the original [license](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/LICENSE.txt) and [acceptable use policy](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/USE_POLICY.md).
26
  """
27
 
28
- SYSTEM_PROMPT = "நீங்கள் உதவிகரமான மற்றும் மரியாதைக்குரிய மற்றும் நேர்மையான AI உதவியாளர்."
29
 
30
- PROMPT_TEMPLATE = """## Instructions:\n{% if messages[0]['role'] == 'system' %}{{ messages[0]['content'] + '\n' }}{% endif %}{% for message in messages %}{% if message['role'] == 'user' %}{{ '\n## Input:\n' + message['content'] + '\n'}}{% elif message['role'] == 'assistant' %}{{ '\n## Response:\n' + message['content'] + '\n'}}{% endif %}{% endfor %}\n\n## Response:\n"""
31
 
32
  if not torch.cuda.is_available():
33
  DESCRIPTION += "\n<p>Running on CPU 🥶 This demo does not work on CPU.</p>"
@@ -56,6 +56,8 @@ def generate(
56
  for user, assistant in chat_history:
57
  conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
58
  conversation.append({"role": "user", "content": message})
 
 
59
  input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
60
  if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH:
61
  input_ids = input_ids[:, -MAX_INPUT_TOKEN_LENGTH:]
 
25
  this demo is governed by the original [license](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/LICENSE.txt) and [acceptable use policy](https://huggingface.co/spaces/huggingface-projects/llama-2-7b-chat/blob/main/USE_POLICY.md).
26
  """
27
 
28
+ SYSTEM_PROMPT = "ஒரு பணியை எவ்வாறு நிறைவேற்ற வேண்டும் என்று கூறும் அறிவுரை கீழே உள்ளது. வேண்டுகோளைப் பொருத்தமாக நிறைவு செய்கின்ற பதில் ஒன்றை எழுதுக."
29
 
30
+ PROMPT_TEMPLATE = """{% if messages[0]['role'] == 'system' %}{{ messages[0]['content'] + '\n\n' }}{% endif %}### Instruction:நீங்கள் ஒரு பயனருடன் உரையாடும் AI உதவியாளர். இதுவரை உங்கள் தொடர்புகளின் அரட்டை வரலாறு இதுதான்:\n\n{% for message in messages %}{% if message['role'] == 'user' %}{{ '\nUser: ' + message['content'] + '\n'}}{% elif message['role'] == 'assistant' %}{{ '\nAI: ' + message['content'] + '\n'}}{% endif %}{% endfor %}\n\nAI உதவியாளராக, உங்கள் அடுத்த பதிலை அரட்டையில் எழுதவும். ஒரே ஒரு பதிலை மட்டும் எழுதுங்கள்.\n\n### Response:\n"""
31
 
32
  if not torch.cuda.is_available():
33
  DESCRIPTION += "\n<p>Running on CPU 🥶 This demo does not work on CPU.</p>"
 
56
  for user, assistant in chat_history:
57
  conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
58
  conversation.append({"role": "user", "content": message})
59
+ print(tokenizer.apply_chat_template(conversation, tokenize=False))
60
+ print(conversation)
61
  input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
62
  if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH:
63
  input_ids = input_ids[:, -MAX_INPUT_TOKEN_LENGTH:]