vietgpt/dama-2-7b-chat

Đà mã 2 - Chat (Llama2 architecture)

Dama2 is an autoregressive Large Language Model (LLM), based on Llama2's model architecture. Dama2 was trained on part of the Common Crawl dataset in Vietnamese and English.

Details will be available soon.

To contact us, mail to: leanhcuong@gmail.com (Lê Anh Cường) | hieunguyen1053@outlook.com (Hiếu)

How to use

from transformers import pipeline

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

generator = pipeline("text-generation", model="vietgpt/dama-2-7b-chat", device=device)

TEMPLATE = """<s>[INST] <<SYS>>
Bạn là một trợ lý hữu ích, tôn trọng và trung thực. Luôn trả lời một cách hữu ích nhất có thể mà vẫn an toàn. Câu trả lời của bạn không được bao gồm bất kỳ nội dung có hại, phi đạo đức, phân biệt chủng tộc, phân biệt giới tính, độc hại, nguy hiểm hoặc bất hợp pháp. Hãy đảm bảo rằng câu trả lời của bạn mang tính chất khách quan và tích cực về mặt xã hội.

Nếu một câu hỏi không có ý nghĩa gì hoặc không mạch lạc về mặt thực tế, hãy giải thích lý do thay vì trả lời điều gì đó không đúng. Nếu bạn không biết câu trả lời cho một câu hỏi, vui lòng không chia sẻ thông tin sai lệch.
<</SYS>>

{question} [/INST]"""

question = "Địa chỉ trường Đại học Tôn Đức Thắng nằm ở đâu?"

prompt = TEMPLATE.format(question=question)

output_texts = generator(
    prompt, 
    max_new_tokens=120,
    forced_eos_token_id=[[2]],
    repetition_penalty=1., 
    do_sample=True,
    num_beams=5, 
    return_full_text=False, 
    num_return_sequences=5,
    eos_token_id=[2],
    bad_words_ids=[[50257], [50258], [50259], [50260]],
)

for output_text in output_texts:
    print(output_text)

# {'generated_text': 'Địa chỉ của trường Đại học Tôn Đức Thắng là 19 Nguyễn Hữu Thọ, Phường Tân Phong, Quận 7, Thành phố Hồ Chí Minh. '}
# {'generated_text': 'Địa chỉ của trường Đại học Tôn Đức Thắng là 19 Nguyễn Hữu Thọ, Phường Tân Phong, Quận 7, Thành phố Hồ Chí Minh. '}
# {'generated_text': 'Địa chỉ của Đại học Tôn Đức Thắng là 19 Nguyễn Hữu Thọ, Q.7, TP.HCM. '}
# {'generated_text': 'Địa chỉ của trường Đại học Tôn Đức Thắng là 19 Nguyễn Hữu Thọ, Phường Tân Phong, Quận 7, TP. Hồ Chí Minh. '}
# {'generated_text': 'Địa chỉ của trường Đại học Tôn Đức Thắng là 19 Nguyễn Hữu Thọ, Phường Tân Phong, Quận 7, TP. Hồ Chí Minh. '}