File size: 8,303 Bytes

92c8a1f

---
language:
- ms
---

# Full Parameter Finetuning 7B 32768 context length Mistral on Malaysian instructions dataset

We use exact Llama2 chat template.

WandB, https://wandb.ai/mesolitica/fpf-llama2-7b-hf-instructions-32k-function-call?workspace=user-husein-mesolitica

## how-to

```python
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import torch

def parse_llama_chat(messages, function_call = None):

    system = messages[0]['content']
    user_query = messages[-1]['content']

    users, assistants = [], []
    for q in messages[1:-1]:
        if q['role'] == 'user':
            users.append(q['content'])
        elif q['role'] == 'assistant':
            assistants.append(q['content'])

    texts = [f'<s>[INST] <<SYS>>\n{system}\n<</SYS>>\n\n']
    if function_call:
        fs = []
        for f in function_call:
            f = json.dumps(f, indent=4)
            fs.append(f)
        fs = '\n\n'.join(fs)
        texts.append(f'\n[FUNCTIONCALL]\n{fs}\n')
    for u, a in zip(users, assistants):
        texts.append(f'{u.strip()} [/INST] {a.strip()} </s><s>[INST] ')
    texts.append(f'{user_query.strip()} [/INST]')
    prompt = ''.join(texts).strip()
    return prompt

TORCH_DTYPE = 'bfloat16'
nf4_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=getattr(torch, TORCH_DTYPE)
)

tokenizer = AutoTokenizer.from_pretrained('mesolitica/malaysian-llama2-7b-32k-instructions')
model = AutoModelForCausalLM.from_pretrained(
    'mesolitica/malaysian-llama2-7b-32k-instructions',
    use_flash_attention_2 = True,
    quantization_config = nf4_config
)

messages = [
    {'role': 'system', 'content': 'awak adalah AI yang mampu jawab segala soalan'},
    {'role': 'user', 'content': 'kwsp tu apa'}
]
prompt = parse_llama_chat(messages)
inputs = tokenizer([prompt], return_tensors='pt', add_special_tokens=False).to('cuda')
generate_kwargs = dict(
    inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.9,
    do_sample=True,
    num_beams=1,
)
r = model.generate(**generate_kwargs)
print(tokenizer.decode(r[0]))
```

```text
'<s> [INST] <<SYS>>
awak adalah AI yang mampu jawab segala soalan
<</SYS>>

kwsp tu apa [/INST] Kumpulan Wang Simpanan Pekerja (KWSP) ialah sebuah badan berkanun yang ditubuhkan di Malaysia yang menguruskan tabung simpanan tetap pekerja bagi tujuan persaraan dan perancangan masa depan. Diasaskan pada tahun 1951, KWSP bertanggungjawab untuk mengumpul dan menguruskan sumber daripada majikan dan pekerja, dan juga menyediakan pelbagai faedah kepada ahli seperti dividen dan akses kepada pengeluaran simpanan pada usia persaraan. KWSP juga memainkan peranan penting dalam menyediakan perlindungan sosial dan pembangunan ekonomi di Malaysia, dengan mempromosikan simpanan pengguna dan meningkatkan kadar celik kewangan dalam kalangan rakyat. </s>'
```

```python
messages = [
    {'role': 'system', 'content': 'awak adalah AI yang mampu jawab segala soalan'},
    {'role': 'user', 'content': 'awat malaysia ada jabatan koko, malaysia bukan buat keluaq koko banyak pun'}
]
prompt = parse_llama_chat(messages)
inputs = tokenizer([prompt], return_tensors='pt', add_special_tokens=False).to('cuda')
generate_kwargs = dict(
    inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.9,
    do_sample=True,
    num_beams=1,
)
r = model.generate(**generate_kwargs)
print(tokenizer.decode(r[0]))
```

```text
<s> [INST] <<SYS>>
awak adalah AI yang mampu jawab segala soalan
<</SYS>>

awat malaysia ada jabatan koko, malaysia bukan buat keluaq koko banyak pun [/INST] Penanaman koko di Malaysia bermula pada tahun 1950-an, dengan pengeluaran koko kering pertama dihasilkan pada tahun 1958. Pada masa itu, negara ini menjadi pembekal koko terbesar di dunia, dan industri ini terus berkembang dan mewujudkan ribuan pekerjaan dalam pemprosesan dan pengeluaran koko.

Walau bagaimanapun, penurunan harga koko di pasaran antarabangsa pada tahun 1980-an menyebabkan pengeluaran koko Malaysia menurun, dan negara ini telah mengubah tumpuan daripada penanaman koko kepada komoditi lain seperti minyak kelapa sawit dan getah.

Walaupun Malaysia bukan pengeluar koko yang besar, industri koko tempatan masih penting dari segi ekonomi dan sosial. Koko ialah komoditi yang diperdagangkan di bursa tempatan, dan pengeluar koko tempatan menghasilkan koko kering yang dieksport ke seluruh dunia.

Jabatan Koko Malaysia ialah sebuah agensi kerajaan yang bertanggungjawab untuk membangunkan industri koko dan mempromosikan pengeluaran koko. Agensi ini bekerjasama dengan industri untuk meningkatkan produktiviti dan memastikan kualiti produk koko Malaysia. Ia juga menggalakkan usaha pembangunan pekebun kecil untuk mempromosikan industri koko dan mewujudkan peluang pekerjaan dan ekonomi di kawasan pedalaman. </s>
```

```python
f = { "name": "get_exchange_rate", "description": "Get the exchange rate between two currencies", "parameters": { "type": "object", "properties": { "base_currency": { "type": "string", "description": "The currency to convert from" }, "target_currency": { "type": "string", "description": "The currency to convert to" } }, "required": [ "base_currency", "target_currency" ] } }
messages = [
    {'role': 'system', 'content': 'anda adalah AI yang sangat membantu'},
    {'role': 'user', 'content': 'tolong tukar 10 ringgit ke usd'}
]
prompt = parse_llama_chat(messages, function_call = [f])
inputs = tokenizer([prompt], return_tensors='pt', add_special_tokens=False).to('cuda')
generate_kwargs = dict(
    inputs,
    max_new_tokens=128,
    top_p=0.95,
    top_k=50,
    temperature=0.9,
    do_sample=True,
    num_beams=1,
)
r = model.generate(**generate_kwargs)
print(tokenizer.decode(r[0]))
```

```text
<s> [INST] <<SYS>>
anda adalah AI yang sangat membantu
<</SYS>>


[FUNCTIONCALL]
{
    "name": "get_exchange_rate",
    "description": "Get the exchange rate between two currencies",
    "parameters": {
        "type": "object",
        "properties": {
            "base_currency": {
                "type": "string",
                "description": "The currency to convert from"
            },
            "target_currency": {
                "type": "string",
                "description": "The currency to convert to"
            }
        },
        "required": [
            "base_currency",
            "target_currency"
        ]
    }
}
tolong tukar 10 ringgit ke usd [/INST] <functioncall> {"name": "get_exchange_rate", "arguments": '{"base_currency": "ringgit", "target_currency": "usd"}'} </s>
```

```python
# do follow up from output above,

messages = [
    {'role': 'system', 'content': 'anda adalah AI yang sangat membantu'},
    {'role': 'user', 'content': 'tolong tukar 10 ringgit ke usd'},
    {'role': 'assistant', 'content': tokenizer.decode(r[0]).split('[/INST]')[1].strip().replace('</s>', '')},
    {'role': 'user', 'content': 'wow hebatnya'},
]
prompt = parse_llama_chat(messages, function_call = [f])
inputs = tokenizer([prompt], return_tensors='pt', add_special_tokens=False).to('cuda')
generate_kwargs = dict(
    inputs,
    max_new_tokens=128,
    top_p=0.95,
    top_k=50,
    temperature=0.9,
    do_sample=True,
    num_beams=1,
)
r = model.generate(**generate_kwargs)
print(tokenizer.decode(r[0]))
```

```text
<s> [INST] <<SYS>>
anda adalah AI yang sangat membantu
<</SYS>>


[FUNCTIONCALL]
{
    "name": "get_exchange_rate",
    "description": "Get the exchange rate between two currencies",
    "parameters": {
        "type": "object",
        "properties": {
            "base_currency": {
                "type": "string",
                "description": "The currency to convert from"
            },
            "target_currency": {
                "type": "string",
                "description": "The currency to convert to"
            }
        },
        "required": [
            "base_currency",
            "target_currency"
        ]
    }
}
tolong tukar 10 ringgit ke usd [/INST] <functioncall> {"name": "get_exchange_rate", "arguments": '{"base_currency": "ringgit", "target_currency": "usd"}'} </s><s> [INST] wow hebatnya [/INST] Terima kasih! Adakah terdapat kadar pertukaran lain yang boleh saya tukar? </s>
```