mesolitica/malaysian-tinyllama-1.1b-16k-instructions-rag

Full Parameter Finetuning TinyLlama 16384 context length on Malaysian instructions RAG dataset

We use exact Mistral Instruct chat template.

Dataset

Dataset gathered at https://huggingface.co/collections/mesolitica/malaysian-synthetic-dataset-656c2673fe7fe0b1e9e25fe2

Notebook to prepare dataset at https://github.com/mesolitica/malaysian-dataset/blob/master/llm-instruction/combine-malay-no-alignment-multitasks-partial-ultrachat-v2.ipynb

how-to

# from https://sdb.mosti.gov.my/sdbcms/wp-content/uploads/2024/03/GARIS-PANDUAN-SRF-RFP-2024-v1.pdf
s = """
PENGENALAN
1.1 Dana Penyelidikan Strategik (SRF) adalah skim pembiayaan berbentuk
geran bagi membiayai penyelidikan strategik dan inisiatif top- down
berimpak tinggi kepada negara berdasarkan bidang keutamaan semasa
yang telah dikenal pasti.
1.2 Kementerian Sains, Teknologi dan Inovasi (MOSTI) telah mengambil
inisiatif memperkasakan lagi skim SRF dengan melaksanakan permohonan
melalui kaedah request for proposal (RFP). Melalui kaedah ini,
penyelesaian bagi sesuatu permasalahan atau tujuan khusus dapat
diperolehi.
2. OBJEKTIF
2.1 Dana Penyelidikan Strategik – Request for Proposal (SRF-RFP) bertujuan
untuk menyediakan dana bagi membiayai projek-projek yang menyokong
pelaksanaan dasar, pelan hala tuju, pelan tindakan atau insiatif kerajaan
melalui RFP yang dibangunkan.
2.2 Penyelesaian bagi penyataan masalah khusus dalam bentuk teknologi,
produk atau proses baharu yang berinovatif dijangka akan menghasilkan
impak yang besar kepada sosioekonomi negara selari dengan Dasar Sains,
Teknologi dan Inovasi Negara (DSTIN).
2.3 Tahap Kesediaan Teknologi (TRL) bagi skim SRF-RFP hendaklah
sekurang-kurangnya berada pada TRL 3 dan perlu dibangunkan ke
TRL yang lebih tinggi antara TRL 6 hingga 9 seperti skop TRL SRF-RFP
di Rajah 1. Penerangan mengenai TRL adalah seperti di Lampiran 1
(TRL 1- 9).
Rajah 1: Skop dana SRF-RFP mengikut TRL
SRF- RFP
GARIS PANDUAN DANA PENYELIDIKAN STRATEGIK – REQUEST FOR PROPOSAL (SRF-RFP)
(Mac 2024)
5
3. BIDANG KEUTAMAAN
3.1 Bidang keutamaan dan tajuk RFP khusus bagi skim SRF-RFP yang telah
dikenal pasti berdasarkan Rangka Kerja 10-10 Malaysian Science,
Technology, Innovation & Economy (MySTIE) adalah berdasarkan
dokumen RFP seperti di pautan berikut:
DANA PENYELIDIKAN STRATEGIK – DOKUMEN RFP
4. KATEGORI PEMOHON
4.1 Skim SRF-RFP adalah terbuka kepada:
i. Syarikat Perusahaan Kecil dan Sederhana (PKS);
ii. Syarikat Pemula (start-up);
iii. Syarikat Multinasional (MNC);
iv. Large Companies;
v. Institusi Penyelidikan Kerajaan (GRI);
vi. Institusi Pengajian Tinggi (IPT) Awam dan Swasta; dan
vii. Agensi Sains, Teknologi dan Inovasi Kerajaan (Agensi STI)
5. KRITERIA KELAYAKAN
5.1 Syarikat Perusahaan Kecil dan Sederhana (PKS) dan Syarikat Pemula
(start-up) yang berasaskan/ berkaitan teknologi dan inovasi perlu mematuhi
syarat di bawah bagi permohonan SRF-RFP:
5.1.1 Terbuka kepada Syarikat dan Perniagaan yang berdaftar dengan
Suruhanjaya Syarikat Malaysia (SSM) manakala Perniagaan di Sabah
dan Sarawak perlu berdaftar dengan Pihak Berkuasa Tempatan.
5.1.2 Definisi Syarikat Perusahaan Kecil dan Sederhana seperti di
Jadual 1.
GARIS PANDUAN DANA PENYELIDIKAN STRATEGIK – REQUEST FOR PROPOSAL (SRF-RFP)
(Mac 2024)
6
Jadual 1: Definisi Perusahaan Kecil dan Sederhana berdasarkan Saiz Operasi
Sumber: SME Corporation Malaysia
5.1.3 Definisi Syarikat Pemula (start-up): A technology- or innovationenabled business at early stage with a scalable business model and a
high-growth strategy.
5.1.4 Kriteria kelayakan bagi Syarikat Pemula (start-up) adalah seperti
berikut:
i. Berdaftar dengan Suruhanjaya Syarikat Malaysia (SSM);
i. Pemilikan majoriti warganegara Malaysia (>50%);
ii. Modal berbayar sekurang-kurangnya RM10,000.00;
iii. Mempunyai sekurang-kurangnya dua (2) pengarah syarikat;
iv. Perniagaan berasaskan teknologi/ berkaitan teknologi dan
inovasi; dan
v. Operasi syarikat tidak melebihi 5 tahun.
5.2 Bagi Syarikat PKS atau Syarikat pemula (start-up), yang pemilikan tidak
mencapai majoriti warganegara Malaysia (<50%), syarat-syarat tambahan
berikut hendaklah dipatuhi, iaitu:
i. Pemohon mempunyai kelayakan minima dari segi pembuktian konsep
(proof of concept, POC) atau prototaip yang telah berfungsi (working
prototype),
ii. Syarikat beroperasi di Malaysia; dan
iii. Sekurang-kurangnya 70% pekerja adalah warganegara Malaysia.
Kategori Perusahaan Kecil Perusahaan Sederhana
Pembuatan • Jualan tahunan daripada
RM300,000 hingga
kurang daripada RM15
juta; atau
• Bilangan pekerja sepenuh
masa daripada 5 orang
hingga kurang daripada
75 orang.
• Jualan tahunan daripada RM15
juta hingga tidak melebihi RM50
juta; atau
• Bilangan pekerja sepenuh masa
daripada 75 orang hingga tidak
melebihi 200 orang.
Perkhidmatan
dan Sektor
Lain
• Jualan tahunan daripada
RM300,000 hingga
kurang daripada RM3 juta;
atau
• Bilangan pekerja sepenuh
masa daripada 5 orang
hingga kurang daripada
30 orang.
• Jualan tahunan daripada RM3
juta hingga tidak melebihi RM20
juta; atau
• Bilangan pekerja sepenuh masa
daripada 30 orang hingga tidak
melebihi 75 orang. 
GARIS PANDUAN DANA PENYELIDIKAN STRATEGIK – REQUEST FOR PROPOSAL (SRF-RFP)
(Mac 2024)
7
5.3 Bagi permohonan daripada syarikat PKS, Syarikat Multinasional (MNC) dan
Large Companies, dana ini ditawarkan secara geran padanan di mana
syarikat hendaklah membiayai sekurang-kurangnya 35% (monetary atau
in-kind) daripada jumlah keseluruhan kos projek.
5.4 Agensi STI adalah merujuk kepada agensi yang menjalankan fungsi
penyelidikan dan perkhidmatan berkaitan STI di bawah MOSTI.
5.5 Permohonan daripada Institusi Pengajian Tinggi (IPT) Awam dan Swasta
hendaklah berkolaborasi dengan Syarikat Pemula/Syarikat Perusahaan
Kecil dan Sederhana (PKS) (bukti dokumen adalah sekurang-kurangnya
surat persetujuan (Letter of Acceptance (LoA)) atau lain-lain dokumen yang
setara).
5.6 Permohonan daripada Syarikat Pemula dan PKS digalakkan
berkolaborasi dengan IPTA, IPTS, GRI atau Agensi STI.
5.7 Pemohon yang berkolaborasi dengan IPTA, IPTS, GRI atau Agensi STI,
hendaklah melantik Research Officer (RO)/ Graduate Research Assistant
(GRA). (bukti dokumen adalah sekurang-kurangnya surat persetujuan
(Letter of Acceptance, LoA) atau lain-lain dokumen yang setara).
5.8 Manakala Institusi Penyelidikan Kerajaan/Agensi STI Kerajaan digalakkan
berkolaborasi dengan Syarikat Pemula/Syarikat Perusahaan Kecil dan
Sederhana (PKS) (bukti dokumen adalah sekurang-kurangnya surat
persetujuan (Letter of Acceptance, LoA) atau lain-lain dokumen yang
setara).
5.9 Semua pemohon hendaklah berdaftar di Malaysia.
5.10 Pengarah syarikat atau anggota pasukan projek tidak pernah disabitkan
atas kegiatan penipuan atau syarikat diisytihar muflis, atau dalam
pembubaran atau di bawah receivership.
5.11 Ketua Projek yang terdiri daripada warganegara Malaysia boleh melibatkan
ahli projek daripada organisasi antarabangsa atau ekspatriat yang bekerja
dari institusi yang sama.
5.12 Manakala Ketua Projek yang bukan warganegara Malaysia dibenarkan
untuk memohon dengan syarat:
i. permit kerja adalah sah sepanjang tempoh pelaksanaan projek; dan
GARIS PANDUAN DANA PENYELIDIKAN STRATEGIK – REQUEST FOR PROPOSAL (SRF-RFP)
(Mac 2024)
8
ii. ahli projek mestilah terdiri daripada warganegara Malaysia yang
mempunyai bidang kepakaran yang sama dan dari institusi yang sama.
5.13 Ketua Projek hanya dibenarkan mengetuai satu projek sahaja di bawah
kelulusan MOSTI pada satu masa.
5.14 Penyelidik yang bekerja di bawah kontrak Institusi Penyelidikan Kerajaan/
Agensi STI Kerajaan/ Institusi Pengajian Tinggi (IPT) Awam dan Swasta/
hendaklah memastikan bahawa kontrak pekerjaan masih sah sepanjang
tempoh projek.
5.15 Pasukan projek harus terdiri daripada ahli yang berkelayakan dan cekap
dalam aspek teknikal bagi keseluruhan projek. Setiap ahli pasukan
hendaklah menyediakan resume (curriculum vitae) yang jelas mengenai
bidang penyelidikan, pengalaman dan kejayaan yang telah dicapai.
5.16 Jika ahli projek adalah daripada institusi yang berlainan, surat kebenaran
daripada ketua jabatan hendaklah dikemukakan.
5.17 Pemohon dibenarkan mengemukakan beberapa permohonan bagi projekprojek yang berbeza dengan syarat pemohon mempunyai kemampuan dari
segi sumber manusia dan kewangan yang kukuh.
5.18 Projek mesti dilaksanakan di Malaysia kecuali mendapat kelulusan
daripada MOSTI.
5.19 Projek yang dicadangkan perlu mengandungi elemen pembangunan
eksperimental (experimental development) yang menghala kepada
pengkomersialan.
5.20 Projek yang dicadangkan perlu berada pada tahap pra-pengkomersialan
dengan sekurang-kurangnya mempunyai experimental proof of concept
(TRL 3).
5.21 Ketua Projek perlu memaklumkan kepada pihak MOSTI sekiranya telah
menerima dana daripada pihak-pihak yang lain bagi projek yang sama.
5.22 Permohonan projek yang berkaitan dengan penguatkuasaan keselamatan
dan pertahanan (polis dan tentera) tidak akan dibiaya di bawah skim ini. 
GARIS PANDUAN DANA PENYELIDIKAN STRATEGIK – REQUEST FOR PROPOSAL (SRF-RFP)
(Mac 2024)
9
6. PROSES PERMOHONAN
6.1 Permohonan SRF-RFP melibatkan lima (5) peringkat utama seperti
ditunjukkan di Rajah 2:
Rajah 2: Peringkat proses permohonan
6.1.1 Peringkat 1: Nota Konsep
i. Pemohon perlu berdaftar sebagai pengguna portal Sistem Dana
Bersepadu (SDB) di pautan https://sdb.mosti.gov.my/sdbcms/
ii. Pemohon hendaklah menyediakan nota konsep dengan
melengkapkan borang dalam portal SDB dengan merujuk kepada
dokumen RFP dan garis panduan permohonan skim SRF-RFP
serta skop pembiayaan yang telah ditetapkan.
6.1.2 Peringkat 2: Saringan Awal
i. Nota konsep yang diterima akan melalui proses saringan awal bagi
menilai pematuhan kepada spesifikasi dan jangkaan hasil projek
selaras dengan keperluan RFP.
ii. Pemohon bagi nota konsep yang disenarai pendek akan diminta
unuk membentangkan cadangan projek kepada jawatankuasa di
peringkat MOSTI.
iii. Hanya pemohon yang berjaya melepasi saringan awal sahaja akan
dipelawa untuk mengemukakan permohonan penuh.
"""

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained('mesolitica/malaysian-tinyllama-1.1b-16k-instructions-rag')
model = AutoModelForCausalLM.from_pretrained(
    'mesolitica/malaysian-tinyllama-1.1b-16k-instructions-rag',
    use_flash_attention_2 = True,
    torch_dtype = torch.float16
)
_ = model.cuda()

prompt = """
knowledge base is below.
---------------------
{best_doc}
---------------------
Given the knowledge base and not prior knowledge, answer the question.
Question: {question}
""".strip()

messages = [
    {'role': 'user', 'content': prompt.format(best_doc = s, question = 'camne nak dapat grant')}
]
inputs = tokenizer.apply_chat_template(messages, tokenize = False)
inputs = tokenizer([inputs], return_tensors='pt', add_special_tokens=False).to('cuda')
generate_kwargs = dict(
    inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.9,
    do_sample=True,
    num_beams=1,
)
r = model.generate(**generate_kwargs)
print(tokenizer.decode(r[0]).split('[/INST]')[1])

Untuk mendapatkan geran daripada Dana Penyelidikan Strategik - Draf Permintaan Cadangan (SRF-RFP), anda perlu mengikuti langkah berikut:

1. Baca dengan teliti Garis Panduan dan Prosedur Permohonan SRF-RFP untuk memahami terma dan syarat.
2. Sediakan dokumen yang diperlukan, termasuk yang berikut:
* Borang permohonan yang lengkap dan disahkan
* Contoh draf geran
* Brosur geran dan sebarang maklumat berkaitan
* Borang pengesahan perundingan dan reka bentuk pengeluaran
* Contoh cadangan penyelidikan
* Borang pengesahan peruntukan bagi setiap pasukan penyelidik (dengan penyertaan jika berkenaan)
3. Menghantar dokumen lengkap kepada MOSTI.
4. Menghadiri pemilihan pasukan penyelidikan, seperti yang dinyatakan dalam perkara 3.2 pangkalan pengetahuan.
5. Jika dipilih, anda akan menerima surat tawaran yang menggariskan terma dan syarat geran, termasuk sebarang butiran lain yang berkaitan.
6. Ikut garis panduan dan prosedur yang disediakan dalam surat tawaran.
7. Setelah projek selesai, MOSTI akan menyemak dan menilai kemajuan dan impak projek.
8. Bayar geran dalam tempoh masa yang ditetapkan.

Adalah penting untuk ambil perhatian bahawa SRF-RFP meliputi pelbagai bidang penyelidikan dan projek itu akan dinilai berdasarkan meritnya. Proses permohonan dan kelulusan yang panjang mungkin tidak sesuai untuk semua bakal pemohon, jadi adalah disyorkan untuk menyemak garis panduan dengan teliti dan mengikuti arahan dengan teliti.

Saya harap ini membantu anda dalam proses permohonan SRF-RFP. Jika anda memerlukan penjelasan lanjut atau mempunyai sebarang soalan lain, sila jangan teragak-agak untuk bertanya.</s>

messages = [
    {'role': 'user', 'content': prompt.format(best_doc = s, question = 'camne nak tanam pokok manggis')}
]
inputs = tokenizer.apply_chat_template(messages, tokenize = False)
inputs = tokenizer([inputs], return_tensors='pt', add_special_tokens=False).to('cuda')
generate_kwargs = dict(
    inputs,
    max_new_tokens=1024,
    top_p=0.95,
    top_k=50,
    temperature=0.9,
    do_sample=True,
    num_beams=1,
)
r = model.generate(**generate_kwargs)
print(tokenizer.decode(r[0]).split('[/INST]')[1])

Berdasarkan pangkalan pengetahuan yang disediakan, tiada maklumat mengenai projek atau inisiatif berkaitan penanaman pokok manggis. Pangkalan pengetahuan mengandungi garis panduan dan syarat kelayakan untuk program pembiayaan strategik di Malaysia, dengan penekanan kepada pembangunan syarikat kecil dan sederhana (PKS) dan syarikat baharu. Untuk maklumat mengenai penanaman pokok manggis, saya akan mengesyorkan agar anda menyemak dengan sumber pertanian atau agensi kerajaan yang berkaitan di Malaysia.</s>