Create README.md

README.md

@@ -0,0 +1,104 @@
+---
+license: cc-by-sa-3.0
+language:
+- id
+---
+### Description
+
+This is [indonesian-nlp/gpt2-medium-indonesian](https://huggingface.co/indonesian-nlp/gpt2-medium-indonesian) finetuned 
+on [databrick's dolly 15k dataset translated using m2m100_418](https://huggingface.co/datasets/umarzein/databricks-dolly-15k-en) 
+over 1024 iterations, 3 epochs
+
+template: `<|konteks|>{konteks}<|instruksi|>{instruksi}<|jawaban|>{jawaban}`
+
+### Usage
+
+#### CPU
+
+```python
+import torch
+from peft import PeftModel, PeftConfig
+from transformers import AutoModelForCausalLM, GPT2Tokenizer
+
+peft_model_path ='umarzein/gpt2-medium-indonesian-dolly'
+
+config = PeftConfig.from_pretrained(peft_model_path)
+model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, return_dict=True)
+
+tokenizer = GPT2Tokenizer.from_pretrained(config.base_model_name_or_path)
+
+model = PeftModel.from_pretrained(model, peft_model_path)
+
+batch = tokenizer(f"<|konteks|><|instruksi|>Apa itu internet?<|jawaban|>", return_tensors='pt')
+
+output_tokens = model.generate(**batch, max_new_tokens=50, repetition_penalty=1.17)
+
+print(tokenizer.decode(output_tokens[0], skip_special_tokens=True))
+
+# <|konteks|><|instruksi|>Apa itu internet?<|jawaban|>Internet adalah jaringan global yang menghubungkan komputer
+# di seluruh dunia. Internet terdiri dari jutaan server dan ribuan perangkat lunak, termasuk sistem operasi, aplikasi
+# web, browser, email, dll.<|jawaban|>Internet adalah jaringan global yang menghubungkan komputer di seluruh dunia.
+# Internet
+```
+
+#### GPU
+
+```python
+import torch
+from peft import PeftModel, PeftConfig
+from transformers import AutoModelForCausalLM, GPT2Tokenizer
+
+peft_model_path ='umarzein/gpt2-medium-indonesian-dolly'
+
+# Load the Lora model
+model = PeftModel.from_pretrained(model, peft_model_path)
+
+config = PeftConfig.from_pretrained(peft_model_path)
+model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, return_dict=True, load_in_8bit=True, device_map='auto')
+
+tokenizer = GPT2Tokenizer.from_pretrained(config.base_model_name_or_path)
+
+model = PeftModel.from_pretrained(model, peft_model_path)
+
+batch = tokenizer(f"<|konteks|><|instruksi|>Apa itu internet?<|jawaban|>", return_tensors='pt')
+
+with torch.cuda.amp.autocast():
+  output_tokens = model.generate(**batch, max_new_tokens=50, repetition_penalty=1.17)
+
+print(tokenizer.decode(output_tokens[0], skip_special_tokens=True))
+```
+
+### Some Results
+
+1. `<|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>`
+
+- gpt2[repetition_penalty=1.1, max_new_tokens=50]:
+> <|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>udah ter� Ind'el melam multimedia) kita yaituartariikap kam penj bis yang d ger a selamatnormol berjisiutamaha Bin untukengkideo mengulai4lu tentid memilikiad Ter bingungdaauuaelah
+ 
+- umarzein/gpt2-medium-indonesian-dolly[repetition_penalty=1.1, max_new_tokens=50]:
+> <|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>Himpunan adalah sekelompok objek yang memiliki karakteristik tertentu. Karakteristik ini dapat berupa atribut, sifat, dan sebagainya. Atribut adalah karakteristik yang dimiliki oleh objek. Sifat adalah karakteristik yang dimiliki oleh objek. Atribut juga dapat didefinisikan sebagai karakteristik yang dimiliki oleh objek.
+ 
+- #indonesian-nlp/gpt2-medium-indonesian[repetition_penalty=1.1, max_new_tokens=50]:
+> <|konteks|>Himpunan secara sederhana dapat diartikan sebagai kumpulan objek-objek. Pengertian "mengumpulkan" atau "menghimpun" sendiri sudah jelas sebab telah sering dilakukan dalam keseharian.<|instruksi|>Apa itu himpunan?<|jawaban|>Himpunan adalah suatu konsep yang abstrak, tidak dapat didefinisikan dengan pasti. Namun demikian, himpunan merupakan salah satu konsep dasar dari ilmu matematika.<|keterangan|>Himpunan adalah suatu himpunan bagian dari himpunan semua objek yang ada di dunia nyata.<|keter
+
+2. `<|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|>`
+
+- gpt2[repetition_penalty=1.17, max_new_tokens=50]:
+> <|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|>engan berlaku atdilikagam�\ga tetapoD serta mel daat memilikigiid deskapa kam)ari (dukemendaol untuk buadutuakai 40'elо Andaalkan" ekstrba did) tent 30 y teram
+ 
+- umarzein/gpt2-medium-indonesian-dolly[repetition_penalty=1.17, max_new_tokens=50]:
+> <|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|>Orang-orang yang paling terkenal di dunia adalah: George Bush, Nelson Mandela, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F. Kennedy, John F.
+ 
+- indonesian-nlp/gpt2-medium-indonesian[repetition_penalty=1.17, max_new_tokens=50]:
+> <|konteks|><|instruksi|>berikan saya 7 nama orang terkenal<|jawaban|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|struktur|><|
+
+3. `<|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>`
+ 
+- gpt2[repetition_penalty=1.17, max_new_tokens=50]:
+> <|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>ebut-(@/'0j+n BDistem melarti memberariua lada buol bis� warawaarterh meny d yaituiliauonalormmen ad kam rekanad orangututu gangguan dalamnya Iupakancelonaalahengg
+ 
+- umarzein/gpt2-medium-indonesian-dolly[repetition_penalty=1.17, max_new_tokens=50]:
+> <|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>OpenAI adalah sebuah organisasi penelitian AI yang didirikan pada tahun 2014 di San Francisco, California. Mereka bertujuan untuk mengembangkan teknologi pembelajaran mesin yang memungkinkan orang-orang untuk belajar lebih cepat daripada komputer. Mereka juga ingin menciptakan platform komputasi cerdas baru yang bisa membantu meningkatkan kehidupan
+ 
+- indonesian-nlp/gpt2-medium-indonesian[repetition_penalty=1.17, max_new_tokens=50]:
+> <|konteks|>OpenAI adalah laboratorium penelitan kecerdasan buatan yang terdiri atas perusahaan waralaba OpenAI LP dan perusahaan induk nirlabanya, OpenAI Inc. Para pendirinya (khususnya Elon Musk dan Sam Altman) terdorong oleh ketakutan mereka akan kemungkinan bahwa kecerdasan buatan dapat mengancam keberadaan manusia.[5][6] Sekelompok pendukung OpenAI telah berkomitmen untuk mendanai proyek ini senilai $1 miliar, mereka adalah Reid Hoffman, Jessica Livingston, Peter Thiel, Greg Brockman, dan Sam Altman. Elon Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada tahun 2019, OpenAI LP menerima investasi sebesar US$1 miliar dari Microsoft. <|instruksi|>Jelaskan apa itu OpenAI!<|jawaban|>OpenAI adalah sebuah organisasi nirlaba yang bertujuan untuk mengembangkan teknologi AI di seluruh dunia.<|penjelasan|>OpenAI didirikan pada bulan September 2014 oleh sekelompok ilmuwan yang bekerja sama dengan IBM dan Intel. Mereka ingin menciptakan sistem komputasi cerdas yang memungkinkan orang-orang untuk