--- license: apache-2.0 language: - id pipeline_tag: text2text-generation tags: - indonesia - vtuber - chatbot --- # Kiara Model 1.0 I will try to use it on Vtuber AI , i hope i can make it ### Model Description ## 1. Mengambil Text dari YouTube Livestream menggunakan Pytchat: Anda menggunakan Pytchat untuk mengambil text chat secara real-time dari siaran langsung YouTube. Dengan pustaka ini, Anda dapat menangkap pesan yang dikirimkan di chat YouTube. Link Pytchat : https://pypi.org/project/pytchat/ ## 2. Mengubah Text menjadi Response menggunakan Gemini: Setelah mendapatkan text dari chat, Anda menggunakan Gemini (Google Generative AI) untuk mengubah text tersebut menjadi respons yang relevan dan natural. Link Gemini :https://pypi.org/project/google-generativeai/ ## 3. Learning dari Data: **Menandai Tipe Pesan yang Berupa Pertanyaan:** - menandai pesan yang mengandung pertanyaan dengan **tanda tanya (?)** untuk membedakan jenis pesan. - jika ada pertanyaan namun merupakan pesan pertanyaan gunakan **prompts** seperti : contoh prompts = ["kapan", "mengapa", "dimana", "bagaimana", "siapa", "kenapa", "berapa"] **Mencocokkan Jawaban Sesuai dengan Topik atau Tema:** - Untuk mencocokkan jawaban yang relevan, Anda bisa menggunakan pencocokan kata kunci untuk memastikan jawaban yang dihasilkan sesuai dengan topik atau tema yang dibahas. - menggunakan **Logistic Regression** sebagai metode pembelajaran untuk memprediksi jawaban berdasarkan tipe pesan atau kategori yang telah dilabeli, seperti pertanyaan atau komentar. ### Catatan **Gemini 2.0 Flash Experimental Contoh Penggunaan :** ```python import google.generativeai as genai genai.configure(api_key="YOUR API KEY GEMINI") model = genai.GenerativeModel("MODEL NAME TO USE") # seperti Gemini 1.5 Flash,Gemini 1.5 Flash-8B,gemini-2.0-flash-exp # Generate text using Gemini generation_config={ "temperature": 1, # untuk akurasi "top_p": 0.8, # Mempertimbangkan berbagai pilihan kata "max_output_tokens": 250, # Batasi panjang output "frequency_penalty": 0.2, # Kurangi pengulangan kata "presence_penalty": 0.2, # Kurangi pengulangan kata yang sudah ada } response = model.generate_content( text,generation_config=generation_config ) gemini_text = response.text text_without_asterisks = gemini_text.replace("*", "") print("Gemini Text Output:", text_without_asterisks) ``` **fit_transform** digunakan hanya saat melatih vectorizer dengan data baru. **transform** digunakan untuk memproses data baru menggunakan vectorizer yang sudah dilatih. Ini memastikan data sesuai dengan model yang ada. **sigmoid** untuk klasifikasi biner, pastikan target Anda adalah label biner (0 atau 1), dan gunakan binary_crossentropy. **softmax** untuk klasifikasi dua kelas, ubah layer output menjadi dua unit dan gunakan categorical_crossentropy dengan target dalam format one-hot encoding. ### Update Log #### (version 3)V3 -menggunakan **softmax** untuk Build the TensorFlow neural network (model dan dataset telah di hapus). #### (version 5)V5 -data lebih banyak namun **50x Epoch Loss: 33.1689 Accuracy: 2.22%**(model dan dataset terbaru). #### (version 8)V8 -data lebih banyak namun **50x Epoch Loss: 20.0664 Accuracy: 3.26%**(model dan dataset belum di publish). **(recommend)Pilih Model(LSTM-based)jika:** - Urutan kata dan konteks teks penting untuk memahami pesan. - Dataset besar atau lebih kompleks. - Anda ingin model yang lebih mendalam untuk teks. ## 4. Text to Voice (pyttsx3 / ElevenLabs): Setelah respons dihasilkan, Anda mengubahnya menjadi suara menggunakan **pyttsx3** atau **ElevenLabs**. Pustaka ini memungkinkan konversi text menjadi suara yang dapat digunakan dalam interaksi lebih lanjut. **Convert Voice untuk Pergerakan Vtuber (VTS Desktop Audio, VB Cable Driver):** Anda menggunakan **VTS Desktop Audio** dan **VB Cable Driver** untuk mengonversi suara menjadi input untuk mengendalikan pergerakan Vtuber, seperti pergerakan wajah atau tubuh berdasarkan respons suara yang dihasilkan. ## 5. Voice Changer Suara Menggunakan RVC Okada: Masih belum diketahui caranya dan masih belajar...ehee - **Developed by:** [Niki] - **Model type:** [Keras] - **Language(s) (NLP):** [Indonesian] - **License:** [Apache]