Pendahuluan

Selamat datang di Kursus 🤗!

Pada kursus ini, anda akan belajar mengenai natural language processing (pemrosesan bahasa natural) atau NLP menggunakan modul-modul dari ekosistem Hugging Face - 🤗 Transformers, 🤗 Datasets, 🤗 Tokenizers, and 🤗 Accelerate — as well as the Hugging Face Hub. Kursus ini 100% gratis tanpa iklan.

Silabus

Silabus kursus ini adalah sebagai berikut:

• Bab 1-4 akan mencakup pengenalan konsep-konsep dasar modul 🤗 Transformers. Di akhir bab 4, anda akan tahu bagaimana menggunakan model-model Transformer dari Hugging Face Hub, melakukan model fine-tuning untuk dataset anda, dan membagikan model anda di Hugging Face Hub!
• Bab 5-8 akan mencakup dasar-dasar dari 🤗 Datasets dan 🤗 Tokenizers sebelum anda diperkenalkan ke kasus-kasus yang dapat ditangani dengan NLP. Diakhir kursus ini, anda akan mampu menangani dan menyelesaikan kasus-kasus NLP.
• Chapters 9 to 12 go beyond NLP, and explore how Transformer models can be used tackle tasks in speech processing and computer vision. Along the way, you’ll learn how to build and share demos of your models, and optimize them for production environments. By the end of this part, you will be ready to apply 🤗 Transformers to (almost) any machine learning problem!
• Setelah NLP, di bab 9-12, anda akan mengeksplorasi bagaimana model-model Transformer dapat digunakan untuk menangani kasus-kasus lain seperti speech processing (pemrosesan ucapan) dan computer vision (penglihatan komputer). Selain itu, anda akan belajar cara membuat dan membagikan demo (prototype) dari model anda, serta cara mengoptimisasi model anda untuk production environment (penerapan di kasus asli). Di akhir bab 12, anda akan siap mengimplementasikan 🤗 Transformers untuk (hampir) semua kasus machine learning (pembelajaran mesin)!

Syarat mengikuti kursus:

• Requires a good knowledge of Python
• Pengetahuan mengenai Python
• Akan lebih baik jika sudah mengenal deep learning dengan mengambil kursus dari fast.ai ”Practical Deep Learning for Coders” atau program-program yang dikembangkan oleh DeepLearning.AI
• Tidak perlu pengetahuan mengenai PyTorch atau TensorFlow. Tapi, akan lebih baik jika sudah terbiasa dengan salah satu framework tersebut.

Setelah menyelesaikan kursus ini, sangat direkomendasikan untuk mengikuti kursus dari DeepLearning.AI Natural Language Processing Specialization yang akan mencakup model-model NLP klasik seperti naive Bayes dan LSTM. Pengetahuan tersebut akan sangat berharga bagi anda!

Tentang penulis

Abubakar Abid adalah lulusan PhD dari Stanford dengan konsentrasi aplikasi pembelajaran mesin. Sembari menyelesaikan pendidikan PhD, beliau menciptakan Gradio, sebuah modul open-source Python yang sudah digunakan untuk membuat lebih dari 600.000 demo (prototype) model machine learning. Gradio telah diakusisi oleh Hugging Face, tempat dimana Abubakar bekerja sebagai machine learning team lead.

Matthew Carrigan bekerja sebagai Machine Learning Engineer di Hugging Face. Beliau tinggal di Dublin, Irlandia, pernah bekerja sebagai ML engineer di Parse.ly dan sebelumnya merupakan peneliti post-doctoral di Trinity College Dublin. Beliau tidak percaya kita akan mencapai Artificial general intelligence (AGI) dengan menambahkan skala dari arsitektur yang digunakan sekarang, namun memiliki optimisme mengenai imortalitas robot.

Lysandre Debut bekerja sebagai Machine Learning Engineer di Hugging Face dan berfokus mengembangkan modul 🤗 Transformers sejak seumur jagung. Beliau mempunya mimpi untuk agar NLP dapat diakses oleh semua orang dengan mengembangkan alat-alat atau aplikasi-aplikasi sederhana menggunkan API.

Sylvain Gugger adalah Research Engineer di Hugging Face dan merupakan salah satu maintainer dari modul 🤗 Transformers. Beliau pernah bekerja sebagai Research Scientist di fast.ai, dan bersama Jeremy Howard menulis Deep Learning for Coders with fastai and PyTorch. Fokus utama dari penelitian beliau adalah membuat deep learning lebih mudah diakses dengan mendesain dan memperbaiki teknik-teknik untuk melatih model dengan sumber daya terbatas.

Dawood Khan bekerja sebagai Machine Learning Engineer di Hugging Face. Beliau berasal dari NYC dan merupakan lulusan New York University jurusan Computer Science. Sempat bekerja sebagai iOS Engineer untuk beberapa tahun, Dawood memutuskan untuk resign dan mengembangkan Gradio bersama rekan-rekan co-foundernya. Seiring berjalannya waktu, Gradio diakusisi oleh Hugging Face.

Merve Noyan adalah advokat developer di Hugging Face, beliau bertugas untuk mengembangkan konten beserta medianya untuk mendemokrasikan machine learning untuk semua orang.

Lucile Saulnier adalah machine learning engineer di Hugging Face, bertugas untuk mengembangkan dan mendukung penggunaan alat-alat open source. Beliau juga aktif dalam banyak riset mengenai Natural Language Processing seperti collaborative training dan BigScience.

Lewis Tunstall merupakan machine learning engineer di Hugging Face, bertugas untuk mengembangkan alat-alat open source dan membuatnya dapat diakses oleh komunitas. Beliau juga merupakan salah satu penulis dari buku terbitan O’Reilly berjudul Natural Language Processing with Transformers.

Leandro von Werra bekerja sebagai machine learning engineer untuk tim open-source di Hugging Face dan juga merupkan salah satu penulis buku Natural Language Processing with Transformers yang diterbitkan oleh O’Reilly. Beliau memiliki memiliki pengalaman mengembangkan proyek-proyek NLP untuk kasus nyata pada berbagai macam machine learning stack selama beberapa tahun.

Sudah siap untuk belajar? Di bab ini anda akan belajar mengenai:

• Penggunaan fungsi pipeline() untuk memecahkan masalah-masalah NLP seperti text generation (pembuatan teks) dan klasifikasi.
• Arsitektur Transformer
• Bagaimana membedakan arsitektur encoder, decoder, dan encoder-decoder beserta kasus-kasus terkait.