Context: Transformer adalah model pembelajaran mendalam yang mengadopsi mekanisme perhatian diri, secara diferensial menimbang signifikansi setiap bagian dari data input. Transformer digunakan terutama di bidang pemrosesan bahasa alami (NLP) dan visi komputer (CV). Seperti jaringan saraf berulang (RNN), transformator dirancang untuk memproses data input berurutan, seperti bahasa alami, dengan aplikasi terhadap tugas-tugas seperti terjemahan dan ringkasan teks. Namun, tidak seperti RNN, transformator memproses seluruh input sekaligus. Mekanisme perhatian menyediakan untuk setiap posisi dalam urutan input. Misalnya, jika data input adalah kalimat bahasa alami, transformator tidak perlu memproses satu kata pada satu waktu. Ini memungkinkan lebih banyak paralelisasi daripada RNN dan mengurangi waktu pelatihan. Transformer diperkenalkan pada tahun 2017 oleh tim di Google Brainly dan menjadi model pilihan untuk NLP, menggantikan model RNN seperti masalah jangka pendek (Corpusets) dengan aplikasi ke arah tugas-tugas seperti terjemahan dan ringkasan teks.

Makalah "Attention is all you need" mengusulkan model Transformer untuk pertama kalinya, yang memiliki dampak mendalam pada LLM berikutnya.

Makalah ini ditulis oleh Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. dan diterbitkan pada tahun 2017. Ia meletakkan dasar untuk model GPT berikutnya dan model BERT berikutnya. Model GPT menggunakan bagian dekoder Transfomer, sementara model BERT menggunakan bagian encoder Transfomer. Arsitektur inti utama model Transformer meliputi: Mekanisme Perhatian Diri, Pengkodean Posisional, Arsitektur Pengkode-Dekoder, Multi-Head Attension. Transformer secara efektif memecahkan masalah paralel yang sulit dari model RNN / LTS sebelumnya dengan menggunakan mekanisme Perhatian. Menggunakan Self-Attention memecahkan masalah data yang terbatas yang diberi label dalam NLP. Informasi dalam urutan teks disimpan melalui Pengkodean Posisional Multi-Head Channel Dan pelatihan konsep Perhatian memungkinkan untuk mempelajari pola yang serupa dalam model Transformer.