Groq

Groq, Inc. merupakan perusahaan kecerdasan buatan (AI) Amerika yang membangun Sirkuit terintegrasi khusus aplikasi akselerator AI (ASIC) yang mereka sebut Unit Pemrosesan Bahasa (LPU) dan perangkat keras yang terhubung dengan tujuan untuk mempercepat kinerja inferensi beban kerja AI.

Beberapa contoh penggunaan kerja AI yang dapat dijalankan pada LPU Groq adalah: model bahasa besar (LLM), klasifikasi gambar, deteksi anomali, dan analisis prediktif.

Kantor pusat Groq berada di Mountain View, CA, dan memiliki kantor di San Jose, CA, Liberty Lake, WA, Toronto, Kanada, London, Inggris . Serta memiki karyawan yang bekerja secara remote di  Amerika Utara dan Eropa .

 Sejarah 
Groq dibentuk pada tahun 2016 oleh beberapa orang yang pernah bekerja menjadi insinyur Google, yang dipimpin oleh Jonathan Ross, salah satu perancang Unit Pemrosesan Tensor (TPU), ASIC akselerator AI, dan Douglas Wightman, seorang pengusaha dan mantan insinyur di Google X (dikenal sebagai X Development ), yang menjabat sebagai CEO pertama perusahaan.

Groq menerima pendanaan awal dari Chamath Palihapitiya dari Social Capital, dengan investasi sebesar $10 juta pada tahun 2017  dan tak lama sesudah itu berhasil memperoleh suntikan dana tambahan.

Pada April 2021, Groq berhasil menghimpun dana sebesar $300 juta dalam putaran investasi seri C yang dipimpin oleh Tiger Global Management dan D1 Capital Partners. Investor aktif saat ini diantaranya adalah : The Spruce House Partnership, Addition, GCM Grosvenor, Xⁿ, Firebolt Ventures, General Global Capital, dan Tru Arrow Partners, serta investasi yang dilanjutkan dari TDK Ventures, XTX Ventures, Boardman Bay Capital Management, dan Infinitum Partners. Setelah tahap penggalangan dana seri C, Groq memiliki nilai lebih dari $1 miliar, membuat startup ini menjadi unicorn .

Pada tanggal 1 Maret 2022, Groq mengakuisisi Maxeler Technologies, sebuah perusahaan yang menawarkan teknologi pada sistem manajemen data.

Pada 16 Agustus 2023, Groq memilih fasilitas fabrikasi Samsung Electronics di Taylor, Texas untuk memproduksi chip generasi terbarunya, dengan menggunakan rangkaian pemrosesan 4 nanometer (nm) milik Samsung. Ini merupakan pesanan pertama di pabrik chip Samsung yang tergolong baru ini.

Kemudian di tanggal 19 Februari 2024, Groq meluncurkan platform untuk para pengembang, GroqCloud, dengan tujuan untuk menarik para pengembang untuk menggunakan API Groq dan menyewa akses terhadap chip mereka.Nieva, Richard (August 5, 2024). "The AI Chip Boom Saved This Tiny Startup. Now Worth $2.8 Billion, It's Taking On Nvidia". Forbes. Selanjutnya, pada tanggal 1 Maret 2024, Groq mengakuisisi Definitive Intelligence, sebuah perusahaan startup yang dikenal karena menawarkan berbagai solusi AI berorientasi bisnis, untuk membantu platform cloud-nya.

Groq berhasil meraup $640 juta dalam tahap investasi seri D yang dipandu oleh BlackRock Private Equity Partners pada bulan Agustus 2024, yang membuat perusahaan ini bernilai $2,8 miliar.Nieva, Richard (August 5, 2024). "The AI Chip Boom Saved This Tiny Startup. Now Worth $2.8 Billion, It's Taking On Nvidia". Forbes.

Update terbaru pada tahun 2025 oleh Groq melalui situs webnya melaporkan bahwa mereka telah mendapatkan kucuran dana dari KSA ( Kerajaan Arab Saudi )  sebesar 1,5 Miliar serta memperoleh kesepakatan dengan Bell Canada dengan tujuan memperluas infrastruktur AI nasional.

 Unit Pemrosesan Bahasa 
jmpl|Foto hasil cetakan dari LPU V1 milik Groq
Groq menggunakan nama awal untuk ASIC mereka sebagai Tensor Streaming Processor (TSP), dan kemudian mengganti nama TSP menjadi Language Processing Unit (LPU).Williams, Wayne (27 February 2024). "'Feels like magic!': Groq's ultrafast LPU could well be the first LLM-native processor — and its latest demo may well convince Nvidia and AMD to get out their checkbooks". TechRadar Pro. TechRadar. Retrieved 19 April 2024.

LPU memiliki fitur mikroarsitektur yang dibagi menjadi beberapa bagian, di mana unit memori tersambung dengan unit komputasi vektor dan matriks. Desain ini memungkinkan pemanfaatan lokalitas aliran data dalam grafik komputasi AI, sehingga meningkatkan performa dan efisiensi eksekusi. LPU dirancang berdasarkan dua aspek penting:

 Aktivitas kerja AI menampilkan paralelisme data yang substansial, yang dapat dipetakan ke perangkat keras yang dibangun secara khusus, yang menghasilkan peningkatan performa Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto; Han, David; Thompson, John; Bye, Michael; Hwang, Jennifer; Fowers, Jeremy; Lillian, Peter; Murthy, Ashwin; Mehtabuddin, Elyas; Tekur, Chetan; Sohmers, Thomas; Kang, Kris; Maresh, Stephen; Ross, Jonathan (2022-06-11). "A software-defined tensor streaming multiprocessor for large-scale machine learning". Proceedings of the 49th Annual International Symposium on Computer Architecture. pp. 567–580. doi:10.1145/3470496.3527405. ISBN 978-1-4503-8610-4.Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto; Han, David; Thompson, John; Bye, Michael; Hwang, Jennifer; Fowers, Jeremy; Lillian, Peter; Murthy, Ashwin; Mehtabuddin, Elyas; Tekur, Chetan; Sohmers, Thomas; Kang, Kris; Maresh, Stephen; Ross, Jonathan (June 11, 2022). "A software-defined tensor streaming multiprocessor for large-scale machine learning". Proceedings of the 49th Annual International Symposium on Computer Architecture. pp. 567–580. doi:10.1145/3470496.3527405. ISBN 978-1-4503-8610-4. Retrieved 2024-03-18.
 Desain prosesor deterministik, ditambah dengan model pemrograman produsen-konsumen, memungkinkan kontrol dan penalaran yang tepat atas komponen perangkat keras, sehingga menghasilkan performa dan efisiensi energi yang optimal.

Disamping mikroarsitekturnya yang terbagi secara fungsional, LPU juga dapat digolongkan ke dalam arsitektur inti tunggal dan deterministik.Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto; Han, David; Thompson, John; Bye, Michael; Hwang, Jennifer; Fowers, Jeremy; Lillian, Peter; Murthy, Ashwin; Mehtabuddin, Elyas; Tekur, Chetan; Sohmers, Thomas; Kang, Kris; Maresh, Stephen; Ross, Jonathan (2022-06-11). "A software-defined tensor streaming multiprocessor for large-scale machine learning". Proceedings of the 49th Annual International Symposium on Computer Architecture. pp. 567–580. doi:10.1145/3470496.3527405. ISBN 978-1-4503-8610-4. LPU bisa mencapai pelaksanaan penentuan dengan menghindari penggunaan komponen perangkat keras yang reaktif ( prediktor cabang, arbiter, buffer penataan ulang, cache )  dan dengan semua pelaksanaan yang dikontrol secara eksplisit oleh kompiler sehingga menjamin determinisme dalam pelaksanaan program LPU.Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto; Han, David; Thompson, John; Bye, Michael; Hwang, Jennifer; Fowers, Jeremy; Lillian, Peter; Murthy, Ashwin; Mehtabuddin, Elyas; Tekur, Chetan; Sohmers, Thomas; Kang, Kris; Maresh, Stephen; Ross, Jonathan (June 11, 2022). "A software-defined tensor streaming multiprocessor for large-scale machine learning". Proceedings of the 49th Annual International Symposium on Computer Architecture. pp. 567–580. doi:10.1145/3470496.3527405. ISBN 978-1-4503-8610-4. Retrieved 2024-03-18.

LPU generasi pertama (LPU v1) menghasilkan kecepatan komputasi lebih dari 1TeraOp/s per mm persegi silikon untuk chip 14 nm berukuran 25×29 mm yang beroperasi pada frekuensi clock sebesar 900 MHz.Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto; Han, David; Thompson, John; Bye, Michael; Hwang, Jennifer; Fowers, Jeremy; Lillian, Peter; Murthy, Ashwin; Mehtabuddin, Elyas; Tekur, Chetan; Sohmers, Thomas; Kang, Kris; Maresh, Stephen; Ross, Jonathan (2022-06-11). "A software-defined tensor streaming multiprocessor for large-scale machine learning". Proceedings of the 49th Annual International Symposium on Computer Architecture. pp. 567–580. doi:10.1145/3470496.3527405. ISBN 978-1-4503-8610-4. Sementara itu, LPU generasi kedua (LPU v2) akan diproduksi pada node proses 4 nm Samsung.Hwang, Jeong-Soo. "Samsung's new US chip fab wins first foundry order from Groq". The Korea Economic Daily. Retrieved 19 April 2024.

 Performa 
Groq hadir sebagai penyedia API pertama yang berhasil mencapai kecepatan 100 token per detik pada saat menjalankan model parameter Llama2-70B milik Meta .

Groq saat ini menjadi penyedia berbagai model bahasa sumber terbuka yang berjalan pada LPU-nya untuk akses publik. Akses terhadap demo-demo ini tersedia di situs web Groq. Kinerja LPU saat menjalankan LLM yang bersifat open source ini telah di-benchmark secara independen oleh ArtificialAnalysis.ai, dibandingkan dengan penyedia LLM lainnya. Kinerja yang diukur dari LPU ini disajikan dalam tabel di bawah ini:
+Kinerja LLM Unit Pemrosesan Bahasa Nama Model Token/detik (T/s) Latensi (detik) Llama2-70B  253 T/detik 0,3 detik Mixtral  473 T/detik 0,3 detik Gemma  826 T/detik 0,3 detik

 Lihat juga 

 Unit pemrosesan pusat
 Unit pemrosesan grafis

 Referensi 

 Pranala luar 



Kategori:Perusahaan komputer Amerika Serikat