# Groq

Groq Inc. est une société américaine d'intelligence artificielle (IA) qui construit un circuit intégré spécifique à une application (ASIC) d'accélérateur d'IA qu'elle appelle l'unité de traitement du langage (LPU - Language Processing Unit) et le matériel associé pour accélérer les performances d'inférence des charges de travail d'IA générative. Le siège social de l'entreprise est à Mountain View, en Californie, et cette dernière possède des bureaux à San Jose, Liberty Lake, Toronto et Londres, au Royaume-Uni, ainsi que des employés distants dans toute l'Amérique du Nord et en Europe.

## Historique

Groq a été fondée en 2016 par un groupe d'anciens ingénieurs de Google dirigés par Jonathan Ross, un des concepteurs du Tensor Processing Unit (TPU), et Douglas Wightman, entrepreneur et ancien ingénieur chez Google X. Groq a reçu un financement de départ de 10 millions de dollars en 2017 de la part de l'homme d'affaires Chamath Palihapitiya et a obtenu peu après un financement supplémentaire.
En avril 2021, Groq a levé 300 millions de dollars dans le cadre d'un tour de table de série C dirigé par Tiger Global Management et D1 Capital Partners. Les investisseurs actuels comprennent : The Spruce House Partnership, Addition, GCM Grosvenor, Xⁿ, Firebolt Ventures, General Global Capital et Tru Arrow Partners, ainsi que les investissements de suivi de TDK Ventures, XTX Ventures, Boardman Bay Capital Management et Infinitum Partners$^,$. Après le cycle de financement de série C de Groq, celle-ci a été évaluée à plus d'un milliard de dollars, faisant de la startup une licorne.
Le 1er mars 2022, Groq a acquis Maxeler Technologies, connue pour ses technologies de systèmes de flux de données. Le 16 août 2023, Groq a choisi la fonderie Samsung Electronics de Taylor, basée au Texas, pour fabriquer ses puces de nouvelle génération, sur une base de gravure de 4 nanomètres. Il s'agissait de la première commande de cette nouvelle usine de puces Samsung.
Le 19 février 2024, Groq soft a lancé GroqCloud, une plateforme de développement conçue pour inciter les développeurs à utiliser l'API Groq. Le 1er mars 2024, Groq a acquis Definitive Intelligence, une startup proposant une gamme de solutions d'IA orientées entreprise, pour l'aider avec sa plateforme cloud.

## Technologie

Le nom initial de Groq pour son ASIC était Tensor Streaming Processor (TSP), avant de le changer en Language Processing Unit (LPU)$^,$$^,$.
Le LPU présente une microarchitecture fonctionnellement découpée, où les unités de mémoire sont entrelacées avec des unités de calcul vectoriel et matriciel$^,$. Cette conception facilite l’exploitation du flux de données dans les processeurs graphiques de calcul d’IA, améliorant ainsi les performances et l’efficacité d’exécution. Le LPU a été conçu à partir de deux observations clés :
* Les charges de travail d'IA présentent un parallélisme de données substantiel, qui peut être mappé sur du matériel spécialement conçu, conduisant à des gains de performances significatifs.
* Une conception de processeur déterministe, associée à un modèle de programmation producteur-consommateur, permet un contrôle et un raisonnement précis sur les composants matériels, permettant d'optimiser les performances et l'efficacité énergétique.
En plus de sa microarchitecture fonctionnellement découpée, le LPU peut également être caractérisé par son architecture déterministe à cœur unique. Il est capable de réaliser une exécution déterministe en évitant l'utilisation de composants matériels réactifs traditionnels (prédicteurs de branchement, arbitres, tampons de réorganisation, caches) en faisant contrôler explicitement toutes les exécutions par le compilateur, garantissant ainsi le déterminisme dans l'exécution d'un programme LPU.
La première génération du LPU (LPU v1) offre une densité de calcul de plus de 1 TeraOp/s par mm$^2$ de silicium pour sa puce 25 × 29 mm$^2$ en 14 nm fonctionnant à une fréquence d'horloge nominale de 900 MHz. La deuxième génération du LPU (LPU v2) sera fabriquée sur le nœud de procédé 4 nm de Samsung.

## Performances

Groq est devenu le premier fournisseur d'API à dépasser le taux de 100 tokens par seconde, tout en exécutant le modèle de paramètres Llama2-70B de Meta.
Groq héberge actuellement une variété de grands modèles de langage open source exécutés sur ses LPU pour un accès public. L'accès à ces démos est disponible via le site Web de Groq. Les performances du LPU lors de l'exécution de ces LLM open source ont été évaluées de manière indépendante par ArtificialAnalysis.ai, en comparaison avec d'autres fournisseurs de LLM.
Performance LLM de l'unité de traitement du langage :
| Nom du modèle | Tokens/seconde (T/s) | Latence (secondes) |
| Llama2-70B$^,$$^,$ | 253 T/s | 0,3 s |
| Mixtral | 473 T/s | 0,3 s |
| Gemma | 826 T/s | 0,3 s |

## Voir également

* Intelligence artificielle générative
* Grand modèle de langage
* Accélérateur d'IA
* Unité centrale de traitement
* Processeur graphique
* Unité de traitement tensoriel
* Circuit intégré spécifique à une application