Après trois saisons peu fructueuses chez Arrows, Patrese est recruté en 1982 par Brabham pour épauler le nouveau champion du monde Nelson Piquet. À Monaco, il remporte, dans des circonstances rocambolesques, le premier Grand Prix de sa carrière. En 1983, avec le moteur BMW Motorsport turbocompressé enfin au point, il nourrit de grandes ambitions mais, en plus d'être dominé par Nelson Piquet qui remporte un deuxième titre de champion du monde, il est victime de la faible fiabilité de sa monture. Il s'impose néanmoins en Afrique du Sud, ultime manche de la saison. Cette victoire ne sauve pas une saison globalement ratée ni à atténuer l'énorme déception du Grand Prix de Saint-Marin à Imola où, devant un public acquis à la cause de Ferrari, il était parti à la faute à six tours de la fin de la course alors qu'il venait de prendre la tête de l'épreuve.