Après s'être fait une réputation à Rome comme juriste et orateur, il entame une carrière militaire. Il fait sa première campagne sous les ordres du proconsul Quintus Servilius Caepio en 105 av. J.-C. contre les Teutons. Il est blessé au cours de la terrible défaite d'Arausio (aujourd'hui Orange) et doit traverser le Rhône à la nage pour rejoindre ses lignes. Il participe ensuite à la seconde campagne contre les Teutons menée par le consul Caius Marius en 102 av. J.-C. Il se porte alors volontaire pour s'infiltrer comme espion dans les rangs ennemis, ce qui lui vaut la reconnaissance de son courage et la confiance de Marius. Il participe ensuite à la grande victoire d'Aquæ Sextiæ.