Rufus schloss sich als Redner und Jurist Quintus Mucius Scaevola und Servius Sulpicius Galba an. Er heiratete die Tochter des Gaius Livius Drusus, der 147 v. Chr. das Konsulat innehatte. Cicero berichtete trotz dieser guten Verbindungen zur römischen Nobilität von Schwierigkeiten bei der Bewerbung um das Konsulat. Dieses erhielt er 105 v. Chr. und organisierte die Abwehrmaßnahmen nach der Niederlage gegen die Kimbern und Teutonen bei Arausio. Er war einer der wichtigsten Verbündeten des Gaius Marius in dessen Zeit als Konsul (104–100 v. Chr.).