Rufo iniciou sua carreira militar em na campanha de Cipião Emiliano durante a Guerra Numantina. Foi pretor em e, em seguida, legado de Quinto Cecílio Metelo Numídico em sua campanha contra o rei da Numídia, Jugurta, em , lutando também sob Caio Mário. Ele se destacou principalmente na Batalha de Mutul, na qual enfrentou uma carga liderada por Bomílcar e conseguiu capturar ou aleijar a maior parte dos elefantes de guerra númidas.