De 109 à 107, il est légat sous Quintus Caecilius Metellus, lors de la guerre contre Jugurtha en Numidie, avec Caius Marius. Il se distingue à la bataille du Muthul, où il fait face à une charge de l'ennemi commandé par Bomilcar et parvient à capturer ou à mutiler la plupart des éléphants de guerre des Numides. Lorsque Caius Marius se fait élire consul en 107 et s'arroge le commandement de la guerre en lieu et place de Metellus, ce dernier refuse de rencontrer son ancien légat et c'est Rutilius Rufus qui remet l'armée à Marius. Il retourne vraisemblablement à Rome peu de temps après, en tout cas avant la fin de la guerre en 105, puisqu'il est candidat aux élections consulaires qui se déroulent mi-106.