En 105, il est consul avec Cnaeus Mallius Maximus. Rutilius Rufus prend en charge Rome et l'Italie. Ce dernier prend le commandement de l'armée romaine pour combattre les Cimbres et les Teutons en Gaule Narbonnaise. Après avoir attendu les renforts du proconsul Quintus Servilius Caepio, qui refuse d'être dans le même camp que lui et de coopérer, il subit une grave défaite à la bataille d'Arausio. Plus de romains y sont tués. À Rome, on vit une période terrible de deuils. Rufus prend des mesures énergiques, exigeant un serment de tous les citoyens romains et italiens de se présenter en cas de mobilisation générale et envoyant dans tous les ports d'Italie des délégués pour empêcher tous les hommes de moins de trente-cinq ans de s'embarquer et quitter la péninsule. Il recrute neuf légions qu'il soumet à un entraînement poussé. Il fait voter une loi pour qu'il puisse nommer lui-même la moitié des tribuns militaires, en lieu et place du peuple. Finalement, les Germains se dirigent vers l'Hispanie et non vers l'Italie.