Van mei tot oktober 127 was hij "consul suffectus". Van 130 of 131 tot 134 was hij "legatus Augusti pro praetore" van Judea. Tijdens zijn ambtstermijn besloot keizer Hadrianus van Jeruzalem, dat er sinds de verwoesting aan het einde van de Joodse Oorlog in 70 desolaat bijlag, een "colonia" te maken met de naam Aelia Capitolina. Dit riep onder de Joden in Judea echter veel weerstand op. Onder aanvoering van Simon bar Kochba brak in 132 een opstand uit. Bar Kochba riep een onafhankelijke Joodse staat uit en voerde een guerrilla tegen de Romeinse legers. Hoewel hij hulp kreeg van de "legatus" van Syria, Publius Marcellus, en het legio III Gallica, slaagde Rufus er met het in Judea gelegerde legio X Fretensis niet in de opstand te bedwingen, ook niet toen het legio II Traiana Fortis en legio VI Ferrata te hulp kwamen. Volgens Eusebius, die niet geheel onbevooroordeeld is, verergerde Rufus de situatie juist door bloedbaden aan te richten en bezittingen van welgestelde Joden te confisqueren. Zowel Joodse als christelijke bronnen stellen dat Rufus de Joodse tempel in Jeruzalem verwoestte. Hoewel dit historisch gezien onjuist is (de tempel was reeds in 70 verwoest en van 132-135 was Jeruzalem in handen van Bar Kochba), illustreert het wel de indruk die Rufus bij zijn onderdanen heeft nagelaten.