Depois do julgamento, Rufou se retirou primeiro para Mitilene e, em seguida, para Esmirna, onde passou o resto da vida (possivelmente um ato de desafio contra seus acusadores: ele foi recebido com honras na cidade que o processou e o acusou de saquear) e onde Cícero o visitou em . Embora tenha sido convidado por Sula a voltar para Roma, Rufo se recusou. Foi durante sua estadia em Esmirna que ele escreveu sua autobiografia, composta por pelo menos cinco livros, e uma "História de Roma" em grego, parte da qual, sabe-se, ter sido dedicada à sua narrativa da Guerra Numantina. Rufo era versado no direito romano e escreveu tratados sobre o tema, mas só se conhecem fragmentos citados nos "Digestos". Ele era também um profundo conhecedor da literatura grega. Entre os fragmentos conhecidos de seus discursos estão: