Su padre fue Litterio Ruffo, era duque de Baranello, y su madre, Giustiniana, pertenecía a la familia romana de Colonna.