I 1559 måtte han forlate Roma på grunn av pave Paul IVs forfølgelse av Carafaene. Han dro til Abruzzo og deretter til Padova, og til slutt til Napoli. Da Carafaene ble rehabilitert av pave Pius V kom han tilbake til Roma.