I 1510 kom Adornislekten til makt i byen, og Fregoso måtte flykte til Roma. Men tre år etter, i 1513, kunne hans familie igjen vende tilbake. Hans bror ble doge, mens Federico selv ble hærsjef. I 1522, da keiser Karl V beleiret Genova, deltok Federico under forsvaret og ble såret. De spanske styrkene klarte å erobre byen, og Federico flyktet på et fransk skip. Kong Frans I av Frankrike tok varmt imot ham og gav ham abbediet St. Benignus ved Dijon. Der egnet han seg til studiet av gresk og hebraisk. Men han røk uklar med munkene, og vendte tilbake til Italia. I 1529 frasa han seg formelt erkebispestolen Salerno.