Etter sin retur fra Madrid i 1557 regjerte han og hans brødre så tyrannisk at paven relegerte ham til forskjellige steder: I 1559 ble han sendt til Civitalavini, og derfra til Marino.