En la segunda mitad del siglo XV, el obispo Alain de Coëtivy y su sucesor, Giuliano della Rovere (el futuro papa Julio II) llevaron a cabo obras de restauración, dando al Palacio más o menos su apariencia actual para el año 1503.