Dos incendios devastadores, en 1307 y 1361, causaron daños irreparables y aunque Aviñón envió grandes sumas al obispo para su reconstrucción, el palacio nunca volvió a alcanzar su esplendor previo.