Aunque el Palacio permaneció bajo control papal, junto con la ciudad y el Comtat Venaissin durante 350 años más, gradualmente se fue deteriorando a pesar de su restauración de 1516.