Hasta finales del siglo XVII los arzobispos de Zaragoza siguieron siendo los Señores del castillo, comenzando después un progresivo abandono y ruina que lo dejaría en un estado lamentable.