Un incendio acabó con el mismo, y no pudo ser reconstruido en el siglo XVIII ante la negativa del obispo de la ciudad, Cayetano Cuadrillero y Mota, que argüía razones morales para su impedimento.