La ruina y abandono del mismo comenzó a partir del siglo XVIII, llegando a 1873 en un estado bien distinto al actual, a tenor de las ilustraciones de la época.