En la segunda década del siglo XX sufrió un irreversible deterioro al haber sido expoliado de todo aquello que pudiera tener valor económico, como yeserías y artesonados, de forma que partes del mismo pueden ser vistos en el Museo Arqueológico Nacional de Madrid, en el que se conservan partes de la decoración, en una finca particular de Torrelodones, donde se montó el patio del castillo, en el Alcázar de Segovia, donde se instaló un artesonado, más otro que se localiza en California (Estados Unidos).