En 1522, tras la derrota comunera, el emperador confiscó el castillo, pero poco después lo devolvió a la familia, aunque a cambio de 20.000 ducados.