En el siglo XVI, la fortaleza dejó de tener una función militar y fue utilizada como prisión de notables de la Corte, al igual que otras fortificaciones de la Comunidad de Madrid, caso del castillo de Torremocha, en Santorcaz.