Durante la Guerra Civil fue utilizado por el entonces coronel José Moscardó, que lideraba la sublevación en Toledo, como punto defensivo y de resistencia y destruido totalmente por las tropas leales a la II República Española durante el asedio, que duró setenta días, del 22 de julio al 27 de septiembre de 1936. Posteriormente fue reconstruido y actualmente, desde 1998, alberga la Biblioteca de Castilla-La Mancha y desde 2010 también el Museo del Ejército.