En tiempos de don Juan II, durante la guerra civil, el infante don Enrique y otros señores enemigos del privado del Condestable don Álvaro de Luna lo tomaron, y con ayuda de las gentes de alrededor (presumiblemente de localidades como El Viso de San Juan, Chozas de Canales y Casarrubios del Monte) lo destruyeron casi por completo, para inutilizar un punto de control que podía ser ocupado por el enemigo.