El príncipe, el Almirante, el Conde de Benavente y otros magnates, que en 1441 se hallaban en Illescas, marcharon desde allí al Castillo de Olmos, que es del Priorazgo de San Juan, que está ribera del Guadarrama entre Illescas y Casarrubios, y cercáronle y combatiéronle un día; y el Alcayde que lo tenía entretregole al Infante, el cual lo mandó derribar, e todos los labradores de la comarca vinieron luegp e lo derribaron”.