En 1369 La villa y el Castillo fueron donados al bretón Beltrán Duguesclín, pero a finales del siglo XIV, el castillo pertenecía a María Ruíz de Ayllón, casada con Pedro González de Mendoza, el hijo de estos y su esposa construyeron la mayor parte del edificio con sus escudos a partir de 1415.