Los tres últimos cuartos de: Cardoso, Colmenar y El Vado pasaron de la comunidad de villa y tierra de Ayllón a manos del Duque del Infantado, quién los incluyó en su señorío de Buitrago en 1373, por donación de la reina Juana Manuel de Villena.