En concreto fueron los habitantes de Ayllón, pueblo de Segovia los primeros moradores, que pasaron a denominar ese emplazamiento el «lugar de los Ayllones», de donde viene el nombre del municipio.