La población de "Real Sitio de San Ildefonso" se ha ido incrementando gradualmente a lo largo del siglo XX a partir de los 3388 habitantes del censo de 1900.