Con el paso del tiempo la población se fue asentando, especialmente la población burguesa procedente de las ciudades vecinas de Madrid o de Segovia, que veían en San Rafael el escape de la ciudad a los parajes tranquilos y serranos de San Rafael (dándosele el sobrenombre en aquella época ""La Suiza Española"" por las grandes mansiones señoriales que se comenzaron a construir en la zona).