San Rafael se enclava en la calzada real que unía Madrid con el palacio real de la vecina localidad de La Granja de San Ildefonso.