I byens sørøstlige kvadrant ligger Mission District, som ble befolket på 1800-tallet av californioer – spansktalende personer fra den tidligere meksikanske delstaten Alta California før den ble amerikansk – og arbeiderklasseinnvandrere fra Tyskland, Irland, Italia og Skandinavia. På 1910-tallet kom det en bølge av sentralamerikanske innvandrere til Mission District, og på 1950-tallet ble innvandrere fra Mexico den mest synlige folkegruppa der. I senere år har gentrifisering endret befolkningsoppbyggingen i deler av Mission fra latinamerikanere til unge profesjonelle i tjueårene. Noe Valley i sørvest og Bernal Heights i sør er begge populære blant småbarnsfamilier. Øst for Mission District ligger strøket Potrero Hill, et boligstrøk med utsikt over hele San Francisco sentrum. Vest for Mission ligger området Eureka Valley (hvor homostrøket The Castro ligger). Dette var tidligere et arbeiderklassestrøk for det meste befolket av irske og skandinaviske innvandrere, men ble senere Nord-Amerikas første og best kjente «homolandsby», og er nå sentrum for byens homokultur. Nær byens sørlige grense ligger Excelsior District, som er et av de mest etnisk mangfoldige strøkene i San Francisco. Det primært afroamerikanske strøket Bayview-Hunters Point helt sørøst i byen er et av byens fattigste områder, og lider av en høy krimrate.