Vest for sentrum, over Van Ness Avenue, ligger strøket Western Addition, som ble etablert med en stor befolkning av afroamerikanere etter andre verdenskrig. Western Addition deles som regel inn i mindre strøk, deriblant Hayes Valley, Fillmore District og Japantown, som tidligere var den største slike i Nord-Amerika, men led under interneringen av japansk-amerikanere under andre verdenskrig. Etter jordskjelvet i 1906 var Western Addition for det meste intakt, deriblant de viktorianske husene «Painted Ladies» ved siden av Alamo Square. I sør, nær byens geografiske sentrum, ligger Haight-Ashbury, som knyttes til hippiekulturen på 1960-tallet. Haight er nå hjem til dyre butikker og noen kontroversielle butikkjeder, men det har fortsatt noe av sin bohemske karakter i seg. Nord for Western Addition ligger Pacific Heights, et rikt strøk som har mange av herskapshusene som ble bygd av San Franciscos elite etter jordskjelvet i 1906. Like nord for Pacific Heights ligger Marina District, som er et populært område blant unge forretningsfolk, og som for det meste ble bygd på kunstig land der det tidligere var sjø.