Die bekendste bakens van die stad is die Golden Gate-brug met 'n lengte van 2,7 kilometer en 'n maksimale hoogte van 227 meter, die voormalige gevangeniseiland Alcatraz, die Transamerica-gebou in die vorm van 'n piramide met 'n hoogte van 260 meter en die cable car-trem.
Die stadsgebied beslaan die noordelike gedeelte van die San-Francisco-skiereiland wat hier sewe myl wyd is: Met die Stille Oseaan in die weste, die Golden Gate in die noorde en die Baai van San Francisco in die ooste is daar min ruimte vir uitbreiding sodat San Francisco tot 'n kompakte metropool met 'n verskeidenheid digbeboude en digbevolkte kwartiere ontwikkel het wat op heuwels sowel as in valleie en laer geleë terrein ontstaan het.
San Francisco se ligging digby die geologiese San Andreas-breuk, 'n bron van voortdurende seismiese aktiwiteite, maak van die stad 'n gebied wat in 'n groot mate deur aardbewegings bedreig word. Die grootste aardbewing in die moderne geskiedenis het die stad in 1906 getref. Die Loma Prieta-aardbewing in 1989 eis tientalle menselewens en berokken groot skade in die stad en sy omgewing.
Die gevaar dat 'n soortgelyke aardbewing soos dié van 1906 die stad in die nabye toekoms sal kan skud spel 'n groot rol by die ontwikkeling van San Francisco se infrastruktuur. Nuwe geboue moet aan hoë veiligheidsvereistes voldoen om die strukturele skade van 'n groot bewing so klein moontlik te hou, terwyl miljoene dollar aan die opgradering van ouer geboue en brûe bestee word.
Die mees sorgwekkende geologiese gebiede is die landaanwinningsprojekte in die San Franciscobaai soos byvoorbeeld Marina en Hunters Point; die ondergrond bestaan hier uit modder, sand en afval wat in die gevolg van vroeër aardbewings opgehoop is. Hierdie grond blyk uiters onstabiel te wees en lei in die geval van 'n nuwe aardbewing moontlik tot groot skade soos in die Loma Prieta-bewing.
San Francisco word in 1776 as 'n sendingstasie van die Spaanse Fransiskaner-orde gestig. Aanvanklik dra die gebied die naam El Parage de Yerba Buena ("Vallei van die Goeie Kruid"). As 'n gevolg van die Amerikaans-Meksikaanse Oorlog, wat in 1846 uitbreek, verloor Meksiko sy gesag oor Kalifornië. In 1848, toe Spanje die gebied aan die VSA afstaan, word die naam van die nedersetting verander na San Francisco.
Die Kaliforniese goudstormloop teen die middel van die 19de eeu lei tot 'n vinnige groei van die stad, wat van 'n klein dorpie met 900 inwoners tot 'n stad met 'n bevolking van 20 000 ontwikkel. Die grafstene op die plaaslike begraafplase begin geleidelik meer Ierse as Spaanse name te toon. Die naam Golden Gate verwys nog steeds na hierdie tydperk.
Tydens die Konferensie van San Francisco in 1945 is die Verenigde Nasies gestig, en met die Vrede van San Francisco, wat in 1951 gesluit is, is die Tweede Wêreldoorlog in die Verre Ooste deur die VSA en Japan amptelik beëindig.
Digte mis is 'n gereelde verskynsel gedurende die somermaande. By die Golden Gate-landpunt ontmoet vogtige Stille Oseaan-winde die koue water wat uit die diepte van die San Franciscobaai opstyg. Die vog kondenseer soos waterdruppels op 'n glas met ysblokkies, en mis begin vorm. Gedurende die somermaande beweeg dié missluier teen 'n snelheid van tussen 10 en 20 myl per uur deur die Golden Gate as hoë temperature in Kalifornië se Sentrale Vallei warm lugmassas laat opstyg en gelykertyd die mis landinwaarts trek. Gedurende die wintermaande is dit juis andersom - laagliggende mis beweeg vanuit die binneland na die oop see
Die stad beskik oor 'n aantal eersterangse museums soos die M.H. de Young-museum vir Asiatiese kuns, die Kaliforniese Museum en die Meksikaanse Museum.