San Francisco er kjent for alle sine åser. Det er mer enn 50 åser innenfor bygrensene. Noen strøk er oppkalt etter åsen de ligger på, for eksempel Nob Hill, Potrero Hill og Russian Hill. I nærheten av byens geografiske sentrum ligger en rekke mindre befolkede åser. Twin Peaks, et par åser som utgjør et byens høyeste punkter er et populært utsiktspunkt. San Franciscos høyeste punkt, Mount Davidson, ligger 282 moh. og toppes av et 31 meter høyt kors som ble reist i 1934. Et dominerende kjennemerke i dette området er Sutro Tower, et nesten 300 meter høyt rødt-hvitt TV-tårn.