Der Stadtteil war Zentrum europäischer und amerikanischer Besiedlung unter spanischer und später mexikanischer Herrschaft. Nach der amerikanischen Annektierung und dem kalifornischen Goldrausch erlebte das Viertel einen schnellen Aufschwung und die Bucht, die ursprünglich bis zur Battery Street reichte, wurde bis zur heutigen The Embarcadero aufgefüllt. Wohlstand durch den Goldrausch und zunehmender Handel verwandelten das Viertel zum wichtigsten Finanzzentrum der Westküste und zahlreiche Banken und Geschäfte siedelten sich in der Umgebung an. Die ersten und einzigen Wolkenkratzer der Westküste wurden in dem Gebiet entlang der Market Street gebaut.