In 1848 werd er goud gevonden en veel goudzoekers trokken via San Francisco naar de binnenlanden om hun geluk te beproeven. In 1849 bezochten al 770 schepen de baai en het werd een belangrijk handelscentrum. In maart 1849 werden zes oude kanonnen geplaatst in de ruïnes van Castillo de San Joaquin als eerste en tijdelijke maatregel om de haven te beschermen. In 1850 publiceerde het leger en de marine gezamenlijk een rapport met voorstellen om de toegang beter te beschermen. De bouw van twee forten werd voorgesteld, bij Fort Point en Lime Point ten noorden van de Golden Gate. De bouw van Fort Point kreeg prioriteit en zou bewapend worden met meer dan 100 kanonnen van het zwaarste kaliber. Het fort moest verder plaats bieden aan de bemanning, en genoeg munitie, water en voedsel om het zes maanden vol te kunnen houden.