In 1794 bouwden de Spanjaarden een klein adobe fort op de plaats waar Fort Point nu staat. Ze bouwden ten zuiden van de ingang tot de baai om eventuele Britse en Russische agressie tegen te gaan. Ze gaven het fort de naam "Castillo de San Joaquin" en de bewapening bestond uit een beperkt aantal bronzen en ijzeren kanonnen. De regen deed de muren afkalven en gebrek aan geld voor onderhoud deed het fort in een ruïne veranderen. Kort na de onafhankelijkheid van Mexico werd het fort in 1821 opgegeven.