Fort Mason kan bli delt i to adskilte områder: Øvre område, tidvis kalt for Fort Mason, er lokalisert på odden og var stedet for de opprinnelige kystbefestningene. Det nedre området, Fort Mason Center, er beliggende nær havnivået til vest for Øvre Fort Mason, og er stedet for den tidligere militære havnen med dens moloer og lagerbygninger.