Im Jahre 1794 erging der Auftrag zum Bau einer Befestigung auf Shutes' Folly Island, um den Hafen gegen eine mögliche Bedrohung durch französische Truppen von See her zu schützen, da ein Krieg gegen Frankreich unmittelbar bevorzustehen schien. Das damalige Fort bestand nur aus Erdwällen, die mit Palmenstämmen verstärkt worden waren, und wurde erst 1797 fertiggestellt. Dieses erste Fort wurde im Jahre 1804 durch einen schweren Hurrican gänzlich zerstört. 1809 begann man mit dem Bau einer zweistöckigen Batteriestellung nach dem Muster wie es auch in Fort Massachusetts (Mississippi) und der sog. "Battery" in Manhattan errichtet wurde. Im Amerikanisch-Britischen Krieg von 1812 wurde das Fort mit Truppen belegt, war jedoch nicht in Kampfhandlungen verwickelt. Danach stand es jahrelang leer und war sich selbst überlassen.