Noch während des Bürgerkrieges wurde das Fort zum Gefängnis für Fahnenflüchtige und politische Gefangene. Außerdem diente das Fort als Nachschublager für die kämpfenden Einheiten im Mississippi-Delta. Mehrere an der Ermordung des amerikanischen Präsidenten Abraham Lincoln beteiligte Personen waren hier inhaftiert, so auch Samuel Mudd. Das Fort wurde auch nach dem Bürgerkrieg als Gefängnis genutzt. Nach einigen Hurrikanen und einer Gelbfieberepidemie verließ die Armee das Fort 1874.