Der Park liegt auf dem Gelände des ehemaligen "Fort Townsend", das 1856 von der US-Armee zum Schutz von Siedlern vor Indianerangriffen während des Puget-Sound-Kriegs errichtet wurde. Die Gebäude des Forts wurden mit Holz aus dem angrenzenden Wald gezimmert und von der 1. Kompanie des 4. US-Infanterieregiments belegt. 1859 wurde die Garnison auf die San Juan-Inseln verlegt, um im sogenannten Schweinekonflikt einzugreifen. Das Fort wurde nur noch von einer kleinen Stammbesatzung in Stand gehalten, nachdem eine Inspektion das Fort als „militärisch nicht geeignet“ eingestuft hatte. Trotz dieser Einstufung wurde das Fort auf politischem Druck der Stadt Port Townsend 1874 erneut von Truppen bezogen und ausgebaut. Erst ein am 2. Januar 1895 durch eine explodierte Kerosinlampe ausgelöstes Feuer, das die Kaserne des Forts zerstörte, bedeutete das Ende des Forts. Da von den Indianern inzwischen keine Bedrohung mehr ausging und der Standort des Forts von den Militärs schon lange als für die Küstenverteidigung ungeeignet befunden worden war, wurde das Fort im selben Jahr aufgegeben. Für die Küstenverteidigung an der Einfahrt in den Puget Sound wurden Ende der 1890er Jahre Fort Worden, Fort Casey und Fort Flagler errichtet.