Dins del parc s'hi troba Castle Clinton, un fort americà construït just abans de la guerra de 1812 i batejat en honor de al batlle de l'època, DeWitt Clinton. Va esdevenir propietat de la ciutat de New York després de la guerra.