总督岛上三层的威廉姆斯堡，即东炮台的补充而兴建的。这个要塞是为了在1812年战争中保卫纽约市，但并未真正遭遇战争。炮台公园之后陆续通过堆填扩大面积，最终将克林顿城堡与曼哈顿主岛连接在一起。1966年10月15日，美国国家公园管理局将克林顿城堡列入国家史蹟名录。