リバティ島
19世紀、多くのヨーロッパの中流階級の人々が移住するのと同時に、市の上流階級が山の手へと移っていった。移民がバッテリー地区に移住すると、その位置により観客が減り、キャッスル・ガーデンは閉鎖された。その後、建物は、1855年に始まる何百万人もの移民を受け入れ、世界初の移民収容所となった。約40年後、この後継にあたるエリス島がオープンした。この期間の移民の波は、アイルランドのジャガイモ飢饉（アイルランド飢饉とも呼ばれる）や、他のヨーロッパの出来事が原因である。これ以降、取り壊しの危機にあった建物は、1940年代までニューヨーク水族館を収容した。建物は現在、再びもともとの名前によって知られており、アメリカ合衆国国立公園局によって管理されるナショナル・モニュメントである。砦は、リバティ島とエリス島へのフェリーのチケット売り場となっており、ときどき歴史の展示やコンサートが行われる。