Under den andre verdenskrig blei øya brukt til forlegning for personell fra marinen. Fangene blei da flytta til Riker's Island. Tyske krigsfanger blei også holdt på øya under andre verdenskrig. Etter andre verdenskrig og fram til 1961 fantes det et luftvernanlegg utstyrt med Nike-missiler på Hart Island.