Under den amerikanske borgerkrigen blei øya tatt i bruk som rekruttskole og det blei bygd forlegning for framtidige krigsfanger. 2-3000 rekrutter gjennomgikk opplæring på øya samtidig og totalt fikk over 50.00 soldater opplæring på Hart Island. Under borgerkrigen var øya også midlertidig gravplass for den føderale regjeringa.