Arkitekten Charles C. Haight solgte øya til byen New York i 1869. Det blei da anlagt fattiggravsted nord på øya. Samme år som øya gikk over til byen New Yorks eierskap, blei den første sivilpersonen gravlagt på øya. Siden den gang er over en million døde gravlagt på Hart Island.