I 1775 brukte britiske kartografer navnet Heart Island i 1775, men bare to år seinere var forma Hart Island i bruk. er da sannsynligvis ei forvrenging av , men er også forklart med mulige planer om å anlegge en viltpark ( på engelsk betyr hjort). I 1774 blei øya kjøpt av Oliver Delancey. Han mente den hadde form som et par briller og kalte den Spectacle Island, men navnet Hart Island har hengt ved.