Øya var opprinnelig befolket av thulefolk og inuittfolket inuvialuit, som drev med fiske, jakt og hvalfangst. Fra 1889 ble den brukt som overvintringssted for amerikanske hvalfangstskip, og bosetningen Pauline Cove øst på øya hadde på det meste 1500 innbyggere i 1890-årene. Bosetningen ble gradvis forlatt etterhvert som hvalfangsten avtok utover 1900-tallet, og innen 1964 var Herscheløya fullstendig avfolket.