I området rundt Hornsund finnes en rekke kulturminner. I Gåshamna har det vært utgravninger i et hvalfangstanlegg fra 1600-tallet. De engelske hvalfangerne hadde landstasjon og drev landing her nede fra 1624, men ikke lengre sør enn Hornsund. Fjorden fikk navnet av den engelske hvalfangeren Jonas Poole, som skrev: «De brakte en bit av et dyrehorn ombord, og derfor kalte jeg dette sundet Horne Sound». Poole var på Spitsbergen flere ganger først på 1600-tallet.