Det har blitt funnet spor ved arkeologiske utgravninger som tyder på at det har vært bosettinger på Haramsøya siden bronsealder og eller jernalder. I en heller på øya ble det funnet en hodeskalle som daterer seg rundt 2000 år tilbake i tid. Menneskene som levde her i denne perioden drev mest sannsynlig av fiske og fangst, da det er funnet rester av fiskeutstyr av bein i gravhauger. De ytre øyene på Sunnmøre er kjent for å ha stor funntetthet av kulturminner hvor en stor del av disse er gravminner, og Haramsøya er ingen unntak. Det er stor variasjon i gravminnene på øya, fra store monumentale røyser som ligger enkeltvis i landskapet, til større gravfelt med mindre runde røyser. på Haramsøya er det lokalisert 13 gravfelt med til sammen 167 gravminner, i tillegg til 12 enkeltrøyser.