Det er forhistoriske, før-norrøne levninger på øya,i tillegg til restene av nyere husmannsplasser, inkludert en flokk med villkveg. Øya var befolket fra rundt 500 f.Kr. til 1974. Swana var en gang hjemmet til et lite samfunn på opptil 30 personer. Den hadde til og med et skolehus med et halvt dusin barn som deltok. Samfunnet underholdt seg ved å fiske, enten fra land, eller ved å bruke robåtene sine i de korte periodene tidevannet tillot det. Mye av fangsten ble tørket og saltet i tørkehus, bygget av den lokale skifersteinen, utformet som langstrakte iglolignende steinhus, med en liten åpning i hver ende. Disse (uttales ) lå tett inntil husene, og rader med sløyd og saltet fisk ble hengt fra pinner for å lufttørkes, omtrent som nordmenn har konservert torsk til tørrfisk i Lofoten i tusen år.