Haswell-Smith (2004) hevder at det ikke er noen skriftlig oversikt over noen post-neolittisk bosetninger, og det er 3 ytterligere kilder som vil støtte den påstanden, i det minste de siste 350 årene. Joan Blaeus (1654) uttalte at øya var «verken bebodd eller dyrket». , publisert i 1848, uttalte at øya var ubebodd. Til slutt indikerer ikke kartet fra "Ordnance Survey" fra 1882 noen betydelig bygning eller bolig, selv om innhegningen nevnt nedenfor ser ut til å være til stede. Hvorvidt øya var ubebodd før 1654 er mindre sikkert ettersom , skrevet i 1529, sier at hele befolkningen på en øy, «Southay» antatt å referere til Switha, sies å ha dødd mens de seilte til en julefeiring på en naboøy, og øya hadde aldri vært befolket siden. I tillegg er det arkeologiske levninger som kan representere gamle boliger, for eksempel en innhegning av stein i den sørlige enden av øya, men som ikke nødvendigvis beviser fast bosetning (se under).