Øya har flere neolittiske plasser med gravkammer, samt restene av hertug Håkons hus fra 1200-tallet som stammer fra den norrøne bosetningen av øya. Befolkningen nådde 380 eller mer på 1800-tallet, da en fiskestasjon ble åpnet ved Crabbaberry i West Voe. Deretter var det en jevn nedgang i folketallet. Det har skjedd utallige skipsforlis rundt kysten, og det berømte diktet av poeten Vagaland ( Thomas Alexander Robertson), som det også er satt musikk til, minner om dramatikken i tiden da Papa Stour var et senter for havfiske.