Før vikingtiden bodde det i hvert fall folk på Bø, nordøst på øya. Her er det funnet et gårdsanlegg med bosettingsspor tilbake til 300 år e.Kr., det vil si eldre jernalder. Det har kanskje også bodde folk i steinalderen på Tussøya. En antydning kommer av at Bertheus Jensen på Bø, fant en flott slipt huløks av skiferstein på gården sin i 1935. Øksen dateres til perioden 4000-1800 f.Kr., altså yngre steinalder.