At det har vært bosetting i vikingtid på hele den sørlige delen av Tussøya, vet man fra alle de funnene som er gjort der i årenes løp. På 1600-1700-tallet bodde det en Normann-slekt på øya i ca. 100 år. De var handelsfolk og hadde stort jektebruk. Det er uklart hvor på øya de bodde. I matrikkelen fra 1723 er det oppgitt to oppsittere på Tussøya. I mange år var det bare én gård på Tussøy, og den lå i området hvor våningshuset Nerstua ligger. Rundt 1785 flyttet Johan Brox Trane sin handelsvirksomhet til Tussøya fra Bogen. Brox var gjestgiver bygdefarskipper og eide tre jekter. Ved folketellingen 1801 var det ett gårdsbruk med familien Brox (to voksne og syv barn) og elleve tjenestefolk.