Det gikk bra med handelen et stykke utover 1800-tallet. I 1839 ble jektebruket solgt på auksjon. «Storsalen», et stort våningshus som det går frasagn om, ble flyttet til Tromsø og oppført der med navnet Hotel du Nord. Brygga raste sammen i et uvær. I 1865 ble dyrket bygg, havre og poteter på øya i tillegg til husdyrene (svin, geit, sau og reinsdyr). I 1865 er Brox-familien med tjenestefolk redusert til 12 personer, men fremover gikk det bedre. Tre sønner på gården, alle med fornavnet Hans, kjøper i 1873 hele Tussøya av Moursundgodset, deler øya i tre like store deler og stifter hver sin familie. Handelen tok seg deretter opp og det ble sysselsetting for flere i gårdsdriften og i fisket. Den ene av de tre brødrene Brox, Hans Henrik, bosatte seg ved utflyttingen i 1873 i utkanten av gårdstunet hvor hovedgården lå. Våningshuset, som han førte opp her, Nerstua, kom til å ligge rett ovenpå en gårdshaug. En gårdshaug er et avgrenset sted hvor avfallsrester og bygningsdeler har hopet seg opp over mange hundrede år. Bunnlagene i gårdshaugen under Nerstua er datert til vikingtid.