Folketallet tok seg opp igjen utover 1700-tallet, men først et stykke ut på 1800-tallet startet en ny tid, da Tromsø tok over Bergens rolle som handelsby. På midten av 1800-tallet kunne det være opp til 130–140 båter med nært 400 mann på sommerfiske i Torsvåg. På slutten av 1800-tallet fikk Torsvåg viktige funksjoner som handel, post og anløp av dampskip. Nabobygden Vannareid var avhengig av fiskeværet, både for disse bygdefunksjonene og for å drive fiske. I denne tiden var Torsvåg, som mange andre bygder på Vanna, preget av samisk bosetning. Det samiske språket forsvant etter hvert. Her må nevnes at en av de rikeste beboerne i kommunen bodde i Torsvåg og brukte kofte til søndagsbruk til sin død i 1917. Han eide også rein.