Den første skuta gikk til ishavet i 1820. Ishavsfangsten skulle få avgjørende betydning for byens vekst. Fiskehandelen gjorde at veksten i Tromsø skjøt fart fra 1820 og utover, og etter hvert strakte byens handelsforbindelser seg helt fra Arkhangelsk til Sentral-Europa. I løpet av 1820-årene var hele området langs indre havn fra Strandtorget i sør mot dagens bruhode i nord et sammenhengende byområde av brygger, bolighus og med store hager. Tromsø har fortsatt noe av den karakteristiske trehusbebyggelsen igjen, særlig herskapshus i Sjøgata og Skippergata fra cirka 1820.