På Sommarøya og Hillesøya lengst sørvest i kommunen ligger tettstedet Sommarøy, et fiskevær med ca. 300 innbyggere, og på Kvaløya like ved ligger jordbruksbygda Brensholmen med ca. 300 innbyggere. Herfra kan man om sommeren ta ferge over til Botnhamn på Senja. Andre større bygder på Kvaløya er Ersfjordbotn, Tromvik og Kvaløyvågen, samt tettstedene Kaldfjord og Eidkjosen som er i ferd med å bli «slukt» av byens vekst utover Kvaløya.