For rundt 10 000 år siden kom de første menneskene til dette området. Kjent er blant annet «Helleristningene på Skavberget». Når det, i gamle dager, kom ny bosetning, kom de reisende langs kysten og bosatte seg da ofte på de ytterste nesen, holmene og øyene. Dette for å være så nært fiskefeltene som mulig. På 600-tallet begynte det gro frem en spredt bebyggelse i Troms. Fra 1100–1200 tallet har det blitt funnet rester av gamle gammer og kirker på øyene utenfor Kvaløya. Fra 1500-1600-tallet var det mange plasser på yttersiden av Kvaløya som var befolket. Når så folketellingene tar til på 1600-tallet ser man mer nøyaktig størrelsen på de ulike gårdene. Etter at fiskeflåten begynte å bli motorisert ble de mest værutsatte bygdene på øyene og på yttersiden av Kvaløya fraflyttet. Folk bosatte seg lengre inn i fjordene, Kaldfjorden, Kattfjorden og Ersfjorden. Mange andre plasser rundt hele øya ble også større og spesielt innersiden, mot øst, Kvaløysletta, fikk en stor befolkningsøkning fra 1970-årene, da det ble bru til Tromsøya.