Den opprinnelige bebyggelsen lå på Hillesøya. Her finner man fremdeles den gamle kirketomta hvor det har stått ulike kirker fra seinmiddelalderen fram til slutten av 1800-tallet, da kirka ble flyttet til Austein på Brensholmen, inne på selve Kvaløya. Inne i denne kirka finnes det et alterskap fra 1400-tallet, som altså sto over 400 år på Hillesøya. Rundt 1900 ble så Sommarøya selve senteret.