Karlsøya var administrasjonssentrum for kommunen helt fram til i 1964, men etter at veiene på øyene omkring ble bygd ut og havet ikke lengre var den viktigste transportveien, ble Karlsøya en utkant. På 1960-tallet fikk folk penger fra staten for å flytte fra øya og etterhvert gjorde svært mange det.