Det bodde over 500 tyskere i Sværholt under krigen. Den norske bosettingen ble aldri skikkelig gjenoppbygget etter krigen, og den siste familien flyttet i 1950, mens den siste eneboeren dro i 1958.