Kongsfjord var et av få steder som ikke ble brent eller bombet under andre verdenskrig. På grunn av dette har fiskeværet flere bygninger bevart fra tiden før 1940. Under andre verdenskrig ble det anlagt et tysk kystbatteri på Veidenes. Batteriet, Heeres-Küsten-Batterie Kongsfjord 4/448, ble oppsatt med fem 15,5 cm kanoner med skuddvidde 17 000 m, i desember 1941.