Nøtterøy var en viktig del av kysttelegrafien under sjuårskrigen mellom Sverige og Storbritannia fra 1807 til 1814, da tre telegrafstasjoner befant seg i sognet: på Ormøy, på Vardås og på Vetan. Festningen på Håøya ble brukt som forsvar både rundt 1905 og under første verdenskrig, men det kom aldri noe angrep. I 1940 ble festningen overgitt til tyskerne. Tyskerne planla tre kanonstillinger på Vardås, som skulle ha en rekkevidde på 48 km. Bare én av kanonene ble bygd ferdig før frigjøringa i 1945. Forsvaret bygde et kystfort på Bolærne på 1930-tallet. Det ble brukt av tyskerne under andre verdenskrig, og de bygde også en fangeleir på øyene. Østre og Mellom Bolærne ble avmilitarisert i 2005, og er nå åpne for fri ferdsel.