Under den andre verdenskrig bygget tyskerne et forsvarsanlegg på Ramsøy, og innen daværende Askøy kommune var det uten tvil Ramsøy som sammen med Florvåg fikk de største påkjenningene ved okkupasjonen. På Ramsøy hadde den norske marinen etter krigsutbruddet i 1939 en vaktpost på seks mann og et vakthus nordvest på øyen. Invasjonsdagen veltet soldatene hytten på sjøen og dro nordover til Herdla for derfra å fortsette til Sogn og videre fram til de norske styrkene på Voss.