Siden 1948 har Vårberget vært militært område, først som skytefelt og deretter som en del av Kontroll- og varslingsystemet. I dag holder Forsvarets stasjon Vardø til her. I tillegg finnes et radarhode tilhørende LSTN Sørreisa; dette var tidligere en del av nå nedlagte LSTN Vardø. Tyskerne hadde under andre verdenskrig marinekystfortet MAB 4./513 Vardö på Vårberget. Batteriet var satt opp med fire 8,8 cm luftvernkanoner mot både luft og sjømål, i oktober 1944 ble kystfortet sprengt og forlatt av tyskerne under tilbaketrekningen fra Nord-Norge.