Opprinnelig omfattet Vadsø hele landet rundt Varangerfjorden, men Nesseby (med Polmak) ble skilt ut i 1839 og Sør-Varanger i 1858. Fra 1894 til 1964 var den nåværende kommunen dessuten delt i bykommunen Vadsø og herredskommunen Nord-Varanger.