Etter at Vadsø i 1833 ble gitt kjøpstadsrettigheter, vokste det raskt til et viktig senter for pomorhandelen. Under andre verdenskrig ble Vadsø sentrum sterkt skadet under de alliertes angrep fra sovjetisk side sommeren 1944. Om lag 2 000 tyske soldater var i byen da sovjetiske bombefly kom første gang den 23. august 1944. Hele byen ble bombet, og den neste måneden ble byen ødelagt. Rundt 1/3 av husene ble stående igjen – mer enn de fleste andre steder i Finnmark. Etter freden ble stedet gjenreist under administrasjon av Brente steders regulering.