Sammen med utnevnelsen av Johan Caspar Krogh i 1814 flyttet amtmannssetet til Tromsø. Først ved delingen av amtet 1. oktober 1866, da Senjen og Tromsø fogderi ble skilt ut som Tromsø amt, flyttet amtmannen tilbake til Finnmark. Etter en diskusjon mellom Hammerfest, Alta og Vadsø om amtmannsboligens beliggenhet. Jens Holmboe var den første amtmannen med sete i Hammerfest. Den 17. november 1888 ble det bestemt at amtmannen forpliktet å bo i eller ved Vadsø, og Karl Adolf Langberg ble utnevnt til embedet. Departementet godkjente 27. februar 1893 en tomt for oppførelse av en amtmannsbolig i Vadsø. Boligen sto ferdig i 1894. Fram til 2016 hadde fylkesmannen boplikt i fylkesmannsboligen i Vadsø. Denne ordningen er nå avviklet.