Ved opprettelsen av Vardøhus amt, var det meningen at amtmennene skulle bo på Vardøhus festning. På grunn av den dårlige forfatningen som festningen var i, skiftet imidlertid amtmannssetet mellom Vardøhus, Vadsø og Alta frem til 1814. Et unntak var en periode fra 8. juli 1682 til 1684 da Vardøhus ble administrert av Bergen magistrat.