I Vardø, forteller kildene, ble det bygget en festning (Vardøhus festning) og en kirke på begynnelsen av 1300-tallet. Hensikten kunne ha vært både å få på plass norske institusjoner for en norsk befolkning, markere norsk overhøyhet i området eller begge deler. En annen hypotese for kongens hensikt med festningen, kunne ha vært å sikre den norske koloniseringen i tilfelle konflikter med samene. I tillegg hadde erkebiskopen sine økonomiske interesser, det var nemlig slik at kirkene i Finnmark var kapeller med inntekter direkte under bispesetet i Nidaros. I Vardø bodde det forøvrig ikke sivile personer frem til et stykke ut på 1400-tallet.