Kort etter, i 1319, gikk Norge inn i personalunion med Sverige under Magnus VII Eriksson, som i stor grad styrte riket sitt fra utenfor Norges grenser. Da sønnen Håkon VI Magnusson overtok Norges trone i 1355 kom kongemakten tilbake på norsk jord. Dog kun for en kort periode, ettersom Norge allerede i 1380 gikk inn i union med Danmark, og fra 1397 Kalmarunionen (med Sverige til 1523). I unionstiden med Danmark (1380-1537) fikk kanslerembetet ved Mariakirken snart vesentlig redusert administrativ betydning, det norske riksseglet ble flyttet fra Oslo og ble forvaltet av monarken i København, som ble Norges hovedstad. Den dansk-norske kongen oppholdt seg i Danmark, bare avbrutt av få og korte besøk i Norge. Kansleren i Oslo beholdt imidlertid visse funksjoner når det gjaldt rettsoppgjørene etter drap.