Da kongemakten flyttet ut av landet, under unionen med Danmark i senmiddelalderen, opphørte Bergen å være residensby. Men kongsgården var fortsatt det politiske og administrative sentrum for Vestlandet og Nord-Norge. Først med innføringen av eneveldet i 1660 ble Bergenhus en ren festning.