Kong Øystein Magnusson flyttet kongssetet fra Alrekstad til Holmen på 1100-tallet og bygde opp en kongsgård. Da borgerkrigene ebbet ut i første halvdel av Håkon Håkonssons lange regjeringstid (1217–63), og Norge ble mer varig samlet, ble det bygd opp en ringmur av stein på Holmen for å verne trehusbebyggelsen mot brann og mot fiender. Bergen ble da hovedstad i Norge, og Holmen det politiske sentrum. Byens tettbebyggelse strakk seg på den tiden fra Holmen langs østsiden av Vågen og langs Øvregaten til Olavskirken (Bergen domkirke).