Kong Øystein fikk bygget den første Apostelkirken på Holmen, og grunnla Munkeliv kloster på Nordnes i 1110, som var Norges rikeste kloster i middelalderen. Rundt 1140 ble Nonneseter kloster opprettet ved Marken. I denne perioden ble også Mariakirken, Korskirken og Olavskirken som nå er byens domkirke reist, og Bergen katedralskole etablert. Sverresborg festning ble reist i 1184 av Sverre Sigurdsson (norsk konge 1177–1202) like over Holmen. I første halvdel av 1200-tallet ble Dominikanerklosteret på Holmen, Fransiscanerklosteret i Vågsbunnen, og Jonsklosteret i Sentrum anlagt.miniatyr|Oversiktsbilde over Bergen og utstillingsområdet for Bergensutstillingen i 1898, tatt fra LøvstakkenI Håkon Håkonssons (norsk konge 1217–63) regjeringstid ble det reist en ringmur i stein rundt hele Holmen, som da ble til Bergenhus festning. Han reiste også Håkonshallen som kongelig residens og festhall, og oppførte en ny og større Apostelkirke på Holmen. Omkring 1270 reiste hans sønn, Magnus Lagabøte (norsk konge 1263–80) et kastell like ved, som på 1500-tallet ble ombygget til Rosenkrantztårnet. Han testamenterte gamle Alrekstad kongsgård til Nonneseter kloster i 1277. Han oppførte også den tredje og største Apostelkirken på Holmen, etter mønster av Sainte-Chapelle i Paris, som ramme for et kostelig relikvie (et stykke av Jesu tornekrone innesluttet i krystall som en sølvengel bar i hendene), som var en gave fra kong Filip III av Frankrike. Etter hans død ble hans eldste sønn Eirik II Magnusson (norsk konge 1280–99) konge, og Eiriks bror Håkon V Magnusson, hertug over blant annet Oslo, overtok etter dennes død.