Under Håkon Magnusson nådde byen sitt største i utbredelse og kulturelt mangfold. Etter Håkons død var den politiske situasjonen lenge uklar og byen opplevde nedgangstider. Ikke minst svartedauden fra 1348 og flere senere pestepidemier og bybranner utgjorde tilbakeslag. I 1397 var Kalmarunionen et ufravikelig faktum. Etter reformasjonen i 1537 blir alle kirke- og klostereiendommer lagt under den dansk-norske kongen som hadde sin hovedresidens i København, og Oslo mistet de siste rester av å være et økonomisk tyngdepunkt.