På 1600-tallet ble Slottsbackens søndre bebyggelse endret og nye påkostede murte hus ble oppført der. Når det nye Slottet ble bygd var Slottsbacken en eneste stor byggeplass med lagring av stein og byggematerialer (se Saltkompaniets hus). Når slottet stod ferdig i 1750 hadde slottsbacken blitt gjort om til den monumentale plassen den er i dag, men arbeidene ble først klare mot slutten av 1700-tallet.