В этот период дворец время от времени реконструировался, и его занимали 43 вице-короля, начиная с Франсиско Писарро, и заканчивая Хосе де ла Серной, до объявления независимости Перу в 1821 году.