Durante la época del virreinato fue conocido como Palacio del Virrey o Palacio Virreinal y fue la residencia de los 40 virreyes del Perú.