El antiguo palacio, fue utilizado por el primer virrey del Perú Blasco Núñez Vela como su residencia.