Bajo el mando de Pedro Álvarez de Toledo y Zúñiga se decidió la construcción de un Palacio Virreinal proyectado por los arquitectos Ferdinando Manlio y Giovanni Benincasa.