Pascual Fernández de Linares mandó levantar la casona en 1750, cuando volvió de Perú donde había desarrollado diferentes encargos de la Corona.