Una vez fallecido, fue heredado por su hija, y muerta ésta, en 1798 entra en posesión su nieta Juana de Escobar y Herrera, mujer de Luis de Contreras y Peralta, IV marqués de Lozoya, quien llevó a cabo las últimas actuaciones en la estructura hacia el año 1800, instalando su residencia familiar en la casa grande del complejo.