Su esposa, la condesa de Monterrey, se quedó en España con sus hijos durante la ausencia del conde Gaspar, residiendo en su palacio en Madrid.