I 1798 kjøper han «Villa Welgelegen» i Apeldoorn fra boet etter sin bror, og under et besøk der tidlig på året 1799 blir han alvorlig syk. Søstrene van der Oye, barn av familievenner, pleier ham til han blir frisk igjen og han bestemmer seg for å flytte til Apeldoorn for alltid. Som takk for deres gode sorg, lar han søstrene bo hos seg. Han utvikler seg som filantrop, og hans anseelse som en representant for det gamle styret øker.