Fra 1771 bodde ektemannens slektning, Inger Schubart (født Løvenskiold) sammen med barna Charlotte og Sibylle på Løvenborg. Fru Løvenskiold tok seg av døtrenes oppdragelse og utdannelse, og ga dem adgang til hennes rikholdige bibliotek.