Da van Serooskerken var omkring 14 år gammel ble hun forelsket i den romersk-katolske polske greven Peter Donhöff, som imidlertid ikke hadde de samme følelsene for henne, og skuffelsen over dette førte til at hun forlot Utrecht i halvannet år. I lang tid nektet hun å gifte seg; hun så på ekteskap som en måte å oppnå frihet på, men ønsket også å gifte seg i kjærlighet. I 1771 giftet hun seg med sin brors tidligere privatlærer, sveitseren Charles-Emmanuel de Charrière de Penthaz, og paret bosatte seg med flere familiemedlemmer (deriblant to av hennes yngre søstre) på Le Pontet i Colombier nær Neuchâtel i Sveits. Derfra besøkte de ofte Genève og Paris, hvor Isabelle var en kjent skikkelse.