Isabelle van Tuyll van Serooskerken var datter av adelsmannen Diederik Jacob van Tuyll van Serooskerken (1707–1776) og hans kone Jacoba Helena de Vicq (1724–1768). Hun var den eldste av foreldrenes syv barn, og fikk en langt bedre utdannelse enn vanlig for en jente på den tiden. Hun var kunnskapstørst, og allerede som barn hadde hun lært seg en rekke språk, studert matematikk og satt seg inn i samtidens eksperimentelle fysikk. Etter år-lange besøk i Frankrike og Sveits i 1750-årene ble fransk hennes hovedspråk, som er en viktig årsak til at hennes verker ikke ble like kjent i hjemlandet hennes som i de fransktalende landene.