Isabella ble født en gang rundt 1160 som tredje og yngste datter av William Fitz Robert, 2. jarl av Gloucester og hans hustru Hawise, datter av Robert de Beaumont, 3. jarl av Leicester. Hennes far var en av de rikeste adelsmennene i England. Hennes bestefar på farssiden, Robert, 1. jarl av Gloucester, var en sønn utenfor ekteskap av Henrik I av England. Hennes bror Robert døde i 1166, og da faren døde i 1183, ble Isabella sammen med sine to eldre søstre, Mabel og Amicia, sin fars arvinger. Den vanlige skikk og bruk var at jarledømmet ble delt mellom de tre søstrene.