Herlovsen er datter av den tidligere og Tysklands-proffen Kai Erik Herlovsen. Hun ble født i daværende Vest-Tyskland, der faren spilte for Borussia Mönchengladbach. Familien flyttet etter hvert tilbake til Norge og Begby i Fredrikstad. Isabell spilte i oppveksten fotball i Begby Idrettslag. Hun var også en lovende golfspiller i tenårene, men valgte på et tidspunkt å prioritere fotballen.