Erzsébet császárné első gyermekeit, Zsófiát, Gizellát és Rudolfot apai nagyanyjuk, a szigorú és végletesen konzervatív Zsófia főhercegné nagyon korán elszakította anyjuktól, és nevelésükről saját maga gondoskodott. Kislányának, Zsófia Friderikának korai halála után Erzsébet maga is hosszabb időre depresszióba esett, és elfordult élő gyermekétől is, emiatt Gizellának édesanyjával, Erzsébettel később sem lett bensőséges viszonya. Nagyon szoros és szeretetteljes kapcsolat fűzte azonban öccséhez, Rudolf trónörököshöz. A két testvér kapcsolata megmaradt Gizella esküvője után is, amikor a házaspár Bajorországba költözött, rendszeres és komoly levelezésben álltak egymással. Rudolf mayerlingi öngyilkosságát (1889) Gizella sohasem tudta feldolgozni.