Leo Raubal, Gelis far, døde da datteren var to år. Hennes mor tok arbeid som husmor på en klosterskole, og hun og døtrene Geli og Elfriede (1910-93) bodde i en leilighet i det triste strøket ved Westbahnhof i Wien da Hitler hadde sonet ferdig sin fengselsstraff. Han ansatte sin halvsøster som husholderske i feriehuset sitt i Berchtesgaden, og den syttenårige Geli ble med. Snart hentet Hitler begge til sin bolig i München. Han var stolt av sin pene, høyreiste søsterdatter som vakte mye oppmerksomhet i omgangskretsen hans. I Wien mintes en av Braun-søstrene (ingen slektninger av Eva Braun) som var Gelis naboer, at hun var så flott at Braun-piken en gang bare stanset, helt målløs, og så på henne. «Er du redd meg?» spurte Geli, og den andre svarte nei, hun bare beundret henne.