Szokoll ble født i Wien, sønn av en menig soldat i den østerrikske hæren som hadde kjempet i første verdenskrig, og hadde sittet lenge som russisk krigsfange. Han vokste opp i fattige kår i Wien, men fordi han fikk gode karakterer i grunnskolen og videregående skole, ble han senere tatt opp som offiserskandidat i den østerrikske hæren i 1934. I sine år som kadett møtte han sin kone, Christl Kukula, datter av en jødisk industrimann fra Wien. Etter Anschluss i 1938 måtte han avslutte sitt forhold til Kukula på grunn av Nürnberg-lovene som forbød romantisk engasjement med jødene. Til tross for dette, beholdt han i hemmelighet kontakt med henne i løpet av de neste årene, og giftet seg med henne etter krigen i 1946. Sammen fikk de en sønn.