Gideon Levy's beide ouders kwamen uit het toenmalige Tsjechoslowakije, waar ze vlak voor de Tweede Wereldoorlog moesten vluchten. Levy's vader, Heinz (Zvi) Loewy, kwam uit Žatec en studeerde in Praag af in de rechten. In 1939 ontvluchtte hij het naziregime en kwam op een boot met illegale immigranten terecht, waarna hij na allerlei omzwervingen uiteindelijk in het Mandaatgebied Palestina belandde. Daar werkte hij eerst bij een bakkerij in Herzliya en later als kantoorbediende. Levy's moeder kwam in 1939 als kind tijdens een reddingsactie in Palestina terecht, waar ze werd ondergebracht in een kibboets. Ze leefden aanvankelijk in armoede, maar dankzij het Verdrag van Luxemburg (1952) verbeterde hun leefsituatie.