Judith Eva Barsi föddes den 6 juni 1978 i Burbank, Kalifornien i USA som det enda barnet till József "Joe" Istvan Barsi och Maria Agnes Benko Barsi, född Virovacz). József föddes den 26 november 1932 i Ungern under Miklós Horthys styre och han ska ha haft en eländig barndom. Han var ett utomäktenskapligt barn som aldrig kände sin far och detta låg till grund för att han hade lågt självförtroende, kände sig utstött av samhället och blev mobbad av andra barn likaväl som av sina lärare. Till en början tog han sig till Frankrike där han gifte sig med en annan ungersk flykting vid namn Klara. Tillsammans fick de sonen Barna (1957–1995) och dottern Ági (1958–2008). Ági spekulerade i sin bok "What will you do?" att József förargade sig över att hans mor tillät hans far att lämna henne och att József på grund av detta såg alla kvinnor som "horor". József flydde Folkrepubliken Ungern någon gång efter Sovjetunionens ockupation 1956. József blev kort därefter alkoholist och började fysiskt misshandla sin fru. Familjen flyttade till New York 1964 och József började nu även misshandla sonen Barna, vilket ledde till att Klara fem år senare flydde med barnen till Arizona. József försökte försona sig med sin familj, men Klara ansökte om skilsmässa efter att han i berusat tillstånd försökt misshandla henne ännu en gång. Kort efter deras skilsmässa flyttade József till Kalifornien och fick arbete som VVS-montör.