Barsin vanhemmat olivat unkarilaiset maahanmuuttajat Jozsef Barsi ja Maria Benko, jotka olivat paenneet Unkarista vuoden 1956 kansannousun kukistamisen jälkeen ja asettuneet Los Angelesiin. Äiti toivoi tyttärestään näyttelijää, ja kykyjenetsijä löysikin Judithin viisivuotiaana. Hän esiintyi yli 70 mainoksessa ja pääsi pian elokuviinkin. Vaikka Barsi syntyi Yhdysvalloissa, hän puhui sujuvasti myös unkarin kieltä. Hän harrasti uintia.