Ungar ble født til jødiske foreldre og vokste opp på Manhattan. Hans far, Isafore Ungar, var lånehai og drev også en bar. I virkeligheten var baren kun et skalkeskjul for en gamblingklubb, noe som førte til at Stu Unger kom tidlig i kontakt med gamblingmiljøet.