I 1968 døde Ungars far av et hjerteinfarkt mens han var sammen med sin elskerinne. Moren var ute av stand til å ta seg av ham da hun var meget syk, og etter farens død vanket Ungar rundt omkring i New Yorks gamblingmiljø frem til han var 18 år gammel. Da møtte han Victor Romano, som var medlem av Genovese-familien, og de ble etterhvert så gode venner at Romano fungerte som en farsfigur for Ungar.