Hans far forsøkte å holde Ungar vekk fra gamblingen, men til tross for dette begynte Ungar å spille gin rummy og fikk raskt et rykte på seg som en meget god spiller.