Det var rundt dette tidspunktet at Ungar begynte med kokain. Han skrev i sin biografi at han prøvde det for første gang etter råd fra en annen pokerspiller som brukte det for å holde seg våken over lengre tid mens de spilte. Men bruken utartet, og Ungar ble snart rusmiddelavhengig. I 1986 skilte Madeline og Unger seg, mye på grunn av hans avhengighet.