Ungar giftet seg med sin kjæreste, Madeline, i Las Vegas i 1976. Samme år fikk de datteren Stefanie. Ungar adopterte også Madelines sønn, Richie, som hun hadde fra et tidligere forhold. Richie tok sitt eget liv i tenårene og denne tragiske hendelsen gikk hardt innpå både Stu og Madeline.