I 1951 hadde Tone et forhold med medskuespilleren Barbara Payton, som lagde overskrifter i avisene da hun fikk en rekke ansiktsskader og falt i koma i 18 timer etter å ha fått hjernerystelse under en nevekamp med skuespiller Tom Neal. Plastisk kirurgi klarte nesten å restaurere den brukne nesen og kinnbenet hennes. Tone giftet seg med Payton, men han skilte seg fra henne i 1952 etter å ha sett avslørende fotografier som beviste at hun fortsatt hadde et romantisk forhold med Tom Neal.