Senere har Tone giftet seg og skilt seg igjen to ganger. Først med modell og skuespiller Jean Wallace (1941–1948), som han fikk to sønner sammen med. Det andre ekteskapet var med skuespilleren Dolores Dorn (1956–1959).