Torn var gift tre ganger og hadde seks barn. Torn var fra 1956 til 1961 gift med skuespillerinnen Ann Wedgeworth som han hadde en datter, Danae Tor, sammen med. Etter hans skilsmisse fra Wedgeworth, giftet Torn seg med den Oscar-vinnende skuespillerinnen Geraldine Page i 1963. Page og Torn forble gift frem til hennes død i 1987. De hadde tre barn: Tony Torn, Jon Torn (lærer ved Northern Arizona University) og skuespiller Angelica Torn. Senere giftet Torn seg med skuespillerinnen Amy Wright som fikk to barn, Katie og Claire, med.