Som hennes søster Norma, bukket Talmadge under for rusmisbruk og alkoholisme senere i livet. Hun hadde også mange mislykkede ekteskap, forhold og relasjoner til mange forskjellige menn. Hun var gift fire ganger, men hennes tidlige forhold varte sjelden mer enn tre år.