Ballard fødte i 1968 tvillingene Michelle og Nicole, og i 1971 fikk hun datteren Lisa. Samme år saksøkte hun Motown og The Supremes for 8,7 millioner dollar hun mente var hennes. Søksmålet ble avvist, og Ballard mistet huset og ekteskapet.