Peggy var i perioden 1974 til 1990 gift med musikkprodusenten Quincy Jones. De fikk to barn sammen, motestylisten Kidada Jones og skuespilleren Rashida Jones.