Swenson var gift med skuespiller og sanger Lowell Harris, som hun fikk sønnene James (avdød) og Mark med.