Han giftet seg med Juanita Odessa Jones fra Uniontown i Alabama den 31. august 1952, og de fikk fem barn sammen, Ralph David Abernathy junior (født 16. august 1953, død 18. august 1953), Juandalynn Ralpheda, Donzaleigh Avis, Ralph David III og til slutt Kwame Luthuli Abernathy. Bare fire av barna deres vokste opp da deres førstefødte Ralph Junior døde allerede som spedbarn.