Han var gift med Katharine Bagley, og de fikk fem barn, blant annen politikeren Melissa Garff Ballard.