Garner var gift med Lois Clarke, som han møtte i 1956. De giftet seg 14 dager senere, den 17. august 1956. Garner hadde de to døtrene Kimberly og Greta. Garner fikk kroniske problemer med knærne under innspillingen av på 1970-tallet. I 2000 fikk han begge knærne kirurgisk erstattet. Den 22. april 1988 hadde Garner en femdobbelt bypass hjerteoperasjon. Den 11. mai 2008 ble han operert grunnet et hjerneslag han hadde hatt to dager tidligere. Garner døde i sitt hjem i Brentwood i Los Angeles, 19. juli 2014, av natulige årsaker.