Kun seks måneder før han døde giftet Sheppard seg med Colleen Strickland. Han hadde da blitt alkoholiker og døde av leversvikt den 6. april 1970. Han ble gravlagt i Columbus i Ohio hvor han ble liggende fram til 1997 da hans levninger ble undersøkt i forbindelse med DNA-prøver som en del av en søksmål som hans sønn hadde satt i gang med det mål å renvaske farens navn. Etter prøvene var blitt tatt ble legemet kremert.