Bija precējies divas reizes — 1954. gadā ar Vivianu Liberto un 1968. gadā ar Džūnu Kārteri, leģendārās kantrimūzikas grupas Carter Family dalībnieci. Pirmajā laulībā piedzima četri bērni, arī Rozanna Keša, kas arī pati kļuvusi par veiksmīgu kantrimūziķi. Otrajā laulībā piedzima dēls Džons Kārters-Kešs, kas arī ir kļuvis par mūziķi un producentu.