McDaniel var gift fire ganger med tre forskjellige kvinner. Han hadde to døtre med sin første kone Monta Rae, fire barnebarn og to oldebarn. Han spilte også golf og drev med jakt på fritiden.