Se casó en 1942 con Joyce Daughtry, con la que tiene dos hijos pero se termina separando.