Pero su matrimonio se rompería debido a las constantes infidelidades de Clarence, incluida una con una chiquilla de su congregación baptista, con la que tuvo una hija llamada Carl Ellan Kelley (de soltera Jennings) en 1940, nacida unos días después de que la madre cumpliera trece años.