Kelley ble født i Atlanta som sønn av Baptist-presten Ernest David Kelley og Clora Casey, født hjemme hos dem, med onkelen, en kjent lokal lege som hjelper. Som barn, sang han i kirkekoret der han oppdaget at han likte å synge og var god til det. Til slutt førte dette til at han sang solo, og en opptreden på radiostasjonen WSB i Atlanta. Som et resultat av arbeidet i radio, fikk han et engasjement med Lew Forbes og hans orkester ved Paramount Theater. Han ble uteksaminert i 1938 fra Decatur High School i Decatur i Georgia. I en av tegneseriene om ble det sagt at dr. McCoys far hadde vært baptist-prest, en idé som angivelig kom fra Kelleys eget liv. Kelley hadde en eldre bror ved navn Ernest Casey Kelley.