Rogers var det fjerde av åtte barn av hjelpesykepleieren Lucille Lois (født Hester, 1910–1991) og snekkeren Edward Floyd Rogers (1904–1975). Rogers ble sagt å nedstamme fra irsk-amerikanere og indianere. Hans fødenavn var Kenneth Donald, men familien kalte ham ofte Kenneth Ray i oppveksten.