Jackson is berne yn Atlanta, Georgia, Feriene Steaten fan Amearika op 20 jannewaris 1920, as soan fan Ernest D. Kelley en Clara Casey Kelley. As jonkje woe er dokter wurde, mar om't syn heit in Baptistysk dûmny wie, en syn mem it koar organisearre, kaam er al gau yn de tsjerke te sjongen. Hy hie der nocht oan, koe solo's sjonge, en kaam sa op de lokale radio. Dêrtroch kaam er te sjongen by it Lew Forbes Orchestra, en sa kaam er ta it beslút dat er artyst wurde soe.