James ble født på sykehuset for «fargede» i Yazoo City og vokste opp på en plantasje utenfor Bentonia. Hans far var en pastor i baptistmenigheten, som hadde kvaler rundt sitt kall og forlot familien mens Skip fortsatt var barn.