Carson ble født i Detroit i Michigan, som sønn av Sonya (født Copeland), en syvendedagsadventist, og Robert Solomon Carson, en baptistpastor. Hans foreldre var begge fra landsbygden i Georgia. Da han var åtte år, ble foreldrene hans skilt, og han og hans da ti år gamle storebror, Curtis, ble oppdratt av moren. Han gikk på i sydvest Detroit, og ble uteksaminert fra Yale University, hvor han tok hovedfag i psykologi. Han fikk sin fra .