Colson Baker er sønn av to misjonærer. Familien flyttet mye rundt i hans oppvekst. De var bosatt i Egypt og Tyskland samt i Chicago, Denver, og Cleveland. Hans mor flyttet ut da Colson Baker var ni år gammel, og han og hans far flyttet inn hos Bakers tante i Denver. Bakers far var arbeidsledig og led av depresjon. Ifølge Baker selv hadde han bare to skoleantrekk, og ble mobbet av de andre barna i nabolaget. Han begynte å lytte til rap i sjette klasse, da han gikk på Hamilton ungdomsskole i Denver, en skole med en etnisk mangfoldig studentmasse. Han fikk interessen for hip hop da han ble kjent med musikken til Ludacris, Eminem og DMX. Interessen økte da han fikk høre DMX' «We Right Here» fra albumet (2001).