Williams ble født (med sin tvillingsøster Cassandra) i San Diego i California til 19 år gamle Sandy Williams og den 18 år gamle ektefellen Errick Williams. Foreldrene skilte seg i 1983 og Williams, da fem år gammel, tok seg av søstrene ved å legge dem og lage mat til dem. Muligens som et resultat av situasjonen hjemme og at faren forlot ham i så ung alder, hadde Williams problemer med sinnemestring som eventuelt ledet til at moren hans sende ham til en terapeut. Han slet også akademisk, til tross for at det viste seg at han hadde et intelligensnivå tilsvarende noen som var dobbelt så gammel som han da han tok en test som seksåring. Williams har selv sagt, "I was always very bright, but not necessarily a hard worker. I think I was in eighth grade when I became really focused as a student and started getting good grades." Innen han begynte på high school var Williams en æresstudent, og ble utvalgt til All-Academic.