Han ble født i Nord-Carolina, men mistet faren som liten, og moren kunne ikke ta seg av ham. Han ble adoptert av slektninger i Charlotte og vokste hos dem der og i Harlem i New York. Han sluttet på high school og tjenestegjorde i marinekorpset under Koreakrigen. Tilbake fra krigen tok han kveldskurs ved det tradisjonelt afroamerikanske Howard University, og utmerket seg slik faglig at han fikk stipend til å gå college ved Harvard University. Han tok mastergraden i økonomi ved Columbia University i 1959 og doktorgraden ved University of Chicago i 1968. Han hadde George Stigler som doktorgradsveileder, og regnes til de ledende tenkerne innen den såkalte Chicagoskolen innen liberal økonomisk teori.