Barnes gikk på en segregert skole. I 1956 ble han uteksaminert fra Hillside High School med 26 tilbud om idrettsstipend. Rasesegregering hindret ham i gå på de nærliggende Duke University og University of North Carolina. Moren lovet ham en bil dersom han holdt seg hjemme, så han endte opp med å gå på North Carolina College at Durham (tidligere North Carolina College for Negroes, nå North Carolina Central University). Der fikk han et fult idrettsstipend og tok en grad i kunst. Læreren hans i løping var Dr. Leroy T. Walker. Barnes spilte tackle og center på NCC.