Ernest Barnes Jr. ble flødt i Jim Crow-æraen i «bunnen» av samfunnet i Durham i Nord-Carolina, nær Hayti-distriktet. Han hadde en lillebror, James (f. 1942) og en halvbror, Benjamin B. Rogers Jr. (1920–1970). Ernest Jr. fikk kallenavnett «June». Faren Ernest E. Barnes Sr. (?–1966), jobbet med logistikk for Liggett Myers Tobacco Company. Moren Fannie Mae Geer (1905–2004) var hushjelp for en fremtredende advokat i Durham og medlem av det lokale skolestyret Frank L. Fuller Jr.