Hemphill ble født i Fort Worth i Texas (som også var hjembyen til Ornette Coleman), og studerte klarinett før han lærte å spille saksofon. Gerry Mulligan var et tidlig forbilde. Hemphill begynte i United States Army i 1964, og tjenestegjorde i flere år. Senere spilte han i en kort periode med Ike Turner. I 1968 flyttet Hemphill till St. Louis i Missouri og var med på dannelsen av Black Artists' Group (BAG), et multikunstnerisk kollektiv som satte ham i kontakt med musikere som Oliver Lake, Hamiet Bluiett, Baikida Carroll og Floyd LeFlore, og komponisten og orkesterlederen Malinke Robert Elliott.