Hemphill flyttet til New York City på midten av 1970-tallet, og var aktiv i frijazz-miljøet. Han underviste flere kjente musikere i saksofonspill, bl.a David Sanborn og Tim Berne. Hemphill var antagelig mest kjent som grunnleggeren av World Saxophone Quartet, som ble dannet i 1976, etter å ha samarbeidet med Anthony Braxton i flere ensembler bestående av kun saksofoner. Hemphill forlot World Saxophone Quartet tidlig på 1990-tallet, og dannet en saksofonkvintett.