Han ble profesjonell i Faemino-Faema i 1970, etter å ha vunnet Flèche Ardennaise året før som amatør. Joseph vant Omloop Het Volk tre ganger og Liège–Bastogne–Liège to ganger. Han vant en etappe i Tour de France og bar den gule ledertrøya ved to anledninger, tre dager i 1974 og åtte dager i 1978.