Pendergrass gikk på Thomas Edison High School for Boys i Nord-Philadelphia. Han sang med Edison Mastersingers. Han droppet ut av skolen da han var ten-åring og gikk inn i musikkbransjen der han spilte inn sin første sang "Angel with Muddy Feet". Innspillingen var imidlertid ingen kommersiell suksess. Pendergrass spilte trommer for flere lokale Philadelphia-band, og ble til slutt trommeslager av The Cadillacs (Ikke Harlem-gruppen med samme navn). I 1970 ble han oppdaget av The Blue Notes' grunnlegger Harold Melvin (1939–1997), som overbeviste Pendergrass om å spille trommer i gruppen. Imidlertid begynte Pendergrass å synge med under en forestilling, og Melvin gjorde ham til forsanger. Blue Notes fikk en innspillingskontrakt med Philadelphia International Records i 1971. Det var starten på Pendergrasss' samarbeid med Kenny Gamble og Leon Huff.