McPhatter vokste opp i den svarte bydelen Hayti i Durham i en religiøs protestantisk familie, og var tidlig aktiv i sanggrupper i den lokale baptistkirken. Hans mor het Beulah (eller kanske Eva) til fornavn; hans far George McPhatter, og han var pastor i den menigheten. Allerede som femåring begynte han å synge i farens gospelkor sammen med sine tre brødre og tre søstre. Da han var ti år gammel var Clyde sologsanger (barnesopran) i koret.