Allerede som barn var Shider en aktiv sanger. Han og brødrene sang gospel og opptrådte som korister for blant annet Shirley Caesar og The Mighty Clouds of Joy. Som kunde i frisørsalongen til George Clinton fikk den unge Shiver høre doo-wop- og barbershop-sangen til de framtidige The Parliaments, samtidig som han sjøl kunne vise fram sine talenter innen gospel og gitarspill.