Paul Williams starta tidlig å synge. Han og kameratene Eddie Kendricks, Kell Osboure, Jerome Averette og Wiley Waller starta i 1955 doo-wop-gruppa The Cavaliers. Seinere flytta deler av gruppa til Detroit og danna etter hvert The Primes, som fikk en viss lokal suksess, men ingen platekontrakt. Primes blei oppløst i 1960, og Williams og Kendricks slo seg da sammen Otis Williams, Melvin Franklin og Elbridge Bryant (fra The Distants). De fikk i 1961 kontrakt med Motown under navnet The Temptations.