Whitfield vokste opp i New York, men familien flytta til Detroit da han var i tenåra. Han tok til å henge rundt Motowns studio og kontor (Hitsville USA) i håp om å få en jobb der. Han blei etter hvert ansatt i kvalitetskontrollavdelinga, som var den som avgjorde hvilke låter som skulle utgis. Han begynte også å komponere litt, og med tida fikk han prøve seg på å produsere sanger han sjøl hadde skrevet. Gjennombruddet kom i 1966 da han overtok etter Smokey Robinson som hovedprodusent for The Temptations. Dette var etter at hans «Ain't Too Proud to Beg» hadde gjort det bedre på listene enn Robinsons «Get Ready».