1975 verließ Whitfield dann Motown, um sein eigenes Label Whitfield Records zu gründen. Er produzierte Künstler wie The Undisputed Truth, Taka Boom und Rose Royce. Royces Single "Car Wash" (Oktober 1976) erreichte wieder einen ersten Platz in den Pop-Charts. Der Song war eine Auskopplung aus dem Soundtrack des gleichnamigen Filmes. Whitfield wurde für seine Musik zu diesem Film auf dem Filmfestival Cannes 1977 ausgezeichnet. Das von Warner Brothers vertriebene Plattenlabel beendete 1982 seine Aktivitäten. Im folgenden Jahr kehrte Whitfield zu Motown zurück, konnte jedoch keine besonderen Erfolge mehr verzeichnen. 2005 wurde er wegen Steuerhinterziehung verurteilt. Die letzten Monate vor seinem Tod verbrachte er zur Diabetes-Behandlung im Krankenhaus.