Franklin flytta til Detroit ni år gammel. Han begynte tidlig å synge og var i ungdomsåra med i ei rekke lokale grupper. På slutten av 1950-tallet deltok han med sin karakteristiske bass på noen innspillinger med (med blant annet tenorene Lamont Dozier og David Ruffin), der han brukte moras navn, Franklin, som artistnavn.