Ruffin spilte inn si første plate i 1958, «You and I»/«Believe me», under navnet . De følgende åra spilte han inn flere plater, dels solo og dels med vokalgruppa . Mot slutten av 1963 fikk han et tips om at The Temptations trengte en ny tenor etter Elbridge Bryant, som var i ferd med å få sparken. Både David og broren Jimmy var aktuelle, men det var David som fikk jobben. I januar 1964 var han første gang i studio med gruppa.