Davids dåpsnavn var . Mora døde før gutten var fylt ett år, og David vokste opp sammen med faren, som var baptistprest, og dennes nye kone, som var lærer. Faren var streng og tidvis svært voldelig. Far, stemor, David og tre søsken danna ei gospelgruppe som reiste mye omkring. De sang blant annet som oppvarming for Mahalia Jackson og The Five Blind Boys of Mississippi. Fjorten år gammel forlot Ruffin hjemmet for å studere til prest.