Raksin vokste opp i Philadelphia i Pennsylvania. Faren var dirigent og eieren av en musikkforretning. Han lærte David Raksin å spille flere musikkinstrumenter i en ung alder. Raksin studerte senere komposisjon ved University of Pennsylvania og fikk etter hvert spilletimer hos Arnold Schönberg i Los Angeles.