S-a născut în Middletown, Connecticut, fiind unul dintre cei opt fii ai lui Berthe Vogel și Samuel Dassin, un bărbier. Membrii familiei sale erau evrei imigrați din Rusia. A crescut în Harlem și a studiat la Morris High School din Bronx. S-a înrolat în Partidul Comunist American în anii 1930, dar l-a părăsit ca urmare a Pactului dintre Hitler și Stalin din 1939. A început ca actor la ARTEF (Teatru Proletar Yiddish) din New York. Colaborarea sa din lumea filmului cu Jack Skurnick a fost întreruptă de moartea timpurie a lui Skurnick.