Leo Cobb vokste opp som sønn av jødiske foreldre av russisk og rumensk bakgrunn i The Bronx. Han var litt av en fiolinvirtuos i ung alder, til et brukket håndledd satte punktum for noe livsløp i den retning. Han stakk da som 16-åring avsted til Hollywood i håpet om å starte en filmkarriere, mislyktes, og vendte tilbake.