Născut la San Francisco din părinți evrei, Edna (n. Armer) și Harry LeRoy. Familia sa a fost sărăcită în timpul cutremurului din San Francisco din 1906. După aceea, el și vărul său, Jesse Lasky, au mers la Hollywood.