Родился в еврейской семье. Его дед со стороны отца владел процветающим универмагом в Сан-Франциско. Землетрясение 1906 года уничтожило универмаг; он был хорошо застрахован, но страховая компания обанкротилась от последствий землетрясения. Таким образом семья Лероя оказалась разорена. Для заработка молодой Мервин продавал газеты, участвовал как певец в шоу молодых дарований, затем в водевилях. Вскоре он вместе со своим двоюродным братом Джесси Ласки отправился в Голливуд.