Après la Révolution de 1917, il rejoint aux États-Unis son grand-père maternel, installé à New York, le violoniste Leopold Auer. Celui-ci l'encourage à apprendre la musique (piano, violon...), parallèlement à sa formation d'acteur, dans les années 1920, durant lesquelles il se produira d'ailleurs comme musicien. Ces mêmes années, il part à Hollywood et adopte alors le nom de son grand-père, devenant Mischa Auer. Il participe à un premier film américain en 1928 et, dans les années 1930, il en enchaîne de nombreux autres (où il est souvent non crédité). Un de ses rôles marquants est celui d'un russe excentrique dans "Vous ne l'emporterez pas avec vous" (1938). Et pour son rôle tout aussi fantasque dans "Mon homme Godfrey" (1936), il obtient une nomination à l'Oscar du meilleur acteur dans un second rôle, en 1937.