I 1928 dro han til Hollywood, og allerede året etter fikk han den mannlige hovedrollen i Ernst Lubitschs film der han spilte mot blant andre Jeanette MacDonald. I 1930 medvirket han i der han spilte mot Claudette Colbert. For begge disse filmer ble han nominert til Oscar for beste mannlige hovedrolle. En milepæl i hans karriere var Rouben Mamoulians film fra 1932 der han på nytt spilte mot Jeanette MacDonald.