Han hadde sin filmdebut i 1923, og fikk oppmerksomhet med gangsterroller i (1931) og (1935). Han ble etter hvert en av amerikansk films beste karakterskuespillere, med større roller i blant annet Billy Wilders (1944), Fritz Langs (1944), og John Hustons (1948). Senere spilte han flere biroller, og han fikk i 1973 en æres-Oscar posthumt for arbeidet sitt.