Jagger gjorde sin filmdebut i 1929 i filmen i 1929 med Mary Astor. Han var en fremgangsrik karaktærskuespiller som medvirket i nesten hundre filmer. Han vant en Oscar, i klassen beste mannlige birolle, for sin rolle som «Major Harvey Stovall» i filmen . For det yngre publikum huskes han kanskje fra rollen som gansterboss i Bruce Lee-filmen fra 1977.