Filmkarrieren tok for alvor av med hovedrollen i , i 1927, verdens første lydfilm som fikk en oppfølger med året etter, der han fremførte storhiten «Sonny boy». Jolson populariserte en rekke melodier som George Gershwins og og satte stadig salgsrekorder hva angikk platesalg. Han ble også radiostjerne gjennom (1933–49). Under andre verdenskrig reiste han som en av de første Hollywood-stjerner verden over og underholdt amerikanske tropper. Etter en periode med inaktivitet havnet han igjen i rampelyset i 1946 med den biografiske filmen hvor han ble spilt av Larry Parks, men Jolson selv dubbet sangstemmen. Formelen ble gjentatt igjen i 1949 med filmen .