Derefter vendte han sig mod melodrama og musikbaserede komedier. Han blev en af de største Hollywood-stjerner i 1920'erne. Bancrofts første hovedrolle var i "Ponyekspressen" (1925), og det følgende år havde han en vigtig birolle blandt et hold skuespillere, der også omfattede Wallace Beery og Charles Farrell, i den episke widescreen-flådefilm "Havets befrier" (1926). Han gik derefter fra historiske film til de lurvede eksistenser i underverdenen i Paramount Pictures-produktioner som von Sternbergs "Det mørke Chicago" (1927) og "The Docks of New York" (1928). Han blev nomineret til Oscar for bedste mandlige hovedrolle i 1929 for "Fra New Yorks Underverden", spillede titelrollen i  "Ulven fra Wall Street" (1929, udsendt lige inden Wall Street-krakket), og optrådte i Paramounts stjernebesatte revyfilm "Paramounts stjerneparade" (1930) og Rowland Browns "Blood Money" (1933).