В 1934 году Кэрролл дебютировал в кино в роли второго плана в мелодраме с Джоан Кроуфорд «Сэди Макки» (1934). Поначалу он получал небольшие роли, иногда это были престижные фильмы категории А, такие как мелодрама «Барреты с Уимпол-стрит» (1934) с Нормой Ширер и Фредериком Марчем. Самыми известными ролями Кэрролла этого периода стали роль призрака делового партнёра Эбенезера Скруджа в семейной картине «Рождественский хорал» (1938), а также роль Джозефа в классической экранизации Уильяма Уайлера «Грозовой перевал» (1939) с Лоренсом Оливье и Мерл Оберон в главных ролях. Фильм получил восемь номинаций на «Оскар», в том числе, как лучший фильм. В том же году Кэрролл сыграл роль второго плана в исторической мелодраме Майкла Кёртиса «Частная жизнь Елизаветы и Эссекса» (1939) с Бетт Дейвис и Эрролом Флинном, который получил пять номинаций на «Оскар».